WO2012053156A1 - ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム - Google Patents
ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム Download PDFInfo
- Publication number
- WO2012053156A1 WO2012053156A1 PCT/JP2011/005629 JP2011005629W WO2012053156A1 WO 2012053156 A1 WO2012053156 A1 WO 2012053156A1 JP 2011005629 W JP2011005629 W JP 2011005629W WO 2012053156 A1 WO2012053156 A1 WO 2012053156A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- file
- identification information
- data
- storage
- information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Definitions
- the present invention relates to a distributed storage technology that makes it possible to store a large number of files using a large number of computers.
- Amazon S3 Simple Storage Service
- Microsoft Windows registered trademark
- Azure and the like are known as storage services for storing user data in a server on a network.
- a distributed file system that can distribute and store data in a large number of storages, and can handle large amounts of GB (gigabytes) and small data in large quantities.
- the Google file system (GFS) is known (see, for example, Non-Patent Document 1).
- GFS GFS
- a file is divided into blocks called 64MB (megabyte) chunks and distributed to a plurality of chunk servers, so that writing and reading of one file are executed in parallel on a plurality of servers, File input / output is accelerated, and if there are many servers, large file sizes can be handled. Also, by controlling so that all chunks have three or more replicas in different servers, even if a failure occurs in one chunk server, the fault tolerance is improved by using replicas stored in another chunk server At the same time, load balancing can be realized by accessing a selected one of a plurality of replicas of the chunk.
- Keisuke Nishida “Technology that Supports Google: The World Inside a Giant System”, Technical Review, Inc., August 25, 2008
- the master server having the management information also instructs switching of the chunk server at the time of failure, re-creation of the replica, load distribution of access to the chunk server, additional creation of the replica, and the like.
- GFS Global System for Mobile communications
- a process for taking over the function to the backup server is performed through a certain operation.
- GFS specializes in the use of web page storage and search services on the Internet.
- Distributed storage technology has a wide variety of uses, and it is desirable to implement a system without a single point of failure to further improve fault tolerance.
- a chunk may have a fixed length. If the file size (file data length) becomes huge, the size of management information indicating the mapping between each chunk and each server also becomes huge. . Then, since it becomes difficult to quickly find a chunk to be partially accessed from the large management information, there is a problem that it is vulnerable to random access.
- the present invention provides a distributed storage technology capable of storing a large number of files of various sizes using a large number of computers and reducing elements that become single points of failure in the system.
- the purpose is to provide.
- the present invention also enables high-speed access to files, high performance such as random access, and one storage service using storage services provided by a plurality of providers. It is intended to be configurable.
- a storage service providing apparatus is connected to a plurality of storage apparatuses via a network, and provides a service for storing files using these storage apparatuses. Then, the file to be written is decomposed into one or more data, the data constituting the file is used as a block object, object identification information is assigned to each block object, and the file is constructed from the data of each block object Means for creating information to be used, using the information as a management information object, giving object identification information to the management information object, and means for specifying at least one of the plurality of storage devices based on the object identification information And means for transmitting each block object and the management information object to each storage device specified based on the respective object identification information for storage.
- a storage service that uses a large number of storage devices to store and provide a large number of files of various sizes can be reduced by reducing elements that become single points of failure in the system and improving scalability. It can be realized as storage.
- FIG. 1 is a diagram for explaining an example of a distributed storage service providing system (present system) according to an embodiment of the present invention.
- FIG. 2 is a block diagram illustrating a configuration example of the client device of the present system.
- FIG. 3 is a block diagram showing a configuration example of the storage apparatus of this system.
- FIG. 4 is a diagram for explaining an example of the functions of this system.
- FIG. 5 is a diagram illustrating the concept of the file structure of this system.
- FIG. 6 is a diagram illustrating the concept of the file structure of this system.
- FIG. 7 is a diagram showing a specific example for explaining the file structure of the present system.
- FIG. 8 is a diagram for explaining an example of the mechanism of the present system.
- FIG. 9 is a diagram showing an example of file read access in this system.
- FIG. 10 is a diagram showing an example of file write access in this system.
- FIG. 11 is a diagram showing an example of file write access in this system.
- FIG. 12 is a diagram showing an example of file write access in this system.
- FIG. 13 is a diagram showing an example of file write access in this system.
- FIG. 14 is a diagram showing an example of file write access in this system.
- FIG. 15 is a diagram showing an example of a static service table in the present system.
- FIG. 16 is a diagram showing an example of a dynamic service table in the present system.
- FIG. 17 is a diagram for explaining an example of a technique for realizing a dynamic service table in the present system.
- FIG. 18 is a diagram illustrating an example of distributed processing of client devices in this system.
- FIG. 19 is a diagram for explaining an example of sharing class information in the present system.
- FIG. 20 is a diagram for explaining an example of the file writing process by the parallel distributed process in this system.
- FIG. 21 is a
- the storage service providing apparatus With the configuration of the storage service providing apparatus according to the example according to the principle of the present invention described above, virtual storage using a plurality of storage apparatuses is realized, and a storage service can be provided.
- the storage service providing apparatus does not centrally store management information for all blocks of a large number of files, and it is possible to reduce elements that become single points of failure in the system.
- the storage service providing apparatus is, for example, a plurality of storage apparatuses (either storage servers or storage devices) managed by the cloud service provider, or a plurality of storage apparatuses managed by other service providers. It may be installed in the front end (which may be recognized as a storage service) and read / write a file in response to a request from the end user who is a user of the service via the network. As another example, this storage service providing device may be installed inside a corporate network, and a plurality of storage devices in the same corporate network may be used to read and write files. The installed storage service providing apparatus may be connected to a data center or the like of a storage service provider outside the company to read / write files using a plurality of storage apparatuses outside the company.
- the storage service providing apparatus obtains the first object identification information corresponding to the file to be read, accesses the storage apparatus specified based on the first object identification information, and acquires the management information object; Storage for identifying object identification information of a block object having data constituting the file by using information for constructing the file included in the management information object, and specifying based on the object identification information Means for accessing the device to obtain the block object; and means for obtaining the file by arranging data of the obtained block object according to information for constructing the file.
- the storage information object corresponding to a file and the management information object corresponding to another file are stored in different storage devices of the plurality of storage devices.
- Object identification information for specifying a device may be assigned.
- management information can be distributed and stored in a plurality of storage devices, and reduction of elements that become single points of failure can be efficiently realized.
- the means for specifying at least one of the plurality of storage devices based on the object identification information in the storage service providing device also specifies an access method suitable for the specified storage device.
- the storage device connected via the network is used by requesting the specified storage device to save or acquire the object with the object identification information. You may do it.
- each of the plurality of storage devices connected to the storage service providing device may be a storage server that can operate with an arbitrary access protocol using the storage service providing device as a client. it can.
- a certain storage device and another partial storage device are storage services provided by different service providers. It can be related.
- the storage service providing apparatus further includes means for receiving a write request or a read request for a file stored using the plurality of storage apparatuses from a user terminal, wherein the write request or the read request is a general-purpose file.
- the request may be in the format used in the system.
- the virtual storage realized by the storage service providing apparatus is transferred to a native file system (standard, such as NFS or iSCSI) (standard).
- a native file system standard, such as NFS or iSCSI
- standard General-purpose file system
- the management information object includes the object identification information of a plurality of block objects having data constituting different parts of the file, and the part in which the data of each block object is in the file. It may also include offset information indicating whether they should be arranged.
- a file can be constructed according to offset information from a block object acquired by accessing any of a plurality of storage devices independently based on each object identification information. Instead of sequentially accessing a series of storage devices that store the data, it is possible to access a plurality of storage devices in parallel, thereby enabling high-performance file access.
- the management information object includes object identification information of a plurality of block objects each having data constituting a different part in a certain area in the file, and the data in each block object is the certain area.
- a first management information object including in-area offset information indicating which part in which to be arranged, object identification information of the first management information object, and the first management information object having information
- a plurality of management information objects are virtually arranged between the head object identification information corresponding to the file and the block object having the data constituting the file, so that a recursive structure having two or more hierarchies is obtained. Can be taken. If the file size becomes huge and there is only one hierarchy, the amount of management information (in this example, the list of object identification information and offset information for each block object) increases, and the entire management information is reduced. Although it takes time to read and selectively retrieve information of a block object to be accessed, this enormous management information is divided into a plurality of management information objects (as described above).
- the plurality of management information objects Information objects are also distributed and stored in a plurality of storage devices, and can be accessed in parallel.
- the management information object can be composed of a plurality of management information objects having a recursive structure, and when the number of block objects is greater than a predetermined number, the recursion A plurality of management information objects may be generated by increasing the structure hierarchy.
- the management information object includes a plurality of object identification information, and the storage object specified based on a certain one of the plurality of object identification information Processing for requesting storage or acquisition of the storage device, and processing for requesting storage or acquisition of the other object from the storage device specified based on another one of the plurality of object identification information. , May be performed in parallel.
- the update of the contents of the file is confirmed by atomic rewriting of the top object identification information (inseparable rewriting processing in which there is no intermediate state), and each management information once generated and given object identification information Since the contents of the object and each block object are never rewritten, it can be seen that the file is always stored in a complete state. In other words, even while a new block object or a new management information object indicating the updated file content is being generated, the file content before the update is acquired until immediately before the top object identification information is rewritten, The updated file contents are acquired immediately after the start object identification information is rewritten.
- the same file (content before update) can be freely read, and the contents of the object having the same object identification information are unchanged, so that each management information object and each block Even if a duplicate of an object is created independently, no contradiction occurs, and it is easy to prepare a duplicate in the system. Further, by storing the correspondence between the first object identification information before the update and the file as a history, it is possible to easily provide a snapshot at each time point (a file storing the state at that time point).
- the means for specifying at least one of the plurality of storage devices based on the object identification information in the storage service providing device can specify two or more storage devices, and each block object and the management
- the information object may be further duplicated and transmitted to each of the two or more storage devices specified based on the respective object identification information, and stored.
- the storage service providing apparatus stores the corresponding object or a copy of the storage apparatus based on the management information object corresponding to the file to be read and the object identification information of each block object.
- the storage service can be continuously used and the fault tolerance can be improved. For example, when a storage service provided by multiple providers is used as multiple storage devices, even if the service of one provider goes down, the storage service continues using the service of another provider Can be provided automatically.
- the storage service providing apparatus stores the corresponding object or a copy of the storage apparatus based on the management information object corresponding to the file to be read and the object identification information of each block object. There may be further provided means for specifying one or more and means for accessing the two or more specified storage apparatuses in parallel and acquiring an object or a copy thereof from the storage apparatus that responded quickly.
- the storage service providing apparatus when data is partially written to a saved file, it is specified in which part of the file the data to be written should be arranged, and all blocks belonging to the file An object and a management information object that are related to the specified portion are selected or a new object is generated, and each object is specified based on the object identification information of each selected or newly generated object.
- the storage apparatus may be accessed, and the remaining objects may not be accessed.
- the storage service providing apparatus when data is partially read from a stored file, it is specified in which part of the file the data to be read is arranged, and all blocks belonging to the file Among the objects and management information objects, the one related to the specified part is selected, and the storage device specified based on the object identification information of each selected object is accessed, and the remaining objects are stored. Access to the device may not be performed.
- the file to be written is a block object in which an entire original file is encrypted by a user, divided into a plurality of data, and having a certain data among the plurality of data
- Object identification information for specifying a storage device may be assigned so that a block object having different data is stored in a separate storage device among the plurality of storage devices.
- the file to be written is a block object in which an entire original file is encrypted by a user, divided into a plurality of data, and having a certain data among the plurality of data
- object identification information for identifying a storage device may be assigned so that the management information object is stored in a separate storage device among the plurality of storage devices.
- This also makes it possible to provide a high security service for storing and storing files from users. This is because if the Service-to-Self cannot acquire the management information object, the file cannot be constructed from the acquired block object, and it cannot be decrypted because it is not known which other block objects belong to the same file.
- the management information object indicates object identification information of a block object having data constituting the file part and in which part of the file the data of the block object should be arranged. If there is a part in which no data exists in the file, the block object having the existing data and the management information object are stored without generating a block object corresponding to the part in which the data does not exist.
- the file is read, if the management information object indicates that there is no object identification information corresponding to a certain part in the file, the file is obtained by arranging NUL data in the certain part. Do Unishi may be.
- the capacity used for storage in the storage device can be limited to the amount of actual data, and sparse files can be easily realized. It becomes possible to do. Since storage services may be charged in proportion to the capacity used, it is preferable for the user that it is not necessary to pay for the capacity for which there is no data.
- the structure of the file can be expressed only by the management information object, for example, a huge file size is created regardless of the capacity of the actual data to be written, and data is subsequently stored in the portion of the file where there is no data. It is also possible to write a block object and create a block object for the first time.
- the management information object indicates object identification information of a block object having data constituting the file part and in which part of the file the data of the block object should be arranged. If there is a portion in which no data exists after the portion in which the data exists in the file, the block object having the existing data and the length information of the data and the management information object are stored. When the file is read, the length of data to be arranged in a certain part of the file indicated by the management information object is longer than the data length indicated by the length information of the block object corresponding to the certain part. If so, NUL Day By arranging, it may acquire the file.
- the capacity used for storage in the storage device can be limited to the amount of data, and the sparse It becomes possible to realize a file (a file where data is not written in a portion where no data exists).
- the management information object to which the first object identification information obtained corresponding to the file to be read is given is the information on the entire length of the file and the information in the file having the length.
- Information indicating in which part the object to which the object identification information is assigned is arranged, and when the object to which the object identification information is assigned is a management information object again, the management information object is: Information on the length of the area in which the object is arranged in the file, and information indicating which object identification information is assigned to which part of the area having the length
- the object to which the object identification information is assigned is a block object If it is, the block object, and data constituting the file, may have a length information of the data.
- the length of the entire file, the length of each area in the file, and the length of the block object data entering each area can be known. Therefore, even if the data size of each block is variable, the original file can be constructed from a plurality of blocks stored in a distributed manner. In this way, the fact that the data of each block does not have to be fixed length can be utilized to make the size of the file to be stored different in size.
- each new object may be generated and stored in the storage device specified based on the object identification information of each new object.
- New object identification information is assigned so that the means for assigning the object identification information in the storage service providing apparatus is unique among all block objects and management information objects stored in the plurality of storage apparatuses. It may be a thing.
- UUID Universal Unique Identifier
- the means for specifying at least one of the plurality of storage devices based on the object identification information in the storage service providing device performs a predetermined calculation on the value of the object identification information.
- the method may include specifying one of the plurality of storage devices according to a remainder value obtained by dividing by the number of storage devices.
- the remainder value calculated from the object identification information is any of 0 to (S-1).
- the storage device in which the object is stored can be specified.
- the storage device in which each object is stored can be obtained by simply calculating the object identification information. If the configuration does not require the management information to be stored in the system, the storage device can be obtained. It becomes possible to further reduce the elements that become one point of failure. For example, if the access method differs depending on the storage device, information indicating the correspondence between the storage device and the access method is held in the system, but the amount of this information is limited to the number of storage devices. Since the management information does not explosively increase depending on the number of files and the number of objects constituting the management information, the number of elements that become a single point of failure can be extremely reduced.
- a range of values assigned to each storage device is allocated (35 to 49 for storage device B, 49 to less than 60 for storage device C, etc.), and a value calculated from object identification information ( For example, the storage apparatus in which the object is stored may be specified depending on which range the hash value) falls within.
- the means for specifying at least one of the plurality of storage devices based on the object identification information in the storage service providing device described above is a range of values assigned to the device by each of the plurality of storage devices. Identifying one of the plurality of storage devices by comparing a result of performing a predetermined calculation on the value of the object identification information and a range of values assigned to each device. It may be included.
- the method using the remainder value described above is a static method because the number of storage devices is fixed.
- the method using the value in charge here can change the range in charge dynamically. Therefore, it is possible to cope with dynamic addition and deletion of storage devices.
- At least one of the plurality of storage devices is selected based on the object identification information.
- a means for specifying is specified so that a storage device added for a part of a plurality of object identification information is specified, or a deleted storage device is not specified for any object identification information.
- the processing method may be changed.
- the correspondence between the file and the head object identification information can be management information that increases with the number of files. For example, there can be the following three methods as to where the correspondence between this file and the head object identification information is held. For example, when creating a file for the first time, the first object identification information is assigned a special ID indicating that the content is empty for any file, and when the content of the file is written, an object ID that is unique throughout the system. When the file contents are subsequently updated, a new unique object ID is rewritten.
- the object ID may include information indicating whether the object is a table or a block.
- the first method is a method held by the storage service providing apparatus itself, and for example, information indicating the correspondence between the storage apparatus and the access method described above may be stored under common management.
- the storage service providing apparatus further includes means for storing the first object identification information corresponding to the file to be read, and the storage apparatus that first accesses the file based on the stored first object identification information May be specified.
- the second method is a method of saving in a storage device specified based on the file identification information of the file among a plurality of storage devices.
- the storage service providing device further includes means for specifying at least one of the plurality of storage devices based on the identification information of the file to be read, and the storage device specified here should read You may make it preserve
- the third method is a method of holding by a database or the like connected to the storage service providing apparatus.
- a database that stores attribute information (owner, creation date / time, update date / time, title, password, etc.) of each file.
- the head object identification information of the file may be entered as one element of the attribute information.
- the storage service providing apparatus further includes means for connecting via a network to an attribute management apparatus that stores the head object identification information corresponding to each file together with the attribute information of the file, and the head corresponding to the file to be read out Object identification information may be acquired from the attribute management device, and a storage device that is first accessed for the file may be specified based on the acquired head object identification information.
- a storage service providing system includes a client device and a plurality of storage devices connected to the client device via a network, and the client device provides a file storage service to a user.
- the plurality of storage devices comprise means for storing a plurality of block objects each provided with object identification information and one or more management information objects for each file, and each of the plurality of block objects includes: Each data constituting the file divided into a plurality of data, the management information object has information for building the file from the data of each block object, the client device, The first object identification information corresponding to the file to be read is obtained, the storage device specified based on the first object identification information is accessed, and the management information object is acquired.
- Said file Means for obtaining object identification information of a block object having data constituting the file using information for constructing, obtaining the block object by accessing a storage device identified based on the object identification information And means for acquiring the file by arranging the data of the acquired block object according to the information for constructing the file.
- the client device in this system has a function related to file reading in the above-described storage service providing device, but may be added with a function related to file writing.
- the management information object includes a plurality of object identification information
- each of the plurality of client devices corresponds to the file to be read out. Processing that is set so that identification information can be obtained, and that requests acquisition of the management information object based on the head object identification information, and processing that requests acquisition of each object based on the plurality of object identification information, You may make it carry out independently from another client apparatus.
- Each invention of the storage service providing apparatus described above is also established as an invention of a storage service providing system, and each invention of the above storage service providing system is also established as an invention of a storage service providing apparatus operating as a client apparatus there. It is. Note that each of the above-described means can be configured as a unit.
- each invention of the storage service providing apparatus or system described above is intended to cause a general-purpose computer to operate as this storage service providing apparatus, whether as a method invention performed by the storage service providing apparatus or as a method invention performed by the entire system.
- the invention of the program (or the recording medium on which the program is recorded) and the program for operating a general-purpose computer system as the present system (or the recording medium on which the program is recorded) are of course established. is there.
- one storage service providing method (related to file writing) according to the principle of the present invention is a service for storing files using a computer connected to a plurality of storage devices via a network.
- the file to be written is decomposed into one or more data, the data constituting the file is used as a block object, object identification information is assigned to each block object, and the data of each block object is used.
- Create information for constructing the file use the information as a management information object, assign object identification information to the management information object, and assign each block object and the management information object to the storage devices. That To each of the storage apparatus specified based on the object identification information Les, to save transmission.
- a storage service providing method (related to reading of a file) is stored by using a computer connected to a plurality of storage devices via a network.
- a method for providing a service for obtaining a file wherein a plurality of block objects each having object identification information and one or more management information objects are stored for each file, and each of the plurality of block objects is stored.
- the said management information object has the information for building the said file from the data of each said block object, and should be read First object corresponding to the file Information for obtaining identification information, accessing the storage device specified based on the head object identification information, obtaining the management information object, and constructing the file included in the obtained management information object Is used to obtain object identification information of a block object having data constituting the file, access a storage device specified based on the object identification information, obtain the block object, and obtain the block object
- the file is acquired by arranging the data included in the file according to the information for constructing the file.
- one storage service providing program (related to file writing) according to the principle of the present invention uses a computer connected to a plurality of storage devices via a network to store files using these storage devices.
- the block object and the management information objects among the plurality of storage devices comprising the respective storage apparatus specified based on the respective object identification information, and program code for causing the stored transmitted.
- a storage service providing program (related to reading of a file) according to another example according to the principle of the present invention is stored using a computer connected to a plurality of storage devices via a network.
- a distributed storage service providing system used for a cloud service such as a storage service (a service for storing user data in a large number of storage devices on a network) is illustrated.
- FIG. 1 is an explanatory diagram showing the configuration of the present system.
- the system 1 is connected to a user terminal 2 used by an end user, a client device 3 used by a user (service provider) of the system 1 and the client device 3 via a network.
- the plurality of storage apparatuses 4 are configured.
- a storage service is provided to the end user via the client device 3. Therefore, the client device 3 can also be called a storage service providing device.
- the user terminal 2 and the client device 3 are, for example, computers, and the storage device 4 is, for example, a server installed in a business operator or a data center.
- FIG. 1A is an explanatory diagram when a storage service of a plurality of operators (for example, operators A to C) is regarded as a virtual device.
- FIG. 1B is an explanatory diagram when the storage functions of a plurality of servers (servers A to E) are regarded as virtual devices.
- servers A to E the storage functions of a plurality of servers
- FIGS. 1A and 1B in the present system, a large number of virtual devices can be used to handle them as a virtual file having a logically unlimited capacity. In this case, it becomes visible as a native file system from the user terminal used by the end user.
- FIG. 2 is a block diagram showing the configuration of the client device 3 of this system.
- the client device 3 includes a communication unit 5 that performs communication with the storage device 4 and a write / read processing unit 6 that performs file write processing and read processing in response to a request from the user terminal 2. And a service table storage unit 7 for determining an access method to the storage device 4.
- FIG. 3 is a block diagram showing the configuration of the storage apparatus 4 of this system.
- the storage device 4 manages a communication unit 8 that communicates with the client device 3, a file / object storage unit 9 that stores files and objects, and management of the stored files and objects.
- a file / object management unit 10 is provided.
- FIG. 4 is an explanatory diagram of functions of this system.
- this system can be used as a standard NFS (Network File System) server (for example, RFC1813 server) from a user terminal used by an end user. For this reason, this system has various functions as follows for operations on files.
- NFS Network File System
- this system has a function called “CREATE” for creating a file and a function called “DELETE” for deleting a file.
- CREATE a function called “CREATE” for creating a file
- DELETE a function called “DELETE” for deleting a file.
- file-id is used as a parameter.
- file-id is identification information for identifying a file.
- this system has a function “READ” for reading data from a file and a function “WRITE” for writing data to the file.
- “READ” function “file-id”, “offset”, “data”, and the like are used as parameters.
- WRITE “file-id”, “offset”, “data area”, and the like are used as parameters.
- “offset” is information indicating in which part the data should be arranged in the data area.
- Data is data information such as a character string or a numerical value, and includes data length information.
- the “data area” is information on an area in which data is written, and includes information on the length of data that can be written in the area.
- FIG. 4 and 5 are conceptual diagrams of the file structure of the present system.
- a file is represented by a data structure as shown in FIG.
- a file accessed from a user terminal has a hierarchical structure including a “file object (also simply referred to as a file)”, a “table object (also simply referred to as a table)”, and a “block object (also simply referred to as a block)”. ing.
- “table object” is included in “file object”
- block object is included in “table object”.
- “table object” may be included in “table object”.
- This conceptual diagram is an abstract representation of the file structure of this system (the data substance and the data storage location will be described later).
- access to the file from the user terminal depends on the protocol used. For example, in a file system, a “path name” is used to access a file. In the case of NFS, the corresponding “file handle” is searched from “path name”, and thereafter, the file is accessed using “file handle”. In the case of HTTP, “URL” is used to access a file.
- a file is represented by “file-id”.
- file-id is an ID (identification information) unique to a file.
- a file entity is a table, and the table has information such as a file length (length) and data arrangement (offset).
- the table can represent a table that can be recursively arranged, and the table can be arranged in the table.
- the table has an interface for acquiring a list ( ⁇ offset, object-id> list) of objects (tables or blocks) of elements constituting the table.
- blocks represent data entities.
- the block includes an interface for accessing real data (data existing on the virtual device).
- the file structure of this system is expressed as a “tree structure”.
- a data structure for representing a file can take a recursive structure. Therefore, the file structure of this system can also be expressed as a tree structure (tree structure) as shown in FIG. 6, and the block is located in the leaf of the tree structure.
- the object (table or block) can be expressed as a “box” having “object-id (table-id or block-id)” and “length” information.
- FIG. 7 is a diagram showing a specific example for explaining the file structure of this system.
- the table (first table) identified by the file object (file-id) is a table with a table ID “table-1”, information on “length” “950”, and “ ⁇ 0, block-20>, ⁇ 100, table-3>, ⁇ 600, block-12>, ⁇ 750, table-10> ”.
- Table-3 and “table-10” tables can be further “readAt”.
- the table “table-3” has “length” information “500” and list information “ ⁇ 0, block-120>, ⁇ 300, block-130>”. Therefore, when the table “table-3” is “readAt”, the data of “block-120” having a length of 100 bytes arranged at the position of the area offset 0 and the data 200 arranged at the position of the area offset 300 are displayed. Data of “block-130” having a byte length is read.
- the table “table-10” has “length” information “200” and list information “ ⁇ 0, block-800>, ⁇ 50, block-900>”.
- the table “table-10” is “readAt”
- the data of “block-800” having a length of 50 bytes arranged at the position of the area offset 0 and 150 arranged at the position of the area offset 50 are set.
- Data of “block-900” having a byte length is read.
- the “area offset” is information representing an offset (relative position from the head of the area indicated by the table) within the area indicated by the table.
- this system information related to tables and blocks is handled as an abstracted object, and the contents are held on a virtual device (server or service) on the network.
- a virtual device server or service
- necessary information is distributed and arranged on virtual devices (servers and services) on the network, thereby eliminating the need to store management information in a specific server or a specific area.
- a file has a unique “file-id” that indicates the file.
- a file is associated with “table-id” of a table (head table) for expressing the contents of the file.
- the information about the contents of the file is only the “table-id” written in the first table, and the detailed contents can be obtained by recursively acquiring data from the “table-id”.
- the correspondence table between “file-id” and “table-id” in the first table may also be stored as an object on the network.
- the file may have attribute information (owner, access authority, update date) and management information.
- An object has an identifier (object-id) having uniqueness to identify the object and information on a length of data (length).
- object-id for example, a 64-bit integer, UUID, arbitrary character string, or the like is used.
- “length” is a non-negative integer, and is represented by, for example, a 64-bit integer.
- the “length” of the object can be acquired by “getLength”. Objects of this system include blocks and data.
- a block is a type of object and has information of “block-id” and “length”.
- a block can also be referred to as content.
- the data of the block (content) can be acquired by “getContent”.
- a block can also be newly created by giving “block-id”, “content”, and “length” with “putContent (block-id, content, length)”. Note that the block cannot be overwritten.
- the table is also a kind of object, and has “table-id” and “length” information.
- the table also has a “list of ⁇ offset, object-id>”.
- “object-id” is “block-id” or “table-id”.
- the table data can be obtained by “getTable”.
- a table can be newly created by giving “table-id” and “ ⁇ offset, object-id>” with “putTable (table-id, ⁇ offset, object-id>)”. Note that the table cannot be overwritten.
- block-id corresponds to the data on the virtual device.
- service table (described later)” is used to obtain information necessary for accessing the virtual device.
- the data (and length information) associated with “block-id” is obtained.
- table-id corresponds to information on the virtual device, and in accessing the table object, information can be acquired from the virtual device as in the case of the block.
- the information that can be acquired in this case is table information (that is, a list of the length (length) and ⁇ offset, object-id> of the area in the file represented by the table).
- the service table used for accessing the data includes information on “unique ID number” and “access means”. For example, “http://jigyousya.com/storage/%s” is an access means in the case of a service provided by an operator.
- the access means to the network server is, for example, “10.0.50.11:/users/isi (in the case of NFS)” or “samba: //10.0.60.1/public (in the case of CIFS)”, etc.
- the access means is, for example, “/ dev / sd0a”. Details of the service table will be described later.
- “PutContent (block-id, length, content)” is used when saving (newly creating) a block.
- a virtual device is specified from “block-id”, and data corresponding to the “block-id” is stored.
- a data storage mechanism corresponding to the virtual device such as “HTTP PUT” or “NFS WRITE” may be used.
- “GetContent (block-id)” is used to acquire a block (data acquisition).
- a virtual device is specified from “block-id”, and data corresponding to the “block-id” is acquired.
- a data storage mechanism corresponding to the virtual device such as “HTTP GET” or “NFS READ” may be used. If there is no data corresponding to the “block-id”, an “error” occurs.
- the actual communication method is that data corresponding to “block-id” is stored or Any method may be used as long as it can be acquired.
- “http” may be used for a general web
- “rest”, “xml”, “xml-rpc”, etc. may be used for a web service.
- “nsf”, “webdav”, “cifs”, “ftp” or the like may be used.
- iSCSI or other normal storage may be used. Good.
- Examples of encoding methods include (1) a method of representing a readable character string (for example, a method of representing “10” by “10” of a character string), and (2) a method of storing a byte string (for example, “Int” is a method of storing 4 bytes and “long” is a sequence of 8 bytes) and (3) a method of storing data as a column of “tuple (type, length, data)”.
- the virtual device is identified from “table-id”, and the encoded data is stored in “table-id”.
- a data storage mechanism corresponding to the virtual device such as “HTTP PUT” or “NFS WRITE” may be used.
- HTTP PUT or “NFS WRITE”
- “putContent” used when saving a block may be used. Further, as described above, in this system, only a new table can be stored, and the table cannot be overwritten.
- “GetTable (table-id)” is used to obtain table information.
- a virtual device is specified from “table-id”, and data corresponding to the “table-id” is acquired.
- a data storage mechanism corresponding to the virtual device such as “HTTP GET” or “NFS READ” may be used.
- “getContent” used when acquiring a block may be used.
- the condition is that “(sub) length acquired from each“ object-id ”must be within the next“ offset ””. Also, for the “length” of “object-id” located in the final “offset”, “table“ length ” ⁇ final“ offset ”+ (sub) length (the final“ offset ”value is“ The value obtained by adding the value of (sub) length ”must be equal to or less than the value of“ length ”in the table)”.
- the common interface for writing is “writeAt”. “WriteAt” receives “offset”, “length”, and “data byte string”. "WriteAt (object-id, object_offset, buffer, bufoff, buflen)" has updated data when “object-id”, “object_offset”, “buffer”, “bufoff”, and “buflen” are given. Returns a new "object-id”.
- the common interface for reading is “readAt”. “ReadAt” receives “offset”, “length”, and “data area information to be read”.
- ReadAt (object-id, object_offset, buffer, bufoff, buflen)" reads the data in the corresponding area when “object-id”, “object_offset”, “buffer”, “bufoff”, and “buflen” are given. Contents are copied to the area indicated by “buffer”, “bufferoff”, “bufferlen”, and the length “length” of the read data is returned.
- object-id is “file-id” or “table-id” or “block-id”.
- Object-offset is information representing a relative position (offset) in the object.
- buffer is information representing “buffer”.
- a read or write request is expressed in the form of data for bytes of length “buflen” from the relative position indicated by “bufoff” in the data area starting with the pointer “buffer”.
- writeAt When writing with “writeAt”, the data to be written is acquired from the data area (buffer area) and the data is written.
- readAt data is read by copying the read data to the data area (buffer area).
- the function of creating a new file is implemented by “create”.
- This “create” is an interface for creating a new zero-length file.
- the internal process of “create” is to assign a new “file-id”, set the top table of “file-id” to “EMPTY_TABLE”, and return the “file-id”.
- “EMPTY_TABLE” is a special table whose length is zero and whose number of elements in the list is zero. Since this does not have real data, it is not necessary to have the actual state on the virtual device, and there is only a special object ID (an ID common to all files indicating an empty table). It can be said that “create” only assigns “file-id”.
- a sub (lower level) object (table or block) corresponding to “object_offset” is searched from the list. For example, search for a case where “object_offset + bufoff” enters “offset + getLength ()” of each element of the table.
- “writeId (child-id, object_offset-child-offset, buffer, bufoff, writelen)” is performed on “child-id” of the corresponding object, so that “newId” becomes “child”
- the list is updated as a sub-object corresponding to “-offset”.
- “child-id” is an ID indicating the corresponding sub-object.
- “Child-length” is the length of the sub-object (that is, the length acquired by getLength (child-id)), and “child-offset” is the offset value of the sub-object. .
- “Writelen” is “Min (buflen, child-length)”.
- parameter update is performed with “object_offset” as “object_offset + writelen” and “buflen” as “buflen-writelen”. Execute.
- readAt object-id, object_offset, buffer, bufoff, buflen
- object-id file-id
- END-OF-FILE is returned because there is no data to be read.
- readAt table-id, object_offset, buffer, bufoff, min (buflen, length-object_offset))
- object_offset is set to “object_offset + readlen”
- buflen is set to “buflen-readlen”
- bufoff regardless of whether there is a corresponding object or no corresponding object. Update the parameters with “bufoff + readlen”.
- the function of reading from a block (block object) (READ-3) is implemented by “readAt (object-id, object_offset, buffer, bufoff, buflen)”.
- object-id is “object-id”.
- processing for reading the current data of the block is performed.
- currentData is read by “getContent (object-id)”.
- CurrentLength is the length of this “currentData” byte string (actual data).
- the data of “readlen” bytes starting from “object_offset” is loaded into “(buffer, bufoff, readlen)” for the “currentData” byte string, and “readlen” is returned.
- “readlen” is “min (buflen, currentLength)”.
- FIG. 9 shows an example of file read access in this system.
- “file-id” for specifying the file object is calculated.
- “table-id” corresponding to “file-id” is acquired using the correspondence table of “file-id” and “table-id”.
- a table ID “table-1” is acquired.
- the correspondence table of “file-id” and “table-id” may also be stored on the network as one object.
- the contents of “table-1” are acquired from the operator A using a virtual device selection algorithm (described later).
- the content “650, ⁇ 0, table-2>, ⁇ 300, table-3>” is acquired.
- the contents of “table-2” and “table-3” are acquired recursively.
- the contents of “table-2” are “300, ⁇ 0, block-a>, ⁇ 100, block-b>, ⁇ 200, block-c>”, and “table-3”
- the content is “200, ⁇ 0, block-d>, ⁇ 100, block-e>”.
- FIG. 10 to 14 show an example of file write access in this system.
- the creation of a new file will be described first.
- a new file is created by the “CREATE” function.
- “EMPTY_TABLE” is set in the head table.
- a new object ID is created with “createId”. At this time, it is necessary to guarantee the uniqueness of the object ID.
- the uniqueness of the object ID is used in the service table. For example, when UUID is used, a unique 128-bit value is generated by a method described in RFC. When a 64-bit integer is used, “64 bit long generator (original)” may be used.
- the service table is a table indicating a method for acquiring an object from an object ID.
- the service or server
- the service table can be specified from the object ID by the “algorithm” as described above, and the service table stores information on “access means” to each service (or server). Used to get.
- Service tables include “static” that is easy to implement and operate, and “dynamic” that is easy to update (add / change / delete services).
- the “hash code” is calculated from the object ID, and the service result can be specified by the remainder obtained by dividing the calculation result by N.
- each service name (unique name) is converted into a hash value, and a service whose object ID is closest to the hash value is specified.
- the information included in the service table includes service provider information, URI and other “location” information, authentication information for using the service, and other additional information depending on the service.
- the service provider information may be “local” information in the case of the local network.
- the “location” information includes protocol information such as “http, nfs, cifs, ftp, webdav”, and a path such as “% o (replace with object ID)” and “% u (replace with user ID)”.
- Information (information for performing parameter conversion as necessary) is included.
- the authentication information for using the service includes a user ID, a password, and authentication key information as necessary.
- the additional information depending on the service includes a weight, an encryption method, and various parameters (block size, parallelism, queue size, etc.).
- FIG. 15 is a diagram illustrating an example of a static service table.
- a service table having numbers 0 to (S-1) is created for S services.
- a hash value for example, 13562
- FIG. 16 is a diagram illustrating an example of a dynamic service table.
- the SHA1 hash is calculated for each service, and a service table is created.
- a SHA1 hash value for example, 60ab
- the object ID for example, 0a12cd-05201a-... -Ab00fa
- a service to which this SHA1 hash value is assigned as the assigned range is selected.
- the service is accessed.
- DHT Distributed Hash Table
- key information is assigned to each of eight servers (servers A to H) that provide services, and the assigned range of each server is determined based on the ID.
- the ID of each server may be determined by taking a part of the SHA1 hash value calculated from the unique name of the server (for example, the first two digits). For example, it is assumed that the assigned range of server A is set to “08 to 34”, the assigned range of server B is set to “35 to 48”. Then, for the above object ID, the server providing the service starts from “60” in a part of the SHA1 hash value (for example, the first two digits) to “server D” (responsible range “60 to 90”). It is determined.
- Random Access I / O random access
- N file size
- the update is performed by designating the offset and the area at the time of writing. Therefore, there is an advantage that only the block that needs to be updated and the upper table need be updated.
- the offset and the area are specified and reading is performed. Therefore, there is an advantage that only a table and a block that need to be read need be read.
- the processing time for data search, addition, and deletion is on the order of “O (log N)” with respect to the file size N. Speed).
- this system is characterized in that the minimum necessary management information is only “file-id” and “table-id” pairs.
- the minimum necessary management information is only “file-id” and “table-id” pairs.
- the “file-id” and “table-id” pairs are also on the network. It can be saved as an object.
- “file-id” can be distributed as an object having a single value as a key.
- “file-id” and “table-id” pairs are objects that can be overwritten, unlike tables and blocks.
- the service table may be managed separately, and only the “independent amount” reference information of files and data can be included.
- a characteristic of this system is that a sparse file can be easily realized.
- sparse files In sparse files, unused areas are “nul padded”. Therefore, for example, when “readAt” is executed, a portion having no data is read as “nul” data.
- the logical file size can be increased without using the physical capacity.
- the first merit of the sparse file is that a logically infinite size file can be created logically. The structure of the file can be expressed only by a table, and the portion without data is read as “nul” data.
- a second merit of the sparse file is that a block is created only when data is actually written. A portion where data is not written requires a minimum capacity (table information only).
- this system is characterized in that safe data writing can be realized in combination with encryption.
- safe data writing can be realized in combination with encryption.
- the encryption method is arbitrary.
- the encrypted file is divided into a large number of blocks, and distributed and stored in a plurality of virtual devices (for example, service providers).
- the file can be decrypted by collecting each fragment from the virtual device, reconstructing the file, reconstructing the file, and then decrypting the file on the user side.
- This feature allows encrypted data to be stored more securely.
- each virtual device will have only an “encrypted file” fragment, so if the virtual device is a service provider, the original file should be generated using only the data of the specific service provider. I can't.
- one of the features of this system is that it can perform atomic updates (inseparable update processing without an intermediate state).
- File update is confirmed by atomic rewriting of “table-id” in the first table.
- the “object-id” constituting the file is newly created every time, and a new ID is assigned to each of “table-id” and “block-id” each time “update” is performed. That is, when “table-id” is determined, the contents are the same and are not changed thereafter.
- this system has the advantage that “copying and snapshotting are easy”. As a copy or snapshot method, for example, there is a method of copying the “table-id” of an existing file to a new “file-id”. Thereby, the identity of the content of the same “table-id” is guaranteed.
- this system has a feature that distributed processing of clients is easy.
- one client device such as a popular VOD (video on demand), a homepage at an event, or a case where a large amount of data is analyzed by “distributed processing”. Access may be concentrated. In such a case, it is desirable to perform processing with distributed centralized access. It is also desirable to distribute the load even when there are many accesses asynchronously.
- each virtual storage can independently access a virtual device to realize distributed processing.
- the virtual device is a service provider
- load distribution among the providers is possible.
- the virtual device is a server
- the individual virtual storages on the front end do not interfere with each other.
- load distribution is easy especially for large files. In this case, since the number of tables and blocks to be configured increases, access is statistically distributed. As a result, this system can realize an "access distribution" mechanism with extremely high scalability.
- the file stored and managed by this system may be class information of an object-oriented program, and a program designated by the user of this system may be executed on the server.
- the class information that is the definition of the program may be shared between the user (client device) of the system and the server.
- sharing class information for example, as shown in FIG. 19, the user registers the class information in the server of this system, teaches the file ID to each server, and then instructs the execution of the program.
- Each server can acquire class information necessary for program execution from this system using the file ID.
- FIG. 20 is an explanatory diagram of parallel distributed processing in this system.
- parallel distributed processing of writing processing for each object (table or block) in the list of the table is possible.
- parallel distributed processing of reading processing for each object (table or block) in the list of the table is possible.
- N for example, 1024
- this system is characterized by the way to realize duplication and redundancy.
- the redundancy method in this system is “create a replica in a plurality of virtual devices”. That is, when writing, an object (table or block) is copied to a plurality of virtual devices, and when reading, the object is read from one of the above virtual devices.
- a service table can be used to select a virtual device for creating a replica.
- the “neighboring virtual device” of the virtual device in which the object is to be stored is selected.
- the “neighboring virtual device” is determined based on the remainder divided by N.
- the server immediately before the corresponding virtual device is determined as the corresponding virtual device.
- data of the same object is written to all the corresponding virtual devices.
- the corresponding virtual device is read sequentially, and when the response is returned for the first time, it is used as read data, or the corresponding virtual device is read in parallel. The data with the fastest response is used as read data.
- FIG. 21 is an explanatory diagram of the features of this system.
- an access performance and a storage capacity proportional to the number of storage apparatuses can be realized by storing files as a large number of blocks and accessing them in parallel.
- the number of client devices also called access nodes
- a storage device also referred to as a core node
- this system can be said to be easily expandable (scale-out) by applying advanced distributed computing technology, in which the performance / capacity is proportional to the number of units.
- the storage service providing apparatus can be used for cloud services such as a storage service, and is useful.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
多数のストレージ装置を利用し様々なサイズの大量のファイルを保存可能にし、システムにおいて単一障害点となる要素を低減する。 ストレージサービス提供装置(3)は、ネットワークを介して接続された複数のストレージ装置(4)を利用してファイルを保存するサービスを提供する。書き込むべきファイルは一つ以上のデータに分解され、そのファイルを構成するデータ(ブロックオブジェクト)ごとにオブジェクト識別情報が付与される。また、各ブロックオブジェクトのデータからファイルを構築するための情報(管理情報オブジェクト)が作成され、管理情報オブジェクトにオブジェクト識別情報が付与される。そして、各ブロックオブジェクトと管理情報オブジェクトが、複数のストレージ装置(4)のうち、それぞれのオブジェクト識別情報に基づいて特定されるそれぞれのストレージ装置(4)へ、送信されて保存される。
Description
本出願では、2010年10月22日に日本国に出願された特許出願番号2010-237828の利益を主張し、当該出願の内容は引用することによりここに組み込まれているものとする。
本発明は、多数のコンピュータを用いて大量のファイルを保存することを可能にする分散ストレージ技術に関する。
従来のコンピュータ利用は、ユーザである企業や個人等が、コンピュータのハードウェア、ソフトウェア、データ等を、自分自身で保有し、管理していたが、近年普及してきたクラウド・コンピューティングでは、ユーザは、自身の手元の機器が接続したネットワークの向こう側(データセンタ等)からサービスを受ける。このようなクラウド・サービスは、クラウド・サービス提供事業者から企業又は個人に対して提供されたり、企業内ネットワークにおいて社員等に対して提供されたりする。
クラウド・サービスのうち、ユーザのデータをネットワーク上のサーバに保存するストレージサービスとして、アマゾンS3(Simple Storage Service)や、マイクロソフトWindows(登録商標)Azure等が知られている。特に、データを多数のストレージに分散して格納することができ、GB(ギガバイト)単位の大きなデータと小さなサイズのデータが大量に混在しても、これらを効率よく扱うことのできる分散ファイルシステムとしては、グーグルファイルシステム(GFS)が知られている(例えば、非特許文献1を参照)。
GFSでは、ファイルを64MB(メガバイト)のチャンクと呼ばれるブロックに分割して、複数のチャンクサーバに分散して配置することにより、一つのファイルの書き込みや読み出しを複数のサーバで並列に実行して、ファイルの入出力を高速化しており、多数のサーバがあれば、大きなファイルサイズを扱うことも可能である。また、全てのチャンクが3つ以上の複製を異なるサーバに有するように制御する仕組みによって、あるチャンクサーバに障害が発生しても別のチャンクサーバに保存された複製を使うことで耐故障性を高めるとともに、チャンクの複数の複製のうちの選択された一つにアクセスすることで負荷分散を実現することも可能にしている。
西田 圭介、「Googleを支える技術 巨大システムの内側の世界」、株式会社技術評論社、平成20年8月25日
上述したGFSでは、一つのファイルを構成する複数のチャンクのそれぞれ(さらに、各チャンクにつき3つ以上の複製のそれぞれ)がどのチャンクサーバに保存されているかというマッピングを管理するための管理情報が、マスタサーバに保存される。よって、ファイルを読み出すときは、読み出すべきチャンクを特定し、特定されたチャンクを保存しているサーバのアドレスをマスタサーバに問い合せ、返答に示されたアドレスのチャンクサーバにアクセスするという処理が行われ、ファイルを書き込むときは、書き込むべきチャンクを特定し、特定されたチャンクを保存すべきサーバのアドレスをマスタサーバに問い合せ、返答に示されたアドレスのチャンクサーバにアクセスするという処理が行われる。障害発生時のチャンクサーバの切り替えや複製の再作成、チャンクサーバへのアクセスの負荷分散や複製の追加作成等も、管理情報を有するマスタサーバが全て指示することにより行われる。
このような機構では、管理情報を有するマスタサーバが、分散ストレージシステムにおける単一障害点となり、マスタサーバに障害が発生した場合は、システム全体が動作しなくなってしまうという問題がある。また、マスタサーバに負荷が集中するため、そこがボトルネックとなって、スケーラビリティや性能上の限界が出てきてしまうという問題もある。
GFSの場合は、マスタサーバの冗長化を行うための特別な仕組みを別途有しており、マスタサーバの障害時には、一定の操作を経てバックアップのサーバにその機能を引き継ぐ処理が行われるようにして、単一障害点を意識させないようにしているが、これは、GFSが、インターネットにおけるWebページの蓄積及び検索サービスという用途に特化しているからできることであると考えられる。分散ストレージ技術には、広く様々な用途があり、単一障害点のないシステムを実現して耐故障性をさらに向上させることが望ましい。
また、GFSでは、チャンクが固定長であることもあり、ファイルのサイズ(ファイルのデータの長さ)が巨大になれば、各チャンクと各サーバとのマッピングを示す管理情報のサイズも膨大になる。そうすると、その大きな管理情報の中から、部分的にアクセスしたいチャンクを、高速に探し出すことが難しくなるため、ランダムアクセスに弱いという問題もある。
さらに、GFSにしろ、アマゾンS3にしろ、既存のストレージサービスでは、サービスを提供するための設備の全てを、一つのサービス提供事業者が管理し運用しなければならない。ストレージサービスの利用者からみれば、一つのサービス提供事業者を選択してサービスを受けるしかなく、ストレージサービスを利用して行いたい処理の全体が、選択した事業者の信頼性やサービスの質に依存することになってしまう。
本発明は、上記の事情に鑑み、多数のコンピュータを用いて様々なサイズの大量のファイルを保存可能にするとともに、システムにおいて単一障害点となる要素を低減することが可能な分散ストレージ技術を提供することを目的とする。本発明はまた、この分散ストレージ技術において、ファイルに対するアクセスの高速化、ランダムアクセス等の高性能化を可能にすることや、複数の事業者から提供されるストレージサービスを利用して一つのストレージサービスを構成可能にすることを目的とする。
本発明の原理に従う一例に係るストレージサービス提供装置は、複数のストレージ装置とネットワークを介して接続され、これらのストレージ装置を利用してファイルを保存するサービスを提供する。そして、書き込むべきファイルを一つ以上のデータに分解し、該ファイルを構成するデータをブロックオブジェクトとして、各ブロックオブジェクトにオブジェクト識別情報を付与する手段と、前記各ブロックオブジェクトのデータから前記ファイルを構築するための情報を作成し、該情報を管理情報オブジェクトとして、管理情報オブジェクトにオブジェクト識別情報を付与する手段と、オブジェクト識別情報に基づいて前記複数のストレージ装置のうちの少なくとも一つを特定する手段と、前記各ブロックオブジェクト及び前記管理情報オブジェクトを、それぞれのオブジェクト識別情報に基づいて特定されるそれぞれのストレージ装置へ送信して保存させる手段とを備える。
本発明によれば、例えば、多数のストレージ装置を利用し様々なサイズの大量のファイルを保存して提供するストレージサービスを、システムにおいて単一障害点となる要素を低減しスケーラビリティを向上させた仮想ストレージとして実現することが可能になる。
上述した本発明の原理に従う一例に係るストレージサービス提供装置の構成により、複数のストレージ装置を利用した仮想ストレージが実現され、ストレージサービスが提供可能になる。この構成では、ファイルを構成するデータ(ブロックオブジェクト)だけでなく、分解されたデータからファイルを構築するための情報(管理情報オブジェクト)も、いずれもオブジェクトとして、複数のストレージ装置に分散して保存されるため、本ストレージサービス提供装置が、多数のファイルの全てのブロックについての管理情報を集中して保存することはなく、システムにおいて単一障害点となる要素を低減することが可能となる。
なお、本ストレージサービス提供装置は、例えば、クラウド・サービス提供事業者が、自身が管理する複数のストレージ装置(ストレージサーバでもストレージデバイスでもよい)もしくは他のサービス提供事業者が管理する複数のストレージ装置(ストレージサービスとして認識されてもよい)のフロントエンドに設置して、自身のサービスの利用者であるエンドユーザからのネットワークを介した要求に応じてファイルの読み書きを行うものとしてもよい。別の例として、本ストレージサービス提供装置を、企業内ネットワークの内部に設置し、同一企業内ネットワークにある複数のストレージ装置を利用してファイルの読み書きを行うものとしてもよいし、企業内ネットワークに設置した本ストレージサービス提供装置を、企業外のストレージサービス提供事業者のデータセンタ等に接続し、企業外の複数のストレージ装置を利用するファイルの読み書きを行うものとしてもよい。
上記のストレージサービス提供装置が、読み出すべきファイルに対応する先頭オブジェクト識別情報を求め、当該先頭オブジェクト識別情報に基づいて特定されるストレージ装置にアクセスして、前記管理情報オブジェクトを取得する手段と、取得された管理情報オブジェクトに含まれている前記ファイルを構築するための情報を用いて、前記ファイルを構成するデータを有するブロックオブジェクトのオブジェクト識別情報を求め、当該オブジェクト識別情報に基づいて特定されるストレージ装置にアクセスして、前記ブロックオブジェクトを取得する手段と、取得されたブロックオブジェクトが有するデータを、前記ファイルを構築するための情報に従って並べることにより、前記ファイルを取得する手段とをさらに備えるようにしてもよい。
これにより、複数のストレージ装置に分散して保存された管理情報オブジェクト及びブロックオブジェクトにアクセスして、元のファイルを取得することが可能になる。
上記のストレージサービス提供装置において、あるファイルに対応する管理情報オブジェクトと、別のファイルに対応する管理情報オブジェクトとが、前記複数のストレージ装置のうちの別々のストレージ装置に保存されるように、ストレージ装置を特定するためのオブジェクト識別情報が割り当てられるようにしてもよい。
これにより、オブジェクト識別情報の割り当てによって、管理情報を複数のストレージ装置に分散して保存することが可能になり、単一障害点となる要素の低減を効率的に実現することが可能となる。
上記のストレージサービス提供装置における前記オブジェクト識別情報に基づいて前記複数のストレージ装置のうちの少なくとも一つを特定する手段を、特定されたストレージ装置に適合するアクセス方法をも特定するものとし、前記特定されたアクセス方法に従い、前記特定されたストレージ装置に対して、前記オブジェクト識別情報の付与されたオブジェクトの保存又は取得を要求することにより、前記ネットワークを介して接続されたストレージ装置の利用が行われるようにしてもよい。
これにより、異なるアクセス方法が採用されているストレージ装置を混在させて、仮想ストレージを実現することが可能になる。例えば、多数の物理デバイスをストレージ装置と見立てて仮想ストレージを実現したい場合、iSCSI、SAN等の種々の方式があり得るが、これらの物理デバイスが混在しても、各物理デバイスに適合した方式でアクセスすることが可能になる。
また別の例として、ネットワーク上の多数のサーバをストレージ装置と見立てて仮想ストレージを実現したい場合は、各サーバへのアクセス方法としてhttp、nfs、ftp、cifs、rpc等の種々のプロトコルがあり得るが、これらのサーバが混在しても、各サーバに適合したプロトコルでアクセスすることが可能になる。
この場合、上記のストレージサービス提供装置と接続される前記複数のストレージ装置は、それぞれ、前記ストレージサービス提供装置をクライアントとし、任意のアクセスプロトコルにて動作することが可能な、ストレージサーバとすることができる。
さらに別の例として、クラウド・サービス提供事業者等が提供する様々なサービスをストレージ装置と見立てて仮想ストレージを実現したい場合は、各サービスへのアクセス方法として、Webサービスや、HTTPを用いた独自プロトコル、あるいは、NFS等の種々の体系があり得るが、これらのサービスが混在しても、各サービスに適合した体系でアクセスすることが可能になる。
この場合、上記のストレージサービス提供装置と接続される前記複数のストレージ装置のうち、ある一部のストレージ装置と他の一部のストレージ装置とが、異なるサービス提供事業者により提供されるストレージサービスに係るものとすることができる。
これにより、複数の事業者から提供されるストレージサービスを利用して一つのストレージサービスを構成することが可能になる。
以上のように構成すると、本ストレージサービス提供装置が実現する仮想ストレージによるストレージサービスの利用者から見れば、複数の異なる物理デバイスや、複数の異なるサーバ、複数の異なるサービス等が混在して構成される仮想ストレージであっても、その内部構造はユーザインタフェースから隠蔽されるため、エンドユーザに対しては透過的に一つのファイルシステムに見せることが可能になる。
上記のストレージサービス提供装置が、前記複数のストレージ装置を利用して保存されるファイルに対する書き込み要求又は読み出し要求を、ユーザ端末から受信する手段をさらに備え、前記書き込み要求又は読み出し要求を、汎用のファイルシステムで用いられる形式の要求としてもよい。
これにより、本ストレージサービス提供装置が提供するストレージサービスの利用者のコンピュータ(ユーザ端末)に対しては、本ストレージサービス提供装置が実現する仮想ストレージを、NFSやiSCSI等のネイティブ・ファイルシステム(標準的に用いられている汎用ファイルシステム)として見せることが可能になる。
上記のストレージサービス提供装置において、前記管理情報オブジェクトを、前記ファイルのそれぞれ別の部分を構成するデータを有する複数のブロックオブジェクトのオブジェクト識別情報と、各ブロックオブジェクトのデータが前記ファイル中のどの部分に並ぶべきかを示すオフセット情報とを含むものとしてもよい。
このような管理情報を用いることにより、各オブジェクト識別情報に基づいてそれぞれ独立に複数のストレージ装置のいずれかにアクセスして取得したブロックオブジェクトから、オフセット情報に従ってファイルを構築することができるため、ファイルのデータを保存する一連のストレージ装置に順にアクセスするのではなく、複数のストレージ装置を並列でアクセスすることが可能になり、高性能なファイルアクセスが可能になる。
上記のストレージサービス提供装置において、前記管理情報オブジェクトに、前記ファイル内のある領域におけるそれぞれ別の部分を構成するデータを有する複数のブロックオブジェクトのオブジェクト識別情報と、各ブロックオブジェクトのデータが前記ある領域中のどの部分に並ぶべきかを示す領域内オフセット情報とを含む第1の管理情報オブジェクトと、前記第1の管理情報オブジェクトのオブジェクト識別情報と、該第1の管理情報オブジェクトが情報を有する前記ある領域が前記ファイル内でどこに位置するものかを示すファイル内オフセット情報とを含む第2の管理情報オブジェクトとがあるようにしてもよい。
これにより、ファイルに対応する先頭オブジェクト識別情報から、ファイルを構成するデータを有するブロックオブジェクトまでの間に、複数の管理情報オブジェクトを仮想的に配置して、2つ以上の階層を有する再帰構造をとらせることができる。ファイルのサイズが巨大になった場合、階層が一つしかないと、管理情報(本例では、各ブロックオブジェクトのオブジェクト識別情報とオフセット情報のリスト)の量が増加して、管理情報の全体を読み出すのにも、アクセスしたいブロックオブジェクトの情報を検索して選択的に読み出すのにも、時間がかかってしまうが、この膨大な管理情報を複数に分割して複数の管理情報オブジェクト(上記でいう第1の管理情報オブジェクト)を生成し、各管理情報オブジェクトのオブジェクト識別情報とオフセット情報のリストを新たな管理情報オブジェクト(上記でいう第2の管理情報オブジェクト)を設ければ、これら複数の管理情報オブジェクトも複数のストレージ装置に分散して保存され、並列でアクセスすることが可能になる。
このように、管理情報を複数に分割して、2つ以上の階層を有する再帰構造をとらせることにより、単一障害点となる要素をさらに低減することができるとともに、より高性能なファイルアクセスが可能になる。そうすると、保存可能なファイルのサイズを、デバイスの物理容量や地理的空間の制限を超えて、論理的に上限なく大きくできるというだけでなく、どれだけ大容量のファイルであっても、実用上の問題が生じないようにできるため、真にスケーラブルな仮想ストレージを実現することが可能になる。
上記のストレージサービス提供装置において、前記管理情報オブジェクトを、再帰構造を有する複数の管理情報オブジェクトから構成されることが可能なものとし、前記ブロックオブジェクトの数が所定数より多い場合には、前記再帰構造の階層を増加させて、複数の管理情報オブジェクトを生成するようにしてもよい。
これにより、ブロックオブジェクトの数(ひいてはファイルのサイズ)に応じて、管理情報の再帰構造の階層を増加することができ、さらにスケーラビリティを向上することが可能になる。
上記のストレージサービス提供装置において、前記管理情報オブジェクトが、複数のオブジェクト識別情報を含み、前記複数のオブジェクト識別情報のうちある一つに基づいて特定されるストレージ装置に対して、該ある一つのオブジェクトの保存又は取得を要求する処理と、前記複数のオブジェクト識別情報のうち別の一つに基づいて特定されるストレージ装置に対して、該別の一つのオブジェクトの保存又は取得を要求する処理とを、並行して行うようにしてもよい。
これにより、並列処理が可能になるため、ファイルに対するアクセスを高速化することが可能となる。
上記のストレージサービス提供装置において、保存されているファイルのデータの一部を更新する場合、データが書き換わるブロックオブジェクトに新たなオブジェクト識別情報を付与し、当該ブロックオブジェクトのデータから前記ファイルを構築するための情報を含む管理情報オブジェクトにも新たなオブジェクト識別情報を付与し、前記管理情報オブジェクトの新たなオブジェクト識別情報が前記ファイルに対応する先頭オブジェクト識別情報として求められるように設定することにより、同一のオブジェクト識別情報を有するオブジェクトの内容を不変とする管理を行ってもよい。
これにより、ファイルの内容の更新は、先頭オブジェクト識別情報のアトミックな書き換え(途中の状態が存在しない不可分な書き換え処理)で確定することになり、一旦生成されオブジェクト識別情報が付与された各管理情報オブジェクト及び各ブロックオブジェクトの内容が書き換えられることは一切ないから、ファイルは常に完全な状態で保存されていると見ることができる。つまり、更新後のファイル内容を示す新たなブロックオブジェクトや新たな管理情報オブジェクトが生成されている間であっても、先頭オブジェクト識別情報が書き換わる直前までは、更新前のファイル内容が取得され、先頭オブジェクト識別情報が書き換わった直後から、更新後のファイル内容が取得されるようになる。
したがって、ファイルの書き込み中であっても、同じファイル(更新前の内容)の読み出しが自由にできるし、同一のオブジェクト識別情報を有するオブジェクトの内容は不変であるから、各管理情報オブジェクト及び各ブロックオブジェクトの複製をそれぞれ独立に作成しても矛盾が起きることがなく、システム内に複製を準備することが容易に実現できる。また、更新前の先頭オブジェクト識別情報とファイルとの対応を履歴として蓄積しておくことにより、各時点のスナップショット(その時点の状態を保存したファイル)を提供することも容易に実現できる。
上記のストレージサービス提供装置におけるオブジェクト識別情報に基づいて前記複数のストレージ装置のうちの少なくとも一つを特定する手段を、二つ以上のストレージ装置を特定可能なものとし、前記各ブロックオブジェクト及び前記管理情報オブジェクトを、複製して、それぞれのオブジェクト識別情報に基づいて特定されるそれぞれの前記二つ以上のストレージ装置へ送信して保存させる手段をさらに備えるようにしてもよい。
これにより、ファイルの書き込み時に、各オブジェクトの複製が作成され、これらの複製が複数のストレージ装置に分散して保存された状態にすることが可能になる。
上記のストレージサービス提供装置が、読み出すべきファイルに対応する管理情報オブジェクト及び各ブロックオブジェクトのそれぞれのオブジェクト識別情報に基づいて、前記複数のストレージ装置のうち該当するオブジェクト又はその複製を保存している二つ以上を特定する手段と、特定された一つのストレージ装置にアクセスして応答がなかった場合に、特定された別のストレージ装置にアクセスしてオブジェクト又はその複製を取得する手段とをさらに備えるようにしてもよい。
これにより、いずれかのストレージ装置に障害が発生しても、そこから取得すべきオブジェクトの複製を他のストレージ装置から取得することができるため、本ストレージサービス提供装置が提供するサービスの利用者は、ストレージサービスを継続利用することができ、耐障害性を向上させることが可能となる。例えば、複数の事業者から提供されるストレージサービスを複数のストレージ装置と見立てて利用する場合、ある事業者のサービスがダウンしても、他の事業者のサービスを利用して、ストレージサービスを継続的に提供することが、自動的にできるようになる。
上記のストレージサービス提供装置が、読み出すべきファイルに対応する管理情報オブジェクト及び各ブロックオブジェクトのそれぞれのオブジェクト識別情報に基づいて、前記複数のストレージ装置のうち該当するオブジェクト又はその複製を保存している二つ以上を特定する手段と、特定された二つ以上のストレージ装置に並行してアクセスし、応答の早かったストレージ装置からオブジェクト又はその複製を取得する手段とさらに備えるようにしてもよい。
これにより、システムの冗長性を活用して、ファイルに対するアクセスをより高速化することが可能になる。
上記のストレージサービス提供装置において、保存されているファイルに対し部分的にデータを書き込む場合、書き込み対象のデータが前記ファイル中のどの部分に並ぶべきものかが指定され、前記ファイルに属する全てのブロックオブジェクト及び管理情報オブジェクトのうち前記指定された部分に関係するものを選択して又は新たにオブジェクトを生成して、この選択又は新たに生成された各オブジェクトのオブジェクト識別情報に基づいてそれぞれ特定されるストレージ装置にアクセスし、残りのオブジェクトについてはストレージ装置へのアクセスを行わないようにしてもよい。
これにより、ファイル中の任意の場所のデータを部分的に書き込むことが可能になり、ランダムアクセスが可能となる。
上記のストレージサービス提供装置において、保存されているファイルからデータを部分的に読み出す場合、読み出し対象のデータが前記ファイル中のどの部分に並んでいるものかが指定され、前記ファイルに属する全てのブロックオブジェクト及び管理情報オブジェクトのうち前記指定された部分に関係するものを選択して、この選択された各オブジェクトのオブジェクト識別情報に基づいてそれぞれ特定されるストレージ装置にアクセスし、残りのオブジェクトについてはストレージ装置へのアクセスを行わないようにしてもよい。
これにより、ファイル中の任意の場所のデータを部分的に読み出すことが可能になり、ランダムアクセスが可能となる。
上記のストレージサービス提供装置において、前記書き込むべきファイルが、ユーザにより元のファイルの全体が暗号化されたものであって、複数のデータに分割され、前記複数のデータのうちあるデータを有するブロックオブジェクトと、別のデータを有するブロックオブジェクトとが、前記複数のストレージ装置のうちの別々のストレージ装置に保存されるように、ストレージ装置を特定するためのオブジェクト識別情報が割り当てられるようにしてもよい。
これにより、ファイルを利用者から預かって保存するサービスを、高いセキュリティで提供することが可能になる。つまり、分割されたデータを暗号化して保存するのではなく、ファイル全体が暗号化されたデータを分割して保存するため、そのようなデータの一部だけを悪意者が取得しても、部分的な復号すら不能にすることができる。特に、複数の事業者から提供されるストレージサービスを複数のストレージ装置と見立てて利用する場合、事業者毎に設備も利用にあたっての認証等も異なることが多いから、一つの事業者のセキュリティが破られても他の事業者までは影響が及ばず、データの全体を悪意者に取得される可能性を極めて低くすることが可能である。
上記のストレージサービス提供装置において、前記書き込むべきファイルが、ユーザにより元のファイルの全体が暗号化されたものであって、複数のデータに分割され、前記複数のデータのうちあるデータを有するブロックオブジェクトと、前記管理情報オブジェクトとが、前記複数のストレージ装置のうちの別々のストレージ装置に保存されるように、ストレージ装置を特定するためのオブジェクト識別情報が割り当てられるものであるようにしてもよい。
これによっても、ファイルを利用者から預かって保存するサービスを、高いセキュリティで提供することが可能になる。悪意者が管理情報オブジェクトを取得できなければ、取得したブロックオブジェクトからファイルを構築することができず、同一ファイルに属する他のブロックオブジェクトがどれかも分からないため、復号不能となるからである。
上記のストレージサービス提供装置において、前記管理情報オブジェクトが、前記ファイルの部分を構成するデータを有するブロックオブジェクトのオブジェクト識別情報と、当該ブロックオブジェクトのデータが前記ファイル中のどの部分に並ぶべきかを示すオフセット情報とを含み、前記ファイル内にデータが存在しない部分がある場合、該データが存在しない部分に対応するブロックオブジェクトは生成せずに、存在するデータを有するブロックオブジェクト及び前記管理情報オブジェクトを保存させ、ファイルを読み出す際に、前記管理情報オブジェクトにより、前記ファイル中のある部分に対応するオブジェクト識別情報が存在しないことが示されると、該ある部分にNULデータを並べることにより、前記ファイルを取得するようにしてもよい。
これにより、ファイル中のデータのない部分についてはブロックの実体を保存しなくて済むため、ストレージ装置における保存に用いる容量は実際にデータがある分だけとすることができ、スパースファイルを容易に実現することが可能となる。ストレージサービスでは、使った容量に比例して課金されることがあるため、データのない分の容量まで料金を支払わずに済むことは、利用者にとっても好ましい。
このように、ファイルの構造を管理情報オブジェクトだけで表現できれば、例えば、実際に書き込むデータの容量に関わらず巨大なサイズのファイルを作成しておき、後からそのファイル中のデータのない部分にデータを書き込んで、その時に初めてブロックオブジェクトを生成するような使い方も可能になる。
上記のストレージサービス提供装置において、前記管理情報オブジェクトが、前記ファイルの部分を構成するデータを有するブロックオブジェクトのオブジェクト識別情報と、当該ブロックオブジェクトのデータが前記ファイル中のどの部分に並ぶべきかを示すオフセット情報とを含み、前記ファイル内にデータが存在する部分に続けてデータが存在しない部分がある場合、存在するデータと該データの長さの情報とを有するブロックオブジェクト及び前記管理情報オブジェクトを保存させ、ファイルを読み出す際に、前記管理情報オブジェクトが示す前記ファイル中のある部分に並ぶべきデータの長さが、該ある部分に対応するブロックオブジェクトが有する長さの情報が示すデータの長さより長いならば、長さが足りない分NULデータを並べることにより、前記ファイルを取得するようにしてもよい。
このように、管理情報オブジェクト中のオフセット情報とブロックオブジェクト中のデータの長さ情報とを用いることによっても、ストレージ装置における保存に用いる容量は実際にデータがある分だけとすることができ、スパースファイル(データが存在しない部分はデータ書き込みを行わないファイル)を実現することが可能になる。
上記のストレージサービス提供装置において、読み出すべきファイルに対応して求められる先頭オブジェクト識別情報が付与された管理情報オブジェクトは、該ファイルの全体の長さの情報と、該長さを有する前記ファイル内のどの部分にどのオブジェクト識別情報が付与されたオブジェクトが配置されるかを示す情報とを含み、前記オブジェクト識別情報が付与されたオブジェクトが再び管理情報オブジェクトである場合には、当該管理情報オブジェクトは、当該オブジェクトが前記ファイル内で配置される領域の長さの情報と、該長さを有する前記領域中のどの部分にどのオブジェクト識別情報が付与されたオブジェクトが配置されるかを示す情報とを含み、前記オブジェクト識別情報が付与されたオブジェクトがブロックオブジェクトである場合には、当該ブロックオブジェクトは、前記ファイルを構成するデータと、該データの長さの情報とを有するようにしてもよい。
これにより、先頭オブジェクト識別情報から管理情報オブジェクトを辿ってブロックオブジェクトにアクセスする過程で、ファイル全体の長さ、ファイル内の各領域の長さ、各領域に入るブロックオブジェクトのデータの長さが分かるため、各ブロックのデータサイズを可変としても、分散させて保存させた複数のブロックから元のファイルを構築することが可能になる。このように、各ブロックのデータを固定長にしなくてよいことを、保存するファイルのサイズを大小様々にするために活用することも可能である。
上記のストレージサービス提供装置において、保存されているファイルのデータの一部を更新する場合、前記ファイルに属するブロックオブジェクト及び管理情報オブジェクトのうち、データが書き換わるブロックオブジェクト及び当該ブロックオブジェクトのオブジェクト識別情報を含む管理情報オブジェクトを、各オブジェクトを保存しているストレージ装置から取得し、取得された各オブジェクトの内容のうち、前記データの書き換えによって変更されない部分はそのまま残し、変更される部分にデータを書き込むことにより、新たな各オブジェクトを生成して、該新たな各オブジェクトのオブジェクト識別情報に基づいて特定されるストレージ装置に保存させるようにしてもよい。
これにより、ファイルの書き込みに係るオブジェクトの操作を、get(取得)とput(保存)という基本命令によって実現することが可能になる。
上記のストレージサービス提供装置における前記オブジェクト識別情報を付与する手段を、前記複数のストレージ装置に保存される全てのブロックオブジェクト及び管理情報オブジェクトの間で一意になるように、新たなオブジェクト識別情報を割り当てるものとしてもよい。
これにより、オブジェクト識別情報として、例えば、UUID(Universal Unique Identifier)を付与することができ、オブジェクトの内容が更新される毎に新たにオブジェクト識別情報を付与することによって、上述したアトミックな更新、ファイルの書き込み中の読み出し、複製及びスナップショットの提供等も可能になる。
上記のストレージサービス提供装置における前記オブジェクト識別情報に基づいて前記複数のストレージ装置のうちの少なくとも一つを特定する手段が、前記オブジェクト識別情報の値に対して所定の計算を行った結果を前記複数のストレージ装置の数で割り算して得られる余りの値に従って、前記複数のストレージ装置のうちの一つを特定することを含むようにしてもよい。
これにより、例えば、ストレージ装置(物理デバイス、ストレージサーバ、又はストレージサービス)の個数がS個であった場合、オブジェクト識別情報から計算される余りの値が0~(S-1)のいずれになるかによって、そのオブジェクトが保存されるストレージ装置を特定することができる。
このように、各オブジェクトがどのストレージ装置に保存されるかについては、オブジェクト識別情報に対して計算を行うだけで求めることができ、システム内に管理情報を保持する必要がない構成にすると、単一障害点となる要素をさらに低減することが可能になる。例えば、ストレージ装置によってアクセス方法が異なる場合は、ストレージ装置とアクセス方法との対応を示す情報をシステム内に保持することになるが、この情報の量は、ストレージ装置の数の分だけに限られ、上述した管理情報のようにファイルの数及びそれを構成するオブジェクトの数によって爆発的に増加するものではないため、単一障害点となる要素を極めて少なくできる。
別の例として、各ストレージ装置が担当する値の範囲を割り振っておき(ストレージ装置Bは35以上49未満、ストレージ装置Cは49以上60未満、…等)、オブジェクト識別情報から計算される値(例えば、ハッシュ値)が、どの範囲に入るかによって、そのオブジェクトが保存されるストレージ装置を特定するようにしてもよい。
この場合、上記のストレージサービス提供装置における前記オブジェクト識別情報に基づいて前記複数のストレージ装置のうちの少なくとも一つを特定する手段が、前記複数のストレージ装置のそれぞれに該装置の担当する値の範囲を割り振り、前記オブジェクト識別情報の値に対して所定の計算を行った結果と各装置の担当する値の範囲とを比較することにより、前記複数のストレージ装置のうちの一つを特定することを含むようにしてもよい。
これによっても、各オブジェクトがどのストレージ装置に保存されるかについては、オブジェクト識別情報に対して計算を行うだけで求めることができるため、単一障害点となる要素を低減することが可能になる。上述した余りの値を使う方法は、ストレージ装置の個数が固定的となるため、静的な方法であるが、こちらの担当範囲の値を使う方法は、担当範囲を動的に変更することができるため、ストレージ装置の動的な追加や削除に対応することができる。
その場合、すなわち、前記ネットワークを介して接続されるストレージ装置が追加又は削除される場合、上記のストレージサービス提供装置において、前記オブジェクト識別情報に基づいて前記複数のストレージ装置のうちの少なくとも一つを特定する手段を、複数のオブジェクト識別情報のうちの一部について追加されたストレージ装置が特定されるように、又は、いずれのオブジェクト識別情報についても削除されたストレージ装置が特定されないように、特定の処理方法を変更するものとしてもよい。
なお、上記のストレージサービス提供装置においては、ファイルと先頭オブジェクト識別情報との対応が、ファイルの数によって増加する管理情報になり得る。このファイルと先頭オブジェクト識別情報との対応をどこに保持するかについては、例えば、次の3つの方法があり得る。先頭オブジェクト識別情報は、例えば、最初にファイルを作成する時には、内容が空であることを示す特別なIDがどのファイルについても割り振られ、ファイルの内容が書き込まれると、システム全体で一意なオブジェクトIDが付与され、ファイルの内容がその後更新されると、新たに一意なオブジェクトIDに書き換えられる。なお、オブジェクトIDは、そのオブジェクトがテーブルであるかブロックであるかを示す情報を含んでもよい。
第1の方法は、ストレージサービス提供装置自身によって保持する方法であり、例えば、上述したストレージ装置とアクセス方法との対応を示す情報と共通の管理下で記憶しておくようにしてもよい。この場合、上記のストレージサービス提供装置が、読み出すべきファイルに対応する先頭オブジェクト識別情報を記憶する手段をさらに備え、前記記憶された先頭オブジェクト識別情報に基づいて、前記ファイルについて最初にアクセスするストレージ装置を特定するようにしてもよい。
第2の方法は、複数のストレージ装置のうち、そのファイルのファイル識別情報に基づいて特定されるストレージ装置に保存させる方法である。この場合、上記のストレージサービス提供装置が、読み出すべきファイルの識別情報に基づいて前記複数のストレージ装置のうちの少なくとも一つを特定する手段をさらに備え、ここで特定されるストレージ装置が、読み出すべきファイルに対応する先頭オブジェクト識別情報を、管理情報オブジェクトの一種として保存するようにしてもよい。
第3の方法は、ストレージサービス提供装置に接続されるデータベース等によって保持する方法であり、例えば、各ファイルの属性情報(所有者、作成日時、更新日時、タイトル、パスワード等)を保存するデータベースに、属性情報のうちの一つの要素として、そのファイルの先頭オブジェクト識別情報を記入しておいてもよい。この場合、上記のストレージサービス提供装置が、各ファイルに対応する先頭オブジェクト識別情報をファイルの属性情報とともに記憶する属性管理装置とネットワークを介して接続する手段をさらに備え、読み出すべきファイルに対応する先頭オブジェクト識別情報を前記属性管理装置から取得し、取得した先頭オブジェクト識別情報に基づいて、前記ファイルについて最初にアクセスするストレージ装置を特定するようにしてもよい。
本発明の原理に従う一例に係るストレージサービス提供システムは、クライアント装置及び該クライアント装置にネットワークを介して接続された複数のストレージ装置を備え、該クライアント装置がユーザに対してファイルのストレージサービスを提供する。そして、前記複数のストレージ装置は、一つのファイルにつき、それぞれオブジェクト識別情報が付与された複数のブロックオブジェクト及び一つ以上の管理情報オブジェクトを保存する手段を備え、前記複数のブロックオブジェクトのそれぞれは、複数のデータに分解された前記ファイルを構成する各データを有し、前記管理情報オブジェクトは、前記各ブロックオブジェクトのデータから前記ファイルを構築するための情報を有するものであり、前記クライアント装置は、読み出すべきファイルに対応する先頭オブジェクト識別情報を求め、当該先頭オブジェクト識別情報に基づいて特定されるストレージ装置にアクセスして、前記管理情報オブジェクトを取得する手段と、取得された管理情報オブジェクトに含まれている前記ファイルを構築するための情報を用いて、前記ファイルを構成するデータを有するブロックオブジェクトのオブジェクト識別情報を求め、当該オブジェクト識別情報に基づいて特定されるストレージ装置にアクセスして、前記ブロックオブジェクトを取得する手段と、取得されたブロックオブジェクトが有するデータを、前記ファイルを構築するための情報に従って並べることにより、前記ファイルを取得する手段とを備える。
このシステムにおけるクライアント装置は、上述したストレージサービス提供装置のうちのファイルの読み出しに係る機能を有するものであるが、ファイルの書き込みに係る機能を付加したものとしてもよい。
上記のストレージサービス提供システムにおいて、複数の前記クライアント装置を備えるようにし、前記管理情報オブジェクトが、複数のオブジェクト識別情報を含み、前記複数のクライアント装置のそれぞれが、前記読み出すべきファイルに対応する先頭オブジェクト識別情報を求めることができるように設定され、前記先頭オブジェクト識別情報に基づいて前記管理情報オブジェクトの取得を要求する処理及び前記複数のオブジェクト識別情報に基づいて各オブジェクトの取得を要求する処理を、他のクライアント装置から独立して行うようにしてもよい。
これにより、特定のファイルに多数のアクセスが集中するような場合、エンドユーザからのアクセスを受け付けるクライアント装置を複数設けて、フロントエンドでアクセス処理を分散することができ、バックエンドの複数のストレージ装置にファイルが分散して保存されているという利点を、さらに効果的に引き出すことが可能になる。
上述したストレージサービス提供装置の各発明は、ストレージサービス提供システムの発明としても成立し、上述したストレージサービス提供システムの各発明は、そこでクライアント装置として動作するストレージサービス提供装置の発明としても成立するものである。なお、上述した各手段をユニットとして構成することも可能である。
さらに、上述したストレージサービス提供装置又はシステムの各発明は、ストレージサービス提供装置が行う方法の発明としても、システム全体が行う方法の発明としても、汎用のコンピュータを本ストレージサービス提供装置として動作させるためのプログラム(又はそのプログラムを記録した記録媒体)の発明としても、汎用のコンピュータシステムを本システムとして動作させるためのプログラム(又はそのプログラムを記録した記録媒体)の発明としても、勿論成立するものである。
例えば、本発明の原理に従う一つのストレージサービス提供方法(ファイルの書き込みに係る)は、複数のストレージ装置とネットワークを介して接続されたコンピュータにより、これらのストレージ装置を利用してファイルを保存するサービスを提供する方法であって、書き込むべきファイルを一つ以上のデータに分解し、該ファイルを構成するデータをブロックオブジェクトとして、各ブロックオブジェクトにオブジェクト識別情報を付与し、前記各ブロックオブジェクトのデータから前記ファイルを構築するための情報を作成し、該情報を管理情報オブジェクトとして、管理情報オブジェクトにオブジェクト識別情報を付与し、前記各ブロックオブジェクト及び前記管理情報オブジェクトを、前記複数のストレージ装置のうち、それぞれのオブジェクト識別情報に基づいて特定されるそれぞれのストレージ装置へ、送信して保存させる。
本発明の原理に従う別の例に係るストレージサービス提供方法(ファイルの読み出しに係る)は、複数のストレージ装置とネットワークを介して接続されたコンピュータにより、これらのストレージ装置を利用して保存されているファイルを取得するサービスを提供する方法であって、一つのファイルにつき、それぞれオブジェクト識別情報が付与された複数のブロックオブジェクト及び一つ以上の管理情報オブジェクトが保存されており、前記複数のブロックオブジェクトのそれぞれは、複数のデータに分解された前記ファイルを構成する各データを有し、前記管理情報オブジェクトは、前記各ブロックオブジェクトのデータから前記ファイルを構築するための情報を有するものであり、読み出すべきファイルに対応する先頭オブジェクト識別情報を求め、当該先頭オブジェクト識別情報に基づいて特定されるストレージ装置にアクセスして、前記管理情報オブジェクトを取得し、取得された管理情報オブジェクトに含まれている前記ファイルを構築するための情報を用いて、前記ファイルを構成するデータを有するブロックオブジェクトのオブジェクト識別情報を求め、当該オブジェクト識別情報に基づいて特定されるストレージ装置にアクセスして、前記ブロックオブジェクトを取得し、取得されたブロックオブジェクトが有するデータを、前記ファイルを構築するための情報に従って並べることにより、前記ファイルを取得する。
また例えば、本発明の原理に従う一つのストレージサービス提供プログラム(ファイルの書き込みに係る)は、複数のストレージ装置とネットワークを介して接続されたコンピュータを、これらのストレージ装置を利用してファイルを保存するサービスを提供する装置として動作させるためのプログラムであって、書き込むべきファイルを一つ以上のデータに分解し、該ファイルを構成するデータをブロックオブジェクトとして、各ブロックオブジェクトにオブジェクト識別情報を付与するためのプログラムコードと、前記各ブロックオブジェクトのデータから前記ファイルを構築するための情報を作成し、該情報を管理情報オブジェクトとして、管理情報オブジェクトにオブジェクト識別情報を付与するためのプログラムコードと、前記各ブロックオブジェクト及び前記管理情報オブジェクトを、前記複数のストレージ装置のうち、それぞれのオブジェクト識別情報に基づいて特定されるそれぞれのストレージ装置へ、送信して保存させるためのプログラムコードとを備える。
本発明の原理に従う別の例に係るストレージサービス提供プログラム(ファイルの読み出しに係る)は、複数のストレージ装置とネットワークを介して接続されたコンピュータを、これらのストレージ装置を利用して保存されているファイルを取得するサービスを提供する装置として動作させるためのプログラムであって、一つのファイルにつき、それぞれオブジェクト識別情報が付与された複数のブロックオブジェクト及び一つ以上の管理情報オブジェクトが保存されており、前記複数のブロックオブジェクトのそれぞれは、複数のデータに分解された前記ファイルを構成する各データを有し、前記管理情報オブジェクトは、前記各ブロックオブジェクトのデータから前記ファイルを構築するための情報を有するものであり、読み出すべきファイルに対応する先頭オブジェクト識別情報を求め、当該先頭オブジェクト識別情報に基づいて特定されるストレージ装置にアクセスして、前記管理情報オブジェクトを取得するためのプログラムコードと、取得された管理情報オブジェクトに含まれている前記ファイルを構築するための情報を用いて、前記ファイルを構成するデータを有するブロックオブジェクトのオブジェクト識別情報を求め、当該オブジェクト識別情報に基づいて特定されるストレージ装置にアクセスして、前記ブロックオブジェクトを取得するためのプログラムコードと、取得されたブロックオブジェクトが有するデータを、前記ファイルを構築するための情報に従って並べることにより、前記ファイルを取得するためのプログラムコードとを備える。
以下、本発明の実施の形態のシステムについて、例示のために、図面を用いて説明する。本実施の形態では、例えば、ストレージサービス(ユーザのデータをネットワーク上の多数のストレージ装置に保存するサービス)等のクラウドサービスに用いられる分散型ストレージサービス提供システムの場合を例示する。
まず、本実施の形態の分散型ストレージサービス提供システム(本システム)の構成を、図面を参照して説明する。図1は、本システムの構成を示す説明図である。図1に示すように、本システム1は、エンドユーザが使用するユーザ端末2と、本システム1の利用者(サービス提供者)が使用するクライアント装置3と、クライアント装置3にネットワークを介して接続された複数のストレージ装置4で構成されている。本システムでは、クライアント装置3を介してストレージサービスがエンドユーザに提供される。したがって、クライアント装置3は、ストレージサービス提供装置と呼ぶこともできる。ここで、ユーザ端末2やクライアント装置3は、例えばコンピュータなどであり、ストレージ装置4は、例えば事業者やデータセンターなどに設置されたサーバなどである。
図1(a)は、複数の事業者(例えば、事業者A~C)のストレージサービスを仮想デバイスに見立てた場合の説明図である。また、図1(b)は、複数のサーバ(サーバA~E)のストレージ機能を仮想デバイスに見立てた場合の説明図である。図1(a)および(b)に示すように、本システムでは、仮想デバイスを多数たばねることにより、論理的に容量が無制限の仮想的なファイルとして扱うことができる。この場合、エンドユーザが使用するユーザ端末からは、ネイティブファイルシステムとして見えるようになる。
図2は、本システムのクライアント装置3の構成を示すブロック図である。図2に示すように、クライアント装置3は、ストレージ装置4との通信を行う通信部5と、ユーザ端末2からの要求に応じてファイルの書き込み処理や読み出し処理を実行する書き込み・読み出し処理部6と、ストレージ装置4へのアクセス方法を定めるためのサービステーブル記憶部7を備えている。
図3は、本システムのストレージ装置4の構成を示すブロック図である。図2に示すように、ストレージ装置4は、クライアント装置3との通信を行う通信部8と、ファイルやオブジェクトが保存されるファイル・オブジェクト保存部9と、保存されているファイルやオブジェクトの管理を行うファイル・オブジェクト管理部10を備えている。
次に、本システムの機能について説明する。図4は、本システムの機能の説明図である。上述のように、本システムは、エンドユーザが使用するユーザ端末からは、標準的なNFS(ネットワークファイルシステム)サーバ(例えば、RFC1813サーバ)などとして使うことができる。そのため、本システムは、ファイルへの操作に関して、以下のような種々の機能を備えている。
まず、図4(a)に示すように、本システムは、ファイルを作成するための「CREATE」という機能と、ファイルを削除するための「DELETE」という機能を備えている。「CREATE」の機能では、特にパラメータなどは用いられない。「DELETE」の機能では、「file-id」がパラメータとして用いられる。ここで、「file-id」は、ファイルを識別するための識別情報である。
また、図4(b)に示すように、本システムは、ファイルからデータを読み出すための「READ」という機能と、ファイルへデータを書き込むための「WRITE」という機能を備えている。「READ」の機能では、「file-id」、「offset」、「data」などがパラメータとして用いられる。「WRITE」の機能では、「file-id」、「offset」、「データ領域」などがパラメータとして用いられる。ここで、「offset」は、データがデータ領域内でどの部分に配置されるべきかを示す情報である。「data」は、文字列や数値などのデータの情報であり、データの長さ(length)の情報も含まれる。「データ領域」は、データが書き込まれる領域の情報であり、その領域に書き込むことができるデータの長さ(length)の情報も含まれる。
次に、本システムのファイル構造について説明する。図4および図5は、本システムのファイル構造の概念図である。本システムでは、図4に示すようなデータ構造でファイルが表現される。ユーザ端末からアクセスされるファイルは、「ファイルオブジェクト(単にファイルともいう)」、「テーブルオブジェクト(単にテーブルともいう)」、「ブロックオブジェクト(単にブロックともいう)」により構成される階層構造を有している。この場合、「ファイルオブジェクト」の中に「テーブルオブジェクト」が含まれ、「テーブルオブジェクト」の中に「ブロックオブジェクト」が含まれる。図4に示すように、「テーブルオブジェクト」の中に「テーブルオブジェクト」が含まれてもよい。なお、この概念図は、本システムのファイル構造を抽象的に表現したものである(データの実体やデータの保存場所については後述する)。
この場合、ユーザ端末からのファイルへのアクセスは、利用するプロトコルに依存する。例えば、ファイルシステムでは、ファイルへのアクセスに「パス名」が用いられる。また、NFSの場合には「パス名」から対応する「file handle」を検索し、それ以降は「file handle」を用いてファイルへのアクセスが行われる。また、HTTPの場合には「URL」がファイルへのアクセスに用いられる。
本システムでは、ファイルは「file-id」によって表現される。上述のように「file-id」は、ファイルに対して一意なID(識別情報)である。本システムでは、ファイルの実体はテーブルであり、テーブルは、ファイルの長さ(length)やデータの配置(offset)などの情報を持っている。なお、上述のように、テーブルは、再帰的に配置が可能なテーブルを表現することができ、テーブルの中にテーブルを配置することが可能である。テーブルは、テーブルを構成する要素のオブジェクト(テーブルまたはブロック)のリスト(<offset,object-id>のリスト)を取得するインターフェースを備えている。本システムでは、ブロックがデータの実体を表現している。ブロックは、実データ(仮想デバイス上に存在するデータ)にアクセスするためのインターフェースを備えている。
図6では、本システムのファイル構造が「木構造」として表現されている。本システムでは、ファイルを表現するためのデータ構造は、再帰構造をとることが可能である。したがって、本システムのファイル構造は、図6に示すように木構造(ツリー構造)として表現することもでき、ブロックは、木構造のリーフに位置することになる。この場合、オブジェクト(テーブルまたはブロック)は、「object-id(table-idまたはblock-id)」と「length」の情報を持つ「箱」として表現することができる。
図7は、本システムのファイル構造を説明するための具体例を示した図である。図7の例では、ファイルオブジェクト(file-id)により特定されたテーブル(先頭テーブル)は、「table-1」というテーブルIDのテーブルであり、「950」という「length」の情報と、「<0,block-20>、<100,table-3>、<600,block-12>、<750,table-10>」というリストの情報を持っている。
この「table-1」のテーブルを「readAt」すると、オフセット0の位置に配置された100バイトの長さの「block-20」のデータと、オフセット100の位置に配置された「table-3」のテーブル(リスト)と、オフセット600の位置に配置された150バイトの長さの「block-12」のデータと、オフセット750の位置に配置された「table-10」のテーブル(リスト)が読み出される。なお、「readAt」は、データの読み出しをするための命令(インターフェース)である。なお、上述のように、「オフセット」は、ファイル内での位置(そのファイルの先頭からの位置)を表す情報である。
「table-3」と「table-10」のテーブル(リスト)は、さらに「readAt」できる。この場合、「table-3」のテーブルは、「500」という「length」の情報と、「<0,block-120>、<300,block-130>」というリストの情報を持っている。したがって、この「table-3」のテーブルを「readAt」すると、領域オフセット0の位置に配置された100バイトの長さの「block-120」のデータと、領域オフセット300の位置に配置された200バイトの長さの「block-130」のデータが読み出される。また、「table-10」のテーブルは、「200」という「length」の情報と、「<0,block-800>、<50,block-900>」というリストの情報を持っている。したがって、この「table-10」のテーブルを「readAt」すると、領域オフセット0の位置に配置された50バイトの長さの「block-800」のデータと、領域オフセット50の位置に配置された150バイトの長さの「block-900」のデータが読み出される。なお、「領域オフセット」は、そのテーブルが示す領域内でのオフセット(そのテーブルが示す領域の先頭からの相対位置)を表す情報である。
結果として、「table-1」のテーブルからは、オフセット0の位置に配置された100バイトの長さの「block-20」のデータと、オフセット100(領域オフセット0)の位置に配置された100バイトの長さの「block-120」のデータと、オフセット400(領域オフセット300)の位置に配置された200バイトの長さの「block-130」のデータと、オフセット600の位置に配置された150バイトの長さの「block-12」のデータと、オフセット750(領域オフセット0)の位置に配置された50バイトの長さの「block-800」のデータと、オフセット800(領域オフセット50)の位置に配置された150バイトの長さの「block-900」のデータが、読み出されることになる。なお、オフセット200から400までの間のデータがない領域は「nul」で埋められている。
次に、図8を参照しながら、本システムの仕組みについて説明する。図8に示すように、本システムでは、テーブルやブロックに関連する情報を、抽象化されたオブジェクトとして扱い、その内容をネットワーク上の仮想デバイス(サーバやサービス)上に持つようにしている。そして、本システムでは、ネットワーク上の仮想デバイス(サーバやサービス)上に必要な情報を分散配置することによって、特定のサーバや特定の領域に管理情報を保存する必要性をなくすようにしている。
続いて、ファイルに関するデータ構造について説明する。ファイルは、そのファイルを示す一意な「file-id」を持っている。また、ファイルは、そのファイルの内容を表現するためのテーブル(先頭テーブル)の「table-id」に対応付けされている。本システムにおいて、ファイルの内容に関する情報は、先頭テーブルに書き込まれた「table-id」のみであり、詳細な内容は「table-id」から再帰的にデータを取得することにより得られるようになっている。なお、実装上は、「file-id」と先頭テーブルの「table-id」の対応表もネットワーク上にオブジェクトとして保存されていてよい。ファイルの長さ(length)は、先頭テーブルに対して「getLength」して取得できるの長さ(length)と同じである。すなわち、「getLength(ファイルオブジェクト) = getLength(該当ファイルの先頭テーブル)」である。なお、ファイルは、属性情報(所有者、アクセス権限、更新日時)や管理情報を持っていてもよい。
次に、本システムにおけるオブジェクトの定義について説明する。オブジェクトは、そのオブジェクトを識別するために一意性を有する識別子(object-id)と、データの長さ(length)の情報を持っている。「object-id」としては、例えば、64ビットの整数、UUID、任意の文字列などが使用される。また、「length」は、負でない整数であり、例えば64ビットの整数などで表現される。オブジェクトの「length」は、「getLength」で取得することができる。本システムのオブジェクトには、ブロックとデータが含まれる。
ブロックは、オブジェクトの一種であり、「block-id」と「length」の情報を持っている。ブロックは、コンテンツと呼ぶこともできる。ブロック(コンテンツ)のデータは、「getContent」で取得することができる。また、ブロックは、「putContent(block-id, content, length)」で「block-id」と「content」と「length」を与えることにより、新規に生成することもできる。なお、ブロックの上書きは不可である。
テーブルも、オブジェクトの一種であり、「table-id」と「length」の情報を持っている。また、テーブルは、「<offset,object-id>のリスト」を持っている。ここで、「object-id」は、「block-id」または「table-id」である。テーブルのデータは、「getTable」で取得することができる。また、テーブルは、「putTable(table-id,<offset,object-id>)」で「table-id」と「<offset,object-id>」を与えることにより、新規に生成することもできる。なお、テーブルの上書きは不可である。また、<offset0,object0>というエントリについては、「offset0 ≧ 0(「offset」の値が0以上であること)」、「object0.getLength() > 0(そのオブジェクトの「length」の値が0より大きいこと)」、「offset0 + object0.getlength() ≦ table.getLength()(「offset」の値にそのオブジェクトの「length」の値を加えた値が、テーブルの「length」の値以下であること)」が、すべて成り立つことが条件とされる。
本システムにおいて、「block-id」は、仮想デバイス上のデータに対応しており、ブロックオブジェクトへのアクセスでは、「サービステーブル(後述する)」を用いて仮想デバイスへのアクセスに必要な情報を求め、「block-id」に対応付けられているデータ(と長さの情報)を取得する。また、本システムにおいて、「table-id」は、仮想デバイス上の情報に対応しており、テーブルオブジェクトへのアクセスでは、ブロックの場合と同様にして、仮想デバイスから情報を取得することができる。ただし、この場合に取得できる情報の中身は、テーブルの情報(すなわち、テーブルが表現するファイル内の領域の長さ(length)と<offset,object-id>のリスト)である。
上記データのアクセスで利用されるサービステーブルは、「一意の(ユニークな)ID番号」と「アクセス手段」の情報を含んでいる。事業者が提供するサービスの場合のアクセス手段は、例えば「http://jigyousya.com/storage/%s」などである。また、ネットワークサーバへのアクセス手段は、例えば「10.0.50.11:/users/isi(NFSの場合)」や「samba://10.0.60.1/public(CIFSの場合)」などであり、物理デバイスへのアクセス手段は、例えば「/dev/sd0a」などである。なお、サービステーブルの詳細については後述する。
ここで、ブロック(コンテンツ)の保存や取得をする場合に用いられる命令(インターフェース)について説明する。ブロックの保存(新規作成)をする場合には「putContent(block-id, length, content)」が用いられる。この場合、「block-id」から仮想デバイスが特定され、その「block-id」に対応するデータを保存する。このとき、「HTTP PUT」や「NFS WRITE」など、仮想デバイスに応じたデータ保存の仕組みを利用してもよい。なお、上述のとおり、本システムでは、ブロックの新規保存のみ可能であり、ブロックの上書きは不可である。
ブロックの取得(データの取得)をする場合には「getContent(block-id)」が用いられる。この場合、「block-id」から仮想デバイスが特定され、その「block-id」に対応するデータを取得する。このとき、「HTTP GET」や「NFS READ」など、仮想デバイスに応じたデータ保存の仕組みを利用してもよい。なお、その「block-id」に対応するデータがない場合には「エラー」となる。
なお、上記の説明では、ブロックの保存や取得のためのインターフェースのみを定義したが、仮想デバイス(サービスやサーバなど)によって、実際の通信手法は、「block-id」に対応するデータが保存または取得できるものであれば、如何なる手法を用いてもよい。例えば、一般的なウェブの場合には「http」を用いてもよく、ウェブサービスの場合には「rest」、「xml」、「xml-rpc」などを用いてもよい。また、ネットワークサーバの場合には「nsf」、「webdav」、「cifs」、「ftp」などを用いてもよく、物理デバイスの場合には、「iSCSI」やその他の通常のストレージを用いてもよい。
次に、テーブルの保存や取得をする場合に用いられる命令(インターフェース)について説明する。テーブルの保存(新規作成)をする場合には「putTable(id, length, list of <offset,object-id>)」が用いられる。これにより、「length」の情報と<offset,object-id>のリストがエンコードされる。ここで、「object-id」は、「block-id」または「table-id」である。また、最も単純なエンコード手法は、文字列としてこの内容を書き出す方法である。エンコード手法の例としては、(1)可読文字列で表現する手法(例えば、「10」を、文字列の「10」で表現する手法)や、(2)バイト列で保存する手法(例えば、「int」は4バイト、「long」は8バイトの列で保存する手法)や、(3)「tuple(タイプ、長さ、データ)」の列としてデータを保存する手法などがある。
この場合、「table-id」から仮想デバイスが特定され、その「table-id」にエンコードしたデータを保存する。このとき、「HTTP PUT」や「NFS WRITE」など、仮想デバイスに応じたデータ保存の仕組みを利用してもよい。なお、実装上は、ブロックの保存のときに用いられる「putContent」を利用してもよい。また、上述のとおり、本システムでは、テーブルの新規保存のみ可能であり、テーブルの上書きは不可である。
テーブルの情報を取得する場合には「getTable(table-id)」が用いられる。この場合、「table-id」から仮想デバイスが特定され、その「table-id」に対応するデータを取得する。このとき、「HTTP GET」や「NFS READ」など、仮想デバイスに応じたデータ保存の仕組みを利用してもよい。なお、実装上は、ブロックの取得のときに用いられる「getContent」を利用してもよい。取得したテーブルの情報をデコードすることによって、「length(長さ)」と「list of <offset,object-id> (<offset,object-id>のリスト)」を取得することができる。
なお、この場合、「各「object-id」から取得した「(sub) length」は、次の「offset」までに収まっていること」が条件とされる。また、「最終の「offset」に位置する「object-id」の「length」については、「テーブルの「length」≧ 最終の「offset」+ (sub) length(最終の「offset」の値に「(sub) length」の値を加えた値が、テーブルの「length」の値以下であること)」が、成り立つことが条件とされる。
続いて、ファイル、テーブル、ブロックのすべてに共通するインターフェース(共通インターフェース)について説明する。書き込み用の共通インターフェースは「writeAt」である。「writeAt」は、「offset」と「length」と「データのバイト列」を受け取る。「writeAt (object-id, object_offset, buffer, bufoff, buflen)」は、「object-id」と「object_offset」と「buffer」と「bufoff」と「buflen」を与えると、更新されたデータを持った新しい「object-id」を返す。読み出し用の共通インターフェースは「readAt」である。「readAt」は、「offset」と「length」と「読み出すデータ領域の情報」を受け取る。「readAt (object-id, object_offset, buffer, bufoff, buflen)」は、「object-id」と「object_offset」と「buffer」と「bufoff」と「buflen」を与えると、該当の領域のデータを読み出した内容を、「buffer」、「bufferoff」、「bufferlen」で示される領域にコピーし、読み出せたデータの長さ「length」を返す。
この場合、「object-id」は、「file-id」または「table-id」または「block-id」である。また、「object-offset」は、そのオブジェクト内での相対位置(offset)を表現する情報である。また、「buffer」と「bufoff」と「buflen」は、「バッファ」を表現する情報である。読み出しや書き込みの要求は、実際のデータの受け渡しを「buffer」というポインタで始まるデータ領域の「bufoff」で示される相対位置から、「buflen」という長さのバイト分のデータという形で表現する。「writeAt」で書き込みをするときには、上記のデータ領域(バッファ領域)から書き込むべきデータを取得して、データを書き込む。「readAt」で読み出しをするときには、上記のデータ領域(バッファ領域)に読み出したデータをコピーすることにより、データが読み出される。
なお、上記の説明では、ファイル、テーブル、ブロックのすべてに共通するインターフェースのみを定義したが、実際の動作は、ファイル、テーブル、ブロックのそれぞれで定義してよい。
次に、本システムの機能の実装例について説明する。ファイルの新規作成(CREATE)の機能は、「create」により実装される。この「create」は、新規に長さがゼロのファイルを作るインターフェースである。「create」の内部処理は、まず「file-id」を新規に割り当て、その「file-id」の先頭テーブルを「EMPTY_TABLE」にセットし、その「file-id」を返すというものである。ここで、「EMPTY_TABLE」は、長さがゼロであって、リストの要素数がゼロである特別なテーブルである。これは、実データを持たないため、仮想デバイス上に実態を持つ必要がなく、特別なオブジェクトID(空テーブルを示す全ファイルに共通のID)だけが存在する。「create」は、「file-id」を割り当てるだけのものであるともいえる。
ファイル(ファイルオブジェクト)への書き込み(WRITE-1)の機能は、「writeAt (object-id, object_offset, buffer, bufoff, buflen)」により実装される。この場合、「object-id」は「file-id」である。このファイルへの書き込みでは、「object_offset」が十分に大きい場合、例えば、現在の階層の深さdに対して「object_offset」が「4MB×1000d」以上である場合に、階層構造をひとつ増やす(木構造を一段深くする)処理が行われる。このとき、「現在のlength」と<0,先頭テーブルのtable-id>を持ったテーブルが新規に作成され、そのファイルの先頭テーブルの「tabale-id」が書き換えられる。また、ファイルに対応づけられている「table-id」に対して「writeAt (table-id, object_offset, buffer, bufoff, buflen)」を実行すると、新しく割り当てられた「table-id」が先頭テーブルとして登録される。これにより、特別なオブジェクトID又は以前の「table-id」が、新たな「table-id」に書き換えられる。「writeAt」は、更新されたオブジェクトのIDを返す必要があるが、ファイルへの書き込みでは、先頭テーブルだけを書き換えて、自身の「file-id」を返すようになっている。
テーブル(テーブルオブジェクト)への書き込み(WRITE-2)の機能は、「writeAt (object-id, object_offset, buffer, bufoff, buflen)」により実装される。この場合、「object-id」は「table-id」である。このテーブルへの書き込みでは、「buflen」>0の間、以下の(1)~(4)の処理が繰り返される。
(1)の処理では、リストから「object_offset」に該当するサブ(下位の)オブジェクト(テーブルまたはブロック)を検索する。例えば、「object_offset + bufoff」がテーブルの各要素の「offset + getLength()」に入る場合を検索する。
(2)の処理では、該当するオブジェクトがなかった場合、「createId()」により「newId」を作成し、「putContent(newId, writelen, (buffer, bufoff, writelen))」により、その「newId」を「object_offset」に位置するサブオブジェクトとしてリストを更新する。ここで、「writelen」は、「Min(buflen,(次のオブジェクトのoffset - object_offset))」である。
(3)の処理では、該当オブジェクトの「child-id」に対して、「writeAt(child-id, object_offset - child-offset, buffer, bufoff, writelen)」を行うことにより、「newId」を「child-offset」に対応するサブオブジェクトとしてリストを更新する。ここで、「child-id」は、該当のサブオブジェクトを示すIDである。また、「child-length」は、そのサブオブジェクトの長さ(すなわち、getLength(child-id)で取得される長さ)であり、「child-offset」は、そのサブオブジェクトのoffsetの値である。また、「writelen」は、「Min(buflen, child-length)」である。
(4)の処理では、該当するオブジェクトがあった場合でも、該当するオブジェクトがなかった場合でも、「object_offset」を「object_offset + writelen」とし、「buflen」を「buflen - writelen」として、パラメータの更新を実行する。
このテーブルへの書き込みでは、現状の長さの「length」に対して、「length < object_offset + buflen」であれば、「length」を「object_offset + buflen」とする。また、最終的に出来上がったリストである「list」と、上記の「length」に対して、「createId()」により「newId」を作成し、「putTable(newId, length, list)」を実行したうえで、「newId」を返すようにされている。
ブロック(ブロックオブジェクト)への書き込み(WRITE-3)の機能は、「writeAt (object-id, object_offset, buffer, bufoff, buflen)」により実装される。この場合、「object-id」は「block-id」である。このブロックへの書き込みでは、該当ブロックの現在のデータを読み出す処理が行われる。例えば、「getContent(object-id)」により「currentData」が読み出される。「currentLength」は、この「currentData」のバイト列(実データ)の長さである。ブロックへの書き込みでは、「currentData」のバイト列について、「object_offset」から始まる部分に対して、「(buffer, bufoff, min(buflen, currentLength))」のデータを上書きする。そして、最終的にできあがったデータと、上記の「currentLength」に対して、「createId()」により「newId」を作成し、「putContent(newId, currentLength, currentData)」を実行したうえで、「newId」を返すようにされている。
ファイル(ファイルオブジェクト)からの読み出し(READ-1)の機能は、「readAt (object-id, object_offset, buffer, bufoff, buflen)」により実装される。この場合、「object-id」は「file-id」である。このファイルからの読み出しにおいて、「object_offset」が現在の長さ「length」以上の場合には、読み込むべきデータがないので、「END-OF-FILE」を返す。また、ファイルの先頭テーブルである「table-id」に対しては、「readAt (table-id, object_offset, buffer, bufoff, min(buflen, length - object_offset))」を実行する。
テーブル(テーブルオブジェクト)からの読み出し(READ-2)の機能は、「readAt (object-id, object_offset, buffer, bufoff, buflen)」により実装される。この場合、「object-id」は「table-id」である。このテーブルからの読み出しでは、「buflen」>0の間、以下の(1)~(4)の処理が繰り返される。
(1)の処理では、リストから「object_offset」に該当するサブ(下位の)オブジェクト(テーブルまたはブロック)を検索する。
(2)の処理では、該当するオブジェクトがなかった場合、「readlen = Min(buflen, (次のオブジェクトの offset - object_offset))」に対して、「(buffer, bufoff, readlen)」の領域をnul文字で埋める。
(3)の処理では、該当するオブジェクトがあった場合、その「child-id」に対して、「readAt(child-id, object_offset - child-offset, buffer, bufoff, readlen)」を実行する。ここで、「child-id」は、該当のサブオブジェクトを示すIDである。また、「child-length」は、そのサブオブジェクトの長さ(すなわち、getLength(child-id)で取得される長さ)であり、「child-offset」は、そのサブオブジェクトのoffsetの値である。また、「readlen」は、「Min(buflen, child-length)」である。
(4)の処理では、該当するオブジェクトがあった場合でも、該当するオブジェクトがなかった場合でも、「object_offset」を「object_offset + readlen」とし、「buflen」を「buflen - readlen」とし、「bufoff」を「bufoff + readlen」として、パラメータの更新を実行する。
ブロック(ブロックオブジェクト)からの読み出し(READ-3)の機能は、「readAt (object-id, object_offset, buffer, bufoff, buflen)」により実装される。この場合、「object-id」は「object-id」である。このブロックからの読み出しでは、該当ブロックの現在のデータを読み出す処理が行われる。例えば、「getContent(object-id)」により「currentData」が読み出される。「currentLength」は、この「currentData」のバイト列(実データ)の長さである。ブロックからの読み出しでは、「currentData」のバイト列に対して、「object_offset」から始まる「readlen」バイト分のデータを、「(buffer, bufoff, readlen)」にロードして、「readlen」を返す。ここで、「readlen」は、「min(buflen, currentLength) 」である。
次に、ファイルの読み出しと書き込みの具体例について説明する。図9には、本システムにおけるファイルの読み出しアクセスの一例が示されている。図9に示すように、ユーザ端末からファイルを読み出すアクセスがあると、まず、ファイルオブジェクトを特定するための「file-id」が算出される。次に、「file-id」と「table-id」の対応表を用いて、「file-id」に対応する「table-id」を取得する。ここでは、例えば「table-1」というテーブルIDが取得される。なお、上述のように、実装上は、「file-id」と「table-id」の対応表も一つのオブジェクトとしてネットワーク上に保存されていてもよい。
そして、「table-1」の内容を、仮想デバイスの選択アルゴリズム(後述する)を用いて、事業者Aから取得する。ここでは、例えば「650,<0,table-2>,<300,table-3>」という内容が取得される。以下、「table-2」と「table-3」の内容が再帰的に取得される。図9の例では、「table-2」の内容が「300,<0,block-a>,<100,block-b>,<200,block-c>」であり、「table-3」の内容が「200,<0,block-d>,<100,block-e>」である。そうすると、これらのテーブルの内容に従って、オフセット0の位置に配置された100バイトの長さの「block-a」のデータと、オフセット100の位置に配置された100バイトの長さの「block-b」のデータと、オフセット200の位置に配置された100バイトの長さの「block-c」のデータと、オフセット300(領域オフセット0)の位置に配置された250バイトの長さの「block-d」のデータと、オフセット550(領域オフセット250)の位置に配置された100バイトの長さの「block-e」のデータが読み出される。
図10~図14には、本システムにおけるファイルの書き込みアクセスの一例が示されている。ここでは、まず、新規ファイルの作成について説明する。図10に示すように、ユーザ端末からファイルを書き込むアクセスがあると、まず、「CREATE」の機能により、新規ファイルが作成される。このとき、先頭テーブルに「EMPTY_TABLE」がセットされる。
次に、先頭から100バイトのデータ(data)を書き込む処理について説明する。この場合、「WRITE-1」の機能により、ファイルへの書き込みが実行される。例えば、先頭テーブルの「EMPTY_TABLE」に対して、「writeAt(EMPTY_TABLE, 0, data, 0, 100)」が実行される。その後、「WRITE-2」の機能により、テーブルへの書き込みが実行される。この場合、「offset」に該当するブロックが存在しないため、ブロックを作成する。例えば、「block-a = createId()」、「putContent(block-a, 0 - 0, data, 0, 100)」により「block-a」のブロックを作成して、リストを更新する。次いで、「writeAt」内のメインループを抜けて、「length」を「100」に更新した後、「table-x = createId()」、「putTable(table-x, 100, <0, block-a>)」を実行し、「table-x」を返す。そして、上記「table-x」を先頭テーブルにセットし、処理を終了する。
続いて、図11および図12を参照しながら、「offset」が「50から150バイト」のデータ(data)を書き込む処理について説明する。図11に示すように、まず、「WRITE-1」の機能により、ファイルへの書き込みが実行される。この場合、先頭テーブルの「table-x」に対し、「writeAt(table-x, 50, data, 0, 150) 」が実行される。次に、「WRITE-2」の機能により、テーブルへの書き込みが行われる。この場合、第1のループ「loop-1」として、「offset」が「50」であるブロック「block-a」に対して、「wiriteAt(block-a, 50 - 0, data, 0, 50) 」が実行される。続いて、「WRITE-3」の機能により、「block-a」の現在のデータである100バイト分の「orig」をロードし、「orig」の「offset=50」に「(data, 0, 50) 」を上書きする。その後、「block-b = createId()」、「putContent(block-b, 100, orig)」で新規ブロックを作成する。そして、上記の「block-b」を、新たなブロックとして、リストを更新する。その結果、新しいリストは<0,block-b>になる。その後、「object_offset」に「50 + 50 = 100」をセットし、「buflen」に「150 - 50 = 100」をセットし、「bufoff」に「0 + 50 = 50」をセットして、次のループへ進む。
図12に示すように、第2のループ「loop-2」では、「offset」が「100」に該当するブロックがないため、「block-c = createId()」、「putContent(block-c, 100, (data, 50, 100))」を実行し、新規ブロックを作成する。これにより、テーブルのリストが更新され、新しいリストは「<0,block-b>,<100,block-c>」になる。このとき、「object_offset」に「100 + 100 = 200」をセットし、「buflen」に「100 - 100」をセットし、「bufoff」に「50 + 100 = 150」をセットする。この場合、「buflen」がゼロになるので、ループを終了する。そして、「length」を「200」にセットしたうえで、「table-y = createId()」、「putTable(table-y, 200, <0,block-b>,<100,block-c>)」を実行して新規テーブルを作成し、「table-y」を返す。その後、ファイルの先頭テーブルを「table-y」にセットして処理を終了する。
次に、図13および図14を参照して、「object_offset」が「10000から200バイト」のデータ(data2)を書き込む処理について説明する。図13に示すように、「WRITE-1」の機能により、ファイルへの書き込みが実行される。この場合、「object_offset」が十分に大きいと判断され、階層を増やす処理が実行される。つまり、現状の「table-y」を単一要素とする、新テーブルが作成される。なお、このとき、テーブルの深さだけが変わるだけで、「getLength()」で取得できる値は「table-y」と同じである。新しく作られたテーブルについては、「table-α = createId()」、「putTable(table-α, 200, <0,table-v>)」が実行される。そして、この新しく作られたテーブル「table-α」に対して「writeAt(table-α, 10000, data2, 0, 200)」が実行される。
続いて、「WRITE-2」の機能により、「table-α」に対する書き込みが行われる。この場合、「object_offset = 10000」に既存の要素が存在しないので、「block-d = createId()」、「putContent(block-d, 200, (data2, 0, 200))」を実行し、新規ブロックを作成する。その後、各種パラメータを更新する。この場合、「object_offset」を「10000 + 200 = 10200」にセットし、「buflen」を「200 - 200」にセットし、「bufoff」を「0 + 200 = 200」にセットして、ループを終了する。
図14に示すように、この場合、「length < object_offset + len」であるので、「length」に「10200」をセットして、長さを更新する。さらに、テーブルのリストを更新する。新しいテーブルは、「table-z = createId()」、「putTable(table-z, 10200, <0,table-y>,<10000,block-d>)」によって与えられる。最後に、ファイルの先頭テーブルを「table-z」にセットして、処理を終了する。
ここで、本システムにおける新規IDの割当について簡単に説明する。本システムでは、「createId」で新規のオブジェクトIDを作る。このとき、オブジェクトIDの一意性を保証することが必要である。オブジェクトIDの一意性は、サービステーブルで利用される。例えば、UUIDを用いる場合には、RFCに記述されている手法で、一意な128ビットの値が生成される。また、64ビットの整数を用いる場合には、「64 bit long generator (original)」を利用してもよい。
次に、本システムで利用する「サービステーブル」について説明する。本システムにおいて、オブジェクトID(テーブルID、ブロックIDなど)から、その内容を取得する際には、「内容を保存してあるサービス(もしくはサーバ)」を特定するアルゴリズムが用いられる。したがって、本システムでは、データベースや膨大な管理テーブルを準備する必要がない。すなわち、本システムでは、サービスを特定しようとするときに、アルゴリズムで「計算」できるため、特別な管理サーバや管理情報のための領域が不要になる。
サービステーブルは、オブジェクトIDからオブジェクトを取得する方法を示すテーブルである。本システムでは、上述したように「アルゴリズム」によって、オブジェクトIDからサービス(もしくはサーバ)を特定できるようになっており、サービステーブルは、各サービス(もしくはサーバ)への「アクセス手段」についての情報を得るために用いられる。サービステーブルには、実装と運用が簡単な「静的」なものと、サービステーブルの更新(サービスの追加・変更・削除)が容易な「動的」なものがある。
静的なサービステーブルでは、N個のサービスがあるとして、オブジェクトIDから「hash code」を計算し、その計算結果をNで割った余りでサービスを特定できるようになっている。動的なサービステーブルでは、各サービス名称(一意な名称)がハッシュ値に変換されて、オブジェクトIDがそのハッシュ値に一番近いサービスが特定されるようになっている。
本システムでは、このようなサービステーブル(静的なサービステーブルまたは動的なサービステーブル)を利用することにより、特別な管理用テーブルが不要になり、システムにおける単一障害点をなくすことが可能になり、バックアップが容易になる。また、オブジェクトIDごとに異なるサービスを割り当てることによって、分散処理が可能となる。また、サービスを特定するためのアルゴリズムは計算が早い(例えば、処理時間が「O(1)」のオーダーである)。
サービステーブルに含まれる情報には、サービス提供事業者の情報、URIなどの「location」の情報、サービスを利用するための認証情報、その他、サービスに依存する付加情報がある。サービス提供事業者の情報は、自ネットワークの場合には「local」の情報であってよい。「location」の情報には、「http,nfs,cifs,ftp,webdav」などのプロトコルの情報や、「%o(オブジェクトIDに置き換え)」や「%u(ユーザIDに置き換え)」などのパス情報(必要に応じてパラメータ変換を行うための情報)が含まれる。また、サービスを利用するための認証情報には、ユーザID、パスワード、必要に応じて認証鍵情報などが含まれる。また、サービスに依存する付加情報には、ウェイト、暗号化手法、各種のパラメータ(ブロックサイズ、並列度、待ち行列のサイズなど)が含まれる。
図15は、静的なサービステーブルの一例を示す図である。この場合、S個のサービスに対して、0~(S-1)の番号を持つサービステーブルを作成する。オブジェクトIDからサービスを決定する場合には、まず、オブジェクトID(例えば、0a12cd-05201a-・・・-ab00fa)からハッシュ値(例えば、13562)を計算する。このハッシュ値をサービス数Sで割った余りからサービスを特定する。例えば、サービス数が3(つまり、S=3)である場合には、13562÷3=2となり、サービス提供者は、「事業者C」に決定される。そして、アクセス方法について前述のパラメータ変換を行った後に、この事業者Cのサービスにアクセスする。
図16は、動的なサービステーブルの一例を示す図である。この場合、サービスごとにSHA1ハッシュを計算し、サービステーブルを作成する。オブジェクトIDからサービスを決定する場合には、まず、オブジェクトID(例えば、0a12cd-05201a-・・・-ab00fa)からSHA1ハッシュ値(例えば、60ab)を計算する。そして、このSHA1ハッシュ値が担当範囲として割り当てられているサービスが選択される。そして、図15の場合と同様に、アクセス方法について前述のパラメータ変換を行った後に、そのサービスにアクセスする。
本システムでは、サービスを動的に追加、削除するための一つの手法として、DHT(Distributed Hash Table)を利用することができる。例えば、図17に示すように、サービスを提供する8つのサーバ(サーバA~H)にそれぞれキー情報(ID)が割り当てられており、それぞれのサーバの担当範囲がIDに基づいて決められていたとする。各サーバのIDは、そのサーバの一意な名称から計算したSHA1ハッシュ値の一部(例えば、先頭の二桁)をとって決めてもよい。例えば、サーバAの担当範囲が「08~34」、サーバBの担当範囲が「35~48」・・・に設定されていたとする。そうすると、上記のオブジェクトIDについては、SHA1ハッシュ値の一部(例えば、先頭の二桁)の「60」から、サービスを提供するサーバは、「サーバD」(担当範囲「60~90」)に決定される。
以下、本システムの特徴について説明する。本システムの特徴の一つとして、ランダムアクセス(Random Access I/O)が可能であることが挙げられる。本システムでは、ツリー構造によるデータアクセスが可能であり、任意の場所のデータを「O(log N)」のオーダーの処理時間で更新、追加、削除可能である(N=ファイルサイズ)。なお、固定配列にすると、保存できるファイルのサイズに制限ができてしまい、リスト構造にすると「O(N)」のオーダーの処理時間が必要になってしまう。そして、本システムでは、書き込み時に、オフセットと領域を指定して更新を行う。そのため、更新が必要なブロック、及び、上位のテーブルのみ更新すればよいという利点がある。また、本システムでは、読み込み時には、オフセットと領域を指定して読み出しを行う。そのため、読み出しが必要なテーブルとブロックだけ読み出せばよいという利点がある。
また、本システムには、ファイルサイズが事実上無限であるという特徴がある。すなわち、固定長配列をもたないためファイルサイズは事実上無制限であり、例えば、ブロックサイズ4MB、テーブルあたりの要素数が1024の場合には、深さ4で「4MB×1024×1024×1024×1024=4EB」を表現できる。また、データ構造がツリー型の再帰構造をとるため、ファイルサイズNに対し、データの検索、追加、削除の処理時間は「O(log N)」のオーダーであり、実用的な速度(十分な速度)でアクセスできる。
また、本システムは、必要最小限の管理情報が「file-id」と「table-id」の対のみであるという点に特徴がある。つまり、本システムでは、ファイルを示す「file-id」とその先頭の「table-id」のみが必要であり、実装上は、「file-id」と「table-id」の対もネットワーク上のオブジェクトとして保存することができる。例えば、「file-id」をキーに単一の値を持つオブジェクトとして分散配置することができる。なお、「file-id」と「table-id」の対は、テーブルやブロックとは異なり、上書き可能なオブジェクトである。また、サービステーブルは、別途管理すればよく、ファイルやデータの「量に依存しない」参照情報のみを含めるようにすることができる。
また、本システムの特徴には、スパースファイル(sparse file)を容易に実現できることがある。スパースファイルでは、使ってないところが「nul埋め」される。したがって、例えば、「readAt」を実行した場合、データがないところは「nul」データとして読み出される。これにより、物理容量を使わずに論理的なファイルサイズが大きくできる。スパースファイルの第1のメリットとして、論理的には事実上無限サイズのファイルを作成可能であることが挙げられる。ファイルの構造は、テーブルだけで表現することが可能であり、データのないところは「nul」データとして読み出される。スパースファイルの第2のメリットとして、実際にデータを書き込んだときに初めてブロックが作成されることが挙げられる。データを書き込まない部分は、必要な容量は最小限(テーブル情報のみ)で済む。
また、本システムは、暗号化との組み合わせで安全なデータ書き込みを実現できる点に特徴がある。事前にユーザがファイル全体を暗号化することにより、安全なデータ書き込みが実現される。暗号化方式は任意である。本システムでは、暗号化されたファイルを多数のブロックに分割し、複数の仮想デバイス(例えば、サービス事業者)に分散して保存する。ファイルの復号化は、仮想デバイスから各断片を集めてきてファイルを再構成し、ファイルを再構成後、ユーザ側で復号化すればよい。この特徴により、暗号化されたデータを、より安全に保存することができる。この場合、各仮想デバイスは「暗号化されたファイル」の断片のみを持つことになるので、仮想デバイスがサービス事業者である場合、特定のサービス事業者のデータだけでは、元ファイルを生成することはできない。
また、本システムの特徴の一つには、アトミックな更新(途中の状態が存在しない不可分な更新処理)が可能であることが挙げられる。ファイルの更新は、先頭テーブルの「table-id」のアトミックな書き換えで確定する。ファイルを構成する「object-id」は、毎回新規作成され、「table-id」と「block-id」は、いずれも「更新」するたびに新しいIDが割り当てられる。すなわち、「table-id」が決められると、それ以降、その中身は同一であり変更されることがない。このような特徴を備えることにより、本システムでは「書き込み中の読み込みが可能である」というメリットが得られる。ファイルは常に「完全な状態」であるため、先頭テーブルの「table-id」が書き換えられるまでは、以前のファイルのままであり、先頭テーブルの「table-id」が書き換えられると、即座に、更新されたファイルの内容になる。したがって、ファイルのロックをしなくても「書き込み中に読み込みも実行できる」ようになる。また、本システムでは「コピー、スナップショットが容易である」というメリットも得られる。コピーやスナップショットの方法としては、例えば、新しい「file-id」に対して、既存ファイルの「table-id」をコピーする方法がある。これにより、同一の「table-id」の内容の同一性が保証される。
また、本システムは、クライアントの分散処理が容易であるという特徴を備えている。図18において破線で示すように、例えば、人気のVOD(ビデオ・オン・デマンド)やイベント時のホームページなど、または、大容量のデータの分析を「分散処理」で行う場合など、一つのクライアント装置にアクセスが集中してしまうことがある。そのような場合に、集中アクセスの分散して処理することが望まれる。また、非同期に多数のアクセスがある場合にも、負荷分散をすることが望まれる。
本システムでは、仮想ストレージ(上述した「クライアント装置」)を複数(多数)並べて、必要なファイルの情報(file-idとtable-idの対)を各仮想ストレージで取得するようにしている。したがって、図18において実線で示すように、各仮想ストレージが独立に仮想デバイスにアクセスすることで分散処理を実現することができる。例えば、仮想デバイスがサービス事業者である場合には、事業者間の負荷分散が可能になる。また、仮想デバイスがサーバである場合には、サーバ間での負荷分散が可能になる。いずれの場合にも、フロントエンドの個々の仮想ストレージはお互いに干渉しない。また、本システムでは、特に大容量ファイルの場合に負荷分散が容易である。その場合、構成するテーブル、ブロック数が多くなるため、統計的にアクセスが分散することになる。結果として、本システムでは、極めてスケーラビリティが高い「アクセス分散」の仕組みが実現できる。
例えば、本システムで保存管理するファイルは、オブジェクト指向プログラムのクラス情報であってもよく、本システムの利用者が指定したプログラムをサーバ上で実行できるようにしてもよい。その場合、本システムの利用者(クライアント装置)とサーバで、プログラムの定義であるクラス情報を共有してもよい。クラス情報を共有する場合には、例えば、図19に示すように、利用者は、本システムのサーバにクラス情報を登録し、各サーバにファイルIDを教えてから、プログラムの実行を指示する。各サーバでは、ファイルIDを用いて本システムからプログラムの実行に必要なクラス情報を取得することができる。
また、本システムの特徴には、並列分散処理により高スループットが得られるという点がある。図20は、本システムにおける並列分散処理の説明図である。図20に示すように、例えば、テーブルへの書き込み時には、テーブルが持つリスト内の各オブジェクト(テーブルまたはブロック)毎の書き込み処理の並列分散処理が可能である。また、テーブルからの読み出し時には、テーブルが持つリスト内の各オブジェクト(テーブルまたはブロック)毎の読み出し処理の並列分散処理が可能である。このように、例えば、ひとつのテーブルの書き込み/読み出しのいずれの場合にも、該テーブルの処理において、テーブル内のリストの要素数N(例えば、1024)に対して並列分散処理が可能である。結果として、本システムでは、サイズの大きなファイルほど、並列分散処理が有効に機能することになり、高スループットを実現できる。
また、本システムは、複製や冗長化の実現の仕方に特徴がある。本システムにおける冗長化の方式は「複数の仮想デバイスに複製を作成する」というものである。つまり、書き込み時には、オブジェクト(テーブルまたはブロック)を複数の仮想デバイスにコピーし、読み込み時には、オブジェクトを上記のいずれかの仮想デバイスから読み出すようにしている。複製を作成する仮想デバイスの選択では、サービステーブルが利用できる。本システムでは、本来、オブジェクトを保存すべき仮想デバイスの「隣の仮想デバイス」が選択される。この場合、冗長度(=多重度=複製の数)に応じて、複数の仮想デバイスが選択される。静的なサービステーブルの場合には、Nで割った余りをもとに「隣の仮想デバイス」を決定する。例えば、「(n÷N)の余り、((n-1)÷N)の余り、((n-2)÷N)の余り、・・・」が、該当の仮想デバイスとして決定される。動的なサービステーブルの場合には、該当の仮想デバイスの一つ前のサーバが、該当の仮想デバイスとして決定される。なお、書き込み時の処理は、該当の仮想デバイスすべてに対して同じオブジェクトのデータを書き込む。また、読み出し時の処理は、該当の仮想デバイスに対して順次読み込みを行い、最初にレスポンスが返ってきた時点で、それを読み込みデータとして用いる、または、該当の仮想デバイスに対して並列読み込みを行い、最もレスポンスが早かったものを読み込みデータとして用いる。
図21は、本システムの特徴の説明図である。図21に示すように、本システムでは、ファイルを多数のブロックとして保存し、並列にアクセスすることで、ストレージ装置の台数に比例したアクセス性能とストレージ容量を実現できる。この場合、クライアント装置(アクセスノードと呼ぶこともできる)は、アクセス性能に応じて台数を増やすことができる。また、ストレージ装置(コアノードと呼ぶこともできる)は、容量に応じてスケーラブルに追加が可能である。つまり、本システムは、高度な分散コンピューティング技術を応用することにより、性能/容量とも台数に比例し、容易に拡張(スケールアウト)が可能であるともいえる。
以上、本発明を実施するための形態について説明したが、本明細書における説明により本発明が限定されるものではなく、上述の実施形態を本発明の範囲内で当業者が種々に変形、応用して実施できることは勿論である。
以上のように、本発明にかかるストレージサービス提供装置は、例えば、ストレージサービス等のクラウドサービスに利用することができ、有用である。
1 分散型ストレージサービス提供システム(本システム)
2 ユーザ端末
3 クライアント装置(ストレージサービス提供装置)
4 ストレージ装置
5 通信部
6 書き込み・読み出し処理部
7 サービステーブル記憶部
8 通信部
9 ファイル・オブジェクト保存部
10 ファイル・オブジェクト管理部
2 ユーザ端末
3 クライアント装置(ストレージサービス提供装置)
4 ストレージ装置
5 通信部
6 書き込み・読み出し処理部
7 サービステーブル記憶部
8 通信部
9 ファイル・オブジェクト保存部
10 ファイル・オブジェクト管理部
Claims (36)
- 複数のストレージ装置とネットワークを介して接続され、これらのストレージ装置を利用してファイルを保存するサービスを提供するストレージサービス提供装置であって、
書き込むべきファイルを一つ以上のデータに分解し、該ファイルを構成するデータをブロックオブジェクトとして、各ブロックオブジェクトにオブジェクト識別情報を付与する手段と、
前記各ブロックオブジェクトのデータから前記ファイルを構築するための情報を作成し、該情報を管理情報オブジェクトとして、管理情報オブジェクトにオブジェクト識別情報を付与する手段と、
オブジェクト識別情報に基づいて前記複数のストレージ装置のうちの少なくとも一つを特定する手段と、
前記各ブロックオブジェクト及び前記管理情報オブジェクトを、それぞれのオブジェクト識別情報に基づいて特定されるそれぞれのストレージ装置へ送信して保存させる手段とを備えることを特徴とするストレージサービス提供装置。 - 読み出すべきファイルに対応する先頭オブジェクト識別情報を求め、当該先頭オブジェクト識別情報に基づいて特定されるストレージ装置にアクセスして、前記管理情報オブジェクトを取得する手段と、
取得された管理情報オブジェクトに含まれている前記ファイルを構築するための情報を用いて、前記ファイルを構成するデータを有するブロックオブジェクトのオブジェクト識別情報を求め、当該オブジェクト識別情報に基づいて特定されるストレージ装置にアクセスして、前記ブロックオブジェクトを取得する手段と、
取得されたブロックオブジェクトが有するデータを、前記ファイルを構築するための情報に従って並べることにより、前記ファイルを取得する手段と
をさらに備える、請求項1に記載のストレージサービス提供装置。 - あるファイルに対応する管理情報オブジェクトと、別のファイルに対応する管理情報オブジェクトとが、前記複数のストレージ装置のうちの別々のストレージ装置に保存されるように、ストレージ装置を特定するためのオブジェクト識別情報が割り当てられるものである、請求項1~2のいずれかに記載のストレージサービス提供装置。
- 前記オブジェクト識別情報に基づいて前記複数のストレージ装置のうちの少なくとも一つを特定する手段は、特定されたストレージ装置に適合するアクセス方法をも特定するものであり、
前記特定されたアクセス方法に従い、前記特定されたストレージ装置に対して、前記オブジェクト識別情報の付与されたオブジェクトの保存又は取得を要求することにより、前記ネットワークを介して接続されたストレージ装置の利用が行われる、請求項1~3のいずれかに記載のストレージサービス提供装置。 - 前記複数のストレージ装置は、それぞれ、前記ストレージサービス提供装置をクライアントとし、任意のアクセスプロトコルにて動作することが可能な、ストレージサーバである、請求項1~4のいずれかに記載のストレージサービス提供装置。
- 前記複数のストレージ装置のうち、ある一部のストレージ装置と他の一部のストレージ装置とが、異なるサービス提供事業者により提供されるストレージサービスに係るものである、請求項1~5のいずれかに記載のストレージサービス提供装置。
- 前記複数のストレージ装置を利用して保存されるファイルに対する書き込み要求又は読み出し要求を、ユーザ端末から受信する手段をさらに備え、
前記書き込み要求又は読み出し要求は、汎用のファイルシステムで用いられる形式の要求である、請求項1~6のいずれかに記載のストレージサービス提供装置。 - 前記管理情報オブジェクトは、前記ファイルのそれぞれ別の部分を構成するデータを有する複数のブロックオブジェクトのオブジェクト識別情報と、各ブロックオブジェクトのデータが前記ファイル中のどの部分に並ぶべきかを示すオフセット情報とを含むものである、請求項1~7のいずれかに記載のストレージサービス提供装置。
- 前記管理情報オブジェクトには、
前記ファイル内のある領域におけるそれぞれ別の部分を構成するデータを有する複数のブロックオブジェクトのオブジェクト識別情報と、各ブロックオブジェクトのデータが前記ある領域中のどの部分に並ぶべきかを示す領域内オフセット情報とを含む第1の管理情報オブジェクトと、
前記第1の管理情報オブジェクトのオブジェクト識別情報と、該第1の管理情報オブジェクトが情報を有する前記ある領域が前記ファイル内でどこに位置するものかを示すファイル内オフセット情報とを含む第2の管理情報オブジェクトとがある、請求項1~8のいずれかに記載のストレージサービス提供装置。 - 前記管理情報オブジェクトは、再帰構造を有する複数の管理情報オブジェクトから構成されることが可能なものであり、
前記ブロックオブジェクトの数が所定数より多い場合には、前記再帰構造の階層を増加させて、複数の管理情報オブジェクトを生成する、請求項1~9のいずれかに記載のストレージサービス提供装置。 - 前記管理情報オブジェクトは、複数のオブジェクト識別情報を含み、
前記複数のオブジェクト識別情報のうちある一つに基づいて特定されるストレージ装置に対して、該ある一つのオブジェクトの保存又は取得を要求する処理と、前記複数のオブジェクト識別情報のうち別の一つに基づいて特定されるストレージ装置に対して、該別の一つのオブジェクトの保存又は取得を要求する処理とを、並行して行う、請求項1~10のいずれかに記載のストレージサービス提供装置。 - 保存されているファイルのデータの一部を更新する場合、データが書き換わるブロックオブジェクトに新たなオブジェクト識別情報を付与し、当該ブロックオブジェクトのデータから前記ファイルを構築するための情報を含む管理情報オブジェクトにも新たなオブジェクト識別情報を付与し、前記管理情報オブジェクトの新たなオブジェクト識別情報が前記ファイルに対応する先頭オブジェクト識別情報として求められるように設定することにより、同一のオブジェクト識別情報を有するオブジェクトの内容を不変とする管理を行うものである、請求項1~11のいずれかに記載のストレージサービス提供装置。
- オブジェクト識別情報に基づいて前記複数のストレージ装置のうちの少なくとも一つを特定する手段は、二つ以上のストレージ装置を特定可能なものであり、
前記各ブロックオブジェクト及び前記管理情報オブジェクトを、複製して、それぞれのオブジェクト識別情報に基づいて特定されるそれぞれの前記二つ以上のストレージ装置へ送信して保存させる手段をさらに備える、請求項1~12のいずれかに記載のストレージサービス提供装置。 - 読み出すべきファイルに対応する管理情報オブジェクト及び各ブロックオブジェクトのそれぞれのオブジェクト識別情報に基づいて、前記複数のストレージ装置のうち該当するオブジェクト又はその複製を保存している二つ以上を特定する手段と、
特定された一つのストレージ装置にアクセスして応答がなかった場合に、特定された別のストレージ装置にアクセスしてオブジェクト又はその複製を取得する手段と
をさらに備える、請求項1~13に記載のストレージサービス提供装置。 - 読み出すべきファイルに対応する管理情報オブジェクト及び各ブロックオブジェクトのそれぞれのオブジェクト識別情報に基づいて、前記複数のストレージ装置のうち該当するオブジェクト又はその複製を保存している二つ以上を特定する手段と、
特定された二つ以上のストレージ装置に並行してアクセスし、応答の早かったストレージ装置からオブジェクト又はその複製を取得する手段と
をさらに備える、請求項1~14に記載のストレージサービス提供装置。 - 保存されているファイルに対し部分的にデータを書き込む場合、書き込み対象のデータが前記ファイル中のどの部分に並ぶべきものかが指定され、
前記ファイルに属する全てのブロックオブジェクト及び管理情報オブジェクトのうち前記指定された部分に関係するものを選択して又は新たにオブジェクトを生成して、この選択又は新たに生成された各オブジェクトのオブジェクト識別情報に基づいてそれぞれ特定されるストレージ装置にアクセスし、残りのオブジェクトについてはストレージ装置へのアクセスを行わない、請求項1~15のいずれかに記載のストレージサービス提供装置。 - 保存されているファイルからデータを部分的に読み出す場合、読み出し対象のデータが前記ファイル中のどの部分に並んでいるものかが指定され、
前記ファイルに属する全てのブロックオブジェクト及び管理情報オブジェクトのうち前記指定された部分に関係するものを選択して、この選択された各オブジェクトのオブジェクト識別情報に基づいてそれぞれ特定されるストレージ装置にアクセスし、残りのオブジェクトについてはストレージ装置へのアクセスを行わない、請求項1~16のいずれかに記載のストレージサービス提供装置。 - 前記書き込むべきファイルは、ユーザにより元のファイルの全体が暗号化されたものであって、複数のデータに分割され、
前記複数のデータのうちあるデータを有するブロックオブジェクトと、別のデータを湯有するブロックオブジェクトとが、前記複数のストレージ装置のうちの別々のストレージ装置に保存されるように、ストレージ装置を特定するためのオブジェクト識別情報が割り当てられるものである、請求項1~17のいずれかに記載のストレージサービス提供装置。 - 前記書き込むべきファイルは、ユーザにより元のファイルの全体が暗号化されたものであって、複数のデータに分割され、
前記複数のデータのうちあるデータを有するブロックオブジェクトと、前記管理情報オブジェクトとが、前記複数のストレージ装置のうちの別々のストレージ装置に保存されるように、ストレージ装置を特定するためのオブジェクト識別情報が割り当てられるものである、請求項1~18のいずれかに記載のストレージサービス提供装置。 - 前記管理情報オブジェクトは、前記ファイルの部分を構成するデータを有するブロックオブジェクトのオブジェクト識別情報と、当該ブロックオブジェクトのデータが前記ファイル中のどの部分に並ぶべきかを示すオフセット情報とを含み、
前記ファイル内にデータが存在しない部分がある場合、該データが存在しない部分に対応するブロックオブジェクトは生成せずに、存在するデータを有するブロックオブジェクト及び前記管理情報オブジェクトを保存させ、
ファイルを読み出す際に、前記管理情報オブジェクトにより、前記ファイル中のある部分に対応するオブジェクト識別情報が存在しないことが示されると、該ある部分にNULデータを並べることにより、前記ファイルを取得する、請求項1~19のいずれかに記載のストレージサービス提供装置。 - 前記管理情報オブジェクトは、前記ファイルの部分を構成するデータを有するブロックオブジェクトのオブジェクト識別情報と、当該ブロックオブジェクトのデータが前記ファイル中のどの部分に並ぶべきかを示すオフセット情報とを含み、
前記ファイル内にデータが存在する部分に続けてデータが存在しない部分がある場合、存在するデータと該データの長さの情報とを有するブロックオブジェクト及び前記管理情報オブジェクトを保存させ、
ファイルを読み出す際に、前記管理情報オブジェクトが示す前記ファイル中のある部分に並ぶべきデータの長さが、該ある部分に対応するブロックオブジェクトが有する長さの情報が示すデータの長さより長いならば、長さが足りない分NULデータを並べることにより、前記ファイルを取得する、請求項1~20のいずれかに記載のストレージサービス提供装置。 - 読み出すべきファイルに対応して求められる先頭オブジェクト識別情報が付与された管理情報オブジェクトは、該ファイルの全体の長さの情報と、該長さを有する前記ファイル内のどの部分にどのオブジェクト識別情報が付与されたオブジェクトが配置されるかを示す情報とを含み、
前記オブジェクト識別情報が付与されたオブジェクトが再び管理情報オブジェクトである場合には、当該管理情報オブジェクトは、当該オブジェクトが前記ファイル内で配置される領域の長さの情報と、該長さを有する前記領域中のどの部分にどのオブジェクト識別情報が付与されたオブジェクトが配置されるかを示す情報とを含み、
前記オブジェクト識別情報が付与されたオブジェクトがブロックオブジェクトである場合には、当該ブロックオブジェクトは、前記ファイルを構成するデータと、該データの長さの情報とを有する、請求項1~21のいずれかに記載のストレージサービス提供装置。 - 保存されているファイルのデータの一部を更新する場合、前記ファイルに属するブロックオブジェクト及び管理情報オブジェクトのうち、データが書き換わるブロックオブジェクト及び当該ブロックオブジェクトのオブジェクト識別情報を含む管理情報オブジェクトを、各オブジェクトを保存しているストレージ装置から取得し、取得された各オブジェクトの内容のうち、前記データの書き換えによって変更されない部分はそのまま残し、変更される部分にデータを書き込むことにより、新たな各オブジェクトを生成し、該新たな各オブジェクトのオブジェクト識別情報に基づいて特定されるストレージ装置に保存させる、請求項1~22のいずれかに記載のストレージサービス提供装置。
- 前記オブジェクト識別情報を付与する手段は、前記複数のストレージ装置に保存される全てのブロックオブジェクト及び管理情報オブジェクトの間で一意になるように、新たなオブジェクト識別情報を割り当てるものである、請求項1~23のいずれかに記載のストレージサービス提供装置。
- 前記オブジェクト識別情報に基づいて前記複数のストレージ装置のうちの少なくとも一つを特定する手段は、前記オブジェクト識別情報の値に対して所定の計算を行った結果を前記複数のストレージ装置の数で割り算して得られる余りの値に従って、前記複数のストレージ装置のうちの一つを特定することを含む、請求項1~24のいずれかに記載のストレージサービス提供装置。
- 前記オブジェクト識別情報に基づいて前記複数のストレージ装置のうちの少なくとも一つを特定する手段は、前記複数のストレージ装置のそれぞれに該装置の担当する値の範囲を割り振り、前記オブジェクト識別情報の値に対して所定の計算を行った結果と各装置の担当する値の範囲とを比較することにより、前記複数のストレージ装置のうちの一つを特定することを含む、請求項1~24のいずれかに記載のストレージサービス提供装置。
- 前記ネットワークを介して接続されるストレージ装置が追加又は削除される場合、前記オブジェクト識別情報に基づいて前記複数のストレージ装置のうちの少なくとも一つを特定する手段は、複数のオブジェクト識別情報のうちの一部について追加されたストレージ装置が特定されるように、又は、いずれのオブジェクト識別情報についても削除されたストレージ装置が特定されないように、特定の処理方法を変更するものである、請求項26に記載のストレージサービス提供装置。
- 読み出すべきファイルに対応する先頭オブジェクト識別情報を記憶する手段をさらに備え、
前記記憶された先頭オブジェクト識別情報に基づいて、前記ファイルについて最初にアクセスするストレージ装置を特定するものである、請求項1~27のいずれかに記載のストレージサービス提供装置。 - 読み出すべきファイルの識別情報に基づいて前記複数のストレージ装置のうちの少なくとも一つを特定する手段をさらに備え、
ここで特定されるストレージ装置が、読み出すべきファイルに対応する先頭オブジェクト識別情報を、管理情報オブジェクトの一種として保存するものである、請求項1~27のいずれかに記載のストレージサービス提供装置。 - 各ファイルに対応する先頭オブジェクト識別情報をファイルの属性情報とともに記憶する属性管理装置とネットワークを介して接続する手段をさらに備え、
読み出すべきファイルに対応する先頭オブジェクト識別情報を前記属性管理装置から取得し、取得した先頭オブジェクト識別情報に基づいて、前記ファイルについて最初にアクセスするストレージ装置を特定するものである、請求項1~27のいずれかに記載のストレージサービス提供装置。 - クライアント装置及び該クライアント装置にネットワークを介して接続された複数のストレージ装置を備え、該クライアント装置がユーザに対してファイルのストレージサービスを提供するシステムであって、
前記複数のストレージ装置は、
一つのファイルにつき、それぞれオブジェクト識別情報が付与された複数のブロックオブジェクト及び一つ以上の管理情報オブジェクトを保存する手段を備え、
前記複数のブロックオブジェクトのそれぞれは、複数のデータに分解された前記ファイルを構成する各データを有し、前記管理情報オブジェクトは、前記各ブロックオブジェクトのデータから前記ファイルを構築するための情報を有するものであり、
前記クライアント装置は、
読み出すべきファイルに対応する先頭オブジェクト識別情報を求め、当該先頭オブジェクト識別情報に基づいて特定されるストレージ装置にアクセスして、前記管理情報オブジェクトを取得する手段と、
取得された管理情報オブジェクトに含まれている前記ファイルを構築するための情報を用いて、前記ファイルを構成するデータを有するブロックオブジェクトのオブジェクト識別情報を求め、当該オブジェクト識別情報に基づいて特定されるストレージ装置にアクセスして、前記ブロックオブジェクトを取得する手段と、
取得されたブロックオブジェクトが有するデータを、前記ファイルを構築するための情報に従って並べることにより、前記ファイルを取得する手段と
を備えることを特徴とするシステム。 - 前記システムが、複数の前記クライアント装置を備え、
前記管理情報オブジェクトは、複数のオブジェクト識別情報を含み、
前記複数のクライアント装置のそれぞれは、
前記読み出すべきファイルに対応する先頭オブジェクト識別情報を求めることができるように設定され、
前記先頭オブジェクト識別情報に基づいて前記管理情報オブジェクトの取得を要求する処理及び前記複数のオブジェクト識別情報に基づいて各オブジェクトの取得を要求する処理を、他のクライアント装置から独立して行う、請求項31に記載のシステム。 - 複数のストレージ装置とネットワークを介して接続されたコンピュータにより、これらのストレージ装置を利用してファイルを保存するサービスを提供する方法であって、
書き込むべきファイルを一つ以上のデータに分解し、該ファイルを構成するデータをブロックオブジェクトとして、各ブロックオブジェクトにオブジェクト識別情報を付与し、
前記各ブロックオブジェクトのデータから前記ファイルを構築するための情報を作成し、該情報を管理情報オブジェクトとして、管理情報オブジェクトにオブジェクト識別情報を付与し、
前記各ブロックオブジェクト及び前記管理情報オブジェクトを、前記複数のストレージ装置のうち、それぞれのオブジェクト識別情報に基づいて特定されるそれぞれのストレージ装置へ、送信して保存させることを特徴とするサービス提供方法。 - 複数のストレージ装置とネットワークを介して接続されたコンピュータにより、これらのストレージ装置を利用して保存されているファイルを取得するサービスを提供する方法であって、
一つのファイルにつき、それぞれオブジェクト識別情報が付与された複数のブロックオブジェクト及び一つ以上の管理情報オブジェクトが保存されており、
前記複数のブロックオブジェクトのそれぞれは、複数のデータに分解された前記ファイルを構成する各データを有し、前記管理情報オブジェクトは、前記各ブロックオブジェクトのデータから前記ファイルを構築するための情報を有するものであり、
読み出すべきファイルに対応する先頭オブジェクト識別情報を求め、当該先頭オブジェクト識別情報に基づいて特定されるストレージ装置にアクセスして、前記管理情報オブジェクトを取得し、
取得された管理情報オブジェクトに含まれている前記ファイルを構築するための情報を用いて、前記ファイルを構成するデータを有するブロックオブジェクトのオブジェクト識別情報を求め、当該オブジェクト識別情報に基づいて特定されるストレージ装置にアクセスして、前記ブロックオブジェクトを取得し、
取得されたブロックオブジェクトが有するデータを、前記ファイルを構築するための情報に従って並べることにより、前記ファイルを取得することを特徴とするサービス提供方法。 - 複数のストレージ装置とネットワークを介して接続されたコンピュータを、これらのストレージ装置を利用してファイルを保存するサービスを提供する装置として動作させるためのプログラムであって、
書き込むべきファイルを一つ以上のデータに分解し、該ファイルを構成するデータをブロックオブジェクトとして、各ブロックオブジェクトにオブジェクト識別情報を付与するためのプログラムコードと、
前記各ブロックオブジェクトのデータから前記ファイルを構築するための情報を作成し、該情報を管理情報オブジェクトとして、管理情報オブジェクトにオブジェクト識別情報を付与するためのプログラムコードと、
前記各ブロックオブジェクト及び前記管理情報オブジェクトを、前記複数のストレージ装置のうち、それぞれのオブジェクト識別情報に基づいて特定されるそれぞれのストレージ装置へ、送信して保存させるためのプログラムコードと
を備えることを特徴とするサービス提供プログラム。 - 複数のストレージ装置とネットワークを介して接続されたコンピュータを、これらのストレージ装置を利用して保存されているファイルを取得するサービスを提供する装置として動作させるためのプログラムであって、
一つのファイルにつき、それぞれオブジェクト識別情報が付与された複数のブロックオブジェクト及び一つ以上の管理情報オブジェクトが保存されており、
前記複数のブロックオブジェクトのそれぞれは、複数のデータに分解された前記ファイルを構成する各データを有し、前記管理情報オブジェクトは、前記各ブロックオブジェクトのデータから前記ファイルを構築するための情報を有するものであり、
読み出すべきファイルに対応する先頭オブジェクト識別情報を求め、当該先頭オブジェクト識別情報に基づいて特定されるストレージ装置にアクセスして、前記管理情報オブジェクトを取得するためのプログラムコードと、
取得された管理情報オブジェクトに含まれている前記ファイルを構築するための情報を用いて、前記ファイルを構成するデータを有するブロックオブジェクトのオブジェクト識別情報を求め、当該オブジェクト識別情報に基づいて特定されるストレージ装置にアクセスして、前記ブロックオブジェクトを取得するためのプログラムコードと、
取得されたブロックオブジェクトが有するデータを、前記ファイルを構築するための情報に従って並べることにより、前記ファイルを取得するためのプログラムコードと
を備えることを特徴とするサービス提供プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/822,588 US20130311520A1 (en) | 2010-10-22 | 2011-10-06 | Storage-service-provision apparatus,system, service-provision method, and service-provision program |
EP11834002.5A EP2631805A4 (en) | 2010-10-22 | 2011-10-06 | Storage-service-provision device, system, service-provision method, and service-provision program |
SG2013026760A SG189342A1 (en) | 2010-10-22 | 2011-10-06 | Storage-service-provision apparatus, system, service-provision method, and service-provision program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010237828A JP5822452B2 (ja) | 2010-10-22 | 2010-10-22 | ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム |
JP2010-237828 | 2010-10-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012053156A1 true WO2012053156A1 (ja) | 2012-04-26 |
Family
ID=45974887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/005629 WO2012053156A1 (ja) | 2010-10-22 | 2011-10-06 | ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20130311520A1 (ja) |
EP (1) | EP2631805A4 (ja) |
JP (1) | JP5822452B2 (ja) |
SG (2) | SG10201508708QA (ja) |
WO (1) | WO2012053156A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015523625A (ja) * | 2012-05-10 | 2015-08-13 | エーテルストア インコーポレイテッド | 分散ストレージシステム及び分散ストレージの方法 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012158654A2 (en) * | 2011-05-14 | 2012-11-22 | Bitcasa, Inc. | Cloud file system with server-side deduplication of user-agnostic encrypted files |
US9519663B2 (en) * | 2013-06-26 | 2016-12-13 | Sap Se | Upgrading and migrating a database by a migration tool |
CN103530388A (zh) * | 2013-10-22 | 2014-01-22 | 浪潮电子信息产业股份有限公司 | 一种云存储***中提升性能的数据处理方法 |
CN104021164B (zh) * | 2014-05-28 | 2017-07-14 | 华为技术有限公司 | 一种管理数据的方法及装置 |
US10860237B2 (en) | 2014-06-24 | 2020-12-08 | Oracle International Corporation | Storage integrated snapshot cloning for database |
US10346362B2 (en) * | 2014-09-26 | 2019-07-09 | Oracle International Corporation | Sparse file access |
CN105577711B (zh) * | 2014-10-08 | 2019-05-03 | 华为技术有限公司 | 消息处理方法、装置及消息处理*** |
US11068437B2 (en) | 2015-10-23 | 2021-07-20 | Oracle Interntional Corporation | Periodic snapshots of a pluggable database in a container database |
US10521114B2 (en) * | 2016-02-26 | 2019-12-31 | Red Hat, Inc. | Adding or removing a storage provider in unified storage manager |
US10235241B2 (en) * | 2017-03-15 | 2019-03-19 | International Business Machines Corporation | Method for partial updating data content in a distributed storage network |
CN107818136B (zh) * | 2017-09-26 | 2021-12-14 | 华为技术有限公司 | 用于回收垃圾对象数据的方法和装置 |
US11068460B2 (en) | 2018-08-06 | 2021-07-20 | Oracle International Corporation | Automated real-time index management |
EP3834093A1 (en) | 2018-08-06 | 2021-06-16 | Oracle International Corporation | Techniques for maintaining statistics in a database system |
CN110413588B (zh) * | 2019-07-30 | 2022-05-17 | 中国工商银行股份有限公司 | 分布式对象存储方法、装置、计算机设备和存储介质 |
KR102620855B1 (ko) * | 2021-09-28 | 2024-01-02 | 단국대학교 산학협력단 | 클라우드 환경에서 암호화된 콘텐츠의 동적 업데이트 방법 및 클라우드 서버 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1115720A (ja) * | 1997-06-26 | 1999-01-22 | Hitachi Ltd | 高速ファイル入出力制御方法 |
US6029168A (en) * | 1998-01-23 | 2000-02-22 | Tricord Systems, Inc. | Decentralized file mapping in a striped network file system in a distributed computing environment |
JP2003280962A (ja) * | 2002-03-22 | 2003-10-03 | Seiko Epson Corp | 分散装置によるデータ保護システム及びその方法並びにコンピュータプログラム |
JP2004240803A (ja) * | 2003-02-07 | 2004-08-26 | Hitachi Ltd | ネットワークストレージ仮想化方法およびネットワークストレージ仮想化システム |
JP2004280283A (ja) * | 2003-03-13 | 2004-10-07 | Hitachi Ltd | 分散ファイルシステム、分散ファイルシステムサーバ及び分散ファイルシステムへのアクセス方法 |
JP2006195712A (ja) * | 2005-01-13 | 2006-07-27 | Hitachi Ltd | ストレージ制御装置、論理ボリューム管理方法及びストレージ装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08153111A (ja) * | 1994-11-28 | 1996-06-11 | Toshiba Corp | ハイパーメディアシステムおよびハイパーメディア文書作成・編集方法 |
JPH09259028A (ja) * | 1996-03-19 | 1997-10-03 | Toshiba Corp | 情報呈示方法 |
JPH10143403A (ja) * | 1996-11-12 | 1998-05-29 | Fujitsu Ltd | 情報管理装置および情報管理プログラム記憶媒体 |
JPH10260890A (ja) * | 1997-03-18 | 1998-09-29 | Sharp Corp | ハイパーテキストデータブラウジングシステム |
EP1049029A3 (en) * | 1999-04-28 | 2003-07-09 | Emc Corporation | File systems with versatile indirection |
WO2002035359A2 (en) * | 2000-10-26 | 2002-05-02 | Prismedia Networks, Inc. | Method and system for managing distributed content and related metadata |
US20020065800A1 (en) * | 2000-11-30 | 2002-05-30 | Morlitz David M. | HTTP archive file |
US7280540B2 (en) * | 2001-01-09 | 2007-10-09 | Stonesoft Oy | Processing of data packets within a network element cluster |
JP2002351705A (ja) * | 2001-05-23 | 2002-12-06 | Matsushita Electric Ind Co Ltd | デジタル信号記録再生装置、及びデジタル信号記録再生方法 |
US7685126B2 (en) * | 2001-08-03 | 2010-03-23 | Isilon Systems, Inc. | System and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system |
EP1584011A4 (en) * | 2003-01-02 | 2010-10-06 | F5 Networks Inc | METADATA BASED FILE DETECTION AND MEDIATED FILE SYSTEM |
EP1592015A3 (en) * | 2004-04-27 | 2005-11-09 | Deutsche Thomson-Brandt Gmbh | Method and device for recording or playing back a data stream |
JP4819391B2 (ja) * | 2005-04-27 | 2011-11-24 | Necフィールディング株式会社 | 文書合成システム、文書合成方法、及びプログラム |
US7716180B2 (en) * | 2005-12-29 | 2010-05-11 | Amazon Technologies, Inc. | Distributed storage system with web services client interface |
KR20090075847A (ko) * | 2006-10-05 | 2009-07-09 | 내셔널 아이씨티 오스트레일리아 리미티드 | 분산된 멀티유저 온라인 환경 |
JP5339432B2 (ja) * | 2009-02-25 | 2013-11-13 | 日本電気株式会社 | ストレージシステム |
CN102349047B (zh) * | 2009-03-30 | 2015-07-01 | 日本电气株式会社 | 数据******、数据控制装置、存储装置、数据***方法、数据控制方法和数据存储方法 |
-
2010
- 2010-10-22 JP JP2010237828A patent/JP5822452B2/ja active Active
-
2011
- 2011-10-06 US US13/822,588 patent/US20130311520A1/en not_active Abandoned
- 2011-10-06 SG SG10201508708QA patent/SG10201508708QA/en unknown
- 2011-10-06 EP EP11834002.5A patent/EP2631805A4/en not_active Withdrawn
- 2011-10-06 WO PCT/JP2011/005629 patent/WO2012053156A1/ja active Application Filing
- 2011-10-06 SG SG2013026760A patent/SG189342A1/en unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1115720A (ja) * | 1997-06-26 | 1999-01-22 | Hitachi Ltd | 高速ファイル入出力制御方法 |
US6029168A (en) * | 1998-01-23 | 2000-02-22 | Tricord Systems, Inc. | Decentralized file mapping in a striped network file system in a distributed computing environment |
JP2003280962A (ja) * | 2002-03-22 | 2003-10-03 | Seiko Epson Corp | 分散装置によるデータ保護システム及びその方法並びにコンピュータプログラム |
JP2004240803A (ja) * | 2003-02-07 | 2004-08-26 | Hitachi Ltd | ネットワークストレージ仮想化方法およびネットワークストレージ仮想化システム |
JP2004280283A (ja) * | 2003-03-13 | 2004-10-07 | Hitachi Ltd | 分散ファイルシステム、分散ファイルシステムサーバ及び分散ファイルシステムへのアクセス方法 |
JP2006195712A (ja) * | 2005-01-13 | 2006-07-27 | Hitachi Ltd | ストレージ制御装置、論理ボリューム管理方法及びストレージ装置 |
Non-Patent Citations (3)
Title |
---|
KEISUKE NISHIDA: "Google wo sasaeru gijutsu - Kyodai system no uchigawa no sekai", 25 August 2008, GIJUTSU-HYOHRON CO., LTD. |
See also references of EP2631805A4 |
YOSHIKO YASUDA ET AL.: "Disk Quota Method Designed for a Clustered NAS System", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 45, no. SIG11, 15 October 2004 (2004-10-15), pages 24 - 35, XP008171096 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015523625A (ja) * | 2012-05-10 | 2015-08-13 | エーテルストア インコーポレイテッド | 分散ストレージシステム及び分散ストレージの方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2631805A4 (en) | 2018-02-28 |
EP2631805A1 (en) | 2013-08-28 |
SG10201508708QA (en) | 2015-11-27 |
US20130311520A1 (en) | 2013-11-21 |
SG189342A1 (en) | 2013-05-31 |
JP5822452B2 (ja) | 2015-11-24 |
JP2012089094A (ja) | 2012-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5822452B2 (ja) | ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム | |
US11200332B2 (en) | Passive distribution of encryption keys for distributed data stores | |
JP6479020B2 (ja) | 分散ストレージシステムにおけるオブジェクトの階層チャンキング | |
US8200788B2 (en) | Slice server method and apparatus of dispersed digital storage vaults | |
JP5236129B2 (ja) | ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム | |
CN110636141B (zh) | 基于云雾协同的多云存储***及其管理方法 | |
Li et al. | Write-only oblivious RAM-based privacy-preserved access of outsourced data | |
US10909143B1 (en) | Shared pages for database copies | |
US10719554B1 (en) | Selective maintenance of a spatial index | |
KR20100048130A (ko) | 메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그동작 방법 | |
CN103067519A (zh) | 一种异构平台下数据分布存储的方法及装置 | |
US20150106468A1 (en) | Storage system and data access method | |
Samundiswary et al. | Object storage architecture in cloud for unstructured data | |
JP5174255B2 (ja) | ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム | |
JP6033370B2 (ja) | ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム | |
Yatskiv et al. | Protected Distributed Data Storage Based on Residue Number System and Cloud Services | |
Amaechi et al. | Data Storage Management in Cloud Computing Using Deduplication Technique | |
Mallikarjuna et al. | Cloud storage for data sharing: infrastructure as service (IaaS) in cloud environment | |
Darcy et al. | BUILDING A CLOUD FILESYSTEM | |
US20240005017A1 (en) | Fencing off cluster services based on access keys for shared storage | |
US20240004712A1 (en) | Fencing off cluster services based on shared storage access keys | |
Ruan et al. | Design and implementation of ZTE object storage system | |
Aladyshev et al. | Expectations of the High Performance Computing Cluster File System Selection | |
Bozorgi et al. | UPSS: a User-centric Private Storage System with its applications | |
NAGOTIA et al. | Big File Cloud Based On Amazon Cloud Storage with Key-Value Store |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11834002 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2011834002 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 13822588 Country of ref document: US |