CN102917005A - 一种支持事务的海量存储访问方法及装置 - Google Patents
一种支持事务的海量存储访问方法及装置 Download PDFInfo
- Publication number
- CN102917005A CN102917005A CN2012103117234A CN201210311723A CN102917005A CN 102917005 A CN102917005 A CN 102917005A CN 2012103117234 A CN2012103117234 A CN 2012103117234A CN 201210311723 A CN201210311723 A CN 201210311723A CN 102917005 A CN102917005 A CN 102917005A
- Authority
- CN
- China
- Prior art keywords
- memory
- affairs
- storage
- reference order
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003860 storage Methods 0.000 claims description 221
- 238000013507 mapping Methods 0.000 claims description 81
- 230000008569 process Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 5
- 239000012467 final product Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种支持事务的海量存储访问方法及装置，其中，支持事务的海量存储访问方法包括：接收网页命令形式的WEB存储访问指令；确定所述WEB存储访问指令所要使用的存储空间，其中，所述存储空间位于分布式网络***中的一个或多个存储设备中；根据所述WEB存储访问指令，对确定的所述存储空间进行数据存储访问。通过本申请，以较低成本，实现了海量数据的直接快速存储访问，并具备在网络环境下的数据事务处理能力。
Description
技术领域
本申请涉及计算机与网络技术领域，特别是涉及一种支持事务的海量存储访问方法及装置。
背景技术
随着互联网技术、物联网技术和云计算技术的快速发展，基于网络产生大量的数据信息。在对这些海量的数据信息进行存储时，一方面，记录和存储这些数据信息需要极大的空间和吞吐量能力，往往超出了普通存储的能力范围。另一方面，业务应用和数据采集终端往往五花八门，不仅***实现复杂，而且数据接口繁多互补兼容，缺乏统一便捷的数据存储接口。
现有的应用程序和操作***与存储***访问耦合紧密，不适用于海量数据的存储。这是因为，传统存储使用时，应用程序都要通过API访问本地操作***驱动程序来实现，这使得应用程序与本地***耦合过于紧密，大大降低了应用程序的通用性和横向扩展能力。虽然一些网络应用会通过诸如ActiveX之类的控件可以达到访问本地存储资源的目的，但这些控件也增加了本地开发和维护管理的复杂度，同时引入了诸多网络安全问题。因此，传统的存储方法不仅增加了应用程序和操作***的复杂性，同时也面临结构复杂、容量受限、访问距离受限、安全控制等等一系列问题，造成海量数据存储的实现和使用困难。
解决海量数据的存储问题，利用分布式网络是一个经济有效的方法。目前，使用分布式网络实现海量数据存储的方案包括存储区域网络（SAN）技术、网络附属存储（NAS）技术、iSCSI（Internet Small Computer SystemInterface，Internet小型计算机***接口）存储技术，以及Hadoop HDFS/GoogleGFS/KFS文件***服务等。这些存储方案中：
存储区域网络（SAN）技术是SAN（存储区域网络）通过光纤通道连接到计算机上，在该网络中提供了多主机连接，但并非通过标准的网络拓扑。SAN专注于企业级存储的特有问题，即数据与应用***紧密结合所产生的结构性限制，以及目前小型计算机***接口（SCSI）标准的限制。SAN便于集成，能改善数据可用性及网络性能，减轻管理作业，但成本高昂，受存储容量和网络分布距离的限制。
网络附属存储（NAS）技术使用一种特殊的专用数据存储服务器，包括存储器件和内嵌***软件，可提供跨平台文件共享功能。NAS能够支持多种协议（如NFS、CIFS、FTP、HTTP等），而且能够支持包括Windows、Unix、Linux在内的各种操作***。但其缺点在于固定的、基于文件共享的网络访问模式，对应用的访问性能和接口要求形成约束，且成本也比较高昂。
iSCSI（Internet Small Computer System Interface，Internet小型计算机***接口）存储技术是一种基于TCP/IP运行SCSI指令集的协议，用来建立和管理IP存储设备、主机和客户机等之间的相互连接，并创建存储区域网络（SAN）。iSCSI在虚拟化环境中得到广泛的应用，但目前主要产品的iSCSI存储基础仍是基于传统存储或基于SAN存储之上提供的，其成本依然高昂。
Hadoop HDFS/GFS/KFS文件***服务是利用廉件硬件组成分布式网络提供的高容错的、高吞吐量、超大规模的数据存储服务。其应用获得高容错的、高吞吐量的IO服务主要依赖于专用API，与应用耦合紧密。
此外，这些存储方案中的存储设备都属于基础硬件设备，往往直接或间接地需要总线驱动程序，或者更多体现为中间服务平台，设备昂贵，不利于小型化。
不论是在传统的存储方案中，还是在分布式存储方案中，这类存储***通常只能通过API（应用程序接口）被文件***和/或应用所使用，难以在分布式网络中直接被外部文件***访问。同时，分布以后的存储操作，特别是基于网络的操作，缺乏事务控制能力。由于网络***的不稳定性，增加了存储访问的不稳定性和解决难度。
在这种情形下如何以较低成本，实现海量数据的直接快速存储访问，成为需要本领域技术人员迫切解决的一个技术问题。
发明内容
本申请所要解决的技术问题是提供一种支持事务的海量存储访问方法及装置，能够以较低成本实现海量数据的直接快速地存储访问。
为了解决上述问题，本申请公开了一种支持事务的海量存储访问方法，包括：接收网页命令形式的WEB存储访问指令；确定所述WEB存储访问指令所要使用的存储空间，其中，所述存储空间位于分布式网络***中的一个或多个存储设备中；根据所述WEB存储访问指令，对确定的所述存储空间进行数据存储访问。
优选地，在所述接收网页命令形式的WEB存储访问指令的步骤之前，还包括：在所述分布式网络***中的至少一台服务器或存储设备中设置存储池和存储池管理器SPM；其中，所述存储池包括所述分布式网络***中的一个或多个存储设备中的存储资源，所述SPM用于对所述存储池中的存储资源进行入池和出池处理。
优选地，在所述分布式网络***中的至少一台服务器或存储设备中设置存储池的步骤之后，还包括：将所述存储池中的存储资源按照设定大小划分为至少一个存储资源块SRT；为每个所述SRT设置内部索引编码IIC和外部服务索引编码EIC，其中，所述IIC用于标识所述每个SRT所属的存储设备及其在该存储设备中的位置，所述EIC用于标识所述每个SRT在所述存储池中的位置。
优选地，在为所述SRT设置内部索引编码IIC和外部服务索引编码EIC的步骤之后，还包括：存储所述存储池中的所有SRT的IIC和EIC的映射关系；所述确定WEB存储访问指令所要使用的存储空间的步骤包括：确定所述WEB存储访问指令待访问的EIC；根据存储的所述映射关系，确定与所述待访问的EIC对应的IIC；根据对应的所述IIC，确定所述待访问的EIC所标识的SRT所属的存储设备和其在存储设备中的位置；根据确定的所述SRT在其所属的存储设备中的位置，确定所述WEB存储访问指令所要使用的存储空间。
优选地，所述映射关系包括事务映射关系和直接映射关系；其中，所述事务映射关系为哈希映射关系，用于目标SRT涉及事务时的IIC和EIC的映射；所述直接映射关系为线性映射关系，用于不涉及事务时的IIC和EIC的映射。
优选地，在所述分布式网络***中的至少一台服务器或存储设备中设置存储池和存储池管理器SPM的步骤之后，还包括：在所述存储池中设置事务回滚区，所述事务回滚区包括事务索引区和事务数据区，其中，所述事务索引区用于存储事务的信息，所述事务数据区用于存储事务影响的目标SRT的事前备份。
优选地，根据所述WEB存储访问指令，对确定的所述存储空间进行数据存储访问的步骤包括以下至少之一：当所述WEB存储访问指令为写指令时，在所述事务索引区***该写指令指示的事务的信息；确定该写指令的目标SRT的IIC和EIC，根据所述事务映射关系，确定所述目标SRT在其所属的存储设备中的位置的数据；在所述事务数据区为该数据建立备份，并修改所述事务映射关系，使所述目标SRT的IIC与所述事务数据区的备份的EIC建立映射关系；对所述存储设备中的数据执行所述写指令；当所述WEB存储访问指令为读指令，且所述读指令在执行完写指令且该写指令未提交时执行，在所述事务索引区***该读指令指示的事务的信息；确定该读指令的目标SRT的IIC和EIC，根据所述事务映射关系，确定所述目标SRT在所述事务数据区的备份；对该备份执行所述读指令；当所述WEB存储访问指令为提交指令时，在所述事务索引区中的该提交指令指示的事务的信息中设置提交信息；删除该提交指令的目标SRT的IIC和所述备份的EIC的事务映射关系；判断所述事务数据区中是否有目标SRT的备份，若有，则释放该备份；当所述WEB存储访问指令为回滚指令时，在所述事务索引区中的该回滚指令指示的事务的信息中设置回滚信息；将所述事务数据区中的所述目标SRT的备份复制回其在所属的存储设备中的位置；删除该回滚指令的目标SRT的IIC和所述备份的EIC的事务映射关系、删除所述事务数据区中所述目标SRT的备份。
优选地，根据所述WEB存储访问指令，对确定的所述存储空间进行数据存储访问的步骤包括：将所述WEB存储访问指令转换为适应于所述确定的存储空间的存储访问指令；使用转换后的所述存储访问指令对所述确定的存储空间进行数据存储访问。
优选地，在所述分布式网络***中的至少一台服务器或存储设备中设置存储池和存储池管理器SPM的步骤之后，还包括：在所述分布式网络***中的至少一台服务器或存储设备中设置存储抽象层SAL，所述SAL用于对所述存储池中的存储资源进行划分和管理；以及，接收所述WEB存储访问指令，确定所述WEB存储访问指令所要使用的存储空间，并将所述WEB存储访问指令转换为匹配于所述确定的存储空间的存储访问指令。
优选地，所述WEB存储访问指令包括存储管理请求指令和存储数据操作请求指令；其中，所述存储管理请求指令包括以下至少之一：存储初始化指令、存储参数查询指令、存储事务配置指令、存储访问连接指令、存储访问关闭指令、存储事务处理指令；所述存储数据操作请求指令包括以下至少之一：读取指令、写入指令、复制指令。
优选地，所述WEB存储访问指令为扩展的HTTP协议指令。
为了解决上述问题，本申请还公开了一种支持事务的海量存储访问装置，包括存储抽象层SAL；所述SAL包括：接收模块，用于接收网页命令形式的WEB存储访问指令；确定模块，用于确定所述WEB存储访问指令所要使用的存储空间，其中，所述存储空间位于分布式网络***中的一个或多个存储设备中；执行模块，用于根据所述WEB存储访问指令，对确定的所述存储空间进行数据存储访问。
优选地，所述支持事务的海量存储访问装置还包括：存储池管理器SPM，用于对所述分布式网络***的存储池中的存储资源进行入池和出池处理，其中，所述存储池包括所述分布式网络***中的一个或多个存储设备中的存储资源。
与现有技术相比，本申请具有以下优点：
本申请将传统存储思想转化为WEB存储思想，使用WEB存储访问指令直接访问分布式存储资源，WEB存储访问能够通过网络协议，如HTTP协议（超文件传输协议），直接发送给存储端，只要存储端支持网络协议就可以直接解析获取指令内容，进而进行存储访问。而不必像现有存储访问方式一样需要通过应用程序将存储资源整合起来，在进行存储访问时，需要先调用应用程序的API，再通过API和磁盘驱动向存储块设备发送存储访问指令，然后才能进行存储访问。通过本申请的支持事务的海量存储访问方案，不再需要应用程序作为存储中介，简化了存储访问流程，降低了存储访问成本。并且，WEB存储的扩充不受总线、交换机的限制，可以更为有效地实现海量数据的存储能力；而使用基于网络协议的WEB存储访问指令进行存储访问，能减少适应各类网络环境的要求，简化网络配置，同时能方便的被各类应用和操作***使用。因此，本申请的技术方案有效地实现了以较低成本，实现海量数据的直接快速存储访问。
附图说明
图1是根据本申请实施例一的一种支持事务的海量存储访问方法的步骤流程图；
图2是根据本申请实施例二的一种支持事务的海量存储访问方法的步骤流程图；
图3是根据本申请实施例三的一种支持事务的海量存储访问方法的步骤流程图；
图4是图3所示实施例中存储端的结构示意图；
图5是根据本申请实施例四的一种支持事务的海量存储访问装置的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
实施例一
参照图1，示出了根据本申请实施例一的一种支持事务的海量存储访问方法的步骤流程图。
本实施例的支持事务的海量存储访问方法包括以下步骤：
步骤S102：接收网页命令形式的WEB存储访问指令。
在进行存储访问时，使用网页命令形式的WEB存储访问指令，WEB存储访问指令遵循某种网络协议，如HTTP协议、TCP协议（传输控制协议）、或者UDP协议（用户数据包协议）等。在具体实现时，WEB存储访问指令可以通过专门的定义实现，如对网络协议的命令进行扩展或制定新的网络协议命令；也可以将现在存储访问指令通过适当的方式转换为WEB存储访问指令。当然，本领域技术人员在实际应用时，还可以采用其它任意适当方式实现WEB存储访问指令。
步骤S104：确定WEB存储访问指令所要使用的存储空间。
分布式网络***中存在至少一个存储设备，且每个存储设备中都有一定的存储资源，即存储空间（内部存储空间）。本步骤中，所述存储空间位于分布式网络***中的一个或多个存储设备中。
步骤S106：根据WEB存储访问指令，对确定的存储空间进行数据存储访问。
支持网络协议的存储端能够直接对WEB存储访问指令进行解析，获取存储访问指令的内容，在确定存储空间后，即可按照WEB存储访问指令对确定的存储空间进行数据存储访问。
通过本实施例，将传统存储思想转化为WEB存储思想，使用WEB存储访问指令直接访问分布式存储资源，WEB存储访问能够通过网络协议，如HTTP协议（超文件传输协议），直接发送给存储端，只要存储端支持网络协议就可以直接解析获取指令内容，进而进行存储访问。而不必像现有存储方式，需要通过应用程序将存储资源整合起来，在进行存储访问时，需要先调用应用程序的API，再通过API向存储端发送存储访问指令，然后才能进行存储访问。可见，通过本申请的支持事务的海量存储访问方案，不再需要应用程序作为存储中介，节约了存储访问流程，加快了存储访问速度，降低了存储访问成本。并且，WEB存储的扩充不受总线、交换机的限制，可以更为有效地实现数据的海量存储；而使用基于网络协议的WEB存储访问指令进行存储访问，能减少适应各类网络环境的要求，简化网络配置，同时能方便的被各类应用和操作***使用。本实施例有效地实现了以较低成本，实现海量数据的直接快速存储访问。
实施例二
参照图2，示出了根据本申请实施例二的一种支持事务的海量存储访问方法的步骤流程图。
本实施例的支持事务的海量存储访问方法包括以下步骤：
步骤S202：在分布式网络***中的至少一台服务器或存储设备中设置存储池、存储池管理器SPM和存储抽象层SAL。
其中，存储池包括分布式网络***中的一个或多个存储设备中的存储资源；SPM用于对存储池中的存储资源进行入池和出池处理；SAL用于对存储池中的存储资源进行划分和管理，以及，接收WEB存储访问指令，确定WEB存储访问指令所要使用的存储空间，优选地，还将WEB存储访问指令转换为匹配于确定的存储空间的存储访问指令。
需要说明的是，在实际应用中，SPM和SAL的功能也可以由本领域技术人员采用其它适当的方式实现，如由***实现，或者将SPM和SAL的功能进行划分，由多个功能模块实现等。
本实施例中，设定在分布式网络***中的一台服务器中设置存储池和SPM，设定分布式网络***中存在多个存储设备，存储池包括分布式网络***中所有存储设备中的存储资源。
通过设置存储池、SPM和SAL，方便了对分布式网络***中存储资源的访问和管理，提高了存储资源的访问和管理效率。
步骤S204：将存储池中的存储资源按照设定大小划分为至少一个存储资源块SRT。
每个SRT的大小由本领域技术人员根据实际情况设定，通常为4K或者8K。本实施例中，设定按照4K大小，将存储池中的存储资源划分为多个SRT。将存储资源划分为大小相等的多个SRT，方便了对存储资源的统一部署和管理。
步骤S206：为每个SRT设置内部索引编码IIC和外部服务索引编码EIC。
其中，IIC用于标识每个SRT所属的存储设备及其在该存储设备中的位置，EIC用于标识每个SRT在存储池中的位置。
通过IIC，可以快速地确定SRT在分布式网络***中的实际物理地址，而通过EIC可以快速地确定SRT在存储池中的地址，及与其它SRT的位置关系等。
步骤S208：保存存储池中的所有SRT的IIC和EIC的映射关系。
步骤S210：接收网页命令形式的WEB存储访问指令。
本实施例中，可以由SAL接收WEB存储访问指令。WEB存储访问指令中携带有待访问的EIC的信息。
步骤S212：从WEB存储访问指令中获取EIC信息，确定待访问的EIC。
在WEB存储访问指令中携带待访问的EIC的信息，可以使存储端通过保存的IIC和EIC的映射关系，确定待访问的IIC的实际地址。一方面，EIC格式一致，信息量小，便于携带；另一方面，在进行某些存储访问时，比如写入数据时，客户端可以不必关心实际写入的地址，只用根据EIC的信息指定一个或多个EIC即可，然后再由存储端确定对EIC对应的IIC，确定待写入的存储地址后写入数据即可，从而大大减轻了客户端的负担，以及客户端与存储端的信息交互量。
步骤S214：根据存储的映射关系，确定与待访问的EIC对应的IIC。
步骤S216：根据对应的IIC，确定待访问的EIC所标识的SRT所属的存储设备和其在存储设备中的位置。
步骤S218：根据确定的SRT在其所属的存储设备中的位置，确定WEB存储访问指令所要使用的存储空间。
步骤S220：将WEB存储访问指令转换为适应于确定的存储空间的存储访问指令。
本步骤为可选步骤。若接收WEB存储访问指令的服务器与实际待访问的存储设备使用的存储访问指令格式一致，则可以直接使用接收的WEB存储访问指令对存储空间进行存储访问；若接收WEB存储访问指令的服务器与实际待访问的存储设备使用的存储访问指令格式不一致，则需要将接收的WEB存储访问指令转换为与实际待访问的存储设备使用的存储访问指令一样的格式，即，需要转换为适应于确定的存储空间所在的存储设备的存储访问指令。
步骤S222：使用转换后的存储访问指令对确定的存储空间进行数据存储访问。
通过存储端转换WEB存储访问指令，可以使客户端不必关心实现存储的具体指令格式，使用统一的存储访问指令即可访问不同类型的存储设备，有效提高了存储访问的效率和***的兼容性。
本实施例在有效实现了以较低成本，实现海量数据的直接快速存储访问的基础上，通过设置存储池、SPM、SAL实现了对分布式网络***存储资源的高效管理；通过划分SRT，设置和保存IIC和EIC的映射关系，实现了灵活快速地存储访问；通过转换WEB存储访问指令，提高了存储访问的效率和***的兼容性。
实施例三
参照图3，示出了根据本申请实施例三的一种支持事务的海量存储访问方法的步骤流程图。
本实施例中，在存储端设置有存储池、SPM、SAL、块设备驱动接口（BDDI）、缓存管理器（CM）等装置，对存储资源（本实施例中为存储块设备SBD）进行访问和管理，其结构如图4所示。
其中，存储块设备（SBD）可以是用于存储数据的磁盘、阵列、固态盘（SSD）、U盘等存储块设备，这些存储块设备分布于分布式网络***中，存储块设备中的存储资源组成分布式网络***的存储池；块设备驱动接口（BDDI）是现有操作***中用于提供存储设备访问的驱动程序，通过该驱动程序接口可以访问各种接口（SCSI、ATA、SATA、PATA）的磁盘/整列设备，该驱动程序接口也可以通过PCI、PCI-E、USB、FireWire、Thunderbolt等总线驱动访问U盘、活动硬盘等存储设备；存储抽象层（SAL）对一个或多个存储块设备进行存储单元（即SRT）的划分和管理，同时，将客户端对存储块设备的访问进行抽象化，为SAL上层抽象化的查询、存取、控制与事务服务，即，客户端不必考虑具体的存储访问的指令细节，可以使用统一的存储访问指令访问支持不同存储访问指令格式的存储设备；资源池管理器（SPM）管理存储池配置和存储服务控制的元数据，用于池内资源（SBD或网络存储器）的入池、出池处理，同时用于数据操作查询、修改、备份恢复、事务管理等事宜；缓存管理器（CM）用于缓存存储池内最近访问的数据，以提供最好的IO性能。其中，SBD、BDDI及CM均可采用现有技术实现。
本实施例中，采用上述存储端结构的支持事务的海量存储访问方法包括以下步骤：
步骤S302：定义WEB存储访问指令。
本实施例中的WEB存储访问指令涉及存储管理指令和存储数据操作指令，为此，本实施例为指令定义了Web存储访问通信协议WebSA（WebStorage Access）。WebSA基于HTTP1.1协议扩展而来，它在HTTP请求中GET/POST/HEAD等标准方法的基础上增加了一系列存储访问方法。
其中：
存储管理请求指令由管理方法名称和管理信息组成，通过HTTP请求发送，管理方法名称对应于HTTP扩展方法，管理信息对应于HTTP实体内容，表现为一个XML（或者JSON）结构的实体信息体。存储管理指令包括：1）存储初始化指令；2）存储参数查询指令；3）存储事务配置指令；4）存储访问连接指令；5）存储访问关闭指令；6）存储事务处理指令。存储管理响应也是基于HTTP响应来实现。响应包括由源请求实体信息、响应状态、结果数据组成。一种基于HTTP1.1协议的存储管理指令如表1所示。
表1
| 管理指令 | HTTP方法 | HTTP实体内容 |
| 初始化存储 | InitStorage | <InitByte>0x00</InitByte> |
| 存储参数查询 | GetStorageConfig | |
| 存储事务配置 | SetTranConfig | <RollbackSize>128M</RollbackSize> |
| 存储访问连接 | OpenSession | <ClientName></ClientName> |
| 存储访问关闭 | CloseSession | <StorageSessionId>Storage001</StorageSessionId> |
| 开始存储事务 | BeginTrans | <LockRecord>True</LockRecord> |
| 结束存储事务 | EndTrans | <TransId>TransId</TransId> |
| 提交存储事务 | CommitTrans | <TransId>TransId</TransId> |
| 回滚存储事务 | RollbackTrans | <TransId>TransId</TransId> |
存储数据操作请求指令由操作指令名称和操作信息组成，通过HTTP请求发送，操作指令名称对应于HTTP扩展方法，操作信息由会话标识、事务标识、数据偏移与范围、数据更新计数值、和操作数据组成。会话标识、事务标识、数据偏移与范围、数据更新计数值一起，对应于HTTP实体内容，表现为一个XML XML（或者JSON）的实体信息体。会话标识、事务标识和数据偏移与范围实现为HTTP Tag值，数据信息实现为HTTP正文。存储数据操作指令包括：1）读取指令；2）写入指令；3）复制指令。与存储管理响应类似，存储数据操作响应也采用HTTP响应来实现。响应包括由源请求实体信息、响应状态、结果数据组成。一种基于HTTP1.1协议的存储数据操作指令如表2所示。
表2
基于HTTP1.1协议的WEB存储访问指令实现简单，对现有HTTP1.1协议和WEB访问改动小，易于实现，不但提高了存储访问速度，还节约了存储访问的实现成本。
需要说明的是，上述基于HTTP1.1协议的WEB存储访问指令仅为示例性说明，本领域技术人员可以根据上述示例，定义其它WEB存储访问指令，或对上述WEB存储访问指令进行适当修改等。当然，如前所述，WEB存储访问指令也可以采用其它形式实现，如指令转换等，本领域技术人员在具体实现时，可以根据实际需求，采用任意适当方式实现。
步骤S304：设置存储池、SPM和SAL。
具体地，包括：
步骤S3042：SPM把存储池内所有SBD管理起来，为它们分配自然编号，所有编号连续而不重复。
步骤S3044：把SBD的存储资源划分为标准大小的存储资源块（SRT）。SRT划分尺寸以4K为单位，每个SRT拥有一个SBD设备内的64位内部索引编码（IIC）。
步骤S3046：SPM利用集合类把存储池内所有SBD管理起来，记录SBD的元数据。元数据包括SRT单元数，SRT在用状态，物理设备参数（硬盘磁头/柱面/扇区、块数目等）。SPM把所有的SRT集中起来，为每个SRT分配一个64位外部服务索引编码（EIC），并维护IIC和EIC的映射关系。
优选地，IIC和EIC的映射关系分为两部分：（1）IIC和EIC的直接映射关系，用于没有事务下IIC和EIC的映射。实现方法主要是基于SBD的容量构成的分段线性映射关系。（2）IIC和EIC的事务映射关系，用于目标SRT涉及事务时IIC和EIC的映射，用于事务隔离和脏读。实现方法主要利用Hash（哈希）索引建立映射关系。上述映射关系中，直接映射采用线性映射方法，映射关系灵活，而事务映射采用Hash方式，映射查找速度快。针对是否涉及事务设置不同的映射关系，一方面提高了利用映射关系进行存储访问的效率，另一方面也提高了存储访问的灵活性。
步骤S3048：SAL层启用HTTP协议服务，用于存储客户端发起存储请求，当存储客户端需要安全认证时可以采用基于SSL的HTTPS服务。
步骤S30410：设定SAL层通过HTTP协议接收客户端发送的WEB存储访问指令。
即，客户端可以通过HTTP协议向SAL层发送存储管理指令和存储数据操作指令。
步骤S30412：设定SAL层收到客户端针对SRT的存储管理指令和存储数据操作指令（基于EIC）后，查询SPM记录的元数据，根据IIC和EIC的映射关系计算指令影响的SRT的IIC。并调用块设备驱动BDDI接口执行对SRT的数据操作，并把指令结果返回给客户端，当结果中涉及到SRT数据时，更新到缓存管理器CM中。
通过上述设置，实现了对存储资源的管理和对存储访问的控制。
优选地，还可以在存储池中设置事务回滚区，事务回滚区包括：（1）事务索引区，采用Hash索引实现，用于存储事务的信息，包括事务标示、事务状态和事务影响的SRT列表等；（2）事务数据区，用于存放事务影响的SRT的事前备份。通过设置事务索引区，有效实现了对存储访问事务的管理，通过设置事务数据区，有效保证了数据存储的稳定和安全。
本实施例中，存储事务的实现主要依靠事务回滚区，以及IIC和EIC的映射关系来实现。
步骤S306：实现WEB存储事务。
本步骤中，实现了由客户端发送存储访问指令，存储端进行存储事务的处理。需要说明的是，本步骤的下述过程中，根据客户端发送WEB存储访问指令的不同，即根据客户端实现的不同存储访问目的，将一个客户端描述为管理客户端、数据客户端及事务客户端等，它们实际上是同一个物理实体。
具体地，WEB存储事务的实现包括：
步骤S3062：管理客户端通过存储事务配置指令（SetTranConfig）访问存储服务器的SAL，SAL将指令交给SPM，SPM结合事务回滚区大小，为客户端预留相应大小的SRT。
步骤S3064：数据客户端通过HTTP或者HTTPS认证连接存储服务器HTTP服务。
步骤S3066：数据客户端向存储服务器发送OpenSession指令，存储服务器的SAL接收该指令并交给SPM，通过OpenSession指令，SPM为其分配一个SessionId，开始一次存储会话；SAL把结果返回给客户端。
步骤S3068：数据客户端向存储服务器发送BeginTrans指令，存储服务器的SAL接收该指令并交给SPM，通过BeginTrans指令，SPM为其分配一个TransactionId，在用事务索引区***一条状态为在用的记录，SAL把结果返回给客户端。
步骤S30610：数据客户端向存储服务器发起RangeWrite指令（写指令），SAL将源SRT复制到事务数据区，然后修改事务索引记录，状态为“开始”，然后更新IIC和EIC的事务映射关系表，使IIC与复制到事务数据区的SRT的EIC建立事务映射关系；最后SAL将开始对目标线性映射的SRT（即源SRT）进行修改，返回操作结果。
在具体实现时，RangeWrite指令中携带有目标SRT的EIC信息，存储服务器根据存储的目标SRT的EIC和IIC的映射关系，确定目标SRT所在的物理位置并获得该位置的数据，然后，将该数据复制到事务数据区，为目标SRT建立备份，提供给其它会话作读取使用。
步骤S30612：之后，其他数据客户端发起RangeRead指令（读指令），将只能读取事务数据区的备份SRT；只有本会话客户端才能读取修改后的SRT。
RangeRead指令中也携带有目标SRT的EIC信息，因写入数据时，修改了目标SRT的IIC和EIC的事务映射关系，因此，其它客户端只能根据修改后的事务映射关系，读取事务数据区的备份SRT。在写入数据未提交时，非数据写入客户端读取备份数据信息，保证了数据读取的有效性，也保证了存储事务的稳定性。
步骤S30614：如果事务客户端发起CommitTrans指令（提交指令），SAL修改事务索引区记录中的事务状态为“提交”，然后删除IIC和EIC的事务映射关系记录，之后删除事务索引区中数据记录，释放事务数据区的备份SRT。
步骤S30616：如果事务客户端发起RollbackTrans指令（回滚指令），SAL修改事务索引区记录中的事务状态为“回滚”，复制事务数据区的备份SRT到原线性映射SRT，然后删除IIC和EIC的事务映射关系记录，之后删除事务索引区中数据记录，释放事务数据区的备份SRT。
步骤S30618：如果事务客户端发起EndTrans指令（结束存储事务指令），如果事务索引区记录中的事务状态为“开始”，执行步骤S30614，然后删除事务索引区中事务记录。
步骤S30620：如果SPM检查到客户端会话超时，且事务索引区记录中的事务状态为“开始”，执行步骤S30616，然后删除事务索引区中事务记录。
以上以存储事务的实现为例，说明了各WEB存储访问指令的执行过程，但不限于此，在实际应用中，比如单独的读、提交、回滚、结束等指令，以及会话超时的处理，均可由本领域技术人员参照上述存储事务实现过程，结合EIC和IIC的映射关系以及事务回滚区，进行相应的存储访问处理。
通过本实施例，实现了：（1）海量容量，扩充不受总线、交换机的限制，理论最大容量扩展达到64ZBytes；（2）基于HTTP协议，能减少适应各类网络环境的要求，简化网络配置；同时能方便的被各类应用和操作***使用，特别是便于各类虚拟机***使用；（3）支持事务和回滚机制，避免遇到网络问题时存储事务对应用的压力，降低IO通信和复杂性；（4）使得Web服务和存储分离变得容易，便于基于互联网的操作***和应用与数据存储的分离；（5）与HDFS/GFS等相比：本实施例是基于小数据块（4K）的，HDFS等则是采用64M（或更高）的数据块设计，具有更好的随机读写性能；本实施例基于哈希和线性元数据的索引管理，降低了管理成本；本实施例直接提供基于块记录的事务恢复机制，降低了数据管理恢复，能更有效适应恶劣的网络环境；本实施例更利于实现iSCSI协议以便为现有操作***提供支持；以及本实施例更便于为HTTP页面和Javascript等使用等。
此外，基于图4所示的存储端的存储结构，本申请实现了应用程序与存储的解耦。具体地，应用程序与存储解耦的实现过程如下：
步骤A：用户建立存储池，发布存储服务。
本解耦过程中，用户为存储端用户。存储池设备可以是一个服务器集群，或者一台PC，或者一台移动存储设备等。
步骤B：用户用浏览器访问或者下载应用程序（如字处理软件）或操作***软件或虚拟机。
其中，浏览器可以是一台PC，或智能移动终端等。
步骤C：用户管理存储池的服务配置和访问约束，同时修改应用程序、操作***、虚拟机的配置参数。
步骤D：应用程序或操作***软件基于HTTP直接使用存储池服务，无需文件***API、ActiveX插件之类的服务。
通过应用程序与存储的解耦，对数据的存储访问不再依赖于应用程序，有效实现了基于网络的、直接快速地数据存储访问。
实施例四
参照图5，示出了根据本申请实施例四的一种支持事务的海量存储访问装置的结构框图。
本实施例的支持事务的海量存储访问装置包括：存储抽象层SAL502，SAL502包括：接收模块5022，用于接收网页命令形式的WEB存储访问指令；确定模块5024，用于确定WEB存储访问指令所要使用的存储空间，其中，存储空间位于分布式网络***中的一个或多个存储设备中；执行模块5026，用于根据WEB存储访问指令，对确定的存储空间进行数据存储访问。SAL502设置在分布式网络***中的至少一台服务器或存储设备中。
优选地，SAL502还用于对所述存储池中的存储资源进行划分和管理。
优选地，本实施例的支持事务的海量存储访问装置还包括：存储池管理器SPM504，用于对分布式网络***的存储池中的存储资源进行入池和出池处理，其中，存储池包括分布式网络***中的一个或多个存储设备中的存储资源。存储池和SPM504设置在分布式网络***中的至少一台服务器或存储设备中。
其中，SAL502、存储池和SPM504最好设置在同一台服务器或存储设备中，但也可以设置在不同的服务器或存储设备中，通过不同服务器或存储设备之间的通信实现交互。
优选地，SPM504还用于将存储池中的存储资源按照设定大小划分为至少一个存储资源块SRT；为每个SRT设置内部索引编码IIC和外部服务索引编码EIC，其中，IIC用于标识每个SRT所属的存储设备及其在该存储设备中的位置，EIC用于标识每个SRT在存储池中的位置。
优选地，SPM504还用于存储存储池中的所有SRT的IIC和EIC的映射关系；确定模块5024用于确定WEB存储访问指令待访问的EIC；根据存储的映射关系，确定与待访问的EIC对应的IIC；根据对应的IIC，确定待访问的EIC所标识的SRT所属的存储设备和其在存储设备中的位置；根据确定的SRT在其所属的存储设备中的位置，确定WEB存储访问指令所要使用的存储空间。
优选地，映射关系包括事务映射关系和直接映射关系；其中，事务映射关系为哈希映射关系，用于目标SRT涉及事务时的IIC和EIC的映射；直接映射关系为线性映射关系，用于不涉及事务时的IIC和EIC的映射。
优选地，存储池中设置有事务回滚区，事务回滚区包括事务索引区和事务数据区，其中，事务索引区用于存储事务的信息，事务数据区用于存储事务影响的目标SRT的事前备份。
优选地，执行模块5026，用于根据WEB存储访问指令，对确定的存储空间进行的数据存储访问包括以下至少之一：当WEB存储访问指令为写指令时，在事务索引区***该写指令指示的事务的信息；确定该写指令的目标SRT的IIC和EIC，根据事务映射关系，确定目标SRT在其所属的存储设备中的位置的数据；在事务数据区为该数据建立备份，并修改事务映射关系，使目标SRT的IIC与事务数据区的备份的EIC建立映射关系；对存储设备中的数据执行写指令；当WEB存储访问指令为读指令，且读指令在执行完写指令且该写指令未提交时执行，在事务索引区***该读指令指示的事务的信息；确定该读指令的目标SRT的IIC和EIC，根据事务映射关系，确定目标SRT在事务数据区的备份；对该备份执行读指令；当WEB存储访问指令为提交指令时，在事务索引区中的该提交指令指示的事务的信息中设置提交信息；删除该提交指令的目标SRT的IIC和备份的EIC的事务映射关系；判断事务数据区中是否有目标SRT的备份，若有，则释放该备份；当WEB存储访问指令为回滚指令时，在事务索引区中的该回滚指令指示的事务的信息中设置回滚信息；将事务数据区中的目标SRT的备份复制回其在所属的存储设备中的位置；删除该回滚指令的目标SRT的IIC和备份的EIC的事务映射关系、删除事务数据区中目标SRT的备份。
优选地，执行模块5026用于将WEB存储访问指令转换为适应于确定的存储空间的存储访问指令；使用转换后的存储访问指令对确定的存储空间进行数据存储访问。
优选地，WEB存储访问指令包括存储管理请求指令和存储数据操作请求指令；其中，存储管理请求指令包括以下至少之一：存储初始化指令、存储参数查询指令、存储事务配置指令、存储访问连接指令、存储访问关闭指令、存储事务处理指令；存储数据操作请求指令包括以下至少之一：读取指令、写入指令、复制指令。
优选地，WEB存储访问指令为扩展的HTTP协议指令。
优选地，本实施例的支持事务的海量存储访问装置还包括：缓存管理器，用于缓存存储池内近期访问的数据（可以为事先设定的一段时间的数据或一定数量的数据），以提供最好的IO性能。
设置了本实施例的支持事务的海量存储访问装置的存储端的整体结构示意图可参照图4及其相关描述。
本实施例的支持事务的海量存储访问装置用于实现前述多个方法实施例中相应的支持事务的海量存储访问方法，并具有相应的支持事务的海量存储访问方法的有益效果，在此不再赘述。
本申请提供了一种基于网络的、直接快速的、海量的存储***，跳过了传统的文件概念和约束，直接将存储抽象化为存储服务。同时，基于网络特点，增加了事务支持，降低了事务处理与恢复的IO效率和复杂性。
分布式存储***实现后，除了用于常见的虚拟机应用，还可用于实现各类操作***、应用程序与数据存储的分离。采用本申请的存储访问技术，应用***或操作***将可以通过浏览器页面和Script脚本来实现，应用不需要关心是本地或者远程服务。而用户可以通过存储池管理器进行配置和管理，控制软件服务提供商对用户存储的访问。例如用户的办公软件、摄像头将直接具备访问用户存储池的能力，而不是像平常那样需要大量的文件传输或***接口。
通过本申请的利用HTTP协议将存储直接转化为Web存储服务，同时提供事务支持，适用于在LAN和互联网环境下构建的海量存储***，有效地实现了以较低成本，实现海量数据的直接快速存储访问。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本申请所提供的一种支持事务的海量存储访问方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (13)
1.一种支持事务的海量存储访问方法，其特征在于，包括：
接收网页命令形式的WEB存储访问指令；
确定所述WEB存储访问指令所要使用的存储空间，其中，所述存储空间位于分布式网络***中的一个或多个存储设备中；
根据所述WEB存储访问指令，对确定的所述存储空间进行数据存储访问。
2.根据权利要求1所述的方法，其特征在于，在所述接收网页命令形式的WEB存储访问指令的步骤之前，还包括：
在所述分布式网络***中的至少一台服务器或存储设备中设置存储池和存储池管理器SPM；其中，所述存储池包括所述分布式网络***中的一个或多个存储设备中的存储资源，所述SPM用于对所述存储池中的存储资源进行入池和出池处理。
3.根据权利要求2所述的方法，其特征在于，在所述分布式网络***中的至少一台服务器或存储设备中设置存储池的步骤之后，还包括：
将所述存储池中的存储资源按照设定大小划分为至少一个存储资源块SRT；
为每个所述SRT设置内部索引编码IIC和外部服务索引编码EIC，其中，所述IIC用于标识所述每个SRT所属的存储设备及其在该存储设备中的位置，所述EIC用于标识所述每个SRT在所述存储池中的位置。
4.根据权利要求3所述的方法，其特征在于，
在为所述SRT设置内部索引编码IIC和外部服务索引编码EIC的步骤之后，还包括：存储所述存储池中的所有SRT的IIC和EIC的映射关系；
所述确定WEB存储访问指令所要使用的存储空间的步骤包括：确定所述WEB存储访问指令待访问的EIC；根据存储的所述映射关系，确定与所述待访问的EIC对应的IIC；根据对应的所述IIC，确定所述待访问的EIC所标识的SRT所属的存储设备和其在存储设备中的位置；根据确定的所述SRT在其所属的存储设备中的位置，确定所述WEB存储访问指令所要使用的存储空间。
5.根据权利要求4所述的方法，其特征在于，所述映射关系包括事务映射关系和直接映射关系；
其中，
所述事务映射关系为哈希映射关系，用于目标SRT涉及事务时的IIC和EIC的映射；所述直接映射关系为线性映射关系，用于不涉及事务时的IIC和EIC的映射。
6.根据权利要求5所述的方法，其特征在于，在所述分布式网络***中的至少一台服务器或存储设备中设置存储池和存储池管理器SPM的步骤之后，还包括：
在所述存储池中设置事务回滚区，所述事务回滚区包括事务索引区和事务数据区，其中，所述事务索引区用于存储事务的信息，所述事务数据区用于存储事务影响的目标SRT的事前备份。
7.根据权利要求6所述的方法，其特征在于，根据所述WEB存储访问指令，对确定的所述存储空间进行数据存储访问的步骤包括以下至少之一：
当所述WEB存储访问指令为写指令时，在所述事务索引区***该写指令指示的事务的信息；确定该写指令的目标SRT的IIC和EIC，根据所述事务映射关系，确定所述目标SRT在其所属的存储设备中的位置的数据；在所述事务数据区为该数据建立备份，并修改所述事务映射关系，使所述目标SRT的IIC与所述事务数据区的备份的EIC建立映射关系；对所述存储设备中的数据执行所述写指令；
当所述WEB存储访问指令为读指令，且所述读指令在执行完写指令且该写指令未提交时执行，在所述事务索引区***该读指令指示的事务的信息；确定该读指令的目标SRT的IIC和EIC，根据所述事务映射关系，确定所述目标SRT在所述事务数据区的备份；对该备份执行所述读指令；
当所述WEB存储访问指令为提交指令时，在所述事务索引区中的该提交指令指示的事务的信息中设置提交信息；删除该提交指令的目标SRT的IIC和所述备份的EIC的事务映射关系；判断所述事务数据区中是否有目标SRT的备份，若有，则释放该备份；
当所述WEB存储访问指令为回滚指令时，在所述事务索引区中的该回滚指令指示的事务的信息中设置回滚信息；将所述事务数据区中的所述目标SRT的备份复制回其在所属的存储设备中的位置；删除该回滚指令的目标SRT的IIC和所述备份的EIC的事务映射关系、删除所述事务数据区中所述目标SRT的备份。
8.根据权利要求2所述的方法，其特征在于，根据所述WEB存储访问指令，对确定的所述存储空间进行数据存储访问的步骤包括：
将所述WEB存储访问指令转换为适应于所述确定的存储空间的存储访问指令；
使用转换后的所述存储访问指令对所述确定的存储空间进行数据存储访问。
9.根据权利要求8所述的方法，其特征在于，在所述分布式网络***中的至少一台服务器或存储设备中设置存储池和存储池管理器SPM的步骤之后，还包括：
在所述分布式网络***中的至少一台服务器或存储设备中设置存储抽象层SAL，所述SAL用于对所述存储池中的存储资源进行划分和管理；以及，接收所述WEB存储访问指令，确定所述WEB存储访问指令所要使用的存储空间，并将所述WEB存储访问指令转换为匹配于所述确定的存储空间的存储访问指令。
10.根据权利要求1所述的方法，其特征在于，所述WEB存储访问指令包括存储管理请求指令和存储数据操作请求指令；
其中，
所述存储管理请求指令包括以下至少之一：存储初始化指令、存储参数查询指令、存储事务配置指令、存储访问连接指令、存储访问关闭指令、存储事务处理指令；
所述存储数据操作请求指令包括以下至少之一：读取指令、写入指令、复制指令。
11.根据权利要求10所述的方法，其特征在于，所述WEB存储访问指令为扩展的HTTP协议指令。
12.一种支持事务的海量存储访问装置，其特征在于，包括存储抽象层SAL；
所述SAL包括：
接收模块，用于接收网页命令形式的WEB存储访问指令；
确定模块，用于确定所述WEB存储访问指令所要使用的存储空间，其中，所述存储空间位于分布式网络***中的一个或多个存储设备中；
执行模块，用于根据所述WEB存储访问指令，对确定的所述存储空间进行数据存储访问。
13.根据权利要求12所述的装置，其特征在于，还包括：
存储池管理器SPM，用于对所述分布式网络***的存储池中的存储资源进行入池和出池处理，其中，所述存储池包括所述分布式网络***中的一个或多个存储设备中的存储资源。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210311723.4A CN102917005B (zh) | 2012-08-28 | 2012-08-28 | 一种支持事务的海量存储访问方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210311723.4A CN102917005B (zh) | 2012-08-28 | 2012-08-28 | 一种支持事务的海量存储访问方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102917005A true CN102917005A (zh) | 2013-02-06 |
| CN102917005B CN102917005B (zh) | 2016-10-26 |
Family
ID=47615235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210311723.4A Expired - Fee Related CN102917005B (zh) | 2012-08-28 | 2012-08-28 | 一种支持事务的海量存储访问方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102917005B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106254544A (zh) * | 2016-09-28 | 2016-12-21 | 乐视控股（北京）有限公司 | 数据访问方法及装置 |
| CN106708428A (zh) * | 2016-11-21 | 2017-05-24 | 平安科技（深圳）有限公司 | 数据虚拟化存储方法和装置 |
| CN106919338A (zh) * | 2015-12-24 | 2017-07-04 | ***通信集团公司 | 一种适用于软件定义存储的Flash存储访问处理方法及*** |
| CN108279997A (zh) * | 2018-01-17 | 2018-07-13 | 新联智慧信息技术（深圳）有限公司 | 数据备份指令管理方法及*** |
| CN108282473A (zh) * | 2018-01-17 | 2018-07-13 | 新联智慧信息技术（深圳）有限公司 | 云存储命令管理方法及*** |
| CN110109622A (zh) * | 2019-04-28 | 2019-08-09 | 平安科技（深圳）有限公司 | 一种基于中间件的数据处理方法和相关装置 |
| WO2020062985A1 (zh) * | 2018-09-26 | 2020-04-02 | Oppo广东移动通信有限公司 | 块设备访问追踪方法以及装置、存储介质及终端 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030225884A1 (en) * | 2002-05-31 | 2003-12-04 | Hayden Mark G. | Distributed network storage system with virtualization |
| CN1645342A (zh) * | 2005-01-21 | 2005-07-27 | 清华大学 | San环境中基于网络的海量存储资源管理方法 |
| CN101370027A (zh) * | 2008-07-09 | 2009-02-18 | ***集团宽带业务应用国家工程实验室有限公司 | 网络存储***、方法及应用服务器 |
-
2012
- 2012-08-28 CN CN201210311723.4A patent/CN102917005B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030225884A1 (en) * | 2002-05-31 | 2003-12-04 | Hayden Mark G. | Distributed network storage system with virtualization |
| CN1645342A (zh) * | 2005-01-21 | 2005-07-27 | 清华大学 | San环境中基于网络的海量存储资源管理方法 |
| CN101370027A (zh) * | 2008-07-09 | 2009-02-18 | ***集团宽带业务应用国家工程实验室有限公司 | 网络存储***、方法及应用服务器 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106919338A (zh) * | 2015-12-24 | 2017-07-04 | ***通信集团公司 | 一种适用于软件定义存储的Flash存储访问处理方法及*** |
| CN106919338B (zh) * | 2015-12-24 | 2019-09-03 | ***通信集团公司 | 一种适用于软件定义存储的Flash存储访问处理方法及*** |
| CN106254544A (zh) * | 2016-09-28 | 2016-12-21 | 乐视控股（北京）有限公司 | 数据访问方法及装置 |
| CN106708428A (zh) * | 2016-11-21 | 2017-05-24 | 平安科技（深圳）有限公司 | 数据虚拟化存储方法和装置 |
| CN106708428B (zh) * | 2016-11-21 | 2018-06-29 | 平安科技（深圳）有限公司 | 数据虚拟化存储方法和装置 |
| TWI680404B (zh) * | 2016-11-21 | 2019-12-21 | 大陸商平安科技（深圳）有限公司 | 數據虛擬化存儲方法和裝置 |
| CN108279997A (zh) * | 2018-01-17 | 2018-07-13 | 新联智慧信息技术（深圳）有限公司 | 数据备份指令管理方法及*** |
| CN108282473A (zh) * | 2018-01-17 | 2018-07-13 | 新联智慧信息技术（深圳）有限公司 | 云存储命令管理方法及*** |
| CN108282473B (zh) * | 2018-01-17 | 2021-01-26 | 新联智慧信息技术（深圳）有限公司 | 云存储命令管理方法及*** |
| WO2020062985A1 (zh) * | 2018-09-26 | 2020-04-02 | Oppo广东移动通信有限公司 | 块设备访问追踪方法以及装置、存储介质及终端 |
| CN110109622A (zh) * | 2019-04-28 | 2019-08-09 | 平安科技（深圳）有限公司 | 一种基于中间件的数据处理方法和相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102917005B (zh) | 2016-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10956601B2 (en) | Fully managed account level blob data encryption in a distributed storage environment | |
| US10764045B2 (en) | Encrypting object index in a distributed storage environment | |
| US10929428B1 (en) | Adaptive database replication for database copies | |
| CN109783438B (zh) | 基于librados的分布式NFS***及其构建方法 | |
| US9946735B2 (en) | Index structure navigation using page versions for read-only nodes | |
| US10659225B2 (en) | Encrypting existing live unencrypted data using age-based garbage collection | |
| CN105324770B (zh) | 有效读出副本 | |
| CN102917005A (zh) | 一种支持事务的海量存储访问方法及装置 | |
| CN103268318B (zh) | 一种强一致性的分布式键值数据库***及其读写方法 | |
| CN102662992B (zh) | 一种海量小文件的存储、访问方法及装置 | |
| US10725666B2 (en) | Memory-based on-demand data page generation | |
| US9426219B1 (en) | Efficient multi-part upload for a data warehouse | |
| WO2014183708A1 (zh) | 一种实现分布式文件***块存储的方法及*** | |
| CN103812939A (zh) | 一种大数据存储*** | |
| US10885023B1 (en) | Asynchronous processing for synchronous requests in a database | |
| CN107818111B (zh) | 一种缓存文件数据的方法、服务器及终端 | |
| CN104050248A (zh) | 一种文件存储***及存储方法 | |
| CN103631820A (zh) | 分布式文件***的元数据管理方法及设备 | |
| CN103501319A (zh) | 一种低延迟的面向小文件的分布式存储*** | |
| US20220188340A1 (en) | Tracking granularity levels for accessing a spatial index | |
| WO2021213281A1 (zh) | 数据读取方法和*** | |
| CN102722405A (zh) | 高并发、多线程应用中的计数方法及*** | |
| CN105516313A (zh) | 一种用于大数据的分布式存储*** | |
| US11144407B1 (en) | Synchronous database geo-mirroring using delayed visibility write operations | |
| CN104408084A (zh) | 一种大数据筛选方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161026 |