CN103985393B - 一种多光盘数据并行管理方法及装置 - Google Patents

Abstract

本发明适用于数据存储技术领域，提供一种多光盘数据并行管理方法及装置，所述装置包括控制器，所述通过存储接口连接有多个光盘驱动器，所述控制器通过主机接口连接有前端主机，所述控制器通过数据存储通道连接有存储缓冲器，所述存储缓冲器内置有数据分配表，还包括光盘刻录缓冲区和读缓存器，所述方法至少包括数据读取方法、数据写入方法、数据更新方法之一，上述三种方法并行执行。本发明中各个光盘驱动器可独立运行，通过并行管理数据，实现大量光盘驱动器的并发读写，提高整个光盘存储***的整体性能，增加了数据读写速度，避免浪费带宽。

Description

一种多光盘数据并行管理方法及装置

技术领域

本发明属于数据储存技术领域，尤其涉及一种多光盘数据并行管理方法及装置。

背景技术

大数据时代数据增长速度不读提升，进而对于存储容量和性能产生巨大压力。其中越来越多重要数据需要长期保存。其中光盘存储是一种廉价的数据长期保存方式。

大部分用于归档的光盘属于一次性写光盘，也就是只能写一次，但是可以读无限次。而可擦写光盘既可以读也可以写，写次数虽然大于一，但是仍有次数限制，一般而言可擦写光盘的读写性能都低于一次写光盘。对于一次性写光盘，最好一次性写满整张光盘。其原因在于多次追加写需要每次追加修改数据导入区的元数据，如果数据导入区没有剩余空间，则不能追加数据；并且写操作需要定位开始写位置，一方面造成性能下降，另一方面容易产生错误造成整张光盘作废。

主机***通过标准存取接口访问存储***。这些存取接口主要分为文件接口，块接口和对象存取接口。而光盘存储***要求提供相应的接口方便主机对于内部数据的存取。

传统上使用光盘驱动器存取光盘数据，存取过程可分为把数据刻录到光盘，或者从光盘上读数据两个读写过程。只能读取光盘数据的光盘驱动器称之为只读光盘驱动器，既能读又能写的光盘驱动器称之为光盘刻录驱动器。光盘的存取速度一方面依赖于光盘光驱器的读写速度，另一方面依赖于光盘介质的特性。但是目前单个光盘驱动器读写光盘速度小于50MB/s，远远低于高性能数据存储***所要求的上百MB/s的读写带宽。

目前单个光盘驱动器只能为一台主机提供数据存取服务；同一个主机无法实现多个光盘的同时读写；多个主机无法同时存取光盘存储***，也无法并行刻录读写光盘数据。多个主机或者多个对于光盘读写请求只能采用串行方式。这使得光盘存储***很难应用于大规模数据存储***之中。

发明内容

鉴于上述问题，本发明的目的在于提供一种多光盘数据并行管理方法及装置，旨在解决现有大量光盘无法并行读写的技术问题。

一方面，所述多光盘数据并行管理方法应用于多光盘数据并行管理装置，所述装置包括控制器，所述控制器通过存储接口连接有多个光盘驱动器，所述控制器通过主机接口连接有前端主机，所述控制器通过数据存储通道连接有存储缓冲器，所述存储缓冲器内置有数据分配表，还包括光盘刻录缓冲区和读缓存器，所述方法至少包括数据读取方法、数据写入方法、数据更新方法之一，所述控制器中设有数据存取任务队列，能够接受、处理和跟踪多个主机或是服务器的并发数据存取任务，使得上述三种方法并行执行，其中，

所述数据读取方法包括：根据读数据请求查找数据分配表确定数据所保存位置，并对应从光盘、光盘刻录缓冲区或者读缓存器中取出相应数据；

所述数据写入方法包括：根据分配策略确定写数据所存放的光盘，并将所述写数据存入相应的光盘刻录缓冲区，在数据分配表中记录写数据在光盘刻录缓冲区中的位置，将光盘刻录缓冲区中的数据刻录到光盘，同时在数据分配表中记录光盘标记及其内部物理位置。

所述数据更新方法包括：根据数据更新请求查找数据分配表确定数据所述保存位置，并对应在光盘刻录缓冲区更新数据或者在对应光盘中按照所述数据写入方法写入数据。

另一方面，一种多光盘数据并行存储装置，包括控制器，存储缓冲器，若干存储接口，若干主机接口和数据分配表，通过存储接口连接有多个光盘驱动器，所述控制器通过主机接口连接有前端主机，所述控制器通过内部存储通道连接存储缓冲器，所述存储缓冲器内置光盘刻录缓冲区和读缓存器，其中，

所述前端主机用于发出读数据请求、写数据请求、数据更新请求，以及用于在读数据时接收控制器返回的数据；

所述控制器用于根据读数据请求查找数据分配表确定数据所保存位置，并对应从光盘、光盘刻录缓冲区或者读缓存器中取出相应数据；以及用于接收到写数据请求后，根据分配策略确定写数据所存放的光盘，并将所述写数据存入相应的光盘刻录缓冲区，在数据分配表中记录写数据在光盘刻录缓冲区中的位置，将光盘刻录缓冲区中的数据刻录到光盘，同时在数据分配表中记录光盘标记及其内部物理位置；还用于根据数据更新请求查找数据分配表确定数据所述保存位置，并对应在光盘刻录缓冲区更新数据或者在对应光盘中按照所述数据写入方法写入数据。

所述数据分配表用于记录数据所保存的物理地址，所述物理地址包括光盘标记及其内部物理地址，以及存储缓冲器内部的物理地址；

所述光盘刻录缓冲区用于存放待写入数据，当满足刻录条件时，把光盘刻录缓冲区的数据一次性写入光盘；

所述读缓存器用于存储频繁读的数据。

本发明的有益效果是：本发明提供了一种多光盘数据并行管理技术方案，其中多光盘数据并行存储装置中包括有多个光盘驱动器，各个光盘驱动器可独立运行，通过并行管理数据，实现大量光盘驱动器的并发读写，提高整个光盘存储***的整体性能，增加了数据读写速度，避免浪费带宽。

附图说明

图1是本发明第一实施例提供的数据读取方法流程图；

图2是本发明第一实施例提供的数据写入方法流程图；

图3是本发明第一实施例提供的数据更新方法流程图；

图4是本发明第二实施例提供的一种多光盘数据并行存储装置的结构图；

图5是存储缓冲器结构图；

图6是控制器并行读写示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

本发明实施例提供的多光盘数据并行管理方法应用于多光盘数据并行存储装置，所述装置包括控制器，所述控制器通过存储接口连接有多个光盘驱动器，所述控制器通过主机接口连接有前端主机，所述控制器通过数据存储通道连接有存储缓冲器，所述存储缓冲器内置有数据分配表，还包括光盘刻录缓冲区和读缓存器。本实施例方法至少包括数据读取方法、数据写入方法、数据更新方法之一，上述三种方法并行执行，比如可以同时驱动多个光盘驱动器进行光盘写入，也可以同时进行光盘写入和读出等等，各个光盘驱动器独立运行，进行读写操作。

本实施例中，如图6所示，控制器中具有数据存取任务队列，能够接受、处理和跟踪多个主机或是服务器的并发数据存取任务。通过多任务异步和并行调度，最大化利用多个光盘驱动器和存储缓冲器的物理带宽。克服传统光盘***单任务串行执行的问题，并且利用存储缓冲器，把一次刻录光盘的不可分操作，变成多个子操作，子操作之间可以并行和异步执行，从而提高光盘存储***的效率，减少前端服务器的任务等待时间。

例如，服务器A发送数据到控制器，控制器把该数据保存到数据缓冲区相应位置就可完成，无需一定等待数据刻录到光盘上。在此过程中，控制器仍然可以响应服务器A的其他读写请求，并且控制器还可以响应其他服务器的服务请求，从而实现多个读写任务并行执行。

如果相关光盘刻录缓冲区的数据满足光盘刻录条件，控制器把光盘刻录缓冲区的数据集刻录到光盘上，无需服务器干预。

本实施例中，所述数据读取方法包括：根据读数据请求查找数据分配表确定数据所保存位置，并对应从光盘、光盘刻录缓冲区或者读缓存器中取出相应数据。所述数据写入方法包括：根据分配策略确定写数据所存放的光盘，并将所述写数据存入相应的光盘刻录缓冲区，在数据分配表中记录写数据在光盘刻录缓冲区中的位置，将光盘刻录缓冲区中的数据刻录到光盘，同时在数据分配表中记录光盘标记及其内部物理位置。所述数据更新方法包括：根据数据更新请求查找数据分配表确定数据所述保存位置，并对应在光盘刻录缓冲区更新数据或者在对应光盘中按照所述数据写入方法写入数据。

具体的，参照图1所示，所述数据读取方法具体包括：

步骤S101、接收前端主机发出的读数据请求。

所述前端主机为发出请求指令的主体，所述读数据请求中包含有待读取数据的逻辑地址，在前端主机一侧，无需关心数据的物理地址，数据的逻辑地址保存在数据分配表中。

步骤S102、根据所述读数据请求查找数据分配表，确定数据所在的物理地址。

数据分配表中保存的是数据的逻辑地址以及对应物理地址，当控制器接收到读数据请求后，从中获取逻辑地址，然后查找所述数据分配表，找到对应的物理地址。

步骤S103、若所述数据在光盘上，选择一个空闲光盘驱动器读取光盘上所述物理地址对应的数据。

当所述物理地址对应于光盘，即待读的数据位于光盘上，选择一个空闲的光盘驱动器读取光盘上所述物理地址对应的数据。当光盘驱动器均在工作时则等待。

步骤S104、若所述数据在光盘刻录缓冲区，从光盘刻录缓冲区中读取所述物理地址对应的数据；

步骤S105、若所述数据在读缓存器中，从读缓存器中读取所述物理地址对应的数据。

如果所述物理地址对应于光盘刻录缓冲区或者读缓存器，则直接从所述光盘刻录缓冲区或读缓存器中读取所述物理地址对应的数据。

步骤S106、读取数据完毕后，将数据返回至前端主机。

最终，数据读取完毕，控制器将数据返回至前端主机。

参照图2所示，所述数据写入方法具体包括：

步骤S201、接收前端主机发出的写数据请求；

步骤S202、根据分配策略确定写数据存放的光盘位置；

步骤S203、将所述写数据写入相应的光盘刻录缓冲区；

步骤S204、在数据分配表中记录当前写数据在所述光盘刻录缓冲区中的物理地址；

步骤S205、当满足刻录条件时，将所述光盘刻录缓冲区中的数据写入到对应光盘；

步骤S206、在数据分配表中记录当前写数据所在光盘的光盘标记及其内部物理地址。

写入数据前，首先需要将写数据写入相应光盘的光盘刻录缓冲区，然后将光盘缓存区中的数据写入到光盘中，同时需要在数据分配表中记录当前写数据在所述光盘刻录缓冲区中的物理地址，以及当前写数据所在光盘的光盘标记及其内部物理地址，比如具体的哪张光盘，以及数据在光盘中的物理地址。

参照图3，所述数据更新方法具体包括：

步骤S301、接收前端主机发送的数据更新请求；

步骤S302、根据所述数据更新请求查找数据分配表，确定数据所在的物理地址；

步骤S303、若所述数据在光盘刻录缓冲区中，在光盘刻录缓冲区中所述物理地址对应位置更新数据；

步骤S304、若所述数据在光盘上，按照所述数据写入方法将数据写入光盘，并标记数据所在原光盘中的物理地址作废。

当需要更新数据时，解析更新请求指令获取逻辑地址，然后查找数据分配表，找到对应的物理地址，该物理地址为待更新数据的物理地址，若所述物理地址对应于光盘刻录缓冲区，即所述数据在光盘刻录缓冲区中，则在光盘刻录缓冲区中所述物理地址对应位置更新数据；若所述物理地址对应于光盘，即待更新的数据在光盘上，按照所述数据写入方法将数据写入光盘，并标记数据所在原光盘中的物理地址作废。

优选的，所述数据更新方法还包括:

步骤S305、检查读缓冲器中是否保存有所述数据。若存在，则在读缓存器中相应位置更新数据。

本实施例提供了一种多光盘数据并行存储方法，通过数据并行管理，提高了数据读取速度，避免宽带浪费。

实施例二：

图4示出了本发明实施例提供的一种多光盘数据并行存储装置的结构，为了便于说明仅示出了与本发明实施例相关的部分。

本实施例提供的一种多光盘数据并行存储装置包括控制器1，所述控制器通过存储接口连接有多个光盘驱动器2，所述控制器通过主机接口连接有前端主机3，所述控制器通过数据存储通道连接有存储缓冲器4，如图5所示，所述存储缓冲器内置有数据分配表41，还包括光盘刻录缓冲区42和读缓存器43。所述存储接口通常是SATA、SAS或USB等高速标准存储接口，所述主机接口包括逻辑接口和物理接口，物理接口是物理连接方式，通常是以太网，光驱通道，Infiniband等高速物理网络；逻辑接口是数据传输协议，通常是文件接口，块接口和对象接口。所述存储缓冲器是一个或者一组固态盘或者硬盘，及其它们的组合。本实施例中，所述控制器中设有数据存取任务队列，能够接受、处理和跟踪多个主机或是服务器的并发数据存取任务，所述多个光盘驱动器可以独立运行，相互没有干扰，均可以进行独立的数据读写操作，以实现并行管理控制。

其中，

所述前端主机3用于发出读数据请求、写数据请求、数据更新请求，以及用于在读数据时接收控制器返回的数据；

所述控制器1用于根据读数据请求查找数据分配表确定数据所保存位置，并对应从光盘、光盘刻录缓冲区或者读缓存器中取出相应数据；以及用于接收到写数据请求后，根据分配策略确定写数据所存放的光盘，并将所述写数据存入相应的光盘刻录缓冲区，在数据分配表中记录写数据在光盘刻录缓冲区中的位置，将光盘刻录缓冲区中的数据刻录到光盘，同时在数据分配表中记录光盘标记及其内部物理位置；还用于根据数据更新请求查找数据分配表确定数据所述保存位置，并对应在光盘刻录缓冲区更新数据或者在对应光盘中按照所述数据写入方法写入数据。

所述数据分配表41用于记录数据所保存的物理地址，所述物理地址包括光盘标记及其内部物理地址，以及存储缓冲器内部的物理地址；

所述光盘刻录缓冲区42用于存放待写入数据，当满足刻录条件时，把光盘刻录缓冲区的数据一次性写入光盘；

所述读缓存器43用于存储频繁读的数据。

本实施例中，所述控制器用于实现数据并行管理，包括读数据、写数据以及数据更新。在具体实现时，所述控制器包括：

请求接收模块，用于接收前端主机发出的读数据请求；

地址查找模块，用于根据所述读数据请求查找数据分配表，确定数据所在的物理地址；

数据读取模块，用于若所述数据在光盘上，选择一个空闲光盘驱动器读取光盘上所述物理地址对应的数据；用于若所述数据在光盘刻录缓冲区，从光盘刻录缓冲区中读取所述物理地址对应的数据；以及用于若所述数据在读缓存器中，从读缓存器中读取所述物理地址对应的数据；

数据返回模块，用于读取数据完毕后，将数据返回至前端主机。

优选的，所述请求接收模块还用于接收前端主机发出的写数据请求；所述地址查找模块还用于根据分配策略确定写数据存放的光盘位置；所述控制器还包括：

数据写入模块，用于将所述写数据写入相应的光盘刻录缓冲区；

地址记录模块，用于在数据分配表中记录当前写数据在所述光盘刻录缓冲区中的物理地址；以及用于在数据分配表中记录当前写数据所在光盘的光盘标记及其内部物理地址；

光盘刻录模块，用于当满足刻录条件时，将所述光盘刻录缓冲区中的数据写入到对应光盘。

优选的，所述请求接收模块还用于接收前端主机发送的数据更新请求；所述地址查找模块还用于根据所述数据更新请求查找数据分配表，确定数据所在的物理地址；所述控制器还包括：

数据更新模块，用于若所述数据在光盘刻录缓冲区中，在光盘刻录缓冲区中所述物理地址对应位置更新数据；以及用于若所述数据在光盘上，按照所述数据写入方法将数据写入光盘，并标记数据所在原光盘中的物理地址作废。

进一步优选的，所述数据更新模块还用于检查读缓冲器中是否保存有所述数据。若存在，则在读缓存器中相应位置更新数据。

通过上述，本发明提供了一种多光盘数据并行管理技术，其中多光盘数据并行存储装置中包括有多个光盘驱动器，各个光盘驱动器可独立运行，通过并行管理数据，实现大量光盘驱动器的并发读写，提高整个光盘存储***的整体性能，增加了数据读写速度，避免浪费带宽。

本以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种多光盘数据并行管理方法，其特征在于，所述方法应用于多光盘数据并行管理装置，所述装置包括控制器，所述控制器通过存储接口连接有多个光盘驱动器，所述控制器通过主机接口连接有前端主机，所述控制器通过数据存储通道连接有存储缓冲器，所述存储缓冲器内置有数据分配表，还包括光盘刻录缓冲区和读缓存器，所述方法至少包括数据读取方法、数据写入方法、数据更新方法之一，所述控制器中设有数据存取任务队列，能够接受、处理和跟踪多个主机或是服务器的并发数据存取任务，使得上述三种方法并行执行，其中，

所述数据读取方法包括：根据读数据请求查找数据分配表确定数据所保存位置，并对应从光盘、光盘刻录缓冲区或者读缓存器中取出相应数据；

所述数据写入方法包括：根据分配策略确定写数据所存放的光盘，并将所述写数据存入相应的光盘刻录缓冲区，在数据分配表中记录写数据在光盘刻录缓冲区中的位置，将光盘刻录缓冲区中的数据刻录到光盘，同时在数据分配表中记录光盘标记及其内部物理位置；

所述数据更新方法包括：根据数据更新请求查找数据分配表确定数据所述保存位置，并对应在光盘刻录缓冲区更新数据或者在对应光盘中按照所述数据写入方法写入数据；

其中，所述数据读取方法具体包括：

接收前端主机发出的读数据请求；

根据所述读数据请求查找数据分配表，确定数据所在的物理地址；

若所述数据在光盘上，选择一个空闲光盘驱动器读取光盘上所述物理地址对应的数据；

若所述数据在光盘刻录缓冲区，从光盘刻录缓冲区中读取所述物理地址对应的数据；

若所述数据在读缓存器中，从读缓存器中读取所述物理地址对应的数据；

读取数据完毕后，将数据返回至前端主机。

2.如权利要求1所述多光盘数据并行管理方法，其特征在于，所述数据写入方法具体包括：

接收前端主机发出的写数据请求；

根据分配策略确定写数据存放的光盘位置；

将所述写数据写入相应的光盘刻录缓冲区；

在数据分配表中记录当前写数据在所述光盘刻录缓冲区中的物理地址；

当满足刻录条件时，将所述光盘刻录缓冲区中的数据写入到对应光盘；

在数据分配表中记录当前写数据所在光盘的光盘标记及其内部物理地址。

3.如权利要求1所述多光盘数据并行管理方法，其特征在于，所述数据更新方法具体包括：

接收前端主机发送的数据更新请求；

根据所述数据更新请求查找数据分配表，确定数据所在的物理地址；

若所述数据在光盘刻录缓冲区中，在光盘刻录缓冲区中所述物理地址对应位置更新数据；

若所述数据在光盘上，按照所述数据写入方法将数据写入光盘，并标记数据所在原光盘中的物理地址作废。

4.如权利要求3所述多光盘数据并行管理方法，其特征在于，所述数据更新方法还包括：

检查读缓冲器中是否保存有所述数据；若存在，则在读缓存器中相应位置更新数据。

5.一种多光盘数据并行存储装置，其特征在于，所述装置包括控制器，所述控制器通过存储接口连接有多个光盘驱动器，所述控制器通过主机接口连接有前端主机，所述控制器通过数据存储通道连接有存储缓冲器，所述存储缓冲器内置有数据分配表，还包括光盘刻录缓冲区和读缓存器，所述控制器中设有数据存取任务队列，能够接受、处理和跟踪多个主机或是服务器的并发数据存取任务，其中，

所述前端主机用于发出读数据请求、写数据请求、数据更新请求，以及用于在读数据时接收控制器返回的数据；

所述控制器用于并行相应所述前端主机发出的读数据请求、写数据请求、数据更新请求，具体用于根据读数据请求查找数据分配表确定数据所保存位置，并对应从光盘、光盘刻录缓冲区或者读缓存器中取出相应数据；以及用于接收到写数据请求后，根据分配策略确定写数据所存放的光盘，并将所述写数据存入相应的光盘刻录缓冲区，在数据分配表中记录写数据在光盘刻录缓冲区中的位置，将光盘刻录缓冲区中的数据刻录到光盘，同时在数据分配表中记录光盘标记及其内部物理位置；还用于根据数据更新请求查找数据分配表确定数据所述保存位置，并对应在光盘刻录缓冲区更新数据或者在对应光盘中按照所述数据写入方法写入数据；

所述数据分配表用于记录数据所保存的物理地址，所述物理地址包括光盘标记及其内部物理地址，以及存储缓冲器内部的物理地址；

所述光盘刻录缓冲区用于存放待写入数据，当满足刻录条件时，把光盘刻录缓冲区的数据一次性写入光盘；

所述读缓存器用于存储频繁读的数据。

6.如权利要求5所述多光盘数据并行存储装置，其特征在于，所述控制器包括：

请求接收模块，用于接收前端主机发出的读数据请求；

地址查找模块，用于根据所述读数据请求查找数据分配表，确定数据所在的物理地址；

数据读取模块，用于若所述数据在光盘上，选择一个空闲光盘驱动器读取光盘上所述物理地址对应的数据；用于若所述数据在光盘刻录缓冲区，从光盘刻录缓冲区中读取所述物理地址对应的数据；以及用于若所述数据在读缓存器中，从读缓存器中读取所述物理地址对应的数据；

数据返回模块，用于读取数据完毕后，将数据返回至前端主机。

7.如权利要求5所述多光盘数据并行存储装置，其特征在于，所述控制器包括：

请求接收模块，用于接收前端主机发出的写数据请求；

地址查找模块，用于根据分配策略确定写数据存放的光盘位置；

数据写入模块，用于将所述写数据写入相应的光盘刻录缓冲区；

地址记录模块，用于在数据分配表中记录当前写数据在所述光盘刻录缓冲区中的物理地址；以及用于在数据分配表中记录当前写数据所在光盘的光盘标记及其内部物理地址；

光盘刻录模块，用于当满足刻录条件时，将所述光盘刻录缓冲区中的数据写入到对应光盘。

8.如权利要求5所述多光盘数据并行存储装置，其特征在于，所述控制器包括：

请求接收模块，用于接收前端主机发送的数据更新请求；

地址查找模块，根据所述数据更新请求查找数据分配表，确定数据所在的物理地址；

数据更新模块，用于若所述数据在光盘刻录缓冲区中，在光盘刻录缓冲区中所述物理地址对应位置更新数据；以及用于若所述数据在光盘上，按照所述数据写入方法将数据写入光盘，并标记数据所在原光盘中的物理地址作废。

9.如权利要求8所述多光盘数据并行存储装置，其特征在于，所述数据更新模块还用于检查读缓冲器中是否保存有所述数据；若存在，则在读缓存器中相应位置更新数据。