CN103049391A - 数据处理方法、数据格式和设备 - Google Patents

Abstract

本发明公开了一种数据处理技术，可以降低重删存储介质导出到磁带库的数据量，节省磁带库的存储空间。本发明的方法包括：将重删存储介质中的数据块以及所述数据块的存储信息发送给第一目标磁带；生成所述数据块的索引与所述第一目标磁带的映射关系；将所述重删存储介质中的索引以及所述索引的存储信息发送给第二目标磁带，其中所述索引的存储信息包含所述索引的存储地址范围。

Description

数据处理方法、数据格式和设备

技术领域

本发明涉及数据备份技术领域，尤其涉及一种数据处理方法、数据格式和设备。

背景技术

为了防止数据的丢失，人们通常会将***或信息进行备份，从而把备用的数据保存到备份磁盘中。但是，对数据进行备份时不可避免的会出现重复的数据存放到备份磁盘的现象，例如多次完整备份，或增加备份等。

为了减少备份磁盘中存储重复数据造成的空间浪费，业界磁盘厂商提出了一种重复数据删除技术，利用重复数据删除技术可以删除掉备份磁盘中的重复数据。重复数据删除技术具体为：将备份到重删存储介质中的文件划分为不同大小的多个数据块，然后采用特征提取算法分别计算每个数据块的索引。将计算得到的索引进行匹配，如果有索引相同，说明这索引对应的数据块是重复的。从而可以仅保留重复数据块中的一个数据块，而删除其他的数据块，并保留全部重复的索引。最后在重删存储介质中该文件被保留成为索引的集合以及不重复的数据块的集合，其中每一个索引可以指向一个唯一不同的数据块。从而删除由于多个全备或增备数据所带来的冗余数据，节省磁盘空间。

但是，由于磁盘本身的成本较高，重删存储介质中的数据通常会导出到成本更低的磁带库中，当控制器将重删存储介质中的备份数据读取出来并发送到磁带库时，需要将重删后的数据还原为非重删数据，即恢复已删除的重复数据块，得到完整的文件，然后再将完整的文件发送到磁带库。从而造成重删存储介质导出的数据量较大，造成磁带库的存储空间浪费的问题。

发明内容

本发明的实施例提供一种数据处理方法、数据格式和设备，可以降低重删存储介质导出到磁带库的数据量，节省磁带库的存储空间。

为达到上述目的，本发明的实施例采用如下技术方案：

本发明的第一方面提供一种数据处理方法，应用于重删存储介质的控制器，所述重删存储介质中存储有多个数据块以及数据块的索引，每个数据块对应至少一个索引；该方法包括：

所述控制器将重删存储介质中的数据块以及所述数据块的存储信息发送给第一目标磁带，其中所述数据块的存储信息包含所述数据块的存储地址范围；

生成所述数据块的索引与所述第一目标磁带的映射关系；

将所述重删存储介质中的索引以及所述索引的存储信息发送给第二目标磁带，其中所述索引的存储信息包含所述索引的存储地址范围。

结合本发明的第一方面，在一种可能的实现方式中，所述生成所述数据块的索引与所述第一目标磁带的映射关系，包括：

生成所述数据块的索引与所述第一目标磁带的映射关系，并保存在所述重删存储介质中。

结合本发明的第一方面，在另一种可能的实现方式中，所述生成所述数据块的索引与所述第一目标磁带的映射关系，包括：

生成所述数据块的索引与所述第一目标磁带的映射关系，并发送给所述第二目标磁带。

结合本发明的第一方面和上述可能的实现方式，在另一种可能的实现方式中，在将数据块以及所述数据块的存储信息发送给第一目标磁带之前，还包括：

获取磁带库中各磁带的容量信息；

确定待发送的数据块的大小和索引的大小；

根据所述各磁带的容量信息和所述数据块的大小确定第一目标磁带确定所述第一目标磁带，根据所述各磁带的容量信息和所述索引的大小确定所述第二目标磁带，其中，所述第一目标磁带包括一个或多个磁带，所述第一目标磁带的容量总和大于或等于所述数据块的大小，所述第二目标磁带包括一个或多个磁带，所述第二目标磁带的容量总和大于或等于所述索引的大小。

结合本发明的第一方面和上述可能的实现方式，在另一种可能的实现方式中，所述方法还包括：

接收读取所述第二目标磁带的指示，并根据所述指示读取所述第二目标磁带；

获取所述第二目标磁带中存储的索引的存储地址范围，并从所述索引的存储地址范围中读取索引；

根据所述索引与所述第一目标磁带的映射关系，确定所述索引对应的数据块存储的第一目标磁带；

获取所述第一目标磁带中存储的数据块的存储地址范围，并从所述数据块的存储地址范围中读取数据块。

结合本发明的第一方面和上述可能的实现方式，在另一种可能的实现方式中，在根据所述各磁带的容量信息和所述数据块的大小确定第一目标磁带确定所述第一目标磁带，根据所述各磁带的容量信息和所述索引的大小确定所述第二目标磁带之后，所述方法还包括：

保存所述第一目标磁带的信息和所述第二目标磁带的信息；

在接收读取所述第二目标磁带的指示，并根据所述指示读取所述第二目标磁带之前，所述方法还包括：

根据所述第一目标磁带的信息和所述第二目标磁带的信息，确定所述第一目标磁带和所述第二目标磁带可用。

本发明的第二方面，提供一种数据格式，所述数据格式为将重删存储介质中的数据导出到磁带库后，在所述磁带库中保存的格式，

存储在第二目标磁带中的索引部分、存储在第一目标磁带中的数据块部分，以及存储在第二目标磁带或所述重删存储介质中的映射关系部分；

其中，所述索引部分包括：索引的存储地址范围和索引；

所述数据块部分包括：数据块的存储地址范围和数据块；

所述映射关系部分包括：所述索引与所述索引对应的数据块所在的磁带之间的映射关系。

本发明的第三方面，提供一种控制器，包括：

读取模块，用于从重删存储介质中读取数据块；从所述重删存储介质中读取索引；

发送模块，用于将所述读取模块读取的数据块以及所述数据块的存储信息发送给第一目标磁带，将所述读取模块读取的索引以及所述索引的存储信息发送给第二目标磁带，其中所述数据块的存储信息包含所述数据块的存储地址范围，所述索引的存储信息包含所述索引的存储地址范围；

生成模块，用于生成所述数据块的索引与所述第一目标磁带的映射关系。

结合本发明的第三方面，在一种可能的实现方式中，所述生成模块还用于：生成所述数据块的索引与所述第一目标磁带的映射关系，并保存在所述重删存储介质中。

结合本发明的第三方面，在另一种可能的实现方式中，所述生成模块还用于：生成所述数据块的索引与所述第一目标磁带的映射关系，并发送给所述第二目标磁带。

结合本发明的第三方面和上述可能的实现方式，在另一种可能的实现方式中，该控制器还包括：

获取模块，用于获取磁带库中各磁带的容量信息；

确定模块，用于确定待发送的数据块的大小和索引的大小；

磁带确定模块，用于根据所述获取模块获取的各磁带的容量信息和所述确定模块确定的数据块的大小确定第一目标磁带确定所述第一目标磁带，根据所述获取模块获取的各磁带的容量信息和所述确定模块确定的索引的大小确定所述第二目标磁带，其中，所述第一目标磁带包括一个或多个磁带，所述第一目标磁带的容量总和大于或等于所述数据块的大小，所述第二目标磁带包括一个或多个磁带，所述第二目标磁带的容量总和大于或等于所述索引的大小。

结合本发明的第三方面和上述可能的实现方式，在另一种可能的实现方式中，该控制器还包括：

第一读取模块，接收读取所述第二目标磁带的指示，并根据所述指示读取所述第二目标磁带；获取所述第二目标磁带中存储的索引的存储地址范围，并从所述索引的存储地址范围中读取索引；

第二读取模块，用于根据所述索引与所述第一目标磁带的映射关系，确定所述索引对应的数据块存储的第一目标磁带；获取所述第一目标磁带中存储的数据块的存储地址范围，并从所述数据块的存储地址范围中读取数据块。

结合本发明的第三方面和上述可能的实现方式，在另一种可能的实现方式中，该控制器还包括：

保存模块，用于在所述磁带确定模块根据所述各磁带的容量信息和所述数据块的大小确定第一目标磁带确定所述第一目标磁带，根据所述各磁带的容量信息和所述索引的大小确定所述第二目标磁带之后，保存所述第一目标磁带的信息和所述第二目标磁带的信息；

检验模块，用于在所述第一读取模块接收读取所述第二目标磁带的指示，并根据所述指示读取所述第二目标磁带之前，根据所述第一目标磁带的信息和所述第二目标磁带的信息，确定所述第一目标磁带和所述第二目标磁带可用。

本发明的第四方面，提供一种数据处理***，包括：

控制器，用于将重删存储介质中的数据块以及所述数据块的存储信息发送给第一目标磁带，其中所述数据块的存储信息包含所述数据块的存储地址范围；生成所述数据块的索引与所述第一目标磁带的映射关系；将所述重删存储介质中的索引以及所述索引的存储信息发送给第二目标磁带，其中所述索引的存储信息包含所述索引的存储地址范围；

重删存储介质，所述重删存储介质中存储有多个数据块以及数据块的索引，每个数据块对应至少一个索引；

以及磁带库，所述磁带库包括第一目标磁带和第二目标磁带。

本发明实施例提供的数据处理方法、数据格式和设备，通过将备份数据以数据块和索引的形式发送给第一目标磁带和第二目标磁带，并生成索引与该索引对应的数据块所在磁带的映射关系，与现有技术中将重删数据恢复成冗长完整的数据文件发送给磁带库相比，以重删数据的形式将数据发送给磁带库，省去了发送冗长的重复数据块，既降低了重删存储介质与磁带库之间的数据流量，也节省了磁带库的存储空间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例中提供的一种数据处理方法流程图；

图2为本发明另一实施例中提供的一种重删数据从重删存储介质导出到磁带库的流程图；

图3为本发明另一实施例中提供的一种重删数据从磁带库导入到重删存储介质的流程图；

图4为本发明另一实施例中提供的一种基于重复数据删除的数据格式的组成示意图；

图5为本发明另一实施例中提供的一种控制器的组成示意图；

图6为本发明另一实施例中提供的一种控制器的组成示意图；

图7为本发明另一实施例中提供的一种数据处理***组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明一实施例提供一种数据处理方法，如图1所示，该方法包括：

101、控制器将重删存储介质中的数据块以及所述数据块的存储信息发送给第一目标磁带，其中所述数据块的存储信息包含所述数据块的存储地址范围。

其中，所述控制器是重删存储介质的控制器，可以是计算机、存储阵列的控制***或者其他控制单元。所述重删存储介质是指采用重复数据删除技术保存数据的磁盘，在重删存储介质中保存数据的形式为重删数据。所述重删存储介质中存储有多个数据块以及数据块的索引，每个数据块对应至少一个索引。其中，在所述重删存储介质中所述数据块是唯一不重复的。重删数据为将文件保存为多个索引，以及各个索引对应的数据块，并且删除重复的数据块，使得多个相同的索引仅对应一个唯一不重复的数据块。

在本实施例中，重删存储介质中存储有数据块和索引组成的备份数据，控制器可以读取重删存储介质中的数据块和索引，并将备份数据按照索引和数据块的形式发送给磁带库，以便磁带库按照索引和数据块的形式保存备份数据，磁带库包括第一目标磁带和第二目标磁带。所述重删存储介质可以是磁盘、软盘、硬盘或者固态硬盘等，本发明实施例对此不做限定。所述磁带库可以是物理磁带库，也可以是虚拟磁带库。其中，若所述磁带库是物理磁带库，则写入到物理磁带库中的数据块和索引是按照控制器发送的数据块和索引的组织形式进行存储的。若所述磁带库是虚拟磁带库，由于不同厂商的虚拟磁带库的磁带的划分方式或者数据的组织形式可能不同，为了保证数据的一致性，从虚拟磁带库中读取的数据的组织形式必须和写入到虚拟磁带库的数据的组织形式相同。

102、生成所述数据块的索引与所述第一目标磁带的映射关系。

其中，所述数据块的索引与所述第一目标磁带的映射关系，即为所述索引与所述索引对应的数据块所在磁带的映射关系，用于确定索引对应的数据块的存储位置。

可选的，生成所述数据块的索引与所述第一目标磁带的映射关系，可以将所述映射关系保存在所述重删存储介质中，当读取索引时便可以根据所述映射关系获知该索引对应的数据块所在磁带。

可选的，生成所述数据块的索引与所述第一目标磁带的映射关系，将所述索引与所述第一目标磁带的映射关系作为索引的存储信息的一部分，与索引一起发送到第二目标磁带中；或者，所述第一目标磁带的映射关系也可以不作为所述索引的存储信息的一部分，保存到第二目标磁带中。类似的，当读取索引时便可根据该索引的存储信息中的映射关系，确定该索引对应的数据块所在磁带。

103、将所述重删存储介质中的索引以及所述索引的存储信息发送给第二目标磁带，其中所述索引的存储信息包含所述索引的存储地址范围。

需要说明的是，步骤101、102和103之间没有固定的先后顺序，可以根据实际需要调整以上步骤的先后顺序。例如，可以先发送索引和索引的存储信息，然后发送数据块和数据块的地址范围，最后生成所述索引与所述数据块所在磁带之间的映射关系。

本发明实施例提供的数据处理方法，通过将备份数据以数据块和索引的形式发送给第一目标磁带和第二目标磁带，并生成索引与该索引对应的数据块所在磁带的映射关系，与现有技术中将重删数据恢复成冗长完整的数据文件发送给磁带库相比，以重删数据的形式将数据发送给磁带库，省去了发送冗长的重复数据块，既降低了重删存储介质与磁带库之间的数据流量，也节省了磁带库的存储空间。

本发明另一实施例提供一种数据处理方法，如图2所示，重删存储介质将数据导出到磁带库的流程可以包括：

201、控制器与磁带库建立连接，并获取磁带库的磁带信息。

其中，控制器与磁带库建立连接后，进行磁带库信息的初始设置，即与磁带库进行通信，获取磁带库中的磁带信息。例如，所述磁带信息可以包括：磁带数量，磁带条码（barcode）信息，驱动器数目信息等。其中，所述磁带库的磁带信息包括磁带库中各磁带的容量信息。

202、根据待发送的数据块和索引，从所述磁带信息中确定所述第一目标磁带和所述第二目标磁带。

其中，所述根据待发送的数据块和索引，从所述磁带信息中确定所述第一目标磁带和所述第二目标磁带，具体包括：确定待发送的数据块的大小和索引的大小；根据所述各磁带的容量信息和所述数据块的大小确定第一目标磁带确定所述第一目标磁带，根据所述各磁带的容量信息和所述索引的大小确定所述第二目标磁带，其中，所述第一目标磁带包括一个或多个磁带，所述第一目标磁带的容量总和大于或等于所述数据块的大小，所述第二目标磁带包括一个或多个磁带，所述第二目标磁带的容量总和大于或等于所述索引的大小。

其中，所述数据块的大小为存储所述数据块所需占用的存储空间大小，所述索引的大小为存储所述索引所需占用存储空间的大小。根据所述待发送的数据块和索引确定所述第一目标磁带和所述第二目标磁带，包括根据重删存储介质中已保存的数据块和索引的数据量大小，或者根据用户确定的需要导出的数据块和索引的数据量的大小，从所述磁带信息中确定所述第一目标磁带和所述第二目标磁带。例如，假设磁带库中的一盘磁带的存储空间大小为200MB，重删存储介质中保存有100MB索引以及1000MB的数据块，可以选取磁带库中的任一盘磁带作为第二目标磁带，用于保存索引，将磁带库中的其他5盘磁带作为第一目标磁带，用于保存数据块。

203、保存所述第一目标磁带的信息和所述第二目标磁带的信息。

其中，可以在步骤202中确定第一目标磁带和第二目标磁带后保存所述第一目标磁带的信息和所述第二目标磁带的信息。例如，可以保存第一目标磁带的条码信息和第二目标磁带的条码信息等。这样，当需要从磁带库读取数据时，可以先判断所要读取的索引和数据块所在的第一目标磁带和第二目标磁带是否已建立连接，并且可以正常通信。

可选的，也可以在发送索引和数据块的同时更新第一目标磁带的信息和所述第二目标磁带的信息。例如，需要导出的数据块需要多盘磁带才能保存，每向一盘新磁带发送数据块时，便可以在第一目标磁带的信息中添加该新磁带的条码信息。进一步的，还可以记录哪个数据块发送到了哪盘磁带中，从而生成数据块与第一目标磁带的映射关系。类似的，还可以生成索引与第二目标磁带的映射关系。这样，每次发送数据块或索引时，均可以更新该映射关系。其中，映射关系可以用数据块的标识、索引的标识或磁带的标识信息标识表示，或者也可以直接采用索引作为标识，本发明实施例对映射关系的表示形式不做限定。

204、将重删存储介质中的数据块以及所述数据块的存储信息发送给第一目标磁带，其中所述数据块的存储信息包含所述数据块的存储地址范围。

其中，所述数据块的地址范围用于描述所述数据块的起始地址和结束地址，具体的，数据块的地址范围的描述方式可以为采用起始地址和位移的方式进行描述，或者也可以是采用起始地址和结束地址的方式进行描述，或者还可以是采用存储信息之后属于同一数据块集合的数据块的个数以及每个数据块的大小的方式进行描述，本发明实施例对地址范围的具体描述方式不做限定。

具体的，由于数据是采用二进制的方式进行保存，为了在磁带库中对不同数据块之间进行区分，可以在将数据块发送给第一目标磁带的同时，向第一目标磁带发送该数据块的存储地址范围。例如，数据块A、B和C是三个不同的数据块，将数据块A、B和C作为一个数据块卷（Block Volume），即数据块集合，可以在这三个数据块构成的集合的前面添加数据块集合的描述信息，该描述信息可以描述数据块的数量以及每个数据块的大小。例如Block Volume信息可以描述自Block Volume信息之后的2千字节是第一个数据块，即数据块A，数据块A之后的3千字节是第二数据块，即数据块B，数据块B之后的5千字节是数据块C，等等。读取完A、B和C组成的数据块集合后，将可以读取下一个数据块集合的Block Volume信息，以此类推。

205、生成所述数据块的索引与所述第一目标磁带的映射关系。

其中，生成所述数据块的索引与所述第一目标磁带的映射关系，可以将所述映射关系保存在所述重删存储介质中，当读取索引时便可以根据所述映射关系获知该索引对应的数据块所在磁带。或者，生成所述数据块的索引与所述第一目标磁带的映射关系，将所述索引与所述第一目标磁带的映射关系作为索引的存储信息的一部分，与索引一起发送到第二目标磁带中；类似的，当读取索引时便可根据该索引的存储信息中的映射关系，确定该索引对应的数据块所在磁带。

例如，所述索引与所述第一目标磁带的映射关系可以为索引与第一目标磁带的条码信息组成的映射关系表。或者，所述索引与所述第一目标磁带的映射关系也可以为与索引绑定在一起的索引存储信息，在索引的存储信息中包含第一目标磁带的条码信息。或者，将所述索引与所述第一目标磁带的映射关系可以不包含在索引的存储信息中，而是和所述索引绑定存储在第二目标磁带中，读取索引时也可以读取到所述索引与所述第一目标磁带的映射关系。

206、将所述数据块的索引以及所述索引的存储信息发送给第二目标磁带，其中所述索引的存储信息包含所述索引的存储地址范围。

其中，与步骤204中的数据块的发送形式类似，所述索引的地址范围用于描述所述索引的起始地址和结束地址，具体的，索引的地址范围的描述方式可以为采用起始地址和位移的方式进行描述，或者也可以是采用起始地址和结束地址的方式进行描述，或者还可以是采用存储信息之后属于同一数据块集合的索引的个数以及每个索引的大小的方式进行描述，本发明实施例对地址范围的具体描述方式不做限定。

具体的，为了在第二目标磁带中对不同索引之间进行区分，可以在将索引发送给第二目标磁带的同时，向第二目标磁带发送该索引的存储地址范围。例如，索引a、b和c是三个不同的索引，将索引a、b和c作为一个索引卷（IndexVolume），即索引集合，可以在这三个索引构成的集合的前面添加索引集合的描述信息，该描述信息可以描述索引的数量以及每个索引的大小。例如IndexVolume信息可以描述自Index Volume信息之后的1百字节是第一个索引，即索引a，索引a之后的2百字节是第二个索引，即索引b，索引b之后的3百字节是索引c，等等。读取完a、b和c组成的索引集合后，将可以读取下一个索引集合的Index Volume信息，以此类推。

进一步的，所述索引的存储信息还包含所述索引与所述第一目标磁带的映射关系。为了便于记录索引对应的数据块所在的磁带，可以在在将索引发送给第二目标磁带的同时，不仅向第二目标磁带发送该索引的存储地址范围，还向第二目标磁带发送该索引对应的数据块所在的磁盘信息。仍以上述索引a、b和c为例，索引a、b和c对应的数据块分别为数据块A、B和C。索引a、b和c作为一个索引集合（Index Volume）可以在这三个索引构成的集合的前面添加索引集合的描述信息，该描述信息可以描述索引的数量、每个索引的大小，以及每个索引对应的数据块所在的磁带信息。例如Index Volume信息可以描述自Index Volume信息之后的1百字节是第一个索引，即索引a，索引a之后的2百字节是第二个索引，即索引b，索引b之后的3百字节是索引c，这三个索引分别对应的数据块均保存在磁带1中。读取a、b和c组成的索引集合的同时，便可以读取磁带1中的数据块。

在本实施例中，以上描述了重删数据从重删存储介质导出到磁带库的流程，对应的，如图3所示，将数据从磁带库导入到重删存储介质的流程如下：

207、控制器与磁带库建立连接，并获取磁带库的磁带信息。

其中，控制器与磁带库建立连接后，可以与磁带库进行通信，获取当前已建立连接的磁带信息。例如，所述磁带信息可以包括：磁带数量，磁带条码（barcode）信息，驱动器数目信息等。磁带信息对应的磁带是可以进行正常通信的。

208、接收读取所述第二目标磁带和/或第一目标磁带的指示，确定需要读取的第二目标磁带和/或第一目标磁带。

其中，可以将已建立连接的磁带信息呈现给用户，由用户选择需要读取的磁带，或者也可以由用户发起读取全部磁带中的索引和数据块。

209、根据磁带库的磁带信息与所述第一目标磁带的信息和所述第二目标磁带的信息，确定所述第一目标磁带和所述第二目标磁带是否可用；若所述第一目标磁带和所述第二目标磁带均可用，则执行步骤210；若所述第一目标磁带和所述第二目标磁带不同时可用，则不进行索引和数据块的读取动作。

其中，将步骤207中获取到的磁带信息与第一目标磁带信息和第二目标磁带信息进行匹配，如果确定第一目标磁带和第二目标磁带均已与控制器建立连接，并且连接可用，则可以读取磁带中的数据了。反之，如果第一目标磁带或第二目标磁带中的任何一个磁带不可用，则可以提示用户读取错误，不再进行读取动作。

210、获取所述第二目标磁带中存储的索引的存储地址范围，并从所述索引的存储地址范围中读取所述索引。

其中，在步骤206中已经将索引和索引的存储信息保存在第二目标磁带中，这里可以从Index Volume信息中获取索引的存储地址范围，从而确定indexvolume信息之后的索引之间是如何划分的。

进一步的，如果步骤206中将索引对应的数据块所在的磁带信息也写入到Index Volume信息中，那么这里还可以从Index Volume信息中获取索引与所述第一目标磁带的映射关系。

211、根据所述索引与所述第一目标磁带的映射关系，确定所述索引对应的数据块存储的第一目标磁带。

其中，可以从保存的索引与所述第一目标磁带的映射关系表中查询得到索引对应的数据块所在的第一目标磁带信息，也可以从索引的存储信息中获取索引对应的数据块所在的第一目标磁带信息，从而从第一目标磁带中读取索引对应的数据块。

212、获取所述第一目标磁带中存储的数据块的存储地址范围，并从按照所述数据块的存储地址范围中读取数据块。

其中，步骤204中将数据块导出到磁带库时，已经在第一目标磁带中写入了数据块的存储地址范围。这里可以读取Block Volume信息中的数据的存储地址范围，从而确定数据块的划分情况，从第一目标磁带中读取数据块。

本发明实施例提供的数据处理方法，通过将备份数据以数据块和索引的形式发送给第一目标磁带和第二目标磁带，并生成索引与该索引对应的数据块所在磁带的映射关系，与现有技术中将重删数据恢复成冗长完整的数据文件发送给磁带库相比，以重删数据的形式将数据发送给磁带库，省去了发送冗长的重复数据块，既降低了重删存储介质与磁带库之间的数据流量，也节省了磁带库的存储空间。

并且，重删存储介质从磁带库中读取数据时，也可以根据索引的存储信息和数据块的存储信息分别读取索引和索引对应的数据块，减少了将数据从磁带库读取出来的数据量，提高了数据处理的效率。

本发明另一实施例提供一种数据格式，所述数据格式为将重删存储介质中的将数据导出到磁带库后，在所述磁带库中保存的数据格式，磁带库可以以该数据格式保存数据。具体的，该数据格式包括：存储在第二目标磁带中的索引部分、存储在第一目标磁带中的数据块部分和存储在第二目标磁带或所述重删存储介质中的映射关系部分。

其中，所述索引部分包括：索引的存储地址范围和索引。一个或多个索引可以构成索引集合，索引的存储地址范围可以作为索引集合的头部，描述索引集合中各索引的存储情况。

其中，所述数据块部分包括：数据块的存储地址范围和数据块。一个或多个数据块可以构成数据块集合，数据块的存储地址范围可以作为数据块集合的头部，描述数据块集合中各数据块的存储情况。

其中，所述映射关系部分包括：所述索引与所述索引对应的数据块所在的磁带之间的映射关系。该映射关系可以为包含索引以及索引对应的数据块所在的磁带的标识信息之间的映射关系表，保存在重删存储介质中或保存在磁带库中，或者还可以保存在第三方存储介质中。

进一步的，如图4所示，在所述索引部分中可以包括所述映射关系部分。具体的，将重删存储介质中的索引写入磁带时，同时写入该索引的存储信息，其中所述存储信息包括索引的存储位置和索引对应的数据块所在的磁带信息。这样，在索引集合的头部还可以描述索引对应的数据块所在的磁带信息。

本发明实施例提供的数据格式，通过标识索引的存储位置和数据块的存储位置，并保存索引对应的数据块所在的磁带信息，与现有技术中冗长完整文件的数据格式相比，可以索引和索引对应的数据块的形式保存数据，使得不支持重复数据删除技术的磁带库可以以重删数据的形式保存数据，既降低了重删存储介质与磁带库之间的数据流量，也节省了磁带库的存储空间。

本发明另一实施例提供一种控制器，应用于重删存储介质的控制器，所述重删存储介质中存储有多个数据块以及数据块的索引，每个数据块对应至少一个索引；如图5所示，该控制器包括：读取模块301、发送模块302、生成模块303。

读取模块301，用于从重删存储介质中读取数据块；从所述重删存储介质中读取索引；

发送模块302，用于将所述读取模块301读取的数据块以及所述数据块的存储信息发送给第一目标磁带，将所述读取模块301读取的索引以及所述索引的存储信息发送给第二目标磁带，其中所述数据块的存储信息包含所述数据块的存储地址范围，所述索引的存储信息包含所述索引的存储地址范围；

生成模块303，用于生成所述数据块的索引与所述第一目标磁带的映射关系。

进一步的，所述生成模块303还用于：生成所述数据块的索引与所述第一目标磁带的映射关系，并保存在所述重删存储介质中。

进一步的，所述生成模块303还用于：生成所述数据块的索引与所述第一目标磁带的映射关系，并发送给所述第二目标磁带。

进一步的，该控制器还包括：信息获取模块304、确定模块305、磁带确定模块306。

信息获取模块304，用于获取磁带库中各磁带的容量信息；

确定模块305，用于确定待发送的数据块的大小和索引的大小；

磁带确定模块306，用于根据所述信息获取模块304获取的各磁带的容量信息和所述确定模块305确定的数据块的大小确定第一目标磁带确定所述第一目标磁带，根据所述信息获取模块304获取的各磁带的容量信息和所述确定模块35确定的索引的大小确定所述第二目标磁带，其中，所述第一目标磁带包括一个或多个磁带，所述第一目标磁带的容量总和大于或等于所述数据块的大小，所述第二目标磁带包括一个或多个磁带，所述第二目标磁带的容量总和大于或等于所述索引的大小。

进一步的，该控制器还包括：第一读取模块307、第二读取模块308。

第一读取模块307，接收读取所述第二目标磁带的指示，并根据所述指示读取所述第二目标磁带；获取所述第二目标磁带中存储的索引的存储地址范围，并从所述索引的存储地址范围中读取索引；

第二读取模块308，用于根据所述索引与所述第一目标磁带的映射关系，确定所述索引对应的数据块存储的第一目标磁带；获取所述第一目标磁带中存储的数据块的存储地址范围，并从所述数据块的存储地址范围中读取数据块。

进一步的，该控制器还包括：保存模块309、检验模块310。

保存模块309，用于在所述磁带确定模块根据所述各磁带的容量信息和所述数据块的大小确定第一目标磁带确定所述第一目标磁带，根据所述各磁带的容量信息和所述索引的大小确定所述第二目标磁带之后，保存所述第一目标磁带的信息和所述第二目标磁带的信息；

检验模块310，用于在所述第一读取模块309接收读取所述第二目标磁带的指示，并根据所述指示读取所述第二目标磁带之前，根据所述第一目标磁带的信息和所述第二目标磁带的信息，确定所述第一目标磁带和所述第二目标磁带可用。

需要说明的是，本发明实施例中部分模块的具体描述可以参考方法实施例中的对应内容，本发明实施例这里不再详细赘述。

本发明实施例提供的控制器，通过将备份数据以数据块和索引的形式发送给第一目标磁带和第二目标磁带，并生成索引与该索引对应的数据块所在磁带的映射关系，与现有技术中将重删数据恢复成冗长完整的数据文件发送给磁带库相比，以重删数据的形式将数据发送给磁带库，省去了发送冗长的重复数据块，既降低了重删存储介质与磁带库之间的数据流量，也节省了磁带库的存储空间。

发明另一实施例提供一种控制器，应用于重删存储介质的控制器，所述重删存储介质中存储有多个数据块以及数据块的索引，每个数据块对应至少一个索引；如图6所示，该控制器包括：发送器41、处理器42。

发送器41，用于将重删存储介质中的数据块以及所述数据块的存储信息发送给第一目标磁带，其中所述数据块的存储信息包含所述数据块的存储地址范围；

处理器42，用于生成所述数据块的索引与所述第一目标磁带的映射关系；

所述发送器41，还用于将所述重删存储介质中的索引以及所述索引的存储信息发送给第二目标磁带，其中所述索引的存储信息包含所述索引的存储地址范围。

进一步的，所述发送器41还用于，将所述处理器42生成的所述数据块的索引与所述第一目标磁带的映射关系保存在所述重删存储介质中。

进一步的，所述发送器41还用于，将所述处理器42生成的所述数据块的索引与所述第一目标磁带的映射关系发送给所述第二目标磁带。

进一步的，该控制器还包括：接收器43。

接收器43，用于获取磁带库中各磁带的容量信息；

所述处理器42，还用于确定待发送的数据块的大小和索引的大小；根据所述各磁带的容量信息和所述数据块的大小确定第一目标磁带确定所述第一目标磁带，根据所述各磁带的容量信息和所述索引的大小确定所述第二目标磁带，其中，所述第一目标磁带包括一个或多个磁带，所述第一目标磁带的容量总和大于或等于所述数据块的大小，所述第二目标磁带包括一个或多个磁带，所述第二目标磁带的容量总和大于或等于所述索引的大小。

进一步的，所述接收器43，还用于接收读取所述第二目标磁带的指示，并根据所述指示读取所述第二目标磁带；获取所述第二目标磁带中存储的索引的存储地址范围，并从所述索引的存储地址范围中读取索引；

所述处理器42，还用于根据所述索引与所述第一目标磁带的映射关系，确定所述索引对应的数据块存储的第一目标磁带；

所述接收器43，还用于获取所述第一目标磁带中存储的数据块的存储地址范围，并从所述数据块的存储地址范围中读取数据块。

进一步的，该控制器还包括：存储器44。

所述存储器44，用于在根据所述各磁带的容量信息和所述数据块的大小确定第一目标磁带确定所述第一目标磁带，根据所述各磁带的容量信息和所述索引的大小确定所述第二目标磁带之后，保存所述第一目标磁带的信息和所述第二目标磁带的信息；

所述处理器42，还用于在所述接收器43接收读取所述第二目标磁带的指示，并根据所述指示读取所述第二目标磁带之前，根据所述存储器44中存储的第一目标磁带的信息和所述第二目标磁带的信息，确定所述第一目标磁带和所述第二目标磁带可用。

本发明实施例提供的控制器，通过将备份数据以数据块和索引的形式发送给第一目标磁带和第二目标磁带，并生成索引与该索引对应的数据块所在磁带的映射关系，与现有技术中将重删数据恢复成冗长完整的数据文件发送给磁带库相比，以重删数据的形式将数据发送给磁带库，省去了发送冗长的重复数据块，既降低了重删存储介质与磁带库之间的数据流量，也节省了磁带库的存储空间。

发明另一实施例提供一种数据处理***，如图7所示，包括：控制器51、重删存储介质52和磁带库53。

其中，所述控制器51，用于将重删存储介质52中的数据块以及所述数据块的存储信息发送给磁带库53的第一目标磁带，其中所述数据块的存储信息包含所述数据块的存储地址范围；生成所述数据块的索引与所述第一目标磁带的映射关系；将所述重删存储介质52中的索引以及所述索引的存储信息发送给磁带库53的第二目标磁带，其中所述索引的存储信息包含所述索引的存储地址范围。

所述重删存储介质52中存储有多个数据块以及数据块的索引，每个数据块对应至少一个索引；

所述磁带库53包括第一目标磁带和第二目标磁带。

本发明实施例提供的数据处理***，通过将备份数据以数据块和索引的形式发送给第一目标磁带和第二目标磁带，并生成索引与该索引对应的数据块所在磁带的映射关系，与现有技术中将重删数据恢复成冗长完整的数据文件发送给磁带库相比，以重删数据的形式将数据发送给磁带库，省去了发送冗长的重复数据块，既降低了重删存储介质与磁带库之间的数据流量，也节省了磁带库的存储空间。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种数据处理方法，应用于重删存储介质的控制器，所述重删存储介质中存储有多个数据块以及数据块的索引，每个数据块对应至少一个索引；其特征在于，该方法包括：

所述控制器将重删存储介质中的数据块以及所述数据块的存储信息发送给第一目标磁带，其中所述数据块的存储信息包含所述数据块的存储地址范围；

生成所述数据块的索引与所述第一目标磁带的映射关系；

将所述重删存储介质中的索引以及所述索引的存储信息发送给第二目标磁带，其中所述索引的存储信息包含所述索引的存储地址范围。

2.根据权利要求1所述的数据处理方法，其特征在于，所述生成所述数据块的索引与所述第一目标磁带的映射关系，包括：

生成所述数据块的索引与所述第一目标磁带的映射关系，并保存在所述重删存储介质中。

3.根据权利要求1所述的数据处理方法，其特征在于，所述生成所述数据块的索引与所述第一目标磁带的映射关系，包括：

生成所述数据块的索引与所述第一目标磁带的映射关系，并发送给所述第二目标磁带。

4.根据权利要求1所述的数据处理方法，其特征在于，在将数据块以及所述数据块的存储信息发送给第一目标磁带之前，还包括：

获取磁带库中各磁带的容量信息；

确定待发送的数据块的大小和索引的大小；

根据所述各磁带的容量信息和所述数据块的大小确定第一目标磁带确定所述第一目标磁带，根据所述各磁带的容量信息和所述索引的大小确定所述第二目标磁带，其中，所述第一目标磁带包括一个或多个磁带，所述第一目标磁带的容量总和大于或等于所述数据块的大小，所述第二目标磁带包括一个或多个磁带，所述第二目标磁带的容量总和大于或等于所述索引的大小。

5.根据权利要求4所述的数据处理方法，其特征在于，所述方法还包括：

接收读取所述第二目标磁带的指示，并根据所述指示读取所述第二目标磁带；

获取所述第二目标磁带中存储的索引的存储地址范围，并从所述索引的存储地址范围中读取索引；

根据所述索引与所述第一目标磁带的映射关系，确定所述索引对应的数据块存储的第一目标磁带；

获取所述第一目标磁带中存储的数据块的存储地址范围，并从所述数据块的存储地址范围中读取数据块。

6.根据权利要求5所述的数据处理方法，其特征在于，

在根据所述各磁带的容量信息和所述数据块的大小确定第一目标磁带确定所述第一目标磁带，根据所述各磁带的容量信息和所述索引的大小确定所述第二目标磁带之后，所述方法还包括：

保存所述第一目标磁带的信息和所述第二目标磁带的信息；

在接收读取所述第二目标磁带的指示，并根据所述指示读取所述第二目标磁带之前，所述方法还包括：

根据所述第一目标磁带的信息和所述第二目标磁带的信息，确定所述第一目标磁带和所述第二目标磁带可用。

7.一种数据格式，所述数据格式为将重删存储介质中的数据导出到磁带库后，在所述磁带库中保存的格式，其特征在于，

存储在第二目标磁带中的索引部分、存储在第一目标磁带中的数据块部分，以及存储在第二目标磁带或所述重删存储介质中的映射关系部分；

其中，所述索引部分包括：索引的存储地址范围和索引；

所述数据块部分包括：数据块的存储地址范围和数据块；

所述映射关系部分包括：所述索引与所述索引对应的数据块所在的磁带之间的映射关系。

8.一种控制器，其特征在于，包括：

读取模块，用于从重删存储介质中读取数据块；从所述重删存储介质中读取索引；

发送模块，用于将所述读取模块读取的数据块以及所述数据块的存储信息发送给第一目标磁带，将所述读取模块读取的索引以及所述索引的存储信息发送给第二目标磁带，其中所述数据块的存储信息包含所述数据块的存储地址范围，所述索引的存储信息包含所述索引的存储地址范围；

生成模块，用于生成所述数据块的索引与所述第一目标磁带的映射关系。

9.根据权利要求8所述的控制器，其特征在于，所述生成模块还用于：生成所述数据块的索引与所述第一目标磁带的映射关系，并保存在所述重删存储介质中。

10.根据权利要求8所述的控制器，其特征在于，所述生成模块还用于：生成所述数据块的索引与所述第一目标磁带的映射关系，并发送给所述第二目标磁带。

11.根据权利要求8所述的控制器，其特征在于，还包括：

信息获取模块，用于获取磁带库中各磁带的容量信息；

确定模块，用于确定待发送的数据块的大小和索引的大小；

磁带确定模块，用于根据所述信息获取模块获取的各磁带的容量信息和所述确定模块确定的数据块的大小确定第一目标磁带确定所述第一目标磁带，根据所述获取模块获取的各磁带的容量信息和所述确定模块确定的索引的大小确定所述第二目标磁带，其中，所述第一目标磁带包括一个或多个磁带，所述第一目标磁带的容量总和大于或等于所述数据块的大小，所述第二目标磁带包括一个或多个磁带，所述第二目标磁带的容量总合大于或等于所述索引的大小。

12.根据权利要求11所述的控制器，其特征在于，还包括：

第一读取模块，接收读取所述第二目标磁带的指示，并根据所述指示读取所述第二目标磁带；获取所述第二目标磁带中存储的索引的存储地址范围，并从所述索引的存储地址范围中读取索引；

第二读取模块，用于根据所述索引与所述第一目标磁带的映射关系，确定所述索引对应的数据块存储的第一目标磁带；获取所述第一目标磁带中存储的数据块的存储地址范围，并从所述数据块的存储地址范围中读取数据块。

13.根据权利要求12所述的控制器，其特征在于，还包括：

保存模块，用于在所述磁带确定模块根据所述各磁带的容量信息和所述数据块的大小确定第一目标磁带确定所述第一目标磁带，根据所述各磁带的容量信息和所述索引的大小确定所述第二目标磁带之后，保存所述第一目标磁带的信息和所述第二目标磁带的信息；

检验模块，用于在所述第一读取模块接收读取所述第二目标磁带的指示，并根据所述指示读取所述第二目标磁带之前，根据所述第一目标磁带的信息和所述第二目标磁带的信息，确定所述第一目标磁带和所述第二目标磁带可用。

14.一种数据处理***，其特征在于，包括：

如权利要求8-13中任一项所述的控制器；

重删存储介质，所述重删存储介质中存储有多个数据块以及数据块的索引，每个数据块对应至少一个索引；

以及磁带库，所述磁带库包括第一目标磁带和第二目标磁带。

Images