CN105700817A - 一种磁盘簇jbod装置 - Google Patents

Abstract

本发明实施例公开了一种磁盘簇JBOD装置，用于在不影响外部存储控制器的性能的条件下，使用传统硬盘提供基于KV格式的存储访问。本发明实施例的JBOD装置的级联板中包含有CPU，该CPU将对硬盘的硬盘块访问格式转换为KV存储格式，对外提供KV访问接口。

Description

一种磁盘簇JBOD装置

技术领域

本发明涉及存储领域，尤其涉及一种磁盘簇JBOD装置。

背景技术

JBOD是存储领域中一类重要的存储设备。JBOD(JustaBunchOfDisks，磁盘簇)是在一个底板上安装的带有多个磁盘驱动器的存储设备。传统的JBOD对上呈现为单个硬盘，由上层软件对其进行管理和使用。应用软件对其进行访问的时候必须通过上层软件，无法直接访问。

图1示意性的展示了传统JBOD的组成与应用方式。存储控制器通过串行连接SCSI接口(SerialAttachedSCSI，SAS)主机总线适配器(HostBusAdapter，HBA)直接管理JBOD上的存储介质，将介质以块BLOCK及BLOCK的组合为单位向应用程序呈现，任何对介质的访问都必须经过存储控制器。在图1所示的JBOD装置100中，包含级联板101，提供对外的接口(通常为SAS或光纤通道技术接口(FibreChannel，FC))，可以连接到存储控制器105，或者链接更多的JBOD形成JBOD的多级级联。级联板同时提供介质接口(通常为SAS或FC)用于连接本地存储介质103(如SAS接口的HDD和SSD)。级联板通常使用SAS扩展芯片104，以便有足够的SAS或FC接口数量连接存储介质或级联JBOD。SAS扩展芯片仅完成接口数量的扩展，不会对数据做任何处理。

随着大数据的兴起，基于关键值的存储访问方式(Key-value，KV)的分布式存储***因其查询速度快、容量大，支持高并发等特性得到了广泛的应用，也带动了以KV为组织形式的数据格式的大量应用。而目前主要实现方式都是在现有的存储控制器上运行Block到KV的协议转换。如图1中，在存储控制器105中的中央处理器(CentralProcessingUnit，CPU)上运行Block到KV的协议转换，将传统存储设备转换为支持KV访问的设备。

然而，在实际应用中，存储控制器上需要运行大量的数据处理、元数据管理甚至文件***的功能，在该存储控制器中的处理器上做协议转换，会消耗大量的存储控制器的处理器资源，将显著影响***其他功能的执行，降低***效率。

发明内容

本发明实施例提供了一种磁盘簇JBOD装置，用于在不影响外部存储控制器的性能的条件下，使用传统硬盘提供基于KV格式的存储访问。

本发明实施例第一方面提供了一种磁盘簇JBOD装置，包括：

级联板和硬盘；

所述级联板向外提供关键值的存储访问方式KV访问接口，对内连接所述硬盘；

所述级联板中包括中央处理器CPU；

所述CPU用于，将对所述硬盘的硬盘块访问格式转换为KV存储格式。

结合本发明实施例的第一方面，本发明实施例第一方面的第一种实现方式中，所述KV访问接口包括以太网接口、Infiniband接口、SAS接口或PCIe接口中的至少一个。

结合本发明实施例第一方面的第一种实现方式，本发明实施例第一方面的第二种实现方式中，所述级联板中还包括扩展芯片，所述扩展芯片用于增加所述级联板的接口数目。

结合本发明实施例第一方面的第二种实现方式，本发明实施例第一方面的第三种实现方式中，所述级联板的数目为多个。

结合本发明实施例第一方面的第三种实现方式，本发明实施例第一方面的第四种实现方式中，所述硬盘的接口类型为串行连接SCSI接口SAS、串行高级技术附件接口SATA或近线串行连接SCSI接口NL-SAS。

结合本发明实施例第一方面的第二种实现方式，本发明实施例第一方面的第五种实现方式中，所述级联板的数目为一个。

结合本发明实施例第一方面的第五种实现方式，本发明实施例第一方面的第六种实现方式中，所述硬盘的接口类型为SATA。

结合本发明实施例的第一方面至的第一方面的第六种实现方式中任一种实现方式，本发明实施例第一方面的第七种实现方式中，所述CPU还用于，进行KV读写访问操作。

结合本发明实施例第一方面的第七种实现方式，本发明实施例第一方面的第八种实现方式中，所述CPU还用于，驱动所述KV访问接口和所述硬盘。

从以上技术方案可以看出，本发明实施例具有以下优点：本发明实施例的JBOD装置的级联板中包含有CPU，该CPU将对硬盘的硬盘块访问格式转换为KV存储格式，对外提供KV访问接口，这样，不再需要存储控制器对存储设备进行协议转换，JBOD装置可以直接提供KV访问，避免了存储器控制器因协议转换而消耗性能，影响其他功能的运行，提高了存储控制器的处理效率，实现了在不影响外部存储控制器的性能的条件下，使用传统硬盘提供基于KV格式的存储访问。

附图说明

图1为传统JBOD装置一个结构示意图；

图2为本发明实施例中JBOD装置一个结构示意图；

图3为本发明实施例JBOD装置的中央处理器一个功能模块示意图；

图4为本发明实施例中JBOD装置另一个结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图2，本发明实施例中一种磁盘簇JBOD装置200一个实施例包括：

级联板201和硬盘202；

所述级联板201向外提供关键值的存储访问方式KV访问接口，对内连接所述硬盘202；

所述级联板201中包括中央处理器CPU2011；

所述CPU2011用于，将对所述硬盘202的硬盘块访问格式转换为KV存储格式。

可以理解的是，该硬盘数目可以为一个，也可以为多个，在实际应用中，JBOD装置中安装的硬盘一般为多个。

本发明实施例的JBOD装置的级联板201中包含有CPU2011，该CPU2011将对硬盘202的硬盘块访问格式转换为KV存储格式，对外提供KV访问接口，这样，不再需要存储控制器对存储设备进行协议转换，JBOD装置可以直接提供KV访问，避免了存储器控制器因协议转换而消耗性能，影响其他功能的运行，提高了存储控制器的处理效率，实现了在不影响外部存储控制器的性能的条件下，使用传统硬盘提供基于KV格式的存储访问。

可以理解的是，由于级联板201中的CPU2011将硬盘202的硬盘块访问格式转换为KV存储格式，因此该级联板201可以使用任意的接口向外提供KV访问，即该KV访问接口的种类可以有很多种，例如可以包括以太网接口、Infiniband接口、SAS接口或PCIe接口等，还可以包括另外的很多接口，此处不作限定。而不再与传统JBOD装置一样，受限于硬盘块访问格式，而只能通过SAS接口的电缆与存储控制器连接，解决了由于传统SAS电缆的长度受限，JBOD装置只能放在存储控制器边上，对数据中心而言，缺乏设备布局的灵活性的问题。

可选的，当该CPU2011自带的接口不足以满足JBOD装置带盘能力的要求时，可以在级联板201上增加扩展芯片2012，该扩展芯片2012用于增加该级联板201的接口数目，该扩展芯片2012与CPU2011相连，可以扩展CPU2011的接口数目。

可以理解的是，该CPU2011不仅进行协议转换，而且还可以驱动所述KV访问接口和所述硬盘，进一步的，还可以进行KV读写访问操作。

具体的，请参阅图3，作为本发明的另一个实施例，该CPU2011中具体可以包括如下功能模块：

存储接口驱动模块301：用于驱动JBOD装置所使用的普通SAS、SATA、NL-SAS硬盘或者PCIe、NVMe接口的SSD硬盘，提供正确的底层访问操作。

协议转换模块302：用于完成KV存储格式与传统硬盘块访问格式之间的转换，可以支持标准或用户自定义的转换方式。

KV存储操作模块303：主要完成KV读写操作访问，包括KV索引数据的管理等。由该KV存储操作模块303完成KV存储主要的数据操作。

网络接口驱动模块304：用于驱动用户侧的各种网络接口，可以根据成本、性能、组网方式等选用不同的网络接口，如以太网、Infiniband、PCIe等。

该JBOD装置上下电的具体运行过程可以为：

***上电后首先完成JBOD装置的自检与初始化，如初始化网络、存储控制器等。如果JBOD装置第一次上电，则根据标准或自定义的方式，将传统硬盘的块格式转换为KV格式，生成KV访问索引。如果之前已经完成KV格式转换且KV索引被正常保存，则恢复原有索引，继续对外提供读写服务。

当使用SAS等双端口硬盘时，可以使用双引擎的方式，提供更加可靠的复位。此时，需要为两个引擎之间提供同步通道，保证两个引擎的KV索引保持一致。这样，在任一控制器失效的情况下，不会中断对外服务。当某一引擎的KV数据保存失败无法正常恢复的情况下，还可以通过另一个控制器中的KV索引来恢复***服务，大大提升了***的可靠性与可用性。

当***下电时(包括检测到电源异常时)，***首先关闭对外网络接口，不再对外提供服务。同时***将KV引擎固化到非易失性存储介质(如Flash或者装置中的硬盘)，确保***下次能正常启动。

KV索引的固化方式取决于所使用的介质，如果KV索引保存，且对齐的读写操作都在flash中，则下电操作相对比较简单，正常或异常的上下电都不会造成数据丢失。如果运行在处理器的内存中，则需要采用合适的备电方式，方便下电时将KV索引固化到非易失性介质中。

需要说明的是，根据不同的应用场景的实际应用需求，例如根据连接硬盘的数目，硬盘接口类型的选择，成本以及可靠性的考量等，JBOD装置中该级联板201的数目可以为多个，也可以为一个。

结合图2，作为本发明实施例中JBOD装置另一个实施例，对上述JBOD装置中只存在一个级联板201进行描述：

本实施例中，该硬盘202的接口类型为SATA，即为SATA硬盘。

该级联板201提供了从SATA硬盘访问到KV访问的格式转换并对外提供读写操作服务。

本实施例中，由于使用了SATA盘，因此级联板201也只需要一个，能节省大量成本。

请参阅图4，作为本发明实施例中JBOD装置另一个实施例，以JBOD装置中包括有两个级联板为例，对存在多个级联板进行描述：

本实施例中，JBOD装置400中包含有级联板401和级联板402；级联板401中包括有CPU4011，扩展芯片4012；级联板402中包括有CPU4021，扩展芯片4022，还包括有硬盘403。

该硬盘403的接口类型为串行连接SCSI接口SAS、串行高级技术附件接口SATA或近线串行连接SCSI接口NL-SAS，该硬盘403为双端口硬盘。

本实施例中，采用多个级联板连接双端口硬盘，极大的提高了KV访问的可靠性，两个级联板连接的存储控制器可以互相作为备份。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种磁盘簇JBOD装置，其特征在于，包括：

级联板和硬盘；

所述级联板向外提供关键值的存储访问方式KV访问接口，对内连接所述硬盘；

所述级联板中包括中央处理器CPU；

所述CPU用于，将对所述硬盘的硬盘块访问格式转换为KV存储格式。

2.根据权利要求1所述的装置，其特征在于，所述KV访问接口包括以太网接口、Infiniband接口、SAS接口或PCIe接口中的至少一个。

3.根据权利要求2所述的装置，其特征在于，所述级联板中还包括扩展芯片，所述扩展芯片用于增加所述级联板的接口数目。

4.根据权利要求3所述的装置，其特征在于，所述级联板的数目为多个。

5.根据权利要求4所述的装置，其特征在于，所述硬盘的接口类型为串行连接SCSI接口SAS、串行高级技术附件接口SATA或近线串行连接SCSI接口NL-SAS。

6.根据权利要求3所述的装置，其特征在于，所述级联板的数目为一个。

7.根据权利要求6所述的装置，其特征在于，所述硬盘的接口类型为SATA。

8.根据权利要求1至7所述的装置，其特征在于，所述CPU还用于，进行KV读写访问操作。

9.根据权利要求8所述的装置，其特征在于，所述CPU还用于，驱动所述KV访问接口和所述硬盘。