CN109085997A - 用于非易失性存储器的存储器高效持续键值储存 - Google Patents

用于非易失性存储器的存储器高效持续键值储存 Download PDF

Info

Publication number
CN109085997A
CN109085997A CN201810605810.8A CN201810605810A CN109085997A CN 109085997 A CN109085997 A CN 109085997A CN 201810605810 A CN201810605810 A CN 201810605810A CN 109085997 A CN109085997 A CN 109085997A
Authority
CN
China
Prior art keywords
kvs
order
key
key assignments
ssd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810605810.8A
Other languages
English (en)
Other versions
CN109085997B (zh
Inventor
A.德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Western Digital Technologies Inc
Original Assignee
Western Digital Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Western Digital Technologies Inc filed Critical Western Digital Technologies Inc
Publication of CN109085997A publication Critical patent/CN109085997A/zh
Application granted granted Critical
Publication of CN109085997B publication Critical patent/CN109085997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/24569—Query processing with adaptation to specific hardware, e.g. adapted for using GPUs or SSDs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的方面提供了用于固态装置(SSD)的存储器高效持续键值储存。该方法和设备提供了非易失性存储器(NVM)和键值储存(KVS)处理器。非易失性存储器(NVM)配置为储存键值数据结构。KVS处理器配置为从主机接收键值储存(KVS)命令。KVS处理器还配置为基于接收的KVS命令对键值数据结构进行键值储存(KVS)操作。进行键值储存(KVS)操作可以包括使用索引结构来基于接收的KVS命令处理键值数据结构。KVS处理器还配置为基于KVS操作将响应提供给主机。

Description

用于非易失性存储器的存储器高效持续键值储存
相关申请的交叉引用
本申请要求于2017年6月13日提交的代理人案卷号No.SDA-3265P-US(WDT-1209P)的标题为“MEMORY EFFICIENT PERSISTENT KEY-VALUE STORE FOR NON-VOLATILEMEMORIES”的美国临时申请No.62/519,094的优先权和权益，其全部内容通过引用并入本文。
技术领域
本发明涉及非易失性存储器，并且更具体地，涉及用于非易失性存储器的存储器高效持续键值储存。
背景技术
键值储存(Key-value store，KVS)通常用于各种大规模数据密集型的数据库应用中。由于其高可扩展性和简单性，这些数据库应用对大数据集(dataset)具有随机存取，并且选择键值储存而不是常规的关系型数据库(relational database)。已经对基于闪存的KVS完成了若干研究工作，以利用闪存特性来提高性能并减少主机的主存储器的使用。这些KVS工作在闪存中保存键值(KV)对并且在主存储器(例如，动态随机存取存储器或DRAM)中保存索引结构(或每KV对的元数据)，以支持快速***、删除和查找操作。然而，随着数字数据量每两年翻一倍并且于2020年接近44泽字节(44万亿千兆字节)，KVS的性能仍然受限于大输入/输出(I/O)开销(闪存大约比DRAM慢100倍)和主存储器大小。
与快速增长的键值(KV)数据集相比，由于DRAM容量增长相对缓慢，主存储器大小在可扩展性和性能上带来具有挑战性的问题。已经观察到，由于对不同KV工作负载的增加的I/O开销(由于散列列表冲突导致的储存中链接列表遍历)所导致的超过10至250倍的减速。
新兴的快速字节可寻址非易失性存储器(eNVM)技术(诸如ReRAM和3D Xpoint)预计将提供比闪存高两个数量级的性能。然而，现有的固态装置(SSD)架构对闪存特性进行了优化，并且由于架构和I/O接口(例如，PCIe、SATA)限制而不足以充分利用eNVM的全部潜力。
为了改善储存性能并降低KVS的主机主存储器需求，提出了一种改善的SSD架构，其在处理大规模键值数据集时提供了更好的性能。
发明内容
根据一个方面，公开了包括非易失性存储器(NVM)和键值储存(KVS)处理器的固态装置(SSD)。非易失性存储器(NVM)配置为储存键值数据结构。KVS处理器配置为从主机接收键值储存(KVS)命令。KVS处理器还配置为基于接收的KVS命令对键值数据结构进行键值储存(KVS)操作。进行键值储存(KVS)操作可以包括使用索引结构来基于接收的KVS命令处理键值数据结构。KVS处理器还配置为基于KVS操作将响应提供给主机。
根据另一个方面，公开了一种用于操作固态装置(SSD)的方法。该方法在SSD的非易失性存储器(NVM)处储存键值数据结构。该方法从主机接收键值储存(KVS)命令。该方法在SSD处基于接收的KVS命令识别索引结构的条目。该方法基于识别的条目从键值数据结构识别键值数据的组。该方法在SSD处基于接收的KVS命令处理来自键值数据的识别的组的一个或多个键值数据。该方法基于对一个或多个键值数据的处理来将响应提供给主机。
根据另一个方面，公开了一种用于操作固态装置(SSD)的设备。该设备包括用于键值数据结构的非易失性储存的构件和用于键值储存(KVS)处理的构件。用于键值储存(KVS)处理的构件包括用于从主机接收键值储存(KVS)命令的构件、用于基于接收的KVS命令对键值数据结构进行键值储存(KVS)操作的构件、以及用于基于KVS操作将响应提供给主机的构件。用于进行键值储存(KVS)操作的构件包括基于KVS命令生成散列值。
附图说明
图1图示了根据本公开的实施例的包括键值储存(KVS)处理器的固态装置(SSD)的框图。
图2图示了根据本公开的实施例的键值储存(KVS)处理器的框图。
图3图示了根据本公开的实施例的在主机和固态装置(SSD)之间的装置架构的图。
图4图示了根据本公开的实施例的在主机和固态装置(SSD)之间的具有若干线程的装置架构的图。
图5图示了根据本公开的实施例的用于由固态装置(SSD)处理来自主机的键值储存(KVS)命令的方法的流程序列图。
图6图示了根据本公开的实施例的用于由固态装置(SSD)处理来自主机的非键值储存(KVS)命令的方法的流程序列图。
图7(其包括图7A-7C)图示了根据本公开的实施例的由固态装置(SSD)进行来自主机的GET命令的序列图。
图8(其包括图8A-8B)图示了根据本公开的实施例的由固态装置(SSD)进行来自主机的PUT命令的序列图。
图9(其包括图9A-9C)图示了根据本公开的实施例的由固态装置(SSD)进行来自主机的另一个PUT命令的序列图。
图10(其包括图10A-10C)图示了根据本公开的实施例的由固态装置(SSD)进行来自主机的DELETE命令的序列图。
图11图示了根据本公开的实施例的用于由固态装置(SSD)处理来自主机的各种命令的方法的示例性流程图。
图12图示了根据本公开的实施例的用于由固态装置(SSD)处理来自主机的键值储存(KVS)命令的示例性流程图。
具体实施方式
本公开提供了包括非易失性存储器(NVM)和键值储存(KVS)处理器的固态装置(SSD)。非易失性存储器(NVM)配置为储存键值数据结构。KVS处理器配置为从主机接收键值储存(KVS)命令。键值储存(KVS)命令的示例包括GET命令、PUT命令和DELETE命令。KVS处理器还配置为基于接收的KVS命令对键值数据结构进行键值储存(KVS)操作。进行键值储存(KVS)操作可以包括使用索引结构来基于接收的KVS命令处理键值数据结构。KVS处理器还配置为基于KVS操作将响应提供给主机。
对KVS处理的其他方法主要使用缓存和高效的索引方案来改善性能并减少I/O开销，而所公开的固态装置(SSD)可以将键值数据和索引结构保存在SSD中，因此减少发送到主机的键值数据量。此外，所公开的方法可以将键值储存操作卸载到SSD，以利用NVM的低时延、高内部带宽以及跨多个控制器的并行性。所公开的SSD可以实现SSD内的索引能力，并且具有实现诸如GET、PUT和DELETE的键值操作的储存中处理引擎(例如，KVS处理器)，以对键值(KV)数据集进行高效操作。
图1图示了包括具有键值储存(KVS)处理功能的固态装置(SSD)的***100的框图。***100包括固态装置(SSD)102和主机104。SSD 102是储存装置(例如，SSD储存装置)。SSD102通过一个或多个互连106耦接到主机104。一个或多个互连106在SSD 102和主机104之间提供了物理输入/输出(I/O)数据连接。在SSD 102和主机104之间行进的数据可以称为I/O开销。数据可以包括指令、命令和/或响应。
主机104可以是具有对数据储存或取回的需求和用于与SSD 102通信的兼容接口的任何***和/或装置。例如，主机104可以是计算装置、个人计算机、便携式计算机、工作站、服务器、路由器、网络装置、个人数字助理、数字相机、数字电话或其组合。主机104可以包括若干主机。主机104可以是与SSD 102分开(例如，物理分开)的装置。在一些实施例中，主机104包括SSD 102。在其他实施例中，SSD 102相对于主机104是远程的，或者被包含在与主机104通信耦接的远程计算***中。例如，主机104可以通过无线通信链路与SSD 102通信。
主机104将命令提供给SSD 102，用于在主机104和SSD 102之间传输数据。例如，主机104可以将写入命令提供给SSD 102，用于将数据写入到SSD 102，或者主机可以将读取命令提供给SSD 102，用于从SSD 102读取数据。SSD 102可以通过一个或多个互连106将对写入命令或读取命令的响应提供给主机104。如将在以下进一步描述的，SSD 102能够处理不同类型的命令，包括来自主机104的键值储存(KVS)命令和非键值储存(KVS)命令。KVS命令和非KVS命令在以下进一步描述。
SSD储存装置102包括主机接口110、桥接器112、缓冲器114、交叉开关(cross bar)116、键值储存(KVS)处理器118、处理器120(或替代地，NVM处理器120)、随机存取存储器(RAM)122、非易失性存储器(NVM)接口124(其还可以称为闪速存储器接口)、以及非易失性存储器(NVM)126(诸如，NAND闪速存储器)。
主机接口110经由桥接器112和交叉开关116耦接到处理器120。注意到，主机接口110可以以不同方式耦接到处理器120。例如，主机接口110可以直接耦接到处理器120。在另一个示例中，主机接口110可以经由桥接器120耦接到处理器120，而不需要耦接到交叉开关116。主机接口110便于在主机104和SSD 102的其他组件(诸如处理器120和/或KVS处理器118)之间的通信。主机接口110可以是任何类型的通信接口，诸如集成驱动器电子设备(IDE)接口、通用串行总线(USB)接口、串行外设(SP)接口、高级技术附件(ATA)或串行高级技术附件(SATA)接口、小型计算机***接口(SCSI)、IEEE 1394(火线)接口等。
桥接器112经由缓冲器114耦接到键值储存(KVS)处理器118。在一些实现方式中，桥接器112可以是主机接口110的部分。缓冲器114帮助管理KVS处理器118和桥接器112之间的数据流。KVS处理器118经由交叉开关116耦接到处理器120。KVS处理器118可以表示一个或多个KVS处理器。在一些实现方式中，KVS处理器118耦接到处理器120，而不经过交叉开关116。交叉开关116帮助管理在KVS处理器118和处理器120之间行进的数据流，以及桥接器112和处理器120之间的数据流。SSD 102的各种组件可以通过使用通信协议(例如，高级可扩展接口(AXI)协议)彼此通信。在一些实现方式中，交叉开关116可以是桥接器112的部分。
桥接器112配置为确定来自(经由主机接口110)主机104的命令是KVS命令还是非KVS命令。当该命令是非KVS命令时，桥接器112可以经由交叉开关116将该命令指引或发送到处理器120。当该命令是KVS命令时，桥接器112可以将该命令指引或发送到KVS处理器118。KVS命令由KVS处理器118进行处理，并且处理的KVS命令然后被指引或发送到处理器120。KVS命令的示例包括GET命令、PUT命令和DELETE命令。处理KVS命令的示例在以下至少图2、5、7A-7C、8A-8B、9A-9C和10A-10C中进一步描述。因此，SSD 102提供的一个功能是处理不同类型的命令的能力。这使得SSD 102能够操作除了SSD之外的宽范围的装置、***、主机和/或应用，并且与之一起工作。此外，在SSD处处理键值数据的能力减少了主机和SSD之间的I/O开销，因此加速了SSD的总体性能。
处理器120经由NVM接口124耦接到RAM存储器122以及NVM 126。处理器120控制SSD102的操作。在各种方面中，处理器120通过主机接口110从主机104接收命令，并且进行命令(例如，KVS命令、非KVS命令)，以在主机104和NVM 126之间传输数据。如上所提到的，当该命令是KVS命令时，处理器120可以通过KVS处理器118接收命令。此外，处理器120可以管理从存储器122的读取和对存储器122的写入，用于进行由处理器120所实现的各种功能，并且以维护和管理储存在存储器122中的缓存的信息。
处理器120和/或KVS处理器118可以包括任何类型的处理装置(诸如微处理器、微控制器、嵌入式控制器、逻辑电路、软件、固件等等)，用于控制SSD 102的操作。在一些方面中，本文所描述的由处理器120进行的功能中的一些或全部可以代替地由SSD 102的另一个组件进行。例如，SSD 102可以包括微处理器、微控制器、嵌入式控制器、逻辑电路、软件、固件或任何种类的处理装置，用于进行本文所描述的由处理器120进行的一个或多个功能。在一些实现方式中，KVS处理器118可以是处理器120的部分。根据其他方面，本文所描述的由处理器120进行的功能中的一个或多个代替地由主机104进行。在另外的其他方面中，本文所描述的由处理器120进行的功能中的一些或全部可以代替地由另一个组件(诸如包括非易失性存储器元件和磁性储存元件的混合驱动器中的处理器)进行。
存储器122可以是能够储存数据的任何存储器、计算装置或***。例如，存储器122可以是随机存取存储器(RAM)、动态随机存取存储器(DRAM)、双倍数据速率(DDR)DRAM、静态随机存取存储器(SRAM)、同步动态随机存取存储器(SDRAM)、闪速储存、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)等。在各种方面中，在主机104和NVM26之间传输数据期间，处理器120使用存储器122或其部分来储存数据。例如，存储器122和存储器122的一部分可以是高速缓存存储器。
NVM 126经由NVM接口124从处理器120接收数据，并且储存该数据。NVM 126可以是任何类型的非易失性存储器，诸如闪速储存***、NAND型闪速存储器、固态装置(SSD)、闪速存储器卡、安全数字(SD)卡、通用串行总线(USB)存储器装置、紧凑型闪速卡、智能媒体装置、闪速储存阵列等。
键值储存(KVS)处理器
如上所提到的，SSD 102包括键值储存(KVS)处理器118，其使得SSD 102能够处理键值KV数据库上的KVS命令。KV数据库将数据排列为单个不透明集合。这使得可以储存的数据类型具有更大的灵活性。此外，对于相同数量的数据集，KV数据库比其他数据库结构(诸如关系型数据库(RBD))使用更少的存储器。KVS命令用于存取KV数据库。KVS命令是专用于KV数据库的命令。这些KVS命令相对于KV数据库进行非常特定的功能。在KV数据库外部，这些KVS命令不工作。KVS命令的示例是GET命令、PUT命令以及DELETE命令。
图2图示了KVS处理器118的框图。KVS处理器118可以表示一个或多个KVS处理器。KVS处理器118配置为基于KVS命令对键值数据结构进行键值储存(KVS)操作。键值储存(KVS)操作可以包括散列操作，其在以下至少图7A-7C和12中进一步描述。
KVS处理器118包括一个或多个键值储存(KVS)核心200、散列控制器202、调度器204、索引器206、分配器208和直接存储器存取(DMA)控制器210。KVS核心200耦接到散列控制器202、调度器204、索引器206、分配器208和DMA控制器210。DMA控制器210耦接到交叉开关116。散列控制器202耦接到调度器204。
调度器204管理来自(经由主机接口110、桥接器112、缓冲器1140)主机104的命令，并且响应于主机104。调度器204可以从缓冲器114接收命令220，并且按照先进先出(FIFO)调度它们。相似地，调度器204可以按照先进先出(FIFO)将响应222发送到缓冲器114。在一些实现方式中，调度器204可以将轮循调度(round robin scheduling)应用于各种命令。调度器204可以将命令指引到KVS核心200的各个核心。这允许KVS处理器118处理彼此并行的若干命令。在KV数据集中的散列冲突的实例中，调度器204还可以调度要由相同核心顺序地处理的命令。散列冲突随着KV数据集增加而增加，散列冲突在以下至少图7A-7C中进一步描述。
散列控制器202对KVS命令进行散列计算。散列计算可以包括基于与从主机接收的命令相关联的键来计算散列值。在一些实现方式中，散列计算可以包括使用散列功能来将任意大小的数据(例如，键)映射到固定大小的数据(例如，散列值)。散列功能可以用于将键映射到键值数据结构，其中键可以与索引结构一起使用，以指向键值数据结构中的储存一个或多个键和数据组合的组(例如，贮体)。可能的键的数目典型地大于索引结构中的条目(例如，散列值)的数目。索引结构中的每个条目(例如，散列值)将指向键值数据结构中的特定位置(例如，组、贮体、组的特定键值组合)。特定位置可以是组的键值组合的特定位置。散列功能可能为不同的键生成相同的散列值，这已知为散列冲突。因此，不同的键可能是键值数据结构中的相同组(例如，贮体)的部分。键值数据结构中的特定位置(例如，组、贮体)可以储存多于一个键和值组合(例如，一个或多个储存的键和储存的值组合)。键值数据结构的特定位置可以包括一个或若干物理地址。在一些实现方式中，键值数据结构的特定位置可以是指键值数据结构的位置或键值数据结构的若干位置。散列在以下至少图7A-7C中进一步详细描述。
索引器206配置为进行对索引结构的查找，并且提供键值数据结构的特定组(例如，贮体)的物理地址位置。索引器206还进行对索引结构的新物理地址的更新。索引器206还可以使用位图结构来提供有效指针检查。
分配器208配置为管理SSD 102内部的可用的和使用的区块(例如，储存区块、存储器区块)。分配器208可以在SSD 102内部分配和/或归还存储器区块。分配器208可以使用位图结构来管理存储器区块。DMA控制器210配置为经由交叉开关116从NVM载入和/或储存数据到本地存储器。KVS核心200配置为进行不同的KVS命令，诸如GET命令、PUT命令和DELETE命令。KVS核心200可以从散列控制器202接收索引结构。KVS核心200可以与索引器206通信，以获得物理地址指针。KVS核心200可以与DMA控制器210通信，以将数据载入到本地存储器。KVS核心200可以与分配器208通信，以进行区块的分配和/或归还。
装置架构
图3和图4图示了当装置(例如，主机)耦接到包括KVS功能的SSD时，可以如何在装置侧(例如，主机装置)打包(package)和处理数据。在常规的***主机中，经由***软件I/O堆栈对储存数据的每次存取都引发显著的操作***和文件***开销。在图3和图4中描述的(多个)装置架构通过提供对键值储存数据的直接存取来增强现有的软件堆栈，以改善总体性能。图3图示了在主机和包括KVS功能的固态装置(SSD)之间的示例性装置架构的图。装置架构300包括应用层302、键值储存(KVS)库层304、输入/输出(I/O)堆栈层306(例如，文件***和操作***I/O堆栈)、以及装置驱动器层308。装置架构300允许装置(例如，主机)与包括KVS功能的固态装置(SSD)320进行通信。
应用层302指定应用专用命令和数据(例如，网络浏览器命令、网站数据)。KVS库层304包括关于获得、更新、放置和/或删除储存在键值数据结构中的数据的命令。KVS库层304的命令包括GET命令、PUT命令和DELETE命令。KVS库层304将转换应用层302数据，使得其可以在键值数据结构中进行处理。I/O堆栈层306可以将KVS地址转换成装置地址。例如，I/O堆栈层306可以将键值数据结构地址转换成装置地址(例如，主机地址)。装置驱动器层308是允许装置(例如，主机)与储存体320通信的接口。在一些实现方式中，储存体320可以是SSD102。
如图3所示，包括装置架构300的装置(例如，主机)上的应用可以以多种方式与SSD通信。在一个实现方式中，应用(例如，浏览器应用)可以通过应用层302、KVS库层304、I/O堆栈层306和装置驱动器层308与储存体320进行通信。在一些实现方式中，应用(例如，浏览器应用)可以通过应用层302和KVS库层304与储存体320进行通信，绕开装置架构300的其他架构层的一个或多个功能和/或转换。例如，来自KVS库层304的一些或所有KVS命令可以不需要转换。这可能是因为储存体320包括KVS功能，因此储存体320能够处理KVS库层304(诸如，KVS命令)。
图4图示了在主机和包括KVS功能的固态装置(SSD)之间的示例性装置架构的图，其中若干线程在主机和SSD之间运行。图4图示了主机可以通过若干通信信道(例如，信道1、信道2、信道3、……信道N)与SSD通信，其中每个信道包括线程。第一线程400使用第一信道，第二线程410使用第二信道，且第三线程420使用第三信道。线程可以彼此并行地操作。每个线程包括应用层302、键值储存(KVS)库层304、输入/输出(I/O)堆栈层306和装置驱动器层308。每个线程可以包括门铃寄存器、命令队列(例如，KVS命令)和响应队列。
固态装置(SSD)处理键值储存(KVS)命令和非KVS命令的示例性流程序列
图5和6图示了处理键值储存(KVS)命令和非KVS命令的固态装置(SSD)的流程序列。图5和图6中示出的流程序列可以由本公开中描述的SSD(诸如SSD 102)中的任一个进行。另外，出于清楚的目的，图5和图6中示出的流程序列不必示出进行图5和图6中描述的操作的SSD的所有组件。例如，当在SSD的不同组件之间行进时，所描述的数据(例如，命令、响应)中的一个或多个可以行进通过一个或多个缓冲器和/或一个或多个交叉开关。在一些实现方式中，图5和图6所示的流程序列可以包括由SSD进行的其他操作。
图5图示了由耦接到主机(例如，主机104)的SSD 501进行的流程序列500。流程序列500包括由SSD 501处理KVS命令。SSD 501包括主机接口502、桥接器504、键值储存(KVS)处理器506、处理器508和非易失性存储器(NVM)510。在一个方面中，NVM实现为NAND存储器。
如图5所示，主机接口502将键值储存(KVS)命令发送(在512处)到桥接器504。KVS命令可以由主机接口502从主机(例如，104)接收。KVS命令的示例包括GET命令、PUT命令和DELETE命令。在一些实现方式中，当命令由主机发送和/或由SSD接收时，KVS命令是不包括要处理的数据的(多个)物理地址的命令(例如，没有物理地址信息的命令)。桥接器504确定(在514处)命令是KVS命令，并且将KVS命令发送(在516处)到KVS处理器506。KVS处理器506处理(在518处)KVS命令，这可以包括进行散列计算以生成散列值以及使用索引结构来识别在键值数据结构中的位置(例如，组、键值组合)。在一些实现方式中，识别位置包括识别键和值组合在NVM 510中的物理地址。在一些实现方式中，识别位置包括识别与NVM 510中的键和值组合的组相关联的物理地址。
KVS处理器506将包括数据地址的命令发送(在520处)到处理器508。处理器508处理(在522处)来自KVS处理器506的命令。处理器508将命令发送(在524处)到NVM 510。NVM510基于该命令存取(在526处)数据。存取数据可以包括在NVM 510的特定物理地址处读取数据和/或在NVM 510的特定物理地址处写入数据。
NVM 510将对命令的响应发送(在528处)到处理器508，其中该响应被处理(在530处)。响应可以包括数据(例如，键、值、指针、确认、错误)。处理器508将该响应发送(在532处)到KVS处理器506。KVS处理器506处理(在534处)响应，并且将响应发送(在536处)到桥接器504。桥接器504处理(在538处)响应，并且将响应发送(在540处)到主机接口502。主机接口502将响应发送到主机(例如，104)。以上流程序列500可以多次顺序地进行或者与其他命令(例如，KVS命令、非KVS命令)并行地进行。
图6图示了由耦接到主机(例如，主机104)的SSD 501进行的流程序列600。流程序列600包括由SSD 501处理非KVS命令。SSD 501包括主机接口502、桥接器504、键值储存(KVS)处理器506、处理器508和非易失性存储器(NVM)510。
如图6所示，主机接口502将非键值储存(KVS)命令发送(在612处)到桥接器504。非KVS命令可以由主机接口502从主机(例如，104)接收。非KVS命令包括不特别限于键值储存数据库的命令。换言之，非KVS命令是可以在非键值储存数据库中使用的命令。非KVS命令的示例包括读取命令和/或写入命令。在一些实现方式中，当命令由主机发送和/或由SSD接收时，非KVS命令是包括要处理的数据的(多个)物理地址的命令。桥接器504确定(在614处)命令是非KVS命令，并且将非KVS命令发送(在616处)到处理器508。在一些实现方式中，非KVS命令可以包括地址信息(例如，NVM 510上的数据的物理地址)。非KVS命令绕开KVS处理器506。处理器508处理(在622处)来自桥接器504的非KVS命令。处理器508将命令发送(在524处)到NVM 510。NVM 510基于该命令存取(在626处)数据。存取数据可以包括在NVM 510的特定物理地址处读取数据和/或在NVM 510的特定物理地址处写入数据。
NVM 510将对命令的响应发送(在628处)到处理器508，其中该响应被处理(在630处)。响应可以包括各种数据(例如，键、值、指针、确认、错误)。处理器508将该响应发送(在632处)到桥接器504。响应绕开KVS处理器506。桥接器504处理(在638处)响应，并且将响应发送(在640处)到主机接口502。主机接口502将响应发送到主机(例如，104)。以上流程序列600可以多次顺序地进行或者与其他命令(例如，KVS命令、非KVS命令)并行地进行。
图7(其包括图7A-7C)图示了进行键值储存(KVS)命令的固态装置(SSD)的流程序列。特别地，图7图示了由SSD进行的来自主机的GET命令的序列。
如图7A所示，SSD从主机接收GET命令710。GET命令710指定SSD获得与键(K3)相关联的值。SSD的KVS处理器700对键(K3)进行散列操作，该散列操作生成散列值720。散列值720然后用于索引结构704上，以从键值数据结构702识别的组。在该特定情形下，散列值720指向索引结构704中的识别的组0的条目。组0指向键值数据结构702中的键(K1)和值(V1)组合730。在一些实现方式中，索引结构的用于组0的条目包括指针，该指针是键(K1)和值(V1)组合730在键值数据结构702(其储存在SSD的NVM中)中的物理地址。键值数据结构的组可以是空的，或者包括一个或多个键值数据(例如，键和值组合)。即使索引结构704中的指针指向键(K1)和值(V1)组合730，但是指针可以认为是对键值数据结构702的组0的指针。不同的实现方式可以以不同的方式储存索引结构704。SSD从键值数据结构702取回和读取键(K1)和值(V1)组合730，并且然后将组合730的键(K1)与命令710的键(K3)进行比较。在这种情形下，键不匹配，并且SSD取回下一个键和值组合。下一个键和值组合由定位键(K1)和值(V1)组合730的指针来指定。该指针可以是下一个键和值组合的物理地址。在该示例中，下一个键和值组合是键(K2)和值(V2)组合。
图7B图示了SSD取回键(K2)和值(V2)组合732，其也是组0的部分。SSD从键值数据结构702取回和读取键(K2)和值(V2)组合732，并且然后将组合732的键(K2)与命令710的键(K3)进行比较。键这次也不匹配，并且SSD取回下一个键和值组合。下一个键和值组合的位置储存为键(K2)和值(V2)组合732中的指针(例如，物理地址指针)。该指针指向键(K3)和值(V3)组合。
图7C图示了SSD取回键(K3)和值(V3)组合734，其也是组0的部分(这可以意味着它们是相同贮体的部分)。SSD从键值数据结构702取回和读取键(K3)和值(V3)组合734，并且然后将键和值组合734的键(K3)与命令710的键(K3)进行比较。键现在匹配，并且SSD将响应740提供给主机，其中该响应包括来自键和值组合734的值(V3)。
在该配置中，因为散列冲突，在相同的组(例如，相同的贮体)中存在多个键和值组合。在其他处理操作下，通过互连106将所有键和值组合发送到主机104，在SSD和主机之间创建了不必要的I/O开销。这减慢了SSD的总体性能。然而，通过仅发送匹配的键和值组合，在SSD和主机之间的I/O开销上实质上减少。尽管SSD的处理器(例如，KVS处理器)可能比主机的处理器更慢，但是通过不必发送所有键和值组合而取得的优势超过了通过使用位于SSD处的处理器可能出现的任何缺点，尤其是在数据库非常大并且在数据集中发生散列冲突的情形下。以上场景也应用于其他类型的KVS命令。
图8(其包括图8A-8B)图示了进行键值储存(KVS)命令的固态装置(SSD)的流程序列。特别地，图8图示了由SSD进行的来自主机的PUT命令的序列，其中PUT命令包括写入新的键和值组合。
如图8A所示，SSD从主机接收PUT命令810。PUT命令810指定SSD储存新的键和值组合。特别地，PUT命令810指定储存键(K5)和值(V5)组合834。SSD的KVS处理器800对键(K5)进行散列操作，该散列操作生成散列值820。散列值820然后用于索引结构804上，以从键值数据结构802识别的组。在该特定情形下，散列值820指向索引结构804中的识别的组1的条目。组1指向键值数据结构802中的键(K4)和值(V4)组合830。在一些实现方式中，索引结构的用于组1的条目包括指针，该指针是键(K4)和值(V4)组合830在键值数据结构802中的物理地址。该键值数据结构802储存在SSD的NVM中。键值数据结构的组可以是空的，或者包括一个或多个键值数据(例如，键和值组合)。即使索引结构804中的指针指向键(K4)和值(V4)组合830，但是指针可以认为是对键值数据结构802的组1的指针。SSD从键值数据结构802取回和读取键(K4)和值(V4)组合830，并且然后将组合830的键(K4)与命令810的键(K5)进行比较。在这种情形下，键不匹配，并且SSD从组中取回下一个键和值组合。下一个键和值组合由定位键(K4)和值(V4)组合830的指针来指定。该指针可以是下一个键和值组合的物理地址。然而，在该示例中，在组1中不存在其他键和值组合。由于在组1中不存在其他键和值组合，SSD可以将键(K5)和值(V5)组合834添加在键(K4)和值(V4)组合830之后。
图8B图示了SSD在NVM的键值数据结构802中写入键(K5)和值(V5)组合834。在写入键(K5)和值(V5)组合834之前，SSD可以为键(K5)和值(V5)组合834分配(多个)存储器区块(例如，物理地址)。SSD更新键(K4)和值(V4)组合830的指针，使得该指针指向键(K5)和值(V5)组合834的物理地址。一旦已经储存了键(K5)和值(V5)组合834，SSD可以将响应840提供给主机。响应840可以包括对已经储存在键值数据结构802中的键(K5)和值(V5)组合834的确认。在一些实现方式中，代替指针，键(K5)和值(V5)组合834可以包括一些指示符，该指示符是组中的最后的键和值组合。在一些实现方式中，如果不存在键和值组合的指针，则可以假定其是组中的最后的键和值组合。
图9(其包括图9A-9C)图示了进行键值储存(KVS)命令的固态装置(SSD)的流程序列。特别地，图9图示了由SSD进行的来自主机的PUT命令的序列，其中PUT命令包括更新键和值组合。
如图9A所示，SSD从主机接收PUT命令910。PUT命令910指定SSD储存键和值组合。特别地，PUT命令910指定储存键(K5)和值(V6)组合。SSD的KVS处理器900对键(K5)进行散列操作，该散列操作生成散列值920。散列值920然后用于索引结构904上，以从键值数据结构902识别的组。在该特定情形下，散列值920指向索引结构904中的识别的组1的条目。组1指向键值数据结构902中的键(K4)和值(V4)组合930。在一些实现方式中，索引结构的用于组1的条目包括指针，该指针是键(K4)和值(V4)组合930在键值数据结构902中的物理地址。该键值数据结构902储存在SSD的NVM中。键值数据结构的组可以是空的，或者包括一个或多个键值数据(例如，键和值组合)。即使索引结构904中的指针指向键(K4)和值(V4)组合930，但是指针可以认为是对键值数据结构902的组1的指针。SSD从键值数据结构902取回和读取键(K4)和值(V4)组合930，并且然后将组合930的键(K4)与命令910的键(K5)进行比较。在这种情形下，键不匹配，并且SSD在组中取回下一个键和值组合。下一个键和值组合由定位键(K4)和值(V4)组合930的指针来指定。该指针可以是组中的下一个键和值组合的物理地址。在该示例中，下一个键和值组合是键(K5)和值(V5)组合。
图9B图示了SSD取回键(K5)和值(V5)组合932(其也是组1的部分)。SSD从键值数据结构902取回和读取键(K5)和值(V5)组合932，并且然后将键和值组合932的键(K5)与命令910的键(K5)进行比较。键这次匹配，并且SSD更新键(K5)和值(V5)组合932，使得V5已经由V6替换。键(K5)和值(V6)组合934现在已经替换先前的键和值组合932。
图9C图示了SSD在NVM的键值数据结构902中写入(K5)和值(V6)组合934。键和值组合可以储存在NVM的与先前的键和值组合932不同的物理地址或者相同的物理地址中。SSD还需要更新键(K4)和值(V4)组合的指针，使得该指针指向键(K5)和值(V6)组合934的物理地址。一旦已经储存了键(K5)和值(V6)组合和/或指针已经更新，SSD可以将响应940提供给主机。响应940可以包括对已经储存在键值数据结构902中的键(K5)和值(V6)组合的确认。如果可应用，则键(K5)和值(V6)组合可以具有指引到组中的另一个键和值组合的指针。
图10(其包括图10A-10C)图示了进行键值储存(KVS)命令的固态装置(SSD)的流程序列。特别地，图10图示了由SSD进行的来自主机的DELETE命令的序列。
如图10A所示，SSD从主机接收DELETE命令1010。DELETE命令1010指定SSD移除键和值组合。特别地，DELETE命令1010指定删除键(K2)和值(V2)组合。SSD的KVS处理器1000对键(K2)进行散列操作，该散列操作生成散列值1020。散列值1020然后用于索引结构1004上，以从键值数据结构1002识别的组。在该特定情形下，散列值1020指向索引结构1004中的识别的组0的条目。组0指向键值数据结构1002中的键(K1)和值(V1)组合1030。在一些实现方式中，索引结构的用于组0的条目包括指针，该指针是键(K1)和值(V1)组合1030在键值数据结构1002中的物理地址。该键值数据结构1002储存在SSD的NVM中。键值数据结构的组可以是空的，或者包括一个或多个键值数据(例如，键和值组合)。即使索引结构1004中的指针指向键(K1)和值(V1)组合1030，但是指针可以认为是对键值数据结构1002的组0的指针。SSD从键值数据结构1002取回和读取键(K1)和值(V1)组合1030，并且然后将键和值组合1030的键(K1)与命令1010的键(K5)进行比较。在这种情形下，键不匹配，并且SSD从组中取回下一个键和值组合。下一个键和值组合由定位键(K1)和值(V1)组合1030的指针来指定。该指针可以是下一个键和值组合的物理地址。在该示例中，来自组的下一个键和值组合是键(K2)和值(V2)组合。
图10B图示了SSD取回键(K2)和值(V2)组合1032(其也是组0的部分)。SSD从键值数据结构1002取回和读取键(K2)和值(V2)组合1032，并且然后将键和值组合1032的键(K2)与命令1010的键(K2)进行比较。键这次匹配。
SSD可以做几件事情中的一个。在一个实现方式中，SSD可以更新键(K1)和值(V1)组合1030的指针，以指向键(K3)和值(V3)组合1034的物理地址，而不是指向键(K2)和值(V2)组合1032。这有效地从键值数据结构1002移除了键(K2)和值(V2)组合1032，而不实际地从NVM的物理地址中删除它。在一些实现方式中，SSD可以归还储存键(K2)和值(V2)组合1032的(多个)存储器区块(例如，物理地址)，这意味着特定的(多个)存储器区块不再由键值数据结构1002使用，并且可用于储存新的数据。
图10C图示了SSD更新键和值组合1030的指针，使得其指向键和值组合1034，而不是键和值组合1032。在更新指针之后，SSD可以将响应1040提供给主机。响应1040可以包括对已经在键值数据结构1002中删除键(K2)和值(V2)组合1032的确认。在另一个实现方式中，SSD可以改写(write over)键值数据结构1032的物理地址，以从键值数据结构1002删除键和值组合1032。在这样的实例中，SSD将仍然更新键和值组合1030的指针，以指向键和值组合1034。
由固态装置(SSD)处理键值储存(KVS)命令和非KVS命令的方法的示例性流程图
图11和12图示了由固态装置(SSD)处理键值储存(KVS)命令和非KVS命令的方法的流程图。图11和12中示出的方法可以由本公开中描述的SSD中的任一个进行，例如SSD 102。另外，出于清楚的目的，图11和12中示出的方法不必要示出由SSD进行的所有操作。在一些实现方式中，图11和12中示出的方法可以包括可以由SSD进行的其他操作。在一些实现方式中，方法的顺序可以改变。
图11图示了用于处理从主机接收的一个或多个命令的方法1100的流程图。该方法1100可以由SSD(例如，104、501)进行。该方法从主机接收(在1102处)命令。命令可以由主机接口(例如，110)接收。该方法确定(在1104处)命令是否是键值储存(KVS)命令。可以由桥接器112和/或主机接口110做出该确定。该方法1100可以通过查找该命令是否包括仅可以由键值(KV)数据库使用的命令来确定该命令是否是KVS命令。在一些实现方式中，该方法可以通过查找该命令是否具体包括GET命令、PUT命令或DELETE命令来确定该命令是否是KVS命令。在一些实现方式中，当命令包括GET命令、PUT命令或DELETE命令时，该方法确定命令是KVS命令。
当方法确定(在1104处)命令不是KVS命令时，该方法在非易失性存储器(NVM)中继续进行对键值数据结构的特定位置的存取(在1108处)。非KVS命令的示例可以包括读取命令和/或写入命令。对键值数据结构的存取(在1108处)可以由NVM处理器进行。对键值数据结构的存取(在1108处)可以包括读取NVM的物理地址和/或在NVM的物理地址处进行写入。
当方法确定(在1104处)命令是KVS命令时，该方法在非易失性存储器(NVM)中继续进行，用索引结构进行(在1106处)键值储存(KVS)操作，以识别键值数据结构在非易失性存储器(NVM)中的特定位置。进行(在1106处)KVS操作可以包括进行一个或多个散列计算和/或散列操作，以识别一个或多个散列值，其可以对应于索引结构的条目。进行KVS操作的示例在图12中进行描述。一旦已经进行(在1106处)KVS操作，该方法在NVM处基于KVS操作、索引结构和键值数据结构存取(在1108处)键值数据结构。该方法基于存取的数据将响应提供(在1110处)给主机。图11的方法1100可以对若干命令(例如，KVS命令和/或非KVS命令)迭代进行。
图12图示了用于处理从主机接收的一个或多个KVS命令的方法1200的流程图。图12的方法1200的示例图示在图7-10中。接收的命令是包括键的KVS命令。该方法1200可以由SSD(例如，104、501)进行。该方法可以在从主机接收包括键的命令之后开始。该方法可以在方法确定所接收的命令是KVS命令之后开始。命令可以由主机接口(例如，110)接收。该方法对由SSD接收的命令中的键进行(在1202处)散列计算或散列操作。散列操作基于伴随命令(例如，KVS命令)的键计算散列值。散列操作可以将任意大小的键映射到固定大小的数据(例如，散列值)。散列操作可以包括散列功能(例如，Jenkins散列功能)。散列功能可以用于将键映射到键值数据结构，在这种情况下，键可以与索引结构一起使用，以指向键值数据结构中的储存一个或多个键和数据组合的组(例如，贮体)。可能的键的数目典型地大于索引结构中的条目(例如，散列值)的数目。索引结构的每个条目(例如，散列值)将指向键值数据(例如，键和值组合)在键值数据结构中的特定位置或组(例如，贮体)。例如，每个条目可以是提供键和值组合在键值数据的特定组中的物理地址的指针。该物理地址可以表示特定组的位置，即使不是所有键和值组合都储存在该物理地址处。散列功能可能为不同的键生成相同的散列值。因此，键值数据在键值数据结构中的特定位置或组(例如，贮体)可以储存多于一个的键和值组合。注意到，尽管不同的键和值组合可以是来自键值数据结构的相同位置或相同组的键值数据的部分，但它们可以储存在储存装置的不同物理地址中。键值数据的组可以是空的，或者包括一个或多个键和值组合。
该方法基于散列操作从索引结构识别(在1204处)条目或组。每个条目或组与散列值相关联。识别的条目或组可以指向包括一个或多个键和值组合的键值数据的组。在一些实现方式中，键值数据的组可以是空的。该方法基于索引结构的识别的条目来识别(在1206处)键值数据的组，并且从来自键值数据结构的键值数据的识别的组存取(在1206处)至少一个键和值组合。一旦已经识别了键值数据的组，该方法可以处理键值数据的识别的组，这可以包括存取、取回、比较和/或储存键值数据。存取至少一个键和值组合可以包括在NVM的特定位置(例如，物理地址)处读取和/或写入数据。该方法确定(在1208处)与接收的命令相关联的键是否匹配来自从识别的组所存取的键和值组合的键。
如果键匹配，则方法继续进行，提供(在1212处)包括来自存取的键和值组合的值的响应。在一些实现方式中，提供响应可以包括在键值数据结构的特定位置处写入键和值组合。然而，如果键不匹配，则方法确定(在1210处)对于键值数据的识别的组是否存在另一个键和值组合。如果方法确定(在1210处)对于该组不存在另一个键和值组合，则方法提供(在1212处)包括错误消息和/或不匹配消息的响应。
如果方法确定(在1210处)对于键值数据的识别的组存在另一个键和值组合，则方法继续进行，确定(在1208处)与接收的命令相关联的键是否匹配来自从键值数据的识别的组所存取的其他键和值组合的另一个键。图12的方法1200可以对若干命令迭代进行。
尽管以上描述含有本发明的许多具体实施例，但这些不应当解释为对本发明范围的限制，而是作为其具体实施例的示例。因此，本发明的范围不应当由所图示的实施例来确定，而是应当由所附权利要求及其等同来确定。
如上所述的各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合均旨在落入本公开的范围内。此外，在一些实现方式中可以省略某些方法、事件、状态或过程框。本文所描述的方法和过程也不限于任何特定的序列，并且与其相关的框或状态可以以适当的其他序列来进行。例如，所描述的任务或事件可以以不同于具体公开的顺序进行，或者可以将多个组合在单个框或状态中。示例任务或事件可以串行地、并行地或以一些其他适当的方式进行。可以向所公开的示例实施例添加任务或事件或者从其移除任务或事件。本文所描述的示例***和组件可以不同于所描述地进行配置。例如，与所公开的示例实施例相比，元件可以添加、移除或重新布置。

Claims (22)

1.一种固态装置(SSD)，包括：
非易失性存储器(NVM)，其配置为储存键值数据结构；以及
键值储存(KVS)处理器，其配置为：
从主机接收键值储存(KVS)命令；
基于接收的KVS命令对所述键值数据结构进行键值储存(KVS)操作；并且
基于所述KVS操作将响应提供给所述主机。
2.如权利要求1所述的SSD，其中所述KVS命令从包含GET命令、PUT命令和DELETE命令的组中选择。
3.如权利要求1所述的SSD，其中进行所述键值储存(KVS)操作包括使用索引结构来基于所述接收的KVS命令来处理所述键值数据结构。
4.如权利要求1所述的SSD，还包括：
处理器，其耦接到所述NVM；以及
桥接器，其配置为：
从所述主机接收命令；
当所述命令是KVS命令时，将所述命令发送到所述KVS处理器；并且
当所述命令是非KVS命令时，将所述命令发送到所述处理器。
5.如权利要求1所述的SSD，其中进行所述KVS操作包括进行GET命令，进行所述GET命令包括：
基于所述KVS命令来生成散列值，其中所述KVS命令包括对与特定键相关联的特定值的请求；
使用所述散列值和索引结构来识别所述键值数据结构中的特定位置；以及
从所述键值数据结构中的所述特定位置取回至少一个储存的键和储存的值组合。
6.如权利要求5所述的SSD，其中将所述响应提供给所述主机包括提供与所述储存的键相关联的所述储存的值。
7.如权利要求5所述的SSD，其中所述键值数据结构中的所述特定位置储存多个储存的键和储存的值组合，所述特定位置包括多个物理地址。
8.如权利要求7所述的SSD，其中进行所述KVS操作还包括在所述键值数据结构的所述特定位置处迭代地比较每个储存的键和储存的值组合，直到特定的储存的键匹配来自所述KVS命令的特定键。
9.如权利要求1所述的SSD，还包括命令调度器，其配置为以特定顺序调度多个接收的KVS命令，以由所述KVS处理器进行处理。
10.如权利要求1所述的SSD，还包括散列控制器，所述散列控制器配置为对所述接收的KVS命令的键进行一个或多个散列操作。
11.一种操作固态装置(SSD)的方法，包括：
在所述SSD的非易失性存储器(NVM)处储存键值数据结构；
从主机接收键值储存(KVS)命令；
在所述SSD处基于接收的KVS命令来识别索引结构的条目；
基于所述识别的条目从所述键值数据结构来识别键值数据的组；
在所述SSD处基于所述接收的KVS命令来处理来自键值数据的识别的组的一个或多个键值数据；以及
基于对所述一个或多个键值数据的处理来将响应提供给主机。
12.如权利要求11所述的方法，其中所述KVS命令从包含GET命令、PUT命令和DELETE命令的组中选择。
13.如权利要求11所述的方法，其中识别所述索引结构的所述条目包括在所述SSD处基于所述接收的KVS命令来生成散列值。
14.如权利要求11所述的方法，其中接收所述KVS命令包括：
在所述SSD的桥接器处从所述主机接收命令；
当所述命令是KVS命令时，将所述命令发送到所述SSD的KVS处理器；以及
当所述命令是非KVS命令时，将所述命令发送到所述SSD的处理器。
15.如权利要求11所述的方法，还包括基于所述KVS命令来生成散列值，
其中所述KVS命令包括对与特定键相关联的特定值的请求，
其中识别键值数据的所述组包括识别所述键值数据结构中的特定位置；并且
其中处理所述一个或多个键值数据包括在所述键值数据结构中的所述特定位置处取回至少一个储存的键和储存的值组合。
16.如权利要求15所述的方法，其中将所述响应提供给所述主机包括提供与所述储存的键相关联的所述储存的值。
17.如权利要求15所述的方法，其中处理一个或多个键值数据包括在所述键值数据结构的多个位置处迭代地比较每个储存的键和储存的值组合，直到特定的储存的键匹配来自所述KVS命令的特定键。
18.如权利要求11所述的方法，还包括基于所述KVS命令来生成散列值，
其中所述KVS命令包括对用特定键储存特定值的请求；
其中识别键值数据的所述组包括识别所述键值数据结构中的特定位置；并且
其中处理所述一个或多个键值数据包括在所述键值数据结构中的所述特定位置处储存所述特定键和所述特定值组合。
19.如权利要求11所述的方法，还包括基于所述KVS命令来生成散列值，
其中所述KVS命令包括对用特定键删除特定值的请求；
其中识别键值数据的所述组包括识别在所述键值数据结构中的特定位置；并且
其中处理所述一个或多个键值数据包括删除对储存所述特定键和所述特定值组合的所述特定位置的指针。
20.一种用于操作固态装置(SSD)的设备，包括：
用于键值数据结构的非易失性储存的构件；以及
用于键值储存(KVS)处理的构件，包括：
用于从主机接收键值储存(KVS)命令的构件；
用于基于所述接收的KVS命令对所述键值数据结构进行键值储存(KVS)操作的构件，其中用于进行所述键值储存(KVS)操作的所述构件包括基于所述接收的KVS命令来生成散列值；以及
用于基于所述KVS操作将响应提供给所述主机的构件。
21.如权利要求20所述的设备，其中所述KVS命令从包含GET命令、PUT命令和DELETE命令的组中选择。
22.如权利要求20所述的设备，其中用于进行所述键值储存(KVS)操作的所述构件包括使用索引结构来基于所述接收的KVS命令处理所述键值数据结构。
CN201810605810.8A 2017-06-13 2018-06-13 用于非易失性存储器的存储器高效持续键值储存 Active CN109085997B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762519094P 2017-06-13 2017-06-13
US62/519,094 2017-06-13
US15/996,266 US10649969B2 (en) 2017-06-13 2018-06-01 Memory efficient persistent key-value store for non-volatile memories
US15/996,266 2018-06-01

Publications (2)

Publication Number Publication Date
CN109085997A true CN109085997A (zh) 2018-12-25
CN109085997B CN109085997B (zh) 2021-08-24

Family

ID=64564103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810605810.8A Active CN109085997B (zh) 2017-06-13 2018-06-13 用于非易失性存储器的存储器高效持续键值储存

Country Status (2)

Country Link
US (1) US10649969B2 (zh)
CN (1) CN109085997B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022063059A1 (zh) * 2020-09-23 2022-03-31 华为云计算技术有限公司 键值存储***的数据管理方法及其装置
US20230088400A1 (en) * 2021-09-17 2023-03-23 Realtek Semiconductor Corporation Control module and control method thereof for synchronous dynamic random access memory
WO2024012349A1 (zh) * 2022-07-15 2024-01-18 中兴通讯股份有限公司 数据处理方法、ssd控制器、电子设备及可读存储介质

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11182694B2 (en) 2018-02-02 2021-11-23 Samsung Electronics Co., Ltd. Data path for GPU machine learning training with key value SSD
US11392544B2 (en) * 2018-02-06 2022-07-19 Samsung Electronics Co., Ltd. System and method for leveraging key-value storage to efficiently store data and metadata in a distributed file system
CN111902804B (zh) 2018-06-25 2024-03-01 阿里巴巴集团控股有限公司 用于管理存储设备的资源并量化i/o请求成本的***和方法
CN112088531A (zh) * 2018-12-20 2020-12-15 瑞典爱立信有限公司 视频编码和解码中改进的片地址信令
US11061735B2 (en) 2019-01-02 2021-07-13 Alibaba Group Holding Limited System and method for offloading computation to storage nodes in distributed system
US11099790B2 (en) * 2019-01-10 2021-08-24 Samsung Electronics Co., Ltd. Parallel key value based multithread machine learning leveraging KV-SSDS
JP2020167509A (ja) * 2019-03-29 2020-10-08 コベルコ建機株式会社 情報処理システム、情報処理方法、およびプログラム
US11288007B2 (en) * 2019-05-16 2022-03-29 Western Digital Technologies, Inc. Virtual physical erase of a memory of a data storage device
US11617282B2 (en) 2019-10-01 2023-03-28 Alibaba Group Holding Limited System and method for reshaping power budget of cabinet to facilitate improved deployment density of servers
US11733919B2 (en) * 2019-10-14 2023-08-22 Samsung Electronics Co., Ltd. Method and system for offloading lookup operation to NAND offload apparatus
US11287994B2 (en) * 2019-12-13 2022-03-29 Samsung Electronics Co., Ltd. Native key-value storage enabled distributed storage system
US11972361B2 (en) 2020-01-29 2024-04-30 Samsung Electronics Co., Ltd. Performance optimization of object grouping schema in a network key-value storage device using adaptive regression
US11243694B2 (en) * 2020-01-29 2022-02-08 Samsung Electronics Co., Ltd. Grouping key value object IOs to improve IO performance for key-value storage devices
US11556277B2 (en) * 2020-05-19 2023-01-17 Alibaba Group Holding Limited System and method for facilitating improved performance in ordering key-value storage with input/output stack simplification
US11507499B2 (en) 2020-05-19 2022-11-22 Alibaba Group Holding Limited System and method for facilitating mitigation of read/write amplification in data compression
US11734115B2 (en) 2020-12-28 2023-08-22 Alibaba Group Holding Limited Method and system for facilitating write latency reduction in a queue depth of one scenario
US11726699B2 (en) 2021-03-30 2023-08-15 Alibaba Singapore Holding Private Limited Method and system for facilitating multi-stream sequential read performance improvement with reduced read amplification
CN115599290A (zh) * 2021-07-07 2023-01-13 三星电子株式会社（Kr） 键值固态驱动器中的动态存储
US11954345B2 (en) 2021-12-03 2024-04-09 Samsung Electronics Co., Ltd. Two-level indexing for key-value persistent storage device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110276744A1 (en) * 2010-05-05 2011-11-10 Microsoft Corporation Flash memory cache including for use with persistent key-value store
US20130275391A1 (en) * 2012-04-17 2013-10-17 Fusion-Io, Inc. Data Expiry in a Non-Volatile Device
US20140304525A1 (en) * 2013-04-01 2014-10-09 Nexenta Systems, Inc. Key/value storage device and method
US20150278208A1 (en) * 2014-03-28 2015-10-01 Annie Foong Hash map support in a storage device
US20150324281A1 (en) * 2014-05-07 2015-11-12 Diablo Technologies Inc. System and method of implementing an object storage device on a computer main memory system
CN105159845A (zh) * 2015-09-07 2015-12-16 四川神琥科技有限公司 存储器读取方法
US20160299688A1 (en) * 2015-04-10 2016-10-13 Samsung Electronics Co., Ltd. Electronic system with storage management mechanism and method of operation thereof
US20170068605A1 (en) * 2015-09-03 2017-03-09 Kabushiki Kaisha Toshiba Storage device
US20170123727A1 (en) * 2015-10-30 2017-05-04 Samsung Electronics Co., Ltd. Memory system and read request management method thereof

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8572312B2 (en) * 2011-12-07 2013-10-29 Jeffrey Tofano Data de-duplication and solid state memory device
US8818971B1 (en) * 2012-01-30 2014-08-26 Google Inc. Processing bulk deletions in distributed databases
US9734223B2 (en) * 2013-06-14 2017-08-15 International Business Machines Corporation Difference determination in a database environment
US9323457B2 (en) * 2013-12-09 2016-04-26 Xilinx, Inc. Memory arrangement for implementation of high-throughput key-value stores
US20180089074A1 (en) * 2016-09-28 2018-03-29 Intel Corporation Techniques to Manage Key-Value Storage at a Memory or Storage Device
US10394784B2 (en) * 2016-12-22 2019-08-27 Intel Corporation Technologies for management of lookup tables
US10984070B2 (en) * 2017-10-18 2021-04-20 Salesforce.Com, Inc. Dynamic content placeholders for microblogging posts
US20190034427A1 (en) * 2017-12-28 2019-01-31 Intel Corporation Data management system employing a hash-based and tree-based key-value data structure

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110276744A1 (en) * 2010-05-05 2011-11-10 Microsoft Corporation Flash memory cache including for use with persistent key-value store
US20130275391A1 (en) * 2012-04-17 2013-10-17 Fusion-Io, Inc. Data Expiry in a Non-Volatile Device
US20140304525A1 (en) * 2013-04-01 2014-10-09 Nexenta Systems, Inc. Key/value storage device and method
US20150278208A1 (en) * 2014-03-28 2015-10-01 Annie Foong Hash map support in a storage device
US20150324281A1 (en) * 2014-05-07 2015-11-12 Diablo Technologies Inc. System and method of implementing an object storage device on a computer main memory system
US20160299688A1 (en) * 2015-04-10 2016-10-13 Samsung Electronics Co., Ltd. Electronic system with storage management mechanism and method of operation thereof
US20170068605A1 (en) * 2015-09-03 2017-03-09 Kabushiki Kaisha Toshiba Storage device
CN105159845A (zh) * 2015-09-07 2015-12-16 四川神琥科技有限公司 存储器读取方法
US20170123727A1 (en) * 2015-10-30 2017-05-04 Samsung Electronics Co., Ltd. Memory system and read request management method thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022063059A1 (zh) * 2020-09-23 2022-03-31 华为云计算技术有限公司 键值存储***的数据管理方法及其装置
US20230088400A1 (en) * 2021-09-17 2023-03-23 Realtek Semiconductor Corporation Control module and control method thereof for synchronous dynamic random access memory
WO2024012349A1 (zh) * 2022-07-15 2024-01-18 中兴通讯股份有限公司 数据处理方法、ssd控制器、电子设备及可读存储介质

Also Published As

Publication number Publication date
US20180357234A1 (en) 2018-12-13
US10649969B2 (en) 2020-05-12
CN109085997B (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN109085997A (zh) 用于非易失性存储器的存储器高效持续键值储存
US10229734B1 (en) Method and system for storing and recovering data from flash memory
KR102584018B1 (ko) 압축된 데이터 백그라운드를 캐싱하는 장치, 시스템 및 방법
US8751700B2 (en) Memory controllers, memory systems, solid state drives and methods for processing a number of commands
US20080195833A1 (en) Systems, methods and computer program products for operating a data processing system in which a file system's unit of memory allocation is coordinated with a storage system's read/write operation unit
US9507705B2 (en) Write cache sorting
CN105389264B (zh) 存储***中垃圾收集的方法和***
US20220066693A1 (en) System and method of writing to nonvolatile memory using write buffers
US20130067147A1 (en) Storage device, controller, and read command executing method
US11726906B2 (en) Memory device and non-transitory computer readable recording medium
US10140215B1 (en) Low overhead mapping for highly sequential data
US20140237170A1 (en) Storage device, and read command executing method
US20230342294A1 (en) Memory device and non-transitory computer readable recording medium
CN110275840A (zh) 在存储器接口上的分布式过程执行和文件***
KR20210035910A (ko) 비-결정적 커맨드를 지원하는 메모리 서브-시스템
CN106909516A (zh) 存储***及其操作方法
CN105389134B (zh) 一种闪存接口控制方法及装置
US11687448B2 (en) Memory system and non-transitory computer readable recording medium
CN109213423B (zh) 基于地址屏障无锁处理并发io命令
CN107844265A (zh) 操作计算***的方法以及操作计算***中的存储器控制器的方法
CN109213424B (zh) 并发io命令的无锁处理方法
CN111061683B (zh) 一种高速存储和操作数据流的方法与装置
US10331551B2 (en) Information processing device and non-transitory computer readable recording medium for excluding data from garbage collection
US7996598B2 (en) Memory management module

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant