CN113986133B - 数据处理方法、装置、数据存储***及电子设备 - Google Patents

数据处理方法、装置、数据存储***及电子设备 Download PDF

Info

Publication number
CN113986133B
CN113986133B CN202111257122.5A CN202111257122A CN113986133B CN 113986133 B CN113986133 B CN 113986133B CN 202111257122 A CN202111257122 A CN 202111257122A CN 113986133 B CN113986133 B CN 113986133B
Authority
CN
China
Prior art keywords
data
target
memory
processor
target data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111257122.5A
Other languages
English (en)
Other versions
CN113986133A (zh
Inventor
李玉鹏
曹文慧
钟辉
付鹏
刘凌志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202111257122.5A priority Critical patent/CN113986133B/zh
Publication of CN113986133A publication Critical patent/CN113986133A/zh
Application granted granted Critical
Publication of CN113986133B publication Critical patent/CN113986133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开关于一种数据处理方法、装置、数据存储***及电子设备。所述方法应用于数据存储***，所述数据存储***包括中央处理器、加速处理器和持久化存储器；所述中央处理器挂载有动态存储器；所述方法包括：所述加速处理器获取查询请求，并对所述查询请求进行解析，得到所述查询请求携带的数据标识，将所述数据标识存储至所述动态存储器中；所述中央处理器根据所述动态存储器中的所述数据标识，从所述持久化存储器中读取目标数据，将所述目标数据写入所述加速处理器的内存空间中；所述加速处理器基于所述目标数据生成查询响应，并反馈所述查询响应。采用本公开可以降低数据查询过程中CPU的性能开销，提高数据处理的效率。

Description

数据处理方法、装置、数据存储***及电子设备
技术领域
本公开涉及计算机技术领域，尤其涉及一种数据处理方法、装置、数据存储***及电子设备。
背景技术
随着计算机技术的飞速发展，数据生产和消费的业务需求也随之迅猛增长，人们越来越重视存储***的处理效率问题。
相关技术中，使用CPU(central processing unit，中央处理器)作为存储***的控制器件，具体处理过程为：CPU通过***接口接收网络请求，然后解析网络请求以确定待访问数据的存储地址，进而根据该存储地址从持久化存储器(如硬盘)中读取待访问数据，然后将待访问数据发送给请求方。
然而，上述处理过程都需要由CPU完成，在面临数据业务大量增长的情况下，CPU的性能开销很大，导致数据处理的效率较低。
发明内容
本公开提供一种数据处理方法、装置、数据存储***及电子设备，以至少解决相关技术中数据处理的效率较低的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种数据处理方法，所述方法应用于数据存储***，所述数据存储***包括中央处理器、加速处理器和持久化存储器；所述中央处理器挂载有动态存储器；所述方法包括：
所述加速处理器获取查询请求，并对所述查询请求进行解析，得到所述查询请求携带的数据标识，将所述数据标识存储至所述动态存储器中；
所述中央处理器根据所述动态存储器中的所述数据标识，从所述持久化存储器中读取目标数据，将所述目标数据写入所述加速处理器的内存空间中；
所述加速处理器基于所述目标数据生成查询响应，并反馈所述查询响应。
在其中一个实施例中，所述对所述查询请求进行解析，得到所述查询请求携带的数据标识，包括：
所述加速处理器对所述查询请求进行解析，得到所述查询请求携带的数据标识和网络头信息；
所述加速处理器基于所述目标数据生成查询响应，包括：
所述加速处理器根据所述网络头信息对所述目标数据进行封装处理，得到查询响应。
在其中一个实施例中，所述中央处理器根据所述动态存储器中的所述数据标识，从所述持久化存储器中读取目标数据，包括：
所述中央处理器根据所述动态存储器中的所述数据标识，从所述动态存储器中获取数据描述信息；所述数据描述信息包含数据存储位置；
所述中央处理器基于所述数据存储位置，从所述持久化存储器中读取目标数据。
在其中一个实施例中，所述将所述目标数据写入所述加速处理器的内存空间中，包括：
所述中央处理器从所述动态存储器中，获取所述加速处理器的各内存空间的使用状态；
所述中央处理器在使用状态为未占用状态的内存空间中，确定目标内存空间；
所述中央处理器将所述目标数据写入所述目标内存空间中，并将所述目标内存空间的使用状态修改为占用状态。
在其中一个实施例中，所述数据描述信息还包含目标数据长度；所述加速处理器基于所述目标数据生成查询响应，并反馈所述查询响应之后，还包括：
所述加速处理器确定已写入的数据长度是否达到所述目标数据长度；
若达到所述目标数据长度，则所述加速处理器将所述目标内存空间的使用状态修改为未占用状态。
在其中一个实施例中，所述从所述持久化存储器中读取目标数据，包括：
所述中央处理器通过直接存储器访问方式，从所述持久化存储器中读取目标数据。
在其中一个实施例中，所述方法还包括：
所述中央处理器获取数据更新请求，并对所述数据更新请求进行解析，得到所述数据更新请求携带的所述数据标识和更新数据；
所述中央处理器将所述更新数据写入所述持久化存储器中，并根据所述数据标识确定数据描述信息的存储位置；
所述中央处理器根据所述更新数据和所述更新数据的存储位置，生成目标数据描述信息；
所述中央处理器将所述动态存储器中所述存储位置的数据描述信息，修改为所述目标数据描述信息。
根据本公开实施例的第二方面，提供一种数据存储***，所述数据存储***包括中央处理器、加速处理器和持久化存储器；所述加速处理器、所述中央处理器和所述持久化存储器分别与高速串行总线连接；所述中央处理器挂载有动态存储器；其中：
所述加速处理器，被配置为执行获取查询请求，并对所述查询请求进行解析，得到所述查询请求携带的数据标识，将所述数据标识存储至所述动态存储器中；
所述中央处理器，被配置为执行根据所述动态存储器中的所述数据标识，从所述持久化存储器中读取目标数据，将所述目标数据写入所述加速处理器的内存空间中；
所述加速处理器，还被配置为执行基于所述目标数据生成查询响应，并反馈所述查询响应。
在其中一个实施例中，所述加速处理器，还被配置为执行对所述查询请求进行解析，得到所述查询请求携带的数据标识和网络头信息；
所述加速处理器，还被配置为执行根据所述网络头信息对所述目标数据进行封装处理，得到查询响应。
在其中一个实施例中，所述中央处理器，还被配置为执行根据所述动态存储器中的所述数据标识，从所述动态存储器中获取数据描述信息；所述数据描述信息包含数据存储位置；基于所述数据存储位置，从所述持久化存储器中读取目标数据。
在其中一个实施例中，所述中央处理器，还被配置为执行从所述动态存储器中，获取所述加速处理器的各内存空间的使用状态；在使用状态为未占用状态的内存空间中，确定目标内存空间；将所述目标数据写入所述目标内存空间中，并将所述目标内存空间的使用状态修改为占用状态。
在其中一个实施例中，所述数据描述信息还包含目标数据长度；
所述加速处理器，还被配置为执行确定已写入的数据长度是否达到所述目标数据长度；若达到所述目标数据长度，则所述加速处理器将所述目标内存空间的使用状态修改为未占用状态。
在其中一个实施例中，所述中央处理器，还被配置为执行通过直接存储器访问方式，从所述持久化存储器中读取目标数据。
在其中一个实施例中，所述中央处理器，还被配置为执行获取数据更新请求，并对所述数据更新请求进行解析，得到所述数据更新请求携带的所述数据标识和更新数据；将所述更新数据写入所述持久化存储器中，并根据所述数据标识确定数据描述信息的存储位置；根据所述更新数据和所述更新数据的存储位置，生成目标数据描述信息；将所述动态存储器中所述存储位置的数据描述信息，修改为所述目标数据描述信息。
根据本公开实施例的第三方面，提供一种数据处理装置，所述装置应用于数据存储***，所述数据存储***包括中央处理器、加速处理器和持久化存储器；所述中央处理器挂载有动态存储器；所述装置包括：
存储单元，运行于所述加速处理器，被配置为执行获取查询请求，并对所述查询请求进行解析，得到所述查询请求携带的数据标识，将所述数据标识存储至所述动态存储器中；
第一写入单元，运行于所述中央处理器，被配置为执行根据所述动态存储器中的所述数据标识，从所述持久化存储器中读取目标数据，将所述目标数据写入所述加速处理器的内存空间中；
反馈单元，运行于所述加速处理器，被配置为执行基于所述目标数据生成查询响应，并反馈所述查询响应。
在其中一个实施例中，所述存储单元，包括：
解析子单元，被配置为执行对所述查询请求进行解析，得到所述查询请求携带的数据标识和网络头信息；
所述反馈单元，包括：
封装子单元，被配置为执行根据所述网络头信息对所述目标数据进行封装处理，得到查询响应。
在其中一个实施例中，所述第一写入单元，包括：
第一获取子单元，被配置为执行根据所述动态存储器中的所述数据标识，从所述动态存储器中获取数据描述信息；所述数据描述信息包含数据存储位置；
第一读取子单元，被配置为执行基于所述数据存储位置，从所述持久化存储器中读取目标数据。
在其中一个实施例中，所述第一写入单元，包括：
第二获取子单元，被配置为执行从所述动态存储器中，获取所述加速处理器的各内存空间的使用状态；
确定子单元，被配置为执行在使用状态为未占用状态的内存空间中，确定目标内存空间；
修改子单元，被配置为执行将所述目标数据写入所述目标内存空间中，并将所述目标内存空间的使用状态修改为占用状态。
在其中一个实施例中，所述数据描述信息还包含目标数据长度，所述装置还包括：
确定单元，运行于所述加速处理器，被配置为执行确定已写入的数据长度是否达到所述目标数据长度；
第一修改单元，运行于所述加速处理器，被配置为执行若达到所述目标数据长度，则将所述目标内存空间的使用状态修改为未占用状态。
在其中一个实施例中，所述第一写入单元，包括：
第二读取子单元，被配置为执行通过直接存储器访问方式，从所述持久化存储器中读取目标数据。
在其中一个实施例中，所述装置还包括：
解析单元，运行于所述中央处理器，被配置为执行获取数据更新请求，并对所述数据更新请求进行解析，得到所述数据更新请求携带的所述数据标识和更新数据；
第二写入单元，运行于所述中央处理器，被配置为执行将所述更新数据写入所述持久化存储器中，并根据所述数据标识确定数据描述信息的存储位置；
生成单元，运行于所述中央处理器，被配置为执行根据所述更新数据和所述更新数据的存储位置，生成目标数据描述信息；
第二修改单元，运行于所述中央处理器，被配置为执行将所述动态存储器中所述存储位置的数据描述信息，修改为所述目标数据描述信息。
根据本公开实施例的第四方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如第一方面中任一项所述的数据处理方法。
根据本公开实施例的第五方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面中任一项所述的数据处理方法。
根据本公开实施例的第六方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如第一方面中任一项所述的数据处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：数据存储***包括中央处理器、加速处理器和持久化存储器；中央处理器挂载有动态存储器。加速处理器可以获取查询请求，并对查询请求进行解析，得到查询请求携带的数据标识，将数据标识存储至动态存储器中，中央处理器则可以根据动态存储器中的数据标识，从持久化存储器中读取目标数据，将目标数据写入加速处理器的内存空间中，然后，加速处理器基于目标数据生成查询响应，并反馈查询响应。本公开中，由加速处理器获取并解析查询请求、然后根据中央处理器读取的数据生成查询响应，中央处理器只需根据数据标识读取相应的目标数据，因此，降低了数据查询过程中CPU的性能开销，提高了数据处理的效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种数据存储***的示意图。
图2是根据一示例性实施例示出的一种数据处理方法的流程图。
图3是根据一示例性实施例示出的一种数据处理方法的流程图。
图4是根据一示例性实施例示出的一种数据处理方法的流程图。
图5是根据一示例性实施例示出的一种数据处理方法的流程图。
图6是根据一示例性实施例示出的一种数据处理方法的流程图。
图7是根据一示例性实施例示出的一种数据处理方法的流程图。
图8是根据一示例性实施例示出的一种数据处理方法的流程图。
图9是根据一示例性实施例示出的一种数据存储***的示意图。
图10是根据一示例性实施例示出的一种数据处理装置的框图。
图11是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本公开所提供的数据处理方法，可以应用于如图1所示的数据存储***中。其中，该数据存储***可以是KVS(Key-Value Store，键值存储***)，也可以是redis、memcached等其他分布式存储***。数据存储***包括中央处理器、加速处理器和持久化存储器。中央处理器为CPU(central processing unit)；加速处理可采用FPGA(field-programmablegate array，场可编程门阵列)；持久化存储器可以为NVMe(Non-Volatile MemoryExpress，非易失性存储器)，NVMe是一种SSD(solid-state drive,固态硬盘)；动态存储器可以为DRAM(Dynamic Random Access Memory，动态随机存取存储器)。其中，加速处理器、中央处理器和持久化存储器分别与高速串行总线连接，以通过高速串行总线进行相互通信；中央处理器挂载有动态存储器，中央处理器可以直接读写动态存储器中的数据，加速处理器和持久化存储器则可以通过高速串行总线与动态存储器进行数据通信。
本公开提供的数据处理方法中，由加速处理器可以获取查询请求，并对查询请求进行解析，得到查询请求携带的数据标识，然后将数据标识存储至动态存储器中，中央处理器则可以根据该数据标识，从持久化存储器中读取目标数据，将目标数据写入加速处理器的内存空间中。然后，加速处理器基于目标数据生成查询响应，并反馈查询响应。这样，中央处理器只需根据数据标识读取相应的目标数据，因此，降低了数据查询过程中CPU的性能开销，提高了数据处理的效率。
图2是根据一示例性实施例示出的一种数据处理方法的流程图，如图2所示，该方法包括以下步骤。
在步骤S210中，加速处理器获取查询请求，并对查询请求进行解析，得到查询请求携带的数据标识，将数据标识存储至动态存储器中。
本公开实施例中，数据存储***中可以设置有用于接收查询请求的***接口，如GET接口。当数据请求方向数据存储***发送查询请求时，加速处理器可以通过GET接口接收该查询请求(如GET类型的网络请求)。然后，加速处理器可以对该查询请求进行解析，得到该查询请求中携带的数据标识。在一个示例中，数据存储***可以是KVS(Key-ValueStore，键值存储***),数据标识为key。
中央处理器挂载有动态存储器，该动态存储器可以用于存储CPU请求队列。加速处理器在得到数据标识后，可以将数据标识写入动态存储器中的CPU请求队列，以便于CPU进行读取。
在步骤S220中，中央处理器根据动态存储器中的数据标识，从持久化存储器中读取目标数据，将目标数据写入加速处理器的内存空间中。
本公开实施例中，中央处理器可以从动态存储器的CPU请求队列中，读取该数据标识，进而通过高速串行总线，，从持久化存储器中读取该数据标识对应的目标数据。中央处理器可以将目标数据写入加速处理器的内存空间中，以便加速处理器进行后续处理。
在步骤S230中，加速处理器基于目标数据生成查询响应，并反馈查询响应。
本公开实施例中，加速处理器可以从内存空间中，获取目标数据，进而根据预设的数据封装策略对目标数据进行封装，得到查询响应。然后，加速处理器可以通过数据存储***的发送接口，将该查询响应给数据请求方。
本公开提供的数据处理方法中，由加速处理器可以获取查询请求，并对查询请求进行解析，得到查询请求携带的数据标识，然后将数据标识存储至动态存储器中，中央处理器则可以根据该数据标识，从持久化存储器中读取目标数据，将目标数据写入加速处理器的内存空间中。然后，加速处理器基于目标数据生成查询响应，并反馈查询响应。这样，中央处理器只需根据数据标识读取相应的目标数据，降低了数据查询过程中CPU的性能开销，提高了数据处理的效率。
在一示例性实施例中，加速处理器对查询请求进行解析的具体过程为：加速处理器对查询请求进行解析，得到查询请求携带的数据标识和网络头信息。相应的，加速处理器生成查询响应的过程为：加速处理器根据网络头信息对目标数据进行封装处理，得到查询响应。
本公开实施例中，加速处理器可以对该查询请求进行解析，得到该查询请求中携带的数据标识和网络头信息。网络头信息可以包含数据请求的转发信息，如源地址、目的地址等。加速处理器可以将网络头信息进行暂存，并记录网络头的存储位置。同时，加速处理器可以把网络头的存储位置和数据标识一起写入到CPU请求队列(即动态存储器)中，以便于中央处理器进行后续处理。
加速处理器在获取到目标数据后，可以根据网络头信息确定目标数据的封装信息，然后按照预设的数据封装策略将目标数据封装成数据包，得到查询响应。
基于上述方案，加速处理器可以实现数据封装和反馈查询响应的功能，降低了数据查询过程中CPU的性能开销，提高了数据处理的效率。
可选的，加速处理器按照预设的数据包大小，对目标数据进行封装。具体的，在中央处理器向加速处理器的内存空间写入数据的过程中，每当中央处理器写入的数据量达到预设数据量时，加速处理器可以对该预设数据量的数据进行封装处理，得到查询响应，然后将该查询响应发送给数据请求方。这样，加速处理器可以将目标数据分为多个数据包，依次发送给数据请求方，从而提高了数据查询的响应速度，同时能够避免因数据包过大而导致传输失败的情况。
在一示例性实施例中，如图3所示，在步骤S220中，中央处理器从持久化存储器中读取目标数据的过程具体可以通过以下步骤实现：
在步骤S310中，中央处理器根据动态存储器中的数据标识，从动态存储器中获取数据描述信息。
其中，数据描述信息包含数据存储位置，还可以包含目标数据的数据长度等其他信息，本申请实施例不做限定。数据描述信息可以为META信息。
本公开实施例中，动态存储器可以用于存储数据描述信息。中央处理器可以从CPU请求队列中读取数据标识，进而根据预设的计算规则对数据标识进行计算，得到计算结果，该计算结果可以表征数据描述信息在动态存储器中的存储位置。具体的，中央处理器中可以存储有计算结果和存储位置的对应关系，中央处理器可以从该对应关系中，查询该数据标识的计算结果对应的存储位置。其中，对应关系可以采用哈希表(hashtable)、B树(b-tree)、map、skip-list和红黑树等方式实现。
中央处理器查询到存储位置后，可以从动态存储器中读取该存储位置的数据，以得到目标数据的数据描述信息。
在步骤S320中，中央处理器基于数据存储位置，从持久化存储器中读取目标数据。
本公开实施例中，中央处理器获取到数据描述信息后，可以进一步获取该数据描述信息中的数据存储位置，然后从持久化存储器中读取该数据存储位置的数据，得到目标数据。
基于上述处理过程，数据描述信息全部存储在动态存储器中，中央处理器无需从持久化存储器中读取，提高了数据描述信息的读取效率，从而提高数据处理效率。并且，本方案中的对应关系可以采用哈希表(hashtable)、B树(b-tree)、map、skip-list和红黑树等方式实现，有助于进一步提高查询的效率和精确度。
在一示例性实施例中，如图4所示，在步骤S220中，将目标数据写入加速处理器的内存空间中具体可以通过以下步骤实现：
在步骤S410中，中央处理器从动态存储器中，获取加速处理器的各内存空间的使用状态。
本公开实施例中，加速处理器中的资源(如内存资源、处理资源等)可划分成多个资源块，每个资源块至少包含划分出的一个内存空间和一个处理资源块，每个资源块可用于处理一个查询请求，从而实现多请求的并行处理。其中，每个资源块具有唯一标识，可记为TABLE_ID，即，一个TABLE_ID对应划分出的一个内存空间和一个处理资源块。加速处理器可以将TABLE_ID存储在动态存储器中，并标记使用状态。使用状态可以包括未占用状态和占用状态。这样，中央处理器可以从动态存储器中，获知各TABLE_ID对应的使用状态。
在步骤S420中，中央处理器在使用状态为未占用状态的内存空间中，确定目标内存空间。
本公开实施例中，中央处理器可以在各TABLE_ID中，确定使用状态为未占用状态的TABLE_ID，进而在确定出的TABLE_ID中，选择一个TABLE_ID作为目标TABLE_ID，该TABLE_ID对应的内存空间，即目标内存空间。
在步骤S430中，中央处理器将目标数据写入目标内存空间中，并将目标内存空间的使用状态修改为占用状态。
本公开实施例中，中央处理器可以将目标数据写入目标TABLE_ID对应的目标内存空间中，并将目标内存空间的使用状态(即目标TABLE_ID对应的使用状态)修改为占用状态。这样，通过对目标内存空间的使用状态进行修改，可以避免目标内存空间被错误占用。
可选的，对于上述加速处理器提取网络头信息、并将网络头的存储位置写入到CPU请求队列的情况，相应的，中央处理器可以从CPU请求队列中读取数据标识和网络头的存储位置，中央处理器在确定出目标TABLE_ID后，将目标TABLE_ID、网络头的存储位置、以及数据描述信息中的目标数据长度一起写入到加速处理器的寄存器中。这样，加速存储器可以通过读取寄存器中的数据，获知目标TABLE_ID的内存空间中的目标数据，与哪个网络头对应。在一个示例中，加速处理器可以从目标TABLE_ID对应的内存空间中，获取目标数据，并从网络头的存储位置处，获取目标数据对应的网络头信息，然后根据目标数据对应的网络头信息，对目标数据进行封装处理。基于该过程，可以降低在多请求并行处理过程中的误处理，提高查询响应的正确率。
在一示例性实施例中，数据描述信息还可以包含目标数据长度。加速处理器基于目标数据生成查询响应，并反馈查询响应之后，还可以执行如下步骤：加速处理器确定已写入的数据长度是否达到目标数据长度；若达到目标数据长度，则加速处理器将目标内存空间的使用状态修改为未占用状态。
本公开实施例中，加速处理器可以从寄存器中读取目标数据的数据长度(即目标数据长度)，然后可以监控已写入目标内存空间的数据长度，判断该数据长度是否达到目标数据长度。若达到目标数据长度，则加速处理器先确定目标内存空间对应的目标TABLE_ID，然后将动态存储器中，目标TABLE_ID对应的使用状态修改为未占用状态，以释放目标TABLE_ID对应的目标内存空间及处理资源。若未达到目标数据长度，则不进行修改处理。
基于上述方案，加速处理器可及时释放目标TABLE_ID对应的资源，以提高加速处理器的资源利用率。
在一示例性实施例中，从持久化存储器中读取目标数据的具体过程为：中央处理器通过直接存储器访问方式，从持久化存储器中读取目标数据。
本公开实施例中，数据存储***可以应用SPDK(Storage PerformanceDevelopment Kit，应用软件库)技术，中央处理器基于SPDK技术，可以通过DMA(DirectMemory Access，直接存储器访问)方式，从持久化存储器中读取目标数据，从而节省内核和文件***的时间开销，提高数据存储***的整体性能。
可选的，中央处理器基于DMA方式读取目标数据后，可以获取目标数据的读取结果，即读取成功或读取失败。然后，中央处理器可以将读取结果写入CPL寄存器，以确认目标数据的读取流程结束。加速处理器可以从CPL寄存器中获取该读取结果，然后向数据请求方发送该读取结果对应的反馈消息。
在一示例性实施例中，如图5所示，还提供了更新数据的过程，具体包括以下步骤：
在步骤S510中，中央处理器获取数据更新请求，并对数据更新请求进行解析，得到数据更新请求携带的数据标识和更新数据。
本公开实施例中，数据存储***中可以设置有用于接收数据更新请求的***接口，如UPDATE接口。当数据请求方向数据存储***发送查询请求时，加速处理器可以通过UPDATE接口接收该数据更新请求(如UPDATE类型的网络请求)。然后，加速处理器可以对该数据更新请求进行解析，得到该数据更新请求中携带的数据标识和更新数据。在一个示例中，数据存储***可以是KVS(Key-Value Store，键值存储***),则数据标识为key，更新数据为DATA。
在步骤S520中，中央处理器将更新数据写入持久化存储器中，并根据数据标识确定数据描述信息的存储位置。
其中，数据描述信息包含数据存储位置，还可以包含目标数据的数据长度、数据版本等其他信息，本申请实施例不做限定。数据描述信息可以为META信息。
本公开实施例中，中央处理器可以根据当前持久化存储器的存储情况，在持久化存储器的剩余存储空间中，确定用于存储更新数据的存储位置，然后将更新数据存储到该位置中。在一个示例中，可以按照存储地址的顺序，将更新数据写入持久化存储器的剩余存储空间中。
可选的，中央处理器可以通过DMA(Direct Memory Access，直接存储器访问)方式将获取的更新数据写入到持久化存储器中。
中央处理器还可以根据预设的计算规则对数据标识进行计算，得到计算结果，该计算结果可以表征数据描述信息在动态存储器中的存储位置。具体的，中央处理器中可以存储有计算结果和存储位置的对应关系，中央处理器可以从该对应关系中，查询该数据标识的计算结果对应的存储位置。其中，对应关系可以采用哈希表(hashtable)、B树(b-tree)、map、skip-list和红黑树等方式实现。
在步骤S530中，中央处理器根据更新数据和更新数据的存储位置，生成目标数据描述信息。
本公开实施例中，中央处理器可以获取更新数据在持久化存储器中的存储位置，然后根据更新数据和更新数据的存储位置，重新生成新的数据描述信息(即目标数据描述信息)。
在步骤S540中，中央处理器将动态存储器中存储位置的数据描述信息，修改为目标数据描述信息。
本公开实施例中，中央处理器根据数据描述信息在动态存储器中的存储位置，将该存储位置处的数据描述信息修改为目标数据描述信息。可以理解的是，上述处理过程中，数据标识(key)保持不变，仅对数据标识对应的数据(DATA)、以及该数据的数据描述信息(META信息)进行了更新。
基于上述方案，可以将实现对数据标识对应的数据、以及数据描述信息均进行更新，以便后续根据更新后的数据描述信息，读取更新数据，并且，本公开实施例中，将数据描述信息存储在DRAM中，能够提高数据描述信息的读取效率，从而提高数据处理效率。
本公开实施例中提供了数据查询和数据更新的两个流程，参见图6，为基于图1所示的数据存储***的数据传输路径的示意图。在数据查询过程中，由加速处理器接收查询请求，并对查询请求进行解析，得到查询请求携带的数据标识，然后将数据标识存储至动态存储器中，中央处理器则可以根据该数据标识，从持久化存储器中读取目标数据，将目标数据写入加速处理器的内存空间中。然后，加速处理器基于目标数据生成查询响应，并反馈查询响应。这样，中央处理器只需根据数据标识读取相应的目标数据，因此，降低了数据查询过程中CPU的性能开销，提高了数据处理的效率。在数据更新过程中，由中央处理器接收数据更新请求，并对数据更新请求进行解析，得到数据更新请求携带的数据标识和更新数据，然后，中央处理器将更新数据写入持久化存储器中，并根据数据标识确定数据描述信息的存储位置，中央处理器根据更新数据和更新数据的存储位置，生成目标数据描述信息，将目标数据描述信息写入到动态存储器中的该存储位置。这样，可以实现对数据、以及数据描述信息进行更新，并且，数据描述信息全部存储在动态存储器中，无需从持久化存储器中读取，提高了数据描述信息的读取效率，从而提高数据处理效率。
在一示例性实施例中，如图7所示，为本公开实施例提供的数据处理过程的一个示例，具体包括以下步骤：
在步骤S710中，FPGA接收GET类型的网络请求，并对网络请求进行解析，得到KEY和网络头信息。
在步骤S720中，FPGA将数据标识写入DRAM中。
在步骤S730中，FPGA对网络头信息进行暂存。
在步骤S740中，CPU从DRAM中读取数据标识，并根据预设的计算规则对KEY进行计算，得到计算结果，该计算结果表征META信息在DRAM中的存储位置。
在步骤S750中，CPU从DRAM中读取该存储位置的META信息，META信息包含数据存储位置。
在步骤S760中，CPU从动态存储器中，获取FPGA的各内存空间的TABLE_ID和使用状态。
其中，使用状态包含占用状态和未占用状态。
在步骤S770中，CPU在未占用状态的内存空间中，确定目标内存空间，得到目标TABLE_ID。
在步骤S780中，CPU将目标TABLE_ID对应的使用状态修改为占用状态，并将目标数据写入目标内存空间中。
在步骤S790中，FPGA按照预设的数据封装策略，根据网络头信息对目标数据进行封装处理，得到查询响应，并反馈该查询响应。
在步骤S7100中，FPGA监控已写入的数据长度，在已写入的数据长度达到目标数据长度时，将目标TABLE_ID对应的使用状态修改为未占用状态。
在一示例性实施例中，如图8所示，为本公开实施例提供的数据处理过程的另一个示例，具体包括以下步骤：
在步骤S810中，CPU通过UPDATE接口获取到UPDATE类型的网络请求。
在步骤S820中，CPU对网络请求进行解析，得到KEY和DATA。
在步骤S830中，CPU根据预设的计算规则对KEY进行计算，得到计算结果，该计算结果表征META信息在DRAM中的存储位置。
在步骤S840中，CPU根据当前NVMe的存储情况，在NVMe中剩余存储空间中选择DATA存储位置。
在步骤S850中，CPU通过DMA的方式将DATA写入到NVMe中。
在步骤S860中，CPU根据DATA和DATA在NVMe的存储位置，生成新的META信息，并将新的META信息写入KEY对应的存储位置。
应该理解的是，虽然图2-图8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。
图9是根据一示例性实施例示出的一种数据存储***框图。参照图9，该数据存储***包括中央处理器910、加速处理器920和持久化存储器930；加速处理器920、中央处理器910和持久化存储器930分别与高速串行总线连接；中央处理器910挂载有动态存储器940；其中：
加速处理器920，被配置为执行获取查询请求，并对查询请求进行解析，得到查询请求携带的数据标识，将数据标识存储至动态存储器940中；
中央处理器910，被配置为执行根据动态存储器中的数据标识，从持久化存储器930中读取目标数据，将目标数据写入加速处理器920的内存空间中；
加速处理器920，还被配置为执行基于目标数据生成查询响应，并反馈查询响应。
在其中一个实施例中，加速处理器920，还被配置为执行对查询请求进行解析，得到查询请求携带的数据标识和网络头信息；
加速处理器920，还被配置为执行根据网络头信息对目标数据进行封装处理，得到查询响应。
在其中一个实施例中，中央处理器910，还被配置为执行根据动态存储器中的数据标识，从动态存储器940中获取数据描述信息；数据描述信息包含数据存储位置；基于数据存储位置，从持久化存储器930中读取目标数据。
在其中一个实施例中，中央处理器910，还被配置为执行从动态存储器940中，获取加速处理器920的各内存空间的使用状态；在使用状态为未占用状态的内存空间中，确定目标内存空间；将目标数据写入目标内存空间中，并将目标内存空间的使用状态修改为占用状态。
在其中一个实施例中，数据描述信息还包含目标数据长度；
加速处理器920，还被配置为执行确定已写入的数据长度是否达到目标数据长度；若达到目标数据长度，则加速处理器920将目标内存空间的使用状态修改为未占用状态。
在其中一个实施例中，中央处理器910，还被配置为执行通过直接存储器访问方式，从持久化存储器930中读取目标数据。
在其中一个实施例中，中央处理器910，还被配置为执行获取数据更新请求，并对数据更新请求进行解析，得到数据更新请求携带的数据标识和更新数据；将更新数据写入持久化存储器930中，并根据数据标识确定数据描述信息的存储位置；根据更新数据和更新数据的存储位置，生成目标数据描述信息；将动态存储器940中存储位置的数据描述信息，修改为目标数据描述信息。
图10是根据一示例性实施例示出的一种数据处理装置框图。参照图10，该装置包括：存储单元1010、第一写入单元1020和反馈单元1030。
存储单元1010，运行于加速处理器，被配置为执行获取查询请求，并对查询请求进行解析，得到查询请求携带的数据标识，将数据标识存储至动态存储器中；
第一写入单元1020，运行于中央处理器，被配置为执行根据动态存储器中的数据标识，从持久化存储器中读取目标数据，将目标数据写入加速处理器的内存空间中；
反馈单元1030，运行于加速处理器，被配置为执行基于目标数据生成查询响应，并反馈查询响应。
在其中一个实施例中，存储单元1010，包括：
解析子单元，被配置为执行对查询请求进行解析，得到查询请求携带的数据标识和网络头信息；
反馈单元1030，包括：
封装子单元，被配置为执行根据网络头信息对目标数据进行封装处理，得到查询响应。
在其中一个实施例中，第一写入单元1020，包括：
第一获取子单元，被配置为执行根据动态存储器中的数据标识，从动态存储器中获取数据描述信息；数据描述信息包含数据存储位置；
第一读取子单元，被配置为执行基于数据存储位置，从持久化存储器中读取目标数据。
在其中一个实施例中，第一写入单元1020，包括：
第二获取子单元，被配置为执行从动态存储器中，获取加速处理器的各内存空间的使用状态；
确定子单元，被配置为执行在使用状态为未占用状态的内存空间中，确定目标内存空间；
修改子单元，被配置为执行将目标数据写入目标内存空间中，并将目标内存空间的使用状态修改为占用状态。
在其中一个实施例中，数据描述信息还包含目标数据长度，装置还包括：
确定单元，运行于加速处理器，被配置为执行确定已写入的数据长度是否达到目标数据长度；
第一修改单元，运行于加速处理器，被配置为执行若达到目标数据长度，则将目标内存空间的使用状态修改为未占用状态。
在其中一个实施例中，第一写入单元1020，包括：
第二读取子单元，被配置为执行通过直接存储器访问方式，从持久化存储器中读取目标数据。
在其中一个实施例中，装置还包括：
解析单元，运行于所述中央处理器，被配置为执行获取数据更新请求，并对所述数据更新请求进行解析，得到所述数据更新请求携带的所述数据标识和更新数据；
第二写入单元，运行于所述中央处理器，被配置为执行将所述更新数据写入所述持久化存储器中，并根据所述数据标识确定数据描述信息的存储位置；
生成单元，运行于所述中央处理器，被配置为执行根据所述更新数据和所述更新数据的存储位置，生成目标数据描述信息；
第二修改单元，运行于所述中央处理器，被配置为执行将所述动态存储器中所述存储位置的数据描述信息，修改为所述目标数据描述信息。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图11是根据一示例性实施例示出的一种用于数据处理的电子设备1100的框图。例如，电子设备1100可以为服务器。参照图11，电子设备1100包括处理组件1120，其进一步包括一个或多个处理器，以及由存储器1122所代表的存储器资源，用于存储可由处理组件1120的执行的指令，例如应用程序。存储器1122中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1120被配置为执行指令，以执行上述方法。
电子设备1100还可以包括：电源组件1124被配置为执行电子设备1100的电源管理，有线或无线网络接口1126被配置为将电子设备1100连接到网络，和输入输出(I/O)接口1128。电子设备1100可以操作基于存储在存储器1122的操作***，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD或类似。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器1122，上述指令可由电子设备1100的处理器执行以完成上述方法。存储介质可以是计算机可读存储介质，例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备1100的处理器执行以完成上述方法。
需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (21)

1.一种数据处理方法，其特征在于，所述方法应用于数据存储***，所述数据存储***包括中央处理器、加速处理器和持久化存储器；所述中央处理器挂载有动态存储器；所述方法包括：
所述加速处理器获取查询请求，并对所述查询请求进行解析，得到所述查询请求携带的数据标识，将所述数据标识存储至所述动态存储器中；
所述中央处理器根据所述动态存储器中的所述数据标识，从所述持久化存储器中读取目标数据，所述中央处理器从所述动态存储器中，获取所述加速处理器的各内存空间的使用状态，在使用状态为未占用状态的内存空间中，确定目标内存空间，将所述目标数据写入所述目标内存空间中，并将所述目标内存空间的使用状态修改为占用状态；
所述加速处理器基于所述目标数据生成查询响应，并反馈所述查询响应。
2.根据权利要求1所述的数据处理方法，其特征在于，所述对所述查询请求进行解析，得到所述查询请求携带的数据标识，包括：
所述加速处理器对所述查询请求进行解析，得到所述查询请求携带的数据标识和网络头信息；
所述加速处理器基于所述目标数据生成查询响应，包括：
所述加速处理器根据所述网络头信息对所述目标数据进行封装处理，得到查询响应。
3.根据权利要求1所述的数据处理方法，其特征在于，所述中央处理器根据所述动态存储器中的所述数据标识，从所述持久化存储器中读取目标数据，包括：
所述中央处理器根据所述动态存储器中的所述数据标识，从所述动态存储器中获取数据描述信息；所述数据描述信息包含数据存储位置；
所述中央处理器基于所述数据存储位置，从所述持久化存储器中读取目标数据。
4.根据权利要求1所述的数据处理方法，其特征在于，数据描述信息还包含目标数据长度；所述加速处理器基于所述目标数据生成查询响应，并反馈所述查询响应之后，还包括：
所述加速处理器确定已写入的数据长度是否达到所述目标数据长度；
若达到所述目标数据长度，则所述加速处理器将所述目标内存空间的使用状态修改为未占用状态。
5.根据权利要求1所述的数据处理方法，其特征在于，所述从所述持久化存储器中读取目标数据，包括：
所述中央处理器通过直接存储器访问方式，从所述持久化存储器中读取目标数据。
6.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：
所述中央处理器获取数据更新请求，并对所述数据更新请求进行解析，得到所述数据更新请求携带的所述数据标识和更新数据；
所述中央处理器将所述更新数据写入所述持久化存储器中，并根据所述数据标识确定数据描述信息的存储位置；
所述中央处理器根据所述更新数据和所述更新数据的存储位置，生成目标数据描述信息；
所述中央处理器将所述动态存储器中所述存储位置的数据描述信息，修改为所述目标数据描述信息。
7.一种数据存储***，其特征在于，所述数据存储***包括中央处理器、加速处理器和持久化存储器；所述加速处理器、所述中央处理器和所述持久化存储器分别与高速串行总线连接；所述中央处理器挂载有动态存储器；其中：
所述加速处理器，被配置为执行获取查询请求，并对所述查询请求进行解析，得到所述查询请求携带的数据标识，将所述数据标识存储至所述动态存储器中；
所述中央处理器，被配置为执行根据所述动态存储器中的所述数据标识，从所述持久化存储器中读取目标数据，从所述动态存储器中，获取所述加速处理器的各内存空间的使用状态，在使用状态为未占用状态的内存空间中，确定目标内存空间，将所述目标数据写入所述目标内存空间中，并将所述目标内存空间的使用状态修改为占用状态；
所述加速处理器，还被配置为执行基于所述目标数据生成查询响应，并反馈所述查询响应。
8.根据权利要求7所述的数据存储***，其特征在于，所述加速处理器，还被配置为执行对所述查询请求进行解析，得到所述查询请求携带的数据标识和网络头信息；
所述加速处理器，还被配置为执行根据所述网络头信息对所述目标数据进行封装处理，得到查询响应。
9.根据权利要求7所述的数据存储***，其特征在于，所述中央处理器，还被配置为执行根据所述动态存储器中的所述数据标识，从所述动态存储器中获取数据描述信息；所述数据描述信息包含数据存储位置；基于所述数据存储位置，从所述持久化存储器中读取目标数据。
10.根据权利要求7所述的数据存储***，其特征在于，数据描述信息还包含目标数据长度；
所述加速处理器，还被配置为执行确定已写入的数据长度是否达到所述目标数据长度；若达到所述目标数据长度，则所述加速处理器将所述目标内存空间的使用状态修改为未占用状态。
11.根据权利要求7所述的数据存储***，其特征在于，所述中央处理器，还被配置为执行通过直接存储器访问方式，从所述持久化存储器中读取目标数据。
12.根据权利要求7所述的数据存储***，其特征在于，所述中央处理器，还被配置为执行获取数据更新请求，并对所述数据更新请求进行解析，得到所述数据更新请求携带的所述数据标识和更新数据；将所述更新数据写入所述持久化存储器中，并根据所述数据标识确定数据描述信息的存储位置；根据所述更新数据和所述更新数据的存储位置，生成目标数据描述信息；将所述动态存储器中所述存储位置的数据描述信息，修改为所述目标数据描述信息。
13.一种数据处理装置，其特征在于，所述装置应用于数据存储***，所述数据存储***包括中央处理器、加速处理器和持久化存储器；所述中央处理器挂载有动态存储器；所述装置包括：
存储单元，运行于所述加速处理器，被配置为执行获取查询请求，并对所述查询请求进行解析，得到所述查询请求携带的数据标识，将所述数据标识存储至所述动态存储器中；
第一写入单元，运行于所述中央处理器，被配置为执行根据所述动态存储器中的所述数据标识，从所述持久化存储器中读取目标数据，将所述目标数据写入所述加速处理器的内存空间中；
反馈单元，运行于所述加速处理器，被配置为执行基于所述目标数据生成查询响应，并反馈所述查询响应；
其中，所述第一写入单元，包括：
第二获取子单元，被配置为执行从所述动态存储器中，获取所述加速处理器的各内存空间的使用状态；
确定子单元，被配置为执行在使用状态为未占用状态的内存空间中，确定目标内存空间；
修改子单元，被配置为执行将所述目标数据写入所述目标内存空间中，并将所述目标内存空间的使用状态修改为占用状态。
14.根据权利要求13所述的数据处理装置，其特征在于，所述存储单元，包括：
解析子单元，被配置为执行对所述查询请求进行解析，得到所述查询请求携带的数据标识和网络头信息；
所述反馈单元，包括：
封装子单元，被配置为执行根据所述网络头信息对所述目标数据进行封装处理，得到查询响应。
15.根据权利要求13所述的数据处理装置，其特征在于，所述第一写入单元，包括：
第一获取子单元，被配置为执行根据所述动态存储器中的所述数据标识，从所述动态存储器中获取数据描述信息；所述数据描述信息包含数据存储位置；
第一读取子单元，被配置为执行基于所述数据存储位置，从所述持久化存储器中读取目标数据。
16.根据权利要求13所述的数据处理装置，其特征在于，数据描述信息还包含目标数据长度，所述装置还包括：
确定单元，运行于所述加速处理器，被配置为执行确定已写入的数据长度是否达到所述目标数据长度；
第一修改单元，运行于所述加速处理器，被配置为执行若达到所述目标数据长度，则将所述目标内存空间的使用状态修改为未占用状态。
17.根据权利要求13所述的数据处理装置，其特征在于，所述第一写入单元，包括：
第二读取子单元，被配置为执行通过直接存储器访问方式，从所述持久化存储器中读取目标数据。
18.根据权利要求13所述的数据处理装置，其特征在于，所述装置还包括：
解析单元，运行于所述中央处理器，被配置为执行获取数据更新请求，并对所述数据更新请求进行解析，得到所述数据更新请求携带的所述数据标识和更新数据；
第二写入单元，运行于所述中央处理器，被配置为执行将所述更新数据写入所述持久化存储器中，并根据所述数据标识确定数据描述信息的存储位置；
生成单元，运行于所述中央处理器，被配置为执行根据所述更新数据和所述更新数据的存储位置，生成目标数据描述信息；
第二修改单元，运行于所述中央处理器，被配置为执行将所述动态存储器中所述存储位置的数据描述信息，修改为所述目标数据描述信息。
19.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的数据处理方法。
20.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的数据处理方法。
21.一种计算机程序产品，所述计算机程序产品中包括指令，其特征在于，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6任一项所述的数据处理方法。
CN202111257122.5A 2021-10-27 2021-10-27 数据处理方法、装置、数据存储***及电子设备 Active CN113986133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111257122.5A CN113986133B (zh) 2021-10-27 2021-10-27 数据处理方法、装置、数据存储***及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111257122.5A CN113986133B (zh) 2021-10-27 2021-10-27 数据处理方法、装置、数据存储***及电子设备

Publications (2)

Publication Number Publication Date
CN113986133A CN113986133A (zh) 2022-01-28
CN113986133B true CN113986133B (zh) 2024-06-21

Family

ID=79742720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111257122.5A Active CN113986133B (zh) 2021-10-27 2021-10-27 数据处理方法、装置、数据存储***及电子设备

Country Status (1)

Country Link
CN (1) CN113986133B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157609A (zh) * 2021-04-20 2021-07-23 北京达佳互联信息技术有限公司 存储***、数据处理方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183374B (zh) * 2015-08-28 2018-04-06 北京腾凌科技有限公司 一种数据读写方法以及主板
CN110413542B (zh) * 2016-12-05 2023-08-22 华为技术有限公司 NVMe over Fabric架构中数据读写命令的控制方法、设备和***
CN112286688B (zh) * 2020-11-05 2024-01-05 北京深维科技有限公司 一种内存管理和使用方法、装置、设备和介质
CN113157629A (zh) * 2021-04-20 2021-07-23 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157609A (zh) * 2021-04-20 2021-07-23 北京达佳互联信息技术有限公司 存储***、数据处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113986133A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
US10831562B2 (en) Method and system for operating a data center by reducing an amount of data to be processed
US9590915B2 (en) Transmission of Map/Reduce data in a data center
US11050550B2 (en) Methods and systems for reading data based on plurality of blockchain networks
CN108228322B (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
US11500861B2 (en) Methods and systems for recording data based on plurality of blockchain networks
US20170153909A1 (en) Methods and Devices for Acquiring Data Using Virtual Machine and Host Machine
CN109857545B (zh) 一种数据传输方法及装置
CN111897492B (zh) 一种基于块设备驱动的数据处理方法、装置及电子设备
CN112685148A (zh) 海量终端的异步通信方法、装置、计算机设备和存储介质
CN115470156A (zh) 基于rdma的内存使用方法、***、电子设备和存储介质
CN113703672A (zh) 一种超融合***及其io请求下发方法、物理服务器
US20240220334A1 (en) Data processing method in distributed system, and related system
US20170017574A1 (en) Efficient cache warm up based on user requests
CN113986133B (zh) 数据处理方法、装置、数据存储***及电子设备
CN112689248A (zh) 一种消息处理方法及***
CN112417016A (zh) 一种数据交换方法、***、设备及存储介质
US11086849B2 (en) Methods and systems for reading data based on plurality of blockchain networks
CN115426375A (zh) 一种数据处理方法和数据处理***
CN115712581A (zh) 数据访问方法、存储***及存储节点
CN112181670B (zh) 进程间通讯方法及装置和Linux设备
CN111399753B (zh) 写入图片的方法和装置
CN113741912A (zh) 模型管理***、方法、装置及设备
CN113157628A (zh) 存储***、数据处理方法、装置、存储***及电子设备
CN112948336A (zh) 数据加速方法及缓存单元、电子设备及存储介质
CN112751893A (zh) 一种消息轨迹数据的处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant