CN118233418A - 细粒度数据管理方法、***、设备及介质 - Google Patents
细粒度数据管理方法、***、设备及介质 Download PDFInfo
- Publication number
- CN118233418A CN118233418A CN202410377654.XA CN202410377654A CN118233418A CN 118233418 A CN118233418 A CN 118233418A CN 202410377654 A CN202410377654 A CN 202410377654A CN 118233418 A CN118233418 A CN 118233418A
- Authority
- CN
- China
- Prior art keywords
- storage unit
- target
- address
- message
- jump
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013523 data management Methods 0.000 title claims abstract description 32
- 238000013500 data storage Methods 0.000 claims abstract description 58
- 238000012217 deletion Methods 0.000 claims description 12
- 230000037430 deletion Effects 0.000 claims description 12
- 230000009191 jumping Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种细粒度数据管理方法、***、设备及介质,涉及通信技术领域,所述方法包括:将数据存储空间划分为多个空闲存储单元,为各客户端分别分配一空闲存储单元,并建立写指针表;从目标客户端获取报文并解析,根据目标客户端标识,从写指针表中确定目标写入地址,将报文存储至目标写入地址;判断最后写入地址是否为对应目标空闲存储单元的尾地址,若否,则更新所述写指针表;若是,则从空闲存储单元表中选取一跳变存储单元分配给目标客户端,并更新写指针表;将所述目标存储单元和跳变存储单元写入跳变地址表。本发明提升了数据存储空间的利用率。
Description
技术领域
本发明涉及通信技术领域,尤其涉及一种细粒度数据管理方法、***、设备及介质。
背景技术
细粒度单元承载技术(Fine Granularity Unit,FGU)继承了切片分组网(SlicingPacket Network,SPN)高效以太网内核,将细粒度切片技术融入SPN整体架构,提供了低成本、精细化、硬隔离的细粒度单元承载管道。FGU技术采用时分复用(time-divisionmultiplexing,TDM)机制,以固定周期循环发送FGU基本单元帧,而每个FGU基本单元帧包含的时隙数量和位置都严格固定,因此每个时隙的发送周期也是确定的。
现有技术中,数据的收发需要根据不同的客户通道独立存储,每个通道至少需要存储两个最长报文,然而由于各个通道接收的报文数据量不平衡,有些报文数据量过大,对应通道的存储空间不足,有些又浪费了存储空间,导致存储资源的利用率不高。
发明内容
有鉴于此,本发明的目的是为了克服现有技术中的不足,提供一种细粒度数据管理方法、***、设备及介质,旨在提升数据存储空间的利用率。本发明提供如下技术方案:
第一方面,本发明提供一种细粒度数据管理方法,所述方法包括:
将数据存储空间划分为多个空闲存储单元;
为各所述空闲存储单元分配存储标识,并根据各所述存储标识建立空闲存储单元表;
为各客户端分别分配一所述空闲存储单元,并建立写指针表,所述写指针表用于记录各所述客户端,及其对应的所述空闲存储单元的写入地址;
从目标客户端获取报文并解析,得到目标客户端标识;
根据所述目标客户端标识,从所述写指针表中确定所述目标客户端对应的目标写入地址,将所述报文存储至目标存储单元,写指针指向最后写入地址;
判断所述最后写入地址是否为对应目标存储单元的尾地址,若否,则更新所述写指针表;
若是,则从所述空闲存储单元表中选取任一所述空闲存储单元确定为跳变存储单元,将所述跳变存储单元分配给所述目标客户端,并根据所述跳变存储单元的跳变地址更新所述写指针表;
将所述目标存储单元和跳变存储单元写入跳变地址表。在一实施方式中,所述从目标客户端获取报文之后,还包括:生成所述报文对应的报文描述符,并将所述报文描述符写入先入先出存储器,所述报文描述符包括客户端标识信息、报文长度信息、报文丢弃指示信息、队列删除指示信息及溢出指示信息。
在一实施方式中,所述方法还包括:若所述目标写入地址为所述目标空闲存储单元的尾地址,则将所述目标存储单元确定为数据存储单元,并建立读指针表,所述读指针表用于记录各所述客户端,及其对应的所述数据存储单元的读取地址。
在一实施方式中,所述将所述目标存储单元确定为数据存储单元之后,还包括:根据所述数据存储单元对应的所述存储标识建立数据存储单元表,并更新所述空闲存储单元表。
在一实施方式中,将所述目标存储单元和跳变存储单元写入跳变地址表包括:将所述目标存储单元作为上一跳存储单元,根据所述跳变存储单元对应的所述跳变地址生成跳变地址表,所述跳变地址表用于记录每一所述目标存储单元,及其跳变存储单元对应的跳变地址。
在一实施方式中,所述方法还包括:从所述先入先出存储器中获取报文描述符并解析,得到所述目标客户端标识;根据所述目标客户端标识,从所述读指针表中确定所述目标客户端对应的目标读取地址;根据所述目标读取地址从目标数据存储单元中读取所述报文,写指针指向最后读取地址;判断所述最后读取地址是否为对应目标数据存储单元的尾地址,若否,则更新读指针表;若是,则根据所述目标数据存储单元,从跳变地址表中确定跳变地址更新读指针表。
在一实施方式中,所述方法还包括:当接收到队列删除指示时,所述报文丢弃指示信息及所述队列删除指示信息为第一预设信息;当所述空闲存储单元表为空时,所述报文丢弃指示信息及所述溢出指示信息为第一预设信息;当报文长度超过预设长度时,所述报文丢弃指示为第一预设信息。
第二方面,本发明提供一种细粒度数据管理***,所述***包括:
划分模块,用于将数据存储空间划分为多个空闲存储单元;
第一指针表建立模块,用于为各所述空闲存储单元分配存储标识,并根据各所述存储标识建立空闲存储单元表;
第二指针表建立模块,用于为各客户端分别分配一所述空闲存储单元,并建立写指针表,所述写指针表用于记录各所述客户端,及其对应的所述空闲存储单元的写入地址;
获取模块,用于从目标客户端获取报文并解析,得到目标客户端标识;
地址确定模块,用于根据所述目标客户端标识,从所述写指针表中确定所述目标客户端对应的目标写入地址;
第一写入模块,用于根据所述目标写入地址将所述报文存储至目标存储单元;
指针表更新模块,用于判断最后写入地址是否为对应目标存储单元的尾地址,若否,则更新所述写指针表,若是,则从所述空闲存储单元表中选取任一所述空闲存储单元确定为跳变存储单元,将所述跳变存储单元分配给所述目标客户端,并根据所述跳变存储单元的跳变地址更新所述写指针表;
第二写入模块,用于将所述目标存储单元和跳变存储单元写入跳变地址表。
第三方面,本发明提供一种电子设备,包括存储器以及处理器,所述存储器存储有命令程序,所述命令程序在所述处理器上运行时执行第一方面述的细粒度数据管理方法。
第四方面,本发明提供一种可读写存储介质,所述可读写存储介质存储有命令程序,所述命令程序被处理器执行时第一方面所述的细粒度数据管理方法。
本发明提供一种细粒度数据管理方法、***、设备及介质,所述方法包括:将数据存储空间划分为多个空闲存储单元;为各所述空闲存储单元分配存储标识,并根据各所述存储标识建立空闲存储单元表;为各客户端分别分配一所述空闲存储单元,并建立写指针表,所述写指针表用于记录各所述客户端,及其对应的所述空闲存储单元的写入地址;从目标客户端获取报文并解析,得到目标客户端标识;根据所述目标客户端标识,从所述写指针表中确定所述目标客户端对应的目标写入地址,将所述报文存储至所述目标存储单元;判断所述最后写入地址是否为对应目标空闲存储单元的尾地址,若否,则更新所述写指针表;若是,则从所述空闲存储单元表中选取任一所述空闲存储单元确定为跳变存储单元,将所述跳变存储单元分配给所述目标客户端,并根据所述跳变存储单元的跳变地址更新所述写指针表;将所述目标存储单元和跳变存储单元写入跳变地址表。本发明通过将数据存储空间划分为多个空闲存储单元,并利用链表的方式对存储空间进行管理,实现了数据存储空间的共享和复用,提高了数据存储空间的利用率。
为使本发明的上述目的、特征和优点能更明显和易懂,下文特举较佳实施例,并配合所附附图,做详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的细粒度数据管理方法的一流程示意图;
图2示出了本发明实施例提供的细粒度数据管理***的一结构示意图;
图3示出了本发明实施例提供的电子设备的一结构示意图。
主要元件符号说明:
200-细粒度数据管理***;210-划分模块;220-第一指针表建立模块;230-第二指针表建立模块;240-获取模块;250-地址确定模块;260-第一写入模块;270-指针表更新模块;280-第二写入模块;300-电子设备;301-收发机;302-处理器;303-存储器。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在模板的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例1
本发明实施例提供一种细粒度数据管理方法,请参见图1,所述方法包括步骤S110~S180。
步骤S110,将数据存储空间划分为多个空闲存储单元。
需要说明的是,现有技术根据客户端数量为各客户端分配一存储通道,各客户端的报文信息固定存储在对应的存储通道内,这显然占用了太多存储资源,且对于存储资源的利用率不高。
在本实施例中,将数据存储空间划分为多个空闲存储单元,并通过链表的方式管理各空闲存储单元,实现了数据存储空间的共享和复用,提升了存储空间的利用效率。
步骤S120,为各所述空闲存储单元分配存储标识,并根据各所述存储标识建立空闲存储单元表。
在本实施例中,请参见下表1,表1为本发明实施例提供的空闲存储单元表的一示例。
表1空闲存储单元表。
CELL-ID_1 |
CELL-ID_2 |
…… |
CELL-ID_n-1 |
CELL-ID_n |
其中,各存储标识分别对应一空闲存储单元,各空闲存储单元的容量为512字节,在其他实施例中,各空闲存储单元的容量也可依据实际情况设定,在此不作限定。
需要说明的是,空闲存储单元表提供了对数据存储空间的实时监控和管理,通过查找空闲存储单元表,可以快速定位和访问数据存储空间中处于空闲状态的存储空间。
步骤S130,为各客户端分别分配一所述空闲存储单元,并建立写指针表,所述写指针表用于记录各所述客户端,及其对应的所述空闲存储单元的写入地址。
在本实施例中,根据客户端数量,例如15,为各客户端分配一空闲存储单元,分别用于接收来自对应客户端的报文,请参见下表2,表2示出了本发明实施例提供的写指针表的一示例。
表2写指针表。
其中,客户端标识(CLIENT_ID)用于标识对应的客户端,写指针表示分配给对应客户端的空闲存储单元的写入地址。
步骤S140,从目标客户端获取报文并解析,得到目标客户端标识。
在本实施例中,当目标客户端向数据存储空间发送报文时,首先将接收到的报文解析,得到对应的目标客户端标识,根据目标客户端标识确定目标客户端对应的存储单元后再进行数据存储,即将报文存储到对应的存储单元内。
在一实施方式中,所述从目标客户端获取报文之后,还包括:生成所述报文对应的报文描述符,并将所述报文描述符写入先入先出存储器,所述报文描述符包括客户端标识信息、报文长度信息、报文丢弃指示信息、队列删除指示信息及溢出指示信息。
在本实施例中,为有效管理接收到的报文,需要针对接收到的各报文生成对应的报文描述符。具体的,报文包括以下字段:包头指示(SOP)、客户端标识(CLIENT_ID)、数据(DATA)、有效指示(VALID)、有效字节数及包尾指示(EOP),当接收到报文的报文的包尾指示有效时,计算报文长度,并生成对应的报文描述符。将报文描述符写入先入先出存储器(First In First Out,FIFO)可以保持接收到的报文的有序性。
需要说明的是,当报文描述符按照顺序被写入先入先出存储器,当需要读取报文描述符时,先写入的报文描述符会被首先读取,进而保证了数据的有序性。
步骤S150,根据所述目标客户端标识,从所述写指针表中确定所述目标客户端对应的目标写入地址,将所述报文存储至目标存储单元,写指针指向最后写入地址。
在本实施例中,根据目标客户端标识,可以在写指针表中找到目标客户端对应的目标写入地址,并根据所述目标写入地址将目标客户端发送的报文存储在对应的存储单元中。报文存储完成后,写指针指向写入报文的最后写入地址。
步骤S160,判断所述最后写入地址是否为对应目标存储单元的尾地址,若否,则更新所述写指针表。
在本实施例中,若最后写入地址不是目标存储单元的尾地址,则可确定当前存储单元还未写满,此时,仍以当前存储单元来存储报文。
需要说明的是,若最后写入地址不是对应存储单元中的尾地址,则只需要在当前写指针的基础上加一,并将更新后的写指针写入写指针表中。
步骤S170,若是,则从所述空闲存储单元表中选取任一所述空闲存储单元确定为跳变存储单元,将所述跳变存储单元分配给所述目标客户端,并更新所述写指针表;
需要说明的是,若最后写入地址为目标存储单元的尾地址,表示当前的存储单元已经写满,此时需要查找空闲存储单元表,以将一新的空闲存储单元作为跳变存储单元分配给对应的客户端,并将其写入地址,即跳变地址更新至写指针表中。
步骤S180,将所述目标存储单元和跳变存储单元写入跳变地址表。
在本实施例中,若最后写入地址为目标存储单元的尾地址,则需要从空闲存储单元表中选择一个新的空闲存储单元作为跳变存储单元分配给目标客户端,将新的空闲存储单元的写入地址确定为目标存储单元的跳变地址,并其写入跳变地址表,请参见表3,表3示出了本发明实施例提供的跳变地址表的一示例。跳变地址表记录了各存储单元写满后,各自对应的跳变地址。
表3跳变地址表。
CELL-ID | 跳变地址 |
CELL-ID_0 | NEXT-CELL-ID_0 |
CELL-ID_1 | NEXT-CELL-ID_1 |
…… | …… |
CELL-ID_x | NEXT-CELL-ID_x |
在一实施方式中,将所述目标存储单元和跳变存储单元写入跳变地址表包括:将所述目标存储单元作为上一跳存储单元,根据所述跳变存储单元对应的所述跳变地址生成跳变地址表,所述跳变地址表用于记录每一所述目标存储单元,及其跳变存储单元对应的跳变地址。
在本实施例中,当目标存储单元被写满时,可将报文存储至跳变存储单元中,其中目标存储单元对应的跳变存储单元的写入地址可以通过跳变地址表获得。
在一实施方式中,所述方法还包括:若所述目标写入地址为所述目标存储单元的尾地址,则将所述目标存储单元确定为数据存储单元,并建立读指针表,所述读指针表用于记录各所述客户端,及其对应的所述数据存储单元的读取地址。
在本实施例中,请参见表4,表4示出了本发明实施例提供的读指针表的一示例。
表4写指针表。
CLIENT_ID | 读指针 |
CLIENT_ID_0 | 读指针_0 |
CLIENT_ID_1 | 读指针_1 |
…… | …… |
CLIENT_ID_15 | 读指针_15 |
其中,客户端标识用于表示对应的客户端,读指针表示各客户端对应的数据存储单元的读取地址。
在一实施方式中,所述将所述目标存储单元确定为数据存储单元之后,还包括:根据所述数据存储单元对应的所述存储标识建立数据存储单元表,并更新所述空闲存储单元表。
在本实施例中,数据存储单元表用于记录被写满的存储空间,通过查找数据存储单元表,可以快速定位和访问数据存储空间中存储的数据地址。具体的,请参见表5,表5为本发明实施例提供的数据存储单元表的一示例。
表5数据存储单元表。
CELL-ID_1 |
CELL-ID_2 |
…… |
CELL-ID_x-1 |
CELL-ID_x |
需要说明的是,当一空闲存储单元被写满后,其对应的存储表示被更新至数据存储单元表中,同时被移出空闲存储单元表。
在一实施方式中,所述方法还包括:
从所述先入先出存储器中获取所述报文描述符并解析,得到所述目标客户端标识;
根据所述目标客户端标识,从所述读指针表中确定所述目标客户端对应的目标数据存储单元的目标读取地址;
根据所述目标读取地址从目标数据存储单元中读取所述报文,写指针指向最后读取地址;
判断所述最后读取地址是否为对应目标数据存储单元的尾地址,若否,则更新读指针表;
若是,则根据所述目标数据存储单元,从跳变地址表中确定跳变地址更新读指针表。在本实施例中,若需要对报文进行读取,首先从先入先出存储器中获取报文描述符并解析得到目标客户端标识,根据目标客户端标识从读指针表中获取目标读取地址,从目标读取地址读取报文。
需要说明的是,若一最后读取地址是对应目标数据存储单元的尾地址,则表示目标数据存储单元已被读完,此时需通过跳变地址表找到跳变地址,即下一读取地址,从跳变地址中继续读取报文;若一最后读取地址不是对应目标数据存储单元的尾地址,则只需要在当前读指针的基础上加一,并将更新后的读指针写入读指针表中。
在一实施方式中,所述方法还包括:当接收到队列删除指示时,所述报文丢弃指示信息及所述队列删除指示信息为第一预设信息;当所述空闲存储单元表为空时,所述报文丢弃指示信息及所述溢出指示信息为第一预设信息;当报文长度超过预设长度时,所述报文丢弃指示为第一预设信息。
需要说明的是,在写入报文和读取报文的过程中会出现一些异常情况,通过更改报文描述符中对应的字段信息,可以确保报文写入和报文读取的准确性。
具体的,报文写入过程中,若接收到队列删除指示,先停止写入报文,再生成对应的报文描述符,将报文描述符中的报文丢弃指示信息及队列删除指示信息置为第一预设信息;在读报文时,当读取的报文描述符中的队列删除信息为第一预设信息,将报文所在的存储单元回收并写入空闲存储单元表中。若报文写入过程中,空闲存储单元表为空,生成对应的报文描述符,并将报文描述符中的溢出指示信息及报文丢弃指示信息置为第一预设信息;在读报文时,当读取的报文描述符中的报文丢弃指示信息为第一预设信息时,对读取的报文进行掩码处理。若报文长度超过预设长度时,生成对应的报文描述符,将报文描述符中的报文丢弃指示置为第一预设信息;在读报文时,对读取的报文进行掩码处理。
在为各客户端分配空闲存储单元,并建立空闲存储单元表之前,即队列未建立之前,若有报文写入,写入的报文将被丢弃,且对应的报文描述符不写入先入先出存储器。
本发明实施例提供一种细粒度数据管理方法,通过将数据存储空间划分为多个空闲存储单元,并利用链表的方式对存储空间进行管理,实现了数据存储空间的共享和复用,提高了数据存储空间的利用率。
实施例2
此外,本发明实施例提供一种细粒度数据管理***,请参见图2,所述细粒度数据管理***200包括:
划分模块210,用于将数据存储空间划分为多个空闲存储单元;
第一指针表建立模块220,用于为各所述空闲存储单元分配存储标识,并根据各所述存储标识建立空闲存储单元表;
第二指针表建立模块230,用于为各客户端分别分配一所述空闲存储单元,并建立写指针表,所述写指针表用于记录各所述客户端,及其对应的所述空闲存储单元的写入地址;
获取模块240,用于从目标客户端获取报文并解析,得到目标客户端标识;
地址确定模块250,用于根据所述目标客户端标识,从所述写指针表中确定所述目标客户端对应的目标写入地址;
第一写入模块260,用于根据所述目标写入地址将所述报文存储至目标存储单元;
指针表更新模块270,用于判断最后写入地址是否为对应目标存储单元的尾地址,若否,则更新所述写指针表,若是,则从所述空闲存储单元表中选取任一所述空闲存储单元确定为跳变存储单元,将所述跳变存储单元分配给所述目标客户端,并根据所述跳变存储单元的跳变地址更新所述写指针表;
第二写入模块280,用于将所述目标存储单元和跳变存储单元写入跳变地址表。
本发明实施例提供一种细粒度数据管理***,所述***通过将数据存储空间划分为多个空闲存储单元,并利用链表的方式对存储空间进行管理,实现了数据存储空间的共享和复用,提高了数据存储空间的利用率。
本发明实施例提供的细粒度数据管理***,可以执行上述方法实施例1所提供的细粒度数据管理方法,为避免重复,在此不再赘述。
实施例3
此外,本发明实施例提供了一种电子设备,包括存储器以及处理器,所述存储器存储有命令程序,所述命令程序在所述处理器上运行时执行实施例1所提供的细粒度数据管理方法。
具体的,请参见图3,所述电子设备300包括:收发机301、总线接口及处理器302,所述处理器302,用于将数据存储空间划分为多个空闲存储单元;为各所述空闲存储单元分配存储标识,并根据各所述存储标识建立空闲存储单元表;为各客户端分别分配一所述空闲存储单元,并建立写指针表,所述写指针表用于记录各所述客户端,及其对应的所述空闲存储单元的写入地址;从目标客户端获取报文并解析,得到目标客户端标识;根据所述目标客户端标识,从所述写指针表中确定所述目标客户端对应的目标写入地址,根据所述目标写入地址将所述报文存储至目标存储单元;判断所述最后写入地址是否为对应目标存储单元的尾地址,若否,则更新所述写指针表;若是,则从所述空闲存储单元表中选取任一所述空闲存储单元确定为跳变存储单元,将所述跳变存储单元分配给所述目标客户端,并根据所述跳变存储单元的跳变地址更新所述写指针表;将所述目标存储单元和跳变存储单元写入跳变地址表。
在本发明实施例中,电子设备300还包括:存储器303。在图3中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器302代表的一个或多个处理器和存储器303代表的存储器的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。收发机301可以是多个元件,即包括发送机和接收机,提供用于在传输介质上与各种其他装置通信的单元。处理器302负责管理总线架构和通常的处理,存储器303可以存储处理器302在执行操作时所使用的数据。
本发明实施例提供的电子设备300,可以执行上述方法实施例1所提供的细粒度数据管理方法,为避免重复,在此不再赘述。
实施例4
此外,本发明实施例提供了一种可读写存储介质,所述可读写存储介质上存储命令程序,所述命令程序被处理器执行时实现实施例1所提供细粒度数据管理方法。
在本实施例中,可读写存储介质可以为只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
本实施例提供的可读写存储介质可以实现实施例1所提供的细粒度数据管理方法,为避免重复,在此不再赘述。
在这里示出和描述的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制,因此,示例性实施例的其他示例可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (10)
1.一种细粒度数据管理方法,其特征在于,所述方法包括:
将数据存储空间划分为多个空闲存储单元;
为各所述空闲存储单元分配存储标识,并根据各所述存储标识建立空闲存储单元表;
为各客户端分别分配一所述空闲存储单元,并建立写指针表,所述写指针表用于记录各所述客户端,及其对应的所述空闲存储单元的写入地址;
从目标客户端获取报文并解析,得到目标客户端标识;
根据所述目标客户端标识,从所述写指针表中确定所述目标客户端对应的目标写入地址,将所述报文存储至目标存储单元,写指针指向最后写入地址;
判断所述最后写入地址是否为对应目标存储单元的尾地址,若否,则更新所述写指针表;
若是,则从所述空闲存储单元表中选取任一所述空闲存储单元确定为跳变存储单元,将所述跳变存储单元分配给所述目标客户端,并根据所述跳变存储单元的跳变地址更新所述写指针表;
将所述目标存储单元和跳变存储单元写入跳变地址表。
2.根据权利要求1所述的细粒度数据管理方法,其特征在于,所述从目标客户端获取报文之后,还包括:
生成所述报文对应的报文描述符,并将所述报文描述符写入先入先出存储器,所述报文描述符包括客户端标识信息、报文长度信息、报文丢弃指示信息、队列删除指示信息及溢出指示信息。
3.根据权利要求2所述的细粒度数据管理方法,其特征在于,所述方法还包括:
若所述最后写入地址为所述目标存储单元的尾地址,则将所述目标存储单元确定为数据存储单元,并建立读指针表,所述读指针表用于记录各所述客户端,及其对应的所述数据存储单元的读取地址。
4.根据权利要求3所述的细粒度数据管理方法,其特征在于,所述将所述目标存储单元确定为数据存储单元之后,还包括:
根据所述数据存储单元对应的所述存储标识建立数据存储单元表,并更新所述空闲存储单元表。
5.根据所述权利要求4所述的细粒度数据管理方法,其特征在于,所述将所述目标存储单元和跳变存储单元写入跳变地址表包括:
将所述目标存储单元作为上一跳存储单元,根据所述跳变存储单元对应的所述跳变地址生成跳变地址表,所述跳变地址表用于记录每一所述目标存储单元,及其跳变存储单元对应的跳变地址。
6.根据权利要求5所述的细粒度数据管理方法,其特征在于,所述方法还包括:
从所述先入先出存储器中获取报文描述符并解析,得到所述目标客户端标识;
根据所述目标客户端标识,从所述读指针表中确定所述目标客户端对应的目标读取地址;
根据所述目标读取地址从目标数据存储单元中读取所述报文,读指针指向最后读取地址;
判断所述最后读取地址是否为对应目标数据存储单元的尾地址,若否,则更新读指针表;
若是,则根据所述目标数据存储单元,从跳变地址表中确定跳变地址更新读指针表。
7.根据权利要求2所述的细粒度数据管理方法,其特征在于,所述方法还包括:
当接收到队列删除指示时,所述报文丢弃指示信息及所述队列删除指示信息为第一预设信息;
当所述空闲存储单元表为空时,所述报文丢弃指示信息及所述溢出指示信息为第一预设信息;
当报文长度超过预设长度时,所述报文丢弃指示为第一预设信息。
8.一种细粒度数据管理***,其特征在于,所述***包括:
划分模块,用于将数据存储空间划分为多个空闲存储单元;
第一指针表建立模块,用于为各所述空闲存储单元分配存储标识,并根据各所述存储标识建立空闲存储单元表;
第二指针表建立模块,用于为各客户端分别分配一所述空闲存储单元,并建立写指针表,所述写指针表用于记录各所述客户端,及其对应的所述空闲存储单元的写入地址;
获取模块,用于从目标客户端获取报文并解析,得到目标客户端标识;
地址确定模块,用于根据所述目标客户端标识,从所述写指针表中确定所述目标客户端对应的目标写入地址;
第一写入模块,用于根据所述目标写入地址将所述报文存储至目标存储单元;
指针表更新模块,用于判断最后写入地址是否为对应目标存储单元的尾地址,若否,则更新所述写指针表,若是,则从所述空闲存储单元表中选取任一所述空闲存储单元确定为跳变存储单元,将所述跳变存储单元分配给所述目标客户端,并根据所述跳变存储单元的跳变地址更新所述写指针表;
第二写入模块,用于将所述目标存储单元和跳变存储单元写入跳变地址表。
9.一种电子设备,其特征在于,包括存储器以及处理器,所述存储器存储有命令程序,所述命令程序在所述处理器上运行时执行权利要求1-7中任一项所述的细粒度数据管理方法。
10.一种可读写存储介质,其特征在于,所述可读写存储介质存储有命令程序,所述命令程序被处理器执行时实现权利要求1-7中任一项所述的细粒度数据管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410377654.XA CN118233418A (zh) | 2024-03-29 | 2024-03-29 | 细粒度数据管理方法、***、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410377654.XA CN118233418A (zh) | 2024-03-29 | 2024-03-29 | 细粒度数据管理方法、***、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118233418A true CN118233418A (zh) | 2024-06-21 |
Family
ID=91497724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410377654.XA Pending CN118233418A (zh) | 2024-03-29 | 2024-03-29 | 细粒度数据管理方法、***、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118233418A (zh) |
-
2024
- 2024-03-29 CN CN202410377654.XA patent/CN118233418A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7372857B1 (en) | Methods and apparatus for scheduling tasks | |
US7464201B1 (en) | Packet buffer management apparatus and method | |
CN110851371B (zh) | 报文处理方法及相关设备 | |
JP2001223749A (ja) | パケット分類エンジン | |
CN113411270B (zh) | 一种面向时间敏感网络的报文缓冲区管理方法 | |
US20060277126A1 (en) | Ring credit management | |
EP2219114A1 (en) | Method and apparatus for allocating storage addresses | |
CN108462649B (zh) | 降低onu中拥塞状态下高优先级数据传输时延的方法和装置 | |
CN114244752A (zh) | 流量统计方法、装置和设备 | |
CN113115120B (zh) | 视频切片方法、装置、电子设备及存储介质 | |
CN117793583A (zh) | 报文转发方法、装置、电子设备及计算机可读存储介质 | |
CN118233418A (zh) | 细粒度数据管理方法、***、设备及介质 | |
CN116155828A (zh) | 一种多个虚拟队列的报文保序方法及其装置、存储介质、电子设备 | |
US6490629B1 (en) | System and method for scheduling the transmission of packet objects having quality of service requirements | |
CN114024844B (zh) | 数据调度方法、数据调度装置及电子设备 | |
CN114124643B (zh) | 一种基于PaaS的网络设备流量采集方法及装置 | |
CN116032614A (zh) | 容器网络微隔离方法、装置、设备和介质 | |
CN113032414B (zh) | 数据管理方法、装置、***、计算设备及存储介质 | |
CN109558107B (zh) | 一种共享缓冲区的fc消息接收管理方法 | |
CN109302353B (zh) | 一种分配报文缓存空间的方法及装置 | |
CN112578996B (zh) | 一种存储***的元数据的发送方法及存储*** | |
CN115086001B (zh) | 采样数据缓存方法、装置及存储介质 | |
CN116405443B (zh) | 报文转发方法、装置、设备及存储介质 | |
US20210224188A1 (en) | Communication gateway for communicating data frames for a motor vehicle | |
CN110677463B (zh) | 并行数据传输方法、装置、介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |