CN113760781A - 数据处理方法、装置、电子设备及存储介质 - Google Patents

数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113760781A
CN113760781A CN202110244769.8A CN202110244769A CN113760781A CN 113760781 A CN113760781 A CN 113760781A CN 202110244769 A CN202110244769 A CN 202110244769A CN 113760781 A CN113760781 A CN 113760781A
Authority
CN
China
Prior art keywords
physical block
data
written
lookup table
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110244769.8A
Other languages
English (en)
Inventor
杜新杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN202110244769.8A priority Critical patent/CN113760781A/zh
Publication of CN113760781A publication Critical patent/CN113760781A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/06Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G06F12/0646Configuration or reconfiguration
    • G06F12/0653Configuration or reconfiguration with centralised address assignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10Address translation
    • G06F12/1009Address translation using page tables, e.g. page table structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Memory System (AREA)

Abstract

本发明实施例公开了一种数据处理方法、装置、电子设备及存储介质,该方法包括:根据接收到的数据写入请求中的数据请求标识,从预先建立的数据存储查找表中确定与数据请求标识相匹配的待写入物理块地址;如果与待写入物理块地址所对应的待写入物理块中已写入数据,则确定目标数据,并从预先建立的空闲查找表中确定存储目标数据的目标物理块;将目标数据写入目标物理块中,并根据待写入物理地址和目标物理块的目标物理地址更新数据存储查找表和空闲查找表,以在接收到数据写入请求后,根据更新后的数据存储查找表和空闲查找表确定存储目标数据的物理块。通过本发明实施例的技术方案,实现了节约存储内存,提高物理块管理效率的技术效果。

Description

数据处理方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
NandFlash通过缩小工艺尺寸和采用多电平技术,大大降低了闪存单位比特的成本。
但是NandFlash也同时带来其他的问题,主要表现为器件性能的退化,如访问速度下降、误码率上升、耐久度下降以及保持特性变差等。其中,耐久度是指存储单元所能承受的最大编程和擦除次数(P/E Cycles)。之所以会存在最大的擦写次数,是因为闪存的编程和擦除操作都是通过电子隧穿机制进行的,大量的使用隧穿会对隧穿氧化层产生应力,导致浮栅层的电学性能退化。当超过一定数量的擦写后,会使存储单元失去编程和擦除的功能。多电平技术和工艺尺寸下降带来的这些问题,对闪存的管理提出了更高的要求。
发明人在基于上述方式实施本技术方案时,发现存在如下问题:
目前,对NandFlash的物理块进行管理多是通过多张表来实现,每张表中不仅存储物理块信息,还存储其他关联信息,当物理块的存储容量增大时,不仅表的数量增加,表中存储的关联内容也增加,如错误检查和纠正(Error Correcting Code,ECC)等占用了大量的内存资源,例如:管理1MBytes的NandFlash需要4KBytes的内存,此时就会存在对于内存相对较小的控制器,无法有效的对NandFlash的管理,即存在对物理块管理不便的技术问题。
发明内容
本发明提供一种数据处理方法、装置、电子设备及存储介质,以实现节约存储内存,提高物理块管理效率的技术效果。
第一方面,本发明实施例提供了一种数据处理方法,该方法包括:
根据接收到的数据写入请求中的数据请求标识,从预先建立的数据存储查找表中确定与所述数据请求标识相匹配的待写入物理块地址;
如果与所述待写入物理块地址所对应的待写入物理块中已写入数据,则确定目标数据,并从预先建立的空闲查找表中确定存储所述目标数据的目标物理块;
将所述目标数据写入所述目标物理块中,并根据所述待写入物理地址和所述目标物理块的目标物理地址更新所述数据存储查找表和所述空闲查找表,以在接收到数据写入请求后,根据更新后的数据存储查找表和所述空闲查找表确定存储目标数据的物理块。
第二方面,本发明实施例还提供了一种数据处理装置,该装置包括:
待写入物理块地址确定模块,用于根据接收到的数据写入请求中的数据请求标识,从预先建立的数据存储查找表中确定与所述数据请求标识相匹配的待写入物理块地址;
目标物理块确定模块,用于如果与所述待写入物理块地址所对应的待写入物理块中已写入数据,则确定目标数据,并从预先建立的空闲查找表中确定存储所述目标数据的目标物理块;
表更新模块,用于将所述目标数据写入所述目标物理块中,并根据所述待写入物理地址和所述目标物理块的目标物理地址更新所述数据存储查找表和所述空闲查找表,以在接收到数据写入请求后,根据更新后的数据存储查找表和所述空闲查找表确定存储目标数据的物理块。
第三方面,本发明实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明实施例任一所述的数据处理方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例任一所述的数据处理方法。
本发明实施例的技术方案,通过数据请求标识确定待写入物理块,当待写入物理块中包含已写入数据时,则确定目标数据,并将目标数据写入至从空闲查找表中查找到的目标物理块中,同时,更新数据存储查找表和空闲查找表以便在接收到数据写入请求时,基于更新的数据存储查找表和空闲查找表确定物理块,进而写入数据,解决了内存较小的控制器无法有效的对各个物理块进行管理问题,实现了由于只用管理两张表,可以适用于各种小内存控制器中,提高了物理块的利用率以及物理块的管理效率的技术效果。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案,下面对描述实施例中所需要用到的附图做一简单介绍。显然,所介绍的附图只是本发明所要描述的一部分实施例的附图,而不是全部的附图,对于本领域普通技术人员,在不付出创造性劳动的前提下,还可以根据这些附图得到其他的附图。
图1为本发明实施例一所提供的一种数据处理方法的流程示意图;
图2为本发明实施例二所提供的一种数据处理方法的流程示意图;
图3为本发明实施例三所提供的一种数据处理方法的流程示意图;
图4为本发明实施例四所提供的一种数据处理方法的流程示意图;
图5为本发明实施例四所提供的一种构建数据存储查找表和空闲存储查找表的流程示意图;
图6为本发明实施例四所提供的一种数据读取的流程示意图;
图7为本发明实施例五所提供的一种数据处理装置的结构示意图;
图8为本发明实施例六所提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一所提供的一种数据处理方法的流程示意图,本实施例可适用于对存储单元中的物理块进行分配和管理的情况,该方法可以由数据处理装置来执行,该装置可以通过软件和/或硬件的形式实现,该硬件可以是电子设备等。
如图1所示,本实施例的方法具体包括如下步骤:
S110、根据接收到的数据写入请求中的数据请求标识,从预先建立的数据存储查找表中确定与数据请求标识相匹配的待写入物理块地址。
其中,数据写入请求可以是写入数据的指令或代码等,用于指示在存储介质(如:NandFlash芯片)上写入数据。数据请求标识可以是数据写入请求中携带的标识,可以是待写入数据所对应的物理块的逻辑地址。数据存储查找表可以是预先确定的,主要是根据物理块的使用情况来确定的,可选的,数据存储查找表用于管理存储介质内待使用的物理块的使用状态,还用于存储物理块的逻辑地址与物理地址的对应关系。物理块是存储介质上的存储数据的物理区域。待写入物理块地址可以是数据请求标识所对应的物理地址,也就是即将写入数据的物理块的物理地址。
具体的,在接收到数据写入请求时,可以通过对数据写入请求进行解析,获取数据写入请求中携带的数据请求标识。由于数据请求标识是物理块的逻辑地址,可以从预先建立的数据存储查找表中查找到与逻辑地址相对应的物理地址,并将查找到的物理地址作为待写入物理块地址。
S120、如果与待写入物理块地址所对应的待写入物理块中已写入数据,则确定目标数据,并从预先建立的空闲查找表中确定存储目标数据的目标物理块。
其中,待写入物理块可以是待写入物理块地址所指向的物理块。目标数据可以是待写入物理块中当前存储的所有数据以及数据写入请求所对应的待写入数据。空闲查找表可以是预先确定的,主要是根据物理块的使用情况来确定的,可选的,空闲查找表用于管理存储介质内各备用物理块使用状态,还用于记录和管理空闲状态的物理块,记录内容可以包括空闲状态的物理块的物理地址。目标物理块可以是空闲查找表中的物理块。
具体的,在确定待写入物理块地址之后,可以查找到待写入物理块并对待写入物理块中的数据进行检测。若待写入物理块中未写入数据,则可以将数据写入请求所对应的待写入数据写入待写入物理块中。若待写入物理块中已写入数据,则可以读取待写入物理块中当前存储的数据,并将该数据与待写入数据进行整合,作为目标数据,进而,可以在空闲查找表中随机确定一个物理块地址所对应的物理块作为存储目标数据的目标物理块。
S130、将目标数据写入目标物理块中,并根据待写入物理地址和目标物理块的目标物理地址更新数据存储查找表和空闲查找表,以在接收到数据写入请求后,根据更新后的数据存储查找表和空闲查找表确定存储目标数据的物理块。
其中,目标物理地址可以是目标物理块的物理地址。
具体的,根据确定的目标物理块的目标物理地址,将目标数据写入至目标物理块中。由于目标物理地址所对应的目标物理块中已存储目标数据,则可以使用目标物理块替换待写入物理块,也就是,将目标物理地址更新至数据存储查找表中,并建立目标物理地址与待写入物理块的逻辑地址的对应关系,并将目标物理块的相关信息从空闲查找表中删除。由于待写入物理地址所对应的待写入物理块中的数据已经被存储至目标物理块中,那么可以将待写入物理块中的数据擦除,进而将待写入物理块记录在空闲查找表中,并将待写入物理块的相关信息从数据存储查找表中删除。当数据存储查找表和空闲查找表更新完成时,完成了待写入物理块与目标物理块的调换。在此之后,若接收到数据写入请求,可以根据更新后的数据存储查找表和空闲查找表确定存储目标数据的物理块。
需要说明的是,通过数据存储查找表和空闲查找表,可以实现在管理存储介质(如NandFlash)时,只需要两张表。并且,这两张表的大小取决于物理块的大小,当选取块(block)为物理块时,管理1Mbytes的NandFlash仅需要16bytes内存,当选取页(page)为物理块时,管理1Mbytes的NandFlash需要512bytes的内存,远远小于其他算法。
本发明实施例的技术方案,通过数据请求标识确定待写入物理块,当待写入物理块中包含已写入数据时,则确定目标数据,并将目标数据写入至从空闲查找表中查找到的目标物理块中,同时,更新数据存储查找表和空闲查找表,以便在接收到数据写入请求时,基于更新的数据存储查找表和空闲查找表确定物理块,进而写入数据,解决了内存较小的控制器无法有效的对各个物理块进行管理的问题,实现了由于只用管理两张表,可以适用于各种小内存控制器中,提高了物理块的利用率以及物理块的管理效率的技术效果。
实施例二
图2为本发明实施例二所提供的一种数据处理方法的流程示意图,本实施例在上述各实施例的基础上,针对确定物理块的具体方式以及数据存储查找表和空闲查找表的更新方式可参见本实施例的技术方案。其中,与上述各实施例相同或相应的术语的解释在此不再赘述。
如图2所示,本实施例的方法具体包括如下步骤:
S210、根据数据请求标识中的待写入逻辑地址,从预先建立的数据存储查找表中确定与待写入逻辑地址相对应的待写入物理块地址。
其中,待写入逻辑地址可以是数据请求标识所对应的逻辑地址,用于确定即将写入数据的物理块。
具体的,根据接收到的数据请求标识可以将数据请求标识确定为待写入物理块的逻辑地址。进而,可以从预先建立的数据存储查找表中查找到待写入物理块的逻辑地址,并确定与该逻辑地址对应的物理地址,将该物理地址作为待写入物理块地址。
S220、如果与待写入物理块地址所对应的待写入物理块已写入数据,则确定目标数据,并从预先建立的空闲查找表中确定存储目标数据的目标物理块。
为了快速准确的确定用于存储目标数据的目标物理块,可以根据如下步骤进行目标物理块的确定:
步骤一、如果待写入物理块中存储数据量大于预设数据量阈值,则确定待写入物理块中已写入数据。
其中,数据存储量可以是物理块中的当前大小。预设数据量阈值可以是用于判断待写入物理块中是否写入数据的阈值,例如:预设数据量阈值可以是0,也可以是2字节等。
具体的,获取待写入物理块的存储数据量,并将存储数据量与预设数据量阈值进行比较。若数据存储量小于或等于预设数据量阈值,则可以认为待写入物理块为空,即未写入数据,后续可以将数据直接写入待写入物理块中。若数据存储量大于预设数据量阈值,则可以认为待写入物理块不为空,即已写入数据,不能直接将数据写入待写入物理快中。
需要说明的是,若待写入物理块中已写入数据,那么再向其中写入数据则可能会造成已写入数据的丢失或破坏。
步骤二、根据已写入数据、扇形备用区存储的块属性信息以及与数据写入请求对应的待写入数据,确定目标数据。
其中,物理块中包括扇形备用区,扇形备用区用于存储物理块的块属性信息。已写入数据是待写入物理块中当前已写入的数据。扇形备用区可以是物理块中预留的扇区,用于存储块属性信息。块属性信息可以包括物理块自身的属性信息,例如:预先为物理块分配的顺序编号信息(物理地址信息)等,还可以包括物理块的扇区状态,是否有相对应的逻辑地址等。待写入数据可以是数据写入请求所对应的数据,也就是即将写入物理块中的数据。
具体的,读取待写入物理块的已写入数据,扇形备用区存储的块属性信息,并将上述已写入数据和块属性信息与数据写入请求对应的待写入数据进行整合,并将整合后的数据确定为目标数据。
步骤三、从预先建立的空闲查找表中确定未写入数据的目标物理块,以将目标数据存储至目标物理块中。
具体的,可以从预先建立的空闲查找表中确定未写入数据的物理块为目标物理块,并将目标数据存储至目标物理块中。
在实际应用过程中,存在空闲查找表中记录的物理块通常是未写入数据的物理块,但是也可能存在空闲查找表中记录的物理块由于多次使用或长时间未使用造成的物理块损坏的情况。
可选的,若目标物理块已损坏,即目标物理块为坏块,可以认为目标物理块不能用于存储数据,那么可以通过如下步骤确定新的目标物理块:
步骤一、如果未将目标数据写入至目标物理块中,则将目标物理块标记为坏块,将目标物理块的信息从空闲查找表中移除。
其中,坏块也就是已损坏的物理块。
具体的,如果不能将目标数据写入至目标物理块,则可以初步认为目标物理块已损坏,此时可以将目标物理块标记为坏块。由于目标物理块已经不能用于存储数据,为了保证空闲查找表中记录的物理块都是能够写入数据的,可以将目标物理块的信息从空闲查找表中移除,好处在于可以避免后续存储数据时仍调取该目标物理块,重复确认其为坏块,造成浪费时间的问题。
步骤二、重新从空闲查找表中确定存储目标数据的目标物理块。
具体的,在删除坏块后的空闲查找表中随机确定一个物理块为目标物理块,将目标数据存储至目标物理块中,若写入成功则可以执行后续表更新的操作,若写入失败,则重复执行步骤一,直至将目标数据写入目标物理块中或空闲查找表为空。
S230、将目标数据写入目标物理块中,擦除待写入物理块中的已写入数据,以将待写入物理块的信息更新至空闲查找表中。
具体的,将目标数据写入目标物理块中,则表明已写入数据已经从待写入物理块转移至目标物理块中。因此,可以将待写入物理块中的已写入数据擦除。在数据擦除后,待写入物理块为空,可以将待写入物理块的信息更新至空闲查找表中。
S240、根据目标物理块的目标物理地址更新数据存储查找表中的数据,并根据待写入物理块地址更新空闲查找表。
具体的,由于目标物理块中存储了已写入数据和待写入数据,则可以使用目标物理块替换待写入物理块。也就是,可以将数据存储查找表中的待写入物理块的物理地址替换为目标物理块的物理地址,即在数据存储查找表中建立目标物理块的物理地址与待写入物理块的逻辑地址的对应关系,并删除与待写入物理块相关的信息。为了使待写入物理块能够再次使用,可以将待写入物理块地址(待写入物理块的物理地址)写入空闲查找表中。并且,由于目标物理块已记录在数据存储查找表中,则可以将空闲查找表中的目标物理块所对应的信息删除。至此,完成了对数据存储查找表以及空闲查找表的更新。
本发明实施例的技术方案,通过数据请求标识中的待写入逻辑地址,根据数据存储查找表确定待写入物理块的物理地址,当待写入物理块中包含已写入数据时,则确定目标数据,并将目标数据写入至从空闲查找表中查找到的目标物理块中,擦除待写入物理块,并将待写入物理块更新至空闲查找表中,将目标物理块的信息更新至数据存储查找表中,解决了内存较小的控制器无法管理存储空间的问题,实现了小内存控制器只需通过数据存储查找表和空闲查找表就能管理物理块,节约了管理物理块时所需的存储内存并提高了物理块管理效率的技术效果。
实施例三
图3为本发明实施例三所提供的一种数据处理方法的流程示意图,本实施例在上述各实施例的基础上,针对数据存储查找表和空闲查找表的建立方式可参见本实施例的技术方案。其中,与上述各实施例相同或相应的术语的解释在此不再赘述。
如图3所示,本实施例的方法具体包括如下步骤:
S310、建立数据存储查找表和空闲查找表。
具体的,在存储介质初次使用时,可以为其配置数据存储查找表和空闲查找表。还可以对存储介质中的物理块进行检测,将此时检测到的非坏块确定为待记录物理块。可以预先确定存储介质中的预设使用容量,即确定数据存储查找表中的物理块数量。将预设使用容量的待记录物理块的物理地址存储至数据查找表中,并建立物理地址与逻辑地址的对应关系。进一步,将剩余的待记录物理块记录至空闲查找表中,可以是将剩余的待记录物理块的物理地址存储在空闲查找表中。
需要说明的是,预设使用容量可以根据实际使用需求设定,在本实施例中不作具体限定。例如:可以是将80%的待记录物理块作为预设使用容量的物理块,记录在数据存储查找表中,将剩余20%的待记录物理块记录在空闲查找表中。
可选的,可以根据下述步骤建立数据存储查找表和空闲查找表:
步骤一、读取各物理块的扇形备用区的块属性信息。
需要说明的是,在存储介质初次使用时,可以对每个物理块进行格式化处理。格式化处理包括:标记此时的坏块,并将除坏块之外的其余物理块进行顺序编号。可以将为物理块顺序编号的过程作为为物理块分配物理地址的过程。进而,可以将物理块的物理地址作为块属性信息存储至该物理块的扇形备用区中。
示例性的,物理块总数量为128个,其中包括8个坏块,那么可以为剩余物理块顺序编号1-120。
具体的,读取各物理块的扇形备用区的块属性信息,获取各物理块所对应的物理地址以及当前物理块是否为坏块的信息。
步骤二、依据块属性信息读取各个物理块,如果根据块属性信息,确定当前物理块不为坏块且在预先设置的逻辑块容量范围之内,则在块属性信息中写入当前物理块的逻辑地址。
其中,坏块可以是存储介质初次使用时就不能使用的物理块。预先设置的逻辑块容量可以是预设使用数量,可以看作是预先设置的分配逻辑地址的物理块的数量。
具体的,依据块属性信息读取各个物理块,若当前物理块的块属性信息中表明当前物理块不是坏块,且当前物理块的编号小于或等于预先设置的逻辑块容量,则表明当前物理块用于数据存储,也就可以为当前物理块分配逻辑地址,并在当前物理块的块属性信息中写入分配的逻辑地址。若当前物理块的块属性信息中表明当前物理块不是坏块,但当前物理块的编号大于预先设置的逻辑块容量,则表明当前物理块用于空闲存储,无需分配逻辑地址。
需要说明的是,若按照物理块编号从小到大顺序读取物理块,那么若当前物理块地址等于预设逻辑块容量,那么,后续物理块均为空闲存储使用的物理块。
步骤三、确定当前物理块的下一物理块地址,并确定下一物理块地址是否超过预设物理块容量。
其中,预设物理块容量可以是除坏块外的物理块的总数量。
具体的,确定当前物理块的下一物理块地址,判断下一物理块地址是否超过预设物理块容量。若大于,则表明已经遍历全部物理块;若小于或等于,则表明还需要对下一物理块进行判断,确定是否为下一物理块分配逻辑地址,直至全部物理块遍历完成。
步骤四、根据确定结果,建立数据存储查找表和空闲查找表。
其中,确定结果为下一物理块地址是否超过预设物理块容量。
具体的,若确定结果为下一物理块地址超过预设物理块容量,则表明已经为不为坏块的全部物理块遍历完成,已经为逻辑块容量范围内的物理块分配逻辑地址。进而,将分配逻辑地址的物理块记录至数据存储查找表中,并建立表中各物理块被分配的逻辑地址以及物理地址的对应关系。将不为坏块且未分配逻辑地址的物理块记录至空闲查找表中,并记录表中各物理块的物理地址。
可选的,可以根据下述步骤完成数据存储查找表和空闲查找表的建立:
如果结果为下一物理块地址超过预设物理块容量,则根据各物理块的块属性信息,确定生成逻辑地址的物理块。
具体的,如果结果为下一物理块地址超过预设物理块容量,则表明已完成物理块的遍历,已经将逻辑地址分配完毕,并可以将未分配逻辑地址的物理块作为空闲存储使用。进而,可以根据各物理块的块属性信息,确定已生成逻辑地址的物理块。
根据各物理块的逻辑地址和物理地址,生成数据存储查找表和空闲查找表。
具体的,读取已生成逻辑地址的物理块中的块属性信息,获取该物理块的物理地址和逻辑地址,并将物理地址和逻辑地址对应存储至数据存储查找表中,直至已生成逻辑地址的物理块全部记录至数据存储查找表中。读取未生成逻辑地址的物理块中的块属性信息,获取该物理块的物理地址,并将物理地址存储至空闲查找表中,直至未生成逻辑地址的物理块全部记录至空闲查找表中。
S320、根据接收到的数据写入请求中的数据请求标识,从预先建立的数据存储查找表中确定与数据请求标识相匹配的待写入物理块地址。
S330、如果与待写入物理块地址所对应的待写入物理块中已写入数据,则确定目标数据,并从预先建立的空闲查找表中确定存储目标数据的目标物理块。
S340、将目标数据写入目标物理块中,并根据待写入物理地址和目标物理块的目标物理地址更新数据存储查找表和空闲查找表,以在接收到数据写入请求后,根据更新后的数据存储查找表和空闲查找表确定存储目标数据的物理块。
本发明实施例的技术方案,通过建立数据存储查找表和空闲查找表,解决了内存较小的控制器无法通过大量数据表来管理存储空间的问题,实现了节约存储内存,提高物理块管理效率的技术效果。
实施例四
作为上述各实施例的可选实施方案,图4为本发明实施例四所提供的一种数据处理方法的流程示意图。其中,与上述各实施例相同或相应的术语的解释在此不再赘述。
如图4所示,本实施例的方法具体包括如下步骤:
在获取到数据写入请求后,在数据存储查找表中获取物理块(待写入物理块)地址,并读取物理块对应地址数据,即读取物理块中存储的数据(已写入数据)。根据物理块中存储的数据,判断数据是否干净,即判断物理块中是否已存储数据。
若数据干净,则将待写入数据直接写入对应的物理块中。进而,判断待写入数据是否写入成功,若是,则完成待写入数据的写入,并结束流程;若否,则将当前物理块标记为坏块,则可以在存储介质(如:NandFlash)缓存中,合并原有数据(已写入数据,在此种情况下为空)和待写入数据,在空闲存储查找表(空闲查找表)中随机选取空闲物理块,将缓存中的数据(目标数据)写入至空闲物理块中,并判断是否写入成功,若写入成功,则擦除原有脏块(待写入物理块)中的数据,并更新数据存储查找表和空闲存储查找表,结束流程;若写入失败,则重复标记坏块、合并数据、确定空闲物理块和写入数据的过程,直至写入成功,擦除原有脏块,并更新数据存储查找表和空闲存储查找表,结束流程。
若数据不干净,即物理块中已写入有数据,则可以在存储介质缓存中合并原有数据(已写入数据,在此种情况下不为空)和待写入数据,在空闲存储查找表中随机选取空闲物理块,将缓存中的数据写入至空闲物理块中,并判断是否写入成功,若写入成功,则结束,若写入失败,则重复标记坏块,合并数据,确定空闲物理块和写入数据的过程,直至写入成功。在写入成功后,可以将待写入物理块作为原有脏块,并擦除原有脏块中的数据,并更新数据存储查找表和空闲存储查找表,结束流程。
图5为本发明实施例四所提供的一种构建数据存储查找表和空闲存储查找表的流程示意图。其中,与上述各实施例相同或相应的术语的解释在此不再赘述。
如图5所示,本实施例的方法具体包括如下步骤:
读取各物理块的备用区信息(扇形备用区存储的块属性信息),根据备用区信息判断是否原厂标记成坏块,若是,则在物理块备用区顺序标记坏块,并查找下个物理块地址(当前物理块地址加一);若否,则进一步判断当前分配逻辑块号(逻辑地址)的物理块数量是否超过逻辑块容量(预设逻辑块容量),若是,则查找下个物理块地址,若否,则在当前物理块的备用区信息中写入逻辑块号,逻辑块号可以是连续的编号,并查找下个物理块地址。
在查找下个物理块地址后,判断下个物理块地址是否超过存储介质(如:flash)的物理块容量(预设物理块容量。若否,则返回执行读取下一物理块中备用区信息的步骤;若是,则构建数据存储查找表和空闲存储查找表,结束流程。
图6为本发明实施例四所提供的一种数据读取的流程示意图。其中,与上述各实施例相同或相应的术语的解释在此不再赘述。
如图6所示,本实施例的方法为:根据数据读取指令确定物理块的逻辑地址,在数据存储查找表中查找与逻辑地址对应的物理块地址。进而,可以根据物理块地址读取物理块的数据,并将数据返回。
本发明实施例的技术方案,通过构建数据存储查找表和空闲存储查找表,进行数据写入和数据读取,解决了内存较小的控制器无法通过大量数据表来快速准确管理存储空间的问题,实现了节约存储内存,提高物理块管理效率的技术效果。
实施例五
图7为本发明实施例五所提供的一种数据处理装置的结构示意图,该装置包括:待写入物理块地址确定模块410、目标物理块确定模块420和表更新模块430。
其中,待写入物理块地址确定模块410,用于根据接收到的数据写入请求中的数据请求标识,从预先建立的数据存储查找表中确定与所述数据请求标识相匹配的待写入物理块地址;目标物理块确定模块420,用于如果与所述待写入物理块地址所对应的待写入物理块中已写入数据,则确定目标数据,并从预先建立的空闲查找表中确定存储所述目标数据的目标物理块;表更新模块430,用于将所述目标数据写入所述目标物理块中,并根据所述待写入物理地址和所述目标物理块的目标物理地址更新所述数据存储查找表和所述空闲查找表,以在接收到数据写入请求后,根据更新后的数据存储查找表和所述空闲查找表确定存储目标数据的物理块。
可选的,待写入物理块地址确定模块410,还用于根据所述数据请求标识中的待写入逻辑地址,从预先建立的数据存储查找表中确定与所述待写入逻辑地址相对应的待写入物理块地址。
可选的,目标物理块确定模块420,还用于如果所述待写入物理块中存储数据量大于预设数据量阈值,则确定所述待写入物理块中已写入数据;根据所述已写入数据、扇形备用区存储的块属性信息以及与所述数据写入请求对应的待写入数据,确定目标数据;其中,物理块中包括扇形备用区,所述扇形备用区用于存储所述物理块的块属性信息;从预先建立的空闲查找表中确定未写入数据的目标物理块,以将所述目标数据存储至所述目标物理块中。
可选的,所述装置还包括:数据擦除模块,用于擦除所述待写入物理块中的已写入数据,以将所述待写入物理块的信息更新至所述空闲查找表中。
可选的,表更新模块430,还用于根据所述目标物理块的目标物理地址更新所述数据存储查找表中的数据,并根据所述待写入物理块地址更新所述空闲查找表。
可选的,所述装置还包括:目标物理块重新确定模块,用于如果未将所述目标数据写入至所述目标物理块中,则将所述目标物理块标记为坏块,将所述目标物理块的信息从所述空闲查找表中移除;重新从所述空闲查找表中确定存储所述目标数据的目标物理块。
可选的,所述装置还包括:表建立模块,用于建立所述数据存储查找表和所述空闲查找表;所述表建立模块,具体用于读取各物理块的扇形备用区的块属性信息;依据所述块属性信息读取各个物理块,如果根据所述块属性信息,确定当前物理块不为坏块且在预先设置的逻辑块容量范围之内,则在所述块属性信息中写入所述当前物理块的逻辑地址;确定当前物理块的下一物理块地址,并确定下一物理块地址是否超过预设物理块容量;根据确定结果,建立所述数据存储查找表和所述空闲查找表。
可选的,所述表建立模块,还用于如果所述结果为所述下一物理块地址超过所述预设物理块容量,则根据各物理块的块属性信息,确定生成逻辑地址的物理块;根据各物理块的逻辑地址和物理地址,生成数据存储查找表和空闲查找表。
本发明实施例的技术方案,通过数据请求标识确定待写入物理块,当待写入物理块中包含已写入数据时,则确定目标数据,并将目标数据写入至从空闲查找表中查找到的目标物理块中,同时,更新数据存储查找表和空闲查找表以便在接收到数据写入请求时,基于更新的数据存储查找表和空闲查找表确定物理块,进而写入数据,解决了内存较小的控制器无法有效的对各个物理块进行管理问题,实现了由于只用管理两张表,可以适用于各种小内存控制器中,提高了物理块的利用率以及物理块的管理效率的技术效果。
本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法,具备执行方法相应的功能模块和有益效果。
值得注意的是,上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明实施例的保护范围。
实施例六
图8为本发明实施例六所提供的一种电子设备的结构示意图。图8示出了适于用来实现本发明实施例实施方式的示例性电子设备50的框图。图8显示的电子设备50仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示,电子设备50以通用计算设备的形式表现。电子设备50的组件可以包括但不限于:一个或者多个处理器或者处理单元501,***存储器502,连接不同***组件(包括***存储器502和处理单元501)的总线503。
总线503表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,***总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
电子设备50典型地包括多种计算机***可读介质。这些介质可以是任何能够被电子设备50访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
***存储器502可以包括易失性存储器形式的计算机***可读介质,例如随机存取存储器(RAM)504和/或高速缓存存储器505。电子设备50可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例,存储***506可以用于读写不可移动的、非易失性磁介质(图8未显示,通常称为“硬盘驱动器”)。尽管图8中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线503相连。***存储器502可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块507的程序/实用工具508,可以存储在例如***存储器502中,这样的程序模块507包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块507通常执行本发明所描述的实施例中的功能和/或方法。
电子设备50也可以与一个或多个外部设备509(例如键盘、指向设备、显示器510等)通信,还可与一个或者多个使得用户能与该电子设备50交互的设备通信,和/或与使得该电子设备50能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口511进行。并且,电子设备50还可以通过网络适配器512与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器512通过总线503与电子设备50的其它模块通信。应当明白,尽管图8中未示出,可以结合电子设备50使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元501通过运行存储在***存储器502中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的数据处理方法。
实施例七
本发明实施例七还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行数据处理方法。
该方法包括:
根据接收到的数据写入请求中的数据请求标识,从预先建立的数据存储查找表中确定与所述数据请求标识相匹配的待写入物理块地址;
如果与所述待写入物理块地址所对应的待写入物理块中已写入数据,则确定目标数据,并从预先建立的空闲查找表中确定存储所述目标数据的目标物理块;
将所述目标数据写入所述目标物理块中,并根据所述待写入物理地址和所述目标物理块的目标物理地址更新所述数据存储查找表和所述空闲查找表,以在接收到数据写入请求后,根据更新后的数据存储查找表和所述空闲查找表确定存储目标数据的物理块。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种数据处理方法,其特征在于,包括:
根据接收到的数据写入请求中的数据请求标识,从预先建立的数据存储查找表中确定与所述数据请求标识相匹配的待写入物理块地址;
如果与所述待写入物理块地址所对应的待写入物理块中已写入数据,则确定目标数据,并从预先建立的空闲查找表中确定存储所述目标数据的目标物理块;
将所述目标数据写入所述目标物理块中,并根据所述待写入物理地址和所述目标物理块的目标物理地址更新所述数据存储查找表和所述空闲查找表,以在接收到数据写入请求后,根据更新后的数据存储查找表和所述空闲查找表确定存储目标数据的物理块。
2.根据权利要求1所述的方法,其特征在于,所述根据接收到的数据写入请求中的数据请求标识,从预先建立的数据存储查找表中确定与所述数据请求标识相匹配的待写入物理块地址,包括:
根据所述数据请求标识中的待写入逻辑地址,从预先建立的数据存储查找表中确定与所述待写入逻辑地址相对应的待写入物理块地址。
3.根据权利要求1所述的方法,其特征在于,所述如果与所述待写入物理块地址所对应的待写入物理块中已写入数据,则确定目标数据,并从预先建立的空闲查找表中确定存储所述目标数据的目标物理块,包括:
如果所述待写入物理块中存储数据量大于预设数据量阈值,则确定所述待写入物理块中已写入数据;
根据所述已写入数据、扇形备用区存储的块属性信息以及与所述数据写入请求对应的待写入数据,确定目标数据;其中,物理块中包括扇形备用区,所述扇形备用区用于存储所述物理块的块属性信息;
从预先建立的空闲查找表中确定未写入数据的目标物理块,以将所述目标数据存储至所述目标物理块中。
4.根据权利要求1所述的方法,其特征在于,在所述将所述目标数据写入所述目标物理块中之后,还包括:
擦除所述待写入物理块中的已写入数据,以将所述待写入物理块的信息更新至所述空闲查找表中。
5.根据权利要求1所述的方法,其特征在于,所述根据所述待写入物理地址和所述目标物理块的目标物理地址更新所述数据存储查找表和所述空闲查找表,包括:
根据所述目标物理块的目标物理地址更新所述数据存储查找表中的数据,并根据所述待写入物理块地址更新所述空闲查找表。
6.根据权利要求1所述的方法,其特征在于,还包括:
如果未将所述目标数据写入至所述目标物理块中,则将所述目标物理块标记为坏块,将所述目标物理块的信息从所述空闲查找表中移除;
重新从所述空闲查找表中确定存储所述目标数据的目标物理块。
7.根据权利要求1所述的方法,其特征在于,还包括:
建立所述数据存储查找表和所述空闲查找表;
所述建立所述数据存储查找表和所述空闲查找表,包括:
读取各物理块的扇形备用区的块属性信息;
依据所述块属性信息读取各个物理块,如果根据所述块属性信息,确定当前物理块不为坏块且在预先设置的逻辑块容量范围之内,则在所述块属性信息中写入所述当前物理块的逻辑地址;
确定当前物理块的下一物理块地址,并确定下一物理块地址是否超过预设物理块容量;
根据确定结果,建立所述数据存储查找表和所述空闲查找表。
8.根据权利要求7所述的方法,其特征在于,所述根据确定结果,建立所述数据存储查找表和所述空闲查找表,包括:
如果所述结果为所述下一物理块地址超过所述预设物理块容量,则根据各物理块的块属性信息,确定生成逻辑地址的物理块;
根据各物理块的逻辑地址和物理地址,生成数据存储查找表和空闲查找表。
9.一种数据处理装置,其特征在于,包括:
待写入物理块地址确定模块,用于根据接收到的数据写入请求中的数据请求标识,从预先建立的数据存储查找表中确定与所述数据请求标识相匹配的待写入物理块地址;
目标物理块确定模块,用于如果与所述待写入物理块地址所对应的待写入物理块中已写入数据,则确定目标数据,并从预先建立的空闲查找表中确定存储所述目标数据的目标物理块;
表更新模块,用于将所述目标数据写入所述目标物理块中,并根据所述待写入物理地址和所述目标物理块的目标物理地址更新所述数据存储查找表和所述空闲查找表,以在接收到数据写入请求后,根据更新后的数据存储查找表和所述空闲查找表确定存储目标数据的物理块。
10.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的数据处理方法。
11.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8中任一所述的数据处理方法。
CN202110244769.8A 2021-03-05 2021-03-05 数据处理方法、装置、电子设备及存储介质 Pending CN113760781A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110244769.8A CN113760781A (zh) 2021-03-05 2021-03-05 数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110244769.8A CN113760781A (zh) 2021-03-05 2021-03-05 数据处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113760781A true CN113760781A (zh) 2021-12-07

Family

ID=78786676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110244769.8A Pending CN113760781A (zh) 2021-03-05 2021-03-05 数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113760781A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304234A (zh) * 2023-01-10 2023-06-23 奉加微电子(上海)有限公司 数据的匹配方法、处理方法、装置、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110231594A1 (en) * 2009-08-31 2011-09-22 Hitachi, Ltd. Storage system having plurality of flash packages

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110231594A1 (en) * 2009-08-31 2011-09-22 Hitachi, Ltd. Storage system having plurality of flash packages

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304234A (zh) * 2023-01-10 2023-06-23 奉加微电子(上海)有限公司 数据的匹配方法、处理方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
US7191306B2 (en) Flash memory, and flash memory access method and apparatus
US9684462B2 (en) Method and apparatus utilizing non-uniform hash functions for placing records in non-uniform access memory
US7461233B2 (en) Method for identifying data characteristics for flash memory
US8312204B2 (en) System and method for wear leveling in a data storage device
US8332576B2 (en) Data reading method for flash memory and controller and storage system using the same
EP2631916A1 (en) Data deletion method and device
US10922234B2 (en) Method and system for online recovery of logical-to-physical mapping table affected by noise sources in a solid state drive
US8874830B2 (en) Method for controlling memory array of flash memory, and flash memory using the same
KR20110001881A (ko) 비트 에러 임계값 및 메모리 장치의 리맵핑
CN110347613B (zh) 多租户固态盘中实现raid的方法、控制器及多租户固态盘
CN111177143B (zh) 键值数据存储方法、装置、存储介质与电子设备
US9009442B2 (en) Data writing method, memory controller and memory storage apparatus
CN115495025B (zh) 一种管理异常存储块的方法和装置
CN111104347B (zh) 堆内存块查找方法、装置、设备及存储介质
CN110543435B (zh) 存储单元的混合映射操作方法、装置、设备及存储介质
US20150186058A1 (en) Data storing method, memory control circuit unit and memory storage apparatus
CN103106148B (zh) 区块管理方法、存储器控制器与存储器存储装置
CN113760781A (zh) 数据处理方法、装置、电子设备及存储介质
US11803469B2 (en) Storing data in a log-structured format in a two-tier storage system
US11429519B2 (en) System and method for facilitating reduction of latency and mitigation of write amplification in a multi-tenancy storage drive
CN114546292A (zh) 一种nand flash坏块管理方法及***
US9128887B2 (en) Using a buffer to replace failed memory cells in a memory component
CN108614664A (zh) 基于NANDflash的读错误处理方法和装置
CN112947863A (zh) 一种飞腾服务器平台下存储空间合并成的方法
CN111026890A (zh) 基于索引表的图片数据存储方法、***、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination