CN112394876B - 大文件存储/读取方法、存储/读取装置和计算机设备 - Google Patents
大文件存储/读取方法、存储/读取装置和计算机设备 Download PDFInfo
- Publication number
- CN112394876B CN112394876B CN201910749295.5A CN201910749295A CN112394876B CN 112394876 B CN112394876 B CN 112394876B CN 201910749295 A CN201910749295 A CN 201910749295A CN 112394876 B CN112394876 B CN 112394876B
- Authority
- CN
- China
- Prior art keywords
- file
- storage
- factors
- factor
- address
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000012545 processing Methods 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims 1
- 238000013500 data storage Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例属于数据存储技术领域,涉及一种大文件存储方法,包括下述步骤:根据预设的存储单位大小分割大文件为文件因子;根据各文件因子大小,分别确定连续的存储空间存储各文件因子;关联每个文件因子的存储时间和存储地址,以使得每个文件因子通过对应的存储时间和关联的存储地址唯一确定。本发明还提供一种读取方法、存储装置、读取装置和计算机设备。本发明通过将大文件分割为预设大小的文件因子,并将文件因子连续存储,能够有效减少大文件存储过程中因文件随机存放造成的存取效率低下的问题,在此基础之上通过将存储时间与存储因子的存储地址相关联,进一步减少寻找存储因子时的索引时间,并且能快速查找存储因子对应的存储空间,如此能够高效的实现大文件的存储和读取。
Description
技术领域
本发明涉及数据存储技术领域,尤其涉及一种大文件存储/读取方法、存储/读取装置和计算机设备。
背景技术
文件产生之后无法长期占用内存,为了数据的保存、转移或者修改,需要将文件存储在固定的设备上,包括磁盘、半导体硬盘、软盘、磁带等非易失性存储介质中,在使用时候再提取出来,从这些存储介质中提取出来在存取的过程当中现有的存储机制通常是随机的将文件存储在存储器的不同物理区划当中,这种存储方式在读取的过程中非常繁琐,需要通过文件与文件之间的指针,在存储器中的不同区域提取出连续的数据,存取效率大受影响,并且因为涉及到大范围的持续探测,也影响了存储设备的使用寿命。
对于监控、医疗、多媒体网站等使用场景,因为涉及到大量的音频视频等大文件,随机的存储和相应的读取工作大大的影响了其存储效率。
发明内容
本发明实施例的目的在于提出一种能够对大文件进行高效存储和高效读取的方法,能连续规律性的使用存储器进行存储,其存储和读取的效率都会有大幅度提升。
为了解决上述技术问题,本发明实施例提供一种大文件存储方法,采用了如下所述的技术方案:
一种大文件存储方法,包括下述步骤:根据预设的存储单位大小分割大文件为文件因子;根据各文件因子大小,分别确定连续的存储空间存储各文件因子;关联每个文件因子的存储时间和存储地址,以使得每个文件因子通过对应的存储时间和关联的存储地址唯一确定。
进一步的,根据预设的存储单位大小分割大文件为文件因子之后,该方法还包括:对文件因子编号,其中所述文件因子的编号与文件因子唯一确定;将编号与对应的文件因子的存储时间和存储地址相关联;在存储意外停止的状态下,根据意外停止存储时处理的文件因子的编号,确定重传的文件因子和存储地址。
进一步的,文件因子存放在常规存储区域中;存储时间、存储地址在辅助存储区域内格式化存储。
进一步的,关联存储文件因子的存储时间及存储地址,以使得通过存储时间与件因子的存储地址唯一确定之后,该方法还包括:将存储地址与覆写编号关联,其中所述覆写编号能够顺序的记载存储所述文件因子的过程中,所述存储空间对应的存储地址被占用的次序;在常规存储区域满载的状态下,根据覆写编号的排序,确定覆写的存储地址,存储其他文件因子;更新存储地址与覆写编号的关联关系。
进一步的,设置保险存储区域,在所述根据预设的存储单位大小分割大文件为文件因子之后,该方法还包括:判断大文件是否为特殊处理文件,并且当所述大文件为特殊处理文件,在保险存储区域中确定连续的存储空间存储文件因子;在保险存储区域的头部将存储空间的地址与存储时间关联;在保险存储区域满载时,根据存储时间的先后顺序覆写保险存储区域的存储空间。
未解决上述技术问题,本发明还实施例还提供了一种大文件读取方法:
一种大文件读取方法,该方法包括:获取大文件的各文件因子的存储时间;根据各文件因子的存储时间与存储地址的对应关系,确定各文件因子的存储空间;读取各存储空间中的文件因子,将获取的各文件因子进行拼接,得到所述大文件并输出。
进一步的,根据大文件的存储时间检索,确定相关的文件因子之后,该方法还包括:在读取意外停止的状态下,根据意外停止读取时处理的文件因子的编号,确定需要重复读取的文件因子;根据文件因子的编号确定重传的文件因子的存储地址,并从中重新读取先前读取异常的文件因子。
进一步的,根据大文件的存储时间检索,确定相关的文件因子之后,该方法还包括:判断大文件为特殊处理文件,并且当所述大文件为特殊处理文件,检索区域的头部,以确定存储空间的头部地址;读取存储空间,以获取相应的文件因子并拼接。
为解决上述技术问题,本发明实施例还提供了一种大文件存储装置:
一种大文件存储装置,包括:分割模块,用于根据预设的存储单位大小分割大文件为文件因子;存储模块,用于根据文件因子大小,确定连续的存储空间存储文件因子;关联模块,用于关联存储文件因子的存储时间及存储地址,以使得通过存储时间与件因子的存储地址唯一确定。
为解决上述技术问题,本发明实施例还提供了一种大文件读取装置:
一种大文件读取装置,包括:检索模块,用于获取大文件的各文件因子的存储时间;还用于根据各文件因子的存储时间与存储地址的对应关系,确定各文件因子的存储空间;读取模块,用于读取各存储空间中的文件因子,将获取的各文件因子进行拼接,得到所述大文件并输出。
为解决上述技术问题,本发明实施例还提供了一种计算机设备:
一种计算机设备,包括至少一个处理器,以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机可读指令,所述计算机可读指令被所述至少一个处理器执行时,使得所述至少一个处理器执行上述的大文件存储方法中的步骤,或执行上述的的大文件读取方法中的步骤。
与现有技术相比,本发明实施例主要有以下有益效果:通过根据预设的存储单位大小将大文件分割为文件因子,并根据文件因子的大小将文件因子连续存储,能够有效减少大文件存储过程中因文件随机存放造成的存取效率低下的问题,在此基础之上通过将存储时间与存储因子的存储地址相关联,进一步减少寻找存储因子时的索引时间,并且能快速查找存储因子对应的存储空间,如此能够高效的实现大文件的存储和读取。
附图说明
为了更清楚地说明本发明中的方案,下面将对本发明实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一种大文件存储方法实施例一的流程图;
图2是本发明一种大文件存储方法实施例一扩展后的流程图;
图3是本发明一种大文件存储方法实施例二的流程图;
图4是本发明一种大文件存储方法实施例三的流程图;
图5是本发明一种大文件读取方法实施例一的流程图;
图6是本发明一种大文件读取方法实施例二的流程图;
图7是本发明一种大文件读取方法实施例三的流程图;
图8是根据本发明的一种存储装置和一种读取装置的一个实施例的结构示意图;
图9是根据本发明的计算机设备的一个实施例的结构示意图。
附图标记:
21——分割模块、22——存储模块、23——关联模块、31——检索模块、32——读取模块。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明;本发明的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本发明的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本发明方案,下面将结合附图,对本发明实施例中的技术方案进行清楚、完整地描述。
一种大文件存储方法实施例
参考图1,公开了根据本发明的大文件存储方法的一个实施例的流程图。所述的大文件存储方法,包括以下步骤:
步骤100,控制器根据预设的存储单位大小分割大文件为文件因子。
在本实施例中,大文件通常指的是文件大小大于2兆字节(MB)的文件,对于视频、音频、图像处理较为密集的应用来说,多数业务数据属于大文件,文件存储的最小单元簇(通常不以更为原子化的扇区为存储单元)虽然占有一定的大小,但是存储过程当中时随机的,同时作为最小的存储单位,为了适应更多的小文件,簇的单位大小通常也不会太大,而对于大文件的存储,以簇为单位进行分割,并随机的存储在磁盘的盘面上,或是半导体硬盘的文件分块中。本申请根据大文件的实际大小,以及存储设备的原子存储单元的大小,设定一个存储单位,将大文件根据存储单位的大小进行分割,得到文件因子作为该存储方法中最小的存储单位。
在一种实施例当中,存储介质为机械硬盘,每个扇区的大小为512B,而每个磁道包括16个扇区,通常在磁盘空间的分配当中,将磁道整分成若干份或以一条磁道的若干整数倍的空间同时分配出去,有利于磁盘管理存储空间,防止空间的浪费。在本实施例当中每条磁道存储大小为8K,配合大文件的文件大小,确定存储单位的大小,对于图片为主的应用场景,文件大小通常在1MB一下左右,配合存储单位大小为16K更适宜存储速度和磁盘空间的有效利用;而对于视频流为主的应用场景,转码压缩前的单个文件大小通常高于2GB,配合存储单位为2MB以上更佳;而转码后的单个文件大小,通常在600MB左右,配合存储单位为256KB能够在存取速度和磁盘空间的有效利用之间达到平衡。
根据存储单位的,将大文件分割成若干文件因子进行存储,在存储文件因子的过程当中能够最大程度的保证存取速度和磁盘空间的有效利用。
步骤200,根据各文件因子大小,分别确定连续的存储空间存储各文件因子。
在存储设备当中找到与存储单位大小相同或稍大的连续的存储空间存储文件因子,在存储的过程中存储器在一串连续的空间上存储数据,在读取的过程当中能够连续读取,存取效率都得到了保障。
步骤300,关联每个文件因子的存储时间和存储地址,以使得每个文件因子通过对应的存储时间和关联的存储地址唯一确定。
当文件因子存储完毕,因为文件因子是在连续的存储空间当中存储的,所以在读取的过成当中,仅需找到该存储空间的头部地址,即可连续的存储文件中的存储因子读出来,通过将存储时间与存储地址唯一关联,能够通过时间指针的索引,找到存储空间的地址,加速文件因子的寻址,提升存取效率。
该方案通过将大文件分割成文件因子,并在存储器中连续存储,同时关联存储时间,如此有效提升大文件的存储效率,同时便于后续读取。
参考图2,在本实施例的一些可选的实现方式中,在步骤100根据预设的存储单位大小分割大文件为文件因子之后,步骤200根据文件因子大小,确定连续的存储空间存储文件因子之前,上述电子设备还可以执行以下步骤:
步骤S401,对文件因子编号,其中所述文件因子的编号与文件因子唯一确定;
在一种实施例当中,文件因子的编号自生长,对每个文件因子编号以通过编号能够唯一确定一个文件因子,通过时间检索仅能进行大概检索,但是通唯一确定的编号,能够精确的找到每一个文件因子。
步骤S402,将编号与对应的文件因子的存储时间和存储地址相关联;
将文件因子对应的编号与存储地址相关联,可以通过文件因子的编号确定文件因子所在存储空间的地址。
步骤S403,在存储意外停止的状态下,根据意外停止存储时处理的文件因子的编号,确定重传的文件因子和存储地址。
当文件存储意外中断时,正在传输的文件因子能够通过其编号唯一确定,按照预设策略,对该文件因子和/或文件因子前后的文件因子进行重传,能够高效有效的实现文件续传。
参考图3,在本实施例的一些可选的实现方式中,文件因子存放在常规存储区域中;存储时间、存储地址在辅助区域内格式化存储。在步骤300根据预设的存储单位大小分割大文件为文件因子之后,上述电子设备还可以执行以下步骤:
步骤S501、将存储地址与覆写编号关联,其中所述覆写编号能够顺序的记载存储所述文件因子的过程中,所述存储空间对应的存储地址被占用的次序;
存储器的存储空间是有限的,通过设置覆写编号,通过覆写编号能够记录存储空间的存储情况,根据存储空间的存储先后次序,进行覆写,尽最大可能的保留新数据,而覆盖掉调用概率较低的老数据。
步骤S502、在常规存储区域满载的状态下,根据覆写编号的排序,确定覆写的存储地址,存储其他文件因子;
根据覆写编号的排序找到对应的存储空间,找到相应的存储地址,覆盖存储新的文件因子。
步骤S503、更新存储地址与覆写编号的关联关系。
覆盖存储完成之后,重新定义覆写编号,并且将存储空间的地址与覆写编号相关联,以备后续覆写工作参考。
参考图4,在本实施例的一些可选的实现方式中,设置有保险存储区域,在步骤100根据预设的存储单位大小分割大文件为文件因子之后,上述电子设备还可以执行以下步骤:
步骤S601:判断大文件是否为特殊处理文件,并且当所述大文件为特殊处理文件,在保险存储区域中确定连续的存储空间存储文件因子;
一些文件因为其访问的高频率,以及数据本身的敏感性,需要特殊存储,而不被轻易的覆写,设置保险存储区域存储此类数据,能够有效区分一般数据和此类数据,增强对此类数据的存储效率。
步骤S602:在保险存储区域的头部将存储空间的地址与存储时间关联;
需要在保险存储区域存储的数据与常规存储区域当中的记录方式不完全通用,比如保险去区域当中的覆写规则显然需要单独设置,而且保险存储区域还需要根据自身大小,重新规划存储单位,因为该区域的存储空间通常相对于常规存储区域小,并且存储频率相对于常规存储区域中的存储频率更低,可以通过设置较小的存储单位,牺牲一部分寻址的效率提升保险存储区域的使用率,以此能更加有效的利用该保险存储区域。
步骤S603:在保险存储区域满载时,根据存储时间的先后顺序覆写保险存储区域的存储空间。
保险存储区域的覆写规则相对于常规存储区域而言,独立运行。
一种大文件读取方法实施例
参考图5,公开了根据本发明的大文件存储方法的一个实施例的流程图。所述的大文件存储方法方法,包括以下步骤:
步骤S700:获取大文件的各文件因子的存储时间;
通过大文件的存储时间,概略性的通过时间检索该大文件对应的文件因子,并在一个范围较小的文件因子集合中,找到该大文件所对应的文件因子。
步骤S800:根据各文件因子的存储时间与存储地址的对应关系,确定各文件因子的存储空间;
根据存储时间与存储地址的对应关系,相关文件因子的地址,找到对应的存储空间。
步骤S900:读取各存储空间中的文件因子,将获取的各文件因子进行拼接,得到所述大文件并输出。
读取到多个文件因子后通过拼接,还原原始的大文件。该方案有利于减少文件检索和寻址的时间,并且文件的存储非常集中,能够高效的实现文件的读取。
参考图6,在本实施例的一些可选的实现方式中,在步骤700根据预设的存储单位大小分割大文件为文件因子之后,上述电子设备还可以执行以下步骤:
步骤S1001:在读取意外停止的状态下,根据意外停止读取时处理的文件因子的编号,确定需要重复读取的文件因子;
存储过程中存储时间无法第一时间确定,所以当出现意外停止传输的情况下,仅能够通过存储时间与文件因子的一一对应关系,概略缩小文件因子的查询范围,但是文件因子存储之前,文件因子所对应的编号就能唯一确定,并精确的找到文件断点处所对应的文件因子。
步骤S1002:根据文件因子的编号确定重传的文件因子的存储地址,并从中重新读取先前读取异常的文件因子。
根据预设颚存储策略对找到的文件因子周围的若干文件因子进行重传,并根据文件因子的编号与存储地址之间的对应关系确定相应存储空间的存储地址。该方案能够精确的找到断点,并且快速实现续传。
参考图7,在本实施例的一些可选的实现方式中,设置右保险存储区域,在步骤700根据预设的存储单位大小分割大文件为文件因子之后步骤,上述电子设备还可以执行以下步骤:
步骤S1101:判断大文件为特殊处理文件,并且当所述大文件为特殊处理文件,检索区域的头部,以确定存储空间的头部地址;
大文件为特殊处理文件,存储在保险存储区域,通过检索保险存储区域的头部确定对应的文件因子相应的存储空间的地址。
步骤S1102:读取存储空间,以获取相应的文件因子并拼接。
读取大文件对应的文件因子,并拼接还原大文件。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
一种存储装置实施例
进一步参考图8,作为对上述所示方法的实现,本发明提供了一种存储装置的一个实施例,该装置实施例与所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图8所示,本实施例所述的一种存储装置包括:分割模块21、存储模块22以及关联模块23。其中:
分割模块21,用于根据预设的存储单位大小分割大文件为文件因子;
存储模块22,用于根据文件因子大小,确定连续的存储空间存储文件因子;
关联模块23,用于关联存储文件因子的存储时间及存储地址,以使得通过存储时间与件因子的存储地址唯一确定。
在本实施例中,通过设置分割模块21、存储模块22和关联模块23,能够根据设定的存储单位,分割并连续存储对应的文件因子,实现对大文件的高效存储。
一种读取装置实施例
进一步参考图8,作为对上述所示方法的实现,本发明提供了一种读取装置的一个实施例,该装置实施例与所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
检索模块31,用于根据大文件的存储时间检索,确定相关的文件因子;还用于根据文件因子的存储时间与存储地址的对应关系,确定文件因子的存储空间。
读取模块32,用于读取存储空间,获取文件因子并拼接。
在本实施例当中,通过设置检索模块31和读取模块32,能够基于上述对大文件的存储环境下,快速找到对应的文件因子并高效读取,提升大文件读取的效率。
一种计算机设备实施例
为解决上述技术问题,本发明实施例还提供计算机设备。具体请参阅图9,图6为本实施例计算机设备基本结构框图。
所述计算机设备6包括通过***总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是,图中仅示出了具有组件61-63的计算机设备6,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable GateArray,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器61至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器61可以是所述计算机设备6的内部存储单元,例如该计算机设备6的硬盘或内存。在另一些实施例中,所述存储器61也可以是所述计算机设备6的外部存储设备,例如该计算机设备6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等。当然,所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中,所述存储器61通常用于存储安装于所述计算机设备6的操作***和各类应用软件,例如X方法的程序代码等。此外,所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中,所述处理器62用于运行所述存储器61中存储的程序代码或者处理数据,例如运行所述X方法的程序代码。
所述网络接口63可包括无线网络接口或有线网络接口,该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。
本发明还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有大文件存储程序和/或大文件读取程序,所述大文件存储程序和/或大文件读取程序可被至少一个处理器执行,以使所述至少一个处理器执行如上述的大文件存储方法和/或大文件读取方法的步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
显然,以上所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,附图中给出了本发明的较佳实施例,但并不限制本发明的专利范围。本发明可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本发明专利保护范围之内。
Claims (7)
1.一种大文件存储方法,其特征在于,包括下述步骤:
根据预设的存储单位大小分割大文件为文件因子;
根据各文件因子大小,分别确定连续的存储空间存储各文件因子;
关联每个文件因子的存储时间和存储地址,以使得每个文件因子通过对应的存储时间和关联的存储地址唯一确定;
根据预设的存储单位大小分割大文件为文件因子之后,该方法还包括:
对文件因子编号,其中所述文件因子的编号与文件因子唯一确定;
将编号与对应的文件因子的存储时间和存储地址相关联;
在存储意外停止的状态下,根据意外停止存储时处理的文件因子的编号,确定重传的文件因子和存储地址;
文件因子存放在常规存储区域中;存储时间、存储地址在辅助存储区域内格式化存储;
关联存储文件因子的存储时间及存储地址,以使得通过存储时间与文件因子的存储地址唯一确定之后,该方法还包括:
将存储地址与覆写编号关联,其中所述覆写编号能够顺序的记载存储所述文件因子的过程中,所述存储空间对应的存储地址被占用的次序;
在常规存储区域满载的状态下,根据覆写编号的排序,确定覆写的存储地址,存储其他文件因子;
更新存储地址与覆写编号的关联关系。
2.根据权利要求1所述的一种大文件存储方法,其特征在于,设置保险存储区域,在所述根据预设的存储单位大小分割大文件为文件因子之后,该方法还包括:
判断大文件是否为特殊处理文件,并且当所述大文件为特殊处理文件时,在保险存储区域中确定连续的存储空间存储文件因子;
在保险存储区域的头部将存储空间的地址与存储时间关联;
在保险存储区域满载时,根据存储时间的先后顺序覆写保险存储区域的存储空间。
3.一种大文件读取方法,其特征在于,所述大文件读取方法包括如权利要求1或2所述的大文件存储方法中的步骤,所述大文件读取方法还包括:
获取大文件的各文件因子的存储时间;
根据各文件因子的存储时间与存储地址的对应关系,确定各文件因子的存储空间;
读取各存储空间中的文件因子,将获取的各文件因子进行拼接,得到所述大文件并输出。
4.根据权利要求3所述的一种大文件读取方法,其特征在于,根据大文件的存储时间检索,确定相关的文件因子之后,该方法还包括:
判断大文件为特殊处理文件,并且当所述大文件为特殊处理文件,检索区域的头部,以确定存储空间的头部地址;
读取存储空间,以获取相应的文件因子并拼接。
5.一种大文件存储装置,其特征在于,包括:
分割模块,用于根据预设的存储单位大小分割大文件为文件因子;
存储模块,用于根据文件因子大小,确定连续的存储空间存储文件因子;
关联模块,用于关联存储文件因子的存储时间及存储地址,以使得通过存储时间与文件因子的存储地址唯一确定;
因子编号模块,用于对文件因子编号,其中所述文件因子的编号与文件因子唯一确定;将编号与对应的文件因子的存储时间和存储地址相关联;在存储意外停止的状态下,根据意外停止存储时处理的文件因子的编号,确定重传的文件因子和存储地址;文件因子存放在常规存储区域中;存储时间、存储地址在辅助存储区域内格式化存储;
覆写编号模块,用于将存储地址与覆写编号关联,其中所述覆写编号能够顺序的记载存储所述文件因子的过程中,所述存储空间对应的存储地址被占用的次序;在常规存储区域满载的状态下,根据覆写编号的排序,确定覆写的存储地址,存储其他文件因子;更新存储地址与覆写编号的关联关系。
6.一种大文件读取装置,其特征在于,所述大文件读取装置包括如权利要求5所述的大文件存储装置中的分割模块、存储模块、关联模块、因子编号模块和覆写编号模块,所述大文件读取装置还包括:
检索模块,用于获取大文件的各文件因子的存储时间;还用于根据各文件因子的存储时间与存储地址的对应关系,确定各文件因子的存储空间;
读取模块,用于读取各存储空间中的文件因子,将获取的各文件因子进行拼接,得到所述大文件并输出。
7.一种计算机设备,其特征在于,包括至少一个处理器,以及与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的计算机可读指令,所述计算机可读指令被所述至少一个处理器执行时,使得所述至少一个处理器执行权利要求1或2所述的大文件存储方法中的步骤,或执行权利要求3或4所述的大文件读取方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910749295.5A CN112394876B (zh) | 2019-08-14 | 2019-08-14 | 大文件存储/读取方法、存储/读取装置和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910749295.5A CN112394876B (zh) | 2019-08-14 | 2019-08-14 | 大文件存储/读取方法、存储/读取装置和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112394876A CN112394876A (zh) | 2021-02-23 |
CN112394876B true CN112394876B (zh) | 2024-02-23 |
Family
ID=74601349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910749295.5A Active CN112394876B (zh) | 2019-08-14 | 2019-08-14 | 大文件存储/读取方法、存储/读取装置和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112394876B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114490693A (zh) * | 2022-02-17 | 2022-05-13 | 平安普惠企业管理有限公司 | 数据修改方法、装置、电子设备及存储介质 |
CN115291813B (zh) * | 2022-10-08 | 2023-04-07 | 苏州浪潮智能科技有限公司 | 一种数据存储方法及装置、数据读取方法及装置、设备 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002023341A1 (en) * | 2000-09-15 | 2002-03-21 | Matrix Semiconductor, Inc. | Memory devices and methods for use therewith |
JP2007108853A (ja) * | 2005-10-11 | 2007-04-26 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
CN101382948A (zh) * | 2008-10-14 | 2009-03-11 | 成都市华为赛门铁克科技有限公司 | 一种文件存储方法、装置和*** |
CN101404034A (zh) * | 2008-11-20 | 2009-04-08 | 北京握奇数据***有限公司 | 文件存储和查找的方法及装置 |
CN103152395A (zh) * | 2013-02-05 | 2013-06-12 | 北京奇虎科技有限公司 | 一种分布式文件***的存储方法及装置 |
CN104111804A (zh) * | 2014-06-27 | 2014-10-22 | 暨南大学 | 一种分布式文件*** |
CN104272274A (zh) * | 2013-12-31 | 2015-01-07 | 华为技术有限公司 | 一种分布式文件存储***中的数据处理方法及设备 |
CN104639661A (zh) * | 2015-03-13 | 2015-05-20 | 华存数据信息技术有限公司 | 分布式存储***及文件存储和读取方法 |
CN105100146A (zh) * | 2014-05-07 | 2015-11-25 | 腾讯科技(深圳)有限公司 | 数据存储方法、装置及*** |
CN105243027A (zh) * | 2015-09-24 | 2016-01-13 | 华为技术有限公司 | 在存储设备中存储数据的方法和存储控制器 |
CN105323597A (zh) * | 2014-08-04 | 2016-02-10 | 中国电信股份有限公司 | Mp4文件播放方法、处理方法和装置以及播放*** |
CN105373578A (zh) * | 2015-08-17 | 2016-03-02 | 中国电力科学研究院 | 一种特高压雷电侵入波监测中大容量数据处理方法 |
CN106095331A (zh) * | 2016-05-31 | 2016-11-09 | 浙江科澜信息技术有限公司 | 一种固定大文件内部资源的控制方法 |
CN107229418A (zh) * | 2017-05-02 | 2017-10-03 | 浙江宇视科技有限公司 | 一种录像文件存储方法及装置 |
CN109522270A (zh) * | 2018-10-19 | 2019-03-26 | 平安科技(深圳)有限公司 | 基于区块链的文件存读方法、电子装置及可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9058338B2 (en) * | 2011-10-26 | 2015-06-16 | International Business Machines Corporation | Storing a small file with a reduced storage and memory footprint |
-
2019
- 2019-08-14 CN CN201910749295.5A patent/CN112394876B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002023341A1 (en) * | 2000-09-15 | 2002-03-21 | Matrix Semiconductor, Inc. | Memory devices and methods for use therewith |
JP2007108853A (ja) * | 2005-10-11 | 2007-04-26 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
CN101382948A (zh) * | 2008-10-14 | 2009-03-11 | 成都市华为赛门铁克科技有限公司 | 一种文件存储方法、装置和*** |
CN101404034A (zh) * | 2008-11-20 | 2009-04-08 | 北京握奇数据***有限公司 | 文件存储和查找的方法及装置 |
CN103152395A (zh) * | 2013-02-05 | 2013-06-12 | 北京奇虎科技有限公司 | 一种分布式文件***的存储方法及装置 |
CN104272274A (zh) * | 2013-12-31 | 2015-01-07 | 华为技术有限公司 | 一种分布式文件存储***中的数据处理方法及设备 |
CN105100146A (zh) * | 2014-05-07 | 2015-11-25 | 腾讯科技(深圳)有限公司 | 数据存储方法、装置及*** |
CN104111804A (zh) * | 2014-06-27 | 2014-10-22 | 暨南大学 | 一种分布式文件*** |
CN105323597A (zh) * | 2014-08-04 | 2016-02-10 | 中国电信股份有限公司 | Mp4文件播放方法、处理方法和装置以及播放*** |
CN104639661A (zh) * | 2015-03-13 | 2015-05-20 | 华存数据信息技术有限公司 | 分布式存储***及文件存储和读取方法 |
CN105373578A (zh) * | 2015-08-17 | 2016-03-02 | 中国电力科学研究院 | 一种特高压雷电侵入波监测中大容量数据处理方法 |
CN105243027A (zh) * | 2015-09-24 | 2016-01-13 | 华为技术有限公司 | 在存储设备中存储数据的方法和存储控制器 |
CN106095331A (zh) * | 2016-05-31 | 2016-11-09 | 浙江科澜信息技术有限公司 | 一种固定大文件内部资源的控制方法 |
CN107229418A (zh) * | 2017-05-02 | 2017-10-03 | 浙江宇视科技有限公司 | 一种录像文件存储方法及装置 |
CN109522270A (zh) * | 2018-10-19 | 2019-03-26 | 平安科技(深圳)有限公司 | 基于区块链的文件存读方法、电子装置及可读存储介质 |
Non-Patent Citations (1)
Title |
---|
对象存储设备端数据管理策略研究;刘景宁等;计算机研究与发展;20101015(10);162-169 * |
Also Published As
Publication number | Publication date |
---|---|
CN112394876A (zh) | 2021-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10466932B2 (en) | Cache data placement for compression in data storage systems | |
CN107729935B (zh) | 相似图片的识别方法和装置、服务器、存储介质 | |
WO2020211236A1 (zh) | 基于b+树的读写冲突解决方法、装置及存储介质 | |
CN112799584B (zh) | 一种数据存储方法及装置 | |
KR20090026296A (ko) | 예측 데이터 로더 | |
CN109783023B (zh) | 一种数据下刷的方法和相关装置 | |
CN109496292B (zh) | 一种磁盘管理方法、磁盘管理装置及电子设备 | |
CN112394876B (zh) | 大文件存储/读取方法、存储/读取装置和计算机设备 | |
CN112559095A (zh) | 目标业务的执行方法、***、服务器及存储介质 | |
CN110825694A (zh) | 数据处理方法、装置、设备和存储介质 | |
CN109597707B (zh) | 克隆卷数据拷贝方法、装置及计算机可读存储介质 | |
RU2665272C1 (ru) | Способ и устройство для восстановления дедуплицированных данных | |
CN110198473B (zh) | 视频处理方法、装置、电子设备及计算机可读存储介质 | |
CN113791735A (zh) | 视频数据存储方法、装置、计算机设备及存储介质 | |
WO2021068564A1 (zh) | 数据处理方法、装置、设备及存储介质 | |
CN116842012A (zh) | 一种Redis集群的分片存储方法、装置、设备及存储介质 | |
CN112817742B (zh) | 数据迁移方法、装置、设备及存储介质 | |
CN112835967B (zh) | 基于分布式存储***的数据处理方法、装置、设备和介质 | |
CN113805787A (zh) | 数据写入方法、装置、设备及存储介质 | |
US20180373807A1 (en) | Data management apparatuses, methods, and non-transitory tangible machine-readable media thereof | |
CN111382179A (zh) | 数据处理方法、装置及电子设备 | |
US20080008443A1 (en) | Data management system and method | |
CN112306819B (zh) | 异常事件的回放方法、装置、电子设备以及存储介质 | |
CN118132520B (zh) | 存储***文件处理方法、电子设备、存储介质及程序产品 | |
CN111428544B (zh) | 一种场景识别方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |