CN101644996A - 索引数据的存储方法和存储控制装置 - Google Patents
索引数据的存储方法和存储控制装置 Download PDFInfo
- Publication number
- CN101644996A CN101644996A CN200910176946A CN200910176946A CN101644996A CN 101644996 A CN101644996 A CN 101644996A CN 200910176946 A CN200910176946 A CN 200910176946A CN 200910176946 A CN200910176946 A CN 200910176946A CN 101644996 A CN101644996 A CN 101644996A
- Authority
- CN
- China
- Prior art keywords
- index data
- index
- memory
- spatial cache
- disk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种索引数据的存储方法和存储控制装置。该方法包括:将编码器需要存储到存储设备的磁盘的索引数据进行缓存;当缓存的索引数据的数量到达预设的阈值、或者检测到触发事件时,将所述缓存中的索引数据存储到所述磁盘中。通过使用本发明,可以提高向磁盘中写入索引数据和视频数据的效率。
Description
技术领域
本发明涉及通讯领域,尤其涉及一种索引数据的存储方法和存储控制装置。
背景技术
现有的存储设备使用的磁盘中,数据存储在磁盘的盘片上,数据的读写通过磁头臂加上盘片本身的运动来定位具体的位置。目前,精密仪器的发展已经使得磁盘的转速提升到了每分钟上万转,但是与计算机内电路传输速度相比还是很低。硬盘的磁头从初始位置移动到盘面指定磁道所需的时间,称为硬盘的平均寻道时间,是影响硬盘内部数据传输率的重要参数。目前使用的磁盘的平均寻道时间在7ms左右。
另一方面,磁盘本身的传输速度是比较快的,磁盘接口的速度早已超过了100MBps,磁盘的实际顺序读写速度可以达到50MBps以上。顺序读写是指磁盘的访问对象的地址是连续的,这样的读写大大减少了寻道时间。相对而言,随机读写是指磁盘的访问对象的地址是不连续的,磁盘将大量消耗花费在了寻道时间上。在实际测试中,当数据块很小时,随机读写的性能一般不及顺序读写性能的1/10,即使是很大的数据块时,随机读写的性能一般不及顺序读写性能的1/2。
在现有的大部分的监控***的存储实现中,为了更快速高效的对录像数据进行查询检索,普遍的做法是为录像数据增加索引,在存储视频数据的同时,存储相应的索引项;在进行录像查询时,通过查询索引信息,可以快速的定位到准确的录像视频数据。
媒体数据和索引数据同时存储的文件存储格式可表示为如图1所示,其中,SUPER DATA(超级数据)后面为MAIN INDEX(一级索引),大小为128K。一级索引块后面是一系列的256M大小的数据单元,用于保存数据。一级索引块的作用为检索后面的256M Byte数据单元。在每个256M的数据单元中,又包含SECOND INDEX(二级索引)和数据块,通过二级索引检索每个I帧组数据包含的数据块。
在对磁盘进行写入操作时,对视频数据以16K Byte作为最小的存储单元,进行一次IO操作,每个I帧组由多个16KB的数据块组成,写完一个I帧组后,进行写索引操作。每个二级索引项定位一个I帧组。当前256M的数据单元的剩余空间不足以存储一个I帧组的时候,会取下一个256M的数据单元进行存储,此时在写二级索引的同时,还要写一级索引,每个一级索引项定位一个256M数据块。
为每个编码器通道分配的存储空间都是连续的。由于监控业务的特殊性,视频数据的写入都是顺序写入的,这种在连续空间中的顺序写是效率最高的。但在现有方案中,为了方便录像回放时对视频数据的检索,在连续存储空间中又分配了固定区块固定大小的索引块。使得每个编码器通道在向存储设备中写入数据时,每顺序写入一个I帧组数据,就必须将磁头移动到索引块中写入相应的索引项,使原来的顺序写变成了随机写。这种每写一个I帧组数据就写一个索引块的实现,引入了磁头寻道时间,基于背景技术中描述的硬盘的特征,寻道时间是影响硬盘内部数据传输率的重要参数,随机写使磁盘的大量消耗花费在了寻道时间上,影响了写数据的性能。
基于存储设备读写性能随IO读写随机率提高呈指数级下降关系,现有技术中的随机写方式在监控业务存储视频流低码率下对存储性能影响尤为严重。
比如一个2M bps码率的存储流写入对应的SAN资源,以最常用的设置,1秒一个I帧组计算,写数据时,每16KB做一个IO操作,那写完一个I帧组,需进行128次IO操作。写完I帧组后,进行一次写索引的IO操作。所以在2M bps码率存储流下存储的IO读写随机率为0.78%。
按同样的计算方法,1Mbps码率的存储流IO读写随机率为1.6%;512Kbps码率的存储流IO读写随机率为3.1%;256Kbps码率的存储流IO读写随机率为6.2%。
可见,存储流码率越低,随机率越高。经实验,磁盘读写性能随IO读写随机率提高呈指数级下降,如图2所示。
因此,在现有方案中,每顺序写一个I帧组,就到索引块中写一个索引项,使得连续写变成了随机写。这在低码率存储流存储时,产生了非常大的IO读写随机率,引入了磁头寻道时间,影响了硬盘内部数据传输的效率,影响了写数据的性能。
发明内容
本发明提供一种索引数据的存储方法和存储控制装置,用于提高向磁盘中写入索引数据和视频数据的效率。
本发明提供了一种索引数据的存储方法,包括:
将编码器需要存储到存储设备的磁盘的索引数据进行缓存;
当缓存的索引数据的数量到达预设的阈值、或者检测到触发事件时,将所述缓存中的索引数据存储到所述磁盘中。
其中,还包括:在缓存所述索引数据的位置划分多个索引数据缓存空间,所述索引数据缓存空间的大小由每一所述索引数据的大小确定,所述每一索引数据对应一个LUN资源的索引。
其中,所述将编码器需要存储到存储设备的磁盘的索引数据进行缓存包括:
对于编码器需要存储到存储设备的磁盘中的LUN资源的索引数据,为所述每一个LUN资源分配一个对应的索引数据缓存空间,将所述索引数据存储到所述分配的索引数据缓存空间;并存储各LUN资源与各索引数据缓存空间之间的对应关系。
其中,所述将缓存中的索引数据存储到所述磁盘中包括:
对于每一存储了索引数据的索引数据缓存空间,获取所述索引数据缓存空间中存储的索引数据,以及所述LUN资源与索引数据缓存空间之间的对应关系;将所述索引数据存储到与所述索引数据缓存空间对应的LUN资源中的索引数据存储区域。
其中,所述索引数据的缓存位置为所述存储设备的内存时,若所述存储设备接收到对索引数据的查询请求,则所述存储设备在所述内存的索引数据缓存空间中查找所述查询请求中涉及的索引数据。
其中,所述索引数据的缓存位置为所述编码器的闪存时,所述检测到触发事件时,将所述缓存中的索引数据存储到所述磁盘中包括:
所述存储设备接收到对索引数据的查询请求时,触发所述编码器将闪存中的索引数据存储到所述磁盘中,所述存储设备在所述磁盘中查找所述查询请求中涉及的索引数据。
本发明还提供了一种索引数据的存储控制装置,包括:
索引数据缓存单元,用于将编码器需要存储到存储设备的磁盘的索引数据进行缓存;
索引数据转存单元,用于当所述索引数据缓存单元中缓存的索引数据的数量到达预设的阈值、或者检测到触发事件时,将所述缓存中的索引数据存储到所述磁盘中。
其中,还包括:
缓存空间划分单元,用于在缓存所述索引数据的位置划分多个索引数据缓存空间,所述索引数据缓存空间的大小由每一所述索引数据的大小确定,所述每一索引数据对应一个LUN资源的索引。
其中,所述索引数据缓存单元,具体用于:对于编码器需要存储到存储设备的磁盘中的LUN资源的索引数据,在所述缓存空间划分单元划分的索引数据缓存空间中,为所述每一个LUN资源分配一个所述对应的索引数据缓存空间,将所述索引数据存储到所述分配的索引数据缓存空间;并存储各LUN资源与各索引数据缓存空间之间的对应关系。
其中,所述索引数据转存单元,具体用于:在所述缓存空间划分单元划分的索引数据缓存空间中,对于每一存储了索引数据的索引数据缓存空间,获取所述索引数据缓存空间中存储的索引数据,以及所述LUN资源与索引数据缓存空间之间的对应关系;将所述索引数据存储到与所述索引数据缓存空间对应的LUN资源中的索引数据存储区域。
其中,所述索引数据的缓存位置为所述存储设备的内存时,所述存储控制装置位于所述存储设备中,所述存储控制装置还包括:
查询请求处理单元,用于接收到对索引数据的查询请求时,在所述内存的索引数据缓存空间中查找所述查询请求中涉及的索引数据。
其中,所述索引数据的缓存位置为所述编码器的闪存时,所述存储控制装置位于所述编码器中,
所述存储设备包括:查询请求处理单元,用于接收到对索引数据的查询请求时,触发所述存储控制装置将所述编码器的闪存中的索引数据存储到所述存储设备的磁盘中,并在所述磁盘中查找所述查询请求中涉及的索引数据;
所述存储控制装置的索引数据转存单元具体用于:根据所述存储设备的触发,将所述编码器的闪存中的索引数据存储到所述存储设备的磁盘中。
与现有技术相比,本发明具有以下优点:
通过使用本发明,将编码器需要存储到存储设备的磁盘的索引数据进行缓存;当缓存的索引数据的数量到达预设的阈值、或者检测到触发事件时,将所述缓存中的索引数据存储到所述磁盘中,从而降低了视频数据存储时的磁盘读写随机率,提高了向磁盘中写入索引数据和视频数据的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是现有技术中提供的媒体数据和索引数据同时存储的文件存储格式示意图;
图2是现有技术中磁盘读写性能随IO读写随机率提高而下降的示意图;
图3是本发明中提供的索引数据的存储方法流程图;
图4是本发明中使用的磁盘地址分配示意图;
图5是本发明中使用的二级索引的格式示意图;
图6是本发明中使用的存储设备的内存中索引数据缓存空间的分块示意图;
图7是本发明中使用的将内存中的索引数据和媒体数据写入磁盘的示意图;
图8是本发明中使用的录像查询信令的交互示意图;
图9是本发明中使用的存储控制装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有技术中,在将监控视频数据存储到硬盘时,每写一个I帧组后就写入一个索引数据,使得数据存储到硬盘的存储方式为随机写。本发明提供的索引数据的存储方法中,对向硬盘写入索引数据的时间进行了修改,将需要写入硬盘的索引数据预先进行缓存,当缓存的索引数据到达了一定数量或是检测到触发事件发生时,将缓存的索引数据写入到硬盘中。这样就能有效降低监控视频数据存储的IO读写随机率,提高硬盘读写性能。
具体的,本发明提供的索引数据的存储方法,如图3所示,包括:
步骤s301、将编码器需要存储到存储设备的磁盘的索引数据进行缓存;
步骤s302、当缓存的索引数据的数量到达预设的阈值、或者检测到触发事件时,将缓存中的索引数据存储到磁盘中。
例如,在缓存的索引数据的数量到达100个后,再一次性的将缓存的100个索引数据一次性写入到硬盘中。这100个索引数据对应了100个I帧组,也即实现了顺序写入100个I帧组数据后,磁头寻道到磁盘中的存储索引块的区域并写入索引数据。通过该流程,使得IO读写随机率降低到了原来的1%。以256Kbps码率的存储流IO读写随机率为例,现有技术实现中随机率为6.2%,而使用本发明提供的方法后,IO读写随机率降低到了0.062%,这样大大降低了IO读写随机率,大大提高了硬盘读写性能。
例如,以图4所示的地址块为例,在该完整的地址块中,其中0x111101~0x112100地址属于存储索引数据的区域,0x112101~0x888899地址属于存储I帧组的区域。
在现有技术方案中,每向磁盘中写一个I帧组数据(以一个I帧组数据占据4个地址为例),则向磁盘中写一次索引数据,写地址顺序为0x112101,0x112102,0x112103,0x112104,0x111101,0x112105,0x112106,0x112107,0x112108,0x111102,0x112109......,上述写入方式,需完成5次寻道。
使用本发明提供的方法时,将需要写入到磁盘的索引数据进行缓存后再将全部缓存的索引数据一起写入到磁盘,写地址顺序为:0x112101,0x112102,0x112103,0x112104,0x112105,0x112106,0x112107,0x112108,0x111101,0x111102,0x112109......。以上述缓存两个索引一次写入的方式,只需完成3次寻道,减少了寻道时间,提高了存储写入性能。
以下结合不同的应用场景对本发明中提供的索引数据的存储方法进行详细说明。
本发明的应用场景一中,在存储设备的内存中分配一块空间(以下称为索引数据缓存空间),用于缓存需要存储到存储设备的磁盘中的索引数据。现有技术中,对于需要存储到存储设备的磁盘中的媒体数据,通常也在存储设备的内存中分配一块空间(以下称为媒体数据缓存空间),用于对媒体数据进行缓存,通过对媒体数据的缓存,在进行媒体数据的读取时可以直接从缓存中读取,提高读取速度。当索引数据缓存空间中的索引数据到达一定的数量是,将索引数据缓存空间中的索引数据写入磁盘。
对于索引数据缓存空间和媒体数据缓存空间,由于视频监控***中,索引数据相对于视频数据要少得多,因此使得将索引数据缓存空间中的索引信息写入磁盘的次数、比将媒体数据缓存空间中的媒体数据写入到磁盘的次数少的多,降低了视频数据存储时的磁盘读写随机率。
以索引数据缓存空间中缓存100个索引数据为例,根据现有技术,每个256M数据块对应的二级索引总大小为256KB,二级索引格式下图5所示:
二级索引标识描述了当前写入的最后一个索引项编号,以及当前256M数据块中存储的最后一个I帧组的位置。该二级索引标识在写入一个二级索引项后进行数据的更新。
每个二级索引项占16字节,代表一个I帧组数据的信息。每写入一个I帧组数据,就增加一个二级索引项。
现有技术中,当将媒体数据写入一个新的256MB的数据块时,还需更新一级索引,但由于需要16386((256*1024-256)/16)个IO操作才会写一次一级索引,因此造成的IO写随机率微乎其微,因此本发明的方法中只考虑将二级索引进行缓存,如果需要缓存一级索引,也可以使用本发明中同样的方法实现。
缓存100个二级索引项所需要分配的Cache块大小为1.6K,再加上16字节重复写入的二级索引标识,因此给一个编码器存储通道对应的LUN资源的索引Cache分配2KB。
一个存储设备可以允许1024个LUN资源,因此对于一个存储设备,在内存中为索引数据缓存空间分配2MB的空间。可供1024路编码器通道存储。索引Cache的分块如下图6所示。
同时,位于索引数据缓存空间的分配表,用于记录每一个索引数据缓存空间与LUN资源的对应关系。LUN资源以LUN UUID(Universally UniqueIdentifier,通用唯一识别码)标识。该分配表的形式可以如表1所示:
表1.索引数据缓存空间分配表
序号 | 索引数据缓存空间地址 | LUN UUID |
1 | 0~2k | LUN1-UUID:xxxxxxxxx |
2 | 2~4k | LUN2-UUID:xxxxxxxxx |
3 | 4~6k | Null |
...... | ...... | ...... |
1024 | 2046~2048k | LUN1024-UUID:xxxxxxxxx |
索引数据缓存空间分配表以2K大小的索引数据缓存空间地址为表项,在未制定任何存储计划前,即一个索引数据缓存空间未分配前,该表对应的“LUN UUID”都为null。
根据对编码器通道制定存储计划的先后,即LUN分配的先后从小到大分配LUN UUID号为null的索引数据缓存空间。存储计划制定成功后,在索引数据缓存空间分配表中分配的索引数据缓存空间对应项中填写LUN UUID号。存储计划删除后,在索引数据缓存空间分配表中删除对应的LUN UUID号,重置为null。
编码器通道1向对应的LUN1资源写入数据时,将二级索引项和最新的二级索引标识预先写入索引Cache地址为0~2k的分块中。而将媒体数据写入现有技术中提供的Cache中。
对于媒体数据,按照现有技术实现从媒体数据缓存空间中写入磁盘中。对于二级索引信息只在索引数据缓存空间分块写入操作计数到100时,才写入磁盘中。该过程如图7所示。
本发明中,存储设备自带有断电保护,能够保证缓存中的数据在一定时间内不会因断电而丢失,能够在恢复正常后将缓存中的数据写入到磁盘中。因此,由于存储设备自身的断电保护功能,使得能避免因异常断电而导致索引信息丢失的问题。
在现有监控***中,将媒体数据和索引数据同步存储,可以提高对存储录像的检索查询的效率。在接收到读数据的命令后,优先读取内存中的索引数据或媒体数据,若内存中没有匹配的索引数据或媒体数据,再读取磁盘中的索引数据或媒体数据。
因此,该方案一索引项存储在索引缓存中,即使在进行录像查询时,索引项未从索引数据缓存空间中写入到磁盘索引块中,存储设备也会先从该索引数据缓存空间中读数据,不影响对索引的读取,不影响检索回放录像业务的正常执行。
使用本发明应用场景一提供的方法时,从索引数据缓存空间往磁盘写数据时,使得尽可能多的IO写入到连续的数据块中,对造成随机IO写的写索引块次数降低,从而提高IO写的性能。
本发明的应用场景二中,使用编码器本身的闪存flash来预先存储索引数据,再定期或事件触发写入到磁盘中,降低磁盘写数据的IO随机率。
仍以缓存100个索引项为例,根据编码器自身支持的通道在闪存flash中分配索引数据缓存空间,与上述应用场景一中提供的方法相似,为每个通道分配2KB空间。
若编码器支持多通道,则在闪存flash中建立类似于应用场景一中的索引数据缓存空间分配表,来记录索引对应的编码器通道和对应的LUN资源,用于向存储设备写入时进行区分。方案二中定义该表为索引-LUN资源对应关系表。通过LUN Initiator和LUN Target组合标志LUN资源。如表2所示:
表2索引数据缓存空间索引-LUN资源对应关系表
序号 | 索引数据缓存空间索引地址 | LUN Initiator | LUN Target |
1 | 0~2k | ECInitiator:1918 | ECTarget:1918:23691:1245921330 |
2 | 2~4k | ECInitiator:1920 | ECTarget:1920:23693:1145691440 |
3 | 4~6k | Null | Null |
4 | 6~8k | Null | Null |
...... | ...... | ...... |
编码器在将视频数据写入存储设备后,不将索引项写入存储设备,而是记录在编码器自身给相应通道分配的闪存flash中,闪存flash定期或事件触发后,再将索引项写入到存储设备中。
闪存flash定期将索引写入存储设备的方式,与应用场景一中缓存定期将索引写入磁盘的方式一样,可以通过闪存写入操作计数到100次后,将闪存中保存的所以索引项写入存储设备中。
通过事件触发将闪存中缓存的索引数据写入存储设备的方式,是考虑到现有技术中,对存储设备中存储的媒体数据的查询必须先查询索引数据。因此在客户端向存储设备在发起查询数据请求时,管理服务器首先向编码器发送将缓存的索引数据写入磁盘的触发信令,编码器将缓存的索引数据写入磁盘写入成功后,管理服务器再通知数据管理服务器查询更新后的索引信息,实现查询出最新的索引信息,进而能查询到最近的视频数据录像文件。上述流程中的信令交互流程图如图8所示。
使用本发明的应用场景二提供的方法时,用编码器闪存flash存储索引信息,定期或事件触发写入到存储设备中,对造成随机IO写的写索引块次数降低,从而提高IO写的性能。由于闪存flash属于硬件读写,所以同样能够保证断电后闪存内的索引数据不丢失,在恢复正常后将闪存中的数据写入到磁盘中。
本发明还提供了一种索引数据的存储控制装置,如图9所示,包括:
索引数据缓存单元10,用于将编码器需要存储到存储设备的磁盘的索引数据进行缓存;
索引数据转存单元20,用于当所述索引数据缓存单元中缓存的索引数据的数量到达预设的阈值、或者检测到触发事件时,将所述缓存中的索引数据存储到所述磁盘中。
其中,还包括:
缓存空间划分单元30,用于在缓存索引数据的位置划分多个索引数据缓存空间,各索引数据缓存空间的大小由每一索引数据的大小确定,每一索引数据对应一个LUN资源的索引。
对于上述索引数据缓存单元10,具体用于:对于编码器需要存储到存储设备的磁盘中的LUN资源的索引数据,在缓存空间划分单元30划分的索引数据缓存空间中,为每一个LUN资源分配一个索引数据缓存空间,之后将索引数据存储到分配的索引数据缓存空间;并存储各LUN资源与各索引数据缓存空间之间的对应关系。
对于上述索引数据转存单元20,具体用于:在缓存空间划分单元30划分的索引数据缓存空间中,对于每一存储了索引数据的索引数据缓存空间,获取索引数据缓存空间中存储的索引数据,以及LUN资源与索引数据缓存空间之间的对应关系;将获取的索引数据存储到与该索引数据缓存空间对应的LUN资源中的索引数据存储区域。
当索引数据的缓存位置为存储设备的内存时,本发明提供的存储控制装置位于存储设备中,该存储控制装置还可以包括:
查询请求处理单元,用于接收到对索引数据的查询请求时,在存储设备的内存的索引数据缓存空间中查找该查询请求中涉及的索引数据。
当索引数据的缓存位置为编码器的闪存时,本发明提供的存储控制装置位于所述编码器中,该情况下:
存储设备中包括查询请求处理单元,用于接收到对索引数据的查询请求时,触发本发明提供的存储控制装置将编码器的闪存中的索引数据存储到存储设备的磁盘中,并在所述磁盘中查找该查询请求中涉及的索引数据;
对于本发明提供的存储控制装置的索引数据转存单元,具体用于根据存储设备的触发,将编码器的闪存中的索引数据存储到存储设备的磁盘中。
通过使用本发明,可以提高向磁盘中写入索引数据和视频数据的效率。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可以通过硬件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
本领域技术人员可以理解附图只是一个优选实施例的示意图,附图中的单元或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施例中的装置中的单元可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的单元可以合并为一个单元,也可以进一步拆分成多个子单元。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
Claims (12)
1、一种索引数据的存储方法,其特征在于,包括:
将编码器需要存储到存储设备的磁盘的索引数据进行缓存;
当缓存的索引数据的数量到达预设的阈值、或者检测到触发事件时,将所述缓存中的索引数据存储到所述磁盘中。
2、如权利要求1所述的方法,其特征在于,还包括:在缓存所述索引数据的位置划分多个索引数据缓存空间,所述索引数据缓存空间的大小由每一所述索引数据的大小确定,所述每一索引数据对应一个LUN资源的索引。
3、如权利要求2所述的方法,其特征在于,所述将编码器需要存储到存储设备的磁盘的索引数据进行缓存包括:
对于编码器需要存储到存储设备的磁盘中的LUN资源的索引数据,为所述每一个LUN资源分配一个对应的索引数据缓存空间,将所述索引数据存储到所述分配的索引数据缓存空间;并存储各LUN资源与各索引数据缓存空间之间的对应关系。
4、如权利要求3所述的方法,其特征在于,所述将缓存中的索引数据存储到所述磁盘中包括:
对于每一存储了索引数据的索引数据缓存空间,获取所述索引数据缓存空间中存储的索引数据,以及所述LUN资源与索引数据缓存空间之间的对应关系;将所述索引数据存储到与所述索引数据缓存空间对应的LUN资源中的索引数据存储区域。
5、如权利要求1至4中任一项所述的方法,其特征在于,所述索引数据的缓存位置为所述存储设备的内存时,若所述存储设备接收到对索引数据的查询请求,则所述存储设备在所述内存的索引数据缓存空间中查找所述查询请求中涉及的索引数据。
6、如权利要求1至4中任一项所述的方法,其特征在于,所述索引数据的缓存位置为所述编码器的闪存时,所述检测到触发事件时,将所述缓存中的索引数据存储到所述磁盘中包括:
所述存储设备接收到对索引数据的查询请求时,触发所述编码器将闪存中的索引数据存储到所述磁盘中,所述存储设备在所述磁盘中查找所述查询请求中涉及的索引数据。
7、一种索引数据的存储控制装置,其特征在于,包括:
索引数据缓存单元,用于将编码器需要存储到存储设备的磁盘的索引数据进行缓存;
索引数据转存单元,用于当所述索引数据缓存单元中缓存的索引数据的数量到达预设的阈值、或者检测到触发事件时,将所述缓存中的索引数据存储到所述磁盘中。
8、如权利要求7所述的装置,其特征在于,还包括:
缓存空间划分单元,用于在缓存所述索引数据的位置划分多个索引数据缓存空间,所述索引数据缓存空间的大小由每一所述索引数据的大小确定,所述每一索引数据对应一个LUN资源的索引。
9、如权利要求8所述的装置,其特征在于,所述索引数据缓存单元,具体用于:对于编码器需要存储到存储设备的磁盘中的LUN资源的索引数据,在所述缓存空间划分单元划分的索引数据缓存空间中,为所述每一个LUN资源分配一个所述对应的索引数据缓存空间,将所述索引数据存储到所述分配的索引数据缓存空间;并存储各LUN资源与各索引数据缓存空间之间的对应关系。
10、如权利要求9所述的装置,其特征在于,所述索引数据转存单元,具体用于:在所述缓存空间划分单元划分的索引数据缓存空间中,对于每一存储了索引数据的索引数据缓存空间,获取所述索引数据缓存空间中存储的索引数据,以及所述LUN资源与索引数据缓存空间之间的对应关系;将所述索引数据存储到与所述索引数据缓存空间对应的LUN资源中的索引数据存储区域。
11、如权利要求7至10中任一项所述的装置,其特征在于,所述索引数据的缓存位置为所述存储设备的内存时,所述存储控制装置位于所述存储设备中,所述存储控制装置还包括:
查询请求处理单元,用于接收到对索引数据的查询请求时,在所述内存的索引数据缓存空间中查找所述查询请求中涉及的索引数据。
12、如权利要求7至10中任一项所述的装置,其特征在于,所述索引数据的缓存位置为所述编码器的闪存时,所述存储控制装置位于所述编码器中,
所述存储设备包括:查询请求处理单元,用于接收到对索引数据的查询请求时,触发所述存储控制装置将所述编码器的闪存中的索引数据存储到所述存储设备的磁盘中,并在所述磁盘中查找所述查询请求中涉及的索引数据;
所述存储控制装置的索引数据转存单元具体用于:根据所述存储设备的触发,将所述编码器的闪存中的索引数据存储到所述存储设备的磁盘中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910176946A CN101644996A (zh) | 2009-09-25 | 2009-09-25 | 索引数据的存储方法和存储控制装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910176946A CN101644996A (zh) | 2009-09-25 | 2009-09-25 | 索引数据的存储方法和存储控制装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101644996A true CN101644996A (zh) | 2010-02-10 |
Family
ID=41656897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200910176946A Pending CN101644996A (zh) | 2009-09-25 | 2009-09-25 | 索引数据的存储方法和存储控制装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101644996A (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102207981A (zh) * | 2011-07-13 | 2011-10-05 | 华为软件技术有限公司 | 管理文件的方法和*** |
CN102375694A (zh) * | 2010-08-20 | 2012-03-14 | 杭州华三通信技术有限公司 | 数据处理方法和装置 |
CN102387425A (zh) * | 2010-08-30 | 2012-03-21 | 中兴通讯股份有限公司 | 缓存装置及方法 |
CN102843396A (zh) * | 2011-06-22 | 2012-12-26 | 中兴通讯股份有限公司 | 一种分布式缓存***中的数据写入及读取方法及装置 |
CN102968422A (zh) * | 2011-08-31 | 2013-03-13 | 中国航天科工集团第二研究院七○六所 | 流数据存储控制***及其方法 |
CN103037203A (zh) * | 2012-12-11 | 2013-04-10 | 浙江宇视科技有限公司 | 一种基于块存储的索引恢复方法和装置 |
CN104156385A (zh) * | 2014-06-24 | 2014-11-19 | 北京京东尚科信息技术有限公司 | 一种处理时间序列数据的方法和装置 |
CN104702874A (zh) * | 2015-03-05 | 2015-06-10 | 安徽清新互联信息科技有限公司 | 一种面向视频监控的文件存储方法 |
CN105094705A (zh) * | 2015-07-27 | 2015-11-25 | 武汉兴图新科电子股份有限公司 | 一种优化磁盘存储策略的方法 |
CN106101596A (zh) * | 2016-08-15 | 2016-11-09 | Tcl集团股份有限公司 | 一种视频存储方法和装置 |
CN106131473A (zh) * | 2016-06-23 | 2016-11-16 | 深圳英飞拓科技股份有限公司 | 视频监控***的数据存储方法及装置 |
CN106294603A (zh) * | 2016-07-29 | 2017-01-04 | 北京奇虎科技有限公司 | 文件存储方法及装置 |
WO2018014711A1 (zh) * | 2016-07-19 | 2018-01-25 | 杭州海康威视数字技术股份有限公司 | 一种录像播放方法及装置 |
CN102737068B (zh) * | 2011-04-15 | 2018-06-05 | 北京百度网讯科技有限公司 | 一种用于对检索数据进行缓存管理的方法与设备 |
CN108647278A (zh) * | 2018-05-03 | 2018-10-12 | 中北大学 | 一种文件管理方法及*** |
CN108664577A (zh) * | 2018-05-03 | 2018-10-16 | 中北大学 | 一种基于flash空闲区的文件管理方法及*** |
CN108737853A (zh) * | 2017-04-20 | 2018-11-02 | 腾讯科技(深圳)有限公司 | 一种数据文件的降码处理方法和服务器 |
CN109582230A (zh) * | 2018-11-20 | 2019-04-05 | 深圳松诺技术有限公司 | 一种基于矩阵式索引的数据存取方法及存取*** |
CN109783321A (zh) * | 2019-01-24 | 2019-05-21 | 深圳市景阳信息技术有限公司 | 监控数据管理方法、装置、终端设备 |
CN110764706A (zh) * | 2019-10-25 | 2020-02-07 | 普联技术有限公司 | 存储***、数据管理方法及存储介质 |
CN111722789A (zh) * | 2019-03-20 | 2020-09-29 | 点序科技股份有限公司 | 存储器管理方法及存储器存储装置 |
CN112540731A (zh) * | 2020-12-22 | 2021-03-23 | 北京百度网讯科技有限公司 | 数据的追加写方法、装置、设备、介质和程序产品 |
CN112954244A (zh) * | 2021-01-19 | 2021-06-11 | 普联技术有限公司 | 监控录像的存储实现方法、装置、设备及存储介质 |
CN112988618A (zh) * | 2021-02-20 | 2021-06-18 | 山东英信计算机技术有限公司 | 一种固态硬盘的垃圾回收方法、装置、设备及存储介质 |
CN113282582A (zh) * | 2021-05-21 | 2021-08-20 | 海南超船电子商务有限公司 | 一种船位数据的高效存储方法及*** |
CN114327278A (zh) * | 2021-12-30 | 2022-04-12 | 北京百度网讯科技有限公司 | 数据的追加写方法、装置、设备以及存储介质 |
-
2009
- 2009-09-25 CN CN200910176946A patent/CN101644996A/zh active Pending
Cited By (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102375694A (zh) * | 2010-08-20 | 2012-03-14 | 杭州华三通信技术有限公司 | 数据处理方法和装置 |
CN102387425A (zh) * | 2010-08-30 | 2012-03-21 | 中兴通讯股份有限公司 | 缓存装置及方法 |
CN102737068B (zh) * | 2011-04-15 | 2018-06-05 | 北京百度网讯科技有限公司 | 一种用于对检索数据进行缓存管理的方法与设备 |
CN102843396A (zh) * | 2011-06-22 | 2012-12-26 | 中兴通讯股份有限公司 | 一种分布式缓存***中的数据写入及读取方法及装置 |
CN102843396B (zh) * | 2011-06-22 | 2018-03-13 | 中兴通讯股份有限公司 | 一种分布式缓存***中的数据写入及读取方法及装置 |
CN102207981A (zh) * | 2011-07-13 | 2011-10-05 | 华为软件技术有限公司 | 管理文件的方法和*** |
CN102968422B (zh) * | 2011-08-31 | 2015-06-17 | 中国航天科工集团第二研究院七0六所 | 流数据存储控制***及其方法 |
CN102968422A (zh) * | 2011-08-31 | 2013-03-13 | 中国航天科工集团第二研究院七○六所 | 流数据存储控制***及其方法 |
CN103037203B (zh) * | 2012-12-11 | 2016-06-08 | 浙江宇视科技有限公司 | 一种基于块存储的索引恢复方法和装置 |
CN103037203A (zh) * | 2012-12-11 | 2013-04-10 | 浙江宇视科技有限公司 | 一种基于块存储的索引恢复方法和装置 |
CN104156385A (zh) * | 2014-06-24 | 2014-11-19 | 北京京东尚科信息技术有限公司 | 一种处理时间序列数据的方法和装置 |
CN104702874A (zh) * | 2015-03-05 | 2015-06-10 | 安徽清新互联信息科技有限公司 | 一种面向视频监控的文件存储方法 |
CN105094705A (zh) * | 2015-07-27 | 2015-11-25 | 武汉兴图新科电子股份有限公司 | 一种优化磁盘存储策略的方法 |
CN106131473A (zh) * | 2016-06-23 | 2016-11-16 | 深圳英飞拓科技股份有限公司 | 视频监控***的数据存储方法及装置 |
CN106131473B (zh) * | 2016-06-23 | 2019-03-12 | 深圳英飞拓科技股份有限公司 | 视频监控***的数据存储方法及装置 |
WO2018014711A1 (zh) * | 2016-07-19 | 2018-01-25 | 杭州海康威视数字技术股份有限公司 | 一种录像播放方法及装置 |
CN107635109A (zh) * | 2016-07-19 | 2018-01-26 | 杭州海康威视数字技术股份有限公司 | 一种录像播放方法及装置 |
CN106294603A (zh) * | 2016-07-29 | 2017-01-04 | 北京奇虎科技有限公司 | 文件存储方法及装置 |
CN106294603B (zh) * | 2016-07-29 | 2019-07-23 | 北京奇虎科技有限公司 | 文件存储方法及装置 |
CN106101596A (zh) * | 2016-08-15 | 2016-11-09 | Tcl集团股份有限公司 | 一种视频存储方法和装置 |
CN108737853A (zh) * | 2017-04-20 | 2018-11-02 | 腾讯科技(深圳)有限公司 | 一种数据文件的降码处理方法和服务器 |
US11444998B2 (en) | 2017-04-20 | 2022-09-13 | Tencent Technology (Shenzhen) Company Limited | Bit rate reduction processing method for data file, and server |
CN108737853B (zh) * | 2017-04-20 | 2021-07-13 | 腾讯科技(深圳)有限公司 | 一种数据文件的降码处理方法和服务器 |
CN108647278B (zh) * | 2018-05-03 | 2021-07-02 | 中北大学 | 一种文件管理方法及*** |
CN108664577A (zh) * | 2018-05-03 | 2018-10-16 | 中北大学 | 一种基于flash空闲区的文件管理方法及*** |
CN108647278A (zh) * | 2018-05-03 | 2018-10-12 | 中北大学 | 一种文件管理方法及*** |
CN109582230A (zh) * | 2018-11-20 | 2019-04-05 | 深圳松诺技术有限公司 | 一种基于矩阵式索引的数据存取方法及存取*** |
CN109582230B (zh) * | 2018-11-20 | 2022-04-08 | 深圳松诺技术有限公司 | 一种基于矩阵式索引的数据存取方法及存取*** |
CN109783321B (zh) * | 2019-01-24 | 2022-09-23 | 深圳市景阳信息技术有限公司 | 监控数据管理方法、装置、终端设备 |
CN109783321A (zh) * | 2019-01-24 | 2019-05-21 | 深圳市景阳信息技术有限公司 | 监控数据管理方法、装置、终端设备 |
CN111722789B (zh) * | 2019-03-20 | 2024-01-23 | 点序科技股份有限公司 | 存储器管理方法及存储器存储装置 |
CN111722789A (zh) * | 2019-03-20 | 2020-09-29 | 点序科技股份有限公司 | 存储器管理方法及存储器存储装置 |
CN110764706A (zh) * | 2019-10-25 | 2020-02-07 | 普联技术有限公司 | 存储***、数据管理方法及存储介质 |
CN110764706B (zh) * | 2019-10-25 | 2023-10-03 | 普联技术有限公司 | 存储***、数据管理方法及存储介质 |
CN112540731B (zh) * | 2020-12-22 | 2023-08-11 | 北京百度网讯科技有限公司 | 数据的追加写方法、装置、设备、介质和程序产品 |
CN112540731A (zh) * | 2020-12-22 | 2021-03-23 | 北京百度网讯科技有限公司 | 数据的追加写方法、装置、设备、介质和程序产品 |
CN112954244A (zh) * | 2021-01-19 | 2021-06-11 | 普联技术有限公司 | 监控录像的存储实现方法、装置、设备及存储介质 |
CN112988618A (zh) * | 2021-02-20 | 2021-06-18 | 山东英信计算机技术有限公司 | 一种固态硬盘的垃圾回收方法、装置、设备及存储介质 |
CN113282582A (zh) * | 2021-05-21 | 2021-08-20 | 海南超船电子商务有限公司 | 一种船位数据的高效存储方法及*** |
CN113282582B (zh) * | 2021-05-21 | 2023-06-20 | 海南超船电子商务有限公司 | 一种船位数据的高效存储方法及*** |
CN114327278A (zh) * | 2021-12-30 | 2022-04-12 | 北京百度网讯科技有限公司 | 数据的追加写方法、装置、设备以及存储介质 |
US11947842B2 (en) | 2021-12-30 | 2024-04-02 | Beijing Baidu Netcom Science Technology, Co., Ltd. | Method for writing data in append mode, device and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101644996A (zh) | 索引数据的存储方法和存储控制装置 | |
US8782324B1 (en) | Techniques for managing placement of extents based on a history of active extents | |
US9996466B2 (en) | Apparatus, system and method for caching compressed data | |
US8909887B1 (en) | Selective defragmentation based on IO hot spots | |
US8954699B1 (en) | Techniques for identifying IO hot spots using range-lock information | |
US9128855B1 (en) | Flash cache partitioning | |
US11429284B2 (en) | Data categorization based on invalidation velocities | |
CN107924291B (zh) | 存储*** | |
CN102713828B (zh) | 提供多设备镜像和条带功能的磁盘缓存方法、设备和*** | |
CN103984648A (zh) | 为了改进i/o性能而压制数据高速缓存速率的方法 | |
US9612758B1 (en) | Performing a pre-warm-up procedure via intelligently forecasting as to when a host computer will access certain host data | |
WO2018019119A1 (zh) | 一种面向连续数据存储的动态局部并行数据布局方法及装置 | |
CN104346357A (zh) | 一种嵌入式终端的文件存取方法及*** | |
CN102609360A (zh) | 一种数据处理方法、装置及*** | |
CN103635887B (zh) | 缓存数据的方法和存储*** | |
CN104794064A (zh) | 一种基于区域热度的缓存管理方法 | |
CN106569732B (zh) | 数据迁移方法及装置 | |
CN103678523A (zh) | 分布式高速缓存cache数据访问方法和装置 | |
CN104620230A (zh) | 管理存储器的方法 | |
CN111007991A (zh) | 基于nvdimm分离读写请求的方法及其计算机 | |
CN103399823A (zh) | 业务数据的存储方法、设备和*** | |
US8402198B1 (en) | Mapping engine for a storage device | |
US20210224232A1 (en) | Managing a file system within multiple luns while different lun level policies are applied to the luns | |
CN105183374A (zh) | 一种数据读写方法以及主板 | |
KR20230012440A (ko) | 이기종 메모리 시스템에서의 로드 밸런싱을 위한 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20100210 |