CN105892938A - 一种磁盘缓存***的优化方法及*** - Google Patents

一种磁盘缓存***的优化方法及*** Download PDF

Info

Publication number
CN105892938A
CN105892938A CN201610184620.4A CN201610184620A CN105892938A CN 105892938 A CN105892938 A CN 105892938A CN 201610184620 A CN201610184620 A CN 201610184620A CN 105892938 A CN105892938 A CN 105892938A
Authority
CN
China
Prior art keywords
file
disk
hard disk
mechanical hard
files
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610184620.4A
Other languages
English (en)
Inventor
李洪福
刘斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Original Assignee
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Holding Beijing Co Ltd, LeTV Cloud Computing Co Ltd filed Critical LeTV Holding Beijing Co Ltd
Priority to CN201610184620.4A priority Critical patent/CN105892938A/zh
Publication of CN105892938A publication Critical patent/CN105892938A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/068—Hybrid storage device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种磁盘缓存***的优化方法，其中包括：确定磁盘缓存***中的第一机械硬盘中的各文件的历史访问频次；将历史访问频次超过预定阈值的文件确定为热点文件；将第一机械硬盘中的所有文件连续写入第二机械硬盘，其中，相对于所有文件中除热点文件之外的剩余文件而言，热点文件的文件数据自磁盘外道向磁盘内道优先写入第二机械硬盘；基于连续写入所有文件的第二机械硬盘中的文件数据，生成磁盘镜像；利用磁盘镜像覆盖第一机械硬盘中的文件。本发明实施例还提供一种流媒体文件分发***。实现了对磁盘缓存***文件的碎片整理，并将热点文件和冷点文件的分区存放，并提升了磁盘缓存***中热点文件的响应速度。

Description

一种磁盘缓存***的优化方法及***
技术领域
本发明实施例涉及计算机存储技术领域，尤其涉及一种磁盘缓存***的优化方法及***。
背景技术
随着计算机技术的飞速发展，现代社会已经进入网络时代，而计算机就是网络的载体和工具，人们对于计算机的计算速度和功能的要求越来越高，为了满足这些要求，计算机不仅要从软件产品上提高效能，硬件存储方面也要做出相应改进，以便适应越来越多样化的功能需求。
计算机在运行的过程中，会产生一些磁盘碎片，时间长了磁盘碎片会造成***性能变差，例如运行程序、浏览网页、存储文件时速度变慢。因此，人们需要利用磁盘整理软件对磁盘碎片进行分析和整理，以保持磁盘文件相对于存储空间的连续性。现有技术中常采用磁盘碎片整理工具来对碎片进行整理，如Windows操作***自带的碎片整理工具，或其它第三方的磁盘碎片整理工具；而传统的磁盘碎片整理工具整理磁盘碎片的方法是将文件碎片从其原存储位置搬运到空闲的存储空间上，将分散的碎片重新以连续的方式排列回原存储空间上，从而形成文件在存储空间上的连续保存。
上述现有技术中磁盘碎片的整理存在如下问题：
首先，由于在磁盘碎片整理的过程中几乎不能进行存取操作，对于剩余磁盘空间过小时，或存在严重碎片化的文件，整理时间非常长且整理效果很差，甚至由于不存在足够的空闲存储空间，而根本无法对其进行碎片整理；再者，根据用户对磁盘文件的访问频率可将磁盘文件分为操作频繁的热点文件和操作不频繁的冷点文件，通过现有技术中的磁盘整理方法无法实现热点文件和冷点文件的分区存储，而热点文件又是比较符合磁盘用户的操作习惯的，故当磁盘用户对多个热点文件进行读取时，由于热点文件存储空间的不连续性，增大了寻道时间，严重影响了磁盘读取的用户体验。
发明内容
本发明实施例提供一种磁盘缓存***的优化方法及***，用以解决上述现有技术中所阐述的至少一个技术问题。
一方面，本发明实施例提供一种磁盘缓存***的优化方法，其中包括：
确定所述磁盘缓存***中的第一机械硬盘中的各文件的历史访问频次；
将历史访问频次超过预定阈值的文件确定为热点文件；
将第一机械硬盘中的所有文件连续写入第二机械硬盘，其中，相对于所有文件中除所述热点文件之外的剩余文件而言，所述热点文件的文件数据自磁盘外道向磁盘内道优先写入所述第二机械硬盘；
基于所述连续写入所有文件的所述第二机械硬盘中的文件数据，生成磁盘镜像；
利用所述磁盘镜像覆盖所述第一机械硬盘中的文件。
另一方面，本发明实施例还提供一种用于磁盘缓存***的优化***，其中包括：
历史访问频次确定单元，用于确定所述磁盘缓存***中的第一机械硬盘中的各文件的历史访问频次；
热点文件确定单元，用于将历史访问频次超过预定阈值的文件确定为热点文件；
写入控制单元，用于将第一机械硬盘中的所有文件连续写入第二机械硬盘，其中，相对于所有文件中除所述热点文件之外的剩余文件而言，所述热点文件的文件数据自磁盘外道向磁盘内道优先写入所述第二机械硬盘；
镜像生成单元，用于基于所述连续写入所有文件的所述第二机械硬盘中的文件数据，生成磁盘镜像；
数据还原单元，用于利用所述磁盘镜像覆盖所述第一机械硬盘中的文件。
通过本发明实施例提供的磁盘缓存***的优化方法及***，实现了对磁盘缓存***的碎片整理，并实现了整理之后的磁盘缓存***中的热点文件在机械硬盘上的连续存储，提升了读写热点文件的性能，相比于现有技术；本发明实施例具有如下有益效果：
首先，通过将磁盘缓存***中待整理的机械硬盘连续写入另一机械硬盘，然后将另一机械硬盘所生成的磁盘镜像覆盖待整理机械硬盘的文件，完成对待整理机械硬盘的碎片整理，使得待整理机械硬盘中包含热点文件在内的所有文件实现了存储的连续性，提高了磁盘缓存***的服务处理性能；再者，热点文件一般是比较符合磁盘访问者的操作习惯的，由于一般机械硬盘的0磁道在外道上，而磁头则是从0磁道开始寻道搜索文件的，通过本发明实施例使得整理后的磁盘外道上主要存储的是符合磁盘访问者的操作习惯的热点文件，实现了当磁盘访问者再次访问热点文件时，能减少寻道所消耗的时间，并提高服务响应速度以优化用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出的是本发明一实施例的磁盘缓存***的优化方法的流程图；
图2示出的是本发明一实施例的磁盘缓存***的优化***的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1示出的是本发明一实施例的磁盘缓存***的优化方法的流程图，包括：
S11：确定所述磁盘缓存***中的第一机械硬盘中的各文件的历史访问频次；
S12：将历史访问频次超过预定阈值的文件确定为热点文件；
S13：将第一机械硬盘中的所有文件连续写入第二机械硬盘，其中，相对于所有文件中除所述热点文件之外的剩余文件而言，所述热点文件的文件数据自磁盘外道向磁盘内道优先写入所述第二机械硬盘；
S14：基于所述连续写入所有文件的所述第二机械硬盘中的文件数据，生成磁盘镜像；
S15：利用所述磁盘镜像覆盖所述第一机械硬盘中的文件。
通过本发明实施例提供的磁盘缓存***的优化方法，实现了对磁盘缓存***的碎片整理，并实现了整理之后的磁盘缓存***中的热点文件在机械硬盘上的连续存储，提升了读写热点文件的性能；相比于现有技术，本发明实施例方法具有如下有益效果：
首先，通过将磁盘缓存***中待整理的机械硬盘连续写入另一机械硬盘，然后将另一机械硬盘所生成的磁盘镜像覆盖待整理机械硬盘的文件，完成对待整理机械硬盘的碎片整理，使得待整理机械硬盘中包含热点文件在内的所有文件实现了存储的连续性，相比于现有技术中在一个机械硬盘内进行碎片整理，避免了在碎片整理时数据在存储区之间频繁的搬迁，提高了磁盘缓存***经优化处理后的服务处理性能；再者，热点文件一般是比较符合磁盘访问者的操作习惯的，由于一般机械硬盘的0磁道在外道上，而磁头则是从0磁道开始寻道搜索文件的，通过本发明实施例使得整理后的磁盘外道上主要存储的是符合磁盘访问者的操作习惯的热点文件，实现了当磁盘访问者再次访问热点文件时，能减少寻道所消耗的时间，并提高服务响应速度以优化用户体验。
作为本发明实施例方法的一种优选实施例，磁盘缓存***还包括固态硬盘，在将第一机械硬盘中的所有文件连续写入第二机械硬盘后，还包括：将所述所有文件中的文件元数据写入固态硬盘。
应当解释的是本发明实施例方法中的固态硬盘和待整理机械硬盘是相关联的，即当获取得到关于待整理机械硬盘的访问请求时，优先查询上述固态硬盘；另外，元数据为描述数据的数据，主要是描述数据属性的信息，或者用来支持如指示存储位置、历史数据、资源查找、文件记录等功能；另外，元数据也是一种电子式目录，为了达到编制目录的目的，元数据必须能够描述数据的内容或特色，进而通过元数据可以达成协助数据检索的目的。
固态硬盘是固态存储，属于Flash memory，使用寿命长，不容易损坏，且具有比机械硬盘更快的读写速度，在现有技术中经常在计算机中加装固态硬盘作为***盘，进入***时间要比普通的快20％以上；在本发明实施例方法中，通过将待整理机械硬盘的磁盘文件的文件元数据写入固态硬盘，实现了在接收到相对应于机械硬盘的访问请求时，能够通过查询固态硬盘中所存储的文件元数据获取对应于所述访问请求的位于机械硬盘中的数据文件。
作为本发明实施例方法的一种优选实施例，在将所有文件中的文件元数据写入固态硬盘后，还包括：将不超过固态硬盘剩余容量的热点文件写入固态硬盘。
由于热点文件是比较符合磁盘***访问者操作习惯的文件，通常可以预测磁盘***访问者在下次访问磁盘缓存***时访问热点文件的几率相对于其他文件也会更大一些；通过本发明实施例方法将热点文件备份写入固态硬盘，实现了热点文件针对访问请求的快速响应。
作为本发明实施例方法的一种优选实施例，所述热点文件的写入方式为按照热点文件的历史访问频次由高向低依次写入。
作为进一步的优化，按照热点文件的历史访问频次的高低顺序依次对热点文件进行排序，并生成相应的热点文件队列；按照上述热点文件队列依次将热点文件写入。
应当解释的是，本发明实施例方法中的热点文件的写入处理不仅包含将待整理机械硬盘中的热点文件依次写入备份机械硬盘，也包含将备份机械硬盘中的热点文件依次写入固态硬盘，还包含将待整理机械硬盘中的热点文件依次写入固态硬盘。
虽然固态硬盘具有良好的读写性能，但是一般价格较贵且存储容量较小，故当磁盘缓存***中的文件数据比较庞大的时候，在将所有的文件元数据备份至固态硬盘之后，一般情况下无法实现将热点文件也完全备份至固态硬盘；一方面，通过本发明实施例方法，实现了优先将热点文件中相对于其他热点文件的热度较高的热点文件写入固态硬盘，保障磁盘缓存***对当前热度较高的热点文件的快速响应；另一方面，由于磁盘缓存***中的文件热度一般情况下是会不断变化的，通过本方实施例方法，可以更新固态硬盘中的热点文件，保证固态硬盘中的热点文件中一定包含当前热度最高的热点文件。
作为本发明实施例方法的一种优选实施例，确定磁盘缓存***中的第一机械硬盘中的各文件的历史访问频次包括：周期性地检测第一机械硬盘中的各文件在自检测之时起往前固定时间段内的历史访问频次。
更具体地，可以通过周期性地查询第一机械磁盘的访问日志文件，确定在较上一次查询的间隔查询期间内第一机械硬盘中的各文件所被访问的历史访问频次。
通过本发明实施例方法，实现了定期更新待优化整理磁盘中所有文件的文件热度，并重新确定待优化整理磁盘中的热点文件。
作为本发明实施例方法的一种优选实施例，与上述第二机械硬盘相关联的机械硬盘的数量为多个，在利用所述磁盘镜像覆盖所述第一机械硬盘中的文件之后还包括：
清空所述第二机械硬盘中所有的文件数据；
对所述磁盘缓存***中除所述第二机械硬盘和第一机械硬盘之外的其他机械硬盘依次重复执行上述优化整理步骤。
作为进一步的优化，磁盘缓存***中的待整理的多个磁盘之间具有一个关于优化处理先后次序的优先级。
通过本发明实施例方法，利用一个备份机械硬盘完成了对磁盘缓存***中待整理的多个机械硬盘的优化处理。
在本发明的一种具体实施例中，磁盘缓存***包含有待优化整理的第一机械硬盘，关于对第一机械硬盘优化整理的具体实施方法如下：
磁盘缓存***判断当前***时间为优化整理时间时，则利用另一空磁盘作为第二机械硬盘对第一机械硬盘执行优化整理步骤，包括：
查询第一机械硬盘中的访问日志文件以确定第一机械硬盘中各文件的历史访问频次；
将历史访问频次超过预定阈值的文件确定为热点文件；
获取第一机械硬盘中所有热点文件的热点文件存储地址，并根据上述热点文件存储地址将第一机械硬盘中的所有热点文件自磁盘外道向磁盘内道连续写入第二机械硬盘；
当第一机械硬盘中的所有热点文件均写入第二机械硬盘后，获取除热点文件之外的普通文件的普通文件存储地址，并按照上述普通文件存储地址依次将普通文件连续写入第二机械硬盘。
当第一机械硬盘中的所有文件均写入第二机械硬盘后，则基于上述连续写入所有文件的所述第二机械硬盘中的文件数据，生成磁盘镜像；
将上述磁盘镜像以镜像拷入的方式写入第一机械硬盘，完成对第一机械硬盘中存储文件的替换。
进一步地，将第二机械硬盘中的文件元数据备份至与第二机械硬盘相关联的固态硬盘上，当存在对第二机械硬盘的访问请求时，优先访问上述固态硬盘。
进一步地，将不超过所述固态硬盘剩余容量的热点文件写入所述固态硬盘。
作为一种优化，本具体实施例还存在有热点文件的热度评价机制，即通过热点文件的访问频次对热点文件进行热度排序，故在上述热点文件写入第二机械硬盘和/或固态硬盘的方式可以是按照热度高的热点文件优先写入的方式执行的。由此不难看出，本发明实施例方法并不要求所有的热点文件都能备份至固态硬盘，但是可以实现将热度值最高的一些热点文件写入固态硬盘。
进一步地，在对上述第一机械硬盘执行完成优化整理后，继续对磁盘缓存***中的其他待整理的机械硬盘重复执行以上优化整理步骤。
关于本发明具体实施例方法应用的一方面，可以是应用在网络运营商所部署的服务器上，关于上述优化整理时间应当选定为服务器被访问请求频次较低的时段，例如选择在每天的早上的两点到四点，即磁盘缓存***每天早上两点开始执行优化整理工作；通过本发明具体实施例实现了每天早上2点都会重新对热点文件进行确定，进而更新磁盘外道和机械硬盘上的热点文件，实现了对网络服务商所部署的服务器中热点文件的服务处理能力，同时也实现了定期更新固态硬盘上所备份的元数据；进一步关于上述预定阈值的判断可以参照服务器的每天文件的平均访问频次而确定，例如：一个网站服务器的日常平均每天被访问100万次，而服务器中具有100个数据文件，则可以将预定阈值确定为平均每天一万次，进一步地当某一文件的当天访问次数超过1万次，则可以确定该文件为热点文件。
参见图2示出的是本发明一实施例的一种磁盘缓存优化***的结构示意图，包括：
历史访问频次确定单元，用于确定所述磁盘缓存***中的第一机械硬盘中的各文件的历史访问频次；
热点文件确定单元，用于将历史访问频次超过预定阈值的文件确定为热点文件；
写入控制单元，用于将第一机械硬盘中的所有文件连续写入第二机械硬盘，其中，相对于所有文件中除所述热点文件之外的剩余文件而言，所述热点文件的文件数据自磁盘外道向磁盘内道优先写入所述第二机械硬盘；
镜像生成单元，用于基于所述连续写入所有文件的所述第二机械硬盘中的文件数据，生成磁盘镜像；
数据还原单元，用于利用所述磁盘镜像覆盖所述第一机械硬盘中的文件。
通过本发明实施例提供的磁盘缓存***的优化***，实现了对磁盘缓存***的碎片整理，并实现了整理之后的磁盘缓存***中的热点文件在机械硬盘上的连续存储，提升了读写热点文件的性能，相比于现有技术；本发明实施例具有如下有益效果：
首先，通过将磁盘缓存***中待整理的机械硬盘连续写入另一机械硬盘，然后将另一机械硬盘所生成的磁盘镜像覆盖待整理机械硬盘的文件，完成对待整理机械硬盘的碎片整理，使得待整理机械硬盘中包含热点文件在内的所有文件实现了存储的连续性，提高了磁盘缓存***的服务处理性能；再者，热点文件一般是比较符合磁盘访问者的操作习惯的，由于一般机械硬盘的0磁道在外道上，而磁头则是从0磁道开始寻道搜索文件的，通过本发明实施例使得整理后的磁盘外道上主要存储的是符合磁盘访问者的操作习惯的热点文件，实现了当磁盘访问者再次访问热点文件时，能减少寻道所消耗的时间，并提高服务响应速度以优化用户体验。
作为本发明实施例***的一种优选实施例，所述磁盘缓存***还包括固态硬盘，其特征在于，所述写入控制单元还包括：
元数据写入模块，用于将所述所有文件中的文件元数据写入固态硬盘。
应当解释的是本发明实施例***中的固态硬盘和待整理机械硬盘是相关联的，即当获取得到关于待整理机械硬盘的访问请求时，优先查询上述固态硬盘。
固态硬盘是固态存储，属于Flash memory，使用寿命长，不容易损坏，且具有比机械硬盘更快的读写速度，在现有技术中经常加装SSD固态硬盘作为***盘，进入***时间要比普通的快20％以上；在本发明实施例***中，通过将待整理机械硬盘的磁盘文件的文件元数据写入固态硬盘，实现了在接收到相对应于机械硬盘的访问请求时，能够通过查询固态硬盘中所存储的文件元数据获取对应于所述访问请求的位于机械硬盘中的数据文件。
作为本发明实施例***的一种优选实施例，所述写入控制单元还包括：与所述元数据写入模块相连接的热点文件写入模块，用于将不超过所述固态硬盘剩余容量的热点文件写入所述固态硬盘。
由于热点文件是比较符合磁盘***访问者操作习惯的文件，通常可以预测磁盘***访问者在下次访问磁盘缓存***时访问热点文件的几率相对于其他文件也会更大一些；通过本发明实施例***将热点文件备份写入固态硬盘，实现了热点文件针对访问请求的快速响应。
作为本发明实施例***的一种优选实施例，所述写入控制单元还包括：热点文件输入模块，用于将热点文件的写入方式为按照热点文件的历史访问频次由高向低依次写入。
作为进一步的优化，上述写入控制单元还包括热点排队模块，用于按照热点文件的历史访问频次的高低顺序依次对热点文件进行排序，并生成相应的热点文件队列以依次将热点文件写入。
应当解释的是，本发明实施例***中的热点文件的写入处理不仅包含将待整理机械硬盘中的热点文件依次写入备份机械硬盘，也包含将备份机械硬盘中的热点文件依次写入固态硬盘，还包含将待整理机械硬盘中的热点文件依次写入固态硬盘。
虽然固态硬盘具有良好的读写性能，但是一般价格较贵且存储容量较小，故当磁盘缓存***中的文件数据比较庞大的时候，在将所有的文件元数据备份至固态硬盘之后，一般情况下无法实现将热点文件也完全备份至固态硬盘；一方面，通过本发明实施例***，实现了优先将热点文件中相对于其他热点文件的热度较高的热点文件写入固态硬盘，保障磁盘缓存***对当前热度较高的热点文件的快速响应；另一方面，由于磁盘缓存***中的文件热度一般情况下是会不断变化的，通过本方实施例***，可以更新固态硬盘中的热点文件，保证固态硬盘中的热点文件中一定包含当前热度最高的热点文件。
作为本发明实施例***的一种优选实施例，所述历史访问频次确定单元用于周期性地检测所述第一机械硬盘中的各文件在自检测之时起往前固定时间段内的历史访问频次。
通过本发明实施例***，实现了定期更新待优化整理磁盘中所有文件的文件热度，并重新确定待优化整理磁盘中的热点文件。
作为本发明实施例***的一种优选实施例，与上述第二机械硬盘相关联的机械硬盘的数量为多个，与所述数据还原单元连接的还包括重复优化单元，用于在对所述第一机械硬盘完成执行优化整理步骤后，对所述磁盘缓存***中的其他机械硬盘依次重复执行上述优化整理步骤。
作为进一步的优化，所述重复优化单元还包括优先级排序模块，用于确定上述磁盘缓存***中的待整理的多个磁盘之间的关于处理先后次序的优先级。
通过本发明实施例***，利用一个备份机械硬盘完成了对磁盘缓存***中待整理的多个机械硬盘的优化处理。
本发明实施例中可以通过硬件处理器来实现相关功能模块和单元。
在本发明实施例***一方面的应用上，本发明实施例***可以搭建在服务器中，尤其是搭建在流媒体服务器上，当本发明实施例应用在流媒体服务器上时，可以极大地优化当前热点流媒体文件的响应速度，优化了大多数客户群体的用户体验。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种磁盘缓存***的优化方法，其中包括：
确定所述磁盘缓存***中的第一机械硬盘中的各文件的历史访问频次；
将历史访问频次超过预定阈值的文件确定为热点文件；
将第一机械硬盘中的所有文件连续写入第二机械硬盘，其中，相对于所有文件中除所述热点文件之外的剩余文件而言，所述热点文件的文件数据自磁盘外道向磁盘内道优先写入所述第二机械硬盘；
基于所述连续写入所有文件的所述第二机械硬盘中的文件数据，生成磁盘镜像；
利用所述磁盘镜像覆盖所述第一机械硬盘中的文件。
2.根据权利要求1所述的方法，所述磁盘缓存***还包括固态硬盘，其中，在将第一机械硬盘中的所有文件连续写入第二机械硬盘后，还包括：将所述所有文件中的文件元数据写入固态硬盘。
3.根据权利要求2所述的方法，其中，在将所述所有文件中的文件元数据写入固态硬盘后，还包括：将不超过所述固态硬盘剩余容量的热点文件写入所述固态硬盘。
4.根据权利要求1或3所述的方法，其中，所述热点文件的写入方式为按照热点文件的历史访问频次由高向低依次写入。
5.根据权利要求1-3中任一项所述的方法，其中，所述确定所述磁盘缓存***中的第一机械硬盘中的各文件的历史访问频次包括：周期性地检测所述第一机械硬盘中的各文件在自检测之时起往前固定时间段内的历史访问频次。
6.一种用于磁盘缓存***的优化***，其中，包括：
历史访问频次确定单元，用于确定所述磁盘缓存***中的第一机械硬盘中的各文件的历史访问频次；
热点文件确定单元，用于将历史访问频次超过预定阈值的文件确定为热点文件；
写入控制单元，用于将第一机械硬盘中的所有文件连续写入第二机械硬盘，其中，相对于所有文件中除所述热点文件之外的剩余文件而言，所述热点文件的文件数据自磁盘外道向磁盘内道优先写入所述第二机械硬盘；
镜像生成单元，用于基于所述连续写入所有文件的所述第二机械硬盘中的文件数据，生成磁盘镜像；
数据还原单元，用于利用所述磁盘镜像覆盖所述第一机械硬盘中的文件。
7.根据权利要求6所述的优化***，所述磁盘缓存***还包括固态硬盘，其中，所述写入控制单元还包括：
元数据写入模块，用于将所述所有文件中的文件元数据写入固态硬盘。
8.根据权利要求7所述的优化***，其中，所述写入控制单元还包括：与所述元数据写入模块相连接的热点文件写入模块，用于将不超过所述固态硬盘剩余容量的热点文件写入所述固态硬盘。
9.根据权利要求6或8所述的优化***，其中，所述写入控制单元还包括：热点文件输入模块，用于将热点文件的写入方式为按照热点文件的历史访问频次由高向低依次写入。
10.根据权利要求6-8任一项所述的优化***，其中，所述历史访问频次确定单元用于周期性地检测所述第一机械硬盘中的各文件在自检测之时起往前固定时间段内的历史访问频次。
CN201610184620.4A 2016-03-28 2016-03-28 一种磁盘缓存***的优化方法及*** Pending CN105892938A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610184620.4A CN105892938A (zh) 2016-03-28 2016-03-28 一种磁盘缓存***的优化方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610184620.4A CN105892938A (zh) 2016-03-28 2016-03-28 一种磁盘缓存***的优化方法及***

Publications (1)

Publication Number Publication Date
CN105892938A true CN105892938A (zh) 2016-08-24

Family

ID=57014261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610184620.4A Pending CN105892938A (zh) 2016-03-28 2016-03-28 一种磁盘缓存***的优化方法及***

Country Status (1)

Country Link
CN (1) CN105892938A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108132759A (zh) * 2018-01-15 2018-06-08 网宿科技股份有限公司 一种文件***中管理数据的方法和装置
CN108804351A (zh) * 2018-05-30 2018-11-13 郑州云海信息技术有限公司 一种缓存置换方法以及装置
CN110704336A (zh) * 2019-09-26 2020-01-17 北京神州绿盟信息安全科技股份有限公司 一种数据缓存方法及装置
WO2021237645A1 (zh) * 2020-05-29 2021-12-02 深圳市欢太科技有限公司 镜像更新方法、装置、电子设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419828A (zh) * 2008-11-20 2009-04-29 杭州海康威视数字技术股份有限公司 一种模拟磁带串行模式的硬盘视频记录及检索方法
CN102194010A (zh) * 2011-06-16 2011-09-21 华中科技大学 虚拟文件***碎片的零拷贝整理方法
CN103678180A (zh) * 2013-11-29 2014-03-26 武汉天喻信息产业股份有限公司 智能卡非易失性存储器的管理方法
US20140229657A1 (en) * 2013-02-08 2014-08-14 Microsoft Corporation Readdressing memory for non-volatile storage devices
CN104933169A (zh) * 2015-06-29 2015-09-23 南开大学 基于热点文件优先的文件***碎片整理方法
CN105373487A (zh) * 2015-12-16 2016-03-02 浪潮(北京)电子信息产业有限公司 一种存储操作***的碎片整理方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419828A (zh) * 2008-11-20 2009-04-29 杭州海康威视数字技术股份有限公司 一种模拟磁带串行模式的硬盘视频记录及检索方法
CN102194010A (zh) * 2011-06-16 2011-09-21 华中科技大学 虚拟文件***碎片的零拷贝整理方法
US20140229657A1 (en) * 2013-02-08 2014-08-14 Microsoft Corporation Readdressing memory for non-volatile storage devices
CN103678180A (zh) * 2013-11-29 2014-03-26 武汉天喻信息产业股份有限公司 智能卡非易失性存储器的管理方法
CN104933169A (zh) * 2015-06-29 2015-09-23 南开大学 基于热点文件优先的文件***碎片整理方法
CN105373487A (zh) * 2015-12-16 2016-03-02 浪潮(北京)电子信息产业有限公司 一种存储操作***的碎片整理方法及***

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108132759A (zh) * 2018-01-15 2018-06-08 网宿科技股份有限公司 一种文件***中管理数据的方法和装置
CN108132759B (zh) * 2018-01-15 2021-04-16 网宿科技股份有限公司 一种文件***中管理数据的方法和装置
CN108804351A (zh) * 2018-05-30 2018-11-13 郑州云海信息技术有限公司 一种缓存置换方法以及装置
CN108804351B (zh) * 2018-05-30 2021-10-29 郑州云海信息技术有限公司 一种缓存置换方法以及装置
CN110704336A (zh) * 2019-09-26 2020-01-17 北京神州绿盟信息安全科技股份有限公司 一种数据缓存方法及装置
CN110704336B (zh) * 2019-09-26 2021-10-15 绿盟科技集团股份有限公司 一种数据缓存方法及装置
WO2021237645A1 (zh) * 2020-05-29 2021-12-02 深圳市欢太科技有限公司 镜像更新方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
US9355112B1 (en) Optimizing compression based on data activity
US9128855B1 (en) Flash cache partitioning
US6615318B2 (en) Cache management system with multiple cache lists employing roving removal and priority-based addition of cache entries
US20130275653A1 (en) Multi-tier storage using multiple file sets
US9389965B1 (en) System and method for improving performance of backup storage system with future access prediction
US8549526B2 (en) Access control apparatus and access control method
US7565494B1 (en) Configuring a bounded cache prefetch policy in a computer system employing object addressable storage
CN104834675A (zh) 一种基于用户行为分析的查询性能优化方法
US7565493B1 (en) Configuring a cache replacement policy in a computer system employing object addressable storage
CN110019361B (zh) 一种数据的缓存方法及装置
JP2008015623A (ja) 複数種類の記憶デバイスを備えたストレージシステムの制御装置
CN105892938A (zh) 一种磁盘缓存***的优化方法及***
KR100954624B1 (ko) 개인 선호도에 따라서 콘텐츠를 제공하기 위한 방법 및시스템
US10712943B2 (en) Database memory monitoring and defragmentation of database indexes
JP2018005446A (ja) 情報処理装置、ストレージ制御プログラム、及びストレージ制御方法
JP7176209B2 (ja) 情報処理装置
US20170004087A1 (en) Adaptive cache management method according to access characteristics of user application in distributed environment
US20090182957A1 (en) Data storage apparatus
CN100458792C (zh) 用于管理海量存储***的方法和数据处理***
US20180341423A1 (en) Storage control device and information processing system
CN102609363B (zh) 一种缓存服务器内容的老化方法及缓存服务器
US10585802B1 (en) Method and system for caching directories in a storage system
CN109582233A (zh) 一种数据的缓存方法和装置
US10185660B2 (en) System and method for automated data organization in a storage system
US20060015680A1 (en) Apparatus and method for data storage, and computer product

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160824