CN109343789A - 一种基于io场景识别的读加速方法、装置及电子设备 - Google Patents

一种基于io场景识别的读加速方法、装置及电子设备 Download PDF

Info

Publication number
CN109343789A
CN109343789A CN201810866060.XA CN201810866060A CN109343789A CN 109343789 A CN109343789 A CN 109343789A CN 201810866060 A CN201810866060 A CN 201810866060A CN 109343789 A CN109343789 A CN 109343789A
Authority
CN
China
Prior art keywords
scene
read requests
grouping
read
library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810866060.XA
Other languages
English (en)
Other versions
CN109343789B (zh
Inventor
陈元强
李文祥
吴建辉
吕定灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen mulangyun Technology Co.,Ltd.
Original Assignee
Shenzhen Mulangyun Data Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mulangyun Data Co Ltd filed Critical Shenzhen Mulangyun Data Co Ltd
Publication of CN109343789A publication Critical patent/CN109343789A/zh
Application granted granted Critical
Publication of CN109343789B publication Critical patent/CN109343789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本申请实施例公开了一种基于IO场景识别的读加速方法，应用于分布式存储***，所述方法包括：接收IO读请求；将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库；启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征和所述IO读请求对应的磁盘数据预读到内存缓存；响应所述IO读请求，对预读的内存缓存进行读取，返回所述IO读请求对应的数据。通过本方法，可以实现IO读加速。

Description

一种基于IO场景识别的读加速方法、装置及电子设备
技术领域
本申请涉及云计算技术领域，更具体地，涉及一种基于IO场景识别的读加速方法、装置及电子设备。
背景技术
在云计算环境下，采用分布式存储***读写数据时，通常以数据块为单位，数据块从KB到MB不等。一个文件或大块数据写入到分布式存储***中，通常要对数据块进行再分块，并随机分布到各个服务器的磁盘中。由于普通机械磁盘读写速度通常比较慢，特别是随机读，如果数据块在KB级别，每秒钟也就几MB。
发明内容
鉴于上述问题，本申请提出了一种基于IO场景识别的读加速方法、装置及电子设备，已解决上述技术问题。
本申请实施例提供了一种基于IO场景识别的读加速方法，应用于分布式存储***，所述方法包括：接收IO读请求；将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库；启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存；响应所述IO读请求，对预读的内存缓存进行读取，返回所述IO读请求对应的数据。
本申请实施例还提供了一种基于IO场景识别的读加速装置，所述装置包括：接收模块、处理模块、预读模块以及响应模块，其中，所述接收模块用于接收IO读请求；所述处理模块用于将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库；所述预读模块用于启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存；所述相应模块用于响应所述IO读请求，对预读的内存缓存进行读取，返回所述IO读请求对应的数据。
本申请实施例还提供了一种基于IO场景识别的读加速电子设备，所述电子设备包括存储器以及处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行上述第一方面提供的基于IO场景识别的读加速方法。
相对于现有技术，本申请提供的基于IO场景识别的读加速方法、装置及电子设备，通过接收IO读请求，将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库，启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存，响应所述IO读请求，对预读的内存缓存进行读取，返回与所述IO读请求对应的数据，从而实现了IO读加速。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请第一实施例提出的基于IO场景识别的读加速方法流程图。
图2示出了本申请第二实施例提出的基于IO场景识别的读加速方法流程图。
图3示出了本申请第三实施例提出的基于IO场景识别的读加速方法流程图。
图4示出了本申请第四实施例提出的基于IO场景识别的读加速方法流程图。
图5示出了本申请第五实施例提出的基于IO场景识别的读加速方法流程图。
图6示出了本申请第六实施例提出的基于IO场景识别的读加速方法流程图。
图7示出了本申请第七实施例提出的基于IO场景识别的读加速方法流程图。
图8示出了本申请第八实施例提出的基于IO场景识别的读加速方法流程图。
图9示出了本申请第九实施例提出的基于IO场景识别的读加速方法流程图。
图10示出了本申请第十实施例提出的基于IO场景识别的读加速方法流程图。
图11示出了本申请第十一实施例提出的基于IO场景识别的读加速方法流程图。
图12示出了本申请第十二实施例提出的基于IO场景识别的读加速方法流程图。
图13示出了本申请第十三实施例提供的基于IO场景识别的读加速装置的一种结构框图。
图14示出了本申请实施例的用于执行根据本申请实施例的基于IO场景识别的读加速方法的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，采用分布式存储***读写数据时，当应用层读写一个文件，通常会发起数十万个随机IO读请求到磁盘，读写一个上GB级数据，速度会相当的慢。发明人发现，在分布式***中，(1)无论是随机IO读操作还是顺序IO读操作，读的速度都比较慢；(2)简单的预读，会读更多的数据，带来更多的网络、磁盘读写性能消耗；(3)对于每次大量有规律的非连续的随机读写，比如启动***和应用，遍历文件***等速度会很慢。因此，发明人提出了本发明实施例中的基于IO场景识别的读加速方法。下面将结合附图具体描述本申请中的各实施例。
第一实施例
请参阅图1，图1示出了本申请第一实施例提供的基于IO场景识别的读加速方法的流程示意图。下面将针对图1所示的流程进行详细的阐述，上述的基于IO场景识别的读加速方法具体地可以包括以下步骤：
步骤S110：接收IO读请求。
当存储底层收到上层IO读请求时，表明上层出现IO读需求，所述上层可以是中间层、和/或应用层。
步骤S120：将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库。
所述IO场景分组集合是IO历史数据库中的场景分组集合，且具备连续性分析特征。将所述IO读请求的场景与IO场景分组集合进行相似度匹配，即将所述IO读请求的场景与IO历史数据库中的场景分组集合进行相似度匹配。
相似度匹配即比较所述IO读请求的场景与IO历史数据库中的场景分组集合的相似度，找出IO历史数据库中与所述IO读请求的场景相似度最接近的场景分组集合中的分组库。相似度越接近表明所述IO读请求的场景特征与历史数据库中的IO场景分组集合的特征越接近，即所述IO场景分组集合与所述IO读请求的场景相似度是匹配的。
确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库，即确定与所述IO读请求的场景特征最接近的包含在IO场景分组集合中的IO场景分组库对应的IO场景分组特征库，滤除与所述IO读请求的场景相似度不匹配的IO场景分组库对应的IO场景分组特征库。
步骤S130：启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存。
在步骤S120中确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库之后，启动预读场景，将与所述IO读请求的场景相似度相匹配的包含在IO历史数据库中的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存中。所述IO读请求对应的磁盘数据即包含所述IO读请求的磁盘数据。
步骤S140：响应所述IO读请求，对预读的内存缓存进行读取，返回所述IO读请求对应的数据。
存储底层响应所述IO读请求，对预读的内存缓存进行读取，即对内存缓存中与所述IO读请求的场景相似度匹配的包含在IO场景分组集合中的IO场景分组库对应的IO分组场景特征库和IO读请求对应的磁盘数据进行读取，并返回所读取的IO场景分组特征库和包含IO读请求的磁盘数据。
第二实施例
请参阅图2，图2示出了本申请第二实施例提供的基于IO场景识别的读加速方法的流程示意图。下面将针对图2所示的流程进行详细的阐述，所述基于IO场景识别的读加速方法具体可以包括以下步骤：
步骤S210：接收IO读请求。
步骤S210的具体过程可以参照第一实施例中的步骤S110，这里不再赘述。
步骤S220：初始化时间窗口t1。
当存储底层收到上层IO读请求，初始化时间窗口t1，所述初始化时间窗口是一个经验值。
步骤S230：统计所述时间窗口t1内所述IO读请求的场景特征。
统计所述时间窗口t1内所述IO读请求的场景特征，所述场景特征是以读偏移为基础对记录集合进行不连续判断得到的特征，所述场景特征包括目标文件ID，时间，读偏移，数据块指纹，和/或数据块位置。
步骤S240：将所述IO读请求的场景特征与IO场景分组集合中的IO场景分组库进行匹配。
将所述IO读请求的场景特征与IO场景分组集合中的IO场景分组库进行的匹配是相似度匹配。
步骤S250：获取与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库。
步骤S240的相似度匹配之后，获取与所述IO读请求的场景相似度匹配的IO场景分组库对应的IO场景分组特征库。
步骤S260：启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存。
步骤S270：响应所述IO读请求，对预读的内存缓存进行读取，返回所述IO读请求对应的数据。
步骤S260至步骤S270的具体过程可以参照第一实施例中的步骤S130至S140，这里不再赘述。
本申请第二实施例提供的基于IO场景识别的读加速方法，通过统计时间窗口t1内所述IO读请求的场景特征，并将所述IO读请求的场景特征与IO场景分组集合中的IO场景分组库与进行匹配，获取与所述IO读请求的场景匹配的IO场景分组库，启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存，响应所述IO读请求，对预读的内存缓存进行读取，返回与所述IO读请求对应的数据。
第三实施例
请参阅图3，图3示出了本申请第三实施例提供的基于IO场景识别的读加速方法的流程示意图。下面将针对图3所示的流程进行详细的阐述，所述基于IO场景识别的读加速方法具体可以包括以下步骤：
步骤S310：接收IO读请求。
步骤S310的具体过程可以参照第二实施例中的步骤S210，这里不再赘述。
步骤S320：时间窗口t1初始化为分析窗口t的N％。
所述分析窗口t为IO历史数据库建立过程中统计历史IO读请求的场景特征的时间，将所述时间窗口t1初始化为分析窗口t的N％，即t1＝t×N％,N＜100，N值越大，所述时间窗口t1就越大，则在所述时间窗口t1内的IO读请求次数越多，IO读请求的场景越多，则对应的IO读请求的场景特征就越丰富，那么后续步骤S330中统计的所述IO读请求的场景特征也就越准确。相应地，N值越大，在较大的时间窗口t1内较多的IO读请求次数就会影响读加速的效果。
步骤S330：统计所述时间窗口t1内所述IO读请求的场景特征。
步骤S340：将所述IO读请求的场景特征与IO场景分组集合中的IO场景分组库进行匹配。
步骤S350：获取与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库。
步骤S360：启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存。
步骤S370：响应所述IO读请求，对预读的内存缓存进行读取，返回所述IO读请求对应的数据。
步骤S340至步骤S370的具体过程可以参照第二实施例中的步骤S240至S270，这里不再赘述。
本申请第三实施例提供的基于IO场景识别的读加速方法，接收IO请求，时间窗口t1初始化为分析窗口t的N％，通过统计时间窗口t1内所述IO读请求的场景特征，并将所述IO读请求的场景特征与IO场景分组集合中的IO场景分组库与进行匹配，获取与所述IO读请求的场景匹配的IO场景分组库，启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存，响应所述IO读请求，对预读的内存缓存进行读取，返回与所述IO读请求对应的数据。
第四实施例
请参阅图4，图4示出了本申请第四实施例提供的基于IO场景识别的读加速方法的流程示意图。下面将针对图4所示的流程进行详细的阐述，所述基于IO场景识别的读加速方法具体可以包括以下步骤：
步骤S410：接收IO读请求。
步骤S420：初始化时间窗口t1。
步骤S430：统计所述时间窗口t1内所述IO读请求的场景特征。
步骤S410至步骤S430的具体过程可以参照第二实施例中的步骤S210至步骤S230，这里不再赘述。
步骤S440：扫描所述IO场景分组集合，将所述IO读请求的场景特征与所述IO场景分组集合中的IO场景分组库进行相似度匹配。
扫描所述IO场景分组集合，即扫描IO历史数据库中的IO场景分组集合，将步骤S430中所统计的所述时间窗口t1内所述IO读请求的场景特征与所述IO场景分组集合中的IO场景分组库进行相似度匹配，即计算二者的相似度，比较二者的相似度。
步骤S450：确定与所述IO读请求的场景特征匹配成功的IO场景分组库对应的IO场景分组特征库。
确定与所述IO读请求的场景特征匹配成功的IO场景分组库，即通过步骤S440中所计算的相似度，确定与所述IO读请求的场景特征最接近的包含在IO场景分组集合中的IO场景分组库对应的IO场景分组特征库。
步骤S460：获取与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库。
步骤S470：启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存。
步骤S480：响应所述IO读请求，对预读的内存缓存进行读取，返回与所述IO读请求对应的数据。
步骤S460至步骤S470的具体过程可以参照第二实施例中的步骤S240至S270，这里不再赘述。
本申请第四实施例提供的基于IO场景识别的读加速方法，接收IO请求，初始化时间窗口t1，通过统计时间窗口t1内所述IO读请求的场景特征，扫描所述IO场景分组集合，将所述IO读请求的场景特征与所述IO场景分组集合中的IO场景分组库进行相似度匹配，确定与所述IO读请求的场景特征匹配成功的IO场景分组库，获取与所述IO读请求的场景匹配的IO场景分组库，启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存，响应所述IO读请求，对预读的内存缓存进行读取，返回与所述IO读请求对应的数据。
第五实施例
请参阅图5，图5示出了本申请第五实施例提供的基于IO场景识别的读加速方法的流程示意图。下面将针对图5所示的流程进行详细的阐述，所述基于IO场景识别的读加速方法具体可以包括以下步骤：
步骤S501：接收IO读请求。
步骤S502：时间窗口t1初始化为分析窗口t的N％。
步骤S503：统计所述时间窗口t1内所述IO读请求的场景特征。
步骤S501至步骤S503的具体过程可以参照第四实施例中的步骤S410至步骤S430，这里不再赘述。
步骤S504：设定次数tc，统计所述IO场景分组集合的平均偏移值a0。
所述次数tc为经验值，设定所述次数tc，统计所述IO场景分组集合的平均偏移值a0即计算所述IO场景分组集合的平均偏移值。
步骤S505：以第一个IO偏移为基础，在连续的所述次数tc内，获得所述IO读请求在所述时间窗口t1内的偏移平均值a1，计算a1与所述平均偏移值a0相减的差，再除以所述平均偏移值a0的商值，比较所述商值与0的大小。
所述以第一个IO偏移为基础，在连续的所述次数tc内，获得所述IO读请求在所述时间窗口t1内的偏移平均值a1，计算a1与所述平均偏移值a0相减的差，再除以所述平均偏移值a0的商值的计算过程即相似度匹配的过程。
步骤S506：如果所述商值等于0，判定所述IO读请求的场景与所述IO场景分组库匹配成功，则将所述IO请求的第一个IO对应的偏移值作为索引参数。
如果所述商值等于0，表明所述IO读请求的场景特征与所述IO场景分组库的特征相似度接近，即判定所述IO读请求的场景与所述IO场景分组库匹配成功，则将所述IO请求的第一个IO对应的偏移值作为索引参数，由于所述索引参数是一个偏移值，因此，通过所述索引参数就能快速定位与所述IO请求的场特征匹配的所述IO场景分组库特征。
步骤S507：如果所述商值不等于0，继续在下一个连续的所述次数tc内计算，直到找不到匹配偏移。
如果所述商值不等于0，表明所述IO读请求的场景特征与所述IO场景分组库的特征相似度很低，即判定所述IO读请求的场景与所述IO场景分组库匹配不成功。则继续下一个连续的所述次数tc内的相似度计算，直到将所述IO读请求遍历至找不到匹配偏移。
步骤S508：确定与所述IO读请求的场景特征匹配成功的IO场景分组库对应的IO场景分组特征库。
步骤S509：获取与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库。
步骤S510：启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存。
步骤S511：响应所述IO读请求，对预读的内存缓存进行读取，返回与所述IO读请求对应的数据。
步骤S508至步骤S511的具体过程可以参照第四实施例中的步骤S450至S480，这里不再赘述。
本申请第五实施例提供的基于IO场景识别的读加速方法，接收IO请求，时间窗口t1初始化为分析窗口t的N％，统计时间窗口t1内所述IO读请求的场景特征，设定次数tc，统计所述IO场景分组集合的平均偏移值a0，以第一个IO偏移为基础，在连续的所述次数tc内，获得所述IO读请求在所述时间窗口t1内的偏移平均值a1，计算a1与所述平均偏移值a0相减的差，再除以所述平均偏移值a0的商值，比较所述商值与0的大小，如果所述商值等于0，判定所述IO读请求的场景与所述IO场景分组库匹配成功，则将所述IO请求的第一个IO对应的偏移值作为索引参数，如果所述商值不等于0，继续在下一个连续的所述次数tc内计算，直到找不到匹配偏移，确定与所述IO读请求的场景特征匹配成功的IO场景分组库，获取与所述IO读请求的场景匹配的IO场景分组库，启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存，响应所述IO读请求，对预读的内存缓存进行读取，返回与所述IO读请求对应的数据。
第六实施例
请参阅图6，图6示出了本申请第六实施例提供的基于IO场景识别的读加速方法的流程示意图。下面将针对图6所示的流程进行详细的阐述，所述基于IO场景识别的读加速方法具体可以包括以下步骤：
步骤S610：接收IO读请求。
步骤S620：将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库。
步骤S610至步骤S620的具体过程可以参照第一实施例中的步骤S110至S120，这里不再赘述。
步骤S630：启动IO场景预读。
将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库之后，启动IO场景预读。
步骤S640：将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据保存到内存缓存。
定位与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库，并将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存。
步骤S650：设定时间K，当在所述设定时间K内对所述内存缓存无访问，释放所述内存缓存。
设定时间K，所述时间K是经验值，比如：可以设置K≤5分钟。当在所述设定时间K内对所述内存缓存无访问，表明目前没有IO读请求的需求，释放所述内存缓存。
步骤S660：响应所述IO读请求，对预读的内存缓存进行读取，返回与所述IO读请求对应的数据。
步骤S660的具体过程可以参照第一实施例中的步骤S140，这里不再赘述。
本申请第六实施例提供的基于IO场景识别的读加速方法，接收IO请求，将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库，启动IO场景预读，启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求和所述IO读请求对应的磁盘数据保存到内存缓存，设定时间K，当在所述设定时间K内对所述内存缓存无访问，释放所述内存缓存，响应所述IO读请求，对预读的内存缓存进行读取，返回与所述IO读请求对应的数据。
第七实施例
请参阅图7，图7示出了本申请第七实施例提供的基于IO场景识别的读加速方法的流程示意图。下面将针对图7所示的流程进行详细的阐述，所述基于IO场景识别的读加速方法具体可以包括以下步骤：
步骤S710：接收IO读请求。
步骤S720：将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库。
步骤S730：启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存。
步骤S710至步骤S730的具体过程可以参照第一实施例中的步骤S110至S130，这里不再赘述。
步骤S740：访问包含与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据的内存缓存。
在启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存之后，访问包含与所述IO读请求的场景匹配的IO场景分组库的内存缓存。
步骤S750：如果所述访问的内存缓存中不存在与所述IO读请求的场景匹配的IO场景分组库，则继续向存储节点发起读取请求。
如果所述访问的内存缓存中不存在与所述IO读请求的场景匹配的IO场景分组库，说明IO场景分组集合中的IO场景分组库的IO场景特征与所述IO读请求的场景特征相似度低，也即相似度匹配不成功，不是所述IO读请求要读的内容，因此不需要读取内存缓存中的数据，则继续向存储节点发起读取请求。
步骤S760：如果所述访问的内存缓存中存在与所述IO读请求的场景匹配的IO场景分组库，则返回所述IO读请求对应的数据。
如果所述访问的内存缓存中存在与所述IO读请求的场景匹配的IO场景分组库，说明IO场景分组集合中的IO场景分组库的IO场景特征与所述IO读请求的场景特征相似度接近，也即特征相似度匹配成功，因此需要读取内存缓存中的数据，并返回所述IO读请求对应的数据。
本申请第七实施例提供的基于IO场景识别的读加速方法，接收IO读请求，将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库，启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存，访问包含与所述IO读请求的场景匹配的IO场景分组库应的IO场景分组特征库和所述IO读请求对应的磁盘数据的内存缓存，如果所述访问的内存缓存中不存在与所述IO读请求的场景匹配的IO场景分组库，则继续向存储节点发起读取请求，如果所述访问的内存缓存中存在与所述IO读请求的场景匹配的IO场景分组库，则返回所述IO读请求对应的数据。
第八实施例
请参阅图8，图8示出了本申请第八实施例提供的基于IO场景识别的读加速方法的流程示意图。下面将针对图8所示的流程进行详细的阐述，所述基于IO场景识别的读加速方法具体可以包括以下步骤：
步骤S810：记录目标文件关联的IO信息。
在接收IO读请求之前，记录目标文件关联的IO信息，即在接收IO读请求之前，需要建立历史IO数据库。所述记录目标文件关联的IO信息包括目标文件ID、时间、读偏移、数据块指纹和数据块位置。
步骤S820：分析得到所述目标文件的IO读场景行为，得到IO场景分组集合。
在记录目标文件关联的IO信息之后，分析得到所述目标文件的IO读场景行为，即以读偏移为基础对所述目标文件的记录集合进行不连续判断分析得到所述目标文件的IO读场景行为。
步骤S830：接收IO读请求。
步骤S840：将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库；
步骤S850：启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存；
步骤S860：响应所述IO读请求，对预读的内存缓存进行读取，返回与所述IO读请求对应的数据。
步骤S830至步骤S860的具体过程可以参照第一实施例中的步骤S110至S140，这里不再赘述。
本申请第八实施例提供的基于IO场景识别的读加速方法，记录目标文件关联的IO信息，分析得到所述目标文件的IO读场景行为，得到IO场景分组集合，接收IO读请求，将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库，启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存，响应所述IO读请求，对预读的内存缓存进行读取，返回与所述IO读请求对应的数据。
第九实施例
请参阅图9，图9示出了本申请第九实施例提供的基于IO场景识别的读加速方法的流程示意图。下面将针对图9所示的流程进行详细的阐述，所述基于IO场景识别的读加速方法具体可以包括以下步骤：
步骤S901：记录目标文件关联的IO信息。
步骤S901的具体过程可以参照第八实施例中的步骤S810，这里不再赘述。
步骤S902：通过时间切片方法确定所述分析窗口t；
所述分析窗口t，是场景化的IO速度和访问时长经验值，t＝t0+dT*N，依次递增N倍时间增量窗口，t0是初始分析时刻，dT是时间增量窗口。依据经验，dT可以初始化设置为1，N可以初始化为2，使得所有IO涉及到的数据量大致在128MB以内。也可以根据存储配置的内存大小，调整初始化设置。
步骤S903：在所述分析窗口t，计算有效的IO场景分组集合。
在所述分析窗口t，计算有效的IO场景分组集合，即对所述IO场景进行不连续分析，找到满足连续条件的IO场景分组集合即有效性的IO场景分组集合也即连续分析的结果，并保存所述满足连续条件的IO场景分组集合。
步骤S904：将最近一次连续的分析结果记录到结果集合fR{sR1,sR2,sR3...}。
步骤S903中得到的满足连续条件的分组集合即连续分析的结果，将所述最近一次连续的分析结果记录到结果集合fR{sR1,sR2,sR3...}中。
步骤S905：继续从不连续的IO访问时刻开始，进入下一个分析窗口，直到分析结束。
在步骤S903计算有效的IO场景分组集合即判断IO场景分组集合是否满足连续的条件，在具体分析过程中采用的是判断IO场景是否不连续，将满足不连续条件的场景剔除，此时需要记录不连续的IO访问时刻，那么，继续从所述不连续的IO访问时刻开始，进入下一个分析窗口，继续对IO场景是否有效进行判断，直到分析结束。
步骤S906：保留M个IO场景分组特征库到所述IO分组集合。
将在所述分析窗口内满足有效性的M个IO场景分组特征库保留到IO分组集合，形成历史IO数据库。包含所述M个IO场景分组特征库额IO场景分组集合是具备连续性分析特征的IO排序分组集合。
步骤S907：接收IO读请求。
步骤S908：将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库。
步骤S909：启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存。
步骤S910：响应所述IO读请求，对预读的内存缓存进行读取，返回与所述IO读请求对应的数据。
步骤S907至步骤S910的具体过程可以参照第八实施例中的步骤S830至S860，这里不再赘述。
本申请第九实施例提供的基于IO场景识别的读加速方法，记录目标文件关联的IO信息，通过时间切片方法确定所述分析窗口t，在所述分析窗口t，计算有效的IO场景分组集合，将最近一次连续的分析结果记录到结果集合fR{sR1,sR2,sR3...}，继续从不连续的IO访问时刻开始，进入下一个分析窗口，直到分析结束，保留M个IO场景分组特征库到所述IO分组集合，接收IO读请求，将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库，启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存，响应所述IO读请求，对预读的内存缓存进行读取，返回与所述IO读请求对应的数据。
第十实施例
请参阅图10，图10示出了本申请第十实施例提供的基于IO场景识别的读加速方法的流程示意图。下面将针对图10所示的流程进行详细的阐述，所述基于IO场景识别的读加速方法具体可以包括以下步骤：
步骤S1001：记录目标文件关联的IO信息。
步骤S1002：通过时间切片方法确定所述分析窗口t。
步骤S1001至步骤S1002的具体过程可以参照第九实施例中的步骤S901至步骤S902，这里不再赘述。
步骤S1003：提取所述分析窗口t内的原始记录集合rR。
所述原始记录集合rR包含IO访问的信息，因此需要提取所述分析窗口t内的原始记录集合rR。
步骤S1004：对于所述原始记录集合rR提取IO访问特征。
对于所述原始记录集合rR提取IO访问特征的过程即是对所述原始记录集合rR对应的访问记录sR进行不连续判断的过程。
步骤S1005：将最近一次连续的分析结果记录到结果集合fR{sR1,sR2,sR3...}；
步骤S1006：继续从不连续的IO访问时刻开始，进入下一个分析窗口，直到分析结束。
步骤S1007：保留M个IO特征场景分组库到所述IO分组集合。
步骤S1008：接收IO读请求。
步骤S1009：将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库。
步骤S1010：启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存。
步骤S1011：响应所述IO读请求，对预读的内存缓存进行读取，返回所述IO读请求对应的数据。
步骤S1005至步骤S1011的具体过程可以参照第九实施例中的步骤S904至步骤S910，这里不再赘述。
本申请第十实施例提供的基于IO场景识别的读加速方法，记录目标文件关联的IO信息，通过时间切片方法确定所述分析窗口t，计算有效的IO场景分组集合，提取所述分析窗口t内的原始记录集合rR，对于所述原始记录集合rR提取IO访问特征，将最近一次连续的分析结果记录到结果集合fR{sR1,sR2,sR3...}，继续从不连续的IO访问时刻开始，进入下一个分析窗口，直到分析结束，保留M个IO特征场景分组库到所述IO分组集合，接收IO读请求，将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库，启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存，响应所述IO读请求，对预读的内存缓存进行读取，返回与所述IO读请求对应的数据。
第十一实施例
请参阅图11，图11示出了本申请第十一实施例提供的基于IO场景识别的读加速方法的流程示意图。下面将针对图11所示的流程进行详细的阐述，所述基于IO场景识别的读加速方法具体可以包括以下步骤：
步骤S1101：记录目标文件关联的IO信息。
步骤S1102：通过时间切片方法确定所述分析窗口t。
步骤S1103：提取所述分析窗口t内的原始记录集合rR。
步骤S1101至步骤S1103的具体过程可以参照第十实施例中的步骤S1001至步骤S1003，这里不再赘述。
步骤S1104：依据所述原始记录集合rR的IO信息中的读偏移，降序排序所有的访问记录sR。
依据所述原始记录集合rR的IO信息中的读偏移，降序排序所有的访问记录sR，降序排序的目的是便于不连续分析。
步骤S1105：当任何所述IO访问不连续时，结束分析窗口分析，并记下此时不连续的IO访问时刻。
所述IO访问不连续条件是在1秒时间内，IO访问次数低于100次；或者对于所述访问记录sR，计算相邻两次IO访问的时间差，所述IO时间差满足预设时间差。
当任何所述IO访问不连续时，即任何所述IO访问满足不连续条件时，结束分析窗口分析，记下此时不连续的IO访问时刻。
步骤S1106：以固定偏移间隔CFL为单位分组读IO偏移。
所述固定偏移间隔CFL是一个经验值，可以设置为1MB。IO读请求通常以64KB为一个读取单位，1MB是64KB的整数倍，同时也是对应底层磁盘存储数据块文件大小，方便一次从磁盘中顺序读取。
步骤S1107：记录具有连续IO偏移的分析结果到IO场景分组集合sR{sR1,sR2,sR3,...}。
将满足连续分析的IO场景分组记录到IO场景分组集合sR{sR1,sR2,sR3,...}。
步骤S1108：计算每个IO场景分组特征库对应的索引参数。
每个所述IO场景分组特征库均有一个索引参数，所述索引参数是为了快速读取所述IO场景分组特征库，所述IO场景分组特征库即步骤S1107中的IO场景分组集合。所述索引参数即在每次分析时间窗口对应的第一个IO偏移。
步骤S1109：将最近一次连续的分析结果记录到结果集合fR{sR1,sR2,sR3...}。
步骤S1110：继续从不连续的IO访问时刻开始，进入下一个分析窗口，直到分析结束。
步骤S1111：保留M个IO特征场景分组库到所述IO分组集合。
步骤S1112：接收IO读请求。
步骤S1113：将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库。
步骤S1114：启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存。
步骤S1115：响应所述IO读请求，对预读的内存缓存进行读取，返回与所述IO读请求对应的数据。
步骤S1109至步骤S1115的具体过程可以参照第十实施例中的步骤S1005至步骤S1011，这里不再赘述。
本申请第十一实施例提供的基于IO场景识别的读加速方法，记录目标文件关联的IO信息，通过时间切片方法确定所述分析窗口t，提取所述分析窗口t内的原始记录集合rR，依据所述原始记录集合rR的IO信息中的读偏移，降序排序所有的访问记录sR，当任何所述IO访问不连续时，结束分析窗口分析，并记下此时不连续的IO访问时刻，以固定偏移间隔CFL为单位分组读IO偏移，记录具有连续IO偏移的分析结果到IO场景分组集合sR{sR1,sR2,sR3,...}，计算每个所述IO场景分组特征库对应的索引参数，将最近一次连续的分析结果记录到结果集合fR{sR1,sR2,sR3...}，继续从不连续的IO访问时刻开始，进入下一个分析窗口，直到分析结束，保留M个IO特征场景分组库到所述IO分组集合，接收IO读请求，将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库，启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存，响应所述IO读请求，对预读的内存缓存进行读取，返回与所述IO读请求对应的数据。
第十二实施例
请参阅图12，图12示出了本申请第九实施例提供的基于IO场景识别的读加速方法的流程示意图。下面将针对图12所示的流程进行详细的阐述，所述基于IO场景识别的读加速方法具体可以包括以下步骤：
步骤S1201：记录目标文件关联的IO信息。
步骤S1202：通过时间切片方法确定所述分析窗口t。
步骤S1203：在所述分析窗口t，计算有效的IO场景分组集合。
步骤S1204：将最近一次连续的分析结果记录到结果集合fR{sR1,sR2,sR3...}。
步骤S1201至步骤S1204的具体过程可以参照第九实施例中的步骤S901至S904，这里不再赘述。
步骤S1205：从所述不连续的IO访问时刻开始，重新以N倍的递增窗口为分析窗口。
从步骤S1203中所记录的不连续的的IO访问时刻开始，重新设定分析窗口，即重新以N倍的递增窗口设定分析窗口。
步骤S1206：在分析窗口，重复计算有效的IO场景分组集合和将最近一次连续的分析结果记录到结果集合，直到分析结束。
在步骤S1205中所重新设定的分析窗口内，重复对分析窗口内的IO分组集合计算有效的分组集合，并将满足连续分析的分组集合记录到结果集合，直到分析结束。
步骤S1207：保留M个IO场景分组特征库到所述IO分组集合。
步骤S1208：接收IO读请求。
步骤S1209：将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库。
步骤S1210：启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存。
步骤S1211：响应所述IO读请求，对预读的内存缓存进行读取，返回所述IO读请求对应的数据。
步骤S1207至步骤S1211的具体过程可以参照第一实施例中的步骤S906至S910，这里不再赘述。
本申请第十二实施例提供的基于IO场景识别的读加速方法，记录目标文件关联的IO信息，通过时间切片方法确定所述分析窗口t，在所述分析窗口t，计算有效的IO场景分组集合，将最近一次连续的分析结果记录到结果集合fR{sR1,sR2,sR3...}，从所述不连续的IO访问时刻开始，重新以N倍的递增窗口为分析窗口，在分析窗口，重复计算有效的IO场景分组集合和将最近一次连续的分析结果记录到结果集合fR{sR1,sR2,sR3,...}，直到分析结束，保留M个IO场景分组特征库到所述IO分组集合，接收IO读请求，将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库，启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存，响应所述IO读请求，对预读的内存缓存进行读取，返回与所述IO读请求对应的数据。
第十三实施例
本申请第十三实施例提供了一种基于IO场景识别的读加速1300，请参见图13，该家居设备的管理装置1300包括：接收模块1310、处理模块1320、预读模块1330以及响应模块1340。其中，所述接收模块1310用于接收IO读请求；
所述处理模块用于将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库；
所述预读模块用于启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库和所述IO读请求对应的磁盘数据预读到内存缓存；
所述相应模块用于响应所述IO读请求，对预读的内存缓存进行读取，返回所述IO读请求对应的数据。
综上所述，相对于现有技术，本申请提供的基于IO场景识别的读加速方法、装置、及电子设备，通过接收IO读请求，将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库，启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存，响应所述IO读请求，对预读的内存缓存进行读取，返回所述IO读请求对应的数据，实现了IO读加速。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。对于方法实施例中的所描述的任意的处理方式，在装置实施例中均可以通过相应的处理模块实现，装置实施例中不再一一赘述。
请参阅图14，基于上述的IO场景识别的读加速的处理方法、装置，本申请实施例还提供一种终端设备100，所述终端设备100通常可以包括一个或多个(图中仅示出一个)处理器102、存储器104、RF(Radio Frequency，射频)模块106、电源模块108。本领域普通技术人员可以理解，图10所示的结构仅为示意，其并不对所述终端100的结构造成限定。例如，所述终端设备100还可包括比图10中所示更多或者更少的组件，或者具有与图10所示不同的对应。
本领域普通技术人员可以理解，相对于所述处理器102来说，所有其他的组件均属于外设，所述处理器102与这些外设之间通过多个外设接口110相耦合。所述外设接口110可基于以下标准实现：通用异步接收/发送装置(Universal Asynchronous Receiver/Transmitter，UART)、通用输入/输出(General Purpose Input Output，GPIO)、串行外设接口(Serial Peripheral Interface，SPI)、内部集成电路(Inter-Integrated Circuit，I2C)，但不并限于上述标准。在一些实例中，所述外设接口110可仅包括总线；在另一些实例中，所述外设接口110还可包括其他元件，如一个或者多个控制器。此外，这些控制器还可以从所述外设接口110中脱离出来，而集成于所述处理器102内或者相应的外设内。
所述存储器104可用于存储软件程序以及模块，所述处理器102通过运行存储在所述存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理。所述存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，所述存储器104可进一步包括相对于所述处理器102远程设置的存储器，这些远程存储器可以通过网络连接至所述终端设备100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述RF模块106用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。所述RF模块106可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述RF模块106可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的无线网络可以使用各种通信标准、协议及技术，包括但并不限于全球移动通信***(Global System for Mobile Communication，GSM)、增强型移动通信技术(Enhanced Data GSM Environment，EDGE)，宽带码分多址技术(wideband codedivision multiple access，W-CDMA)，码分多址技术(Code division access，CDMA)、时分多址技术(time division multiple access，TDMA)，无线保真技术(Wireless，Fidelity，WiFi)(如美国电气和电子工程师协会标准IEEE802.10A，IEEE 802.11b，IEEE802.11g和/或IEEE 802.11n)、网络电话(Voice over internet protocal，VoIP)、全球微波互联接入(Worldwide Interoperability for Microwave Access，Wi-Max)、其他用于邮件、即时通讯及短消息的协议，以及任何其他合适的通讯协议，甚至可包括那些当前仍未被开发出来的协议。
所述电源模块108用于向所述处理器102以及其他各组件提供电力供应。具体地，所述电源模块108可包括电源管理***、一个或多个电源(如电池或者交流电)、充电电路、电源失效检测电路、逆变器、电源状态指示灯以及其他任意与所述终端设备100内电力的生成、管理及分布相关的组件。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(移动终端)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (19)

1.一种基于IO场景识别的读加速方法，其特征在于，应用于分布式存储***，所述方法包括：
接收IO读请求；
将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库；
启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存；
响应所述IO读请求，对预读的内存缓存进行读取，返回所述IO读请求对应的数据。
2.如权利要求1所述的方法，其特征在于，所述将所述IO读请求的场景与IO特征场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库，包括：
初始化时间窗口t1；
统计所述时间窗口t1内所述IO读请求的场景特征；
将所述IO读请求的场景特征与IO场景分组集合中的IO场景分组库进行匹配；
获取与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库。
3.如权利要求2所述的方法，其特征在于，所述时间窗口t1初始化为分析窗口t的N％。
4.如权利要求2所述的方法，其特征在于，所述将所述IO读请求的场景特征与IO场景分组集合中的IO场景分组库进行匹配对应的IO场景分组特征库，包括：
扫描所述IO场景分组集合，将所述IO读请求的场景特征与所述IO场景分组集合中的IO场景分组库进行相似度匹配；
确定与所述IO读请求的场景特征匹配成功的IO场景分组库对应的IO场景分组特征库。
5.如权利要求4所述，其特征在于，所述扫描所述IO场景分组集合，将所述IO读请求的场景特征与所述IO场景分组集合中的IO场景分组库进行相似度匹配，包括：
设定次数tc，统计所述IO场景分组集合的平均偏移值a0；
以第一个IO偏移为基础，在连续的所述次数tc内，获得所述IO读请求在所述时间窗口t1内的偏移平均值a1，计算a1与所述平均偏移值a0相减的差，再除以所述平均偏移值a0的商值，比较所述商值与0的大小；
如果所述商值等于0，判定所述IO读请求的场景与所述IO场景分组库匹配成功，则将所述IO请求的第一个IO对应的偏移值作为索引参数；
如果所述商值不等于0，继续在下一个连续的所述次数tc内计算，直到找不到匹配偏移。
6.如权利要求1所述的方法，其特征在于，所述启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存，包括：
启动IO场景预读；
将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据保存到内存缓存；
设定时间K，当在所述设定时间K内对所述内存缓存无访问，释放所述内存缓存。
7.如权利要求1所述的方法，其特征在于，接收IO读请求，将所述IO读请求的场景与IO特征场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库，启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存，响应所述IO读请求，对预读的内存缓存进行读取，返回所述IO读请求对应的数据，包括：
访问包含与所述IO读请求的场景匹配的IO场景分组库的内存缓存；
如果所述访问的内存缓存中不存在与所述IO读请求的场景匹配的IO场景分组库，则继续向存储节点发起读取请求；
如果所述访问的内存缓存中存在与所述IO读请求的场景匹配的IO场景分组库，则返回所述IO读请求对应的数据。
8.如权利要求1所述的方法，其特征在于，所述接收IO读请求之前还包括：
记录目标文件关联的IO信息；
分析得到所述目标文件的IO读场景行为，得到IO场景分组集合。
9.如权利要求8所述的方法，其特征在于，所述记录目标文件关联的IO信息包括目标文件ID、时间、读偏移、数据块指纹和数据块位置。
10.如权利要求8所述的方法，其特征在于，所述分析得到所述目标文件的IO读场景行为，得到IO场景分组集合，包括：
通过时间切片方法确定所述分析窗口t；
在所述分析窗口t，计算有效的IO场景分组集合；
将最近一次连续的分析结果记录到结果集合fR{sR1,sR2,sR3...}；
继续从不连续的IO访问时刻开始，进入下一个分析窗口，直到分析结束；
保留M个IO场景分组特征库到所述IO分组集合。
11.如权利要求10所述的方法，其特征在于，所述通过时间切片方法确定所述分析窗口t，包括：
对于所述分析窗口t，t＝t0+dT*N，依次递增N倍时间增量窗口，t0是初始分析时刻，dT是时间增量窗口。
12.如权利要求10所述的方法，其特征在于，所述在所述分析窗口t，计算有效的IO场景分组集合，包括：
提取所述分析窗口t内的原始记录集合rR；
对于所述原始记录集合rR提取IO访问特征。
13.如权利要求12所述的方法，其特征在于，所述对于所述原始记录集合rR提取IO访问特征，包括：
依据所述原始记录集合rR的IO信息中的读偏移，降序排序所有的访问记录sR；
当任何所述IO访问不连续时，结束本次分析窗口分析，并记下此时不连续的IO访问时刻；
以固定偏移间隔CFL为单位分组读IO偏移；
记录具有连续IO偏移的分析结果到IO场景分组集合sR{sR1,sR2,sR3,...}；
计算每个IO特征场景分组库对应的索引参数。
14.如权利要求13所述的方法，其特征在于，所述IO访问不连续包括：
在1秒时间内，IO访问次数低于100次；或者
对于所述访问记录sR，计算相邻两次IO访问的时间差，所述IO时间差满足预设时间差。
15.如权利要求13所述的方法，其特征在于，计算每个所述IO特征场景分组库对应的索引，包括：
在每次分析时间窗口对应的第一个IO偏移为对应的索引值。
16.如权利要求10所述的方法，其特征在于，所述继续从不连续的IO访问时刻开始，进入下一个分析窗口，直到分析结束，包括：
从所述不连续的IO访问时刻开始，重新以N倍的递增窗口为分析窗口；
在分析窗口，重复计算有效的IO场景分组集合和将最近一次连续的分析结果记录到结果集合，直到分析结束。
17.如权利要求10所述的方法，其特征在于，所述保留M个IO场景分组特征库到所述IO分组集合，包括：
所述具有M个IO场景分组特征库的IO分组集合是具备连续性分析特征的IO排序分组集合。
18.一种基于IO场景识别的读加速装置，其特征在于，所述装置包括：接收模块、处理模块、预读模块以及响应模块，其中，
所述接收模块用于接收IO读请求；
所述处理模块用于将所述IO读请求的场景与IO场景分组集合进行相似度匹配，确定与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库；
所述预读模块用于启动IO场景预读，将与所述IO读请求的场景匹配的IO场景分组库对应的IO场景分组特征库和所述IO读请求对应的磁盘数据预读到内存缓存；
所述相应模块用于响应所述IO读请求，对预读的内存缓存进行读取，返回所述IO读请求对应的数据。
19.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行如权利要求1-17任一项所述的方法。
CN201810866060.XA 2018-06-05 2018-08-01 一种基于io场景识别的读加速方法、装置及电子设备 Active CN109343789B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810568685 2018-06-05
CN2018105686858 2018-06-05

Publications (2)

Publication Number Publication Date
CN109343789A true CN109343789A (zh) 2019-02-15
CN109343789B CN109343789B (zh) 2021-08-17

Family

ID=65291499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810866060.XA Active CN109343789B (zh) 2018-06-05 2018-08-01 一种基于io场景识别的读加速方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN109343789B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111552740A (zh) * 2020-04-28 2020-08-18 腾讯科技（深圳）有限公司 数据处理方法及装置
CN112835853A (zh) * 2020-12-31 2021-05-25 北京聚云科技有限公司 一种数据处理类型确定方法及装置
CN114115719A (zh) * 2021-08-24 2022-03-01 深圳市木浪云科技有限公司 基于io模式识别的io批量处理方法、装置及存储介质
CN114461588A (zh) * 2021-08-20 2022-05-10 荣耀终端有限公司 调节预读窗口的方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102340416A (zh) * 2011-07-08 2012-02-01 东软集团股份有限公司 基于时间切片进行事件统计的方法及装置
CN103677900A (zh) * 2013-11-15 2014-03-26 北京奇虎科技有限公司 一种计算机设备***启动加速的方法和装置
US8713260B2 (en) * 2010-04-02 2014-04-29 Intel Corporation Adaptive block pre-fetching method and system
CN104572205A (zh) * 2015-01-12 2015-04-29 安一恒通（北京）科技有限公司 一种用于软件加速的方法和装置
CN107340978A (zh) * 2017-07-18 2017-11-10 郑州云海信息技术有限公司 一种存储预读方法、装置及存储***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8713260B2 (en) * 2010-04-02 2014-04-29 Intel Corporation Adaptive block pre-fetching method and system
CN102340416A (zh) * 2011-07-08 2012-02-01 东软集团股份有限公司 基于时间切片进行事件统计的方法及装置
CN103677900A (zh) * 2013-11-15 2014-03-26 北京奇虎科技有限公司 一种计算机设备***启动加速的方法和装置
CN104572205A (zh) * 2015-01-12 2015-04-29 安一恒通（北京）科技有限公司 一种用于软件加速的方法和装置
CN107340978A (zh) * 2017-07-18 2017-11-10 郑州云海信息技术有限公司 一种存储预读方法、装置及存储***

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111552740A (zh) * 2020-04-28 2020-08-18 腾讯科技（深圳）有限公司 数据处理方法及装置
CN111552740B (zh) * 2020-04-28 2023-09-12 腾讯科技（深圳）有限公司 数据处理方法及装置
CN112835853A (zh) * 2020-12-31 2021-05-25 北京聚云科技有限公司 一种数据处理类型确定方法及装置
CN112835853B (zh) * 2020-12-31 2024-03-22 北京聚云科技有限公司 一种数据处理类型确定方法及装置
CN114461588A (zh) * 2021-08-20 2022-05-10 荣耀终端有限公司 调节预读窗口的方法及电子设备
CN114461588B (zh) * 2021-08-20 2023-01-24 荣耀终端有限公司 调节预读窗口的方法及电子设备
CN114115719A (zh) * 2021-08-24 2022-03-01 深圳市木浪云科技有限公司 基于io模式识别的io批量处理方法、装置及存储介质
CN114115719B (zh) * 2021-08-24 2022-10-18 深圳市木浪云科技有限公司 基于io模式识别的io批量处理方法、装置及存储介质

Also Published As

Publication number Publication date
CN109343789B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN109343789A (zh) 一种基于io场景识别的读加速方法、装置及电子设备
CN105847447B (zh) 消息推送方法和装置
CN106254220B (zh) 即时通讯群组的管理方法及装置
CN107798046B (zh) 客户身份信息处理方法、装置、存储介质和计算机设备
CN104700836A (zh) 一种语音识别方法和***
CN109684111A (zh) 消息推送方法、消息推送***和计算机可读存储介质
CN107294974A (zh) 识别目标团伙的方法和装置
CN103440241A (zh) 动态信息发送的方法和设备、动态信息查询的方法和设备
CN108111430A (zh) 一种tcp初始窗口优化方法和***
CN108132868A (zh) 一种数据监控方法、装置、计算设备及存储介质
CN117319441B (zh) 一种元宇宙的远程互动方法及***
CN110135892A (zh) Api的调用计费方法、装置、电子设备以及存储介质
CN106056368A (zh) 一种添加支付口令的支付处理方法
CN106488055A (zh) 话单排重方法、数据节点设备及路由节点设备
CN109104723A (zh) 一种网络名称显示方法及相关设备
CN112562688A (zh) 语音转写方法、装置、录音笔和存储介质
CN115798513A (zh) 一种口才表达管理方法、***及计算机可读存储介质
CN105677478A (zh) 资源管理的方法和装置
CN112541548B (zh) 关系网络的生成方法、装置、计算机设备及存储介质
CN115730591A (zh) 基于知识图谱的用户服务方法、装置、设备和存储介质
CN109429296A (zh) 用于终端与上网信息关联的方法、装置及存储介质
CN105100235B (zh) 一种扫地机器人的信息分享方法及服务器
CN110110240A (zh) 建立社交关系的方法及设备
CN110381153A (zh) 一种文件部署方法、部署设备、***及介质
CN111292171A (zh) 金融理财产品推送方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210918

Address after: 518103 514, building 1, hengtaiyu building, Tangwei community, Fenghuang street, Guangming District, Shenzhen, Guangdong

Patentee after: Shenzhen mulangyun Technology Co.,Ltd.

Address before: 518000 307, block a, Languang science and Technology Park, No. 7, songpingshan new West Road, North District, Xili street, Nanshan District, Shenzhen, Guangdong

Patentee before: SHENZHEN MULANG CLOUD DATA Co.,Ltd.

TR01 Transfer of patent right