CN104539727A - 一种基于ap平台的缓存方法和*** - Google Patents

Abstract

本发明公开了一种基于AP平台的缓存方法，根据预先设置的服务模式和服务等级，根据用户的需求，通过预先配置的比特映射缓存技术在请求服务器中执行目标文件的缓存，包括在数据存储器中查找与目标文件相匹配的数据文件；在查找结果为不存在与目标文件相匹配的数据文件的情况下，通过预先设置的infohash算法访问与目标文件相匹配的源服务器，查找并确定与目标文件相匹配的peer地址和端口；在存在与目标文件相匹配的peer地址和端口时，根据peer地址下载目标文件，将目标文件缓存至数据存储器中；将下载的目标文件返回给用户。本发明的有益效果为：本发明有效的缩短了用户的收到请求的响应时间，使用户体验效果有非常大的提高。

Description

一种基于AP平台的缓存方法和***

技术领域

本发明涉及移动通信技术，具体来说，涉及一种基于AP平台的缓存方法和***。

背景技术

Bit torrent：比特流（Bit Torrent）是一种内容分发协议，由布拉姆·科恩自主开发；它采用高效的软件分发***和点对点技术共享大体积文件（如一部电影或电视节目），并使每个用户像网络重新分配结点那样提供上传服务。一般的下载服务器为每一个发出下载请求的用户提供下载服务，而Bit Torrent的工作方式与之不同，分配器或文件的持有者将文件发送给其中一名用户，再由这名用户转发给其它用户，用户之间相互转发自己所拥有的文件部分，直到每个用户的下载都全部完成，这种方法可以使下载服务器同时处理多个大体积文件的下载请求，而无须占用大量带宽。      

  AP：无线接入点即无线AP（Access Point）它是一个无线网络的接入点，主要有路由交换接入一体设备和纯接入点设备，一体设备执行接入和路由工作，纯接入设备只负责无线客户端的接入，纯接入设备通常作为无线网络扩展使用，与其他AP或者主AP连接，以扩大无线覆盖范围，而一体设备一般是无线网络的核心。

随着移动设备的增长和移动用户的飞速增加，移动设备的内容也越来越丰富，网络购物、网络直播／视频、网络社交、社交软件等的普及，使移动流量猛增，但随之的硬件配置却没有相应跟进，流量费用也较为昂贵，由于无线信号受环境影响大，存在信号时有时无、响应慢等缺点，在有线网络刚普及的时候，也存在相似的问题，因此，受有线网络的解决方案启发，进行无线提速。有线网络的P2P技术如Bit torrent的出现，使有线传输提升了一个等级，至此之后，人们不再抱怨网速慢等问题，并且资源飞速共享，互联网的价值得到了进一步提升。

现有技术方案已存在有线网络的应用，如BT、迅雷、电驴、u torrent等知名下载软件，为用户和资源之间开辟快速通道，并提供推进热点资源等服务。方案多种多样，但均离不开最基本TCP/IP协议；例如，包括视频服务在内的与电商合作的各个公司，多以增加流量为技术目标，将流量作为衡量服务质量的标准，获取用户请求内容，以更早的时间缓存用户请求内容，使用户得到的数据更多更稳定。

但是现有技术也存在如下的技术问题：在物理上，由于box的大小不一，但均为移动设备，故受限于硬件性能，平台移植是需要考虑的第一个问题；在性能上，要考虑速度、清晰度等服务质量参数，对应到技术参数上既单位时间内传输的文件大小和传输报文的丢包率低，一个综合的判断事例可以体现在视频清晰度上，现有的盒子远远不够；当下市面上在做推广的各种wifi，有牺牲速度提高质量的，有牺牲质量提高速度的，有牺牲大小提高性能的，远未达到用户的满意需求；有线网络较早开发的或现有的较成熟的技术，基本不存在不会考虑丢包率、报文大小、内存容量以及硬盘容量等问题。

针对相关技术中的相关问题，目前尚未提出有效的解决方案。

发明内容

本发明的目的是提供一种基于AP平台的缓存方法和***，以克服目前现有技术存在的上述不足。

本发明的目的是通过以下技术方案来实现：

根据本发明的一方面，提供了一种基于AP平台的缓存方法，该基于AP平台的缓存方法根据预先设置的服务模式和服务等级，并根据用户的需求，通过预先配置的比特映射缓存技术在请求服务器中执行目标文件的缓存，包括：

在预先设置的数据存储器中查找与目标文件相匹配的数据文件；

在查找结果为不存在与目标文件相匹配的数据文件的情况下，通过预先设置的infohash算法访问与目标文件相匹配的源服务器，查找并确定与目标文件相匹配的peer地址和端口；

在存在与目标文件相匹配的peer地址和端口时，根据所述peer地址下载所述目标文件，并将所述目标文件缓存至所述数据存储器中；

将下载的目标文件返回给用户。

进一步的，所述在请求服务器中执行目标文件的缓存还包括：

通过预先设置的线程接收和/或发送目标文件，并通过所述线程检查预先配置的与目标文件相匹配的报文链表是否存在用户的读写请求；

在存在读写请求的情况下，根据预先配置的函数，将读写请求加入到与目标文件相匹配的读写结构体队列；

检查预先设置的全局变量，将所述目标文件加入到预先配置的变量队列中；

将所述读写结构体加入到所述全局变量中；

根据所述读写结构体，将所述读写结构体进行分类，包括读取文件内容、写入文件内容、读取文件目录，并执行预先存在的与所述读写结构体相匹配的操作指令。

进一步的，将所述目标文件缓存至所述数据存储器中还包括：

在目标文件为视频文件的情况下，根据预先设置的视频文件播放特点，将所述视频文件通过比特映射缓存技术进行分段缓存，并重新设置于视频文件相匹配的视频报文头。

进一步的，在预先设置的数据存储器中查找与目标文件相匹配的数据文件还包括：

在查找结果为存在与目标文件相匹配的数据文件的情况下，则将所述数据文件返回给用户。

进一步的，查找并确定与目标文件相匹配的peer地址和端口还包括：

在不存在与目标文件相匹配的peer地址和端口时，则发送预先设置的错误编码至预先配置的nginx***。

根据本发明的另一方面，提供了一种基于AP平台的缓存***，该基于AP平台的缓存***根据预先设置的服务模式和服务等级，并根据用户的需求，通过预先配置的比特映射缓存技术在请求服务器中执行目标文件的缓存，包括：

数据查找模块，用于在预先设置的数据存储器中查找与目标文件相匹配的数据文件；

地址查找模块，用于在查找结果为不存在与目标文件相匹配的数据文件的情况下，通过预先设置的infohash算法访问与目标文件相匹配的源服务器，查找并确定与目标文件相匹配的peer地址和端口；

下载缓存模块，用于在存在与目标文件相匹配的peer地址和端口时，根据所述peer地址下载所述目标文件，并将所述目标文件缓存至所述数据存储器中；

数据发送模块，用于将下载的目标文件返回给用户。

进一步的，所述在请求服务器中执行目标文件的缓存还包括：

报文请求判断子模块，用于通过预先设置的线程接收和/或发送目标文件，并通过所述线程检查预先配置的与目标文件相匹配的报文链表是否存在用户的读写请求；

报文请求编辑子模块，用于在存在读写请求的情况下，根据预先配置的函数，将读写请求加入到与目标文件相匹配的读写结构体队列；

目标文件编辑子模块，用于检查预先设置的全局变量，将所述目标文件加入到预先配置的变量队列中；

全局变量编辑子模块，用于将所述读写结构体加入到所述全局变量中；

分类执行子模块，用于根据所述读写结构体，将所述读写结构体进行分类，包括读取文件内容、写入文件内容、读取文件目录，并执行预先存在的与所述读写结构体相匹配的操作指令。

进一步的，将所述目标文件缓存至所述数据存储器中还包括：

视频分段缓存模块，用于在目标文件为视频文件的情况下，根据预先设置的视频文件播放特点，将所述视频文件通过比特映射缓存技术进行分段缓存，并重新设置于视频文件相匹配的视频报文头。

进一步的，在预先设置的数据存储器中查找与目标文件相匹配的数据文件还包括：

数据发送子模块，用于在查找结果为存在与目标文件相匹配的数据文件的情况下，则将所述数据文件返回给用户。

进一步的，查找并确定与目标文件相匹配的peer地址和端口还包括：

误码显示模块，用于在不存在与目标文件相匹配的peer地址和端口时，则发送预先设置的错误编码至预先配置的nginx***。

本发明的有益效果为：

1、有效的缩短了用户的收到请求的响应时间，使用户体验效果有非常大的提高，从缓存到用户的响应时间几乎可以缩短至0；

2、多线程处理磁盘读写任务链，将单任务整合成多任务，可集中处理大量磁盘读写任务，分离磁盘IO操作和socket传输操作，将磁盘读写时间与网络传输时间并行化，设磁盘读写时间为m，网络传输时间为n，则将原来的m+n变为n(m>n)；

3、超时检查机制去除了无效任务，三种删除操作节省内存占用空间；

4、邻居节点的管理方式为双向链表结构，是单向链表查找效率的2倍，内存增加为O(1)数量级；

5、预判函数和任务等级划分借鉴了cpu任务处理模式，类型1/4的有效报文得到优先传送，可占报文总数的62%以上。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例所述的一种基于AP平台的缓存方法的流程示意图；

图2是根据本发明实施例所述的一种基于AP平台的缓存方法对目标文件分类执行的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图1-2所示，根据本发明的一方面，提供了一种基于AP平台的缓存方法，该基于AP平台的缓存方法根据预先设置的服务模式和服务等级，并根据用户的需求，通过预先配置的比特映射缓存技术在请求服务器中执行目标文件的缓存，包括：

在预先设置的数据存储器中查找与目标文件相匹配的数据文件；

在查找结果为不存在与目标文件相匹配的数据文件的情况下，通过预先设置的infohash算法访问与目标文件相匹配的源服务器，查找并确定与目标文件相匹配的peer地址和端口；

在存在与目标文件相匹配的peer地址和端口时，根据所述peer地址下载所述目标文件，并将所述目标文件缓存至所述数据存储器中；

将下载的目标文件返回给用户。

其中，所述在请求服务器中执行目标文件的缓存还包括：

通过预先设置的线程接收和/或发送目标文件，并通过所述线程检查预先配置的与目标文件相匹配的报文链表是否存在用户的读写请求；

在存在读写请求的情况下，根据预先配置的函数，将读写请求加入到与目标文件相匹配的读写结构体队列；

检查预先设置的全局变量，将所述目标文件加入到预先配置的变量队列中；

将所述读写结构体加入到所述全局变量中；

根据所述读写结构体，将所述读写结构体进行分类，包括读取文件内容、写入文件内容、读取文件目录，并执行预先存在的与所述读写结构体相匹配的操作指令。

另外，将所述目标文件缓存至所述数据存储器中还包括：

在目标文件为视频文件的情况下，根据预先设置的视频文件播放特点，将所述视频文件通过比特映射缓存技术进行分段缓存，并重新设置于视频文件相匹配的视频报文头。

此外，在预先设置的数据存储器中查找与目标文件相匹配的数据文件还包括：

在查找结果为存在与目标文件相匹配的数据文件的情况下，则将所述数据文件返回给用户。

最后，查找并确定与目标文件相匹配的peer地址和端口还包括：

在不存在与目标文件相匹配的peer地址和端口时，则发送预先设置的错误编码至预先配置的nginx***。

根据本发明的另一方面，提供了一种基于AP平台的缓存***，该基于AP平台的缓存***根据预先设置的服务模式和服务等级，并根据用户的需求，通过预先配置的比特映射缓存技术在请求服务器中执行目标文件的缓存，包括：

数据查找模块，用于在预先设置的数据存储器中查找与目标文件相匹配的数据文件；

地址查找模块，用于在查找结果为不存在与目标文件相匹配的数据文件的情况下，通过预先设置的infohash算法访问与目标文件相匹配的源服务器，查找并确定与目标文件相匹配的peer地址和端口；

下载缓存模块，用于在存在与目标文件相匹配的peer地址和端口时，根据所述peer地址下载所述目标文件，并将所述目标文件缓存至所述数据存储器中；

数据发送模块，用于将下载的目标文件返回给用户。

其中，所述在请求服务器中执行目标文件的缓存还包括：

报文请求判断子模块，用于通过预先设置的线程接收和/或发送目标文件，并通过所述线程检查预先配置的与目标文件相匹配的报文链表是否存在用户的读写请求；

报文请求编辑子模块，用于在存在读写请求的情况下，根据预先配置的函数，将读写请求加入到与目标文件相匹配的读写结构体队列；

目标文件编辑子模块，用于检查预先设置的全局变量，将所述目标文件加入到预先配置的变量队列中；

全局变量编辑子模块，用于将所述读写结构体加入到所述全局变量中；

分类执行子模块，用于根据所述读写结构体，将所述读写结构体进行分类，包括读取文件内容、写入文件内容、读取文件目录，并执行预先存在的与所述读写结构体相匹配的操作指令。

其中，将所述目标文件缓存至所述数据存储器中还包括：

视频分段缓存模块，用于在目标文件为视频文件的情况下，根据预先设置的视频文件播放特点，将所述视频文件通过比特映射缓存技术进行分段缓存，并重新设置于视频文件相匹配的视频报文头。

其中，在预先设置的数据存储器中查找与目标文件相匹配的数据文件还包括：

数据发送子模块，用于在查找结果为存在与目标文件相匹配的数据文件的情况下，则将所述数据文件返回给用户。

其中，查找并确定与目标文件相匹配的peer地址和端口还包括：

误码显示模块，用于在不存在与目标文件相匹配的peer地址和端口时，则发送预先设置的错误编码至预先配置的nginx***。

具体应用时，首先，将用户任务分为TW_TASK、UP_TASK、LIVE_TASK以及USER_TASK 四种服务模式，分别提供不同的TASK服务等级；

另外，综合http和p2p两种缓存方式，对特定类型的文件进行缓存；

此外，本发明中文件缓存技术采用比特映射技术；

并且，采用线程接收发送报文，将接收发送与磁盘读取分离，实现方案为采用一个全局变量，保存报文链表，线程内部循环检查该链表是否有文件读写需求，线程外部有事件驱动报文发送接收，流程如下：

其中，尤其重要的是，根据视频播放特点，加入视频分离映射，将视频文件分段缓存，通过重新构造视频报文头，将视频缓存段数减少至十几分之一，文件越大效果越好。

首先，根据视频在盒子里的存储情况执行以下操作：

拖动步骤：

1）在safari中打开测试视频；2）等待视频开始；3）拖动视频至任意未观看时间点，观察加载情况；4）查看log，判断是否从盒子里加载视频；5）拖动至已观看部分，查看加载情况（响应速度／视频质量）；6）密集拖动至任意时间点，查看加载情况。

根据上述操作，得到的测试结论是相对于现有技术而言，具有以下特征：

1）已缓存文件加载速度极快；

2）无线环境下的测试会因为网络问题间断；

3）密集拖动响应速度块，不会出现卡／顿的情况；

4）查看log的反馈，已缓存文件的响应几乎为一秒之内；

5）拖动至已观看部分，在打开cookie的情况下不会出现响应圈；

6）密集拖动响应状况良好，瞬间响应。

综上所述，借助于本发明的上述技术方案，本技术方案有效的缩短了用户的收到请求的响应时间，使用户体验效果有非常大的提高，从缓存到用户的响应时间几乎可以缩短至0；

并且通过多线程处理磁盘读写任务链，将单任务整合成多任务，可集中处理大量磁盘读写任务，分离磁盘IO操作和socket传输操作，将磁盘读写时间与网络传输时间并行化，设磁盘读写时间为m，网络传输时间为n，则将原来的m+n变为n(m>n)；

具有超时检查机制去除了无效任务，三种删除操作节省内存占用空间；

邻居节点的管理方式为双向链表结构，是单向链表查找效率的2倍，内存增加为O(1)数量级；

根据预判函数和任务等级划分借鉴了cpu任务处理模式，类型1/4的有效报文得到优先传送，可占报文总数的62%以上，有效的提高了数据传送的质量和效率，有利于市场的推广与应用。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于AP平台的缓存方法，其特征在于，包括以下步骤：

在预先设置的数据存储器中查找与目标文件相匹配的数据文件；

在查找结果为不存在与目标文件相匹配的数据文件的情况下，通过预先设置的infohash算法访问与目标文件相匹配的源服务器，查找并确定与目标文件相匹配的peer地址和端口；

在存在与目标文件相匹配的peer地址和端口时，根据所述peer地址下载所述目标文件，并将所述目标文件缓存至所述数据存储器中；

将下载的目标文件返回给用户。

2.根据权利要求1所述的基于AP平台的缓存方法，其特征在于，所述在请求服务器中执行目标文件的缓存还包括：

通过预先设置的线程接收和/或发送目标文件，并通过所述线程检查预先配置的与目标文件相匹配的报文链表是否存在用户的读写请求；

在存在读写请求的情况下，根据预先配置的函数，将读写请求加入到与目标文件相匹配的读写结构体队列；

检查预先设置的全局变量，将所述目标文件加入到预先配置的变量队列中；

将所述读写结构体加入到所述全局变量中；

根据所述读写结构体，将所述读写结构体进行分类，包括读取文件内容、写入文件内容、读取文件目录，并执行预先存在的与所述读写结构体相匹配的操作指令。

3.根据权利要求2所述的基于AP平台的缓存方法，其特征在于，将所述目标文件缓存至所述数据存储器中还包括：

在目标文件为视频文件的情况下，根据预先设置的视频文件播放特点，将所述视频文件通过比特映射缓存技术进行分段缓存，并重新设置于视频文件相匹配的视频报文头。

4.根据权利要求3所述的基于AP平台的缓存方法，其特征在于，在预先设置的数据存储器中查找与目标文件相匹配的数据文件还包括：

在查找结果为存在与目标文件相匹配的数据文件的情况下，则将所述数据文件返回给用户。 

5.根据权利要求4所述的基于AP平台的缓存方法，其特征在于，查找并确定与目标文件相匹配的peer地址和端口还包括：

在不存在与目标文件相匹配的peer地址和端口时，则发送预先设置的错误编码至预先配置的nginx***。

6.一种基于AP平台的缓存***，其特征在于，包括：

数据查找模块，用于在预先设置的数据存储器中查找与目标文件相匹配的数据文件；

地址查找模块，用于在查找结果为不存在与目标文件相匹配的数据文件的情况下，通过预先设置的infohash算法访问与目标文件相匹配的源服务器，查找并确定与目标文件相匹配的peer地址和端口；

下载缓存模块，用于在存在与目标文件相匹配的peer地址和端口时，根据所述peer地址下载所述目标文件，并将所述目标文件缓存至所述数据存储器中；

数据发送模块，用于将下载的目标文件返回给用户。

7.根据权利要求6所述的基于AP平台的缓存***，其特征在于，所述在请求服务器中执行目标文件的缓存还包括：

报文请求判断子模块，用于通过预先设置的线程接收和/或发送目标文件，并通过所述线程检查预先配置的与目标文件相匹配的报文链表是否存在用户的读写请求；

报文请求编辑子模块，用于在存在读写请求的情况下，根据预先配置的函数，将读写请求加入到与目标文件相匹配的读写结构体队列；

目标文件编辑子模块，用于检查预先设置的全局变量，将所述目标文件加入到预先配置的变量队列中；

全局变量编辑子模块，用于将所述读写结构体加入到所述全局变量中；

分类执行子模块，用于根据所述读写结构体，将所述读写结构体进行分类，包括读取文件内容、写入文件内容、读取文件目录，并执行预先存在的与所述读写结构体相匹配的操作指令。

8.根据权利要求7所述的基于AP平台的缓存***，其特征在于，将所述目标文件缓存至所述数据存储器中还包括：

视频分段缓存模块，用于在目标文件为视频文件的情况下，根据预先设置的视频文件播放特点，将所述视频文件通过比特映射缓存技术进行分段缓存，并重新设置于视频文件相匹配的视频报文头。

9.根据权利要求8所述的基于AP平台的缓存***，其特征在于，在预先设置的数据存储器中查找与目标文件相匹配的数据文件还包括：

数据发送子模块，用于在查找结果为存在与目标文件相匹配的数据文件的情况下，则将所述数据文件返回给用户。

10.根据权利要求9所述的基于AP平台的缓存***，其特征在于，查找并确定与目标文件相匹配的peer地址和端口还包括：

误码显示模块，用于在不存在与目标文件相匹配的peer地址和端口时，则发送预先设置的错误编码至预先配置的nginx***。