CN107819837A - 一种提升缓存服务质量的方法及缓存日志分析*** - Google Patents

Abstract

本发明涉及一种提升缓存服务质量的方法及缓存日志分析***，其特征在于，所述方法基于域名、缓存节点双维度对命中率以及请求成功率指标进行分析，给出影响缓存服务质量的域名以及缓存节点的对应优化建议。该方法从两个维度的四种具体分析对缓存服务进行优化，深入挖掘数据的价值。

Description

一种提升缓存服务质量的方法及缓存日志分析***

技术领域

本发明涉及网络缓存***技术领域，具体为一种提升缓存服务质量的方法。

背景技术

随着数据通信业务的迅猛增长，互联网网民数量急剧上升，流量逐年上涨。从目前的互联网应用发展情况来看，日常的热点应用主要集中在网页浏览、资源下载、流媒体视频点播等等，对于网络传输速度、服务端响应速度都有着较高的要求。随着业务规模的扩大、网民数量的上涨、市场竞争的加剧，运营商的基础资源架构、服务理念以及运营方式都面临着巨大的挑战。

为了加速网内网络资源建设的步伐，引入缓存***已逐渐成为运营商内容网络建设运营的重要手段。而随着缓存技术的成熟和普及，运营商的缓存***建设已经逐渐由租用转变为自建。为支撑缓存精细化运营的要求，运营商建立缓存日志分析***，评估缓存***运行状态及效能，实现从代维到自维的转变，解决精细化运营的相关问题，对开展内容网络运营工作，具有重要意义。

在现有技术下，运营商通过分析缓存日志，了解缓存运行状态及效能。但并没有深入挖掘缓存日志的数据价值，现有技术还不能达到通过制定算法准确识别已缓存内容提供服务时存在的问题，并自动提取相关指标进行分析，提供准确的分析报告及解决方案，以及针对问题处理后的效果进行跟踪和评估的方法。这是目前技术下存在的问题。

本发明旨在克服以上缓存服务运营存在的问题，提供一种提升缓存服务质量的方法，通过对缓存日志进行分析，分别从域名维度和节点维度进行缓存服务优化，分析指标包括缓存服务的命中率、成功率、域名类型、域名状态码等关键指标，通过对关键指标的分析定位问题，给出优化建议，并对优化后域名进行效果跟踪评估。该方法可有效提升缓存服务的质量，实现在日志分析***的基础上，对缓存业务分析提升进行全流程的闭环管理。

发明内容

本发明所要解决的技术问题是针对上述缺陷，提供了本发明公开了一种提升缓存服务质量的方法，从两个维度的四种具体分析对缓存服务进行优化，深入挖掘数据的价值。

本发明为解决上述技术问题采用以下技术方案：

一种提升缓存服务质量的方法，所述方法基于域名、缓存节点双维度对命中率以及请求成功率指标进行分析，给出影响缓存服务质量的域名以及缓存节点的对应优化建议。

进一步的，所述方法中，对域名维度的命中率数据进行分析的具体过程为：

步骤1.1，设置域名缓存命中率质差阈值以及命中率严重质差阈值；

步骤1.2，缓存日志分析***分析域名命中率，并按请求次数对域名进行排序，查出TOPN个热点域名；

步骤1.3，判断每个热点域名的命中率是否小于缓存命中率质差阈值，如小于命中率质差阈值，继续判断是否小于命中率严重质差阈值，如大于严重质差阈值，则继续查看域名的资源类型；如果该域名的资源类型是static静态资源则输出告警报表并给出建议检查缓存规则，如果该域名的资源类型是dynamic动态资源则输出告警报表并给出建议剔出缓存列表；

步骤1.4，如果所述域名缓存命中率小于命中率严重质差阈值，根据设置的策略直接将该域名加入缓存黑名单，等待人工进一步确认；

步骤1.5，人工对严重质差域名人工判断后，确认不可缓存资源直接剔出缓存列表，确认为可缓存资源，进过优化后从黑名单中恢复。

进一步的，所述方法中，对域名维度的请求成功率数据进行分析的具体过程为：

步骤2.1，设置域名请求成功率质差阈值；

步骤2.2，缓存日志分析***分析域名命中率，并按请求次数对域名进行排名；

步骤2.3，判断TOPN热点域名中每个域名的请求成功率是否小于请求成功率质差阈值，如果小于请求成功率质差阈值，则继续查看域名状态码信息，输出告警报表并根据具体状态码信息提供优化建议。

进一步的，所述方法中，对缓存节点维度的命中率数据进行分析的具体过程为：

步骤3.1，设置节点缓存命中率质差阈值；

步骤3.2，缓存日志分析***分析节点缓存命中率；

步骤3.3，判断节点缓存命中率是否小于节点缓存命中率质差阈值，如果节点缓存命中率小于节点缓存命中率质差阈值，则输出告警报表并给出建议检查缓存服务器的规则。

更进一步的，所述方法中，对缓存节点维度的请求成功率数据进行分析的具体过程为：

步骤4.1，设置节点请求成功率质差阈值；

步骤4.2，缓存日志分析***分析节点请求成功率；

步骤4.3，判断节点成功率是否小于节点请求成功率质差阈值，如果小于则继续查看节点中TOPN热点域名的请求成功率判断是否有个别热点域名的请求成功率小于域名请求成功率质差阈值，如果有热点域名小于域名请求成功率质差阈值，则进入域名维度分析请求成功率指标流程，输出相应报表；如果没有个别热点域名小于域名请求成功率质差阈值，则输出告警报表并给出建议检查缓存规则或检查硬件负载或网络是否正常。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明综合利用了缓存日志分析***和拨测***，利用缓存日志分析***分析的热点域名，进行拨测评估，剔除或优化质差域名，来保证缓存的服务质量，而不是简单的只是让缓存的服务状态可视化，并没有深入挖掘数据的价值。

这种从日志分析***通过深入挖掘数据的价值再反馈到缓存***的分析优化方式，实现了缓存业务自运营的流程闭环管理，达到提升缓存服务的质量的目的。

附图说明

图1为缓存日志分析***的***架构图；

图2为域名维度分析过程中命中率指标的方法流程图；

图3为域名维度分析过程中请求成功率指标的方法流程图；

图4为节点维度分析过程中缓存命中率指标的方法流程图；

图5为节点维度分析过程中请求成功率指标的方法流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明提供的一种提升缓存服务质量的方法，从两个维度提升缓存服务质量，具体方法如下：

一、缓存日志分析***说明

缓存日志分析***，通过主动上传(或被动获取)缓存日志，将日志备份到缓存日志分析***上进行离线分析。缓存日志分析***通过对各缓存厂家的缓存日志进行解析，提取关键的元数据进行大数据分析(过滤、聚合、排序、统计等)，最终计算出关键指标，并通过web前端展示。

如图1所示，***采用组件式架构，实现了分层的逻辑架构，包括：数据源层，日志采集层、业务逻辑层和应用层。

数据源层

数据源层是指分析对象，也就是各个缓存厂家的缓存日志，包括大文件和小文件。

日志采集层

该层利用FTP、syslog、shell脚本或SNMP等多种方式，从缓存***获取日志，并对原始日志进行分类、扫描和解析，统一推送到业务逻辑层进行分析处理和存储。

业务逻辑层

该层利用各种预置规则，通过各种过滤和聚合，对元数据进行大数据分析；通过高性能海量存储将日志处理结果进行快速存储；并提供查询接口实现日志的查询过滤。

应用层

该层面向运营商，提供一个图形化的显示界面，展示缓存日志分析***的各功能模块，包括硬件监控(CPU、内存、硬盘)和日志分类统计(包括时间访问统计、请求方法统计、网站访问统计、域名访问统计、请求资源统计、文件类型统计、终端访问统计、用户类型统计、缓存状态码统计、HTTP状态码统计、用户访问统计、节点服务质量统计)、域名深度分析(域名状态码统计、域名类型统计、域名请求方法统计)等查询统计功能，缓存日志扫描功能、缓存服务质量告警功能以及***管理、菜单管理等***维护功能。

二、域名维度分析

1)、分析命中率指标

如图1所示，缓存日志分析***对域名的缓存命中率进行统计。通过策略设置域名命中率质差阈值，分析出缓存命中率低于质差阈值的top N域名，查看域名的资源类型属性信息，如质差域名的内容类型是static静态资源，则产生告警报表，并建议检查缓存规则。如质差域名的内容类型是dynamic动态资源，则产生告警报表，并建议将该域名剔出缓存列表。并可进一步设置严重质差阈值，对命中率低于严重质差阈值的热点域名可根据策略直接加入黑名单暂不提供内容缓存服务，并产生告警报表及优化建议，等待人工确认，确认为不可缓存资源直接删除，确认为可缓存资源经过优化后可从黑名单中恢复。

域名命中率质差阈值可通过后台进行设置，并可以针对不同的缓存***环境进行修改。比如：在提供下载或视频类业务服务的缓存***中，请求命中率阈值一般设置80％或更高；而在提供页面或图片类服务的缓存***中，请求命中率阈值一般设置50％。***可以根据具体情况修改阈值，以期达到最优的指标告警表。

具体步骤如下：

1、缓存日志分析***分析域名命中率，并按请求次数进行TOPN热点域名排名。

2、判断热点域名是否小于缓存命中率质差阈值，如小于命中率质差阈值，继续判断是否小于命中率严重质差阈值，如大于严重质差阈值，即该域名缓存命中率介于质差和严重质差之间，则继续查看域名的资源类型，如域名的资源类型是static静态资源则输出告警报表并给出建议检查缓存规则，如域名的资源类型是dynamic动态资源则输出告警报表并给出建议剔出缓存列表。

3、如进一步判断域名缓存命中率小于命中率严重质差阈值，根据设置的策略直接将该域名加入缓存黑名单，并等待人工的进一步确认。

4、加入黑名单后继续查看域名的资源类型与步骤2类似，并根据域名的资源类型输出告警报表并给出建议。

5、人工对严重质差域名人工判断后，确认不可缓存资源直接剔出缓存列表，确认为可缓存资源，进过优化后可从黑名单中恢复。

2)、分析请求成功率

如图2所示，缓存日志分析***对域名的请求成功率进行统计。通过策略设置域名请求成功率质差阈值，分析出请求成功率低于请求成功率质差阈值的TOPN热点域名，并查看域名的状态码信息，针对具体的状态码信息给出优化建议及告警报表：

√403的状态码错误，需确认缓存***的服务IP白名单，是否未添加或者是否该地区该运营商新增的用户地址段未及时更新；

√500的状态码错误，需确认是否缓存服务器遭遇意外情况，导致无法完成用户请求，比如并发数过高，或打开文件数受限等；

√503的状态码错误，需确认资源源站是否超负载或正在进行停机维护；

√504的状态码错误，需确认缓存***的回源网络是否异常，或是否设置了无效DNS。

域名请求成功率质差阈值设置方法：当域名请求次数大于A，且成功率小于B(默认A＝10000B＝60％)时，列出该域名统计指标。

具体步骤如下：

1、缓存日志分析***分析域名命中率，并按请求次数进行TOPN热点域名排名。

2、判断热点域名是否小于请求成功率质差阈值，如小于请求成功率质差阈值，则继续查看域名状态码信息，输出告警报表并根据具体状态码信息给出优化建议。

三、缓存节点维度

1)、分析命中率指标

如图3所示，缓存日志分析***对节点的缓存命中率进行统计。通过策略设置节点命中率质差阈值，如某节点的缓存命中率低于节点命中率质差阈值，则产生节点告警报表，并建议检查该节点缓存配置的规则是否正确。

节点命中率质差阈值可通过后台进行设置，并可以针对不同的缓存***环境进行修改。比如：在提供下载或视频类业务服务的缓存***中，节点命中率质差阈值一般设置80％或更高；而在提供页面或图片类服务的缓存***中，节点命中率质差阈值一般设置50％。***可以根据具体情况修改阈值，以期达到最优的指标告警表。

具体步骤如下：

1、缓存日志分析***分析节点缓存命中率。

2、判断节点缓存命中率是否小于节点缓存命中率质差阈值，如小于节点缓存命中率质差阈值，则输出告警报表并给出建议检查缓存服务器的规则。

2)、分析请求成功率

如图4所示，缓存日志分析***对节点的请求成功率进行统计。通过策略设置节点的请求成功率质差阈值，如某节点的请求成功率低于节点请求成功率质差阈值，则通过查看该节点的域名请求统计，查看热点域名(如TOP10域名)的请求成功率情况，确认是否由于个别热点域名因请求成功率低影响了节点整体请求成功率，如有则依据域名维度请求成功率分析方法进行分析，输出相应告警报表，如没有则产生节点告警报表，并建议检查该节点缓存规则或检查硬件负载或网络是否正常。

节点请求成功率质差阈值可通过后台进行设置，并可以针对不同的缓存***环境进行修改。比如：在提供下载或视频类业务服务的缓存***中，节点请求成功率质差阈值一般设置80％或更高；而在提供页面或图片类服务的缓存***中，节点请求成功率质差阈值一般设置50％。***可以根据具体情况修改阈值，以期达到最优的指标告警表。

具体步骤如下：

1、缓存日志分析***分析节点请求成功率。

2、判断节点成功率是否小于节点请求成功率质差阈值，如小于则继续查看节点TOPN热点域名的请求成功率判断是否有个别热点域名的请求成功率小于域名请求成功率质差阈值，如有热点域名小于域名请求成功率质差阈值，则进入域名维度分析请求成功率指标流程，输出相应报表；如没有个别热点域名小于域名请求成功率质差阈值，则输出告警报表并给出建议检查缓存规则或检查硬件负载或网络是否正常。

本发明综合利用了缓存日志分析***和拨测***，利用缓存日志分析***分析的热点域名，进行拨测评估，剔除或优化质差域名，来保证缓存的服务质量，而不是简单的只是让缓存的服务状态可视化，并没有深入挖掘数据的价值。

这种从日志分析***通过深入挖掘数据的价值再反馈到缓存***的分析优化方式，实现了缓存业务自运营的流程闭环管理，达到提升缓存服务的质量的目的。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种提升缓存服务质量的方法，其特征在于，所述方法基于域名、缓存节点双维度对命中率以及请求成功率指标进行分析，给出影响缓存服务质量的域名以及缓存节点的对应优化建议。

2.根据权利要求1所述的一种提升缓存服务质量的方法，其特征在于，所述方法中，对域名维度的命中率数据进行分析的具体过程为：

步骤1.1，设置域名缓存命中率质差阈值以及命中率严重质差阈值；

步骤1.2，缓存日志分析***分析域名命中率，并按请求次数对域名进行排序，查出TOPN个热点域名；

步骤1.3，判断每个热点域名的命中率是否小于缓存命中率质差阈值，如小于命中率质差阈值，继续判断是否小于命中率严重质差阈值，如大于严重质差阈值，则继续查看域名的资源类型；如果该域名的资源类型是static静态资源则输出告警报表并给出建议检查缓存规则，如果该域名的资源类型是dynamic动态资源则输出告警报表并给出建议剔出缓存列表；

步骤1.4，如果所述域名缓存命中率小于命中率严重质差阈值，根据设置的策略直接将该域名加入缓存黑名单，等待人工进一步确认；

步骤1.5，人工对严重质差域名人工判断后，确认不可缓存资源直接剔出缓存列表，确认为可缓存资源，进过优化后从黑名单中恢复。

3.根据权利要求1所述的一种提升缓存服务质量的方法，其特征在于，所述方法中，对域名维度的请求成功率数据进行分析的具体过程为：

步骤2.1，设置域名请求成功率质差阈值；

步骤2.2，缓存日志分析***分析域名命中率，并按请求次数对域名进行排名；

步骤2.3，判断TOPN热点域名中每个域名的请求成功率是否小于请求成功率质差阈值，如果小于请求成功率质差阈值，则继续查看域名状态码信息，输出告警报表并根据具体状态码信息提供优化建议。

4.根据权利要求1所述的一种提升缓存服务质量的方法，其特征在于，所述方法中，对缓存节点维度的命中率数据进行分析的具体过程为：

步骤3.1，设置节点缓存命中率质差阈值；

步骤3.2，缓存日志分析***分析节点缓存命中率；

步骤3.3，判断节点缓存命中率是否小于节点缓存命中率质差阈值，如果节点缓存命中率小于节点缓存命中率质差阈值，则输出告警报表并给出建议检查缓存服务器的规则。

5.根据权利要求3所述的一种提升缓存服务质量的方法，其特征在于，所述方法中，对缓存节点维度的请求成功率数据进行分析的具体过程为：

步骤4.1，设置节点请求成功率质差阈值；

步骤4.2，缓存日志分析***分析节点请求成功率；

步骤4.3，判断节点成功率是否小于节点请求成功率质差阈值，如果小于则继续查看节点中TOPN热点域名的请求成功率判断是否有个别热点域名的请求成功率小于域名请求成功率质差阈值，如果有热点域名小于域名请求成功率质差阈值，则进入域名维度分析请求成功率指标流程，输出相应报表；如果没有个别热点域名小于域名请求成功率质差阈值，则输出告警报表并给出建议检查缓存规则或检查硬件负载或网络是否正常。

6.一种缓存日志分析***，其特征在于，所述***包括：数据源层，日志采集层、业务逻辑层和应用层；

所述数据源层为分析对象，包括大文件和小文件；

所述日志采集层利用FTP、syslog、shell脚本或SNMP多种方式，从缓存***获取日志，并对原始日志进行分类、扫描和解析，统一推送到业务逻辑层进行分析处理和存储；

所述业务逻辑层利用预置规则，通过各种过滤和聚合，对元数据进行大数据分析；通过高性能存储器将日志处理结果进行快速存储，并提供查询接口实现日志的查询过滤；

所述应用层面向运营商，提供图形化的显示界面，展示缓存日志分析***的各功能模块。