CN109995731B - 提高缓存吐出流量的方法、装置、计算设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种提高缓存吐出流量的方法、装置、计算设备及存储介质，方法包括：基于HTTP报文头生成全量用户HTTP话单，所述全量用户HTTP话单包括从各HTTP报文头提取的内容长度和主机；基于所述全量用户HTTP话单，对同一个主机下的内容长度进行求和运算，得到各主机的总内容长度；以主机为粒度对所述总内容长度进行排序，确定热点流量主机；以及对所述热点流量主机进行缓存加速处理。通过本方案能够捕捉出省大流量域名，实现对热点业务的加速服务。

Description

提高缓存吐出流量的方法、装置、计算设备及存储介质

技术领域

本发明涉及互联网HTTP技术领域，尤其涉及一种提高缓存吐出流量的方法、装置、计算设备及存储介质。

背景技术

近年来随着互联网的发展，互联网用户数、互联网应用种类、网络带宽等都呈现出***式的增长，对社会和人们的生活产生了巨大的影响。未来5年我国互联网流量每年增长超过40％，相比之下，宽带建设虽然也在增长，但业务流量已远超带宽增长的速度上升，现有带宽及未来的可见增长，已经远不能满足大流量持续占用带宽的应用对网络带宽的吞噬。

为了应对互联网流量快速增长的挑战，全球主流运营商均开始建设CDN/Cache网络，其目的是通过在现有的Internet中增加一层新的网络架构，将网站的内容发布到最接近用户的网络"边缘"，使用户可以就近取得所需的内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度，解决由于网络带宽小、用户访问量大、网点分布不均等原因所造成的用户访问网站响应速度慢的问题。

在Cache网络引流中，Local DNS通过DNS Forward方式将用户终端DNS域名查询转发到Cache网络，由其为用户提供服务，提高响应速度。对于诸如***等大型网络运营商，其用户访问业务种类丰富，需要对热点业务进行Cache加速。现有Cache运营方法，主要利用DNS日志数据，查询用户DNS解析量较多的域名，添加到Cache网络，对这些业务域名提供加速服务。DNS日志数据只能提供用户DNS解析不同域名的次数，采用该方法运营Cache网络，无法精确捕捉用户大流量域名业务，以及为用户热点业务提供加速服务。

在热点确认上，DNS日志数据统计每次用户的DNS过程，即发起用户的源IP，请求域名和解析地址，而对这些数据进行统计，只能计算出每个域名的DNS解析次数。由于用户在发起DNS解析获得服务器IP后，是通过HTTP协议与服务器交互，获得访问内容的，因此，DNS解析次数无法代表该业务为热点业务。

发明内容

针对DNS日志数据只能提供用户DNS解析不同域名的次数，无法精确捕捉用户大流量域名的问题，本发明实施例提供了一种提高缓存吐出流量的方法、装置、计算设备及存储介质，能够精确捕捉出大流量域名，实现对热点业务的加速服务。

第一方面，本发明实施例提供了一种提高缓存吐出流量的方法，方法包括：

基于HTTP报文头生成全量用户HTTP话单，全量用户HTTP话单包括从各HTTP报文头提取的内容长度和主机标识信息；

基于全量用户HTTP话单，对同一个主机下的内容长度进行求和运算，得到各主机的总内容长度；

以主机为粒度对总内容长度进行排序，确定热点流量主机；以及

对热点流量主机进行缓存加速处理。

第二方面，本发明实施例提供了一种提高缓存吐出流量的装置，装置包括：生成模块、计算模块、确定模块和处理模块。

生成模块可以基于HTTP报文头生成全量用户HTTP话单，其中，全量用户HTTP话单包括从各HTTP报文头提取的内容长度和主机。

计算模块可以基于全量用户HTTP话单，对同一个主机下的内容长度进行求和计算，得到各主机的总内容长度。

确定模块可以以主机为粒度对总内容长度进行排序，确定热点流量主机。

处理模块可以对热点流量主机进行缓存加速处理。

第三方面本发明实施例提供了一种计算设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

本发明实施例提供的提高缓存吐出流量的方法、装置、计算设备及存储介质，通过分析HTTP报文，精确捕捉大流量域名，以及结合DNS日志和可缓存分析，能够精确为用户出省大流量业务的缓存进行加速服务。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明一实施例的提高缓存吐出流量的方法的示意性流程图。

图2示出了根据本发明一实施例的全量用户HTTP话单的示意图。

图3示出了根据本发明一实施例的对域名维度的流量排序的示意图。

图4示出了根据本发明一实施例的出省大流量域名缓存的示意性流程图。

图5示出了根据本发明一实施例的缓存吐出提高效果示意图。

图6示出了根据本发明一实施例的提高缓存吐出流量的装置的示意性结构框图。

图7示出了本发明实施例提供的计算设备的硬件结构示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

本提案利用HTTP协议中的字段捕捉大流量域名，以及结合DNS日志和可缓存分析，对缓存白名单中的主机进行缓存加速处理。图1示出了根据本发明一实施例的提高缓存吐出流量的方法的示意性流程图。

如图1所示，在步骤S100中可以基于HTTP报文头生成全量用户HTTP话单，其中，全量用户HTTP话单包括从各HTTP报文头提取的内容长度和主机识别信息。

其中，内容长度是指报文中除去报头意外的内容长度。HTTP报文包括上行报文即请求报文和下行报文即响应报文，HTTP请求报文包括请求方法、请求URL、HTTP协议及版本、报文头和报文体，HTTP响应报文包括报文协议及版本、状态码和状态描述、响应头和响应体。其中，HTTP报文头包括Cache-Control(缓存控制)、Content-Type(正文类型)、Content-Length(URL资源的实体数据大小)Content-Charset(正文编码)、Port(端口)、Host(主机服务器)等，可以从HTTP报文头中提取内容长度Content-Length和主机Host等字段信息，生成全量用户HTTP话单，全量用户HTTP话单即某个区域内全部用户的HTTP访问请求的记录信息。其中，host可以是IP:端口号，也可以是域名。

根据本发明一实施例，可以通过解析深度解析报文数据，获取用户的HTTP报文。

其中，DPI深度解析报文通过对用户的上、下行数据包进行识别解析，能够完成用户数据报文的解析、协议识别和内容识别，获得目的URL等有价值的信息。并且可以基于识别的业务种类或解析到的关键字匹配控制规则。

根据本发明一实施例，可以通过探针设备识别用户HTTP报文。例如，可以利用串行在城域网出口链路上的探针设备TMA(塔顶放大器)进行报文识别。

根据本发明一实施例，可以将解析成功的HTTP报文对应的报文头导入话单采集***，以生成全量用户HTTP话单，将解析不成功的HTTP报文归属为垃圾数据。

其中，话单采集***可以是利用C#语言及FTP下载来实现，可以实时采集端口数据。

根据本发明一实施例，可以将识别后的HTTP报文通过端口镜像传输到话单采集服务器中，以实现请求报文和响应报文的汇聚。

其中，端口镜像是将指定端口(源端口)、vlan(源vlan)或CPU的报文复制一份到其它端口(目的端口)，目的端口可以与数据监测设备相连接，利用数据监测设备可以分析复制到目的端口的报文，可以实现请求报文和响应报文的汇聚。还可以进行网络监控和故障排除，例如，B端口是A端口的镜像，那么在B端口上通过常用的一些工具就可以获取A端口的网络数据包，通过捕获的数据包就可以分析A端口是否有异常网络流量。

根据本发明一实施例，可以将以每一个用户HTTP访问过程的数据流ID为行，以从HTTP报文头中提取的字段为列的数据表作为全量用户HTTP话单。其中，HTTP访问过程中的请求和响应，以及在网络上进行数据的读写操作，都可以使用数据流来完成。

其中，HTTP话单是基于互联网全量数据进行处理后，生成的信令过程和业务传输过程的会话级详细记录，包含了用户所有的上网信息，可以包括五元组信息、HTTP报文信息等。

图2示出了根据本发明一实施例的全量用户HTTP话单的示意图。如图2所示，可以提取网站名、Host、PORT、URL总数等字段，对同一用户发起的一次HTTP过程所产生的数据流，可以命名为ID＝1，依次列出对某个区域内所有用户的数据流，生成以数据流ID为行，提取的HTTP字段为列的数据表。

如图1所示，在步骤S200中可以基于全量用户HTTP话单，对同一个主机下的内容长度进行求和运算，得到各主机的总内容长度。

例如，可以将HTTP话单通过FTP的方式以天为粒度上传到数据处理***，通过对不同数据流ID属于同一个host字段下的content-length进行求和运算，得到各主机的总内容长度，可以作为流量排序的依据。

在步骤S300中可以以主机为粒度对总内容长度进行排序，确定热点流量主机。图3示出了根据本发明一实施例的对域名维度的流量排序的示意图。

根据本发明一实施例，可以对总内容长度进行降序排列，将前N个主机作为热点流量主机，N为结合cache网络服务能力评估出的可缓存主机数量。

例如，根据网络服务能力，N可以为***设计连接数与每个域名的平均连接数的比值，选取topN个主机为热点流量主机。

在步骤S400中可以对热点流量主机进行缓存加速处理。

根据本发明一实施例，可以结合DNS日志，确定各热点流量主机的本省率，将本省率小于预定阈值的热点流量主机加入缓存白名单，将本省率不小于预定阈值的热点流量主机加入缓存黑名单，对缓存白名单中的主机进行缓存加速处理。

其中，本省率可以是用户DNS解析到省内的次数占用户DNS解析总次数的比例。

例如，判断热点流量主机的归属，若本省率>＝50％则host归属为省内；若本省率<50％则host归属为省外。由于Cache对省内资源起不到加速效果，因此若host为省内资源则加入缓存黑名单，若host为省外资源则加入缓存白名单。

根据本发明一实施例，可以从各HTTP报文头中提取端口，根据端口信息，判断热点流量主机的可缓存性，将端口为80的比例为100％的热点流量主机加入缓存白名单，并且/或者将端口为80的比例不为100％的热点流量主机加入缓存黑名单。

例如，由于Cache网络只服务port＝80的资源，若该host下的port＝80的比例为100％，则加入缓存白名单，否则加入缓存黑名单。

图4示出了根据本发明一实施例的出省大流量域名缓存的示意性流程图。如图4所示，利用DPI数据捕获用户上下行报文，将捕获成功的配对HTTP报文头导入话单采集***，将捕获不成功的配对HTTP报文头作为垃圾数据。对HTTP报文头中需要保留的字段进行提取，包括content-length/host/cache-control/port等，将提取不成功的HTTP报文作为垃圾数据。获取热点流量主机，可以对属于同一个host下的content-length进行求和运算，得到以host为粒度的流量排序，即能够精确捕获热点流量主机，对非热点流量主机不处理。对host的解析归属做判断，若为省内资源则加入缓存黑名单，若为省外资源则加入缓存白名单。对host的可缓存性做出判断，若该host下的port＝80的比例为100％，则加入缓存白名单，否则加入缓存黑名单。

图5示出了根据本发明一实施例的缓存吐出提高效果示意图。可以看出通过提高缓存吐出量，提高了缓存速率。

图6示出了根据本发明一实施例的提高缓存吐出流量的装置的示意性结构框图。如图6所示，该装置600可以包括：生成模块610、计算模块620、确定模块630和处理模块640。

生成模块610可以基于HTTP报文头生成全量用户HTTP话单，其中，全量用户HTTP话单包括从各HTTP报文头提取的内容长度和主机。

计算模块620可以基于全量用户HTTP话单，对同一个主机下的内容长度进行求和计算，得到各主机的总内容长度。

确定模块630可以以主机为粒度对总内容长度进行排序，确定热点流量主机。

处理模块640可以对热点流量主机进行缓存加速处理。

根据本发明一实施例，处理模块640可以包括：

确定单元，可以结合DNS日志，确定各热点流量主机的本省率。

第一归属单元，用于将本省率小于预定阈值的热点流量主机加入缓存白名单，将本省率不小于预定阈值的热点流量主机加入缓存黑名单；

处理单元，可以对缓存白名单中的主机进行缓存加速处理。

根据本发明一实施例，处理模块640还可以包括：

判断单元，用于判断热点流量主机的可缓存性，将端口为80的比例为100％的热点流量主机加入缓存白名单，并且/或者将端口为80的比例不为100％的热点流量主机加入缓存黑名单。

根据本发明一实施例，生成模块610可以包括：

解析单元，可以解析深度解析报文数据，以获取用户的HTTP报文。

导入单元，可以将解析成功的HTTP报文对应的报文头导入话单采集***，以生成全量用户HTTP话单。

第二归属单元，可以将解析不成功的HTTP报文归属为垃圾数据。

其中，解析单元可以包括识别单元，可以通过探针设备识别用户HTTP报文。

导入单元可以包括传输单元，可以将识别后的HTTP报文通过端口镜像传输到话单采集服务器中，以实现请求报文和响应报文的汇聚。

根据本发明一实施例，确定模块630可以包括：

排序单元，可以对总内容长度进行降序排列，将前N个主机作为热点流量主机，N为结合cache网络服务能力评估出的可缓存主机数量。

综上，本公开的技术方案通过DPI***提取HTTP协议中的content-length/host/cache-control/port核心字段，对属于同一host的不同资源的content-length进行求和，能够捕捉大流量域名。通过结合DNS日志和可缓存分析***，能够准确捕捉出省流量域名和适合缓存***加速的域名，实现对热点业务的加速服务。

另外，结合图1描述的本发明实施例的提高缓存吐出流量的方法可以由计算设备来实现。图7示出了本发明实施例提供的计算设备的硬件结构示意图。

计算设备可以包括处理器701以及存储有计算机程序指令的存储器702。

具体地，上述处理器701可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器702可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器702可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器702可在数据处理装置的内部或外部。在特定实施例中，存储器702是非易失性固态存储器。在特定实施例中，存储器702包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器701通过读取并执行存储器702中存储的计算机程序指令，以实现上述实施例中的任意一种提高缓存吐出流量的方法。

在一个示例中，计算设备还可包括通信接口703和总线710。其中，如图7所示，处理器701、存储器702、通信接口703通过总线710连接并完成相互间的通信。

通信接口703，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线710包括硬件、软件或两者，将计算设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、***组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线710可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

另外，结合上述实施例中的提高缓存吐出流量的方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种提高缓存吐出流量的方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或***。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (11)

1.一种提高缓存吐出流量的方法，其特征在于，所述方法包括：

基于HTTP报文头生成全量用户HTTP话单，所述全量用户HTTP话单包括从各HTTP报文头提取的内容长度和服务器标识信息；

基于所述全量用户HTTP话单，对属于同一个主机下的内容长度进行求和运算，得到各主机的总内容长度；

以主机为粒度对所述总内容长度进行排序，确定热点流量主机；

对所述热点流量主机进行缓存加速处理；

其中，所述对所述热点流量主机进行缓存加速处理包括：

结合DNS日志，确定各热点流量主机的本省率；

将所述本省率小于预定阈值的热点流量主机加入缓存白名单；

将所述本省率不小于预定阈值的热点流量主机加入缓存黑名单；

利用Cache网络对所述缓存白名单中的主机进行缓存加速处理。

2.根据权利要求1所述的方法，其特征在于，

所述本省率为用户DNS解析到省内的次数占用户DNS解析总次数的比例。

3.根据权利要求1所述的方法，其特征在于，所述全量用户HTTP话单还包括从各HTTP报文头提取的端口，所述对热点流量主机进行缓存加速处理的步骤还包括：

判断所述热点流量主机的可缓存性，将端口为80的比例为100％的热点流量主机加入缓存白名单，和/或者将端口为80的比例不为100％的热点流量主机加入缓存黑名单。

4.根据权利要求1所述的方法，其特征在于，所述基于HTTP报文头生成全量用户HTTP话单的步骤包括：

解析深度解析报文数据，以获取用户的HTTP报文；

将解析成功的所述HTTP报文对应的报文头导入话单采集***，以生成所述全量用户HTTP话单；以及

将解析不成功的所述HTTP报文归属为垃圾数据。

5.根据权利要求4所述的方法，其特征在于，所述解析深度解析报文数据，以获取用户的HTTP报文的步骤包括：

通过探针设备识别所述用户HTTP报文。

6.根据权利要求4所述的方法，其特征在于，所述将解析成功的所述HTTP报文对应的报文头导入话单采集***的步骤包括：

将识别后的所述HTTP报文通过端口镜像传输到话单采集服务器中，以实现请求报文和响应报文的汇聚。

7.根据权利要求1所述的方法，其特征在于，

所述全量用户HTTP话单是以每一个用户HTTP访问过程的数据流ID为行，以从所述HTTP报文头中提取的字段为列的数据表。

8.根据权利要求1所述的方法，其特征在于，所述以主机为粒度对所述总内容长度进行排序确定热点流量主机的步骤包括：

对所述总内容长度进行降序排列；

将前N个主机作为热点流量主机，N为结合cache网络服务能力评估出的可缓存主机数量。

9.一种提高缓存吐出流量的装置，其特征在于，所述装置包括：

生成模块，用于基于HTTP报文头生成全量用户HTTP话单，所述全量用户HTTP话单包括从各HTTP报文头提取的内容长度和主机；

计算模块，用于基于所述全量用户HTTP话单，对同一个主机下的内容长度进行求和计算，得到各主机的总内容长度；

确定模块，用于以主机为粒度对所述总内容长度进行排序，确定热点流量主机；以及

处理模块，用于对所述热点流量主机进行缓存加速处理；

其中，所述处理模块，具体包括：

确定单元，用于结合DNS日志，确定各热点流量主机的本省率；

第一归属单元，用于将所述本省率小于预定阈值的热点流量主机加入缓存白名单，以及将所述本省率不小于预定阈值的热点流量主机加入缓存黑名单；

处理单元，用于利用Cache网络对所述缓存白名单中的主机进行缓存加速处理。

10.一种计算设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-8任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-8中任一项所述的方法。

Images