CN113691581B - 一种高效的cdn刷新分片的方法 - Google Patents
一种高效的cdn刷新分片的方法 Download PDFInfo
- Publication number
- CN113691581B CN113691581B CN202110771776.3A CN202110771776A CN113691581B CN 113691581 B CN113691581 B CN 113691581B CN 202110771776 A CN202110771776 A CN 202110771776A CN 113691581 B CN113691581 B CN 113691581B
- Authority
- CN
- China
- Prior art keywords
- size
- slice
- resource
- slicesize
- fragment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
- H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种高效的CDN刷新分片的方法,包括:内容分发网络在缓存资源数据时,对资源数据进行分片,得到分片数sliceNum;根据分片数计算每片资源的大小,得到分片大小sliceSize;对资源数据进行分片,之后对分片后的每片对应的资源内容生成对应的哈希值作为该分片的哈希值;根据每片的原始URL、哈希值和序号ID作为key值,分片资源作为value,更新缓存,把分片缓存存储到缓存存储***中进行缓存,完成刷新。本发明能够根据资源大小及服务器的容量自动对资源进行分片,减少操作人员的负担,更加合理的利用资源,同时,分片刷新时也只需刷一次,大大提升刷新的效率。
Description
技术领域
本发明涉及CDN刷新分片领域,具体涉及一种高效的CDN刷新分片的方法。
背景技术
CDN(Content Delivery Network),即内容分发网络,旨在解决互联网数据传输瓶颈,通过在各个边缘节点缓存资源数据,用户可在就近的边缘节点缓存中直接获取资源,避免去往源站,减少用户在网络传输过程中耗费的时间。
CDN在缓存资源数据时,会对过大的资源数据进行分片。当缓存资源需要刷新时,目前的开源服务器会对缓存资源的每一个分片进行刷新。该方案存在如下缺陷:
1)刷新的总耗时长,进行资源分片刷新时,需要等到每一个分片都完成刷新后,该资源才能完成刷新;
2)分片刷新造成“请求风暴”,增大***压力,在进行批量刷新时如果大量的资源需要分片刷新,这样刷新的总请求量会非常庞大形成“请求风暴”,增大对***的压力。
发明内容
本发明的第一个目的是提供一种高效的CDN刷新分片的方法,能够根据资源大小及服务器的容量自动对资源进行分片,减少操作人员的负担,更加合理的利用资源,同时,分片刷新时也只需刷一次,大大提升刷新的效率。
一种高效的CDN刷新分片的方法,包括以下步骤:
1)内容分发网络在缓存资源数据时,对资源数据进行分片,得到分片数sliceNum;
2)根据分片数计算每片资源的大小,得到分片大小sliceSize;
3)根据分片数sliceNum和分片大小sliceSize对资源数据进行分片,之后对分片后的每片对应的资源内容生成对应的哈希值作为该分片的哈希值(etag);
4)根据分片后的每片的原始URL、哈希值和根据分片数sliceNum对应的序号ID作为key值,分片资源作为value,更新缓存,把分片缓存存储到缓存存储***中进行缓存,完成刷新,并以请求头中携带的maxAge作为该分片缓存的生命周期。
步骤1)中,对资源数据进行分片,得到分片大小sliceSize,具体包括:
1.1)使用分片计算公式对资源数据进行计算,计算分片数量的公式为n umber=max(dataSize/max(limitSize,defaultLimitSize),1),其中,number为分片数量,dataSize表示资源数据的大小,limiteSize表示要求的分片大小,de faultLimitSize表示默认的分片大小。defaultLimitSize值为1~500MB,默认情况下50MB。
1.2)当分片数量number结果小于等于1时,表示该资源很小,不需要分片;
1.3)当分片数量number结果大于1时,取整后得到分片数sliceNum:
1.3.1)如果number为整数,则number即为该资源需要的分片数sliceN um;
1.3.2)如果number为小数时,则number取整后再加1为该资源需要的分片数sliceNum;
步骤2)中,根据分片数计算每片资源的大小,得到分片大小sliceSize,具体包括:
2.1)当分片计算公式的运算结果小于等于1时,表示该资源很小,不需要分片,直接根据原始URL替换缓存***中对应的资源;
2.2)当分片计算公式的运算结果大于1时,按照计算出的分片数作为资源的分片数,程序使用区间[0,sliceNum)内的整数作为每个分片的ID,计算每个分片的大小,得到分片大小sliceSize;
步骤2.2)中,计算每个分片的大小,具体包括:
每个分片的大小根据公式的运算结果分为2种情况:
2.2.1)如果分片计算公式的运算为整数则每片大小一致均等于分片大小sliceSize,分片大小sliceSize=资源数据dataSize/分片数sliceNum;
2.2.2)如果分片计算公式的运算为小数时,最后一分片的大小等于dat aSize–round(分片数量number,0)*sliceSize,其余分片的大小为sliceSize;
步骤2.2.2)中,最后一分片的大小与其余分片的大小sliceSize之和等于资源数据dataSize,可以确定sliceSize。
与现有技术相比,本发明具有如下优点:
(1)本发明提供的分片计算公式能够自主判断是否需要对资源进行分片,以及支持分片大小及分片数量的可配置化,避免了过大分片缓存效果不佳,过小分片使得服务器内存碎片化整体资源率低,提升了缓存服务器的整体性能。
(2)本发明提供的分片刷新方法只需要请求源站一次,并且只在缓存资源发生变化时才重新缓存资源,从而降低了刷新的平均耗时,提升了刷新***的吞吐量。
(3)本发明提供的分片计算公式能够自主判断是否需要对资源进行分片,以及支持分片大小及分片数量的可配置化,避免了过大分片缓存效果不佳,过小分片使得服务器内存碎片化整体资源率低,提升了缓存服务器的整体性能。
(4)本发明提供的分片刷新方法只需要请求源站一次,并且只在缓存资源发生变化时才重新缓存资源,从而降低了刷新的平均耗时,提升了刷新***的吞吐量。
附图说明
图1为分片刷新预热的整体架构图;
图2为根据分片计算公式计算分片数的逻辑示意图;
图3为根据分片刷新结果存入缓存***的流程图。
具体实施方式
本发明高效的CDN刷新分片的方法,包括使用分片计算公式对分片进行计算和CDN分片缓存的刷新。
使用分片计算公式对分片进行计算:
计算分片数量的公式为number=max(dataSize/max(limitSize,defaultLimitSize),1),其中:
·dataSize表示资源的体积;
·limiteSize表示要求的分片大小;
·defaultLimitSize表示默认默认的分片大小,默认情况defaultLimitSize值为50MB;
·分片大小sliceSize等于limitSizedefaultLimitSize中的大值;
该公式的计算结果有以下几种情况:
·当公式的运算结果小于等于1时,表示该资源很小,不需要分片;
·当公式的运算结果大于1时:
a.如果number为整数,则number即为该资源需要的分片数sliceNum;
b.如果number为小数时,则number取整后再加1为该资源需要的分片数sliceNum;
一种CDN分片缓存的刷新方法,分片刷新时也只需刷一次,大大提升刷新的效率。
在进行资源刷新时,刷新后的资源按照上述计算分片数量的公式重新计算。
当公式的运算结果等于1时,表示该资源很小,不需要分片,直接根据原始URL替换缓存***中对应的资源即可;
当公式的运算结果大于1时,按照方案1中的计算出的分片数作为资源的分片数,程序使用区间[0,sliceNum)内的整数作为每个分片的ID,每个分片的大小根据公式的运算结果分为2种情况:
a.如果number为整数则每片大小一致均等于sliceSize;
b.如果number为小数时,最后一片的大小等于dataSize–round(number,0)*sliceSize,其余分片的大小为sliceSize;
根据该分片内容生成对应的哈希值作为该分片的etag;
每个分片以“原始URL+分片etag+分片ID”作为key值以分片资源作为value,把分片缓存存储到KV存储***中进行缓存,并以请求头中携带的maxAge作为该分片缓存的生命周期。
如果请求源站后对应的资源发生变化,那么根据分片内容生成的哈希值“分片etag”也会发生变化,以“原始URL+分片etag+分片ID”形成的key值也会发生变化,则把该分片按照上述方案重新缓存即可,老的过期资源会在生命周期到期时被KV存储***自动清理掉。
如果请求源站后对应的资源未发生变化,则只需要根据请求头中的maxAge重置KV存储***中对应key值的生命周期,不需要把分片内存重新缓存到KV存储***中。
实施例1
如图1所示,本实施例包括分片计算公式模块和KV缓存***。当刷新请求发出后,CDN***会请求源站获取原始URL最新的资源,然后将该资源发送至分片计算公式模块计算该资源的分片。最终根据分片计算公式结果将最新的资源缓存到KV缓存***中。
实施例2
见图2,实施例1中分片计算公式的计算方法,包括以下步骤:
1.根据资源的属性确定该资源的大小dataSize;
2.如果刷新请求的Header中携带了limitSize且limitSize大于default Size,则使用limitSize作为分片大小sliceSize,否则使用defaultSize作为分片大小sliceSize。
3.dataSize除以sliceSize的商middleNum如果等于1,则说明资源过小,不需要分片。
4.dataSize除以sliceSize的商middleNum如果大于1,又分为2种情况:
a.商middleNum为整数,则该商为资源分片数sliceNum。
b.商middleNum为小数,则该商middleNum的整数部分roundNum加1作为资源分片数。
实施例3
如图3所示,实施例1中存入缓存***,包括以下步骤:
1.根据分片计算公式的运算结果是否等于1,分为2种情况:
1)运算结果等于1,该资源过小,无需分片直接刷新即可;
2)运算结果大于1,根据运算结果是否为整数,分为2种情况:
a)运算结果为整数,每片的大小为sliceSize;
b)运算结果为小数,最后一个分片的大小为:dataSize–roundNum*SliceSize,其余分片的大小为sliceSize;
2.根据该分片内容生成对应的哈希值作为该分片的etag;
3.每个分片以“原始URL+分片etag+分片ID”作为key值以分片资源作为value,把分片缓存存储到KV存储***中进行缓存,并以请求头中携带的maxAge作为该分片缓存的生命周期;
4根据key值是否存在于KV缓存***中分为2种情况:
a)如果请求源站后对应的资源发生变化,那么根据分片内容生成的哈希值“分片etag”也会发生变化,以“原始URL+分片etag+分片ID”形成的key值也会发生变化,则把该分片按照上述方案重新缓存即可,老的过期资源会在生命周期到期时被KV存储***自动清理掉。
b)如果请求源站后对应的资源未发生变化,则只需要根据请求头中的maxAge重置KV存储***中对应key值的生命周期,不需要把分片内存重新缓存到KV存储***中。
本发明提供的分片计算公式能够自主判断是否需要对资源进行分片,以及支持分片大小及分片数量的可配置化,避免了过大分片缓存效果不佳,过小分片使得服务器内存碎片化整体资源率低,提升了缓存服务器的整体性能。
本发明提供的分片刷新方法只需要请求源站一次,并且只在缓存资源发生变化时才重新缓存资源,从而降低了刷新的平均耗时,提升了刷新***的吞吐量。
Claims (5)
1.一种高效的 CDN 刷新分片的方法,其特征在于,包括以下步骤:
1)内容分发网络在缓存资源数据时,对资源数据进行分片,得到分片数sliceNum;
对资源数据进行分片,得到分片大小sliceSize,具体包括:
1.1)使用分片计算公式对资源数据进行计算,分片计算公式为number=max(dataSize/max(limitSize, defaultLimitSize), 1);
其中,number为分片数量,dataSize表示资源数据的大小,limiteSize表示要求的分片大小,defaultLimitSize表示默认的分片大小;
1.2)当分片数量number结果小于等于 1 时,不需要分片;
1.3)当分片数量number结果大于 1 时,取整后得到分片数sliceNum;
当分片数量number结果大于 1 时,取整后得到分片数sliceNum,具体包括:
1.3.1)如果number为整数,则number即为该资源需要的分片数sliceNum;
1.3.2)如果number为小数时,则number取整后再加 1 为该资源需要的分片数sliceNum;
2)根据分片数计算每片资源的大小,得到分片大小sliceSize;
3)根据分片数sliceNum和分片大小sliceSize对资源数据进行分片,之后对分片后的每片对应的资源内容生成对应的哈希值作为该分片的哈希值;
4)根据分片后的每片的原始 URL、哈希值和根据分片数sliceNum对应的序号ID作为key值,分片资源作为 value,更新缓存,把分片缓存存储到缓存存储***中进行缓存,完成刷新,并以请求头中携带的 maxAge作为该分片缓存的生命周期。
2.根据权利要求1所述的高效的 CDN 刷新分片的方法,其特征在于,步骤1.1)中,defaultLimitSize值为1~500 MB。
3.根据权利要求1所述的高效的 CDN 刷新分片的方法,其特征在于,步骤2)中,根据分片数计算每片资源的大小,得到分片大小sliceSize,具体包括:
2.1)当分片计算公式的运算结果小于等于 1 时,不需要分片,直接根据原始 URL替换缓存***中对应的资源;
2.2)当分片计算公式的运算结果大于 1 时,按照计算出的分片数作为资源的分片数,使用区间 [0,sliceNum)内的整数作为每个分片的 ID,计算每个分片的大小,得到分片大小sliceSize。
4.根据权利要求3所述的高效的 CDN 刷新分片的方法,其特征在于,步骤2.2)中,计算每个分片的大小,具体包括:
每个分片的大小根据公式的运算结果分为 2 种情况:
2.2.1)如果分片计算公式的运算为整数则每片大小一致均等于分片大小sliceSize,分片大小sliceSize=资源数据dataSize /分片数sliceNum;
2.2.2)如果分片计算公式的运算为小数时,最后一分片的大小等于 dataSize –round(分片数量number,0)*sliceSize,其余分片的大小为 sliceSize。
5.根据权利要求4所述的高效的 CDN 刷新分片的方法,其特征在于,步骤2.2.2)中,最后一分片的大小与其余分片的大小sliceSize之和等于资源数据dataSize,确定sliceSize。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110771776.3A CN113691581B (zh) | 2021-07-08 | 2021-07-08 | 一种高效的cdn刷新分片的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110771776.3A CN113691581B (zh) | 2021-07-08 | 2021-07-08 | 一种高效的cdn刷新分片的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113691581A CN113691581A (zh) | 2021-11-23 |
CN113691581B true CN113691581B (zh) | 2023-05-09 |
Family
ID=78576783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110771776.3A Active CN113691581B (zh) | 2021-07-08 | 2021-07-08 | 一种高效的cdn刷新分片的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113691581B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114598748A (zh) * | 2021-12-08 | 2022-06-07 | 北京金山云网络技术有限公司 | 缓存资源的刷新方法、装置及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102075561A (zh) * | 2010-11-29 | 2011-05-25 | 成都市华为赛门铁克科技有限公司 | 一种网络资源下载方法,装置及*** |
CN112513830A (zh) * | 2019-07-15 | 2021-03-16 | 华为技术有限公司 | 内容分发网络中的回源方法及相关装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104935648B (zh) * | 2015-06-03 | 2018-07-17 | 北京快网科技有限公司 | 一种高性价比的cdn***及文件预推、分片缓存的方法 |
CN106383665B (zh) * | 2016-09-05 | 2018-05-11 | 华为技术有限公司 | 数据存储***中的数据存储方法及协调存储节点 |
CN109246198B (zh) * | 2018-08-16 | 2022-01-07 | 杭州数梦工场科技有限公司 | 一种基于分布式存储集群的云主机启动控制方法和*** |
CN109246211B (zh) * | 2018-08-30 | 2021-08-13 | 南方科技大学 | 一种区块链中的资源上传和资源请求方法 |
CN110442644A (zh) * | 2019-07-08 | 2019-11-12 | 深圳壹账通智能科技有限公司 | 区块链数据归档存储方法、装置、计算机设备和存储介质 |
CN112711774B (zh) * | 2021-03-25 | 2023-01-10 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、设备及存储介质 |
-
2021
- 2021-07-08 CN CN202110771776.3A patent/CN113691581B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102075561A (zh) * | 2010-11-29 | 2011-05-25 | 成都市华为赛门铁克科技有限公司 | 一种网络资源下载方法,装置及*** |
CN112513830A (zh) * | 2019-07-15 | 2021-03-16 | 华为技术有限公司 | 内容分发网络中的回源方法及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113691581A (zh) | 2021-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017097011A1 (zh) | 基于集群节点间即时拷贝的会话同步方法 | |
CN108429777B (zh) | 一种基于缓存的数据更新方法及服务器 | |
CN112788139B (zh) | 一种区块链存储容量优化方法及*** | |
CN113691581B (zh) | 一种高效的cdn刷新分片的方法 | |
WO2020108544A1 (zh) | 同步缓存数据的方法、装置和*** | |
CN105007613B (zh) | 一种基于流量过滤和Web缓存预取的WiFi接入设备节能方法 | |
CN105472056A (zh) | Dns递归服务器分层缓存方法和*** | |
WO2018218850A1 (zh) | 文件大小异构的分布式编码缓存放置方法及*** | |
CN111597213B (zh) | 一种缓存方法、软件服务器及存储介质 | |
Yin et al. | Adaptive power-aware prefetch in wireless networks | |
CN104768079A (zh) | 多媒体资源分发方法、装置及*** | |
CN107251529B (zh) | 用于在内容传输网络***中的服务器之间传输和接收信息的方法和装置 | |
US9521064B2 (en) | Cooperative caching method and apparatus for mobile communication system | |
WO2019206033A1 (zh) | 服务器配置的方法和装置 | |
Yin et al. | Power-aware prefetch in mobile environments | |
CN104683239B (zh) | 一种面向互联网的节能型QoS路由方法 | |
CN107517266A (zh) | 一种基于分布式缓存的即时通讯方法 | |
CN102075584B (zh) | 一种分布式文件***及其访问方法 | |
CN109992209B (zh) | 数据处理方法、装置及分布式存储*** | |
Wang et al. | SACCS: scalable asynchronous cache consistency scheme for mobile environments | |
CN113300875A (zh) | 回源数据校验方法、服务器、***及存储介质 | |
CN106815334A (zh) | 一种用于终端的数据查询方法及装置 | |
CN113364830B (zh) | 一种长链接的缓存优化方法及*** | |
CN110913468B (zh) | 一种基于预缓存的能量节省传输方法 | |
US10015012B2 (en) | Precalculating hashes to support data distribution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |