CN109586937A - 一种缓存***的运维方法、设备和存储介质 - Google Patents
一种缓存***的运维方法、设备和存储介质 Download PDFInfo
- Publication number
- CN109586937A CN109586937A CN201710899461.0A CN201710899461A CN109586937A CN 109586937 A CN109586937 A CN 109586937A CN 201710899461 A CN201710899461 A CN 201710899461A CN 109586937 A CN109586937 A CN 109586937A
- Authority
- CN
- China
- Prior art keywords
- domain name
- analyzed
- white list
- caching system
- estimate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/45—Network directories; Name-to-address mapping
- H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
- H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种缓存***的运维方法、设备和存储介质。该方法包括：获取待分析域名对应的URL资源；根据所述URL资源确定所述待分析域名的可缓存性评价值；根据可缓存性评价值大于预设阈值的待分析域名生成域名白名单，使所述域名白名单在所述缓存***中生效。本发明通过自动拨测的方式获取域名对应的URL资源，并对域名进行可缓存性分析，并根据分析结果生成域名白名单，提升了运维效率，降低了运维成本。
Description
技术领域
本发明涉及互联网技术领域，特别是涉及一种缓存***的运维方法、设备和存储介质。
背景技术
为了提升互联网用户的服务体验，电信、移动等运营商引入了缓存(Cache)***，缓存***可以实现互联网资源的缓存，就近为宽带用户和移动用户提供服务，提升用户体验，节省流量成本。
随着缓存***所缓存的域名资源越来越多，对现网缓存***运维的成本越来越大，而且对运维的效率要求也越来越高。在对缓存***运维的过程中主要存在两个关键问题：
一个关键问题在于，在运维过程中，需要分析域名的可缓存性。域名的可缓存性分析是缓存***运维过程中使用最频繁的功能，域名的可缓存性取决于域名对应的互联网内容是否可以被缓存。对于域名的可缓存性的判断，通常采用的方式是人工拨测，即通过浏览器和HttpWatch插件相结合的方式，手工访问域名对应的网站首页，获取网页资源并对网页资源的可缓存性进行分析。目前，在缓存***配置的域名白名单中存在3000个以上的域名，通过人工拨测的方式分析域名的可缓存性成本高、耗时、且准确性低。
另一个关键问题在于，在运维过程中，需要对缓存***中的域名白名单进行服务质量监控。目前采用的监控手段是被动监控，即运维人员每天分析现网缓存***中的用户服务日志，以便通过分析日志来获得域名服务的关键指标，从而确定域名白名单的服务质量，但是这种服务质量的监控方式，需要投入大量运维人力，效率低下且运维质量不可保证。
正是因为上述两个主要问题的存在，导致缓存***的运维成本高而且运维效率低下，不能进一步地提升用户的互联网服务体验。
发明内容
本发明要解决的技术问题是提供一种缓存***的运维方法、设备和存储介质，用以解决现有缓存***的运维成本高而且运维效率低下的问题。
为了解决上述技术问题，本发明是通过以下技术方案来解决的：
本发明提供了一种缓存***的运维方法，包括：获取待分析域名对应的URL资源；根据所述URL资源确定所述待分析域名的可缓存性评价值；根据可缓存性评价值大于预设阈值的待分析域名生成域名白名单，使所述域名白名单在所述缓存***中生效。
其中，所述获取待分析域名对应的URL资源，包括：从网络侧爬取待加速域名对应的URL资源；采集缓存***处理过的域名对应的URL资源；在所述缓存***处理过的域名对应的URL资源中，查找出所述待加速域名对应的URL资源；获取查找出的待加速域名对应的URL资源以及爬取到的待加速域名对应的URL资源的并集，作为待分析域名对应的URL资源。
其中，在所述根据可缓存性评价值大于预设阈值的待分析域名生成域名白名单之后，所述方法还包括：每隔预设时间段，重新确定所述待分析域名的可缓存性评价值；根据重新确定可缓存性评价值的待分析域名更新所述域名白名单，并使更新后的域名白名单在所述缓存***中生效。
其中，在使所述域名白名单在所述缓存***中生效之后，所述方法还包括：接收所述缓存***上报的用户服务日志；提取所述用户服务日志中的域名服务参数；根据所述域名服务参数，确定所述域名白名单中的待分析域名对应的服务状态；根据所述域名白名单中的待分析域名对应的服务状态更新所述域名白名单，并使更新后的域名白名单在所述缓存***中生效。
其中，根据所述域名白名单中的待分析域名对应的服务状态更新所述域名白名单，包括：将服务状态为正常状态的待分析域名保留在所述域名白名单中；将服务状态为异常状态的待分析域名从所述域名白名单中删除；将服务状态为中间状态的待分析域名的可缓存性评价值进行重新确定，如果所述可缓存性评价值大于预设阈值，则将所述中间状态的待分析域名保留在所述域名白名单中，反之，则将所述中间状态的待分析域名从所述域名白名单中删除。
本发明还提供了一种缓存***的运维设备，所述数据处理设备包括处理器、存储器；所述处理器用于执行存储器中存储的缓存***的运维程序，以实现以下步骤：获取待分析域名对应的URL资源；根据所述URL资源确定所述待分析域名的可缓存性评价值；根据可缓存性评价值大于预设阈值的待分析域名生成域名白名单，使所述域名白名单在所述缓存***中生效。
其中，所述处理器还用于执行存储器中存储的缓存***的运维程序，以实现以下步骤：从网络侧爬取待加速域名对应的URL资源；采集缓存***处理过的域名对应的URL资源；在所述缓存***处理过的域名对应的URL资源中，查找出所述待加速域名对应的URL资源；获取查找出的待加速域名对应的URL资源以及爬取到的待加速域名对应的URL资源的并集，作为待分析域名对应的URL资源。
其中，在所述根据可缓存性评价值大于预设阈值的待分析域名生成域名白名单之后，所述处理器还用于执行存储器中存储的缓存***的运维程序，以实现以下步骤：每隔预设时间段，重新确定所述待分析域名的可缓存性评价值；根据重新确定可缓存性评价值的待分析域名更新所述域名白名单，并使更新后的域名白名单在所述缓存***中生效。
其中，在使所述域名白名单在所述缓存***中生效之后，所述处理器还用于执行存储器中存储的缓存***的运维程序，以实现以下步骤：接收所述缓存***上报的用户服务日志；提取所述用户服务日志中的域名服务参数；根据所述域名服务参数，确定所述域名白名单中的待分析域名对应的服务状态；根据所述域名白名单中的待分析域名对应的服务状态更新所述域名白名单，并使更新后的域名白名单在所述缓存***中生效。
其中，所述处理器还用于执行存储器中存储的缓存***的运维程序，以实现以下步骤：将服务状态为正常状态的待分析域名保留在所述域名白名单中；将服务状态为异常状态的待分析域名从所述域名白名单中删除；将服务状态为中间状态的待分析域名的可缓存性评价值进行重新确定，如果所述可缓存性评价值大于预设阈值，则将所述中间状态的待分析域名保留在所述域名白名单中，反之，则将所述中间状态的待分析域名从所述域名白名单中删除。
本发明还提供了一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的缓存***的运维方法。
本发明有益效果如下：
本发明通过自动拨测的方式获取域名对应的URL资源，并对域名进行可缓存性分析，并根据分析结果生成域名白名单，提升了运维效率，降低了运维成本。进一步地，本发明还通过缓存***上报的服务质量日志，自动分析日志中的关键参数，确定域名白名单在缓存***的服务质量，根据域名白名单的服务质量来调整域名白名单，进而实现自动对域名白名单进行服务质量监控的目的，进一步降低了运维成本，提升了运维效率。
附图说明
图1是根据本发明第一实施例的缓存***的运维方法的流程图；
图2是根据本发明第二实施例的获取域名对应的URL资源的步骤流程图；
图3是根据本发明第三实施例的确定可缓存性评价值的步骤流程图；
图4是根据本发明第四实施例的缓存***的运维方法的流程图；
图5是根据本发明第四实施例的服务质量分析的示意图；
图6是根据本发明第五实施例的缓存***的运维设备的结构图；
图7是根据本发明第六实施例的缓存***的运维方法的示意图；
图8是根据本发明第六实施例的缓存***执行域名加速处理的示意图。
具体实施方式
以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。
实施例一
本实施例提供一种缓存***的运维方法。本实施例将对域名可缓存性分析的过程进行描述。如图1所示，为根据本发明第一实施例的缓存***的运维方法的流程图。
步骤S110，获取待分析域名对应的URL(Uniform Resource Locator，统一资源定位符)资源。
导入待加速域名，将待加速域名作为待分析的域名；从网络侧爬取待分析域名对应的URL资源。
待加速域名是指希望缓存***进行域名加速处理的域名。可以由运营商负责导入待加速域名。
待加速域名的种类，包括：一级域名、子域名。
步骤S120，根据所述URL资源确定所述待分析域名的可缓存性评价值。
可缓存性评价值可以反映待分析域名对应的互联网内容是否能够被缓存。
可缓存性评价值大于预设阈值，表示待分析域名对应的互联网内容可以被缓存。可缓存性评价值小于等于预设阈值，表示待分析域名对应的互联网内容不可以被缓存。该预设阈值可以是经验值或者通过实验获得的值。
具体的，可以利用预设的域名质量分析算法，对待分析域名对应的URL资源进行分析，计算出待分析域名的可缓存性评价值。
步骤S130，根据可缓存性评价值大于预设阈值的待分析域名生成域名白名单，使所述域名白名单在所述缓存***中生效。
在生成域名白名单之后，可以将域名白名单发送给缓存***中的IAM(Intelligent Acceleration Management，智能加速管理)模块，再由IAM发送给缓存***中的Webcache服务器(缓存服务器)和GSLB(Global Service LoadBalance，全局负载均衡)模块，使域名白名单在缓存***中配置生效，只有域名白名单在缓存***中配置生效，缓存***才可以使用域名白名单为用户提供域名加速服务。
在本实施例中，在生成域名白名单之后，还需要对域名白名单进行更新。
由于URL资源中的参数会发生改变，所以每隔预设时间段，重新确定所述待分析域名的可缓存性评价值；根据重新确定可缓存性评价值的待分析域名更新所述域名白名单，并使更新后的域名白名单在所述缓存***中生效。进一步地，在重新确定所述待分析域名的可缓存性评价值时，可以仅对域名白名单中的待分析域名重新确定可缓存性评价值，也可以对运营商导入的所有待分析域名都重新确定可缓存性评价值，然后将可缓存性评价值小于等于预设阈值的待分析域名从域名白名单中删除。
在域名白名单在缓存***中生效之后，运营商根据需求还会增加新的待加速域名，而这些新的待加速域名有可能已经存在于域名白名单中，这样再对新的待加速域名进行可缓存性分析就会造成资源浪费，降低效率。
针对这一问题，本实施例在根据待分析的域名对应的URL资源，确定所述域名的可缓存性评价值之后，保存可缓存性评价值大于预设阈值的待分析域名所对应的URL资源，以便再次获取待分析域名对应的URL资源之后，如果所述待分析域名对应的URL资源存在于已保存的URL资源中，则结束流程；反之，则根据再次获取的所述待分析域名对应的URL资源，确定所述待分析域名的可缓存性评价值。进一步地，在根据待分析的域名对应的URL资源，确定所述域名的可缓存性评价值之后，可以根据可缓存性评价值大于预设阈值的待分析域名形成域名知识库，根据可缓存性评价值大于预设阈值的待分析域名对应的URL资源行程URL知识库。域名知识库中包括：域名、端口、缓存建议、HTTPS(Hyper Text TransferProtocol over Secure Socket Layer，加密超文本传输协议)等信息。URL知识库中包括：协议方法、URL资源大小、资源类型、HTTP(Hyper Text Transfer Protocol，超文本传输协议)Header(头)信息。
本实施例通过自动拨测的方式获取域名对应的URL资源，并对域名进行可缓存性分析，根据分析结果生成域名白名单，并自动对域名白名单进行更新，提升了运维效率，缩短了运维时间，降低了运维成本，提高了域名可缓存性分析的准确性。
实施例二
下面提供一种较为具体的获取域名对应的URL资源的方式。
源站的URL资源可能仅用户能够访问，这样从网络中就不能爬取到该URL资源，由于用户发出的DNS(Domain Name System，域名***)请求都会被发送到缓存***，所以缓存***服务过的域名对应的URL资源可能会比爬取得到的URL资源全面，为了保证域名的可缓存性评价值的准确性，本实施例将利用缓存***服务过的域名对应的URL资源，找全待分析的域名对应的所有URL资源。
如图2所示，为根据本发明第二实施例的获取域名对应的URL资源的步骤流程图。
步骤S210，从网络侧爬取待加速域名对应的URL资源。
导入运营商提供的待加速域名，从网络侧爬取该待加速域名对应的URL资源，形成第一URL资源库。在第一URL资源库中包括待加速域名以及待加速域名对应的URL资源。待加速域名对应的URL资源的数量为多个。
步骤S220，采集缓存***处理过的域名对应的URL资源。
采集缓存***处理过的所有域名分别对应的URL资源，形成第二URL资源库。在第二URL资源库中包括域名以及域名对应的URL资源。进一步地，可以通过GSLB模块采集现网所有用户服务的域名对应的URL资源。
步骤S230，在所述缓存***处理过的域名对应的URL资源中，查找出所述待加速域名对应的URL资源。
步骤S240，获取查找出的待加速域名对应的URL资源以及爬取到的待加速域名对应的URL资源的并集，作为待分析域名对应的URL资源。
为了避免待加速域名对应的URL资源没有爬取完全，在第二URL资源库中查找是否存在与待加速域名相同的域名；如果没有，则认为查找出的待加速域名对应的URL资源为空值；如果有，则获取第二URL资源库中该域名(待加速域名)对应的所有URL资源，将获取的所有URL资源与第一URL资源库中的URL资源进行比较，确定获取的所有URL资源中是否存在第一URL资源库中没有URL资源，如果没有，则第一URL资源库中的URL资源为待分析域名对应的URL资源，如果有，则将第一URL资源库中没有URL资源添加到第一URL资源库中，这时第一URL资源库中的URL资源为待分析域名对应的URL资源。
实施例三
本实施例将对根据URL资源确定待分析域名的可缓存性评价值的过程进行进一步地描述。如图3所示，为根据本发明第三实施例的确定可缓存性评价值的步骤流程图。
步骤S310，获取待分析域名对应的各个URL资源的分析参数。
分析参数，包括但不限于：HTTP Header信息、URL资源的文件后缀、状态码。
HTTP Header信息包括但不限于：Cache-Control(缓存控制)、max-age(相对过期时间)、expire-time(绝对过期时间)、tmax(缓存时限)等信息。
步骤S320，将获取到的所有分析参数代入预设的域名质量分析算法，计算出待分析域名的可缓存性评价值。
可缓存性评价值S＝w1*t1+w2*t2+w3*t3+w4*t4。
w1、w2、w3和w4为权重。w1、w2、w3和w4可以为经验值或者实验获得的值。
在待分析域名对应的所有URL资源中，确定动态资源占URL资源总数的比例t1；确定可缓存状态码占静态资源的比例t2；确定不可缓存对象占静态资源的比例t3；确定max-age大于tmax的URL资源占URL资源总数的比例t4。
URL资源中包含如下字符可以判断为动态资源："？"、"＝"、"/cgi-bin/"、".pl"、".asp"、".cgi"、.jsp’和‘.php’。
可缓存状态码包括：200、203、300和301。
不可缓存对象包括以下信息；
无"Last-Modified"信息；
含有"Set-Cookie"；
含有http 1.0；
http 1.1"Cache-Control"字段为"no-cache"或"private"；
"Pragma:No-cache"；
"Authorization"；
"Cache-Control:"no-cache，no-store，private。
上述的动态资源对应的字符、可缓存状态码以及不可缓存对象对应的信息都为可配置项。
实施例四
本发明除了可以通过自动拨测的方式对域名进行可缓存性分析，可以在域名白名单在缓存***生效之后，对域名白名单进行服务质量分析，进而实现服务质量监测。
本实施例提供一种缓存***的运维方法。本实施例将对服务质量分析的过程进行详细描述。如图4所示，为根据本发明第四实施例的缓存***的运维方法的流程图。图5是根据本发明第四实施例的服务质量分析的示意图。
步骤S410，接收缓存***上报的用户服务日志。
缓存***中的Webcache服务器在服务完成之后，会生成用户服务日志，Webcache服务器上报该用户服务日志。
用户服务日志中的域名服务参数，包括但不限于：域名服务成功率、域名首字节响应时间、域名命中率、域名回源成功率和域名回源首字节响应时间。
步骤S420，提取所述用户服务日志中的域名服务参数。
步骤S430，根据所述域名服务参数，确定所述域名白名单中的待分析域名对应的服务状态。本步骤即为服务质量分析。
服务状态包括：正常状态、中间状态和异常状态。
正常状态是能够正常提供域名加速服务的状态，服务质量好。
中间状态是处于正常状态和异常状态之间的状态，在中间状态下可以为用户提供域名加速服务，但是服务质量差。
异常状态是服务异常或服务失败对应的状态，在异常状态下不能为用户提供域名加速服务的状态。
可以通过为每种域名服务参数设置对应的阈值范围，通过阈值范围来区分域名服务参数对应的服务状态。
例如：设置域名命中率第一阈值和域名命中率第二阈值，且域名命中率第一阈值大于域名命中率第二阈值；当域名命中率大于域名命中率第一阈值时，服务状态为正常状态；当域名命中率小于等于域名命中率第一阈值，且大于等于域名命中率第二阈值时，服务状态为中间状态；当域名命中率小于域名命中率第二阈值时，则服务状态为异常状态。
可以使用一种域名服务参数来确定服务状态，也可以使用多种域名服务参数来确定服务状态。如果使用多种域名服务参数来确定服务状态，则可以根据每种域名服务参数对应的服务状态，将占比最多的服务状态确定为待分析域名对应的服务状态。
步骤S440，根据所述域名白名单中的待分析域名对应的服务状态更新所述域名白名单，并使更新后的域名白名单在所述缓存***中生效。
将服务状态为正常状态的待分析域名保留在所述域名白名单中；
将服务状态为异常状态的待分析域名从所述域名白名单中删除；
将服务状态为中间状态的待分析域名的可缓存性评价值进行重新确定(域名可缓存性分析)，如果所述可缓存性评价值大于预设阈值，则将所述中间状态的待分析域名保留在所述域名白名单中，反之，则将所述中间状态的待分析域名从所述域名白名单中删除。
如果将中间状态的待分析域名从所述域名白名单中删除，则将该待分析域名添加到域名灰名单中，并将域名灰名单发送给缓存***，使缓存***针对该待分析域名旁路不加速。
本实施例可以将更新后的域名白名单发送给缓存***，也可以将需要在域名白名单中删除的待分析域名通过通知消息告知缓存***，由缓存***自行将该待分析域名从缓存***正在使用的域名白名单中删除，缓存***还可以根据通知消息的指示将域名白名单增加到域名灰名单中。
在本实施例中，通过缓存***上报的服务质量日志，自动分析日志中的关键参数(域名服务参数)，确定域名白名单在缓存***的服务质量(服务状态)，根据域名白名单的服务质量来调整域名白名单，进而实现自动对域名白名单进行服务质量监控的目的，降低了运维成本，提升了运维效率，保证了服务质量。
实施例五
本实施例还提供了一种计算机程序、存储有该程序的存储介质和缓存***的运维设备。其中，执行该程序用于实现以下步骤：
获取待分析域名对应的URL资源；根据所述URL资源确定所述待分析域名的可缓存性评价值；根据可缓存性评价值大于预设阈值的待分析域名生成域名白名单，使所述域名白名单在所述缓存***中生效。
可选地，所述获取待分析域名对应的URL资源，包括：从网络侧爬取待加速域名对应的URL资源；采集缓存***处理过的域名对应的URL资源；在所述缓存***处理过的域名对应的URL资源中，查找出所述待加速域名对应的URL资源；获取查找出的待加速域名对应的URL资源以及爬取到的待加速域名对应的URL资源的并集，作为待分析域名对应的URL资源。
可选地，在所述根据所述URL资源确定所述待分析域名的可缓存性评价值之后，所述方法还包括：保存可缓存性评价值大于预设阈值的待分析域名所对应的URL资源，以便再次获取待分析域名对应的URL资源之后，如果所述待分析域名对应的URL资源存在于已保存的URL资源中，则结束流程；反之，则根据再次获取的所述待分析域名对应的URL资源，确定所述待分析域名的可缓存性评价值。
可选地，在所述根据可缓存性评价值大于预设阈值的待分析域名生成域名白名单之后，所述方法还包括：每隔预设时间段，重新确定所述待分析域名的可缓存性评价值；根据重新确定可缓存性评价值的待分析域名更新所述域名白名单，并使更新后的域名白名单在所述缓存***中生效。
可选地，在使所述域名白名单在所述缓存***中生效之后，所述方法还包括：接收所述缓存***上报的用户服务日志；提取所述用户服务日志中的域名服务参数；根据所述域名服务参数，确定所述域名白名单中的待分析域名对应的服务状态；根据所述域名白名单中的待分析域名对应的服务状态更新所述域名白名单，并使更新后的域名白名单在所述缓存***中生效。
可选地，根据所述域名白名单中的待分析域名对应的服务状态更新所述域名白名单，包括：将服务状态为正常状态的待分析域名保留在所述域名白名单中；将服务状态为异常状态的待分析域名从所述域名白名单中删除；将服务状态为中间状态的待分析域名的可缓存性评价值进行重新确定，如果所述可缓存性评价值大于预设阈值，则将所述中间状态的待分析域名保留在所述域名白名单中，反之，则将所述中间状态的待分析域名从所述域名白名单中删除。
前述实施例所公开缓存***的运维方法的技术方案可以通过在缓存***的运维设备中实施执行，以得到对应的缓存***的运维设备。
本实施例以运行在缓存***的运维设备上为例进行说明，图6是本发明实施例的一种实现缓存***的运维方法的缓存***的运维设备的硬件结构示意图。如图6所示，缓存***的运维设备600可以包括一个或多个(图中仅示出一个)处理器610(处理器610可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器620、以及用于通信功能的数据收发器630。本领域普通技术人员可以理解，图6所示的结构仅为示意，其并不对上述电子装置的结构造成单一限定。例如，缓存***的运维设备600通过对上述功能的拆分或合并，还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。
存储器620可以用于存储应用软件的软件程序以及模块，前述实施例中公开的缓存***的运维方法对应的程序指令/模块就可以存储在存储器620。关于缓存***的运维方法在之前的实施例已经详细描述，本实施例不再详细重述。
处理器610通过运行(执行)存储在存储器620内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。处理器610用于执行存储器620中存储的缓存***的运维程序。存储器620可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器(云存储器)，这些远程存储器可以通过网络连接至缓存***的运维设备600。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
数据收发器630用于经由一个网络接收或者发送数据。上述的网络具体实例可包括缓存***的运维设备600的通信供应商提供的无线网络。在一个实例中，数据收发器630包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，数据收发器630包括射频(RadioFrequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
实施例六
下面提供一个较为具体的实施例来对本发明进行进一步地描述。
如图7所示，为根据本发明第六实施例的缓存***的运维方法的示意图。
图7中示出的域名拨测模块710、质量分析模块720和策略调整模块730可以被设置在处理器610中。IAM模块740、Webcache服务器和GSLB模块750被设置在缓存***中。
在本实施例中，为了使本实施例更加容易理解，在本实施例中忽略存储器620和数据收发器630。但是本领域技术人员应当知道的是：域名拨测模块710、质量分析模块720和策略调整模块730执行存储在存储器620中的缓存***的运维程序。域名拨测模块710、质量分析模块720、策略调整模块730通过数据收发器630和缓存***进行交互。
在本实施例中，为了使本实施例更加容易理解，将Webcache服务器和GSLB模块看做一个整体。
在本实施例中，具体的实施步骤如下：
S11，在缓存***上线之前，将包含待分析域名的待分析域名列表导入域名拨测模块710。
S12，域名拨测模块710通过自动化拨测功能爬取待分析域名对应的URL资源，域名拨测模块710通过域名质量分析算法对URL资源进行分析，综合分析待分析域名的可缓存性，得到待分析域名的可缓存性评价值，根据可缓存性评价值大于预设阈值的待分析域名，生成域名白名单库。
S13，域名拨测模块710将域名白名单下发给缓存***中的IAM模块740。
S14，缓存***中的IAM模块740将收到的域名白名单下发给Webcache服务器和GSLB模块750，域名白名单配置生效，缓存***可以为用户提供域名加速服务。
S15，缓存***的Webcache服务器在域名加速服务完成后，会生成用户服务日志，并将用户服务日志上传给质量分析模块720。
S16，质量分析模块720对用户服务日志进行分析，获取用户服务日志中的关键指标(用户服务参数)，并分析出域名白名单中的域名的服务状态。
S17，策略调整模块730根据质量分析模块720的分析结果对服务异常(或者服务失败)的域名直接旁路，IAM模块740根据接收到策略调整模块730的通知消息，将该服务异常的域名从域名白名单中旁路，将服务异常的域名调整到域名灰名单中，不再为用户提供该域名的加速服务。
S18，策略调整模块730根据质量分析模块720的分析结果，对服务质量差的域名通知域名拨测模块710，域名拨测模块710重新拨测该域名，根据该域名的可缓存性评价值更新域名白名单并将域名白名单发送给IAM模块740。
下面对缓存***根据域名白名单提供域名加速服务的过程进行说明。如图8所示，为根据本发明第六实施例的缓存***执行域名加速处理的示意图。
S21，用户向LDNS(Local Domain Name System，本地域名***)发送DNS请求。
在用户向LDNS发送DNS解析请求之前，Webcache服务器和GSLB模块750完成域名白名单配置。
S22，LDNS通过DNS Forward消息将DNS解析请求中携带的域名发送给GSLB模块。
S23，GSLB模块确定该域名存在于域名白名单中，对LDNS发送DNS响应消息。
S24，LDNS向用户返回DNS解析请求结果，该DNS解析请求结果指向Webcache服务器。
S25，用户向Webcache服务器发送携带域名的域名加速服务请求。
S26，Webcache服务器根据该域名加速服务请求确定本地是否存在该域名对应的互联网内容，如果存在，则直接返回该互联网内容，如果不存在(如图8所示)，则执行步骤S27，从该域名对应的源站获取该互联网内容，并通过步骤S29将该互联网内容返回给用户。
尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。
Claims (11)
1.一种缓存***的运维方法，其特征在于，包括：
获取待分析域名对应的URL资源；
根据所述URL资源确定所述待分析域名的可缓存性评价值；
根据可缓存性评价值大于预设阈值的待分析域名生成域名白名单，使所述域名白名单在所述缓存***中生效。
2.如权利要求1所述的方法，其特征在于，所述获取待分析域名对应的URL资源，包括：
从网络侧爬取待加速域名对应的URL资源；
采集缓存***处理过的域名对应的URL资源；
在所述缓存***处理过的域名对应的URL资源中，查找出所述待加速域名对应的URL资源；
获取查找出的待加速域名对应的URL资源以及爬取到的待加速域名对应的URL资源的并集，作为待分析域名对应的URL资源。
3.如权利要求1所述的方法，其特征在于，在所述根据可缓存性评价值大于预设阈值的待分析域名生成域名白名单之后，所述方法还包括：
每隔预设时间段，重新确定所述待分析域名的可缓存性评价值；
根据重新确定可缓存性评价值的待分析域名更新所述域名白名单，并使更新后的域名白名单在所述缓存***中生效。
4.如权利要求1-3中任一项所述的方法，其特征在于，在使所述域名白名单在所述缓存***中生效之后，所述方法还包括：
接收所述缓存***上报的用户服务日志；
提取所述用户服务日志中的域名服务参数；
根据所述域名服务参数，确定所述域名白名单中的待分析域名对应的服务状态；
根据所述域名白名单中的待分析域名对应的服务状态更新所述域名白名单，并使更新后的域名白名单在所述缓存***中生效。
5.如权利要求4所述的方法，其特征在于，根据所述域名白名单中的待分析域名对应的服务状态更新所述域名白名单，包括：
将服务状态为正常状态的待分析域名保留在所述域名白名单中；
将服务状态为异常状态的待分析域名从所述域名白名单中删除；
将服务状态为中间状态的待分析域名的可缓存性评价值进行重新确定，如果所述可缓存性评价值大于预设阈值，则将所述中间状态的待分析域名保留在所述域名白名单中，反之，则将所述中间状态的待分析域名从所述域名白名单中删除。
6.一种缓存***的运维设备，其特征在于，所述数据处理设备包括处理器、存储器；所述处理器用于执行存储器中存储的缓存***的运维程序，以实现以下步骤：
获取待分析域名对应的URL资源；
根据所述URL资源确定所述待分析域名的可缓存性评价值；
根据可缓存性评价值大于预设阈值的待分析域名生成域名白名单，使所述域名白名单在所述缓存***中生效。
7.如权利要求6所述的缓存***的运维设备，其特征在于，所述处理器还用于执行存储器中存储的缓存***的运维程序，以实现以下步骤：
从网络侧爬取待加速域名对应的URL资源；
采集缓存***处理过的域名对应的URL资源；
在所述缓存***处理过的域名对应的URL资源中，查找出所述待加速域名对应的URL资源；
获取查找出的待加速域名对应的URL资源以及爬取到的待加速域名对应的URL资源的并集，作为待分析域名对应的URL资源。
8.如权利要求6所述的缓存***的运维设备，其特征在于，在所述根据可缓存性评价值大于预设阈值的待分析域名生成域名白名单之后，所述处理器还用于执行存储器中存储的缓存***的运维程序，以实现以下步骤：
每隔预设时间段，重新确定所述待分析域名的可缓存性评价值；
根据重新确定可缓存性评价值的待分析域名更新所述域名白名单，并使更新后的域名白名单在所述缓存***中生效。
9.如权利要求6-8中任一项所述的缓存***的运维设备，其特征在于，在使所述域名白名单在所述缓存***中生效之后，所述处理器还用于执行存储器中存储的缓存***的运维程序，以实现以下步骤：
接收所述缓存***上报的用户服务日志；
提取所述用户服务日志中的域名服务参数；
根据所述域名服务参数，确定所述域名白名单中的待分析域名对应的服务状态；
根据所述域名白名单中的待分析域名对应的服务状态更新所述域名白名单，并使更新后的域名白名单在所述缓存***中生效。
10.如权利要求9所述的缓存***的运维设备，其特征在于，所述处理器还用于执行存储器中存储的缓存***的运维程序，以实现以下步骤：
将服务状态为正常状态的待分析域名保留在所述域名白名单中；
将服务状态为异常状态的待分析域名从所述域名白名单中删除；
将服务状态为中间状态的待分析域名的可缓存性评价值进行重新确定，如果所述可缓存性评价值大于预设阈值，则将所述中间状态的待分析域名保留在所述域名白名单中，反之，则将所述中间状态的待分析域名从所述域名白名单中删除。
11.一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1～6中任一项所述的缓存***的运维方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710899461.0A CN109586937B (zh) | 2017-09-28 | 2017-09-28 | 一种缓存***的运维方法、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710899461.0A CN109586937B (zh) | 2017-09-28 | 2017-09-28 | 一种缓存***的运维方法、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109586937A true CN109586937A (zh) | 2019-04-05 |
| CN109586937B CN109586937B (zh) | 2022-03-15 |
Family
ID=65913849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710899461.0A Active CN109586937B (zh) | 2017-09-28 | 2017-09-28 | 一种缓存***的运维方法、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109586937B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111741065A (zh) * | 2020-05-18 | 2020-10-02 | 北京直真科技股份有限公司 | 一种批量cdn资源缓存自动化装置 |
| CN113704649A (zh) * | 2020-05-20 | 2021-11-26 | ***通信集团浙江有限公司 | 资源网站的缓存方法及装置 |
| CN114629919A (zh) * | 2022-03-31 | 2022-06-14 | 北京百度网讯科技有限公司 | 资源获取方法、装置、设备和存储介质 |
| CN115361357A (zh) * | 2022-07-22 | 2022-11-18 | 中国电信股份有限公司 | 一种网络调度***、方法、装置、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100174829A1 (en) * | 2009-01-06 | 2010-07-08 | Barracuda Networks, Inc | Apparatus for to provide content to and query a reverse domain name system server |
| CN103841045A (zh) * | 2012-11-22 | 2014-06-04 | ***通信集团公司 | 一种互联网缓存处理方法、内容探测子***和Cache*** |
| CN105024870A (zh) * | 2014-04-24 | 2015-11-04 | ***通信集团公司 | 一种实现拨测的方法及*** |
| CN105302801A (zh) * | 2014-05-27 | 2016-02-03 | 腾讯科技（深圳）有限公司 | 一种资源缓存方法及装置 |
| CN106055588A (zh) * | 2016-05-20 | 2016-10-26 | 青岛海信电器股份有限公司 | 离线资源处理方法及装置 |
| WO2017020597A1 (zh) * | 2015-07-31 | 2017-02-09 | 华为技术有限公司 | 一种资源缓存方法及装置 |
| CN106487846A (zh) * | 2015-08-28 | 2017-03-08 | 中国电信股份有限公司 | 缓存***的白名单更新方法、采集分析装置及缓存*** |
| CN106921713A (zh) * | 2015-12-25 | 2017-07-04 | ***通信集团上海有限公司 | 一种资源缓存方法及装置 |
| CN107153663A (zh) * | 2016-03-04 | 2017-09-12 | ***通信集团北京有限公司 | 一种域名资源缓存方法及装置 |
-
2017
- 2017-09-28 CN CN201710899461.0A patent/CN109586937B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100174829A1 (en) * | 2009-01-06 | 2010-07-08 | Barracuda Networks, Inc | Apparatus for to provide content to and query a reverse domain name system server |
| CN103841045A (zh) * | 2012-11-22 | 2014-06-04 | ***通信集团公司 | 一种互联网缓存处理方法、内容探测子***和Cache*** |
| CN105024870A (zh) * | 2014-04-24 | 2015-11-04 | ***通信集团公司 | 一种实现拨测的方法及*** |
| CN105302801A (zh) * | 2014-05-27 | 2016-02-03 | 腾讯科技（深圳）有限公司 | 一种资源缓存方法及装置 |
| WO2017020597A1 (zh) * | 2015-07-31 | 2017-02-09 | 华为技术有限公司 | 一种资源缓存方法及装置 |
| CN106487846A (zh) * | 2015-08-28 | 2017-03-08 | 中国电信股份有限公司 | 缓存***的白名单更新方法、采集分析装置及缓存*** |
| CN106921713A (zh) * | 2015-12-25 | 2017-07-04 | ***通信集团上海有限公司 | 一种资源缓存方法及装置 |
| CN107153663A (zh) * | 2016-03-04 | 2017-09-12 | ***通信集团北京有限公司 | 一种域名资源缓存方法及装置 |
| CN106055588A (zh) * | 2016-05-20 | 2016-10-26 | 青岛海信电器股份有限公司 | 离线资源处理方法及装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111741065A (zh) * | 2020-05-18 | 2020-10-02 | 北京直真科技股份有限公司 | 一种批量cdn资源缓存自动化装置 |
| CN111741065B (zh) * | 2020-05-18 | 2022-03-08 | 北京直真科技股份有限公司 | 一种批量cdn资源缓存自动化装置 |
| CN113704649A (zh) * | 2020-05-20 | 2021-11-26 | ***通信集团浙江有限公司 | 资源网站的缓存方法及装置 |
| CN114629919A (zh) * | 2022-03-31 | 2022-06-14 | 北京百度网讯科技有限公司 | 资源获取方法、装置、设备和存储介质 |
| CN115361357A (zh) * | 2022-07-22 | 2022-11-18 | 中国电信股份有限公司 | 一种网络调度***、方法、装置、电子设备及存储介质 |
| CN115361357B (zh) * | 2022-07-22 | 2024-05-14 | 中国电信股份有限公司 | 一种网络调度***、方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109586937B (zh) | 2022-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103124263B (zh) | 一种广告推送***及广告推送设备、广告服务器 | |
| CN109586937A (zh) | 一种缓存***的运维方法、设备和存储介质 | |
| CN102752288B (zh) | 网络访问行为识别方法和装置 | |
| CN106462589B (zh) | 动态缓存器分配和网络管理 | |
| CN109981805A (zh) | 一种域名解析的方法及装置 | |
| CN104980478B (zh) | 内容分发网络中缓存共享方法、设备及*** | |
| US6868453B1 (en) | Internet home page data acquisition method | |
| CN109491758A (zh) | docker镜像分发方法、***、数据网关及计算机可读存储介质 | |
| CN107391664A (zh) | 基于web的页面数据处理方法和*** | |
| CN104683485A (zh) | 一种基于c-ran的互联网内容缓存预加载方法和*** | |
| CN106487906B (zh) | 一种情境感知的移动Web应用协议切换方法 | |
| CN108932277B (zh) | 一种网页加载方法、网页加载***和服务器 | |
| CN104184832A (zh) | 网络应用中的数据提交方法及装置 | |
| CN105959358A (zh) | Cdn服务器及其缓存数据的方法 | |
| CN109995738A (zh) | 一种访问控制方法、网关及云端服务器 | |
| CN107181804A (zh) | 资源的下载方法和装置 | |
| CN104615597B (zh) | 浏览器中清除缓存文件的方法、装置和*** | |
| CN103347029B (zh) | 业务数据交互方法、终端、服务器和*** | |
| CN106331172A (zh) | 一种应用于内容分发网络的资源检测方法及装置 | |
| CN108512869A (zh) | 一种采用异步化方式处理并发数据的方法及*** | |
| CN106161623A (zh) | 缓存服务器、更新服务器及数据更新方法 | |
| CN109842691A (zh) | Cache***与DNS服务器的域名同步方法及相关设备 | |
| CN103269353A (zh) | Web缓存回源优化方法及Web缓存*** | |
| CN103416027B (zh) | 缓存优化的方法、缓存器和缓存优化的*** | |
| CN111191156B (zh) | 网络请求资源调度方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |