CN108696562A - 一种获取网站资源的方法及装置 - Google Patents

Abstract

本发明公开了一种获取网站资源的方法及装置，备份服务器判断在满足资源获取条件时，访问内容分发网络节点，从所述内容分发网络节点获取目标网站的资源内容并保存。本发明提前把网站资源备份到服务器上，备份简单，只需客户提供源服务器IP地址和需要备份的网站和域名，对客户端来说是透明的不需要做任何的修改，使网站被攻击的情况下可以正常访问，保证客户的网站的实时性和稳定性，提高用户的使用体验。本发明使用CDN节点和云存储，定时的进行备份、保障备份的可用性、稳定性和安全性。

Description

一种获取网站资源的方法及装置

技术领域

本发明涉及互联网数据处理技术领域，尤其涉及一种获取网站资源的方法及装置。

背景技术

随着互联网的快速发展,网络安全问题日益严峻，而且需要临时中断服务的各种不可预料的情况也逐渐增多，例如，网站被黑客篡改、机房割接、服务器升级重启、服务器故障等情况都将使用户都无法访问源站的网站，严重影响用户体验。一般采集网站资源备份的方法解决上述问题。

现有技术中一般采用在客户服务器上进行备份，此种备份方法具有以下缺点：

一，需要使用客户服务器权限。由于涉及到客户网站的安全问题，客户可能不愿提供客户权限，从而导致无法进行备份；

二，配置备份和启用备份流程复杂，导致无效备份，备份可用性无法保障。

所以，需要提供一种新的网站资源备份方法及装置，以解决现有技术中用户无法正常访问网站或者访问错误的网站资源造成的客户端的安全性问题或其他问题。

发明内容

为了解决上述技术问题，本发明提供了一种获取网站资源的方法及装置。

本发明提供的获取网站资源的方法，包括：

备份服务器判断在满足资源获取条件时，访问内容分发网络节点，从所述内容分发网络节点获取目标网站的资源内容并保存。

上述获取网站资源的方法还具有以下特点：

所述判断在满足资源获取条件是指：判断不存在所述目标网站的资源内容或者存在所述目标网站的资源内容并且所述资源内容已超过更新期限。

上述获取网站资源的方法还具有以下特点：

所述方法还包括：所述备份服务器将获取的目标网站的资源内容存储于云存储服务器；

内容分发网络节点接收到对所述目标网站的访问请求后，查询所述内容分发网络节点中预设的所述目标网站的各预设源站的状态，在各预设源站的状态均为故障时，将各预设源站的地址设置为所述备份服务器的地址；

所述备份服务器接收到用户对所述目标网站的访问请求后，从所述云存储服务器获取与所述访问请求对应的资源内容，将所述资源内容返回至所述内容分发网络节点；

所述内容分发网络节点将从所述备份服务器接收到的资源内容发送至所述访问请求的发送方。

上述获取网站资源的方法还具有以下特点：

所述从所述内容分发网络节点获取目标网站的资源内容包括：所述内容分发网络节点收到所述备份服务器发送的用于获取所述目标网站的资源内容请求后，判断所述内容分发网络节点是否存在所述目标网站的资源内容的缓存，如果是，将缓存的所述目标网站的资源内容发送至所述备份服务器，如果否，从所述目标网站的源站获取所述目标网站的资源内容并发送至所述内容分发网络节点。

上述获取网站资源的方法还具有以下特点：

所述备份服务器将所述资源内容存储于云存储服务器：备份服务器获取目标网站的资源内容后记录此资源内容的版本，将所述资源内容和相应的版本存储于云存储服务器；

所述方法还包括：所述内容分发网络节点将各预设源站的地址设置为所述备份服务器的地址后，确定版本信息，向所述备份服务器发送所述版本信息；所述备份服务器接收到用户对所述目标网站的访问请求，从所述云存储服务器获取与所述访问请求对应的所述版本下的资源内容，将所述资源内容返回至所述内容分发网络节点。

上述获取网站资源的方法还具有以下特点：

所述版本信息包括备份服务器获取目标网站的资源内容的时间信息。

上述获取网站资源的方法还具有以下特点：

目标网站的资源内容是指以下内容中的至少一种：所述目标网站的所有资源内容、所述目标网站的子域名下的资源内容、所述目标网站的不同链接等级对应的资源内容。

本发明提供的获取网站资源的装置，应用于备份服务器，包括：

判断模块，用于判断是否满足资源获取条件；

访问模块，用于在所述判断模块判断满足资源获取条件时，访问内容分发网络节点；

资源获取模块，用于从所述内容分发网络节点获取目标网站的资源内容；

存储模块，用于保存所述目标网站的资源内容。

上述获取网站资源的装置还具有以下特点：

所述装置还包括存储模块，接收模块、处理模块；

所述存储模块，用于将获取的目标网站的资源内容存储于云存储服务器；

所述接收模块，用于接收用户对所述目标网站的访问请求；

所述处理模块，用于在所述接收模块接收到用户对所述目标网站的访问请求后，从所述云存储服务器获取与所述访问请求对应的资源内容，将所述资源内容返回至所述内容分发网络节点。

上述获取网站资源的装置还具有以下特点：

所述存储模块，还用于记录此资源内容的版本，将所述资源内容和相应的版本存储于云存储服务器；

所述接收模块，还用于从所述内容分发网络节点接收所述版本信息；

所述处理模块，还用于从所述云存储服务器获取与所述访问请求对应的所述版本下的资源内容，将所述资源内容返回至所述内容分发网络节点。

上述获取网站资源的装置还具有以下特点：

还包括应用于内容分发网络节点的接收模块、查询模块和设置模块；

所述接收模块，用于接收对所述目标网站的访问请求；

所述查询模块，用于查询所述内容分发网络节点中预设的所述目标网站的各预设源站的状态；

所述设置模块，用于在查询所述内容分发网络节点中预设的所述目标网站的各预设源站的状态。

本发明提前把网站资源备份到服务器上，备份简单，只需客户提供源服务器IP地址和需要备份的网站和域名，对客户端来说是透明的不需要做任何的修改，使网站被攻击的情况下可以正常访问，保证客户的网站的实时性和稳定性，提高用户的使用体验。本发明使用CDN节点和云存储，定时的进行备份、保障备份的可用性、稳定性和安全性。

本发明的优点还包括：降低源服务器的压力，减少回源带宽，减少带宽成本；减少数据下载耗时，提高下载稳定性。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是实施例中获取网站资源的方法的流程图；

图2是实施例中获取网站资源的装置的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1是实施例中获取网站资源的方法的流程图；此方法包括：

步骤101，备份服务器判断在满足资源获取条件时，访问内容分发网络(ContentDelivery Network，简称CDN)节点；

步骤102，从CDN节点获取目标网站的资源内容并保存。

其中，

备份服务器的个数为至少一个，CDN节点记录各备份服务器的地址，在某一备份服务器故障时，CDN节点可以使用其它备份服务器。

目标网站的资源内容是指以下内容中的至少一种：目标网站的所有资源内容、目标网站的子域名下的资源内容、目标网站的不同链接等级对应的资源内容。

步骤101中，判断在满足资源获取条件是指：判断不存在目标网站的资源内容或者存在目标网站的资源内容并且资源内容已超过更新期限。

步骤101中，备份服务器获取目标网站的资源内容的方式为使用爬虫程序获取，具体的使用爬虫程序获取从CDN节点爬取目标网站，指定爬取入口和包含的子域名，爬虫程序使用Scrapy框架分析页面包含的资源，根据后台配置层级进行爬取；爬虫程序也可以对网站的资源进行选择性的爬取，可以根据经验值进行设置爬取的内容范围或者爬取一定链接等级的内容。爬虫程序爬取得数据后，将数据记录入redis数据库，或者将数据以及url、日期，以及数据的唯一标识(例如md5值)也记录入redis数据库。备份服务器根据数据、url或唯一标识查询是否已将存储到云存储服务器，如果没有存储，通过celery任务调度***触发一个存储任务将上述内容存储到云存储服务器。celery任务调度***收到此存储任务后执行相应的存储过程。

步骤101中，备份服务器访问CDN节点时，备份服务器定时(例如设置周期性的时间间隔为24小时或者1小时等，或者在固定时间点进行更新)或者根据指示访问CDN节点。例如，可以在网站访问量较少的时段进行备份，备份服务器可以根据经验选择在访问量较少的时间段进行备份、也可以根据热点需要选择性的进行备份更新。步骤102中，从CDN节点获取目标网站的资源内容包括：CDN节点收到备份服务器发送的用于获取目标网站的资源内容请求后，判断CDN节点是否存在目标网站的资源内容的缓存，如果是，将缓存的目标网站的资源内容发送至所述备份服务器，如果否，从目标网站的源站获取目标网站的资源内容并发送至CDN节点。此方法中，在CDN节点缓存目标网站的资源内容可以减少备份服务器访问目标网站的源站的访问次数，减少源站的访问压力，提高源站的访问响应速度。

本方法还包括步骤103，备份服务器将获取的目标网站的资源内容存储于云存储服务器；CDN节点接收到对目标网站的访问请求后，查询CDN节点中预设的目标网站的各预设源站的状态，在各预设源站的状态均为故障时，将各预设源站的地址设置为备份服务器的地址；备份服务器接收到用户对目标网站的访问请求后，从云存储服务器获取与访问请求对应的资源内容，将资源内容返回至CDN节点；CDN节点将从备份服务器接收到的资源内容发送至访问请求的发送方。

为了更好的记录备份的版本，步骤102中还包括：CDN节点将各预设源站的地址设置为备份服务器的地址后，确定版本信息，向备份服务器发送此版本信息。在典型的情况下，版本信息即为备份服务器获取目标网站的资源内容的时间，例如此时间信息可以精确到秒。

步骤103中，备份服务器将资源内容存储于云存储服务器包括：备份服务器获取目标网站的资源内容后记录此资源内容的版本，将所述资源内容和相应的版本存储于云存储服务器。版本信息包括备份服务器获取目标网站的资源内容的时间信息。步骤103中，备份服务器接收到用户对所述目标网站的访问请求后，从云存储服务器获取与访问请求对应的版本下的资源内容，将资源内容返回至CDN节点。本方法中使用版本信息作为资源内容更新程度的时间标识，使备份服务器获取与访问请求的需求对应的资源内容，可以进一步提高资源服务的准确性。

图2是实施例中获取网站资源的装置的结构图，此装置应用于备份服务器，此装置包括判断模块、访问模块、资源获取模块和存储模块。

判断模块用于判断是否满足资源获取条件；

访问模块用于在判断模块判断满足资源获取条件时，访问CDN节点；

资源获取模块用于从CDN节点获取目标网站的资源内容；

存储模块用于保存所述目标网站的资源内容。

此装置还包括存储模块，接收模块、处理模块。

存储模块用于将获取的目标网站的资源内容存储于云存储服务器；

接收模块用于接收用户对所述目标网站的访问请求；

处理模块用于在所述接收模块接收到用户对所述目标网站的访问请求后，从所述云存储服务器获取与所述访问请求对应的资源内容，将所述资源内容返回至所述CDN节点。

为了更好的记录备份的版本，存储模块还用于记录此资源内容的版本，将所述资源内容和相应的版本存储于云存储服务器；接收模块还用于从所述CDN节点接收所述版本信息；处理模块还用于从所述云存储服务器获取与所述访问请求对应的所述版本下的资源内容，将所述资源内容返回至所述CDN节点。

本发明的装置还包括应用于CDN节点的装置，具体包括接收模块、查询模块和设置模块。

接收模块用于接收对所述目标网站的访问请求；查询模块用于查询所述CDN节点中预设的所述目标网站的各预设源站的状态；设置模块用于在查询所述CDN节点中预设的所述目标网站的各预设源站的状态。

本发明中提前把网站资源备份到服务器上，备份简单，只需客户提供源服务器IP地址和需要备份的网站和域名，对客户端来说是透明的不需要做任何的修改，使网站被攻击的情况下可以正常访问，保证客户的网站的实时性和稳定性，提高用户的使用体验。本发明使用CDN节点和云存储，定时的进行备份、保障备份的可用性、稳定性和安全性。

本发明的优点还包括：降低源服务器的压力，减少回源带宽，减少带宽成本；减少数据下载耗时，提高下载稳定性。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (11)

1.一种获取网站资源的方法，其特征在于，包括：

备份服务器判断在满足资源获取条件时，访问内容分发网络节点，从所述内容分发网络节点获取目标网站的资源内容并保存。

2.如权利要求1所述的获取网站资源的方法，其特征在于，

所述判断在满足资源获取条件是指：判断不存在所述目标网站的资源内容或者存在所述目标网站的资源内容并且所述资源内容已超过更新期限。

3.如权利要求1或2所述的获取网站资源的方法，其特征在于，

所述方法还包括：所述备份服务器将获取的目标网站的资源内容存储于云存储服务器；

内容分发网络节点接收到对所述目标网站的访问请求后，查询所述内容分发网络节点中预设的所述目标网站的各预设源站的状态，在各预设源站的状态均为故障时，将各预设源站的地址设置为所述备份服务器的地址；

所述备份服务器接收到用户对所述目标网站的访问请求后，从所述云存储服务器获取与所述访问请求对应的资源内容，将所述资源内容返回至所述内容分发网络节点；

所述内容分发网络节点将从所述备份服务器接收到的资源内容发送至所述访问请求的发送方。

4.如权利要求1所述的获取网站资源的方法，其特征在于，

所述从所述内容分发网络节点获取目标网站的资源内容包括：所述内容分发网络节点收到所述备份服务器发送的用于获取所述目标网站的资源内容请求后，判断所述内容分发网络节点是否存在所述目标网站的资源内容的缓存，如果是，将缓存的所述目标网站的资源内容发送至所述备份服务器，如果否，从所述目标网站的源站获取所述目标网站的资源内容并发送至所述内容分发网络节点。

5.如权利要求3所述的获取网站资源的方法，其特征在于，

所述备份服务器将所述资源内容存储于云存储服务器：备份服务器获取目标网站的资源内容后记录此资源内容的版本，将所述资源内容和相应的版本存储于云存储服务器；

所述方法还包括：所述内容分发网络节点将各预设源站的地址设置为所述备份服务器的地址后，确定版本信息，向所述备份服务器发送所述版本信息；所述备份服务器接收到用户对所述目标网站的访问请求，从所述云存储服务器获取与所述访问请求对应的所述版本下的资源内容，将所述资源内容返回至所述内容分发网络节点。

6.如权利要求5所述的获取网站资源的方法，其特征在于，

所述版本信息包括备份服务器获取目标网站的资源内容的时间信息。

7.如权利要求1所述的获取网站资源的方法，其特征在于，

目标网站的资源内容是指以下内容中的至少一种：所述目标网站的所有资源内容、所述目标网站的子域名下的资源内容、所述目标网站的不同链接等级对应的资源内容。

8.一种获取网站资源的装置，其特征在于，应用于备份服务器，包括：

判断模块，用于判断是否满足资源获取条件；

访问模块，用于在所述判断模块判断满足资源获取条件时，访问内容分发网络节点；

资源获取模块，用于从所述内容分发网络节点获取目标网站的资源内容；

存储模块，用于保存所述目标网站的资源内容。

9.如权利要求8所述的获取网站资源的装置，其特征在于，

所述装置还包括存储模块，接收模块、处理模块；

所述存储模块，用于将获取的目标网站的资源内容存储于云存储服务器；

所述接收模块，用于接收用户对所述目标网站的访问请求；

所述处理模块，用于在所述接收模块接收到用户对所述目标网站的访问请求后，从所述云存储服务器获取与所述访问请求对应的资源内容，将所述资源内容返回至所述内容分发网络节点。

10.如权利要求8所述的获取网站资源的装置，其特征在于，

所述存储模块，还用于记录此资源内容的版本，将所述资源内容和相应的版本存储于云存储服务器；

所述接收模块，还用于从所述内容分发网络节点接收所述版本信息；

所述处理模块，还用于从所述云存储服务器获取与所述访问请求对应的所述版本下的资源内容，将所述资源内容返回至所述内容分发网络节点。

11.如权利要求8所述的获取网站资源的装置，其特征在于，还包括应用于内容分发网络节点的接收模块、查询模块和设置模块；

所述接收模块，用于接收对所述目标网站的访问请求；

所述查询模块，用于查询所述内容分发网络节点中预设的所述目标网站的各预设源站的状态；

所述设置模块，用于在查询所述内容分发网络节点中预设的所述目标网站的各预设源站的状态。