CN110958160B - 网站检测方法、装置、***以及计算机可读存储介质 - Google Patents

Abstract

本发明实施例公开了一种网站检测方法、装置、***以及计算机可读存储介质，包括接收目标站点检测请求，若存在初步检测结果时，则判断是否有深度检测结果；若否，则根据获取到初始节点的节点信息，在每一网络链路对应的各初始节点中，分别选取出基于不同的网络类型返回的初步访问响应时间最短的初始节点作为检测节点；向各检测节点下发深度检测指令，获取返回的深度检测结果；在由各深度检测结果包含的目标站点的URL组成的并集中，获取对应的检测节点深度检测时未遍历到的待检测的URL，并向对应的检测节点下发包含待检测URL的快速检测指令；获取检测节点根据快速检测指令快速检测后返回的快速检测结果。本发明能提供目标站点较全的数据。

Description

网站检测方法、装置、***以及计算机可读存储介质

技术领域

本发明涉及网络通信领域，尤其涉及一种网站检测方法、装置、***以及计算机可读存储介质。

背景技术

宽带网络作为实现信息化的重要载体，是经济社会发展的关键基础设施。随着网络技术的飞速发展，IPv4的地址资源的枯竭，IPv6取代IPv4已成为大势所趋。目前，由于正处于过渡阶段，且IPv4的用户存量较大，IPv6和IPv4将在长时间内并存。对众多网站的IPv4和IPv6双栈网络环境进行监控，则成为促进IPv6网络发展和把控宽带网络健康状态的重要手段。然而，传统技术中对于多网络的网络监控不够完善，造成监控效率不高且监控数据不完全，导致未能较为全面地对网站的网络情况进行分析。

发明内容

本发明在于针对传统技术中的不足，提供了一种网站检测方法、装置、***以及计算机可读存储介质。

在一个实施例中，本发明实施例提供了一种网站检测方法，应用于中控设备，方法包括：

接收来自用户端发起的目标站点检测请求，若存在对目标站点初步检测的初步检测结果时，则判断是否有对目标站点深度检测的深度检测结果；目标站点检测请求包括目标站点所覆盖的网络类型以及网络链路；初步检测结果包含对目标站点进行初步检测的各初始节点访问目标站点的初步访问响应时间；

若否，则根据获取到的初始节点的节点信息，在每一网络链路对应的各初始节点中，分别选取出基于不同的网络类型返回的初步访问响应时间最短的初始节点作为检测节点；并向各检测节点下发对应的深度检测指令，获取检测节点返回的根据深度检测指令对目标站点进行深度检测后得到的深度检测结果；

在由各深度检测结果包含的目标站点的URL组成的并集中，获取对应的检测节点深度检测时未爬取到的URL并作为待检测URL，向对应的检测节点下发包含待检测URL的快速检测指令；

获取检测节点根据快速检测指令进行快速检测后返回的快速检测结果；快速检测结果包括检测节点对待检测URL对应的网络资源请求访问时的第一响应信息。

在一个具体的实施例中，目标站点检测请求还包括目标站点的入口地址；方法还包括：

若不存在对目标站点初步检测的初步检测结果时，则根据目标站点检测请求和获取到的各节点设备的节点信息，选取符合预设条件的至少一个节点设备作为初始节点；

向各初始节点下发初步检测指令；

接收初始节点返回的根据初步检测指令对目标站点进行初步检测后得到的初步检测结果；

其中，初步访问响应时间为初始节点基于对应的网络类型通过入口地址访问目标站点的一级网页的响应时间。

在一个具体的实施例中，目标站点所覆盖的网络类型包括IPv4网络、或IPv4网络和IPv6网络；深度检测结果为对应的检测节点基于IPv4网络或IPv6网络根据深度检测指令，对目标站点进行深度检测后返回的检测结果。

在一个具体的实施例中，根据目标站点检测请求和获取到的各节点设备的节点信息，选取符合预设条件的至少一个节点设备作为初始节点，包括：

根据各节点设备的节点信息中包含的节点设备所处位置信息、所属的网络链路、以及所支持的网络类型，选取出与中控设备所处位置在预设范围内、且与目标站点检测请求相匹配的至少一个节点设备作为初始节点。

在一个具体的实施例中，目标站点覆盖的网络类型包括IPv4网络和IPv6网络；深度检测结果包括检测节点在对目标站点进行深度检测时爬取到相应的URL后，请求访问该URL对应的网络资源时的第二响应信息；

在获取检测节点根据快速检测指令进行快速检测后返回的快速检测结果之后包括：

将使用同一网络链路的检测节点基于IPv6网络返回的第一响应信息和第二响应信息作为第一目标站点检测结果，将基于IPv4网络返回的第一响应信息和/或第二响应信息作为第二目标站点检测结果；并将第一目标站点检测结果与第二目标站点检测结果进行比较；

根据比较结果，确定目标站点当前的网络状态是否符合预设标准。

在一个实施例中，本发明实施例还提供了一种网站检测方法，应用于作为检测节点且分布在不同地区不同网络运营商的服务器；方法包括：

接收中控设备下发的深度检测指令；深度检测指令为中控设备在接收到来自用户端发起的目标站点检测请求后，若存在对目标站点初步检测的初步检测结果时，判断没有对目标站点深度检测的深度检测结果后下发的指令；目标站点检测请求包括目标站点所覆盖的网络类型以及网络链路；初步检测结果包含对目标站点进行初步检测的各初始节点访问目标站点的初步访问响应时间；检测节点为中控设备根据初始节点的节点信息，在每一网络链路对应的各初始节点中，分别选取出基于不同的网络类型返回的初步访问响应时间最短的初始节点；

根据深度检测指令对目标站点进行深度检测，并将深度检测结果返回至中控设备；

接收中控设备下发的快速检测指令；快速检测指令包括待检测URL；待检测URL为中控设备在由各深度检测结果包含的目标站点的URL组成的并集中，获取的检测节点在深度检测时未爬取到的URL；

根据快速检测指令对目标站点进行快速检测，并将快速检测结果返回至中控设备；快速检测结果包括对待检测URL对应的网络资源请求访问时的第一响应信息。

在一个实施例中，本发明实施还提供了一种网站检测装置，应用于中控设备，包括：

检测判断模块，用于接收来自用户端发起的目标站点检测请求，若存在对目标站点初步检测的初步检测结果时，则判断是否有对目标站点深度检测的深度检测结果；目标站点检测请求包括目标站点所覆盖的网络类型以及网络链路；初步检测结果包含对目标站点进行初步检测的各初始节点访问目标站点的初步访问响应时间；

深度检测指令下发模块，用于若否，则根据获取到的初始节点的节点信息，在每一网络链路对应的各初始节点中，分别选取出基于不同的网络类型返回的初步访问响应时间最短的初始节点作为检测节点；并向各检测节点下发对应的深度检测指令，获取检测节点返回的根据深度检测指令对目标站点进行深度检测后得到的深度检测结果；

快速检测指令下发模块，用于在由各深度检测结果包含的目标站点的URL组成的并集中，获取对应的检测节点深度检测时未爬取到的URL并作为待检测URL，向对应的检测节点下发包含待检测URL的快速检测指令；

快速检测结果获取模块，用于获取检测节点根据快速检测指令进行快速检测后返回的快速检测结果；快速检测结果包括检测节点对待检测URL对应的网络资源请求访问时的第一响应信息。

在一个实施例中，本发明实施例还提供了一种网站检测装置，应用于作为检测节点且分布在不同地区不同网络运营商的服务器，装置包括：

深度检测指令接收模块，用于接收中控设备下发的深度检测指令；深度检测指令为中控设备在接收到来自用户端发起的目标站点检测请求后，若存在对目标站点初步检测的初步检测结果时，判断没有对目标站点深度检测的深度检测结果后下发的指令；目标站点检测请求包括目标站点所覆盖的网络类型以及网络链路；初步检测结果包含对目标站点进行初步检测的各初始节点访问目标站点的初步访问响应时间；检测节点为中控设备根据初始节点的节点信息，在每一网络链路对应的各初始节点中，分别选取出基于不同的网络类型返回的初步访问响应时间最短的初始节点；

深度检测模块，用于根据深度检测指令对目标站点进行深度检测，并将深度检测结果返回至中控设备；

快速检测指令接收模块，用于接收中控设备下发的快速检测指令；快速检测指令包括从深度检测结果的URL并集中，获取在深度检测时未遍历到的待检测URL；

快速检测模块，用于根据快速检测指令对目标站点进行快速检测，并将快速检测结果返回至中控设备；快速检测结果包括对待检测URL对应的网页请求访问时的第一响应信息。

在一个实施例中，本发明实施例还提供了一种网站检测***，包括中控设备，以及和中控设备连接的、作为检测节点且分布在不同地区不同网络运营商的服务器；

中控设备用于执行应用于中控设备的网站检测方法；

服务器用于执行应用于作为检测节点且分布在不同地区不同网络运营商的服务器的网站检测方法。

在一个实施例中，本发明还提供了一种计算机可读存储介质，上存储有计算机程序，计算机程序被处理器执行时实现网站检测方法。

本发明实施例的网站检测方法、装置以及***，在对目标站点进行初步检测后的初步检测结果包括的初步访问响应时间中，根据目标站点所覆盖的网络链路，分别选取出基于不同的网络类型返回的初步访问响应时间最短的初始节点作为检测节点，从而提高对网站的网络情况进行检测的检测效率。同时，为了防止因网络不佳等因素造成深度检测时未能爬取完全所要检测的目标站点的网络资源，则从深度检测结果包含的目标站点的URL组成的并集中，获取对应的检测节点深度检测时未爬取到的待检测URL，并向对应的检测节点下发包含待检测URL的快速检测指令，以获取到较为完整的站点检测数据。从而，本发明实施例能够实现多网络多链路相互配合的网站检测，为用户提供对目标站点较为全面的数据，提高了对目标站点的检测效率和精度。同时，能够合理调到节点设备，起到节约节点资源的作用。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本发明实施例应用于中控设备的网站检测方法的流程示意图；

图2示出了本发明实施例应用于作为检测节点的网站检测方法的流程示意图；

图3示出了本发明实施例应用于中控设备的网站检测装置的结构示意图；

图4示出了本发明实施例应用于作为检测节点的网站检测装置的结构示意图；

图5示出了本发明实施例的网站检测***的结构示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

参见图1，在一个实施例中，本发明实施例提供了一种网站检测方法，应用于中控设备，方法包括：

步骤S110：接收来自用户端发起的目标站点检测请求，若存在对目标站点初步检测的初步检测结果时，则判断是否有对目标站点深度检测的深度检测结果；目标站点检测请求包括目标站点所覆盖的网络类型以及网络链路；初步检测结果包含对目标站点进行初步检测的各初始节点访问目标站点的初步访问响应时间。

中控设备为如信息管理中心机房内的服务器，其中，机房内可布置多台服务器并组成控制中心，每台服务器可运行本发明实施例的网站检测方法。所覆盖的网络类型包括IPv4网络和/或IPv6网络，所覆盖的网络链路包括网络运营商提供的网络链路，如移动网络链路、联通网络链路以及电信网络链路中的任一种或任意种组合。初始节点为分布于不同地区不同网络运营商的服务器，为对目标站点进行初步检测的节点设备。初步访问响应时间可以为初始节点多次访问目标站的入口地址的平均响应时间。其中，目标站点检测请求例如为HTTP请求报文。用户端为软件体结构C/S中的客户机，如APP、网页、小程序等终端程序或软件。

步骤S120：若否，则根据获取到初始节点的节点信息，在每一网络链路对应的各初始节点中，分别选取出基于不同的网络类型返回的初步访问响应时间最短的初始节点作为检测节点；并向各检测节点下发对应的深度检测指令，获取检测节点返回的根据深度检测指令对目标站点进行深度检测后得到的深度检测结果。

为了检测是否能够采用不同的网络类型通过对应的网络链路访问到目标站点，同时提高检测效率，则根据目标站点所覆盖的网络链路和网络类型，从每一网络链路对应的各初始节点中，分别选取出基于不同的网络类型返回的初步访问响应时间最短的初始节点作为检测节点。深度检测结果可包括有目标站点的网站结构数据，如各级网页的层级关系、站点的网页级数等。

步骤S130：在由各深度检测结果包含的目标站点的URL组成的并集中，获取对应的检测节点深度检测时未爬取到的URL并作为待检测URL，向对应的检测节点下发包含待检测URL的快速检测指令。

目标站点包括的网络资源如各级网页、各级网页包含的图片、视频等，而目标站点中的每一网络资源有对应的URL(资源定位符)，因此，目标站点的URL为目标站点中包含的网络资源对应的URL。目标站点如可覆盖多网络类型和多网络链路，则会对目标站点的每一网络链路对应的网络类型进行网络运行状态的检测。由于在检测过程中，某一检测支路的检测节点会因为网络环境不佳等干扰对深度检测的执行造成影响，导致不能完全检测完所需检测的目标站点的网络资源，如有些层级的网页请求访问失败，或者当前网页的图片或者视频请求访问失败。因此，为了省去手动获取未检测到的目标站点的URL，提高检测效率同时能够较为完整的检测到所需检测目标站点的网络资源如相应层级的网页等，则从深度检测结果包含的目标站点的URL组成的并集中，获取对应的检测节点进行深度检测时未遍历到的URL并作为待检测URL，以此来下发快速检测指令。

目标站点大部分所覆盖的网络类型包括IPv4，部分升级优化后的网络类型则可以覆盖IPv4网络和IPv6网络，如本发明实施例中的目标站点包括IPv4网络和IPv6网络。而支持IPv4网络的目标站点的网络运行情况较为稳定，因此，中控设备通过合并各网络链路下检测节点返回的深度检测结果包含的目标站点的URL，即所有检测节点分别使用IPv4网络和IPv6网络目标站点进行深度检测后其深度检测结果中目标站点的URL的汇总，从而得到一并集，能够获取到较为完整的目标站点的URL地址集合。进一步地，由各深度检测结果包含的目标站点的URL组成的并集，可为汇总后过滤重复的URL后得到的集合。

步骤S140：获取检测节点根据快速检测指令进行快速检测后返回的快速检测结果；快速检测结果包括检测节点对待检测URL对应的网络资源请求访问时的第一响应信息。

快速检测的过程中，检测节点根据包含在快速检测指令中的待检测URL向目标站点中对应的网络资源进行访问请求，以将访问请求得到的第一响应信息返回至中控设备。其中，第一响应信息包括对待检测URL对应的网络资源访问请求的响应时间以及网络连通情况。

本发明实施例有助于对站点多网络多链路的检测，同时有助于对大量目标站点进行快速有效的网络检测。

本发明实施例的网站检测方法，在对目标站点进行初步检测后的初步检测结果包括的初步访问响应时间中，根据目标站点所覆盖的网络链路，分别选取出基于不同的网络类型返回的初步访问响应时间最短的初始节点作为检测节点，从而提高对网站的网络情况进行检测的检测效率。同时，为了防止因网络不佳等因素造成深度检测时未能爬取完全所要检测的目标站点的网络资源，则从深度检测结果包含的目标站点的URL组成的并集中，获取对应的检测节点深度检测时未爬取到的待检测URL，并向对应的检测节点下发包含待检测URL的快速检测指令，以获取到较为完整的站点检测数据。从而，本发明实施例通过多网络多链路相互配合的网站检测，为用户提供对目标站点较为全面的数据，提高了对目标站点的检测效率和精度。同时，能够合理调到节点设备，起到节约节点资源的作用。

在一个具体的实施例中，目标站点检测请求还包括目标站点的入口地址；方法还包括：

步骤S2：若不存在对目标站点初步检测的初步检测结果时，则根据目标站点检测请求和获取到的各节点设备的节点信息，选取符合预设条件的至少一个节点设备作为初始节点。

在本发明实施例中，中控设备获取到目标站点检测请求后，在预先存储的数据库中查找是否有对该目标站点的初步检测记录，若没有，则根据目标站点所覆盖的网络类型和网络链路，并结合节点设备的节点信息，选取出符合预设条件的至少一个节点设备作为初始节点。

本发明实施例能够在布设的多节点设备网络中选取出与目标站点相匹配的节点，有助于实现对目标站点的高效检测。

在一个具体的实施例中，根据目标站点检测请求和获取到的各节点设备的节点信息，选取符合预设条件的至少一个节点设备作为初始节点，包括：

根据各节点设备的节点信息中包含的节点设备所处位置信息、所属的网络链路、以及所支持的网络类型，选取出与中控设备所处位置在预设范围内、且与目标站点检测请求相匹配的至少一个节点设备作为初始节点。

本发明实施例选取出与中控设备距离较近的节点设备作为初始节点，进而可缩短传输距离提高传输的可靠性。同时，选取出的初始节点与目标站点相匹配，保证初始节点能够对目标站点进行相应网络类型和网络链路的检测。本发明实施例能够合理利用所分布的节点设备。

步骤S4：向各初始节点下发初步检测指令。

初步检测指令包含目标站点检测请求。

步骤S6：接收初始节点返回的根据初步检测指令对目标站点进行初步检测后得到的初步检测结果。

其中，初步访问响应时间为初始节点基于对应的网络类型通过入口地址访问目标站点的一级网页的响应时间。

本发明实施例能够通过对目标站点进行初步检测后得到的初步检测结果，并根据初始节点的节点信息，在每一网络链路对应的初始节点中，分别选取出基于不同的网络类型返回的初步访问响应时间最短的初始节点作为检测节点。从而，能够保证基于目标站点所覆盖的网络链路对应网络类型对目标站点进行响应速率较快的检测。同时，防止由于选取检测节点不合理导致对目标站点检测不准确，检测数据丢失等情况的发生。

中控设备在接收到目标站点检测请求时，可对该请求进行合理性校验，包括包含的目标站点的入口地址是否合法，是否缺少检测的网络类型，需要检测的运营商的网络链路，以及需要对目标站点遍历的深度检测层级等参数。进一步地，当中控设备接收到目标站点检测请求时，会根据目标站点的入口地址在预先存储的数据库中查询是否包含该站点的信息，若没有则会将该请求包含的站点信息保存至数据库中。进一步地，当由多个站点下发站点检测请求时，则将本次的请求放入缓存队列以等待执行。进一步地，还可通知用户终端本次目标站点检测请求发起成功。

在一个具体的实施例中，目标站点所覆盖的网络类型包括IPv4网络、或IPv4网络和IPv6网络；深度检测结果包括检测节点在对目标站点进行深度检测时爬取到相应的URL后，请求访问该URL对应的网络资源时的第二响应信息。

在获取检测节点根据快速检测指令进行快速检测后返回的快速检测结果之后包括：

步骤S8：将使用同一网络链路的检测节点基于IPv6网络返回的第一响应信息和第二响应信息作为第一目标站点检测结果，将基于IPv4网络返回的第一响应信息和/或第二响应信息作为第二目标站点检测结果；并将第一目标站点检测结果与第二目标站点检测结果进行比较。

第二响应信息包括对目标站点相应的URL对应的网络资源请求访问的响应时间以及网络连通情况。支持IPv4网络的目标站点的网络运行情况较为稳定，当基于IPv4网络的检测节点对目标站点进行深度检测后返回的深度检测结果中，若包含的目标站点的URL涵盖了其他检测节点所返回的深度检测结果中的目标站点的URL，则该网络链路下基于IPv4的检测节点无需进行快速检测，则该检测节点的第二目标站点检测结果只包括第二响应信息，否则，需要执行快速检测，则第二目标站点检测结果中包含第一响应信息和第二响应信息。

在检测结果比较时，中控设备将使用同一网络链路的检测节点基于IPv6网络返回的第一响应信息和第二响应信息作为最终的检测结果，即第一目标站点检测结果，将基于IPv4网络返回的第一响应信息和/或第二响应信息作为最终的检测结果，即第二目标站点检测结果，将第一目标站点检测结果与第二目标站点检测结果进行比较。

步骤S12：根据比较结果，确定目标站点当前的网络状态是否符合预设标准。

预设标准包括同一网络链路下基于IPv6网络的目标站点被请求访问的各网络资源的响应时间，能够被请求访问到的网页的最大深度，以及能够被访问到的网络资源数量等，与基于IPv4网络目标站点被请求访问时的访问结果是否相同或者相差在预设范围内。

本发明实施例能够支持IPv4网络和IPv6网络双栈网络的网站检测，同时能够借助IPv4网络目标站点的检测结果，对IPv6网络目标站点提供检测标准。进一步地提高了对目标站点升级检测的效率。

参见图2，在一个实施例中，本发明实施例还提供了一种网站检测方法，应用于作为检测节点且分布在不同地区不同网络运营商的服务器；方法包括：

步骤S210：接收中控设备下发的深度检测指令；深度检测指令为中控设备在接收到来自用户端发起的目标站点检测请求后，若存在对目标站点初步检测的初步检测结果时，判断没有对目标站点深度检测的深度检测结果后下发的指令；目标站点检测请求包括目标站点所覆盖的网络类型以及网络链路；初步检测结果包含对目标站点进行初步检测的各初始节点访问目标站点的初步访问响应时间；检测节点为中控设备根据初始节点的节点信息，在每一网络链路对应的各初始节点中，分别选取出基于不同的网络类型返回的初步访问响应时间最短的初始节点。

步骤S220：根据深度检测指令对目标站点进行深度检测，并将深度检测结果返回至中控设备。

深度检测指令包括目标站点检测请求，在对应的网络链路下，采用对应的网络类型对目标站点进行深度检测。

进一步地，目标站点检测请求还包括深度检测时遍历的最大深度。检测节点在对目标站点进行深度检测的步骤包括：

根据深度检测指令，基于对应的网络类型请求访问目标站点，以从目标站点的入口地址开始对网页进行遍历。

对遍历到的网页调用浏览器服务器进程进行解析并爬取该网页包含的URL，以对该URL对应的网络资源请求访问，直至遍历到最大深度值对应的网页位置。

目标站点的网络资源包括网页、网页中包含的图片、视频、以及CSS/JavaScript脚本等。

将对各级网页进行解析后得到响应信息包含在深度检测结果中并返回至中控设备。

进一步地，对遍历到的网页调用浏览器服务进程进行解析时，对该网页页面进行渲染，从而模拟出网站访问中较为真实的访问场景，避免因页面解析不完整导致检测不全面。在页面渲染后，会对页面内容进行URL的爬取。然后继续请求访问爬取到的URL对应的网络资源，并对URL对应的网页执行渲染步骤，直至到达最大深度值。进一步地，完成渲染页面后进行检测分析，并将得到对应的响应信息作为深度检测结果返回至中控设备，其中，包括响应码、对相应URL对应的网络资源请求访问的响应时间、页面编码以及页面类型等相关信息。

步骤S230：接收中控设备下发的快速检测指令；快速检测指令包括待检测URL；待检测URL为中控设备在由各深度检测结果包含的目标站点的URL组成的并集中，获取的检测节点在深度检测时未爬取到的URL。

步骤S240：根据快速检测指令对目标站点进行快速检测，并将快速检测结果返回至中控设备；快速检测结果包括对待检测URL对应的网络资源请求访问时的第一响应信息。

本发明实施例能够提高对网站的网络情况进行检测的检测效率，同时能够获取到较为完整的网络资源检测数据。本发明实施例通过多网络多链路相互配合的网站检测，为用户提供对目标站点较为全面的数据，提高了对目标站点的检测效率和精度。同时，能够合理调到节点设备，起到节约节点资源的作用。

例如，可以在分布在不同地区不同网络运营商的服务器，即节点设备上安装运行网站检测方法的爬虫程序，节点设备可定时向中控设备上报自身的节点信息。

参见图3，在一个实施例中，本发明实施例还提供了一种网站检测装置，应用于中控设备，装置包括：

检测判断模块310，用于接收来自用户端发起的目标站点检测请求，若存在对目标站点初步检测的初步检测结果时，则判断是否有对目标站点深度检测的深度检测结果；目标站点检测请求包括目标站点所覆盖的网络类型以及网络链路；初步检测结果包含对目标站点进行初步检测的各初始节点访问目标站点的初步访问响应时间。

深度检测指令下发模块320，用于若否，则根据获取到的初始节点的节点信息，在每一网络链路对应的各初始节点中，分别选取出基于不同的网络类型返回的初步访问响应时间最短的初始节点作为检测节点；并向各检测节点下发对应的深度检测指令，获取检测节点返回的根据深度检测指令对目标站点进行深度检测后得到的深度检测结果。

快速检测指令下发模块330，用于在由各深度检测结果包含的目标站点的URL组成的并集中，获取对应的检测节点深度检测时未爬取到的URL并作为待检测URL，向对应的检测节点下发包含待检测URL的快速检测指令。

快速检测结果获取模块340，用于获取检测节点根据快速检测指令进行快速检测后返回的快速检测结果；快速检测结果包括检测节点对待检测URL对应的网络资源请求访问时的第一响应信息。

需要说明的是，关于应用于中控设备的网站检测的装置的具体限定可以参见上文中对于应用于中控设备的网站检测的方法的限定，在此不再赘述。上述网站检测的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

参见图4，在一个实施例中，本发明还提供了一种网站检测的装置，应用于作为检测节点且分布在不同地区不同网络运营商的服务器，装置包括：

深度检测指令接收模410，用于接收中控设备下发的深度检测指令；深度检测指令为中控设备在接收到来自用户端发起的目标站点检测请求后，若存在对目标站点初步检测的初步检测结果时，判断没有对目标站点深度检测的深度检测结果后下发的指令；目标站点检测请求包括目标站点所覆盖的网络类型以及网络链路；初步检测结果包含对目标站点进行初步检测的各初始节点访问目标站点的初步访问响应时间；检测节点为中控设备根据初始节点的节点信息，在每一网络链路对应的各初始节点中，分别选取出基于不同的网络类型返回的初步访问响应时间最短的初始节点。

深度检测模块420，用于根据深度检测指令对目标站点进行深度检测，并将深度检测结果返回至中控设备。

快速检测指令接收模块430，用于接收中控设备下发的快速检测指令；快速检测指令包括待检测URL；待检测URL为中控设备在由各深度检测结果包含的目标站点的URL组成的并集中，获取的检测节点在深度检测时未爬取到的URL。

快速检测模块440，用于根据快速检测指令对目标站点进行快速检测，并将快速检测结果返回至中控设备；快速检测结果包括对待检测URL对应的网络资源请求访问时的第一响应信息。

需要说明的是，关于应用于作为检测节点且分布在不同地区不同网络运营商的服务器的网站检测的装置的具体限定可以参见上文中对于应用于作为检测节点且分布在不同地区不同网络运营商的服务器的网站检测的方法的限定，在此不再赘述。上述网站检测的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

参见图5，在一个实施例中，本发明实施例还提供一种网站检测的***，包括中控设备510，以及和所述中控设备连接的、作为检测节点且分布在不同地区不同网络运营商的服务器520。

中控设备510用于执行应用于中控设备的网站检测方法。

服务器520用于执行应用于作为检测节点且分布在不同地区不同网络运营商的服务器的网站检测方法。

需要说明的是，本实施例中应用于中控设备的网站检测方法与上述应用于中控设备的网站检测方法的限定相同，在此不再赘述。

本实施例中应用于作为检测节点且分布在不同地区不同网络运营商的服务器的网站检测方法与上述应用于作为检测节点且分布在不同地区不同网络运营商的服务器的网站检测方法的限定相同，在此不再赘述。

在一个实施例中，本发明实施例还提供了一种计算机可读存储介质，上存储有计算机程序，计算机程序被处理器执行时实现网站检测方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种网站检测方法，其特征在于，应用于中控设备，所述方法包括：

接收来自用户端发起的目标站点检测请求，若存在对目标站点初步检测的初步检测结果时，则判断是否有对所述目标站点深度检测的深度检测结果；所述目标站点检测请求包括目标站点所覆盖的网络类型以及网络链路；所述初步检测结果包含对所述目标站点进行初步检测的各初始节点访问所述目标站点的初步访问响应时间；所述初步访问响应时间为所述初始节点基于对应的网络类型通过入口地址访问所述目标站点的一级网页的响应时间；

若否，则根据获取到的所述初始节点的节点信息，在每一所述网络链路对应的各所述初始节点中，为每一网络类型分别选取出返回的初步访问响应时间最短的初始节点作为检测节点；并向各所述检测节点下发对应的深度检测指令，获取所述检测节点返回的根据所述深度检测指令对所述目标站点进行深度检测后得到的深度检测结果；所述深度检测结果包含所述目标站点的网站结构数据、所述目标站点的URL、对所述目标站点相应的URL对应的网络资源请求访问的响应时间以及网络连通情况；

在由各所述深度检测结果包含的所述目标站点的URL组成的并集中，获取对应的所述检测节点深度检测时未爬取到的所述URL并作为待检测URL，向对应的所述检测节点下发包含所述待检测URL的快速检测指令；

获取所述检测节点根据所述快速检测指令进行快速检测后返回的快速检测结果；所述快速检测结果包括所述检测节点对所述待检测URL对应的网络资源请求访问时的第一响应信息；所述第一响应信息包括对待检测URL对应的网络资源访问请求的响应时间以及网络连通情况。

2.根据权利要求1所述的网站检测方法，其特征在于，所述目标站点检测请求还包括所述目标站点的入口地址；所述方法还包括：

若不存在对所述目标站点初步检测的初步检测结果时，则根据所述目标站点检测请求和获取到的各节点设备的节点信息，选取符合预设条件的至少一个节点设备作为初始节点；

向各所述初始节点下发初步检测指令；

接收所述初始节点返回的根据所述初步检测指令对所述目标站点进行初步检测后得到的所述初步检测结果。

3.根据权利要求1所述的网站检测方法，其特征在于，所述目标站点所覆盖的网络类型包括IPv4网络、或IPv4网络和IPv6网络；所述深度检测结果为对应的所述检测节点基于所述IPv4网络或IPv6网络根据所述深度检测指令，对所述目标站点进行深度检测后返回的检测结果。

4.根据权利要求2所述的网站检测方法，其特征在于，根据所述目标站点检测请求和获取到的各节点设备的节点信息，选取符合预设条件的至少一个节点设备作为初始节点，包括：

根据各所述节点设备的节点信息中包含的节点设备所处位置信息、所属的所述网络链路、以及所支持的所述网络类型，选取出与所述中控设备所处位置在预设范围内、且与所述目标站点检测请求相匹配的至少一个节点设备作为初始节点。

5.根据权利要求1所述的网站检测方法，其特征在于，所述目标站点覆盖的所述网络类型包括IPv4网络和IPv6网络；所述深度检测结果包括所述检测节点在对所述目标站点进行深度检测时爬取到相应的所述URL后，请求访问该URL对应的网络资源时的第二响应信息；所述第二响应信息包括对目标站点相应的URL对应的网络资源请求访问的响应时间以及网络连通情况；

在获取所述检测节点根据所述快速检测指令进行快速检测后返回的快速检测结果之后包括：

将使用同一网络链路的检测节点基于所述IPv6网络返回的所述第一响应信息和所述第二响应信息作为第一目标站点检测结果，将基于所述IPv4网络返回的所述第一响应信息和/或所述第二响应信息作为第二目标站点检测结果；并将所述第一目标站点检测结果与所述第二目标站点检测结果进行比较；

根据比较结果，确定所述目标站点当前的网络状态是否符合预设标准。

6.一种网站检测方法，其特征在于，应用于作为检测节点且分布在不同地区不同网络运营商的服务器；所述方法包括：

接收中控设备下发的深度检测指令；所述深度检测指令为中控设备在接收到来自用户端发起的目标站点检测请求后，若存在对目标站点初步检测的初步检测结果时，判断没有对所述目标站点深度检测的深度检测结果后下发的指令；所述目标站点检测请求包括目标站点所覆盖的网络类型以及网络链路；所述初步检测结果包含对所述目标站点进行初步检测的各初始节点访问所述目标站点的初步访问响应时间；所述初步访问响应时间为所述初始节点基于对应的网络类型通过入口地址访问所述目标站点的一级网页的响应时间；所述检测节点为所述中控设备根据所述初始节点的节点信息，在每一所述网络链路对应的各所述初始节点中，为每一网络类型分别选取出返回的初步访问响应时间最短的初始节点作为检测节点；

根据所述深度检测指令对所述目标站点进行深度检测，并将深度检测结果返回至所述中控设备；所述深度检测结果包含所述目标站点的网站结构数据、URL、对目标站点相应的URL对应的网络资源请求访问的响应时间以及网络连通情况；

接收所述中控设备下发的快速检测指令；所述快速检测指令包括待检测URL；所述待检测URL为所述中控设备在由各所述深度检测结果包含的所述目标站点的URL组成的并集中，获取的所述检测节点在深度检测时未爬取到的所述URL；

根据所述快速检测指令对所述目标站点进行快速检测，并将快速检测结果返回至所述中控设备；所述快速检测结果包括对所述待检测URL对应的网络资源请求访问时的第一响应信息；所述第一响应信息包括对待检测URL对应的网络资源访问请求的响应时间以及网络连通情况。

7.一种网站检测装置，其特征在于，应用于中控设备，包括：

检测判断模块，用于接收来自用户端发起的目标站点检测请求，若存在对目标站点初步检测的初步检测结果时，则判断是否有对所述目标站点深度检测的深度检测结果；所述目标站点检测请求包括目标站点所覆盖的网络类型以及网络链路；所述初步检测结果包含对所述目标站点进行初步检测的各初始节点访问所述目标站点的初步访问响应时间；所述初步访问响应时间为所述初始节点基于对应的网络类型通过入口地址访问所述目标站点的一级网页的响应时间；

深度检测指令下发模块，用于若否，则根据获取到的所述初始节点的节点信息，在每一所述网络链路对应的各所述初始节点中，为每一网络类型分别选取出返回的初步访问响应时间最短的初始节点作为检测节点；并向各所述检测节点下发对应的深度检测指令，获取所述检测节点返回的根据所述深度检测指令对所述目标站点进行深度检测后得到的深度检测结果；所述深度检测结果包含所述目标站点的网站结构数据、URL、对目标站点相应的URL对应的网络资源请求访问的响应时间以及网络连通情况；

快速检测指令下发模块，用于在由各所述深度检测结果包含的所述目标站点的URL组成的并集中，获取对应的所述检测节点深度检测时未爬取到的所述URL并作为待检测URL，向对应的所述检测节点下发包含所述待检测URL的快速检测指令；

快速检测结果获取模块，用于获取所述检测节点根据所述快速检测指令进行快速检测后返回的快速检测结果；所述快速检测结果包括所述检测节点对所述待检测URL对应的网络资源请求访问时的第一响应信息；所述第一响应信息包括对待检测URL对应的网络资源访问请求的响应时间以及网络连通情况。

8.一种网站检测装置，其特征在于，应用于作为检测节点且分布在不同地区不同网络运营商的服务器，所述装置包括：

深度检测指令接收模块，用于接收中控设备下发的深度检测指令；所述深度检测指令为中控设备在接收到来自用户端发起的目标站点检测请求后，若存在对目标站点初步检测的初步检测结果时，判断没有对所述目标站点深度检测的深度检测结果后下发的指令；所述目标站点检测请求包括目标站点所覆盖的网络类型以及网络链路；所述初步检测结果包含对所述目标站点进行初步检测的各初始节点访问所述目标站点的初步访问响应时间；所述初步访问响应时间为所述初始节点基于对应的网络类型通过入口地址访问所述目标站点的一级网页的响应时间；所述检测节点为所述中控设备根据所述初始节点的节点信息，在每一所述网络链路对应的各所述初始节点中，为每一网络类型分别选取出返回的初步访问响应时间最短的初始节点作为检测节点；

深度检测模块，用于根据所述深度检测指令对所述目标站点进行深度检测，并将深度检测结果返回至所述中控设备；所述深度检测结果包含所述目标站点的网站结构数据、URL、对目标站点相应的URL对应的网络资源请求访问的响应时间以及网络连通情况；

快速检测指令接收模块，用于接收所述中控设备下发的快速检测指令；所述快速检测指令包括待检测URL；所述待检测URL为所述中控设备在由各所述深度检测结果包含的所述目标站点的URL组成的并集中，获取的所述检测节点在深度检测时未爬取到的所述URL；

快速检测模块，用于根据所述快速检测指令对所述目标站点进行快速检测，并将快速检测结果返回至所述中控设备；所述快速检测结果包括对所述待检测URL对应的网络资源请求访问时的第一响应信息；所述第一响应信息包括对待检测URL对应的网络资源访问请求的响应时间以及网络连通情况。

9.一种网站检测的***，其特征在于，包括中控设备，以及和所述中控设备连接的、作为检测节点且分布在不同地区不同网络运营商的服务器；

所述中控设备用于执行权利要求1至5任意一项所述的网站检测方法；

所述服务器用于执行权利要求6所述的网站检测方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。

Images