CN110851753A - 一种网站的访问方法、装置、设备及存储介质 - Google Patents
一种网站的访问方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110851753A CN110851753A CN201911083339.1A CN201911083339A CN110851753A CN 110851753 A CN110851753 A CN 110851753A CN 201911083339 A CN201911083339 A CN 201911083339A CN 110851753 A CN110851753 A CN 110851753A
- Authority
- CN
- China
- Prior art keywords
- target
- address
- website
- pool
- access request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
- G06F16/972—Access to data in other repository systems, e.g. legacy data or dynamic Web page generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种网站的访问方法、装置、设备及介质,方法包括:预先获取多个IP地址并存储于IP池中;当接收到客户端发起的对目标网站的访问请求时,按照预设分配策略从IP池中选择目标IP地址,并将访问请求转发给与目标IP地址对应的目标代理服务器;控制目标代理服务器发起对目标网站的访问。因此,同一客户端多次高频率地对目标网站发起访问请求时,对于目标网站来说,接收到的将是不同的目标IP地址的访问请求,避免了同一IP地址的多次高频率地对目标网站的访问,降低了目标网站将IP地址封掉的风险;IP池中有大量的备用IP地址,相对避免了访问中断;避免了用户手动操作,因此本方法能够提高访问网站的便捷性和稳定性。
Description
技术领域
本发明涉及网站管理领域,特别涉及一种网站的访问方法、装置、设备及计算机可读存储介质。
背景技术
目前,用户通过客户端的浏览器或者爬虫访问目标网站时,若访问量很大或者访问请求过于频繁时,容易被目标网站判定为攻击行为,因此目标网站会将该客户端的IP地址封掉。此时,用户再次通过该IP地址发起请求时,将会被目标网站直接拒绝。在IP被封的情况下,客户端将长时间无法访问目标网站,将导致访问中断。
目前,一般是通过降低访问频率的方式来避免IP地址被封的风险,这无法解决用户的实际访问需求。现有技术中,针对访问量大、访问请求频繁的情况,一般是在当前的IP地址被封之后,用户手动地再次设置新的IP地址,以便客户端利用新的IP地址继续访问目标网站;当该新的IP地址被封之后,则再次设置新的IP地址,以此类推。可见,现有技术无法解决当访问量很大或者访问请求频繁时新的IP地址再次被封的情况,因此需要不断地设置新的IP地址,操作过程重复繁琐,使得访问目标网站的过程繁琐且不稳定。
因此,如何在访问量大、访问频率高的情况下,提高访问网站的便捷性和稳定性,是本领域技术人员目前需要解决的技术问题。
发明内容
有鉴于此,本发明的目的在于提供一种网站的访问方法,能够在访问量大、访问频率高的情况下,提高访问网站的便捷性和稳定性;本发明的另一目的是提供一种网站的访问装置、设备及计算机可读存储介质,均具有上述有益效果。
为解决上述技术问题,本发明提供一种网站的访问方法,包括:
预先获取多个IP地址并存储于IP池中;
当接收到客户端发起的对目标网站的访问请求时,按照预设分配策略从所述IP池中选择目标IP地址,并将所述访问请求转发给与所述目标IP地址对应的目标代理服务器;
控制所述目标代理服务器发起对目标网站的访问。
优选地,进一步包括:
预先根据不同网站的域名设置标识信息;其中,所述标识信息用于表示网站对IP地址的性能要求;
对应的,所述当接收到客户端发起的对目标网站的访问请求时,按照预设分配策略从所述IP池中选择目标IP地址,并将所述访问请求转发给与所述目标IP地址对应的目标代理服务器的过程,具体为:
当接收到所述客户端发起的对所述目标网站的所述访问请求时,根据与所述目标网站对应的目标标识信息从所述IP池中选择满足所述目标网站的性能要求的目标IP地址;
将所述访问请求转发给与所述目标IP地址对应的目标代理服务器。
优选地,所述IP池包括两种性能的IP池,对应的,所述预先获取多个IP地址并存储于IP池中的过程,具体包括:
预先获取多个IP地址并根据各所述IP地址的性能将各所述IP地址存储于对应性能的IP池中;
对应的,所述当接收到客户端发起的对目标网站的访问请求时,根据所述标识信息从所述IP池中选择满足所述目标网站的性能要求的目标IP地址的过程,具体为:
当接收到所述客户端发起的对所述目标网站的所述访问请求时,根据所述标识信息从对应性能的IP池中选择满足所述目标网站的性能要求的所述目标IP地址。
优选地,所述预先获取多个IP地址并存储于IP池中的过程,具体包括:
采集当前计算机网络中的变化的IP地址,并将采集到的所述IP地址存储所述IP池中。
优选地,所述预先获取多个IP地址并存储于IP池中的过程,具体包括:
通过互联网从网页中采集IP地址,并将采集到的所述IP地址存储所述IP池中。
优选地,进一步包括:
按照预设时间周期检测各所述性能的IP池中的各所述IP地址的性能;
根据各所述IP地址检测出的性能情况更新各所述性能的IP池;
将检测出的不可用IP地址以及过时的IP地址删除。
优选地,当所述访问请求为http请求时,所述当接收到客户端发起的对目标网站的访问请求时,按照预设分配策略从所述IP池中选择目标IP地址,并将所述访问请求转发给与所述目标IP地址对应的目标代理服务器的过程,具体为:
当接收到所述客户端发起的对所述目标网站的所述访问请求时,解析所述访问请求,得到用户信息;
判断所述用户信息是否与上一访问请求的用户信息一致;
若是,则从所述IP池中选择与所述上一访问请求对应的IP地址作为目标IP地址,并将所述访问请求转发给与所述目标IP地址对应的目标代理服务器。
为解决上述技术问题,本发明还提供一种网站的访问装置,包括:
获取模块,用于预先获取多个IP地址并存储于IP池中;
设置模块,用于当接收到客户端发起的对目标网站的访问请求时,按照预设分配策略从所述IP池中选择目标IP地址,并将所述访问请求转发给与所述目标IP地址对应的目标代理服务器;
访问模块,用于控制所述目标代理服务器发起对目标网站的访问。
为解决上述技术问题,本发明还提供一种网站的访问设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述任一种网站的访问方法的步骤。
为解决上述技术问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种网站的访问方法的步骤。
本发明提供的一种网站的访问方法,通过预先获取多个IP地址并存储于IP池中;当接收到客户端发起的对目标网站的访问请求时,按照预设分配策略从IP池中选择目标IP地址,并将访问请求转发给与目标IP地址对应的目标代理服务器;然后控制目标代理服务器发起对目标网站的访问。因此,同一客户端多次高频率地对目标网站发起访问请求时,对于目标网站来说,接收到的将是不同的目标IP地址的访问请求,避免了同一IP地址的多次高频率地对目标网站的访问,降低了目标网站将IP地址封掉的风险;并且,就算某个IP地址被封掉,IP池中预先存储有多个IP地址,即有大量的备用IP地址,也不会导致访问中断,因此本方法能够提高访问网站的便捷性和稳定性;另外,本方法避免了用户手动操作,进一步提升访问目标网站的便捷性。
为解决上述技术问题,本发明还提供了一种网站的访问装置、设备及计算机可读存储介质,均具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种网站的访问方法的流程图;
图2为本发明实施例提供的一种网站的访问方法的过程示意图;
图3为本发明实施例提供的一种网站的访问装置的结构图;
图4为本发明实施例提供的一种网站的访问设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例的核心是提供一种网站的访问方法,能够在访问量大、访问频率高的情况下,提高访问网站的便捷性和稳定性;本发明的另一核心是提供一种网站的访问装置、设备及计算机可读存储介质,均具有上述有益效果。
为了使本领域技术人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1为本发明实施例提供的一种网站的访问方法的流程图。如图1所示,一种网站的访问方法包括:
S10:预先获取多个IP地址并存储于IP池中。
首先需要说明的是,本方法一般应用于客户端的固定代理服务器。客户端的代理服务器有多个,即,代理服务器集群。本实施从多个代理服务器中选择一个作为固定代理服务器。因此,当一个代理服务器不可用时,则再从代理服务器集群中再选择出一个代理服务器作为固定代理服务器。
本实施例中,预先建立用于存储IP地址的IP池,并获取多个IP地址,然后将获取到的IP地址存储于IP池中。在实际操作中,对获取到的IP地址的具体数量不做限定,一般的,预先获取到的IP地址越多,后续可以选择的作为目标IP地址的选择项更多,各IP地址被选择的频率更小,进而降低各IP地址分别对应的访问量以及访问频率。并且,在预先已经采集了一定量的IP地址以执行后续的操作的情况下,还可以在后续的操作过程中持续采集IP地址,以不断增加IP池中的IP地址的数量。
需要说明的是,获取IP地址的方式有多种,比如可以通过互联网查找网页中公布的IP地址,或者可以从采集IP地址的厂商购买IP地址,或者可以采集当前计算机网络中的变化的IP地址等,本实施例对获取IP地址的方式不做限定。需要说明的是,一般尽量采集响应快、稳定性高的IP地址,以提升访问目标网站的效率。
S20:当接收到客户端发起的对目标网站的访问请求时,按照预设分配策略从IP池中选择目标IP地址,并将访问请求转发给与目标IP地址对应的目标代理服务器;
S30:控制目标代理服务器发起对目标网站的访问。
具体的,客户端包括浏览器或者爬虫。当接收到客户端发起的对目标网站的访问请求时,固定代理服务器先分析该访问请求,将访问请求进行解析,得到用户信息;固定代理服务器根据用户信息,并按照预设分配策略从IP池中选择目标IP地址,目标IP地址对应的是目标代理服务器,即得出目标代理服务器;然后固定代理服务器将访问请求转发给该目标代理服务器,并控制该代理服务器根据该访问请求发起对目标网站的访问。此处,目标代理服务器向目标网站发起访问的方式是本领域技术人员的公知常识,因此不做赘述。
本发明实施例提供的一种网站的访问方法,通过预先获取多个IP地址并存储于IP池中;当接收到客户端发起的对目标网站的访问请求时,按照预设分配策略从IP池中选择目标IP地址,并将访问请求转发给与目标IP地址对应的目标代理服务器;然后控制目标代理服务器发起对目标网站的访问。因此,同一客户端多次高频率地对目标网站发起访问请求时,对于目标网站来说,接收到的将是不同的目标IP地址的访问请求,避免了同一IP地址的多次高频率地对目标网站的访问,降低了目标网站将IP地址封掉的风险;并且,就算某个IP地址被封掉,IP池中预先存储有多个IP地址,即有大量的备用IP地址,也不会导致访问中断,因此本方法能够提高访问网站的便捷性和稳定性;另外,本方法避免了用户手动操作,进一步提升访问目标网站的便捷性。
在上述实施例的基础上,本实施例对技术方案作了进一步的说明和优化,具体的,本实施例进一步包括:
预先根据不同网站的域名设置标识信息;其中,标识信息用于表示网站对IP地址的性能要求;
对应的,当接收到客户端发起的对目标网站的访问请求时,按照预设分配策略从IP池中选择目标IP地址,并将访问请求转发给与目标IP地址对应的目标代理服务器的过程,具体为:
当接收到客户端发起的对目标网站的访问请求时,根据与目标网站对应的目标标识信息从IP池中选择满足目标网站的性能要求的目标IP地址;
将访问请求转发给与目标IP地址对应的目标代理服务器。
本实施例进一步考虑到,由于访问不同的网站的需求不同,因此在访问不同的网站时,对目标IP地址的性能要求是不同的。在本实施例中,预先根据不同的网站的域名设置标识信息,各标识信息分别表示对应的网站对IP地址的性能要求,如网站A要求性能较好的IP地址,网站B对IP地址的性能没有要求等。
对应的,当接收到客户端发起的对目标网站的访问请求时,首先获取目标网站的域名的目标标识信息,然后根据该目标标识信息从IP池中选择满足目标网站的性能要求的目标IP地址;即,选择与目标标识信息对应的IP地址作为目标IP地址;再根据目标IP地址确定出对应的目标代理服务器,并根据目标IP地址将访问请求转发给该对应的目标代理服务器。
可见,本实施例通过进一步根据目标网站对IP地址的性能要求选择对应的目标IP地址,能够最大程度地有效利用各IP地址。
在上述实施例的基础上,本实施例对技术方案作了进一步的说明和优化,具体的,IP池包括两种性能的IP池,对应的,预先获取多个IP地址并存储于IP池中的过程,具体包括:
预先获取多个IP地址并根据各IP地址的性能将各IP地址存储于对应性能的IP池中;
对应的,当接收到客户端发起的对目标网站的访问请求时,根据标识信息从IP池中选择满足目标网站的性能要求的目标IP地址的过程,具体为:
当接收到客户端发起的对目标网站的访问请求时,根据标识信息从对应性能的IP池中选择满足目标网站的性能要求的目标IP地址。
具体的,在实际操作中,可以是预先设置多个用于存储不同性能的IP地址的IP池,本实施例对设置的IP池的种类个数不做限定。
作为优选的实施方式,本实施例优选地设置两个用于存储两种性能的IP地址的IP池。并且,在获取到IP地址时,先将IP地址存储于第一性能池中,然后通过预设的检测规则检测第一性能池中的各IP地址,将第一性能池中性能满足预设条件的IP地址转移至第二性能池中,以实现利用不同的IP池存储不同性能的IP地址。
当接收到客户端发起的对目标网站的访问请求时,则根据标识信息从对应性能的IP池中选择满足目标网站的性能要求的目标IP地址。
可见,通过预先对IP地址进行分类存储,因此可以更加便捷准确地从对应的IP池中获取目标IP地址,使得操作过程更加便捷准确。
作为优选的实施方式,本实施例进一步包括:
按照预设时间周期检测各性能的IP池中的各IP地址的性能;
根据各IP地址检测出的性能情况更新各性能的IP池;
将检测出的不可用IP地址以及过时的IP地址删除。
在本实施中,进一步按照预设时间周期检测各性能的IP池中的各IP地址的性能。具体的,通过检测各性能的IP池中的各IP地址的性能,并分别判断各IP地址的性能是否达到第一预设条件;若是,则将IP地址存储于第二性能IP池中;若否,则判断IP地址是否不可用或过时,若是,则删除IP地址。删除IP地址包括将IP地址清除或者将IP地址存储至废弃IP池中。
需要说明的是,检测IP地址的性能的方式可以是:在选择某一IP地址作为目标IP地址并执行访问目标网站的操作之后,根据反馈策略接收该访问操作的反馈信息,根据反馈信息中的访问耗时、是否出错等信息计算该目标IP地址的性能。
本实施例通过进一步按照预设时间周期更新各IP池中的IP地址,保持IP池中的IP地址的可用性以及性能,能够使得后续能够根据不同的IP池选择出对应的满足性能要求的IP地址,并且能够避免后续选择到不可用或过时的IP地址,进一步提高访问目标网站的可靠性和稳定性。
在上述实施例的基础上,本实施例对技术方案作了进一步的说明和优化,具体的,预先获取多个IP地址并存储于IP池中的过程,具体包括:
采集当前计算机网络中的变化的IP地址,并将采集到的IP地址存储IP池中。
具体的,本实施提供的获取多个IP地址的方式,是通过采集客户端当前所在的计算机网络中的变化的IP地址。可以理解的是,在计算机网络中,其他客户端对应的代理服务器在重新加入该计算机网络中时,其对应的IP地址将发生改变。本实施例正是利用这一特征,采集各改变的IP地址,从而能够获取到多个IP地址。
或者,预先获取多个IP地址并存储于IP池中的过程,具体包括:
通过互联网从网页中采集IP地址,并将采集到的IP地址存储IP池中。
本实施例提供的获取IP地址的方式,是通过互联网从网页中采集IP地址。需要说明的是,在当前的网页中,存在一些已经公布出来的IP地址,因此本实施例通过互联网从网页中通过检索采集的方式获取IP地址。
可见,本实施例提供的获取多个IP地址的方式,操作方式便捷可靠。
在上述实施例的基础上,本实施例对技术方案作了进一步的说明和优化,具体的,当访问请求为http请求时,当接收到客户端发起的对目标网站的访问请求时,按照预设分配策略从IP池中选择目标IP地址,并将访问请求转发给与目标IP地址对应的目标代理服务器的过程,具体为:
当接收到客户端发起的对目标网站的访问请求时,解析访问请求,得到用户信息;
判断用户信息是否与上一访问请求的用户信息一致;
若是,则从IP池中选择与上一访问请求对应的IP地址作为目标IP地址,并将访问请求转发给与目标IP地址对应的目标代理服务器。
在本实施例中,进一步考虑到,当访问请求为http请求时,存在连续两次的访问请求要求使用同一目标IP地址的情况,例如在访问购物网站时,登录的访问请求和下单的访问请求则要求是同一目标IP地址,否则无法实现下单操作。
因此,当接收到客户端发起的对目标网站的访问请求时,首先解析访问请求,得到用户信息;然后判断用户信息是否与上一访问请求的用户信息一致;若是,则表示是同一用户发起的访问请求,因此从IP池中选择与上一访问请求对应的IP地址作为目标IP地址,并将访问请求转发给与目标IP地址对应的目标代理服务器,即,利用与上一访问请求相同的目标IP地址实现对目标网站的再次访问。
可见,本实施例提供了另一种确定出目标IP地址的方法,能够满足更多的访问目标网站的实际需求。
为了使本技术领域的人员更好地理解本申请中的技术方案,下面结合图2所示的一种网站的访问方法的过程示意图以及实际应用场景对本申请实施例中的技术方案进行详细说明。在本申请实施例中,具体步骤如下:
通过IP地址的采集程序通过互联网从网页中采集IP地址,并将采集到的IP地址按照性能存储于不同IP池中;
按照预设时间周期检测各性能的IP池中的各IP地址的性能,并根据各IP地址检测出的性能情况更新各性能的IP池,将检测出的不可用IP地址以及过时的IP地址移除至废弃IP池中;
当接收到浏览器/爬虫发起的对目标网站的访问请求时,根据与目标网站对应的目标标识信息从IP池中选择满足目标网站的性能要求的目标IP地址;
控制目标代理服务器发起对目标网站的访问;
接收利用目标IP地址访问目标网站之后的反馈信息,根据反馈信息中的访问耗时、是否出错等信息计算该目标IP地址的性能,根据得出的目标IP地址的性能确定该目标IP地址所对应的IP池。
本发明提供的一种网站的访问方法,通过预先获取多个IP地址并存储于IP池中;当接收到客户端发起的对目标网站的访问请求时,按照预设分配策略从IP池中选择目标IP地址,并将访问请求转发给与目标IP地址对应的目标代理服务器;然后控制目标代理服务器发起对目标网站的访问。因此,同一客户端多次高频率地对目标网站发起访问请求时,对于目标网站来说,接收到的将是不同的目标IP地址的访问请求,避免了同一IP地址的多次高频率地对目标网站的访问,降低了目标网站将IP地址封掉的风险;并且,就算某个IP地址被封掉,IP池中预先存储有多个IP地址,即有大量的备用IP地址,也不会导致访问中断,因此本方法能够提高访问网站的便捷性和稳定性;另外,本方法避免了用户手动操作,进一步提升访问目标网站的便捷性。
上文对于本发明提供的一种网站的访问方法的实施例进行了详细的描述,本发明还提供了一种与该方法对应的网站的访问装置、设备及计算机可读存储介质,由于装置、设备及计算机可读存储介质部分的实施例与方法部分的实施例相互照应,因此装置、设备及计算机可读存储介质部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
图3为本发明实施例提供的一种网站的访问装置的结构图,如图3所示,一种网站的访问装置包括:
获取模块31,用于预先获取多个IP地址并存储于IP池中;
设置模块32,用于当接收到客户端发起的对目标网站的访问请求时,按照预设分配策略从IP池中选择目标IP地址,并将访问请求转发给与目标IP地址对应的目标代理服务器;
访问模块33,用于控制目标代理服务器发起对目标网站的访问。
本发明实施例提供的网站的访问装置,具有上述网站的访问方法的有益效果。
图4为本发明实施例提供的一种网站的访问设备的结构图,如图4所示,一种网站的访问设备包括:
存储器41,用于存储计算机程序;
处理器42,用于执行计算机程序时实现如上述网站的访问方法的步骤。
本发明实施例提供的网站的访问设备,具有上述网站的访问方法的有益效果。
为解决上述技术问题,本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述网站的访问方法的步骤。
本发明实施例提供的计算机可读存储介质,具有上述网站的访问方法的有益效果。
以上对本发明所提供的网站的访问方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
Claims (10)
1.一种网站的访问方法,其特征在于,包括:
预先获取多个IP地址并存储于IP池中;
当接收到客户端发起的对目标网站的访问请求时,按照预设分配策略从所述IP池中选择目标IP地址,并将所述访问请求转发给与所述目标IP地址对应的目标代理服务器;
控制所述目标代理服务器发起对目标网站的访问。
2.根据权利要求1所述的方法,其特征在于,进一步包括:
预先根据不同网站的域名设置标识信息;其中,所述标识信息用于表示网站对IP地址的性能要求;
对应的,所述当接收到客户端发起的对目标网站的访问请求时,按照预设分配策略从所述IP池中选择目标IP地址,并将所述访问请求转发给与所述目标IP地址对应的目标代理服务器的过程,具体为:
当接收到所述客户端发起的对所述目标网站的所述访问请求时,根据与所述目标网站对应的目标标识信息从所述IP池中选择满足所述目标网站的性能要求的目标IP地址;
将所述访问请求转发给与所述目标IP地址对应的目标代理服务器。
3.根据权利要求2所述的方法,其特征在于,所述IP池包括两种性能的IP池,对应的,所述预先获取多个IP地址并存储于IP池中的过程,具体包括:
预先获取多个IP地址并根据各所述IP地址的性能将各所述IP地址存储于对应性能的IP池中;
对应的,所述当接收到客户端发起的对目标网站的访问请求时,根据所述标识信息从所述IP池中选择满足所述目标网站的性能要求的目标IP地址的过程,具体为:
当接收到所述客户端发起的对所述目标网站的所述访问请求时,根据所述标识信息从对应性能的IP池中选择满足所述目标网站的性能要求的所述目标IP地址。
4.根据权利要求1所述的方法,其特征在于,所述预先获取多个IP地址并存储于IP池中的过程,具体包括:
采集当前计算机网络中的变化的IP地址,并将采集到的所述IP地址存储所述IP池中。
5.根据权利要求1所述的方法,其特征在于,所述预先获取多个IP地址并存储于IP池中的过程,具体包括:
通过互联网从网页中采集IP地址,并将采集到的所述IP地址存储所述IP池中。
6.根据权利要求3所述的方法,其特征在于,进一步包括:
按照预设时间周期检测各所述性能的IP池中的各所述IP地址的性能;
根据各所述IP地址检测出的性能情况更新各所述性能的IP池;
将检测出的不可用IP地址以及过时的IP地址删除。
7.根据权利要求1至6任一项所述的方法,其特征在于,当所述访问请求为http请求时,所述当接收到客户端发起的对目标网站的访问请求时,按照预设分配策略从所述IP池中选择目标IP地址,并将所述访问请求转发给与所述目标IP地址对应的目标代理服务器的过程,具体为:
当接收到所述客户端发起的对所述目标网站的所述访问请求时,解析所述访问请求,得到用户信息;
判断所述用户信息是否与上一访问请求的用户信息一致;
若是,则从所述IP池中选择与所述上一访问请求对应的IP地址作为目标IP地址,并将所述访问请求转发给与所述目标IP地址对应的目标代理服务器。
8.一种网站的访问装置,其特征在于,包括:
获取模块,用于预先获取多个IP地址并存储于IP池中;
设置模块,用于当接收到客户端发起的对目标网站的访问请求时,按照预设分配策略从所述IP池中选择目标IP地址,并将所述访问请求转发给与所述目标IP地址对应的目标代理服务器;
访问模块,用于控制所述目标代理服务器发起对目标网站的访问。
9.一种网站的访问设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述的网站的访问方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的网站的访问方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911083339.1A CN110851753B (zh) | 2019-11-07 | 2019-11-07 | 一种网站的访问方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911083339.1A CN110851753B (zh) | 2019-11-07 | 2019-11-07 | 一种网站的访问方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110851753A true CN110851753A (zh) | 2020-02-28 |
CN110851753B CN110851753B (zh) | 2023-09-26 |
Family
ID=69599699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911083339.1A Active CN110851753B (zh) | 2019-11-07 | 2019-11-07 | 一种网站的访问方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110851753B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111405039A (zh) * | 2020-03-16 | 2020-07-10 | 深圳市网心科技有限公司 | 一种数据透传方法、装置、***和客户端及服务器 |
CN113343155A (zh) * | 2021-06-29 | 2021-09-03 | 北京天空卫士网络安全技术有限公司 | 一种请求处理方法及装置 |
CN113395368A (zh) * | 2020-03-13 | 2021-09-14 | 阿里巴巴集团控股有限公司 | 访问配置方法、访问方法及装置 |
CN113438244A (zh) * | 2021-06-28 | 2021-09-24 | 安天科技集团股份有限公司 | 渗透测试方法、装置、计算设备及存储介质 |
CN113905092A (zh) * | 2021-09-28 | 2022-01-07 | 盐城金堤科技有限公司 | 一种确定可复用代理队列的方法、装置、终端及存储介质 |
CN113923260A (zh) * | 2021-09-28 | 2022-01-11 | 盐城金堤科技有限公司 | 一种对代理环境进行处理的方法、装置、终端及存储介质 |
CN114189385A (zh) * | 2021-12-14 | 2022-03-15 | 杭州安恒信息技术股份有限公司 | 一种流量分发方法、装置、设备和计算机可读存储介质 |
CN114285899A (zh) * | 2021-11-30 | 2022-04-05 | 同程网络科技股份有限公司 | 一种流量代理方法、***、智能终端及存储介质 |
CN115314462A (zh) * | 2022-08-09 | 2022-11-08 | 上海宝创网络科技有限公司 | 基于IPv6网络代理服务的高并发访问的处理方法及设备 |
CN115396509A (zh) * | 2022-08-09 | 2022-11-25 | 上海宝创网络科技有限公司 | 一种基于IPv6网络代理服务的处理访问受限的方法及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102624920A (zh) * | 2012-03-31 | 2012-08-01 | 奇智软件(北京)有限公司 | 一种通过代理服务器进行访问的方法及装置 |
CN103973682A (zh) * | 2014-04-30 | 2014-08-06 | 北京奇虎科技有限公司 | 进行网页访问的方法及装置 |
CN104901943A (zh) * | 2012-03-31 | 2015-09-09 | 北京奇虎科技有限公司 | 一种访问网站的方法和*** |
-
2019
- 2019-11-07 CN CN201911083339.1A patent/CN110851753B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102624920A (zh) * | 2012-03-31 | 2012-08-01 | 奇智软件(北京)有限公司 | 一种通过代理服务器进行访问的方法及装置 |
CN104901943A (zh) * | 2012-03-31 | 2015-09-09 | 北京奇虎科技有限公司 | 一种访问网站的方法和*** |
CN103973682A (zh) * | 2014-04-30 | 2014-08-06 | 北京奇虎科技有限公司 | 进行网页访问的方法及装置 |
Non-Patent Citations (1)
Title |
---|
储凡静;刘方爱;孙晓玲;: "一种基于IP限制的网站管理方法" * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113395368A (zh) * | 2020-03-13 | 2021-09-14 | 阿里巴巴集团控股有限公司 | 访问配置方法、访问方法及装置 |
CN113395368B (zh) * | 2020-03-13 | 2024-05-03 | 阿里巴巴集团控股有限公司 | 访问配置方法、访问方法及装置 |
CN111405039A (zh) * | 2020-03-16 | 2020-07-10 | 深圳市网心科技有限公司 | 一种数据透传方法、装置、***和客户端及服务器 |
CN113438244A (zh) * | 2021-06-28 | 2021-09-24 | 安天科技集团股份有限公司 | 渗透测试方法、装置、计算设备及存储介质 |
CN113343155A (zh) * | 2021-06-29 | 2021-09-03 | 北京天空卫士网络安全技术有限公司 | 一种请求处理方法及装置 |
CN113923260B (zh) * | 2021-09-28 | 2024-01-09 | 盐城天眼察微科技有限公司 | 一种对代理环境进行处理的方法、装置、终端及存储介质 |
CN113905092A (zh) * | 2021-09-28 | 2022-01-07 | 盐城金堤科技有限公司 | 一种确定可复用代理队列的方法、装置、终端及存储介质 |
CN113923260A (zh) * | 2021-09-28 | 2022-01-11 | 盐城金堤科技有限公司 | 一种对代理环境进行处理的方法、装置、终端及存储介质 |
CN113905092B (zh) * | 2021-09-28 | 2024-03-22 | 盐城天眼察微科技有限公司 | 一种确定可复用代理队列的方法、装置、终端及存储介质 |
CN114285899A (zh) * | 2021-11-30 | 2022-04-05 | 同程网络科技股份有限公司 | 一种流量代理方法、***、智能终端及存储介质 |
WO2023097748A1 (zh) * | 2021-11-30 | 2023-06-08 | 同程网络科技股份有限公司 | 一种流量代理方法、***、智能终端及存储介质 |
CN114189385A (zh) * | 2021-12-14 | 2022-03-15 | 杭州安恒信息技术股份有限公司 | 一种流量分发方法、装置、设备和计算机可读存储介质 |
CN115396509A (zh) * | 2022-08-09 | 2022-11-25 | 上海宝创网络科技有限公司 | 一种基于IPv6网络代理服务的处理访问受限的方法及设备 |
CN115314462A (zh) * | 2022-08-09 | 2022-11-08 | 上海宝创网络科技有限公司 | 基于IPv6网络代理服务的高并发访问的处理方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110851753B (zh) | 2023-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110851753B (zh) | 一种网站的访问方法、装置、设备及存储介质 | |
CN107426302B (zh) | 访问调度方法、装置、***、终端、服务器及存储介质 | |
CN103051740B (zh) | 域名解析方法、dns服务器及域名解析*** | |
US10455013B2 (en) | Peer-to-peer upload scheduling | |
US8966121B2 (en) | Client-side management of domain name information | |
CN110519409B (zh) | 域名动态配置方法、装置、设备及存储介质 | |
US9948709B2 (en) | Using resource timing data for server push in multiple web page transactions | |
EP3843341A1 (en) | Method and system for providing metadata information of a network function service and related device | |
CN112954089B (zh) | 一种解析数据的方法、装置、设备以及存储介质 | |
CN109359263B (zh) | 一种用户行为特征提取方法及*** | |
CN110674427B (zh) | 响应网页访问请求的方法、装置、设备及存储介质 | |
CN110892697B (zh) | 协助api调用处理的加速*** | |
EP3609134A1 (en) | Bgp anycast cluster service quality detection method and detection apparatus | |
WO2017166524A1 (zh) | 域名解析方法及装置 | |
CN109756584B (zh) | 域名解析方法、域名解析装置及计算机可读存储介质 | |
WO2020088170A1 (zh) | 域名***配置方法及相关装置 | |
CN109586937B (zh) | 一种缓存***的运维方法、设备和存储介质 | |
CN113206785A (zh) | 网络请求方法及装置、终端设备、存储介质 | |
CN114745356B (zh) | 一种域名解析方法、装置、设备及可读存储介质 | |
CN104967632A (zh) | 网页异常数据处理方法、数据服务器及*** | |
CN113938464B (zh) | 一种请求访问方法及终端 | |
CN108595574B (zh) | 数据库集群的连接方法、装置、设备及存储介质 | |
CN104902033A (zh) | 登陆地址记录方法及装置 | |
CN113766013A (zh) | 一种会话创建方法、装置、设备及存储介质 | |
CN113055420B (zh) | Https业务识别方法、装置及计算设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |