CN109873882B - 一种ip代理池管理***及其管理方法 - Google Patents
一种ip代理池管理***及其管理方法 Download PDFInfo
- Publication number
- CN109873882B CN109873882B CN201910122558.XA CN201910122558A CN109873882B CN 109873882 B CN109873882 B CN 109873882B CN 201910122558 A CN201910122558 A CN 201910122558A CN 109873882 B CN109873882 B CN 109873882B
- Authority
- CN
- China
- Prior art keywords
- proxy
- address
- agent
- module
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开的一种IP代理池管理***,包括:IP代理池模块,IP代理池模块用于存储若干IP代理地址及其代理信息;IP代理地址获取模块,IP代理地址获取模块用于向不同的代理商获取新的IP代理地址及其代理信息,并将获取到的新的IP代理地址及其代理信息存入所述IP代理池模块中;用户请求处理模块,用户请求处理模块用于接收用户发送的IP代理地址获取请求,并根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址,再将获取到的IP代理地址发送至指定的用户。还公开了上述***的管理方法。本发明***可针对不同的应用场景,使用方式更加灵活,极大地提升了用户的使用效率,并充分的将IP代理地址的可用性发挥到最大,节约了成本。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种IP代理池管理***及其管理方法。
背景技术
现有的IP代理地址在获取后直接存入数据库中,需要使用时直接调取使用。但是这种操作方式存在以下一些问题:1、由于IP代理地址的不稳定性,在高使用频率的情况下,极有可能会出现部分IP代理地址失效而无法使用的情况,用户需要重新获取新的IP代理地址进行重试,大大降低了用户的使用效率;2、由于获取到的IP代理地址直接存入数据库中,无法对IP代理地址进行区分管理,也就无法得知哪些IP代理地址是有效的,哪些IP代理地址是失效的,哪些IP代理地址的访问速度快,哪些IP代理地址的访问速度慢,导致使用方式单一,无法满足适应更多的应用场景的需求。
为此,本申请人进过了有益的探索和研究,找到了解决上述问题的办法,下面将要介绍的技术方案便是在这种背景下产生的。
发明内容
本发明所要解决的技术问题之一在于:针对现有技术的不足而提供一种使用方式灵活、提高用户的使用效率的IP代理池管理***。
本发明所要解决的技术问题之二在于:提供一种上述IP代理池管理***的管理方法。
作为本发明第一方面的一种IP代理池管理***,包括:
IP代理池模块,所述IP代理池模块用于存储若干IP代理地址及其代理信息;
IP代理地址获取模块,所述IP代理地址获取模块用于向不同的代理商获取新的IP代理地址及其代理信息,并将获取到的新的IP代理地址及其代理信息存入所述IP代理池模块中;以及
用户请求处理模块,所述用户请求处理模块用于接收用户发送的IP代理地址获取请求,并根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址,再将获取到的IP代理地址发送至指定的用户。
本发明的一个优选实施例中,还包括用户信息反馈处理模块,所述用户信息反馈处理模块用于获取用户反馈信息,并根据所述用户反馈信息对所述IP代理池模块中相对应的IP代理地址的代理信息进行更新。
本发明的一个优选实施例中,还包括IP代理地址检测模块,所述IP代理地址检测模块用于检测所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值,若低于预设阈值,则调用所述IP代理地址获取模块获取新的IP代理地址,并将获取到的新的IP代理地址存入所述IP代理池模块中,若不低于预设阈值,则对所述IP代理池模块所存储的每一个IP代理地址进行检测,对不符合要求的IP代理地址从所述IP代理池模块中删除。
在本发明的一个优选实施例中,所述代理信息包括IP代理地址的获取时间、使用地区、响应时间、运营商信息以及可用性分数。
作为本发明第二方面的一种IP代理池管理***的管理方法,包括以下步骤:
向不同的代理商获取IP代理地址,并将获取到的IP代理地址存入所述IP代理池模块中;
接收用户发送的IP代理地址获取请求;
根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址;
将获取到的IP代理地址发送至指定的用户。
在本发明的一个优选实施例中,还包括用户信息反馈处理步骤,所述用户信息反馈处理步骤包括:
获取用户反馈信息;
根据所述用户反馈信息对所述IP代理池模块中相对应的IP代理地址的代理信息进行更新。
在本发明的一个优选实施例中,还包括IP代理地址检测步骤,所述IP代理地址检测步骤包括:
判断所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值;
若低于预设阈值,则调用所述IP代理地址获取模块获取新的IP代理地址,并将获取到的新的IP代理地址存入所述IP代理池模块中;
若不低于预设阈值,则对所述IP代理池模块所存储的每一个IP代理地址进行检测,对不符合要求的IP代理地址从所述IP代理池模块中删除。
由于采用如上技术方案,本发明的有益效果在于:本发明***可针对不同的应用场景,使用方式更加灵活,本发明完全满足当遇到需要大量但不需要高可用IP代理地址的情况,或者少量但保证可用性的情况,极大地提升了用户的使用效率,并充分的将IP代理地址的可用性发挥到最大,节约了成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的IP代理池管理***的结构示意图。
图2是本发明的IP代理池管理***的管理方法的流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体图示,进一步阐述本发明。
参见图1,图中给出的是一种IP代理池管理***,包括IP代理池模块100、IP代理地址获取模块200、用户请求处理模块300、用户信息反馈处理模块400以及IP代理地址检测模块500。
IP代理池模块100用于存储若干IP代理地址及其代理信息,其中,代理信息包括IP代理地址的获取时间、使用地区、响应时间、运营商信息以及可用性分数,这里可用性分数是指用于衡量IP代理地址的可用性,其根据IP代理地址的响应速度快慢来确定,其可介于0~100之间,响应速度越快,分数值越高,反之,响应速度越慢,分数值越低。
IP代理地址获取模块200用于向不同的代理商或不同的渠道获取新的IP代理地址及其代理信息,并将获取到的新的IP代理地址及其代理信息存入IP代理池模块100中。
用户请求处理模块300用于接收用户发送的IP代理地址获取请求,并根据该IP代理地址获取请求向IP代理池模块100获取相对应的IP代理地址,再将获取到的IP代理地址发送至指定的用户。用户也可以通过接口自定义请求参数,定制化使用要求,例如想使用某个使用地区、某个分数段、某些时间段、使用数量。同时,由于IP代理地址的不稳定性,本***同时保证每一个IP代理地址在规定时间内只能被获取到一次,防止同时使用的用户过多而造成卡死。
用户信息反馈处理模块400用于获取用户反馈信息,并根据该用户反馈信息对IP代理池模块100中相对应的IP代理地址的代理信息进行更新。
IP代理地址检测模块500用于定时地检测IP代理池模块100所存储的IP代理地址的数量是否低于预设阈值,若低于预设阈值,则调用IP代理地址获取模块200获取新的IP代理地址,并将获取到的新的IP代理地址存入IP代理池模块100中,若不低于预设阈值,则对IP代理池模块100所存储的每一个IP代理地址进行检测,对不符合要求的IP代理地址从IP代理池模块100中删除。IP代理地址检测模块500可对IP代理池模块100所存储的IP代理地址进行扫描过滤,同时也可以选择过滤的方式,例如添加时间过久、分数低于某个分数段、响应速度过慢等。同时,保证***中可用的IP代理地址可用的数量不低于100个,保证IP代理池模块100所存储的IP代理地址维持在一个高可用的状态和获取到的IP代理地址的随机性。
参见图2,图中给出的是一种IP代理池管理***的管理方法,包括以下步骤:
步骤S10,IP代理地址获取模块200向不同的代理商获取IP代理地址,并将获取到的IP代理地址存入IP代理池模块100中。
步骤S20,用户请求处理模块300接收用户发送的IP代理地址获取请求。
步骤S30,用户请求处理模块300根据接收到的IP代理地址获取请求向IP代理池模块100获取相对应的IP代理地址。
步骤S40,用户请求处理模块300将获取到的IP代理地址发送至指定的用户。
本发明的IP代理池管理***的管理方法还包括用户信息反馈处理步骤S50,用户信息反馈处理步骤S50包括:
步骤S51,获取用户反馈信息。用户在使用过程中或使用完毕后将IP代理地址的使用情况反馈至用户信息反馈模块400进行处理。
步骤S52,用户信息反馈模块400根据用户反馈信息对IP代理池模块100中相对应的IP代理地址的代理信息进行更新。具体地,用户信息反馈模块400可根据用户反馈信息对代理池模块100中相对应的IP代理地址的响应时间、可用性分数等重新进行评估,并更新相对应的IP代理地址的代理信息。
本发明的IP代理池管理***的管理方法还包括IP代理地址检测步骤S60,IP代理地址检测步骤S60包括:
步骤S61,判断所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值;
步骤S62,若低于预设阈值,则调用IP代理地址获取模块200获取新的IP代理地址,并将获取到的新的IP代理地址存入IP代理池模块100中;
步骤S63,若不低于预设阈值,则对IP代理池模块100所存储的每一个IP代理地址进行检测,对不符合要求的IP代理地址从IP代理池模块100中删除。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (4)
1.一种IP代理池管理***,其特征在于,包括:
IP代理池模块,所述IP代理池模块用于存储若干IP代理地址及其代理信息,所述代理信息包括IP代理地址的获取时间、使用地区、响应时间、运营商信息以及可用性分数;
IP代理地址获取模块,所述IP代理地址获取模块用于向不同的代理商获取新的IP代理地址及其代理信息,并将获取到的新的IP代理地址及其代理信息存入所述IP代理池模块中;
用户请求处理模块,所述用户请求处理模块用于接收用户发送的IP代理地址获取请求,并根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址,再将获取到的IP代理地址发送至指定的用户;
用户信息反馈处理模块,所述用户信息反馈处理模块用于获取用户反馈信息,并根据所述用户反馈信息对所述IP代理池模块中相对应的IP代理地址的代理信息进行更新;以及
IP代理地址检测模块,所述IP代理地址检测模块用于检测所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值,若低于预设阈值,则调用所述IP代理地址获取模块获取新的IP代理地址,并将获取到的新的IP代理地址存入所述IP代理池模块中,若不低于预设阈值,则对所述IP代理池模块所存储的每一个IP代理地址进行检测,对不符合要求的IP代理地址从所述IP代理池模块中删除。
2.一种如权利要求1所述的IP代理池管理***的管理方法,其特征在于,包括以下步骤:
向不同的代理商获取IP代理地址,并将获取到的IP代理地址存入所述IP代理池模块中;
接收用户发送的IP代理地址获取请求;
根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址;
将获取到的IP代理地址发送至指定的用户。
3.如权利要求2所述的管理方法,其特征在于,还包括用户信息反馈处理步骤,所述用户信息反馈处理步骤包括:
获取用户反馈信息;
根据所述用户反馈信息对所述IP代理池模块中相对应的IP代理地址的代理信息进行更新。
4.如权利要求2所述的管理方法,其特征在于,还包括IP代理地址检测步骤,所述IP代理地址检测步骤包括:
判断所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值;
若低于预设阈值,则调用所述IP代理地址获取模块获取新的IP代理地址,并将获取到的新的IP代理地址存入所述IP代理池模块中;
若不低于预设阈值,则对所述IP代理池模块所存储的每一个IP代理地址进行检测,对不符合要求的IP代理地址从所述IP代理池模块中删除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910122558.XA CN109873882B (zh) | 2019-02-19 | 2019-02-19 | 一种ip代理池管理***及其管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910122558.XA CN109873882B (zh) | 2019-02-19 | 2019-02-19 | 一种ip代理池管理***及其管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109873882A CN109873882A (zh) | 2019-06-11 |
CN109873882B true CN109873882B (zh) | 2022-07-29 |
Family
ID=66918803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910122558.XA Active CN109873882B (zh) | 2019-02-19 | 2019-02-19 | 一种ip代理池管理***及其管理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109873882B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117278526B (zh) * | 2023-11-21 | 2024-03-19 | 厦门市唯云网络科技有限公司 | 一种基于人工神经网络的代理ip地址调度方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103178973A (zh) * | 2011-12-21 | 2013-06-26 | 中国电信股份有限公司 | 管理ip地址的方法、***和设备 |
CN106130843A (zh) * | 2016-08-01 | 2016-11-16 | 中国联合网络通信集团有限公司 | 一种互联网协议ip地址管理***及方法 |
CN107395782A (zh) * | 2017-07-19 | 2017-11-24 | 北京理工大学 | 一种基于代理池的ip限制受控源信息抓取方法 |
CN107635026A (zh) * | 2017-09-26 | 2018-01-26 | 马上消费金融股份有限公司 | 一种获取ip的方法及装置 |
CN107957999A (zh) * | 2016-10-14 | 2018-04-24 | 北京国双科技有限公司 | 一种网络爬虫获取网站数据的方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7746774B2 (en) * | 2004-06-30 | 2010-06-29 | Research In Motion Limited | Methods and apparatus for controlling wireless network resources for data sessions based on IP address usage |
-
2019
- 2019-02-19 CN CN201910122558.XA patent/CN109873882B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103178973A (zh) * | 2011-12-21 | 2013-06-26 | 中国电信股份有限公司 | 管理ip地址的方法、***和设备 |
CN106130843A (zh) * | 2016-08-01 | 2016-11-16 | 中国联合网络通信集团有限公司 | 一种互联网协议ip地址管理***及方法 |
CN107957999A (zh) * | 2016-10-14 | 2018-04-24 | 北京国双科技有限公司 | 一种网络爬虫获取网站数据的方法及装置 |
CN107395782A (zh) * | 2017-07-19 | 2017-11-24 | 北京理工大学 | 一种基于代理池的ip限制受控源信息抓取方法 |
CN107635026A (zh) * | 2017-09-26 | 2018-01-26 | 马上消费金融股份有限公司 | 一种获取ip的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109873882A (zh) | 2019-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9547536B2 (en) | Connection handler and method for providing applications with heterogeneous connection objects | |
RU2527756C1 (ru) | Устройство и способ для выполнения функции агента разрешения dns | |
CN108924274B (zh) | 域名***dns处理方法、装置、存储介质及电子设备 | |
CN109743411B (zh) | 一种在分布式环境下动态调度ip代理池的方法、装置及存储介质 | |
CN109213604B (zh) | 一种数据源的管理方法和装置 | |
CN110471749B (zh) | 任务处理方法、装置、计算机可读存储介质和计算机设备 | |
US9514176B2 (en) | Database update notification method | |
CN109936639A (zh) | 一种服务调用方法及服务器 | |
CN111367672A (zh) | 数据缓存方法、装置、电子设备及计算机存储介质 | |
US11799961B2 (en) | File directory traversal method, apparatus, device, and medium | |
CN111382206B (zh) | 一种数据存储方法及装置 | |
CN111274205B (zh) | 数据块访问方法及装置、存储介质 | |
CN109873882B (zh) | 一种ip代理池管理***及其管理方法 | |
CN110581784A (zh) | 一种节点健康检查方法、装置及设备 | |
CN110311963B (zh) | 消息推送方法、装置、计算机设备及计算机可读存储介质 | |
CN111158892A (zh) | 一种任务队列生成方法、装置及设备 | |
CN112363980B (zh) | 一种分布式***的数据处理方法及装置 | |
CN109347994B (zh) | 互联网协议ip地址获取方法、装置、存储介质及电子设备 | |
CN114595069B (zh) | 服务下线方法、装置、电子设备及存储介质 | |
CN115065691B (zh) | 一种基于安卓平台的通讯实现方法及装置 | |
CN113542398B (zh) | 分布式集群***的管控方法、装置、介质和设备 | |
CN110807040B (zh) | 管理数据的方法、装置、设备及存储介质 | |
CN111104376B (zh) | 资源文件查询方法及装置 | |
CN114637969A (zh) | 目标对象的鉴权方法及装置 | |
CN113836405B (zh) | 信息查询方法、装置以及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |