CN109873882B - 一种ip代理池管理***及其管理方法 - Google Patents
一种ip代理池管理***及其管理方法 Download PDFInfo
- Publication number
- CN109873882B CN109873882B CN201910122558.XA CN201910122558A CN109873882B CN 109873882 B CN109873882 B CN 109873882B CN 201910122558 A CN201910122558 A CN 201910122558A CN 109873882 B CN109873882 B CN 109873882B
- Authority
- CN
- China
- Prior art keywords
- proxy
- address
- agent
- module
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开的一种IP代理池管理***，包括：IP代理池模块，IP代理池模块用于存储若干IP代理地址及其代理信息；IP代理地址获取模块，IP代理地址获取模块用于向不同的代理商获取新的IP代理地址及其代理信息，并将获取到的新的IP代理地址及其代理信息存入所述IP代理池模块中；用户请求处理模块，用户请求处理模块用于接收用户发送的IP代理地址获取请求，并根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址，再将获取到的IP代理地址发送至指定的用户。还公开了上述***的管理方法。本发明***可针对不同的应用场景，使用方式更加灵活，极大地提升了用户的使用效率，并充分的将IP代理地址的可用性发挥到最大，节约了成本。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种IP代理池管理***及其管理方法。
背景技术
现有的IP代理地址在获取后直接存入数据库中，需要使用时直接调取使用。但是这种操作方式存在以下一些问题：1、由于IP代理地址的不稳定性，在高使用频率的情况下，极有可能会出现部分IP代理地址失效而无法使用的情况，用户需要重新获取新的IP代理地址进行重试，大大降低了用户的使用效率；2、由于获取到的IP代理地址直接存入数据库中，无法对IP代理地址进行区分管理，也就无法得知哪些IP代理地址是有效的，哪些IP代理地址是失效的，哪些IP代理地址的访问速度快，哪些IP代理地址的访问速度慢，导致使用方式单一，无法满足适应更多的应用场景的需求。
为此，本申请人进过了有益的探索和研究，找到了解决上述问题的办法，下面将要介绍的技术方案便是在这种背景下产生的。
发明内容
本发明所要解决的技术问题之一在于：针对现有技术的不足而提供一种使用方式灵活、提高用户的使用效率的IP代理池管理***。
本发明所要解决的技术问题之二在于：提供一种上述IP代理池管理***的管理方法。
作为本发明第一方面的一种IP代理池管理***，包括：
IP代理池模块，所述IP代理池模块用于存储若干IP代理地址及其代理信息；
IP代理地址获取模块，所述IP代理地址获取模块用于向不同的代理商获取新的IP代理地址及其代理信息，并将获取到的新的IP代理地址及其代理信息存入所述IP代理池模块中；以及
用户请求处理模块，所述用户请求处理模块用于接收用户发送的IP代理地址获取请求，并根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址，再将获取到的IP代理地址发送至指定的用户。
本发明的一个优选实施例中，还包括用户信息反馈处理模块，所述用户信息反馈处理模块用于获取用户反馈信息，并根据所述用户反馈信息对所述IP代理池模块中相对应的IP代理地址的代理信息进行更新。
本发明的一个优选实施例中，还包括IP代理地址检测模块，所述IP代理地址检测模块用于检测所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值，若低于预设阈值，则调用所述IP代理地址获取模块获取新的IP代理地址，并将获取到的新的IP代理地址存入所述IP代理池模块中，若不低于预设阈值，则对所述IP代理池模块所存储的每一个IP代理地址进行检测，对不符合要求的IP代理地址从所述IP代理池模块中删除。
在本发明的一个优选实施例中，所述代理信息包括IP代理地址的获取时间、使用地区、响应时间、运营商信息以及可用性分数。
作为本发明第二方面的一种IP代理池管理***的管理方法，包括以下步骤：
向不同的代理商获取IP代理地址，并将获取到的IP代理地址存入所述IP代理池模块中；
接收用户发送的IP代理地址获取请求；
根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址；
将获取到的IP代理地址发送至指定的用户。
在本发明的一个优选实施例中，还包括用户信息反馈处理步骤，所述用户信息反馈处理步骤包括：
获取用户反馈信息；
根据所述用户反馈信息对所述IP代理池模块中相对应的IP代理地址的代理信息进行更新。
在本发明的一个优选实施例中，还包括IP代理地址检测步骤，所述IP代理地址检测步骤包括：
判断所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值；
若低于预设阈值，则调用所述IP代理地址获取模块获取新的IP代理地址，并将获取到的新的IP代理地址存入所述IP代理池模块中；
若不低于预设阈值，则对所述IP代理池模块所存储的每一个IP代理地址进行检测，对不符合要求的IP代理地址从所述IP代理池模块中删除。
由于采用如上技术方案，本发明的有益效果在于：本发明***可针对不同的应用场景，使用方式更加灵活，本发明完全满足当遇到需要大量但不需要高可用IP代理地址的情况，或者少量但保证可用性的情况，极大地提升了用户的使用效率，并充分的将IP代理地址的可用性发挥到最大，节约了成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的IP代理池管理***的结构示意图。
图2是本发明的IP代理池管理***的管理方法的流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
参见图1，图中给出的是一种IP代理池管理***，包括IP代理池模块100、IP代理地址获取模块200、用户请求处理模块300、用户信息反馈处理模块400以及IP代理地址检测模块500。
IP代理池模块100用于存储若干IP代理地址及其代理信息，其中，代理信息包括IP代理地址的获取时间、使用地区、响应时间、运营商信息以及可用性分数，这里可用性分数是指用于衡量IP代理地址的可用性，其根据IP代理地址的响应速度快慢来确定，其可介于0～100之间，响应速度越快，分数值越高，反之，响应速度越慢，分数值越低。
IP代理地址获取模块200用于向不同的代理商或不同的渠道获取新的IP代理地址及其代理信息，并将获取到的新的IP代理地址及其代理信息存入IP代理池模块100中。
用户请求处理模块300用于接收用户发送的IP代理地址获取请求，并根据该IP代理地址获取请求向IP代理池模块100获取相对应的IP代理地址，再将获取到的IP代理地址发送至指定的用户。用户也可以通过接口自定义请求参数，定制化使用要求，例如想使用某个使用地区、某个分数段、某些时间段、使用数量。同时，由于IP代理地址的不稳定性，本***同时保证每一个IP代理地址在规定时间内只能被获取到一次，防止同时使用的用户过多而造成卡死。
用户信息反馈处理模块400用于获取用户反馈信息，并根据该用户反馈信息对IP代理池模块100中相对应的IP代理地址的代理信息进行更新。
IP代理地址检测模块500用于定时地检测IP代理池模块100所存储的IP代理地址的数量是否低于预设阈值，若低于预设阈值，则调用IP代理地址获取模块200获取新的IP代理地址，并将获取到的新的IP代理地址存入IP代理池模块100中，若不低于预设阈值，则对IP代理池模块100所存储的每一个IP代理地址进行检测，对不符合要求的IP代理地址从IP代理池模块100中删除。IP代理地址检测模块500可对IP代理池模块100所存储的IP代理地址进行扫描过滤，同时也可以选择过滤的方式，例如添加时间过久、分数低于某个分数段、响应速度过慢等。同时，保证***中可用的IP代理地址可用的数量不低于100个，保证IP代理池模块100所存储的IP代理地址维持在一个高可用的状态和获取到的IP代理地址的随机性。
参见图2，图中给出的是一种IP代理池管理***的管理方法，包括以下步骤：
步骤S10，IP代理地址获取模块200向不同的代理商获取IP代理地址，并将获取到的IP代理地址存入IP代理池模块100中。
步骤S20，用户请求处理模块300接收用户发送的IP代理地址获取请求。
步骤S30，用户请求处理模块300根据接收到的IP代理地址获取请求向IP代理池模块100获取相对应的IP代理地址。
步骤S40，用户请求处理模块300将获取到的IP代理地址发送至指定的用户。
本发明的IP代理池管理***的管理方法还包括用户信息反馈处理步骤S50，用户信息反馈处理步骤S50包括：
步骤S51，获取用户反馈信息。用户在使用过程中或使用完毕后将IP代理地址的使用情况反馈至用户信息反馈模块400进行处理。
步骤S52，用户信息反馈模块400根据用户反馈信息对IP代理池模块100中相对应的IP代理地址的代理信息进行更新。具体地，用户信息反馈模块400可根据用户反馈信息对代理池模块100中相对应的IP代理地址的响应时间、可用性分数等重新进行评估，并更新相对应的IP代理地址的代理信息。
本发明的IP代理池管理***的管理方法还包括IP代理地址检测步骤S60，IP代理地址检测步骤S60包括：
步骤S61，判断所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值；
步骤S62，若低于预设阈值，则调用IP代理地址获取模块200获取新的IP代理地址，并将获取到的新的IP代理地址存入IP代理池模块100中；
步骤S63，若不低于预设阈值，则对IP代理池模块100所存储的每一个IP代理地址进行检测，对不符合要求的IP代理地址从IP代理池模块100中删除。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (4)
1.一种IP代理池管理***，其特征在于，包括：
IP代理池模块，所述IP代理池模块用于存储若干IP代理地址及其代理信息，所述代理信息包括IP代理地址的获取时间、使用地区、响应时间、运营商信息以及可用性分数；
IP代理地址获取模块，所述IP代理地址获取模块用于向不同的代理商获取新的IP代理地址及其代理信息，并将获取到的新的IP代理地址及其代理信息存入所述IP代理池模块中；
用户请求处理模块，所述用户请求处理模块用于接收用户发送的IP代理地址获取请求，并根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址，再将获取到的IP代理地址发送至指定的用户；
用户信息反馈处理模块，所述用户信息反馈处理模块用于获取用户反馈信息，并根据所述用户反馈信息对所述IP代理池模块中相对应的IP代理地址的代理信息进行更新；以及
IP代理地址检测模块，所述IP代理地址检测模块用于检测所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值，若低于预设阈值，则调用所述IP代理地址获取模块获取新的IP代理地址，并将获取到的新的IP代理地址存入所述IP代理池模块中，若不低于预设阈值，则对所述IP代理池模块所存储的每一个IP代理地址进行检测，对不符合要求的IP代理地址从所述IP代理池模块中删除。
2.一种如权利要求1所述的IP代理池管理***的管理方法，其特征在于，包括以下步骤：
向不同的代理商获取IP代理地址，并将获取到的IP代理地址存入所述IP代理池模块中；
接收用户发送的IP代理地址获取请求；
根据所述IP代理地址获取请求向所述IP代理池模块获取相对应的IP代理地址；
将获取到的IP代理地址发送至指定的用户。
3.如权利要求2所述的管理方法，其特征在于，还包括用户信息反馈处理步骤，所述用户信息反馈处理步骤包括：
获取用户反馈信息；
根据所述用户反馈信息对所述IP代理池模块中相对应的IP代理地址的代理信息进行更新。
4.如权利要求2所述的管理方法，其特征在于，还包括IP代理地址检测步骤，所述IP代理地址检测步骤包括：
判断所述IP代理池模块所存储的IP代理地址的数量是否低于预设阈值；
若低于预设阈值，则调用所述IP代理地址获取模块获取新的IP代理地址，并将获取到的新的IP代理地址存入所述IP代理池模块中；
若不低于预设阈值，则对所述IP代理池模块所存储的每一个IP代理地址进行检测，对不符合要求的IP代理地址从所述IP代理池模块中删除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910122558.XA CN109873882B (zh) | 2019-02-19 | 2019-02-19 | 一种ip代理池管理***及其管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910122558.XA CN109873882B (zh) | 2019-02-19 | 2019-02-19 | 一种ip代理池管理***及其管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109873882A CN109873882A (zh) | 2019-06-11 |
| CN109873882B true CN109873882B (zh) | 2022-07-29 |
Family
ID=66918803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910122558.XA Active CN109873882B (zh) | 2019-02-19 | 2019-02-19 | 一种ip代理池管理***及其管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109873882B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117278526B (zh) * | 2023-11-21 | 2024-03-19 | 厦门市唯云网络科技有限公司 | 一种基于人工神经网络的代理ip地址调度方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103178973A (zh) * | 2011-12-21 | 2013-06-26 | 中国电信股份有限公司 | 管理ip地址的方法、***和设备 |
| CN106130843A (zh) * | 2016-08-01 | 2016-11-16 | 中国联合网络通信集团有限公司 | 一种互联网协议ip地址管理***及方法 |
| CN107395782A (zh) * | 2017-07-19 | 2017-11-24 | 北京理工大学 | 一种基于代理池的ip限制受控源信息抓取方法 |
| CN107635026A (zh) * | 2017-09-26 | 2018-01-26 | 马上消费金融股份有限公司 | 一种获取ip的方法及装置 |
| CN107957999A (zh) * | 2016-10-14 | 2018-04-24 | 北京国双科技有限公司 | 一种网络爬虫获取网站数据的方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7746774B2 (en) * | 2004-06-30 | 2010-06-29 | Research In Motion Limited | Methods and apparatus for controlling wireless network resources for data sessions based on IP address usage |
-
2019
- 2019-02-19 CN CN201910122558.XA patent/CN109873882B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103178973A (zh) * | 2011-12-21 | 2013-06-26 | 中国电信股份有限公司 | 管理ip地址的方法、***和设备 |
| CN106130843A (zh) * | 2016-08-01 | 2016-11-16 | 中国联合网络通信集团有限公司 | 一种互联网协议ip地址管理***及方法 |
| CN107957999A (zh) * | 2016-10-14 | 2018-04-24 | 北京国双科技有限公司 | 一种网络爬虫获取网站数据的方法及装置 |
| CN107395782A (zh) * | 2017-07-19 | 2017-11-24 | 北京理工大学 | 一种基于代理池的ip限制受控源信息抓取方法 |
| CN107635026A (zh) * | 2017-09-26 | 2018-01-26 | 马上消费金融股份有限公司 | 一种获取ip的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109873882A (zh) | 2019-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9547536B2 (en) | Connection handler and method for providing applications with heterogeneous connection objects | |
| RU2527756C1 (ru) | Устройство и способ для выполнения функции агента разрешения dns | |
| CN108924274B (zh) | 域名***dns处理方法、装置、存储介质及电子设备 | |
| CN109743411B (zh) | 一种在分布式环境下动态调度ip代理池的方法、装置及存储介质 | |
| CN109213604B (zh) | 一种数据源的管理方法和装置 | |
| CN110471749B (zh) | 任务处理方法、装置、计算机可读存储介质和计算机设备 | |
| US9514176B2 (en) | Database update notification method | |
| CN109936639A (zh) | 一种服务调用方法及服务器 | |
| CN111367672A (zh) | 数据缓存方法、装置、电子设备及计算机存储介质 | |
| US11799961B2 (en) | File directory traversal method, apparatus, device, and medium | |
| CN111382206B (zh) | 一种数据存储方法及装置 | |
| CN111274205B (zh) | 数据块访问方法及装置、存储介质 | |
| CN109873882B (zh) | 一种ip代理池管理***及其管理方法 | |
| CN110581784A (zh) | 一种节点健康检查方法、装置及设备 | |
| CN110311963B (zh) | 消息推送方法、装置、计算机设备及计算机可读存储介质 | |
| CN111158892A (zh) | 一种任务队列生成方法、装置及设备 | |
| CN112363980B (zh) | 一种分布式***的数据处理方法及装置 | |
| CN109347994B (zh) | 互联网协议ip地址获取方法、装置、存储介质及电子设备 | |
| CN114595069B (zh) | 服务下线方法、装置、电子设备及存储介质 | |
| CN115065691B (zh) | 一种基于安卓平台的通讯实现方法及装置 | |
| CN113542398B (zh) | 分布式集群***的管控方法、装置、介质和设备 | |
| CN110807040B (zh) | 管理数据的方法、装置、设备及存储介质 | |
| CN111104376B (zh) | 资源文件查询方法及装置 | |
| CN114637969A (zh) | 目标对象的鉴权方法及装置 | |
| CN113836405B (zh) | 信息查询方法、装置以及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |