JP6488508B2 - ウェブページのアクセス方法、装置、デバイス及びプログラム - Google Patents
ウェブページのアクセス方法、装置、デバイス及びプログラム Download PDFInfo
- Publication number
- JP6488508B2 JP6488508B2 JP2017548061A JP2017548061A JP6488508B2 JP 6488508 B2 JP6488508 B2 JP 6488508B2 JP 2017548061 A JP2017548061 A JP 2017548061A JP 2017548061 A JP2017548061 A JP 2017548061A JP 6488508 B2 JP6488508 B2 JP 6488508B2
- Authority
- JP
- Japan
- Prior art keywords
- proxy server
- web page
- access
- information
- restricted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000012795 verification Methods 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
- G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/563—Data redirection of data network streams
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Description
Claims (8)
- ウェブページのアクセスが制限されたことを確定し、
プロキシサーバの情報を獲得し、
前記プロキシサーバの情報を利用して、前記ウェブページをアクセスすることを含み、
前記プロキシサーバの情報を獲得する前に、さらに、
ネットワークワームを利用して、プロキシサーバ集合を獲得し、前記プロキシサーバ集合には利用可能な少なくとも一つのプロキシサーバにおけるプロキシサーバ毎の情報を含んでおり、前記プロキシサーバ集合に基づいて、前記プロキシサーバの情報を獲得するようにし、
前記ネットワークワームを利用して、プロキシサーバ集合を獲得した後、さらに、
少なくとも一つのプロキシサーバに対して品質検証を行い、
品質検証を通過しなかったプロキシサーバの情報を濾過処理する
ウェブページのアクセス方法。 - 前記ウェブページのアクセスが制限されたことを確定するには、
前記ウェブページのアクセス要求を獲得し、
前記ウェブページのアクセス要求に基づいて、前記ウェブページがアクセスできないことを確定し、
アクセス制限リストに基づいて、前記ウェブページが属するウェブサイトがアクセス制限ウェブサイトであることを確定し、
前記ウェブページのアクセスが制限されたことを確定することを含む
請求項1に記載のウェブページのアクセス方法。 - 前記プロキシサーバの情報を獲得することは、
前記ウェブページのウェブページ標記に基づいて、前記プロキシサーバの情報を獲得することを含む
請求項1又は2に記載のウェブページのアクセス方法。 - ウェブページのアクセスが制限されたことを確定するアクセス手段と、
ネットワークワームを利用して、プロキシサーバ集合を獲得し、前記プロキシサーバ集合には利用可能な少なくとも一つのプロキシサーバにおけるプロキシサーバ毎の情報を含んでおり、前記プロキシサーバ集合に基づいて、プロキシサーバの情報を獲得するようにする収集手段と、
前記プロキシサーバの情報を獲得する獲得手段とを含み、
前記アクセス手段は、さらに、前記プロキシサーバの情報を利用して、前記ウェブページをアクセスし、
前記収集手段は、さらに、
少なくとも一つのプロキシサーバに対して品質検証を行い、及び
品質検証を通過しなかったプロキシサーバの情報を濾過処理する
ウェブページのアクセス装置。 - 前記アクセス手段は、さらに、
前記ウェブページのアクセス要求を獲得し、
前記ウェブページのアクセス要求に基づいて、前記ウェブページがアクセスできないことを確定し、
アクセス制限リストに基づいて、前記ウェブページが属するウェブサイトがアクセス制限ウェブサイトであることを確定し、及び
前記ウェブページのアクセスが制限されたことを確定する
請求項4に記載のウェブページのアクセス装置。 - 前記獲得手段は、
前記ウェブページのウェブページ標記に基づいて、前記プロキシサーバの情報を獲得する
請求項4又は5に記載のウェブページのアクセス装置。 - 一つ又は複数のプロセッサーと、
メモリと、
一つ又は複数のプログラムを含むデバイスであって、前記一つ又は複数のプログラムは前記メモリに記憶されて、前記一つ又は複数のプロセッサーによって実行される場合に、
ウェブページのアクセスが制限されたことを確定し、
プロキシサーバの情報を獲得し、
前記プロキシサーバの情報を利用して、前記ウェブページをアクセスし、
前記プロキシサーバの情報を獲得する前に、さらに、
ネットワークワームを利用して、プロキシサーバ集合を獲得し、前記プロキシサーバ集合には利用可能な少なくとも一つのプロキシサーバにおけるプロキシサーバ毎の情報を含んでおり、前記プロキシサーバ集合に基づいて、前記プロキシサーバの情報を獲得するようにし、
前記ネットワークワームを利用して、プロキシサーバ集合を獲得した後、さらに、
少なくとも一つのプロキシサーバに対して品質検証を行い、
品質検証を通過しなかったプロキシサーバの情報を濾過処理する
デバイス。 - 一つ又は複数のプログラムであって、一つのデバイスによって実行される場合に、前記デバイスに、
ウェブページのアクセスが制限されたことを確定し、
プロキシサーバの情報を獲得し、
前記プロキシサーバの情報を利用して、前記ウェブページをアクセスさせ、
前記プロキシサーバの情報を獲得する前に、さらに、
ネットワークワームを利用して、プロキシサーバ集合を獲得し、前記プロキシサーバ集合には利用可能な少なくとも一つのプロキシサーバにおけるプロキシサーバ毎の情報を含んでおり、前記プロキシサーバ集合に基づいて、前記プロキシサーバの情報を獲得するようにし、
前記ネットワークワームを利用して、プロキシサーバ集合を獲得した後、さらに、
少なくとも一つのプロキシサーバに対して品質検証を行い、
品質検証を通過しなかったプロキシサーバの情報を濾過処理する
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510725908.3 | 2015-10-30 | ||
CN201510725908.3A CN105335511A (zh) | 2015-10-30 | 2015-10-30 | 网页的访问方法及装置 |
PCT/CN2016/082981 WO2017071189A1 (zh) | 2015-10-30 | 2016-05-23 | 网页的访问方法、装置、设备及非易失性计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018514846A JP2018514846A (ja) | 2018-06-07 |
JP6488508B2 true JP6488508B2 (ja) | 2019-03-27 |
Family
ID=55286038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017548061A Active JP6488508B2 (ja) | 2015-10-30 | 2016-05-23 | ウェブページのアクセス方法、装置、デバイス及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20180225387A1 (ja) |
EP (1) | EP3273362A4 (ja) |
JP (1) | JP6488508B2 (ja) |
CN (1) | CN105335511A (ja) |
WO (1) | WO2017071189A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8560604B2 (en) | 2009-10-08 | 2013-10-15 | Hola Networks Ltd. | System and method for providing faster and more efficient data communication |
US9241044B2 (en) | 2013-08-28 | 2016-01-19 | Hola Networks, Ltd. | System and method for improving internet communication by using intermediate nodes |
US11057446B2 (en) | 2015-05-14 | 2021-07-06 | Bright Data Ltd. | System and method for streaming content from multiple servers |
CN105335511A (zh) * | 2015-10-30 | 2016-02-17 | 百度在线网络技术(北京)有限公司 | 网页的访问方法及装置 |
US11190374B2 (en) | 2017-08-28 | 2021-11-30 | Bright Data Ltd. | System and method for improving content fetching by selecting tunnel devices |
EP3754520B1 (en) | 2017-08-28 | 2022-02-02 | Bright Data Ltd | Method for improving content fetching by selecting tunnel devices |
CN108769278B (zh) * | 2018-04-11 | 2021-08-10 | 北京中科闻歌科技股份有限公司 | 一种社交媒体账号管理方法及*** |
EP4236263A3 (en) | 2019-02-25 | 2023-09-06 | Bright Data Ltd. | System and method for url fetching retry mechanism |
CN111641664B (zh) * | 2019-03-01 | 2023-12-05 | 北京京东尚科信息技术有限公司 | 一种爬虫设备业务请求方法、装置、***和存储介质 |
WO2020202135A2 (en) | 2019-04-02 | 2020-10-08 | Luminati Networks Ltd. | System and method for managing non-direct url fetching service |
CN110147271B (zh) * | 2019-05-15 | 2020-04-28 | 重庆八戒传媒有限公司 | 提升爬虫代理质量的方法、装置及计算机可读存储介质 |
CN112583780B (zh) * | 2019-09-30 | 2023-04-07 | 北京国双科技有限公司 | 使用代理ip访问网站数据的方法、装置、***和设备 |
US10637956B1 (en) * | 2019-10-01 | 2020-04-28 | Metacluster It, Uab | Smart proxy rotator |
CN111428179B (zh) * | 2020-03-19 | 2023-09-19 | 新方正控股发展有限责任公司 | 图片监测方法、装置及电子设备 |
CN111488392B (zh) * | 2020-04-16 | 2023-07-07 | 北京思特奇信息技术股份有限公司 | 一种查询方法、***及电子设备 |
CN111767450A (zh) * | 2020-07-27 | 2020-10-13 | 深圳快学教育科技有限公司 | 浏览器数据采集***及方法 |
CN114595253A (zh) * | 2022-02-22 | 2022-06-07 | 深圳海域信息技术有限公司 | 品牌监测方法、装置、电子设备及介质 |
KR102681000B1 (ko) * | 2023-02-28 | 2024-07-04 | 쿠팡 주식회사 | 정보의 전송을 관리하는 전자 장치의 동작 방법 및 이를 지원하는 전자 장치 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6829638B1 (en) * | 2000-08-03 | 2004-12-07 | International Business Machines Corporation | System and method for managing multiple proxy servers |
US7483910B2 (en) * | 2002-01-11 | 2009-01-27 | International Business Machines Corporation | Automated access to web content based on log analysis |
US20030145046A1 (en) * | 2002-01-31 | 2003-07-31 | Keller S. Brandon | Generating a list of addresses on a proxy server |
GB2446421B (en) * | 2007-02-09 | 2011-06-22 | Proctor & Stevenson Ltd | Tracking web server |
CN101102313B (zh) * | 2007-06-21 | 2011-02-02 | 潘晓梅 | 自动更换代理服务器的网络下载***及方法 |
CN101800758B (zh) * | 2009-02-09 | 2012-09-05 | 华为终端有限公司 | 一种移动终端访问网络的方法、***及网关 |
US20100205215A1 (en) * | 2009-02-11 | 2010-08-12 | Cook Robert W | Systems and methods for enforcing policies to block search engine queries for web-based proxy sites |
CN101931635B (zh) * | 2009-06-18 | 2014-05-28 | 北京搜狗科技发展有限公司 | 网络资源访问方法及代理装置 |
US8370940B2 (en) * | 2010-04-01 | 2013-02-05 | Cloudflare, Inc. | Methods and apparatuses for providing internet-based proxy services |
CN102694772B (zh) * | 2011-03-23 | 2014-12-10 | 腾讯科技(深圳)有限公司 | 一种访问互联网网页的装置、***及方法 |
US9049244B2 (en) * | 2011-04-19 | 2015-06-02 | Cloudflare, Inc. | Registering for internet-based proxy services |
CN103024933B (zh) * | 2011-09-28 | 2016-01-20 | 腾讯科技(深圳)有限公司 | 一种移动互联网访问***及访问移动互联网的方法 |
CN103678311B (zh) * | 2012-08-31 | 2018-11-13 | 腾讯科技(深圳)有限公司 | 基于中转模式的网页访问方法及***、抓取路径服务器 |
US9241044B2 (en) * | 2013-08-28 | 2016-01-19 | Hola Networks, Ltd. | System and method for improving internet communication by using intermediate nodes |
CN104767837B (zh) * | 2014-01-08 | 2018-08-24 | 阿里巴巴集团控股有限公司 | 一种识别代理ip地址的方法及装置 |
CN103973682B (zh) * | 2014-04-30 | 2018-09-04 | 北京奇虎科技有限公司 | 进行网页访问的方法及装置 |
CN104462570B (zh) * | 2014-12-26 | 2019-03-15 | 小米科技有限责任公司 | 网页内容获取方法及装置 |
CN105335511A (zh) * | 2015-10-30 | 2016-02-17 | 百度在线网络技术(北京)有限公司 | 网页的访问方法及装置 |
-
2015
- 2015-10-30 CN CN201510725908.3A patent/CN105335511A/zh active Pending
-
2016
- 2016-05-23 EP EP16858633.7A patent/EP3273362A4/en not_active Ceased
- 2016-05-23 US US15/745,987 patent/US20180225387A1/en not_active Abandoned
- 2016-05-23 JP JP2017548061A patent/JP6488508B2/ja active Active
- 2016-05-23 WO PCT/CN2016/082981 patent/WO2017071189A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP3273362A4 (en) | 2018-04-25 |
CN105335511A (zh) | 2016-02-17 |
WO2017071189A1 (zh) | 2017-05-04 |
JP2018514846A (ja) | 2018-06-07 |
US20180225387A1 (en) | 2018-08-09 |
EP3273362A1 (en) | 2018-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6488508B2 (ja) | ウェブページのアクセス方法、装置、デバイス及びプログラム | |
US9954746B2 (en) | Automatically generating service documentation based on actual usage | |
US8935798B1 (en) | Automatically enabling private browsing of a web page, and applications thereof | |
US20160004668A1 (en) | Adfdi support for custom attribute properties | |
US20150256475A1 (en) | Systems and methods for designing an optimized infrastructure for executing computing processes | |
US20170177317A1 (en) | Dependency-Aware Transformation of Multi-Function Applications for On-Demand Execution | |
WO2016016734A1 (en) | Managing web browser cache for offline browsing | |
CN104049991A (zh) | 用于将网络应用转换为移动应用的方法和*** | |
CN110851756A (zh) | 页面加载方法、装置、计算机可读存储介质及终端设备 | |
WO2021189766A1 (zh) | 数据可视化方法及相关设备 | |
CN116992081A (zh) | 页面表单的数据处理方法、装置和用户终端 | |
CN104361007B (zh) | 浏览器及其收藏夹的处理方法 | |
CN113282591B (zh) | 权限过滤方法、装置、计算机设备及存储介质 | |
US10956026B2 (en) | Smart element filtering method via gestures | |
KR102290380B1 (ko) | 페이지 구축방법, 장치, 디바이스 및 비발휘성 컴퓨터 기억매체 | |
EP4156009A1 (en) | Systematic identification and masking of private data for replaying user sessions | |
EP3188417B1 (en) | Information display method, terminal and server | |
US9342530B2 (en) | Method for skipping empty folders when navigating a file system | |
US20140344295A1 (en) | Message based web content retrieval systems and computer implemented methods thereto | |
US10417296B1 (en) | Intelligent bookmarking with URL modification | |
CN105956050B (zh) | 一种数据收集方法、装置及设备 | |
US20150088493A1 (en) | Providing descriptive information associated with objects | |
US10223393B1 (en) | Efficient processing of source code objects using probabilistic data structures | |
CN110674224B (zh) | 实体数据的处理方法、装置、设备及计算机可读存储介质 | |
US9858250B2 (en) | Optimized read/write access to a document object model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181009 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6488508 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |