WO2018027928A1 - 论坛海量数据的抓取方法及*** - Google Patents
论坛海量数据的抓取方法及*** Download PDFInfo
- Publication number
- WO2018027928A1 WO2018027928A1 PCT/CN2016/094945 CN2016094945W WO2018027928A1 WO 2018027928 A1 WO2018027928 A1 WO 2018027928A1 CN 2016094945 W CN2016094945 W CN 2016094945W WO 2018027928 A1 WO2018027928 A1 WO 2018027928A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- search
- keyword
- forum
- search results
- data
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
Definitions
- the invention relates to the field of big data, in particular to a method and a system for grasping massive data of a forum.
- Big data refers to a collection of data that cannot be captured, managed, and processed by conventional software tools within a certain time frame. It requires a new processing model to have stronger decision-making power, insight and process optimization capabilities to adapt to massive and high growth. Rate and diversified information assets, existing big data is diverse, such as web page data, how to search for the desired data from web page data is a problem worth studying, and existing technical solutions cannot achieve effective web page data. search for.
- the application provides a method for grasping massive data of a forum. It solves the shortcomings of the prior art technical solution that the effective search of webpage data cannot be realized.
- a method for crawling massive data of a forum comprising the following steps:
- Baidu search and Google search are opened in the forum data to search according to the keyword;
- the method further includes:
- search results are the same in both search results, the same search results are displayed on either page.
- the method further includes:
- a crawling system for forum massive data comprising:
- An obtaining unit for obtaining a keyword to be searched An obtaining unit for obtaining a keyword to be searched
- a search unit for opening a Baidu search and a Google search in the forum data according to the keyword, respectively searching according to the keyword;
- a paging unit that displays two search results left and right.
- system further includes:
- system further includes:
- a blocking unit that blocks the promoted webpage is
- the technical solution provided by the invention obtains a keyword to be searched, and according to the keyword, the Baidu search and the Google search are respectively searched according to the keyword, and the two search results are displayed on the left and right pages, so that it has the advantage of effective search.
- FIG. 1 is a flowchart of a method for capturing massive data of a forum according to a first preferred embodiment of the present invention
- FIG. 2 is a structural diagram of a crawling system for forum mass data according to a second preferred embodiment of the present invention.
- FIG. 1 is a schematic diagram of a method for capturing massive data of a forum according to a first preferred embodiment of the present invention. The method is as shown in FIG. 1 and includes the following steps:
- Step S101 Acquire a keyword to be searched
- Step S102 Open Baidu search and Google search in the forum data according to the keyword, and perform search according to the keyword respectively;
- step S103 the two search results are displayed on the left and right pages.
- the technical solution provided by the invention obtains a keyword to be searched, and according to the keyword, the Baidu search and the Google search are respectively searched according to the keyword, and the two search results are displayed on the left and right pages, so that it has the advantage of effective search.
- the foregoing method may further include:
- search results are the same in both search results, the same search results are displayed on either page.
- the foregoing method may further include:
- FIG. 2 is a schematic diagram of a forum for capturing massive data according to a second preferred embodiment of the present invention.
- the system includes:
- An obtaining unit 201 configured to acquire a keyword to be searched
- the searching unit 202 is configured to open a Baidu search and a Google search in the forum data according to the keyword, and perform a search according to the keyword respectively;
- the paging unit 203 is configured to display two search results to the left and right pages.
- the technical solution provided by the invention obtains a keyword to be searched, and according to the keyword, the Baidu search and the Google search are respectively searched according to the keyword, and the two search results are displayed on the left and right pages, so that it has the advantage of effective search.
- the above system may further include:
- the allocating unit 204 is configured to display the same search result on any one of the pages if the two search results have the same search result.
- the above system may further include:
- the shielding unit 205 is configured to block the promoted webpage.
- the program may be stored in a computer readable storage medium, and the storage medium may include: Flash drive, read-only memory (English: Read-Only Memory, referred to as: ROM), random accessor (English: Random Access Memory, referred to as: RAM), disk or CD.
- ROM Read-Only Memory
- RAM Random Access Memory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
一种论坛海量数据的抓取方法，具有有效搜索的优点，所述方法包括如下步骤：获取需搜索的关键字（101）；依据该关键字开通百度搜索和谷歌搜索分别依据该关键字进行搜索（102）；将两个搜索结果左右分页显示（103）。
Description
本发明涉及大数据领域，尤其涉及一种论坛海量数据的抓取方法及***。
大数据（big
data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产，现有的大数据有多样，例如网页数据，如何从网页数据中搜索出想要的数据是一个很值得研究的问题，现有的技术方案无法实现网页数据的有效搜索。
本申请提供一种论坛海量数据的抓取方法。其解决现有技术的技术方案无法实现网页数据的有效搜索的缺点。
一方面，提供一种论坛海量数据的抓取方法，所述方法包括如下步骤：
获取需搜索的关键字；
依据该关键字在论坛数据内开通百度搜索和谷歌搜索分别依据该关键字进行搜索；
将两个搜索结果左右分页显示。
可选的，所述方法还包括：
如两个搜索结果中具有相同的搜索结果，将相同的搜索结果在任一个分页显示。
可选的，所述方法还包括：
将推广的网页屏蔽。
第二方面，提供一种论坛海量数据的抓取***，所述***包括：
获取单元，用于获取需搜索的关键字；
搜索单元，用于依据该关键字在论坛数据内开通百度搜索和谷歌搜索分别依据该关键字进行搜索；
分页单元，用于将两个搜索结果左右分页显示。
可选的，，所述***还包括：
分配单元，用于如两个搜索结果中具有相同的搜索结果，将相同的搜索结果在任一个分页显示。
可选的，所述***还包括：
屏蔽单元，用于将推广的网页屏蔽。
本发明提供的技术方案获取需搜索的关键字，依据该关键字开通百度搜索和谷歌搜索分别依据该关键字进行搜索，将两个搜索结果左右分页显示，所以其具有有效搜索的优点。
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明第一较佳实施方式提供的一种论坛海量数据的抓取方法的流程图；
图2为本发明第二较佳实施方式提供的一种论坛海量数据的抓取***的结构图。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1是本发明第一较佳实施方式提出的一种论坛海量数据的抓取方法，该方法如图1所示，包括如下步骤：
步骤S101、获取需搜索的关键字；
步骤S102、依据该关键字在论坛数据内开通百度搜索和谷歌搜索分别依据该关键字进行搜索；
步骤S103、将两个搜索结果左右分页显示。
本发明提供的技术方案获取需搜索的关键字，依据该关键字开通百度搜索和谷歌搜索分别依据该关键字进行搜索，将两个搜索结果左右分页显示，所以其具有有效搜索的优点。
可选的，上述方法在步骤S103之后还可以包括：
如两个搜索结果中具有相同的搜索结果，将相同的搜索结果在任一个分页显示。
可选的，上述方法在步骤S103之后还可以包括：
将推广的网页屏蔽。
请参考图2，图2是本发明第二较佳实施方式提出的一种论坛海量数据的抓取***，该***包括：
获取单元201，用于获取需搜索的关键字；
搜索单元202，用于依据该关键字在论坛数据内开通百度搜索和谷歌搜索分别依据该关键字进行搜索；
分页单元203，用于将两个搜索结果左右分页显示。
本发明提供的技术方案获取需搜索的关键字，依据该关键字开通百度搜索和谷歌搜索分别依据该关键字进行搜索，将两个搜索结果左右分页显示，所以其具有有效搜索的优点。
可选的，上述***还可以包括：
分配单元204，用于如两个搜索结果中具有相同的搜索结果，将相同的搜索结果在任一个分页显示。
可选的，上述***还可以包括：
屏蔽单元205，用于将推广的网页屏蔽。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（英文：Read-Only
Memory ，简称：ROM）、随机存取器（英文：Random Access Memory，简称：RAM）、磁盘或光盘等。
以上对本发明实施例所提供的内容下载方法及相关设备、***进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (6)
- 一种论坛海量数据的抓取方法，其特征在于，所述方法包括如下步骤：获取需搜索的关键字；依据该关键字在论坛数据内开通百度搜索和谷歌搜索分别依据该关键字进行搜索；将两个搜索结果左右分页显示。
- 根据权利要求1所述的方法，其特征在于，所述方法还包括：如两个搜索结果中具有相同的搜索结果，将相同的搜索结果在任一个分页显示。
- 根据权利要求1所述的方法，其特征在于，所述方法还包括：将推广的网页屏蔽。
- 一种论坛海量数据的抓取***，其特征在于，所述***包括：获取单元，用于获取需搜索的关键字；搜索单元，用于依据该关键字在论坛数据内开通百度搜索和谷歌搜索分别依据该关键字进行搜索；分页单元，用于将两个搜索结果左右分页显示。
- 根据权利要求4所述的***，其特征在于，所述***还包括：分配单元，用于如两个搜索结果中具有相同的搜索结果，将相同的搜索结果在任一个分页显示。
- 根据权利要求4所述的***，其特征在于，所述***还包括：屏蔽单元，用于将推广的网页屏蔽。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2016/094945 WO2018027928A1 (zh) | 2016-08-12 | 2016-08-12 | 论坛海量数据的抓取方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2016/094945 WO2018027928A1 (zh) | 2016-08-12 | 2016-08-12 | 论坛海量数据的抓取方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018027928A1 true WO2018027928A1 (zh) | 2018-02-15 |
Family
ID=61161608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2016/094945 WO2018027928A1 (zh) | 2016-08-12 | 2016-08-12 | 论坛海量数据的抓取方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2018027928A1 (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100211588A1 (en) * | 2009-02-13 | 2010-08-19 | Microsoft Corporation | Context-Aware Query Suggestion By Mining Log Data |
| CN105117476A (zh) * | 2015-09-08 | 2015-12-02 | 刘珉恺 | 一种基于网络平台的搜索方法 |
| CN105683966A (zh) * | 2016-01-30 | 2016-06-15 | 深圳市博信诺达经贸咨询有限公司 | 基于大数据的搜索方法及*** |
| CN105849730A (zh) * | 2016-03-25 | 2016-08-10 | 马岩 | 数据抓取的方法及*** |
-
2016
- 2016-08-12 WO PCT/CN2016/094945 patent/WO2018027928A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100211588A1 (en) * | 2009-02-13 | 2010-08-19 | Microsoft Corporation | Context-Aware Query Suggestion By Mining Log Data |
| CN105117476A (zh) * | 2015-09-08 | 2015-12-02 | 刘珉恺 | 一种基于网络平台的搜索方法 |
| CN105683966A (zh) * | 2016-01-30 | 2016-06-15 | 深圳市博信诺达经贸咨询有限公司 | 基于大数据的搜索方法及*** |
| CN105849730A (zh) * | 2016-03-25 | 2016-08-10 | 马岩 | 数据抓取的方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| SHUANGMOCHE: "The Strongest Cheap Copy Search Engine Websites: You Have to Admit, So Genius", 7 December 2008 (2008-12-07), pages 1 - 7, Retrieved from the Internet <URL:http://bbs.tianya.cn/post-no04-751986-l.shtml> * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017128362A1 (zh) | 基于大数据的搜索方法及*** | |
| WO2017161578A1 (zh) | 数据抓取的方法及*** | |
| WO2017117806A1 (zh) | 网络信息的搜词方法及*** | |
| WO2018027928A1 (zh) | 论坛海量数据的抓取方法及*** | |
| WO2018032246A1 (zh) | 局域网中大数据的搜索方法及*** | |
| WO2018027927A1 (zh) | 网页数据的搜索方法及*** | |
| WO2018032245A1 (zh) | 从社交软件评论数据中搜索数据的方法及*** | |
| WO2018032250A1 (zh) | 大数据中搜索文字数据的方法及*** | |
| WO2018032251A1 (zh) | 安全等级在大数据抓取中的应用方法及*** | |
| WO2018032252A1 (zh) | 论坛大数据的安全搜索方法及*** | |
| WO2018032249A1 (zh) | 音频数据的抓取方法及*** | |
| WO2018032254A1 (zh) | 可信视频在大数据中的抓取方法及*** | |
| WO2018032253A1 (zh) | 图片大数据的安全搜索方法及*** | |
| WO2017128357A1 (zh) | 基于大数据的网页抓取方法及*** | |
| WO2018032248A1 (zh) | 搜图在大数据搜索中的应用方法及*** | |
| WO2017117783A1 (zh) | 网络信息的搜索方法及*** | |
| WO2018006254A1 (zh) | 基于局域网邮件数据的抓取方法及*** | |
| WO2017128440A1 (zh) | 大数据的监控提醒方法及*** | |
| WO2017117781A1 (zh) | 网络信息的分类方法及*** | |
| WO2018006217A1 (zh) | 基于网络邮件数据的抓取方法及*** | |
| WO2018006218A1 (zh) | 基于本地邮件数据的抓取方法及*** | |
| WO2018006256A1 (zh) | 本地邮件数据的搜集方法及*** | |
| WO2018006255A1 (zh) | 网络邮件数据的搜集方法及*** | |
| WO2017128438A1 (zh) | 大数据的应用方法及*** | |
| WO2018014316A1 (zh) | 局域网邮件数据的搜集方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16912383 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 16912383 Country of ref document: EP Kind code of ref document: A1 |