WO2018032251A1 - Procédé et système pour appliquer un niveau de sécurité à l'extraction de mégadonnées - Google Patents
Procédé et système pour appliquer un niveau de sécurité à l'extraction de mégadonnées Download PDFInfo
- Publication number
- WO2018032251A1 WO2018032251A1 PCT/CN2016/095300 CN2016095300W WO2018032251A1 WO 2018032251 A1 WO2018032251 A1 WO 2018032251A1 CN 2016095300 W CN2016095300 W CN 2016095300W WO 2018032251 A1 WO2018032251 A1 WO 2018032251A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- search
- keyword
- security level
- search results
- big data
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
Definitions
- the present invention relates to the field of big data, and in particular, to a method and system for applying security levels in big data crawling.
- Big data refers to a collection of data that cannot be captured, managed, and processed by conventional software tools within a certain time frame. It requires a new processing model to have stronger decision-making power, insight and process optimization capabilities to adapt to massive and high growth. Rate and diversified information assets, existing big data is diverse, such as web page data, how to search for the desired data from web page data is a problem worth studying, and existing technical solutions cannot achieve effective web page data. search for.
- the application provides a method for applying security level in big data crawling. It solves the shortcomings of the prior art technical solution that the effective search of webpage data cannot be realized.
- a method for applying a security level in big data crawling comprising the steps of:
- Baidu search and Google search are opened in the webpage to search according to the keyword;
- the method further includes:
- search results are the same in both search results, the same search results are displayed on either page.
- the method further includes:
- an application system for security level in big data crawling comprising:
- An obtaining unit configured to obtain a keyword to be searched, and extract a webpage range whose security level is above a set level
- a search unit for opening a Baidu search and a Google search according to the keyword according to the keyword, respectively searching according to the keyword;
- a paging unit that displays two search results left and right.
- system further includes:
- system further includes:
- a blocking unit that blocks the promoted webpage is
- the technical solution provided by the invention obtains a keyword to be searched, and according to the keyword, the Baidu search and the Google search are respectively searched according to the keyword, and the two search results are displayed on the left and right pages, so that it has the advantage of effective search.
- FIG. 1 is a flowchart of a method for applying a security level in big data capture according to a first preferred embodiment of the present invention
- FIG. 2 is a structural diagram of an application system for security level in big data capture according to a second preferred embodiment of the present invention.
- FIG. 1 is a method for applying a security level in big data capture according to a first preferred embodiment of the present invention. The method is as shown in FIG. 1 and includes the following steps:
- Step S101 Acquire a keyword to be searched, and extract a webpage range whose security level is above a set level;
- Step S102 Open a Baidu search and a Google search according to the keyword according to the keyword, and perform a search according to the keyword respectively;
- step S103 the two search results are displayed on the left and right pages.
- the technical solution provided by the invention obtains a keyword to be searched, and according to the keyword, the Baidu search and the Google search are respectively searched according to the keyword, and the two search results are displayed on the left and right pages, so that it has the advantage of effective search.
- the foregoing method may further include:
- search results are the same in both search results, the same search results are displayed on either page.
- the foregoing method may further include:
- FIG. 2 is a schematic diagram of an application system for security level in big data capture according to a second preferred embodiment of the present invention.
- the system includes:
- the obtaining unit 201 is configured to obtain a keyword to be searched, and extract a webpage range whose security level is above a set level;
- the searching unit 202 is configured to perform Baidu search and Google search on the webpage according to the keyword, and perform search according to the keyword respectively;
- the paging unit 203 is configured to display two search results to the left and right pages.
- the technical solution provided by the invention obtains a keyword to be searched, and according to the keyword, the Baidu search and the Google search are respectively searched according to the keyword, and the two search results are displayed on the left and right pages, so that it has the advantage of effective search.
- the above system may further include:
- the allocating unit 204 is configured to display the same search result on any one of the pages if the two search results have the same search result.
- the above system may further include:
- the shielding unit 205 is configured to block the promoted webpage.
- the program may be stored in a computer readable storage medium, and the storage medium may include: Flash drive, read-only memory (English: Read-Only Memory, referred to as: ROM), random accessor (English: Random Access Memory, referred to as: RAM), disk or CD.
- ROM Read-Only Memory
- RAM Random Access Memory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
L'invention concerne un procédé et un système d'application d'un niveau de sécurité à l'extraction de mégadonnées. Le procédé comprend les étapes suivantes consistant à : acquérir un mot-clé pour la recherche et extraire une collection de pages Web ayant un niveau de sécurité supérieur à un niveau prédéfini (101); lancer, selon le mot-clé, une recherche Baidu et une recherche Google sur la collection de pages Web pour effectuer des recherches selon le mot-clé (102); et afficher les deux résultats de recherche respectivement sur des pages gauche et droite (103). Le procédé selon l'invention se caractérise avantageusement par l'efficacité de recherche.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2016/095300 WO2018032251A1 (fr) | 2016-08-15 | 2016-08-15 | Procédé et système pour appliquer un niveau de sécurité à l'extraction de mégadonnées |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2016/095300 WO2018032251A1 (fr) | 2016-08-15 | 2016-08-15 | Procédé et système pour appliquer un niveau de sécurité à l'extraction de mégadonnées |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018032251A1 true WO2018032251A1 (fr) | 2018-02-22 |
Family
ID=61196026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2016/095300 WO2018032251A1 (fr) | 2016-08-15 | 2016-08-15 | Procédé et système pour appliquer un niveau de sécurité à l'extraction de mégadonnées |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2018032251A1 (fr) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102004782A (zh) * | 2010-11-25 | 2011-04-06 | 北京搜狗科技发展有限公司 | 一种搜索结果排序方法和搜索结果排序器 |
CN105117476A (zh) * | 2015-09-08 | 2015-12-02 | 刘珉恺 | 一种基于网络平台的搜索方法 |
CN105683966A (zh) * | 2016-01-30 | 2016-06-15 | 深圳市博信诺达经贸咨询有限公司 | 基于大数据的搜索方法及*** |
CN105849730A (zh) * | 2016-03-25 | 2016-08-10 | 马岩 | 数据抓取的方法及*** |
CN106227888A (zh) * | 2016-08-15 | 2016-12-14 | 马岩 | 安全等级在大数据抓取中的应用方法及*** |
-
2016
- 2016-08-15 WO PCT/CN2016/095300 patent/WO2018032251A1/fr active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102004782A (zh) * | 2010-11-25 | 2011-04-06 | 北京搜狗科技发展有限公司 | 一种搜索结果排序方法和搜索结果排序器 |
CN105117476A (zh) * | 2015-09-08 | 2015-12-02 | 刘珉恺 | 一种基于网络平台的搜索方法 |
CN105683966A (zh) * | 2016-01-30 | 2016-06-15 | 深圳市博信诺达经贸咨询有限公司 | 基于大数据的搜索方法及*** |
CN105849730A (zh) * | 2016-03-25 | 2016-08-10 | 马岩 | 数据抓取的方法及*** |
CN106227888A (zh) * | 2016-08-15 | 2016-12-14 | 马岩 | 安全等级在大数据抓取中的应用方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017128362A1 (fr) | Procédé et système de recherche faisant appel à des données massives | |
WO2018032251A1 (fr) | Procédé et système pour appliquer un niveau de sécurité à l'extraction de mégadonnées | |
WO2018032252A1 (fr) | Procédé et système de recherche sécurisée de mégadonnées sur des forums de discussion | |
WO2018032246A1 (fr) | Procédé et système de recherche de mégadonnées(big data) dans un réseau local | |
WO2018032245A1 (fr) | Procédé et système de recherche de données destinés à des données de commentaire d'un logiciel de réseautage social | |
WO2018032254A1 (fr) | Procédé et système d'extraction de vidéo de confiance dans des mégadonnées | |
WO2018027928A1 (fr) | Procédé et système de capture de mégadonnées de forum | |
WO2018032250A1 (fr) | Procédé et système de recherche de données de texte destinés à des données volumineuses | |
WO2018027927A1 (fr) | Procédé et système de recherche de données de page web | |
WO2018032253A1 (fr) | Procédé et système de recherche sécurisée pour mégadonnées d'images | |
WO2018032249A1 (fr) | Procédé et système d'extraction de données audio | |
WO2018032248A1 (fr) | Procédé et système d'application de recherche d'image pour rechercher dans des mégadonnées | |
US20130304738A1 (en) | Managing multimedia information using dynamic semantic tables | |
WO2017117783A1 (fr) | Système et procédé de recherche d'informations de réseau | |
WO2018006254A1 (fr) | Procédé et système de récupération basés sur des données de courrier de réseau local | |
WO2018006217A1 (fr) | Procédé et système de récupération basés sur des données de courrier de réseau | |
WO2017128440A1 (fr) | Procédé et système destinés à la surveillance et au rappel de mégadonnées | |
WO2017117781A1 (fr) | Procédé et système de classification d'informations de réseau | |
WO2018006218A1 (fr) | Procédé et système de récupération basés sur des données de courrier locales | |
WO2018157330A1 (fr) | Procédé et système de partitionnement de mégadonnées | |
WO2017128438A1 (fr) | Procédé et système d'application de mégadonnées | |
WO2018006256A1 (fr) | Procédé et système de collecte de données de courrier locales | |
WO2018032247A1 (fr) | Procédé et système de recherche pour mégadonnées de vidéos | |
WO2018006255A1 (fr) | Procédé et système de collecte de données de messagerie de réseau | |
WO2018157332A1 (fr) | Procédé et système statistiques appliqués à des mégadonnées |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16913015 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16913015 Country of ref document: EP Kind code of ref document: A1 |