WO2018032251A1 - Procédé et système pour appliquer un niveau de sécurité à l'extraction de mégadonnées - Google Patents

Procédé et système pour appliquer un niveau de sécurité à l'extraction de mégadonnées Download PDF

Info

Publication number
WO2018032251A1
WO2018032251A1 PCT/CN2016/095300 CN2016095300W WO2018032251A1 WO 2018032251 A1 WO2018032251 A1 WO 2018032251A1 CN 2016095300 W CN2016095300 W CN 2016095300W WO 2018032251 A1 WO2018032251 A1 WO 2018032251A1
Authority
WO
WIPO (PCT)
Prior art keywords
search
keyword
security level
search results
big data
Prior art date
Application number
PCT/CN2016/095300
Other languages
English (en)
Chinese (zh)
Inventor
马岩
Original Assignee
马岩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 马岩 filed Critical 马岩
Priority to PCT/CN2016/095300 priority Critical patent/WO2018032251A1/fr
Publication of WO2018032251A1 publication Critical patent/WO2018032251A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor

Definitions

  • the present invention relates to the field of big data, and in particular, to a method and system for applying security levels in big data crawling.
  • Big data refers to a collection of data that cannot be captured, managed, and processed by conventional software tools within a certain time frame. It requires a new processing model to have stronger decision-making power, insight and process optimization capabilities to adapt to massive and high growth. Rate and diversified information assets, existing big data is diverse, such as web page data, how to search for the desired data from web page data is a problem worth studying, and existing technical solutions cannot achieve effective web page data. search for.
  • the application provides a method for applying security level in big data crawling. It solves the shortcomings of the prior art technical solution that the effective search of webpage data cannot be realized.
  • a method for applying a security level in big data crawling comprising the steps of:
  • Baidu search and Google search are opened in the webpage to search according to the keyword;
  • the method further includes:
  • search results are the same in both search results, the same search results are displayed on either page.
  • the method further includes:
  • an application system for security level in big data crawling comprising:
  • An obtaining unit configured to obtain a keyword to be searched, and extract a webpage range whose security level is above a set level
  • a search unit for opening a Baidu search and a Google search according to the keyword according to the keyword, respectively searching according to the keyword;
  • a paging unit that displays two search results left and right.
  • system further includes:
  • system further includes:
  • a blocking unit that blocks the promoted webpage is
  • the technical solution provided by the invention obtains a keyword to be searched, and according to the keyword, the Baidu search and the Google search are respectively searched according to the keyword, and the two search results are displayed on the left and right pages, so that it has the advantage of effective search.
  • FIG. 1 is a flowchart of a method for applying a security level in big data capture according to a first preferred embodiment of the present invention
  • FIG. 2 is a structural diagram of an application system for security level in big data capture according to a second preferred embodiment of the present invention.
  • FIG. 1 is a method for applying a security level in big data capture according to a first preferred embodiment of the present invention. The method is as shown in FIG. 1 and includes the following steps:
  • Step S101 Acquire a keyword to be searched, and extract a webpage range whose security level is above a set level;
  • Step S102 Open a Baidu search and a Google search according to the keyword according to the keyword, and perform a search according to the keyword respectively;
  • step S103 the two search results are displayed on the left and right pages.
  • the technical solution provided by the invention obtains a keyword to be searched, and according to the keyword, the Baidu search and the Google search are respectively searched according to the keyword, and the two search results are displayed on the left and right pages, so that it has the advantage of effective search.
  • the foregoing method may further include:
  • search results are the same in both search results, the same search results are displayed on either page.
  • the foregoing method may further include:
  • FIG. 2 is a schematic diagram of an application system for security level in big data capture according to a second preferred embodiment of the present invention.
  • the system includes:
  • the obtaining unit 201 is configured to obtain a keyword to be searched, and extract a webpage range whose security level is above a set level;
  • the searching unit 202 is configured to perform Baidu search and Google search on the webpage according to the keyword, and perform search according to the keyword respectively;
  • the paging unit 203 is configured to display two search results to the left and right pages.
  • the technical solution provided by the invention obtains a keyword to be searched, and according to the keyword, the Baidu search and the Google search are respectively searched according to the keyword, and the two search results are displayed on the left and right pages, so that it has the advantage of effective search.
  • the above system may further include:
  • the allocating unit 204 is configured to display the same search result on any one of the pages if the two search results have the same search result.
  • the above system may further include:
  • the shielding unit 205 is configured to block the promoted webpage.
  • the program may be stored in a computer readable storage medium, and the storage medium may include: Flash drive, read-only memory (English: Read-Only Memory, referred to as: ROM), random accessor (English: Random Access Memory, referred to as: RAM), disk or CD.
  • ROM Read-Only Memory
  • RAM Random Access Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

L'invention concerne un procédé et un système d'application d'un niveau de sécurité à l'extraction de mégadonnées. Le procédé comprend les étapes suivantes consistant à : acquérir un mot-clé pour la recherche et extraire une collection de pages Web ayant un niveau de sécurité supérieur à un niveau prédéfini (101); lancer, selon le mot-clé, une recherche Baidu et une recherche Google sur la collection de pages Web pour effectuer des recherches selon le mot-clé (102); et afficher les deux résultats de recherche respectivement sur des pages gauche et droite (103). Le procédé selon l'invention se caractérise avantageusement par l'efficacité de recherche.
PCT/CN2016/095300 2016-08-15 2016-08-15 Procédé et système pour appliquer un niveau de sécurité à l'extraction de mégadonnées WO2018032251A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/095300 WO2018032251A1 (fr) 2016-08-15 2016-08-15 Procédé et système pour appliquer un niveau de sécurité à l'extraction de mégadonnées

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/095300 WO2018032251A1 (fr) 2016-08-15 2016-08-15 Procédé et système pour appliquer un niveau de sécurité à l'extraction de mégadonnées

Publications (1)

Publication Number Publication Date
WO2018032251A1 true WO2018032251A1 (fr) 2018-02-22

Family

ID=61196026

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/095300 WO2018032251A1 (fr) 2016-08-15 2016-08-15 Procédé et système pour appliquer un niveau de sécurité à l'extraction de mégadonnées

Country Status (1)

Country Link
WO (1) WO2018032251A1 (fr)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004782A (zh) * 2010-11-25 2011-04-06 北京搜狗科技发展有限公司 一种搜索结果排序方法和搜索结果排序器
CN105117476A (zh) * 2015-09-08 2015-12-02 刘珉恺 一种基于网络平台的搜索方法
CN105683966A (zh) * 2016-01-30 2016-06-15 深圳市博信诺达经贸咨询有限公司 基于大数据的搜索方法及***
CN105849730A (zh) * 2016-03-25 2016-08-10 马岩 数据抓取的方法及***
CN106227888A (zh) * 2016-08-15 2016-12-14 马岩 安全等级在大数据抓取中的应用方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004782A (zh) * 2010-11-25 2011-04-06 北京搜狗科技发展有限公司 一种搜索结果排序方法和搜索结果排序器
CN105117476A (zh) * 2015-09-08 2015-12-02 刘珉恺 一种基于网络平台的搜索方法
CN105683966A (zh) * 2016-01-30 2016-06-15 深圳市博信诺达经贸咨询有限公司 基于大数据的搜索方法及***
CN105849730A (zh) * 2016-03-25 2016-08-10 马岩 数据抓取的方法及***
CN106227888A (zh) * 2016-08-15 2016-12-14 马岩 安全等级在大数据抓取中的应用方法及***

Similar Documents

Publication Publication Date Title
WO2017128362A1 (fr) Procédé et système de recherche faisant appel à des données massives
WO2018032251A1 (fr) Procédé et système pour appliquer un niveau de sécurité à l'extraction de mégadonnées
WO2018032252A1 (fr) Procédé et système de recherche sécurisée de mégadonnées sur des forums de discussion
WO2018032246A1 (fr) Procédé et système de recherche de mégadonnées(big data) dans un réseau local
WO2018032245A1 (fr) Procédé et système de recherche de données destinés à des données de commentaire d'un logiciel de réseautage social
WO2018032254A1 (fr) Procédé et système d'extraction de vidéo de confiance dans des mégadonnées
WO2018027928A1 (fr) Procédé et système de capture de mégadonnées de forum
WO2018032250A1 (fr) Procédé et système de recherche de données de texte destinés à des données volumineuses
WO2018027927A1 (fr) Procédé et système de recherche de données de page web
WO2018032253A1 (fr) Procédé et système de recherche sécurisée pour mégadonnées d'images
WO2018032249A1 (fr) Procédé et système d'extraction de données audio
WO2018032248A1 (fr) Procédé et système d'application de recherche d'image pour rechercher dans des mégadonnées
US20130304738A1 (en) Managing multimedia information using dynamic semantic tables
WO2017117783A1 (fr) Système et procédé de recherche d'informations de réseau
WO2018006254A1 (fr) Procédé et système de récupération basés sur des données de courrier de réseau local
WO2018006217A1 (fr) Procédé et système de récupération basés sur des données de courrier de réseau
WO2017128440A1 (fr) Procédé et système destinés à la surveillance et au rappel de mégadonnées
WO2017117781A1 (fr) Procédé et système de classification d'informations de réseau
WO2018006218A1 (fr) Procédé et système de récupération basés sur des données de courrier locales
WO2018157330A1 (fr) Procédé et système de partitionnement de mégadonnées
WO2017128438A1 (fr) Procédé et système d'application de mégadonnées
WO2018006256A1 (fr) Procédé et système de collecte de données de courrier locales
WO2018032247A1 (fr) Procédé et système de recherche pour mégadonnées de vidéos
WO2018006255A1 (fr) Procédé et système de collecte de données de messagerie de réseau
WO2018157332A1 (fr) Procédé et système statistiques appliqués à des mégadonnées

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16913015

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16913015

Country of ref document: EP

Kind code of ref document: A1