WO2018006217A1 - 基于网络邮件数据的抓取方法及*** - Google Patents

基于网络邮件数据的抓取方法及*** Download PDF

Info

Publication number
WO2018006217A1
WO2018006217A1 PCT/CN2016/088306 CN2016088306W WO2018006217A1 WO 2018006217 A1 WO2018006217 A1 WO 2018006217A1 CN 2016088306 W CN2016088306 W CN 2016088306W WO 2018006217 A1 WO2018006217 A1 WO 2018006217A1
Authority
WO
WIPO (PCT)
Prior art keywords
mail data
keyword
category
network
data corresponding
Prior art date
Application number
PCT/CN2016/088306
Other languages
English (en)
French (fr)
Inventor
马岩
Original Assignee
马岩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 马岩 filed Critical 马岩
Priority to PCT/CN2016/088306 priority Critical patent/WO2018006217A1/zh
Publication of WO2018006217A1 publication Critical patent/WO2018006217A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor

Definitions

  • the present invention relates to the field of communications, and in particular, to a method and system for crawling based on network mail data.
  • the Internet is a global network connected by computers that communicate with each other using a common language, that is, an international computer network composed of a wide area network, a local area network, and a single unit in accordance with a certain communication protocol.
  • the Internet is a carrier of public information, and this mass media is faster than any previous communication medium.
  • the mail data on the Internet is a huge amount of mail data. How to crawl according to the massive mail data is a research direction worthwhile.
  • the existing mail data capture method cannot effectively capture the network mail data.
  • the application provides a method for crawling network mail data. It solves the shortcoming that the prior art technical solution cannot effectively capture the network mail data.
  • a method for crawling based on webmail data comprising the following steps:
  • the mail data including the keyword or the synonym of the keyword is filtered in the mail data corresponding to the category.
  • the method further includes:
  • the method further includes:
  • a crawling system based on webmail data comprising:
  • An obtaining unit configured to acquire a keyword of the captured mail data
  • a category unit configured to acquire a category of the keyword according to the keyword, and capture the mail data corresponding to the category in the network mail data;
  • a filtering unit configured to filter, in the mail data corresponding to the category, mail data including the keyword or a synonym of the keyword.
  • system further includes:
  • a statistical unit that counts the number of mail data after filtering is
  • system further includes:
  • the number of times unit used to obtain the number of occurrences of keywords or synonyms of the filtered mail data.
  • the technical solution provided by the present invention acquires the keyword of the captured mail data, obtains the category of the keyword according to the keyword, and captures the mail data corresponding to the category in the network mail data, and filters the mail data corresponding to the category.
  • the mail data containing the keyword or the synonym of the keyword so it has the advantage of effectively crawling the web mail data.
  • FIG. 1 is a flowchart of a method for crawling based on network mail data according to a first preferred embodiment of the present invention
  • FIG. 2 is a structural diagram of a network mail data-based crawling system according to a second preferred embodiment of the present invention.
  • FIG. 1 is a schematic diagram of a method for capturing data based on network mail data according to a first preferred embodiment of the present invention. The method is as shown in FIG.
  • Step S101 Obtain a keyword of the captured mail data.
  • Step S102 Obtain a category of the keyword according to the keyword, and retrieve the mail data corresponding to the category in the network mail data;
  • Step S103 Filtering the mail data including the keyword or the synonym of the keyword in the mail data corresponding to the category.
  • the technical solution provided by the present invention acquires the keyword of the captured mail data, obtains the category of the keyword according to the keyword, and captures the mail data corresponding to the category in the network mail data, and filters the mail data corresponding to the category.
  • the mail data containing the keyword or the synonym of the keyword so it has the advantage of effectively crawling the web mail data.
  • the foregoing method may further include:
  • the foregoing method may further include:
  • FIG. 2 is a schematic diagram of a webmail data-based crawling system according to a second preferred embodiment of the present invention.
  • the system includes:
  • the obtaining unit 201 is configured to acquire a keyword of the captured mail data.
  • the class unit 202 is configured to acquire the category of the keyword according to the keyword, and capture the mail data corresponding to the category in the network mail data;
  • the filtering unit 203 is configured to filter, in the mail data corresponding to the category, mail data including the keyword or a synonym of the keyword.
  • the technical solution provided by the present invention acquires the keyword of the captured mail data, obtains the category of the keyword according to the keyword, and captures the mail data corresponding to the category in the network mail data, and filters the mail data corresponding to the category.
  • the mail data containing the keyword or the synonym of the keyword so it has the advantage of effectively crawling the web mail data.
  • the above system may further include:
  • the statistic unit 204 is configured to count the number of mail data after the screening.
  • the above system may further include:
  • the number of times unit 205 is used to obtain the number of occurrences of the keyword or synonym of the filtered mail data.
  • the program may be stored in a computer readable storage medium, and the storage medium may include: Flash drive, read-only memory (English: Read-Only Memory, referred to as: ROM), random accessor (English: Random Access Memory, referred to as: RAM), disk or CD.
  • ROM Read-Only Memory
  • RAM Random Access Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种基于网络邮件数据的抓取方法及***，所述方法包括如下步骤：获取该抓取邮件数据的关键字（101）；依据该关键字获取该关键字的类别，在网络邮件数据中抓取该类别对应的邮件数据（102）；在该类别对应的邮件数据中筛选包含该关键字或该关键字的同义字的邮件数据（103）。上述技术方案具有邮件数据抓取有效的优点。

Description

基于网络邮件数据的抓取方法及*** 技术领域
本发明涉及通信领域，尤其涉及一种基于网络邮件数据的抓取方法及***。
 背景技术
互联网（internet），是由一些使用公用语言互相通信的计算机连接而成的全球网络，即广域网、局域网及单机按照一定的通讯协议组成的国际计算机网络。互联网是一种公用信息的载体，这种大众传媒比以往的任何一种通讯媒体都要快。互联网中的邮件数据是海量的邮件数据，如何依据该海量的邮件数据进行抓取是一个值得研究的方向，现有的邮件数据抓取方法无法对网络邮件数据进行有效的抓取。
 技术问题
本申请提供一种网络邮件数据的抓取方法。其解决现有技术的技术方案无法对网络邮件数据进行有效抓取的缺点。
 技术解决方案
一方面，提供一种基于网络邮件数据的抓取方法，所述方法包括如下步骤：
获取该抓取邮件数据的关键字；
依据该关键字获取该关键字的类别，在网络邮件数据中抓取该类别对应的邮件数据；
在该类别对应的邮件数据中筛选包含该关键字或该关键字的同义字的邮件数据。
可选的，所述方法还包括：
统计筛选后的邮件数据的数量。
可选的，所述方法还包括：
获取筛选后的邮件数据的关键字或同义字的出现次数。
第二方面，提供一种基于网络邮件数据的抓取***，所述***包括：
获取单元，用于获取该抓取邮件数据的关键字；
类别单元，用于依据该关键字获取该关键字的类别，在网络邮件数据中抓取该类别对应的邮件数据；
筛选单元，用于在该类别对应的邮件数据中筛选包含该关键字或该关键字的同义字的邮件数据。
可选的，所述***还包括：
统计单元，用于统计筛选后的邮件数据的数量。
可选的，所述***还包括：
次数单元，用于获取筛选后的邮件数据的关键字或同义字的出现次数。
 有益效果
本发明提供的技术方案获取该抓取邮件数据的关键字，依据该关键字获取该关键字的类别，在网络邮件数据中抓取该类别对应的邮件数据，在该类别对应的邮件数据中筛选包含该关键字或该关键字的同义字的邮件数据，所以其具有对网络邮件数据有效抓取的优点。
 附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明第一较佳实施方式提供的一种基于网络邮件数据的抓取方法的流程图；
图2为本发明第二较佳实施方式提供的一种基于网络邮件数据的抓取***的结构图。
 本发明的实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1是本发明第一较佳实施方式提出的一种基于网络邮件数据的抓取方法，该方法如图1所示，包括如下步骤：
步骤S101、获取该抓取邮件数据的关键字；
步骤S102、依据该关键字获取该关键字的类别，在网络邮件数据中抓取该类别对应的邮件数据；
步骤S103、在该类别对应的邮件数据中筛选包含该关键字或该关键字的同义字的邮件数据。
本发明提供的技术方案获取该抓取邮件数据的关键字，依据该关键字获取该关键字的类别，在网络邮件数据中抓取该类别对应的邮件数据，在该类别对应的邮件数据中筛选包含该关键字或该关键字的同义字的邮件数据，所以其具有对网络邮件数据有效抓取的优点。
可选的，上述方法在步骤S103之后还可以包括：
统计筛选后的邮件数据的数量。
可选的，上述方法在步骤S103之后还可以包括：
获取筛选后的邮件数据的关键字或同义字的出现次数。
请参考图2，图2是本发明第二较佳实施方式提出的一种基于网络邮件数据的抓取***，该***包括：
获取单元201，用于获取该抓取邮件数据的关键字；
类别单元202，用于依据该关键字获取该关键字的类别，在网络邮件数据中抓取该类别对应的邮件数据；
筛选单元203，用于在该类别对应的邮件数据中筛选包含该关键字或该关键字的同义字的邮件数据。
本发明提供的技术方案获取该抓取邮件数据的关键字，依据该关键字获取该关键字的类别，在网络邮件数据中抓取该类别对应的邮件数据，在该类别对应的邮件数据中筛选包含该关键字或该关键字的同义字的邮件数据，所以其具有对网络邮件数据有效抓取的优点。
可选的，上述***还可以包括：
统计单元204，用于统计筛选后的邮件数据的数量。
可选的，上述***还可以包括：
次数单元205，用于获取筛选后的邮件数据的关键字或同义字的出现次数。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（英文：Read-Only Memory ，简称：ROM）、随机存取器（英文：Random Access Memory，简称：RAM）、磁盘或光盘等。
以上对本发明实施例所提供的内容下载方法及相关设备、***进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

  1. 一种基于网络邮件数据的抓取方法，其特征在于，所述方法包括如下步骤：
    获取该抓取邮件数据的关键字；
    依据该关键字获取该关键字的类别，在网络邮件数据中抓取该类别对应的邮件数据；
    在该类别对应的邮件数据中筛选包含该关键字或该关键字的同义字的邮件数据。
  2. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    统计筛选后的邮件数据的数量。
  3. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    获取筛选后的邮件数据的关键字或同义字的出现次数。
  4. 一种基于网络邮件数据的抓取***，其特征在于，所述***包括：
    获取单元，用于获取该抓取邮件数据的关键字；
    类别单元，用于依据该关键字获取该关键字的类别，在网络邮件数据中抓取该类别对应的邮件数据；
    筛选单元，用于在该类别对应的邮件数据中筛选包含该关键字或该关键字的同义字的邮件数据。
  5. 根据权利要求4所述的***，其特征在于，所述***还包括：
    统计单元，用于统计筛选后的邮件数据的数量。
  6. 根据权利要求4所述的***，其特征在于，所述***还包括：
    次数单元，用于获取筛选后的邮件数据的关键字或同义字的出现次数。
PCT/CN2016/088306 2016-07-04 2016-07-04 基于网络邮件数据的抓取方法及*** WO2018006217A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/088306 WO2018006217A1 (zh) 2016-07-04 2016-07-04 基于网络邮件数据的抓取方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/088306 WO2018006217A1 (zh) 2016-07-04 2016-07-04 基于网络邮件数据的抓取方法及***

Publications (1)

Publication Number Publication Date
WO2018006217A1 true WO2018006217A1 (zh) 2018-01-11

Family

ID=60901256

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/088306 WO2018006217A1 (zh) 2016-07-04 2016-07-04 基于网络邮件数据的抓取方法及***

Country Status (1)

Country Link
WO (1) WO2018006217A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751459A (zh) * 2009-12-31 2010-06-23 深圳市蓝凌软件股份有限公司 一种电子设备中数据处理的方法和装置
CN102341800A (zh) * 2009-03-17 2012-02-01 富士通株式会社 检索处理方法以及装置
US20120191750A1 (en) * 2008-03-27 2012-07-26 Brother Kogyo Kabushiki Kaisha Content management device, content management system, and content management method
CN105488062A (zh) * 2014-09-19 2016-04-13 鞍钢股份有限公司 一种精准信息***数据搜索方法
CN105608227A (zh) * 2016-01-26 2016-05-25 唐山新质点科技有限公司 文档数据检索方法及装置
CN106209507A (zh) * 2016-07-04 2016-12-07 马岩 基于网络邮件数据的抓取方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120191750A1 (en) * 2008-03-27 2012-07-26 Brother Kogyo Kabushiki Kaisha Content management device, content management system, and content management method
CN102341800A (zh) * 2009-03-17 2012-02-01 富士通株式会社 检索处理方法以及装置
CN101751459A (zh) * 2009-12-31 2010-06-23 深圳市蓝凌软件股份有限公司 一种电子设备中数据处理的方法和装置
CN105488062A (zh) * 2014-09-19 2016-04-13 鞍钢股份有限公司 一种精准信息***数据搜索方法
CN105608227A (zh) * 2016-01-26 2016-05-25 唐山新质点科技有限公司 文档数据检索方法及装置
CN106209507A (zh) * 2016-07-04 2016-12-07 马岩 基于网络邮件数据的抓取方法及***

Similar Documents

Publication Publication Date Title
WO2012095042A2 (zh) 对通信设备中配置命令进行清除的方法和装置
WO2018006254A1 (zh) 基于局域网邮件数据的抓取方法及***
WO2019000304A1 (zh) 舆情监控方法及***
WO2018006217A1 (zh) 基于网络邮件数据的抓取方法及***
WO2018006218A1 (zh) 基于本地邮件数据的抓取方法及***
WO2018006255A1 (zh) 网络邮件数据的搜集方法及***
WO2018006256A1 (zh) 本地邮件数据的搜集方法及***
WO2018014316A1 (zh) 局域网邮件数据的搜集方法及***
WO2017128357A1 (zh) 基于大数据的网页抓取方法及***
WO2018032249A1 (zh) 音频数据的抓取方法及***
WO2018027928A1 (zh) 论坛海量数据的抓取方法及***
WO2018157330A1 (zh) 大数据的划分方法及***
WO2018032246A1 (zh) 局域网中大数据的搜索方法及***
WO2018032245A1 (zh) 从社交软件评论数据中搜索数据的方法及***
WO2019061384A1 (zh) 分布式爬虫***中任务管理器的选举方法及***
WO2018032253A1 (zh) 图片大数据的安全搜索方法及***
WO2018032250A1 (zh) 大数据中搜索文字数据的方法及***
WO2018032254A1 (zh) 可信视频在大数据中的抓取方法及***
WO2018032251A1 (zh) 安全等级在大数据抓取中的应用方法及***
WO2018032252A1 (zh) 论坛大数据的安全搜索方法及***
WO2018027927A1 (zh) 网页数据的搜索方法及***
WO2018014317A1 (zh) 网络邮件数据的分类存储方法及***
WO2018157391A1 (zh) 大数据企业评价的方法及***
WO2018165837A1 (zh) 网上信息抓取方法及***
WO2018014319A1 (zh) 网络邮件数据的分类存储方法及***

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16907726

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16907726

Country of ref document: EP

Kind code of ref document: A1