CN105630941B - 基于统计和网页结构的Web正文内容抽取方法 - Google Patents
基于统计和网页结构的Web正文内容抽取方法 Download PDFInfo
- Publication number
- CN105630941B CN105630941B CN201510977385.1A CN201510977385A CN105630941B CN 105630941 B CN105630941 B CN 105630941B CN 201510977385 A CN201510977385 A CN 201510977385A CN 105630941 B CN105630941 B CN 105630941B
- Authority
- CN
- China
- Prior art keywords
- text
- text node
- tag path
- node
- web page
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9562—Bookmark management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
- G06F16/986—Document structures and storage, e.g. HTML extensions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
Claims (2)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510977385.1A CN105630941B (zh) | 2015-12-23 | 2015-12-23 | 基于统计和网页结构的Web正文内容抽取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510977385.1A CN105630941B (zh) | 2015-12-23 | 2015-12-23 | 基于统计和网页结构的Web正文内容抽取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105630941A CN105630941A (zh) | 2016-06-01 |
CN105630941B true CN105630941B (zh) | 2018-11-06 |
Family
ID=56045874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510977385.1A Active CN105630941B (zh) | 2015-12-23 | 2015-12-23 | 基于统计和网页结构的Web正文内容抽取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105630941B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106294722B (zh) * | 2016-08-09 | 2019-11-22 | 上海资誉网络科技有限公司 | 一种网页内容自动提取方法及装置 |
CN109948015B (zh) * | 2017-09-26 | 2023-10-03 | 中国科学院信息工程研究所 | 一种元搜索列表结果抽取方法及*** |
CN110020302A (zh) * | 2017-11-16 | 2019-07-16 | 富士通株式会社 | 提取网页内容的方法和网页内容提取装置 |
US10922366B2 (en) | 2018-03-27 | 2021-02-16 | International Business Machines Corporation | Self-adaptive web crawling and text extraction |
CN108920434B (zh) * | 2018-06-06 | 2022-08-30 | 武汉酷犬数据科技有限公司 | 一种通用的网页主题内容提取方法和*** |
CN109165333A (zh) * | 2018-07-12 | 2019-01-08 | 电子科技大学 | 一种基于网页数据的高速主题爬虫方法 |
CN109271598B (zh) * | 2018-08-01 | 2021-03-12 | 数据地平线(广州)科技有限公司 | 一种抽取新闻网页内容的方法、装置及存储介质 |
CN111339457B (zh) * | 2018-12-18 | 2023-09-08 | 富士通株式会社 | 用于从网页抽取信息的方法和设备及存储介质 |
CN110245349B (zh) * | 2019-05-21 | 2023-02-07 | 武汉数博科技有限责任公司 | 一种句法依存分析方法、装置及一种电子设备 |
CN110390037B (zh) * | 2019-07-25 | 2021-12-03 | 中南民族大学 | 基于dom树的信息分类方法、装置、设备及存储介质 |
CN111177301B (zh) * | 2019-11-26 | 2023-05-26 | 云南电网有限责任公司昆明供电局 | 一种关键信息识别提取方法及*** |
CN111241446B (zh) * | 2020-01-13 | 2023-10-31 | 杭州安恒信息技术股份有限公司 | 一种web网页的正文内容提取方法、装置、设备及介质 |
CN112667940B (zh) * | 2020-10-15 | 2022-02-18 | 广东电子工业研究院有限公司 | 基于深度学习的网页正文抽取方法 |
CN112328928A (zh) * | 2020-11-27 | 2021-02-05 | 山东省计算中心(国家超级计算济南中心) | 一种基于结构序列的文本脉络抽取方法及*** |
CN112765940B (zh) * | 2021-01-20 | 2024-04-19 | 南京万得资讯科技有限公司 | 一种基于主题特征和内容语义的网页去重方法 |
CN113378088B (zh) * | 2021-06-24 | 2024-01-19 | 中国电子信息产业集团有限公司第六研究所 | 一种网页正文抽取方法、装置、设备及存储介质 |
CN116881595B (zh) * | 2023-09-06 | 2023-12-15 | 江西顶易科技发展有限公司 | 一种可自定义的网页数据爬取方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102760150A (zh) * | 2012-04-05 | 2012-10-31 | 中国人民解放军国防科学技术大学 | 基于属性重现和标签路径的网页抽取方法 |
CN103246732A (zh) * | 2013-05-10 | 2013-08-14 | 合肥工业大学 | 一种在线Web新闻内容的抽取方法及*** |
CN104462532A (zh) * | 2014-12-23 | 2015-03-25 | 北京奇虎科技有限公司 | 网页正文提取的方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011063561A1 (en) * | 2009-11-25 | 2011-06-03 | Hewlett-Packard Development Company, L. P. | Data extraction method, computer program product and system |
-
2015
- 2015-12-23 CN CN201510977385.1A patent/CN105630941B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102760150A (zh) * | 2012-04-05 | 2012-10-31 | 中国人民解放军国防科学技术大学 | 基于属性重现和标签路径的网页抽取方法 |
CN103246732A (zh) * | 2013-05-10 | 2013-08-14 | 合肥工业大学 | 一种在线Web新闻内容的抽取方法及*** |
CN104462532A (zh) * | 2014-12-23 | 2015-03-25 | 北京奇虎科技有限公司 | 网页正文提取的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105630941A (zh) | 2016-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105630941B (zh) | 基于统计和网页结构的Web正文内容抽取方法 | |
CN102663023B (zh) | 一种提取网页内容的实现方法 | |
CN103853760B (zh) | 一种网页正文内容提取方法和装置 | |
US20050267915A1 (en) | Method and apparatus for recognizing specific type of information files | |
CN109543126B (zh) | 基于块文字占比的网页正文信息提取方法 | |
CN110413787B (zh) | 文本聚类方法、装置、终端和存储介质 | |
CN104199972A (zh) | 一种基于深度学习的命名实体关系抽取与构建方法 | |
CN103336766A (zh) | 短文本垃圾识别以及建模方法和装置 | |
CN103714176A (zh) | 基于最大文本密度的网页正文抽取方法 | |
CN102073654B (zh) | 生成与维护网页内容抽取模板的方法和设备 | |
CN101727461A (zh) | 一种网页的正文抽取方法 | |
CN102402566A (zh) | 基于中文网页自动分类技术的Web用户行为分析方法 | |
CN106407195B (zh) | 用于网页消重的方法和*** | |
CN106126502A (zh) | 一种基于支持向量机的情感分类***及方法 | |
CN103927397A (zh) | 一种基于区块树的Web页面链接块的识别方法 | |
CN102081667A (zh) | 基于Base64编码的中文文本分类方法 | |
CN102591612A (zh) | 一种基于标点连续性的通用网页正文提取方法及其*** | |
CN103810251A (zh) | 一种文本提取方法及装置 | |
CN102314520A (zh) | 基于统计回溯定位的网页正文提取方法和装置 | |
CN110134934A (zh) | 文本情感分析方法和装置 | |
CN108959204B (zh) | 互联网金融项目信息抽取方法和*** | |
CN113051500A (zh) | 一种融合多源数据的钓鱼网站识别方法及*** | |
CN107145591B (zh) | 一种基于标题的网页有效元数据内容提取方法 | |
CN106528509B (zh) | 网页信息提取方法及装置 | |
CN108694192B (zh) | 网页类型的判断方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 610000 Chengdu Research Institute, University of Electronic Science and technology, Southwest Airlines Development Zone, Shuangliu, Chengdu, Sichuan Applicant after: Chengdu cloud Future Information Science Co., Ltd. Address before: 610041 Shuangliu County Chengdu Southwest Airlines Economic Development Zone, Sichuan, China Applicant before: CHENGDU DIANKE XINTONG JIEXIN TECHNOLOGY CO., LTD. |
|
CB02 | Change of applicant information | ||
CB03 | Change of inventor or designer information |
Inventor after: Sun Jian Inventor after: Lu Chuan Inventor after: Tang Luyang Inventor before: Sun Jian Inventor before: Tang Luyang |
|
CB03 | Change of inventor or designer information | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20200617 Address after: 610000 Sichuan city of Chengdu province Tianfu Zheng Xing Shun Shing Street No. 172 Patentee after: Chengdu Tianfu cloud number information technology Co., Ltd Address before: 610000 Chengdu Research Institute, University of Electronic Science and technology, Southwest Airlines Development Zone, Shuangliu, Chengdu, Sichuan Patentee before: CHENGDU YUNSHU FUTURE INFORMATION SCIENCE Co.,Ltd. |
|
TR01 | Transfer of patent right |