CN111460253A - 适用于大数据分析互联网数据抓取方法 - Google Patents
适用于大数据分析互联网数据抓取方法 Download PDFInfo
- Publication number
- CN111460253A CN111460253A CN202010212831.0A CN202010212831A CN111460253A CN 111460253 A CN111460253 A CN 111460253A CN 202010212831 A CN202010212831 A CN 202010212831A CN 111460253 A CN111460253 A CN 111460253A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- internet
- screening
- method suitable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000007405 data analysis Methods 0.000 title claims abstract description 20
- 238000013481 data capture Methods 0.000 title claims description 16
- 238000012216 screening Methods 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000009193 crawling Effects 0.000 claims description 4
- 238000011161 development Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 26
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
Claims (7)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010212831.0A CN111460253A (zh) | 2020-03-24 | 2020-03-24 | 适用于大数据分析互联网数据抓取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010212831.0A CN111460253A (zh) | 2020-03-24 | 2020-03-24 | 适用于大数据分析互联网数据抓取方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111460253A true CN111460253A (zh) | 2020-07-28 |
Family
ID=71685700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010212831.0A Pending CN111460253A (zh) | 2020-03-24 | 2020-03-24 | 适用于大数据分析互联网数据抓取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111460253A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113064947A (zh) * | 2021-04-08 | 2021-07-02 | 深圳石方数链科技有限公司 | 一种基于客户管理***的客户数据保护*** |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102208992A (zh) * | 2010-06-13 | 2011-10-05 | 天津海量信息技术有限公司 | 面向互联网的不良信息过滤***及其方法 |
CN104063448A (zh) * | 2014-06-18 | 2014-09-24 | 华东师范大学 | 一种视频领域相关的分布式微博数据抓取*** |
GB201507530D0 (en) * | 2015-05-01 | 2015-06-17 | Salesoptimize Ltd | Computer-implemented methods of website analysis |
CN105117484A (zh) * | 2015-09-17 | 2015-12-02 | 广州银讯信息科技有限公司 | 一种互联网舆情监测方法和*** |
CN105893368A (zh) * | 2014-11-19 | 2016-08-24 | 北京航天长峰科技工业集团有限公司 | 多语种网络舆情分析方法 |
CN106960063A (zh) * | 2017-04-20 | 2017-07-18 | 广州优亚信息技术有限公司 | 一种针对招商引资领域的互联网情报抓取和推荐*** |
CN109063054A (zh) * | 2018-07-19 | 2018-12-21 | 天津迈基生物科技有限公司 | 一种机器学习和大数据处理*** |
CN109255063A (zh) * | 2018-08-01 | 2019-01-22 | 宜人恒业科技发展(北京)有限公司 | 一种爬取网页内容的方法和装置 |
CN110321471A (zh) * | 2019-04-19 | 2019-10-11 | 四川政资汇智能科技有限公司 | 一种基于政策性资源汇聚的互联网科技金融智能匹配方法 |
-
2020
- 2020-03-24 CN CN202010212831.0A patent/CN111460253A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102208992A (zh) * | 2010-06-13 | 2011-10-05 | 天津海量信息技术有限公司 | 面向互联网的不良信息过滤***及其方法 |
CN104063448A (zh) * | 2014-06-18 | 2014-09-24 | 华东师范大学 | 一种视频领域相关的分布式微博数据抓取*** |
CN105893368A (zh) * | 2014-11-19 | 2016-08-24 | 北京航天长峰科技工业集团有限公司 | 多语种网络舆情分析方法 |
GB201507530D0 (en) * | 2015-05-01 | 2015-06-17 | Salesoptimize Ltd | Computer-implemented methods of website analysis |
CN105117484A (zh) * | 2015-09-17 | 2015-12-02 | 广州银讯信息科技有限公司 | 一种互联网舆情监测方法和*** |
CN106960063A (zh) * | 2017-04-20 | 2017-07-18 | 广州优亚信息技术有限公司 | 一种针对招商引资领域的互联网情报抓取和推荐*** |
CN109063054A (zh) * | 2018-07-19 | 2018-12-21 | 天津迈基生物科技有限公司 | 一种机器学习和大数据处理*** |
CN109255063A (zh) * | 2018-08-01 | 2019-01-22 | 宜人恒业科技发展(北京)有限公司 | 一种爬取网页内容的方法和装置 |
CN110321471A (zh) * | 2019-04-19 | 2019-10-11 | 四川政资汇智能科技有限公司 | 一种基于政策性资源汇聚的互联网科技金融智能匹配方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113064947A (zh) * | 2021-04-08 | 2021-07-02 | 深圳石方数链科技有限公司 | 一种基于客户管理***的客户数据保护*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107888574B (zh) | 检测数据库风险的方法、服务器及存储介质 | |
CN111245793A (zh) | 网络数据的异常分析方法及装置 | |
CN113098870A (zh) | 一种网络诈骗检测方法、装置、电子设备及存储介质 | |
CN109347808B (zh) | 一种基于用户群行为活动的安全分析方法 | |
CN115134099B (zh) | 基于全流量的网络攻击行为分析方法及装置 | |
CN109756467B (zh) | 一种钓鱼网站的识别方法及装置 | |
CN108229170B (zh) | 利用大数据和神经网络的软件分析方法和装置 | |
KR101692982B1 (ko) | 로그 분석 및 특징 자동 학습을 통한 위험 감지 및 접근제어 자동화 시스템 | |
CN113409555B (zh) | 一种基于物联网的实时报警联动方法及*** | |
CN108337269A (zh) | 一种WebShell检测方法 | |
CN113572757B (zh) | 服务器访问风险监测方法及装置 | |
CN109657119A (zh) | 一种基于访问日志ip分析的网络爬虫检测方法 | |
CN112839014A (zh) | 建立识别异常访问者模型的方法、***、设备及介质 | |
CN114244564A (zh) | 攻击防御方法、装置、设备及可读存储介质 | |
CN115982762A (zh) | 一种基于大数据的数据安全防漏管理方法、***和介质 | |
CN113918938A (zh) | 一种持续免疫安全***的用户实体行为分析方法及*** | |
CN111460253A (zh) | 适用于大数据分析互联网数据抓取方法 | |
CN117609992A (zh) | 一种数据泄密检测方法、装置及存储介质 | |
CN112528325B (zh) | 一种数据信息的安全处理方法及*** | |
CN112084239A (zh) | 基于大数据特征模型识别的信令网络安全挖掘分析方法 | |
CN113923037B (zh) | 一种基于可信计算的异常检测优化装置、方法及*** | |
CN113688346A (zh) | 一种违法网站识别方法、装置、设备及存储介质 | |
CN105205134B (zh) | 识别用户点击访问网站行为的方法及装置 | |
CN114389875A (zh) | 一种人机行为检测方法、***、设备及介质 | |
CN113132340B (zh) | 一种基于视觉与主机特征的钓鱼网站识别方法及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information |
Inventor after: Xiang Hui Inventor after: Zhang Yongli Inventor after: Su Ruiqing Inventor after: Zhang Hongyuan Inventor after: Cai Pengfei Inventor after: Zhang Jing Inventor after: Lu Yan Inventor after: Yang Qingzhuo Inventor after: Li Haolan Inventor before: Xiang Hui Inventor before: Zhang Yongli Inventor before: Su Ruiqing Inventor before: Zhang Hongyuan Inventor before: Cai Pengfei Inventor before: Zhang Jing Inventor before: Lu Yan Inventor before: Yang Qingzhuo Inventor before: Li Haolan |
|
CB03 | Change of inventor or designer information | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200728 |
|
RJ01 | Rejection of invention patent application after publication |