CN111582734A - 基于python爬虫***和SVM的海洋污染对比分析与风险评估的智能方法 - Google Patents

基于python爬虫***和SVM的海洋污染对比分析与风险评估的智能方法 Download PDF

Info

Publication number
CN111582734A
CN111582734A CN202010397031.0A CN202010397031A CN111582734A CN 111582734 A CN111582734 A CN 111582734A CN 202010397031 A CN202010397031 A CN 202010397031A CN 111582734 A CN111582734 A CN 111582734A
Authority
CN
China
Prior art keywords
pollution
data
marine
risk assessment
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010397031.0A
Other languages
English (en)
Inventor
谢婧倩
侯先瑞
徐文斌
储鸣
卞志和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ocean University
Original Assignee
Shanghai Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ocean University filed Critical Shanghai Ocean University
Priority to CN202010397031.0A priority Critical patent/CN111582734A/zh
Publication of CN111582734A publication Critical patent/CN111582734A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0635Risk analysis of enterprise or organisation activities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067Enterprise or organisation modelling
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于python爬虫***和SVM的海洋污染对比分析与风险评估的智能方法,包括以下步骤:步骤1,应用python爬虫***,从文献数据库中抓取与海洋污染相关的全部文献;步骤2,建立历史文献数据比对分析数据库;步骤3,建立国际标准数据库;步骤4,建立污染物风险评估的SVM模型;步骤5,***内置国际通用的海洋污染物风险评估模型;步骤6,对待评估海域进行采样测量,步骤7,基于实测数据,分别进行历史数据比对分析,步骤8,形成污染风险评估报告;步骤9,进行输出。本发明具有文献资料数字化、评判标准数字化、污染数据评估智能化、海洋污染大数据化、海洋国际标准智能化、污染风险评估模型自动化等优点。

Description

基于python爬虫***和SVM的海洋污染对比分析与风险评估 的智能方法
技术领域
本发明主要涉及海洋环境科学与工程领域,重点关于海洋污染水平评估及其风险评估智能化的方法。
背景技术
目前海洋污染研究的主要技术路径:通过进行海洋污染介质的调查研究,将研究结果与主要文献中的公开数据进行对比分析,并基于国标、欧盟标准及美国EPA标准,判断海洋生态的受污染程度,最终应用EPA风险评估模型对此进行风险评估。该技术路径虽然可对海洋生态的受污染水平进行较为合理的评估,但其评判结果受到数据资料、评判标准、人工数据比对效率等多因素的制约,工作量大,需耗费较大的时间与人力,效率低下。
现有技术中,一般通过手动筛选海洋污染文献,比对数值,查找标准,利用模型进行风险评估。
(1)成本高、效率低:目前研究采用的主要技术路径常需人工手动筛选文献,查找各类评判标准,然后进行污染数据对比分析,因此,传统技术的海洋污染评估需耗费大量的时间成本和人力成本,效率低;
(2)评判结果误差大:传统技术的研究结果受研究人员的文献调研与理解水平、对标准的理解应用水平、以及查阅文献资料的数量等因素的制约,因此,对不同的研究人员,评判结果的差异性较大。
发明内容
本发明提供了一种基于python爬虫***和支持向量机(SVM)的海洋污染对比分析与风险评估的智能方法,以解决现有技术中的以上问题。
本发明是通过以下技术方案实现的:
基于python爬虫***和SVM的海洋污染对比分析与风险评估的智能方法,包括以下步骤:
步骤1,应用python爬虫***,从文献数据库中抓取与海洋污染相关的全部文献;
步骤2,对步骤1中抓取的文献进行分析,并将文献中公开的参考数据及相关的模型进行数字化处理,建立历史文献数据比对分析数据库;
步骤3,将海洋污染物的国标、欧盟标准、美国EPA标准进行电子化,建立国际标准数据库;
步骤4,应用机器学习技术SVM对历史文献数据比对分析数据库中的数据和国际标准库的数据进行充分学习,建立污染物风险评估的SVM评估模型;
步骤5,为提高所建立的智能预报***的应用性和可信性,***同时内置了国际通用的海洋污染物风险评估模型,以方便用户对本发明方法的效果进行检验;
步骤6,对待评估海域进行采样测量,得到该海域的海洋污染数据,并将其输入所开发的历史文献数据比对分析数据库,进行比较分析;
步骤7,基于步骤6中得到的待评估海域的实测数据,输入所开发的国际标准数据库,将实测数据与国际主流污染标准进行验证,并分析比较验证结果;
步骤8,分别应用内置的国际通用的海洋污染物风险评估模型和SVM学习建立的污染物风险评估模型,对待评估海域的污染风险程度进行量化评估,形成污染风险评估报告;
步骤9,将步骤6和步骤7中的分析比较验证结果以及步骤8中生成的污染风险评估报告,进行输出。
进一步,所述步骤1中的文献数据库包括英文文献数据库、中文文献数据库。
进一步,所述英文文献数据库包括WOS、PubMed、Scopus、ProQuest。
进一步,所述中文文献数据库包括知网、万方、超星。
进一步,本方法***自主开发建立了污染风险智能评估SVM模型。
本发明具有以下有益效果:
(1)文献资料的数字化:将权威文献资料中的公开数据进行数字化,建立海洋污染数据对比验证的电子数据库;
(2)评判标准的数字化:将目前国际上主要标准(国标、欧盟标准、美国EPA标准)进行数字化,建立评判标准的电子资料库;
(3)污染数据评估的智能化:基于所建立的电子数据库,通过将海洋污染介质的实验测量数据录入***,实现海洋生态污染水平的智能化评判;
(4)风险评估智能化:应用机器学习技术SVM对大量的文献资料数据和国际标准数据进行学习,建立污染风险智能评估的SVM模型,并内置国际现有的风险评估模型,可基于实验测量数据或采样调研数据,应用多模型对污染风险进行智能评估,并对评估结果进行可视化显示。
(5)海洋污染大数据化,将已公开的海洋污染历史数据存储于***内,实测数据可与之直接进行对比分析,并给出比较结果;
(6)海洋国际标准智能化,将国际标准录入***内,实测数据可直接与之对比分析,并给出比较结果;
(7)污染风险评估模型自动计算化:污染风险评估模型直接录入***中,录入实测数据后,直接进行风险评估,并给出评估报告。
附图说明
图1为本发明海洋污染智能评估流程示意图。
图2为本发明海洋污染对比分析及风险评估结果。
具体实施方式
下面结合附图对本发明的实施例作详细说明:本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例1:
如图1和图2所示,基于python爬虫***和SVM的海洋污染对比分析与风险评估的方法,包括如下步骤:
步骤1:应用python爬虫***,通过爬取中英文文献中海洋持久性有机污染物(POPs)与重金属数据,建立海洋中POPs与重金属污染数据库;
步骤2,将海洋污染物的国标、欧盟标准、美国EPA标准进行电子化,建立国际标准数据库;
步骤3:采集海洋中大气、水体、沉积物及生物体样品,进行前处理和分析测定其体内POPs含量与重金属含量;
步骤4:将上步中的采样数据输入该发明***,与所建立的文献资料数据比对分析数据库中的数据及国际标准数据库中的标准进行比较,给出POPs与重金属浓度比较结果、是否超过标准值及风险信息,利用不同颜色的箭头进行表示;
步骤5,应用机器学习技术SVM对“历史文献数据比对分析数据库”中的数据和国际标准库的数据进行充分学习,建立污染物风险评估的SVM模型;
步骤6,将步骤3中采集的待评估海域中的样品数据,输入到***的污染风险评估模型(学习建立的SVM评估模型和内置的海洋污染物风险评估模型),对待评估海域的污染风险程度进行量化评估,并形成污染风险评估报告;
步骤7,将步骤4中的比较分析结果和步骤6中的污染风险评估报告,进行显示输出。
其中图2中A1:实测浓度值,Pn:第n个比较地点,Bn:第n个比较地点浓度值,C1:污染物国标规定标准,C2:污染物EPA规定标准,C3:污染物欧盟规定标准,D1:A1对应浓度求得风险评估值,S1:模型规定风险有无界定值。
实施例2:
实施例2中步骤1、步骤2与实施例1相同,步骤3,当测试***本身没有安装该发明技术时,先将实测数据从测试仪器上拷出,转化为.xls格式,启动发明技术的***程序,将.xls格式的文件导入,启动对比程序,自动完成浓度、标准比对及风险评估,给出可视化结果。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.基于python爬虫***和SVM的海洋污染对比分析与风险评估的智能方法,其特征在于,包括以下步骤:
步骤1,应用python爬虫***,从文献数据库中抓取与海洋污染相关的全部文献;
步骤2,对步骤1中抓取的文献进行分析,并将文献中公开的参考数据及相关的模型进行数字化处理,建立历史文献数据比对分析数据库;
步骤3,基于海洋污染物的国标、欧盟标准、美国EPA标准,建立国际标准数据库;
步骤4,应用机器学习技术SVM对历史文献数据比对分析数据库数据和国际标准库中的标准进行充分学习,建立污染物风险评估数学模型;
步骤5,***内置了国际通用的海洋污染物风险评估模型,以方便用户对本发明方法的效果进行检验;
步骤6,对待评估海域进行采样测量,得到该海域的海洋污染数据,并将其输入所开发的历史文献数据比对分析数据库,进行比较分析;
步骤7,基于步骤6中得到的待评估海域的实测数据,输入所开发的国际标准数据库,将实测数据与国际主流污染标准进行验证,并分析比较验证结果;
步骤8,分别应用内置的国际通用的海洋污染物风险评估模型和SVM学习建立的污染物风险评估模型,对待评估海域的污染风险程度进行量化评估,形成污染风险评估报告;
步骤9,将步骤6和步骤7中的分析比较验证结果以及步骤8中生成的污染风险评估报告,进行输出。
2.根据权利要求1所述的基于python爬虫***和SVM的海洋污染对比分析与风险评估的智能方法,其特征在于,所述步骤1中的文献数据库包括英文文献数据库、中文文献数据库。
3.根据权利要求2所述的基于python爬虫***和SVM的海洋污染对比分析与风险评估的智能方法,其特征在于,所述英文文献数据库包括WOS、PubMed、Scopus、ProQuest。
4.根据权利要求2所述的基于python爬虫***和SVM的海洋污染对比分析与风险评估的智能方法,其特征在于,所述中文文献数据库包括知网、万方、超星。
5.根据权利要求2所述的基于python爬虫***和SVM的海洋污染对比分析与风险评估的智能方法,其特征在于,该方法***自主开发建立了污染风险智能评估SVM模型。
CN202010397031.0A 2020-05-12 2020-05-12 基于python爬虫***和SVM的海洋污染对比分析与风险评估的智能方法 Pending CN111582734A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010397031.0A CN111582734A (zh) 2020-05-12 2020-05-12 基于python爬虫***和SVM的海洋污染对比分析与风险评估的智能方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010397031.0A CN111582734A (zh) 2020-05-12 2020-05-12 基于python爬虫***和SVM的海洋污染对比分析与风险评估的智能方法

Publications (1)

Publication Number Publication Date
CN111582734A true CN111582734A (zh) 2020-08-25

Family

ID=72113475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010397031.0A Pending CN111582734A (zh) 2020-05-12 2020-05-12 基于python爬虫***和SVM的海洋污染对比分析与风险评估的智能方法

Country Status (1)

Country Link
CN (1) CN111582734A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508228A (zh) * 2020-11-03 2021-03-16 北京理工大学前沿技术研究院 一种驾驶行为风险预测方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034213A (zh) * 2010-11-17 2011-04-27 华东师范大学 污染损害监测评估***及其评估方法
RU2541456C1 (ru) * 2014-10-03 2015-02-10 Институт биологии южных морей им. А.О. Ковалевского Способ биологической оценки токсичности морской среды
CN104966238A (zh) * 2015-06-11 2015-10-07 安徽融信金模信息技术有限公司 一种企业运营信息模拟分析***
CN106874960A (zh) * 2017-03-03 2017-06-20 中国水产科学研究院黄海水产研究所 基于改进支持向量机的渔业环境污染等级评估方法
CN109815315A (zh) * 2019-01-29 2019-05-28 中国矿业大学(北京) 一种基于文献的污染地块信息综合分析方法
CN110197727A (zh) * 2019-05-13 2019-09-03 中山大学附属第一医院 基于人工神经网络的上肢建模方法及运动机能评估***
CN110969345A (zh) * 2019-11-20 2020-04-07 北京淖尔科技有限公司 一种基于土壤重金属污染途径分析的风险评估方法
CN111028947A (zh) * 2019-12-02 2020-04-17 布谷鸟吉因健康科技(北京)有限公司 一种癌症预防健康管理方法及***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034213A (zh) * 2010-11-17 2011-04-27 华东师范大学 污染损害监测评估***及其评估方法
RU2541456C1 (ru) * 2014-10-03 2015-02-10 Институт биологии южных морей им. А.О. Ковалевского Способ биологической оценки токсичности морской среды
CN104966238A (zh) * 2015-06-11 2015-10-07 安徽融信金模信息技术有限公司 一种企业运营信息模拟分析***
CN106874960A (zh) * 2017-03-03 2017-06-20 中国水产科学研究院黄海水产研究所 基于改进支持向量机的渔业环境污染等级评估方法
CN109815315A (zh) * 2019-01-29 2019-05-28 中国矿业大学(北京) 一种基于文献的污染地块信息综合分析方法
CN110197727A (zh) * 2019-05-13 2019-09-03 中山大学附属第一医院 基于人工神经网络的上肢建模方法及运动机能评估***
CN110969345A (zh) * 2019-11-20 2020-04-07 北京淖尔科技有限公司 一种基于土壤重金属污染途径分析的风险评估方法
CN111028947A (zh) * 2019-12-02 2020-04-17 布谷鸟吉因健康科技(北京)有限公司 一种癌症预防健康管理方法及***

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
俞徐波;朱鸣鹤;牛程飞;: "两种溢油事故损害赔偿方法的应用对比" *
卢民荣;: "基于大数据的资产评估平台的研究与设计" *
操玮;李灿;贺婷婷;朱卫东;: "基于集成学习的中国P2P网络借贷信用风险预警模型的对比研究" *
沈禹;: "基于整数规划模型的风电场经济效益分析" *
牛宇驰: "大连西中岛石化码头海洋环境污染风险评估与应急对策研究" *
郑东升: "基于确定性、非确定性及其耦合模型的渤海湾近岸水生态环境研究" *
郭颂;边伟;刘洋;胡钛;: "基于SVM主题爬虫的航天情报采集应用研究" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508228A (zh) * 2020-11-03 2021-03-16 北京理工大学前沿技术研究院 一种驾驶行为风险预测方法及***

Similar Documents

Publication Publication Date Title
CN105631203A (zh) 识别土壤中重金属污染源的方法
CN113449956A (zh) 一种水污染快速溯源方法及***
CN111678969A (zh) 利用土壤剖面表层重金属累积比例解析重金属污染来源的方法
CN117491586B (zh) 一种水质检测方法及***
CN116359285A (zh) 一种基于大数据的油气浓度智能检测***及方法
CN116187861A (zh) 基于同位素的水质溯源监测方法及相关装置
CN111582734A (zh) 基于python爬虫***和SVM的海洋污染对比分析与风险评估的智能方法
CN114368795B (zh) 一种在线式黑臭水体的多模态辨识方法及***
CN103760307B (zh) 一种评价干酪根类型的方法
Ramos et al. LabVIEW 2010 computer vision platform based virtual instrument and its application for pitting corrosion study
CN112630202A (zh) 一种城市排水***的雨天溢流污水来源的识别方法
CN1896742A (zh) 空间污染实时监测公示仪
CN116448988A (zh) 一种工业园区土壤污染监测***及方法
CN116910655A (zh) 一种基于装置量测数据的智能电能表故障预测方法
CN115660455A (zh) 一种三水统筹下水质评价体系模型构建***、设备及终端
CN115081485A (zh) 一种基于ai的漏磁内检测数据自动分析方法
CN111007220B (zh) 一种生猪养殖污水水质敏捷监测的方法
CN113202455A (zh) 一种基于物联网的石油勘探方法及***
CN113887076A (zh) 基于数学模型对页岩地质条件进行综合评价与分析的方法及装置
Zhang et al. Control System of Intelligent Monitoring and Warning Equipment for Marine Heavy Metal Pollution in Port.
CN112147711A (zh) 野外快速获取海相页岩总有机碳方法及***
Tuckfield Estimating an appropriate sampling frequency for monitoring ground water well contamination
CN112070761B (zh) 一种基于深度学习的明虾新鲜度无损检测方法
CN117172429B (zh) 一种基于生物信息学的污水处理方法及***
Zhong et al. Monitoring methods of marine pollution range based on big data technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200825