CN113392302A - 一种电力外部环境检测的分析*** - Google Patents
一种电力外部环境检测的分析*** Download PDFInfo
- Publication number
- CN113392302A CN113392302A CN202110681200.8A CN202110681200A CN113392302A CN 113392302 A CN113392302 A CN 113392302A CN 202110681200 A CN202110681200 A CN 202110681200A CN 113392302 A CN113392302 A CN 113392302A
- Authority
- CN
- China
- Prior art keywords
- data
- external environment
- environment
- acquisition module
- electric power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 title description 3
- 238000012544 monitoring process Methods 0.000 claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 238000007726 management method Methods 0.000 claims abstract description 11
- 238000013523 data management Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 13
- 238000007405 data analysis Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000013500 data storage Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 abstract description 2
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种电力外部环境检测的分析***。包括电力环境大数据采集模组、电力外部环境数据库以及电力外部环境分析平台，电力环境大数据采集模组包括有顶点规则化采集模块、自动化采集模块、元数据精准采集模块、分布式采集模块和可视化采集模块，电力外部环境数据库用于存储六大环境基础数据、异构数据的存储、可视化数据展现以及还设置有外部环境数据管理服务组件，电力外部环境分析平台用于电力外部环境大数据采编及发布，形成监测分析报告，其通过电力外部环境数据库的初步主题分类归集及信息可视化预览，采纳合理的信息文件，并逐条形成电子刊物发布，通过平台采编管理的使用，实现高效信息管理提供便捷高效的信息交互机制。
Description
技术领域
本发明涉及电力技术领域，具体的涉及一种电力外部环境检测的分析***。
背景技术
福建公司目前已建立了电力外部环境监测的分析体系，并开展了长期的常态化跟踪分析研究。研究体系包括政策环境、经济环境、能源环境、行业环境、自然环境和技术环境6个维度在内的监测要素体系，提出各要素影响公司运营的定性关联分析逻辑，形成一个全方位、多角度的完整外部环境监测信息链。及时发现外部环境可能对公司运营产生影响的风险点，及早研判各类风险、提出预警，为公司经营决策提供有力支撑。当前公司面临着经济运行进入新常态、电力需求增速放缓、电力体制改革深入推进等一系列复杂的外部环境，外部形势变化对公司经营管理的影响日益加大。国际上知名企业均建立有专门的外部环境分析部门，分析评估对公司的影响，提出风险预警和应对建议，为公司战略制定和日常决策提供参考。因此，全方面、***性地开展电网企业外部环境监测分析研究具有十分重要的意义。
发明内容
本发明的目的在于提供一种电力外部环境检测的分析***，利用网络爬虫等舆情数据采集技术，实现对全网主题环境数据信息的自动化准确采集，清洗滤重，自动进行初步分类组织，规则化存储电力外部环境数据，构建数据存储规则、语义分析及文本抽取，自动生成可供定量分析和综合比对的电力外部环境数据库库，为建立电力外部环境监测分析平台提供数据支撑。
为实现上述目的，本发明的技术方案是：一种电力外部环境检测的分析***，包括电力环境大数据采集模组、电力外部环境数据库以及电力外部环境分析平台；
所述电力环境大数据采集模组，用于对电力外部环境监测站点信息进行自动监测、采集，对采集的信息内容提取和排重，以及文本编码的自动识别转换和规则定制数据采集；所述电力环境大数据采集模组包括：
定点规则化采集模块，用于对六大维度的电力外部环境监测站点信息的全面监测、抓取和记录，具有对图片类、音视频类数据的自动识别能力；
自动化采集模块，用于自动过滤网页中新闻的正文内容，剔除广告、版权类垃圾信息，根据文档标题、内容的匹配程度确定是否重复，对确实摘要的环境数据信息，自动形成摘要；
元数据精准采集模块，用于在自动化采集模块的正文提取的同时，通过基于模型的元数据解析，对于每条电力环境数据，根据监测要点解析出时间、主题、内容并监测元数据属性；
分布式采集模块，用于以微服务方式提供采集服务功能，支持水平扩展及各微服务组件的独立部署；
可视化采集模块，包括可视化采集规则编写界面，用于提升采集规则的编写效率和精准采集；
所述电力外部环境数据库基于所述电力环境大数据采集模组的输出结果，构建电力外部环境数据库，通过集成外部环境各类监测相关数据，设置数据共享，以满足电力外部环境大数据分析对于数据及时共享的迫切需求，为建立具备“数据驱动”、“结果易读”、“机器学***台提供基础数据支撑；所述电力外部环境数据库包括：
六大环境基础数据，建立覆盖经济、政策、能源、行业、自然、技术六大环境的外部环境基础数据库、指标库、主题数据库、元数据库，为建立基于大数据分析技术的电力外部环境分析平台，提供基础数据支撑；
异构数据存储功能，建立异构数据库之间数据交换和共享，与各种主流关系型数据库连接，支撑不同操作***之间信息交换应用的互联互通；
可视化数据展现功能，提供可视化的数据展现界面，对数据内容的整理及归类，并进行校验，从而优化调整数据规则及管理数据，并以报表和图表的形式展示统计结果；
外部环境数据管理服务组件，所述外部环境数据管理服务组件包括：公共代码管理、数据字典管理，同时还提供对电力环境大数据内各类数据的统计、分析功能，包括数据集更新情况、用户使用资源情况、数据种类、数据量情况、数据更新情况；
所述电力外部环境分析平台，用于电力外部环境大数据采编及发布，形成监测分析报告，其通过电力外部环境数据库的初步主题分类归集及信息可视化预览，采纳信息文件，并逐条形成电子刊物发布。
在本发明一实施例中，所述的六大维度分别为政策环境、经济环境、能源环境、行业环境、自然环境和技术环境。
相较于现有技术，本发明具有以下有益效果：本发明方案通过电力外部环境数据库的初步主题分类归集及信息可视化预览，合理的信息文件将被采纳，并逐条形成电子刊物发布，自动化电力环境大数据采集组件保证信息的及时性、有效性，通过平台采编管理的使用，实现高效的电力外部环境信息管理，提高各类主题信息报告生成的效率，强化信息枢纽能力，为电力外部环境信息平台内容发布网站之间提供便捷高效的信息交互机制，为环境数据的高效、精确搜索及分析利用提供基础支撑。
附图说明
图1为本方案的电力外部环境监测分析平台的架构示意图；
图2为本方案的内外网平台架构示意图；
图3为本方案的信息采编发布架构示意图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
结合附图1-3对本发明进一步说明：本发明方案是在一种电力外部环境监测分析平台***，包括：
电力环境大数据采集模组，用于对电力外部环境监测站点信息进行自动监测、采集，对采集的信息内容提取和排重，包括文本编码的自动识别转换和规则定制数据采集：
1）定点规则化采集模块，用于对六大维度的电力外部环境监测点数据的全面监测、抓取和记录，具有对图片类、音视频类数据的自动识别能力；
2）自动化采集模块，用于自动过滤网页中新闻的正文内容，剔除广告、版权类垃圾信息，根据文档标题、内容的匹配程度确定是否重复，对确实摘要的环境数据信息，自动形成摘要；
3）元数据精准采集模块，用于在上述的正文提取同时，通过基于模型的元数据解析，对于每条电力环境数据，根据监测要点解析出时间、主题、内容并监测元数据属性；
4）分布式采集模块，用于以微服务方式提供采集服务功能，支持水平扩展及各微服务组件的独立部署；
5）可视化采集模块，包括可视化采集规则编写界面，用于提升采集规则的编写效率和精准采集；
电力外部环境数据库，基于上述的电力环境大数据采集组件的输出结果，构建电力外部环境数据库，通过集成外部环境各类监测相关数据，设置数据共享，以满足电力外部环境大数据分析对于数据及时共享的迫切需求，为建立具备“数据驱动”、“结果易读”、“机器学***台提供基础数据支撑，电力外部环境数据库包括：
1）六大环境基础数据，建立覆盖经济、政策、能源、行业、自然、技术六大环境的外部环境基础数据库、指标库、主题数据库、元数据库，为建立基于大数据分析技术的外部环境数据分析平台，提供基础数据支撑；
2）异构数据存储，建立异构数据库之间数据交换和共享，与各种主流关系型数据库连接，支撑不同操作***之间信息交换应用的互联互通；
3）可视化数据展现，提供可视化的数据展现界面，有效高效的对数据内容的整理及归类，并进行校验，从而优化调整数据规则及管理数据，并以报表和图表的形式展示统计结果；
4）外部环境数据管理服务组件，所述的外部环境数据管理服务组件包括：公共代码管理、数据字典管理，同时还提供对电力环境大数据内各类数据的统计、分析功能，包括数据集更新情况、用户使用资源情况、数据种类、数据量情况、数据更新情况；
电力外部环境分析平台，用于电力外部环境大数据采编及发布，形成监测分析报告，其通过电力外部环境数据库的初步主题分类归集及信息可视化预览，采纳合理的信息文件，并逐条形成电子刊物发布。
优选的，所述的六大维度分别为政策环境、经济环境、能源环境、行业环境、自然环境和技术环境。
本发明的技术方案利用网络爬虫等舆情数据采集技术，进一步可延伸可实现对全网主题环境数据信息的，自动自动化准确采集，清洗滤重进行初步分类组织，规则化存储电力外部环境数据，构建数据存储规则、语义分析及文本抽取，自动生成可供定量分析和综合比对的电力外部环境大数据仓库库。为环境数据的高效、精确搜索及分析利用提供基础支撑。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (2)
1.一种电力外部环境检测的分析***，其特征在于，包括电力环境大数据采集模组、电力外部环境数据库以及电力外部环境分析平台；
所述电力环境大数据采集模组，用于对电力外部环境监测站点信息进行自动监测、采集，对采集的信息内容提取和排重，以及文本编码的自动识别转换和规则定制数据采集；所述电力环境大数据采集模组包括：
定点规则化采集模块，用于对六大维度的电力外部环境监测站点信息的全面监测、抓取和记录，具有对图片类、音视频类数据的自动识别能力；
自动化采集模块，用于自动过滤网页中新闻的正文内容，剔除广告、版权类垃圾信息，根据文档标题、内容的匹配程度确定是否重复，对确实摘要的环境数据信息，自动形成摘要；
元数据精准采集模块，用于在自动化采集模块的正文提取的同时，通过基于模型的元数据解析，对于每条电力环境数据，根据监测要点解析出时间、主题、内容并监测元数据属性；
分布式采集模块，用于以微服务方式提供采集服务功能，支持水平扩展及各微服务组件的独立部署；
可视化采集模块，包括可视化采集规则编写界面，用于提升采集规则的编写效率和精准采集；
所述电力外部环境数据库基于所述电力环境大数据采集模组的输出结果，构建电力外部环境数据库，通过集成外部环境各类监测相关数据，设置数据共享，以满足电力外部环境大数据分析对于数据及时共享的迫切需求，为建立具备“数据驱动”、“结果易读”、“机器学***台提供基础数据支撑；所述电力外部环境数据库包括：
六大环境基础数据，建立覆盖经济、政策、能源、行业、自然、技术六大环境的外部环境基础数据库、指标库、主题数据库、元数据库，为建立基于大数据分析技术的电力外部环境分析平台，提供基础数据支撑；
异构数据存储功能，建立异构数据库之间数据交换和共享，与各种主流关系型数据库连接，支撑不同操作***之间信息交换应用的互联互通；
可视化数据展现功能，提供可视化的数据展现界面，对数据内容的整理及归类，并进行校验，从而优化调整数据规则及管理数据，并以报表和图表的形式展示统计结果；
外部环境数据管理服务组件，所述外部环境数据管理服务组件包括：公共代码管理、数据字典管理，同时还提供对电力环境大数据内各类数据的统计、分析功能，包括数据集更新情况、用户使用资源情况、数据种类、数据量情况、数据更新情况；
所述电力外部环境分析平台，用于电力外部环境大数据采编及发布，形成监测分析报告，其通过电力外部环境数据库的初步主题分类归集及信息可视化预览，采纳信息文件，并逐条形成电子刊物发布。
2.根据权利要求1所述的一种电力外部环境检测的分析***，其特征在于，所述的六大维度分别为政策环境、经济环境、能源环境、行业环境、自然环境和技术环境。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110681200.8A CN113392302B (zh) | 2021-06-19 | 2021-06-19 | 一种电力外部环境检测的分析*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110681200.8A CN113392302B (zh) | 2021-06-19 | 2021-06-19 | 一种电力外部环境检测的分析*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113392302A true CN113392302A (zh) | 2021-09-14 |
| CN113392302B CN113392302B (zh) | 2022-05-13 |
Family
ID=77623038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110681200.8A Active CN113392302B (zh) | 2021-06-19 | 2021-06-19 | 一种电力外部环境检测的分析*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113392302B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745322A (zh) * | 2014-01-22 | 2014-04-23 | 云南电力调度控制中心 | 电力调度中省地二次***一体化综合监视及流程化管理***及实现方法 |
| US20150371242A1 (en) * | 2014-06-23 | 2015-12-24 | Caterpillar Inc. | Systems and methods for prime product forecasting |
| CN110290177A (zh) * | 2019-05-30 | 2019-09-27 | 中国电力科学研究院有限公司 | 一种面向电力调度的云服务*** |
| CN111429027A (zh) * | 2020-04-15 | 2020-07-17 | 国网福建省电力有限公司经济技术研究院 | 一种基于大数据的地区输电网运行多维度分析方法 |
| CN111640040A (zh) * | 2020-04-07 | 2020-09-08 | 国网新疆电力有限公司 | 基于客户画像技术的供电客户价值评价方法及大数据平台 |
| CN112508733A (zh) * | 2020-11-24 | 2021-03-16 | 国网思极神往位置服务（北京）有限公司 | 一种基于北斗的电网时空大数据智能服务*** |
-
2021
- 2021-06-19 CN CN202110681200.8A patent/CN113392302B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745322A (zh) * | 2014-01-22 | 2014-04-23 | 云南电力调度控制中心 | 电力调度中省地二次***一体化综合监视及流程化管理***及实现方法 |
| US20150371242A1 (en) * | 2014-06-23 | 2015-12-24 | Caterpillar Inc. | Systems and methods for prime product forecasting |
| CN110290177A (zh) * | 2019-05-30 | 2019-09-27 | 中国电力科学研究院有限公司 | 一种面向电力调度的云服务*** |
| CN111640040A (zh) * | 2020-04-07 | 2020-09-08 | 国网新疆电力有限公司 | 基于客户画像技术的供电客户价值评价方法及大数据平台 |
| CN111429027A (zh) * | 2020-04-15 | 2020-07-17 | 国网福建省电力有限公司经济技术研究院 | 一种基于大数据的地区输电网运行多维度分析方法 |
| CN112508733A (zh) * | 2020-11-24 | 2021-03-16 | 国网思极神往位置服务（北京）有限公司 | 一种基于北斗的电网时空大数据智能服务*** |
Non-Patent Citations (3)
| Title |
|---|
| JIA ZHAO: "Explore adaptive dropout deep computing and", 《EXPLORE ADAPTIVE DROPOUT DEEP COMPUTING AND》 * |
| 吴军英: "基于公共信息模型和大数据的电网可视化", 《自动化技术与应用》 * |
| 赵佳 等: "电力***自动化配网智能模式技术应用研究", 《电子测试》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113392302B (zh) | 2022-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107886238B (zh) | 一种基于海量数据分析的业务流程管理***及方法 | |
| CN104820670B (zh) | 一种电力信息大数据的采集和存储方法 | |
| CN107145586B (zh) | 一种基于电力营销数据的标签产出方法和装置 | |
| CN104063411B (zh) | 基于波特五力模型的企业情报收集方法 | |
| CN109754177B (zh) | 污染源画像标签体系、污染源画像的构造方法及其应用 | |
| CN112100149B (zh) | 日志自动化分析*** | |
| CN114048870A (zh) | 一种基于日志特征智能挖掘的电力***异常监测方法 | |
| CN110991707A (zh) | 一种云业务管理*** | |
| CN114648393A (zh) | 一种应用于招投标的数据挖掘方法、***及设备 | |
| Zhang | Application of data mining technology in digital library. | |
| CN113742357A (zh) | 一种跨平台设计数据自动归集并关联的方法和*** | |
| CN116384889A (zh) | 基于自然语言处理技术的情报大数据智能分析方法 | |
| CN112817958A (zh) | 电力规划数据采集方法、装置及智能终端 | |
| CN115309749A (zh) | 一种用于科技服务的大数据实验*** | |
| CN111666499A (zh) | 一种基于大数据的舆情监测云服务平台 | |
| CN113254517A (zh) | 一种基于互联网大数据的服务提供方法 | |
| CN113392302B (zh) | 一种电力外部环境检测的分析*** | |
| CN110889632B (zh) | 一种公司形象提升***的数据监测分析*** | |
| CN117216150A (zh) | 一种基于数据仓库的数据挖掘*** | |
| CN110837593A (zh) | 一种基于聚焦爬虫技术的旅游跟踪*** | |
| Qiao et al. | Constructing a data warehouse based decision support platform for China tourism industry | |
| CN114064997A (zh) | 一种基于大数据的人工智能电力调度决策*** | |
| CN114331365A (zh) | 一种用于知识产权的评估*** | |
| CN113449173A (zh) | 一种基于特征采样的信息技术提取*** | |
| CN112328604A (zh) | 面向时空画像标签管理的数据中台构建方法、***及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |