CN112102111A - 一种发电厂数据智能处理*** - Google Patents

一种发电厂数据智能处理*** Download PDF

Info

Publication number
CN112102111A
CN112102111A CN202011029005.9A CN202011029005A CN112102111A CN 112102111 A CN112102111 A CN 112102111A CN 202011029005 A CN202011029005 A CN 202011029005A CN 112102111 A CN112102111 A CN 112102111A
Authority
CN
China
Prior art keywords
data
module
management
calculation
power plant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011029005.9A
Other languages
English (en)
Other versions
CN112102111B (zh
Inventor
刘自愿
林平
谢鹏
唐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huadianfu New Guangzhou Energy Co ltd
Original Assignee
Huadianfu New Guangzhou Energy Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huadianfu New Guangzhou Energy Co ltd filed Critical Huadianfu New Guangzhou Energy Co ltd
Priority to CN202011029005.9A priority Critical patent/CN112102111B/zh
Publication of CN112102111A publication Critical patent/CN112102111A/zh
Application granted granted Critical
Publication of CN112102111B publication Critical patent/CN112102111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种发电厂数据智能处理***，包括：运维管理模块；安全管理模块；数据采集和抽取模块；数据存储模块；通用分析和计算模块；智能计算和分析模块：基于机器学习算法，利用分布式计算资源建立和训练智能算法模型，通过多维关联数据分析之后的数据建立预测模型；边缘计算模块；微服务发布模块：用于发布和管理***承载数据、计算任务和对外服务；数据治理模块。本发电厂数据智能处理***，通过与大数据、物联网、云计算、人工智能等技术进行深度融合，可以实现发电厂各个***数据的准确采集，实现各个***数据的智能处理，提高发电设备自动化、数字化、可视化和智能化程度以及设备可靠性和可用率。

Description

一种发电厂数据智能处理***
技术领域
本发明涉及电力数据处理技术领域，具体涉及一种发电厂数据智能处理***。
背景技术
随着国家能源政策的实施，节能降耗、降低运行维护成本是火电厂提高运行效益的本质要求。国内目前大多数电厂中，各种监控***独立为政，比如热工控制***、辅助控制***、电气自动化***、升压站控制***(NCS)等等，同时用户需要面对不同的监控***、不同的***提供商、不同的备品备件等，使得电厂的维护工作量大大增加。由于各个控制***相互独立，各控制***的数据处理也是千差万别，导致全厂的数据资源无法共享，各种高级应用需要面对不同的数据处理形式，给高级应用、数据分析、故障分析带来更多的困难。
现有技术中，发电厂一般也建立有自身的数据处理***，但是现有的数据处理***主要存在如下缺陷：
1)缺乏稳定的运维管理和安全管理***，***的运行稳定性以及可维护性差，用户存储、计算服务以及对存储资源、计算资源的管控能力弱，容易遭受外部攻击后，容易导致数据丢失或者错乱，可追溯性能差；
2)数据采集不全面，实时数据采集的准确性差，尤其是离散关系型数据采集不完全，效率低，数据采集的安全性和稳定性无法得到保障；
3)数据存储架构复杂且缺乏灵活性，业务与基础设施紧耦合，应用***受制于软硬件之间的依赖关系，同时传统数据中心运维管理复杂，资源利用率低，维护成本高；
4)数据处理能力弱，不具备算法的智能学习、建模能力，无法实现指标分析、设备诊断、故障预警等功能；
5)不具备数据治理体系，无法帮助电力企业规范数据流程，管理企业内部主数据，无法提升企业数据质量，保证企业在业务运营管理中得到准确、及时和完整的数据支持。
随着大数据、物联网、云计算、人工智能等新兴技术的兴起，如何实现上述技术与电厂业务的深度融合，实现各个***数据的智能处理，提高发电设备自动化、数字化、可视化和智能化程度以及设备可靠性和可用率，降低运行人员工作量及工作强度，强化安全防范水平，创新生产管理和成本管控模式，提升机组运营效益以及参与电力市场竞争能力，已经成为电力行业急需解决的技术难题。
发明内容
针对现有技术的不足，本发明提出了一种发电厂数据智能处理***，通过与大数据、物联网、云计算、人工智能等技术进行深度融合，可以实现发电厂各个***数据的准确采集，实现各个***数据的智能处理，提高发电设备自动化、数字化、可视化和智能化程度以及设备可靠性和可用率。
为实现上述技术方案，本发明提供了一种发电厂数据智能处理***，包括：运维管理模块：用于实现对***物理节点管理、分布式组件管理、多租户和用户管理、以及数据存储和作业管理；安全管理模块：用于物理安全、组件安全、网络安全、应用软件安全的数据管理，形成多维立体的安全支撑，保障***稳定运行和数据安全；数据采集和抽取模块：通过基于IEC60870的规约采集软件和ETL抽取工具，实现对目标区域内异源数据进行采集；数据存储模块：基于Hadoop生态的开源组件，建立操作数据存储中心、时序数据存储中心、数据仓库以及非结构化数据存储；通用分析和计算模块：建立算法模型库，依托Storm、Spark、MapReduce的分布式计算能力，实现实时、准实时、离线计算；智能计算和分析模块：基于机器学习算法，利用分布式计算资源建立和训练智能算法模型，通过多维关联数据分析之后的数据建立预测模型；边缘计算模块：利用智能设备的计算能力，使预测模型成为大数据***重要的计算服务节点，然后通过***下发算法模型，智能终端能根据获取到的模型进行实时分析和诊断；微服务发布模块：用于发布和管理***承载数据、计算任务和对外服务；数据治理模块：包括主数据的管理、元数据的管理，对各种异构数据进行统一管理，建立管理体系，为上层业务***的应用提供支撑。
优选的，所述运维管理模块是基于开源组件开发构建的统一的可视化管控模块，面向开发人员、运维人员和管理人员开放，实现数据、应用、资源统一的可视化管控，具体包括：基础设施和组件管理模块：用于Hadoop、Yarn、Zookeeper、Spark、HDFS、HBase、Hive、Storm、MapReduce组件的分布式集群的安装，实现对上述组件及其依赖的组件的安装和管理，支持组件自动化的安装部署，使用工具进行自动安装，监控大数据群集的运行状况，包括主机节点、网络节点、机架的状态和运行负载，同时监控***各节点的软、硬件占用情况，如果被监控对象出现异常情况，监控***就会在相关管理告警页面发出告警通知；多租户管理模块：用于实现多用户的环境下共用相同的***或程序，并且确保各用户间数据的隔离性，使得大数据***得到充分利用，为更多的用户提供服务，同时也保证用户的数据安全、应用程序正常运行，实现资源共享的同时，也能具备追溯能力；资源和作业管理模块：对存储资源的分配，提供可视化的存储资源分配界面、存储资源检索界面，计算资源由资源调度组件根据计算情况进行调度分配，并提供可视化的作业提交功能以及多个作业的编排功能，方便发布作业、编排流程，同时也提供作业监控界面，方便了解作业运行状态、资源使用情况，方便查看作业运行日志；日志管理模块：结合Logstash、Elasticsearch和Kibana工具，构建集中式日志管理***，把不同组件的日志归集起来，集中存储，并提供全文检索功能；告警管理模块：具备可配置化告警管理功能，能够根据告警规则配置不同等级告警；可根据实际业务需要，配置告警通知机制、告警管理员。
优选的，所述安全管理模块包括***安全管理模块和物理安全管理模块，其中***安全管理模块从主机层、组件层、网络层、接口API层进行管理，主机层的安全认证通过身份鉴别、访问控制、安全审计、入侵防范、恶意代码防范、资源控制来实现，组件层的安全认证通过Ranger框架来实现，网络层的安全认证通过Kerberos协议来实现，接口API层的安全认证通过用户登录和JWT认证来实现；物理安全管理模块从物理位置选择、物理访问控制、防盗窃和防破坏、防雷击和防火、防水和防潮、防静电、温湿度控制、电力供应、电磁防护进行管理。
优选的，所述数据采集和抽取模块用于采集电厂生产运行以及运营管理过程中产生的结构化、半结构化以及非结构化数据，参照IEC61850、IEC61970标准，从各控制***采集生产实时数据，通过ETL抽取工具从子***抽取离散的历史数据，按照数据类型划分，采集的数据主要包括生产时序数据、文档型数据、以及电厂其他***关系型数据中抽取的离散关系型数据。
优选的，所述数据存储模块包括：时序数据存储模块、结构化数据存储模块、非结构化数据存储模块，其中，时序数据存储模块用于存储生产过程中产生的以时间序列为基础存储的实时数据；结构化数据存储模块用于存储电厂子***生产或管理过程中产生的操作记录、管理日志；非结构化数据存储模块用于存储音频、图像、HTML这些无规则的，无法用二维逻辑表表述的信息，非结构化数据采用NoSQL数据库进行存储。
优选的，所述通用分析和计算模块包括：实时计算模块、历史统计计算模块、状态计算模块，其中，实时计算模块是基于Storm分布式计算包括报警点统计、实时积分电量的实时指标；历史统计计算模块用于计算针对历史数据统计的指标；状态计算模块用于计算机组故障信息，实时报警和展示，可以保存数据发生、结束、等级信息。
优选的，所述智能计算和分析模块依据实时及历史数据建立机组性能模型、热力***模型和设备状态模型，依据监测范围与对象，建立预警模型，关联测点，进行规则定义、模型训练，模型创建完成后，通过数据训练自动获得残差初始值以及其它重要默认设定参数，并能够在任何时间方便改变这些模型参数，在***中记录参数修改的痕迹，通过计算测点得到无法直接获得的变量，原始测点、计算测点和预测测点中的期望值、残差、残差告警都可以作为计算测点的输入值，计算测点位于工程之下，可被该工程之下的模型、规则所引用，将计算测点配置功能设置于工程管理之下，与模型配置、规则配置位于同一层级。
优选的，所述边缘计算模块包括：测量数据展示和分析模块、性能在线分析模块、性能离线分析模块和运维决策支持模块，其中，测量数据展示和分析模块用于对比同一测点在不同时刻的数据，并计算不同时刻数值的绝对差和相对差值，使用颜色标识出不同程度的差别，使用趋势图来展示测点的时序数据，其横坐标为时间，纵坐标为测点数值，多个测点数据在一个趋势图中展示，并用颜色区分不同的测点，针对某一测点绘制一段时间内的持续曲线，并支持对时间区间进行更改；性能在线分析模块利用对比表对同一测点不同的数据类型进行比较分析，数据类型包括测量值、验证值和期望值，对比的结果包括绝对偏差和相对偏差，并能以颜色标识出大偏差；性能离线分析模块用于支持用户改变输入数据；运维决策支持模块用于在指标计算、运行偏差分析的基础上，再利用仿真器为电厂运行提供辅助决策，同时可通过历史数据仿真，定制化生成经济性报表。
优选的，所述微服务发布模块采用微服务技术架构，每个服务都有自身的处理和轻量通讯机制，可以部署在单个或多个服务器上，使用API网关作为所有客户端的唯一入口，接收客户端请求，并路由到合适的服务上，API网关根据不同的客户端开放不同的API，通过API网关实现访问控制负载均衡，也可以实现安全性验证客户端是否有权限访问服务，不同业务服务之间通过REST相互调用，服务部署在容器中，***提供对服务的注册与发现、心跳监测、限流、降级和熔断。
优选的，所述数据治理模块中主数据管理是采用系列规则、应用和技术，协调和管理与电厂核心业务实体相关的基础数据，为电厂提供跨业务应用、使用一致且共享的高质量主数据，降低成本和复杂度；元数据管理用于描述***中技术、业务和管理相关的概念、关系和规则，包括***内对象和数据结构的定义、源数据到目的数据的映射、数据转换的描述、指标、人员角色、岗位职责以及管理流程。
本发明提供的一种发电厂数据智能处理***的有益效果在于：
1)本发电厂数据智能处理***基于开源Hadoop生态组件搭建，使用包括：Hadoop、Yarn、Zookeeper、Spark、Storm、HBase、Hive、Kafka等组件，通过采用基于上述分布式组件的SOA服务框架设计，可以实现实时数据采集、历史(离散)数据抽取、数据治理、数据预处理、数据存储(结构化、非结构化)、数据分析和计算、服务发布，并打破了一对一的传统模式，通过底层的资源分配和调度机制，对物理服务器进行高效的利用，从而实现了一台服务器上运行多套(多种)操作***的需求。
2)本发电厂数据智能处理***通过与大数据、物联网、云计算、人工智能等技术进行深度融合，可以实现发电厂各个***数据的准确采集，实现各个***数据的智能处理，提高发电设备自动化、数字化、可视化和智能化程度以及设备可靠性和可用率。
3)本发电厂数据智能处理***通过设置专用的运维管理模块，可以提高***的运行稳定性以及可维护性，提高用户存储、计算服务以及对存储资源、计算资源的管控能力，通过设置专用的安全管理模块，解决了***因为容易遭受外部攻击导致数据丢失或者错乱，可追溯性能差的问题。
4)本发电厂数据智能处理***通过使用基于IEC60870的规约采集软件和ETL抽取工具的数据采集和抽取模块，解决了数据采集不全面，实时数据采集的准确性差，尤其是离散关系型数据采集不完全、效率低的问题。
5)本发电厂数据智能处理***基于Hadoop生态的开源组件，建立操作数据存储中心、时序数据存储中心、数据仓库以及非结构化数据存储，简化了数据存储架构，提高了数据存储的灵活性，提高了数据存储资源利用率，降低了维护成本。
6)本发电厂数据智能处理***通过建立通用分析和计算模块、智能计算和分析模块和边缘计算模块，可以基于机器学习算法，利用分布式计算资源建立和训练智能算法模型，通过多维关联数据分析之后的数据建立预测模型，增强数据智能处理能力，可以实现指标分析、设备诊断、故障预警。
7)本发电厂数据智能处理***具备数据治理体系，可以帮助电力企业规范数据流程，管理企业内部主数据，提升企业数据质量，保证企业在业务运营管理中得到准确、及时和完整的数据支持。
附图说明
图1为本发明的SOA服务框架图。
图2为本发明中安全管理模块的架构图。
图3为本发明中数据采集和抽取模块的架构图。
图4为本发明中数据存储模块的架构图。
图5为本发明中微服务发布模块的构架图。
图6为本发明中数据治理模块的架构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明的保护范围。
实施例：一种发电厂数据智能处理***。
参照图1至图6所示，一种发电厂数据智能处理***，采用基于分布式组件的SOA服务框架设计(如图1所示)，以数据流向的角度看，包括主要实时数据采集、历史(离散)数据抽取、数据治理、数据预处理、数据存储(结构化、非结构化)、数据分析和计算、服务发布，为保证***的稳定运行以及可维护性，引入了运维管理和安全管理两个支撑手段，具体包括：
(一)运维管理模块：用于实现对***物理节点管理、分布式组件管理、多租户和用户管理、以及数据存储和作业管理；运维管理主要是对大数据***基础设施以及运行于其上的分布式组件的管理，也包括用户和多租户的管理。运维管理为用户提供存储、计算服务以及对存储资源、计算资源的管控服务。管控服务是基于开源组件开发构建的统一的可视化管控能力，主要面向开发人员、运维人员、管理人员，实现数据、应用、资源统一的可视化管控，其包括：多租户管理、资源管理、作业管理、日志管理、告警管理等。
运维管理模块是基于开源组件开发构建的统一的可视化管控模块，面向开发人员、运维人员和管理人员开放，实现数据、应用、资源统一的可视化管控，具体包括：
11)基础设施和组件管理模块：用于Hadoop、Yarn、Zookeeper、Spark、HDFS、HBase、Hive、Storm、MapReduce组件的分布式集群的安装，实现对上述组件及其依赖的组件的安装和管理，支持组件自动化的安装部署，使用工具进行自动安装。对基础设施监控主要是从整体查看大数据群集的运行状况，包括主机节点、网络节点、机架的状态和运行负载。同时监控***各节点的软、硬件占用情况，如CPU、硬盘、内存等资源，如果被监控对象出现异常情况，监控***就会在相关管理告警页面发出告警通知。目前大数据***的组件监控工具主要包括Cloudera Manager、Ambari、以及其他国内自研的管理***。鉴于Ambari在版本控制、二次开发、集成组件数量、开放程度等方面具有优势，本模块开发基于Ambari的组件管理工具。Ambari是一款用于部署、管理和监控Hadoop集群服务的开源***，它提供了以向导指引的方式安装一个集群，可以在任意的主机上安装Hadoop服务，提供了对Hadoop服务的配置功能，提供了启动、停止等集群管理功能，提供了一个用于监控Hadoop集群健康状态的仪表盘，提供了一套健康指标体系来收集监控数据，提供了一套预警框架，可以结合预定的监控指标实现通知预警。Ambari为Hadoop服务提供了一套强大的管理与维护功能，包括集群用户、服务配置、服务监控和辅助工具等。
12)多租户管理模块：大数据处理***是资源和成本密集型信息***，提供强大的存储和计算能力，并同时为多个用户提供服务。多用户同时使用一个***，为了保证业务正常，就必须保证用户之间的应用程序不会相互干扰，保证使用的资源和数据相互隔离。多租户(Multi-Tenancy)，或称为多重租赁技术，是一种软件架构技术，它是实现多用户的环境下共用相同的***或程序的技术，并且仍可确保各用户间数据的隔离性。大数据处理***的多租户管理，就是采用多租户技术，一方面使得大数据***得到充分利用，为更多的用户提供服务；同时也要保证用户的数据安全、应用程序正常运行。租户之间资源和数据相互隔离，互不影响，会导致另外一个问题，那就是数据不能共享。在这种情况下，对于同一个租户，可以分配多个成员，这些成员使用同一个租户账号，但是有各自的登录用户名和密码，成员的登录和注销都记录在案，资源共享的同时，也能具备追溯能力。
13)资源和作业管理模块：本数据处理***在支持多租户环境下，资源的分配就不可避免。资源管理能解决资源分配、任务查看的问题。资源分配主要是对存储资源的分配，提供可视化的存储资源分配界面、存储资源检索界面。计算资源由资源调度组件根据计算情况进行调度分配，本数据处理***提供按租户检索任务执行情况的功能界面。因要承载大量的分布式计算任务，基于Spark、Storm、MapReduce等分布式组件的计算任务需要实时的监控和管理。这些计算任务(程序)以作业的方式提交到***运行，在***中进行分布式的计算。***提供可视化的作业提交功能以及多个作业的编排功能，可以方便的发布作业、编排流程。同时也提供作业监控界面，方便了解作业运行状态、资源使用情况，方便查看作业运行日志。
14)日志管理模块：开源组件的日志有各自的管理方式，分散在集群中。如果出现了问题，通常要查找很多地方才能最终定位，不利益问题的解决。特别是在规模较大的场景下，这种问题尤为突出。为了解决日志分散带来的问题，需要构建一套集中式日志管理***，把不同组件的日志归集起来，集中存储，并提供全文检索功能。Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括***日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括syslog、消息传递(例如RabbitMQ)和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构，提供高效搜索功能、可扩展的分布式***。它构建于Apache Lucene搜索引擎库之上。Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在Elasticsearch中的日志数据。它利用Elasticsearch的REST接口来检索数据，允许用户定制个性化视图。***结合Logstash、Elasticsearch和Kibana的特点，构建集中式日志管理***，可以很好的解决大规模日志的归集、检索、统计分析等问题。
15)告警管理模块：告警管理是运维监控很重要的一个环节，关系到***的稳定运行。由于***组件很多，各种告警很多，需要一个集中的告警***来解决告警展示、查询等问题。告警管理具备可配置化告警管理能力，能够根据告警规则配置不同等级告警；可根据实际业务需要，配置告警通知机制、告警管理员等。
(二)安全管理模块：包括***安全和物理安全，其中***安全从主机层、组件层、网络层(网关)、接口API层进行管理(具体参照图2所示)。具体管理如下：
21)主机层：主机层的安全认证通过身份鉴别、访问控制、安全审计、入侵防范、恶意代码防范、资源控制来实现。比如对登录用户进行身份标识和鉴别并分配账户和权限，启用覆盖到每个用户的安全审计功能，能发现可能存在的漏洞、并在经过充分测试评估后及时修补漏洞，具有保护重要***程序或文件完整性的措施、并在检测到其完整性受到破坏时采取恢复措施，限制单个用户或进程对***资源的最大使用限度等。
22)组件层：组件层的安全认证通过Ranger框架来实现。HDFS、Hive和Hbase等虽然拥有各自的权限管理功能，但它们太过分散切配置方式原始，不利于管理，而Ranger为Hadoop生态***中众多组件提供了一个统一的数据授权与管理界面。它可以对Hadoop生态***中的众多组件如HDFS、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。
23)网络层：网络层的安全认证通过Kerberos协议来实现。Kerberos协议通过强大密钥***为服务端和客户端应用程序之间提供强大的通信加密和认证服务，在使用Kerberos协议认证的集群中，客户端不会直接和它的服务端进行通信认证，而是通过KDC(Key Distribution Center)这样一个独立的服务来完成互相之间的认证。同时Kerberos还能降服务之间的全部通信进行加密以保证其隐私与完整性。
24)接口API层：接口API层的安全认证通过用户登录和JWT认证来实现。用户登录需要能够识别身份，首先需要增加用户的登录认证机制，第三方***在调用接口API之前，必须先通过用户登录过程。JWT(JSONWeb Token)认证就是由服务器生成的一串经过加密并以base64编码的Token字符串，客户端在每次请求的请求头中都需要传递这个Token，服务器在拿到Token之后就能识别用户的合法性。
物理安全从物理位置选择、物理访问控制、防盗窃和防破坏、防雷击和防火、防水和防潮、防静电、温湿度控制、电力供应、电磁防护等进行管理。
25)物理位置选择：机房场地选择在具有防震、防风和防雨等能力的建筑内；机房场地避免设在建筑物的顶层或地下室，否则将加强防水和防潮措施。
26)物理访问控制：机房出入口配置电子门禁***，控制、鉴别和记录进入的人员；保证承载大数据存储、处理和分析的设备机房位于中国境内；确保在中国境内对数据进行清除或销毁。
27)防盗窃和防破坏：将设备或主要部件进行固定，并设置明显的不易除去的标记；将通信线缆铺设在隐蔽处，可铺设在地下或管道中；设置机房防盗报警***或设置有专人值守的视频监控***。
28)防雷击和防火：将各类机柜、设施和设备等通过接地***安全接地；采取措施防止感应雷，例如设置防雷保安器或过压保护装置等。设置火灾自动消防***，能够自动检测火情、自动报警，并自动灭火；机房及相关的工作房间和辅助房采用具有耐火等级的建筑材料；对机房划分区域进行管理，区域和区域之间设置隔离防火措施。
29)防水和防潮：采取措施防止雨水通过机房窗户、屋顶和墙壁渗透；采取措施防止机房内水蒸气结露和地下积水的转移与渗透；安装对水敏感的检测仪表或元件，对机房进行防水检测和报警。
210)防静电：安装防静电地板并采用必要的接地防静电措施；采用措施防止静电的产生，例如采用静电消除器、佩戴防静电手环等。
211)温湿度控制：设置温、湿度自动调节设施，使机房温、湿度的变化在设备运行所允许的范围之内。
212)电力供应：在机房供电线路上配置稳压器和过电压防护设备；提供短期的备用电力供应，至少满足设备在断电情况下的正常运行要求；设置冗余或并行的电力电缆线路为计算机***供电。
213)电磁防护：电源线和通信线缆隔离铺设，避免互相干扰；对关键设备实施电磁屏蔽。
(三)数据采集和抽取模块：用于采集电厂生产运行以及运营管理过程中产生的结构化、半结构化以及非结构化数据。参照IEC61850、IEC61970标准，从各控制***采集生产实时数据，通过ETL抽取工具从子***抽取离散的历史数据，采集***构架如图3所示。
按照数据类型划分，采集***采集的数据主要包括生产时序数据、文档型数据、以及电厂其他***关系型数据中抽取的离散关系型数据。
31)生产实时数据：生产实时数据又称时序数据，主要是同一指标按时间顺序记录的数据列。采集***至少支持以下采集规约：IEC101、IEC102、FFC102、IEC104、TCPModbus、COM Modbus、部颁CDT、OPC等。实时数据采集接口采用多线程技术，支持多路并发通讯。实时数据采集软件具备边缘计算功能，支持求和(SUM)、求平均(AVG)、求极值(MAX/MIN)等基本算子。
32)文件型数据：能使用ETL抽取工具实现数据采集，ETL工具无法实现的文件类型，单独开发采集接口程序，采集规约支持FTP、SFTP、SSH方式。
33)关系型数据：关系型数据采集采用ETL抽取工具。
ETL抽取工具提供如下功能：
a)连接到传统关系型数据库并获取数据，包括Orcale、SQL Server、IBM DB2、MySQL和PostgreSQL等。
b)从有分隔符和固定格式的ASCII文件中获取数据。
c)从XML文件中获取数据。
d)从流行的办公软件中获取数据，如Access数据库和Excel电子表格。
e)采用FTP、SFTP、SSH方式下载数据。
f)还能从Web Services或RSS中获取数据。
g)支持并发和群集部署。
为保证数据采集的安全性和稳定性，采集***满足以下要求：
1)采集接口机的操作***仅限Unix、Debian、CentOS、凝思、麒麟。
2)采集***具有本地缓存，断点续传的功能。
3)对电量数据支持补招功能。
4)采集***采用友好的可视化配置界面。
5)采集接口机具有接口和数据状态诊断功能，并将接口状态上送数据中心。
(四)数据存储模块：基于Hadoop生态的开源组件，建立操作数据存储中心、时序数据存储中心、数据仓库以及非结构化数据存储。
传统数据存储中心架构复杂且缺乏灵活性，业务与基础设施紧耦合，应用***受制于软硬件之间的依赖关系，同时传统数据存储中心运维管理复杂，资源利用率低，维护成本高。本数据存储模块的数据存储中心能够以用户为中心、以服务为导向，基于高效、绿色、软件定义的IT与网络基础架构，实现更高的性能、密度、集成度和能效以及模块化与组件化。通过服务器虚拟化等技术实现整个数据存储中心内基础设施资源的抽象、池化、部署和管理，满足定制化、差异化的应用和业务需求。
为解决单点故障、测点容量限制、数据类型多样化、指标计算效率等问题，本电厂数据存储中心框架将基于分布式组件，为满足数据类型多样化的存储要求，需要采用传统关系型数据库和Hadoop非关系型数据库结合的部署方案，数据存储模块的构架如图4所示。
数据存储***按数据存储的类型可以分为时序数据存储、结构化数据存储、非结构化数据存储。
41)时序数据存储：时序数据又称为实时数据，主要是对生产过程中产生的以时间序列为基础存储的实时数据。为满足现场要求，时序数据存储能够满足以下要求：
A.为满足生产管理***实时性要求，模拟量数据采集频率为秒级变化和存储，开关量(刀闸、断路器、保护信号等)满足毫秒级变化和存储。
B.为适应厂级数据分析应用需求，数据点位容量不少于3万点，并可支持动态扩容。
C.数据库采用压缩存储方式，并支持无损压缩，保证数据的真实和完整性。
D.数据库接口响应速度快，数据读写支持多点批量操作。在局域网内，实时数据读写耗时<＝1.5s/1000点。历史存储值读取耗时<2s/(10000存储值,时间跨度1周内)。
42)结构化数据存储：结构化数据主要是电厂子***生产或管理过程中产生的操作记录、管理日志等。结构化数据主要在关系型和非关系型数据库中存储。结构化数据存储主要包含的内容包括：
A.数据存储支持Key-Value的存储和查询方式，可以快速定位查询信息。
B.支持SQL查询语句查询，并包括存储过程、触发器等功能。
C.数据库支持的客户端连接数量(同时在线)不少于25个。
D.数据库支持并发请求要求。
E.数据统一编码，编码方式符合中国华电集团物资编码体系要求。
43)非结构化数据存储：非结构化数据存储主要针对音频、图像、HTML等无规则的，无法用二维逻辑表表述的信息。非机构化数据采用NoSQL数据库进行存储，NoSQL数据库的功能和性能如下：
F.支持分布式部署、节点可动态扩展。
G.采用原生Hadoop生态***组件设计。
H.面向集合存储，易存储对象类型的数据。
I.模式自由。
J.支持动态Key-Value查询。
K.支持完全索引，包含内部对象。
L.支持复制和故障恢复。
M.使用高效的二进制数据存储，包括大型对象(如视频等)。
N.自动处理碎片，以支持云计算层次的扩展性。
O.支持JAVA、C++、PHP、PYTHON等多种语言。
P.支持按表(集合)和库实例进行在线备份、切除和恢复。
Q.具有可视化客户端管理工具。
数据存储***应用了如下技术：
1)Hadoop
Hadoop是一个由Apache基金会所开发的分布式***基础架构。它实现了一个分布式文件***，有高容错性的特点，并且设计用来部署在低廉的硬件上，而且提供高吞吐量来访问应用程序的数据，适合超大数据集的应用程序。
2)Hbase数据库
Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储***，利用相关技术可在廉价服务器上搭建起大规模结构化存储集群。
3)Kafka
Kafka是一种高吞吐量的分布式发布订阅消息***，可以处理大规模数据生产和消费的动作流。数据发布，网页浏览和搜索的行动是在工业生产和社会网络上的许多应用功能的一个关键因素。
4)MongoDB
MongoDB是一个基于分布式文件存储的数据库。它支持的数据结构非常松散，可以存储比较复杂的数据类型。最大的特点是支持的查询语言非常强大，并且支持对数据建立索引。
(五)通用分析和计算模块：建立算法模型库，依托Storm、Spark、MapReduce的分布式计算能力，实现实时、准实时、离线计算。
云计算***主要是基于电厂级的数据计算需求，进行统一的数据分析计算。***的计算分析包括实时计算、历史统计计算、状态计算三种类型。
51)实时指标计算：主要计算实时指标计算，如报警点统计、实时积分电量等。基于Storm分布式计算。
52)统计指标计算：主要计算统计指标，主要针对历史数据统计计算，支持多种计算模型。
53)状态计算：主要针对机组故障信息，实时报警和展示，可以保存数据发生、结束、等级等信息。
***通过建立电厂级的基础算法库、专家模型库以及智能模型库，并提供高级算法包的发掘、开发、封装、验证与优化等手段，实现电厂级的指标分析、设备诊断、故障预警等功能。电厂的分析计算***包括如下几个方面：
1)支持可视化配置界面，包括模型库、算法库的建立。
2)支持图形化的结果展示，显示机组性能、故障状态和预警等信息。
3)支持在线智能模型的建立，模型算法包括神经网络、SVM等。
4)支持在线模型的优化。
5)计算结果保存在本地数据库中。
6)支持在线触发计算功能，根据业务需要，可以在线重算、补算等。
云***应用到如下技术：
1)Storm
Storm是一个分布式的、高容错的实时计算***。可以用来用来处理源源不断的消息，并将处理之后的结果保存到介质中。由于Storm的处理组件都是分布式的，而且处理延迟都极低，所以做为通用的分布式框架来使用。
2)Spark
Spark是一个大数据分布式编程框架，实现快速而同用的集群计算的***。将分布式数据抽象为弹性分布式数据集，实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组件提供接口。
(六)智能计算和分析模块：基于机器学习算法，利用分布式计算资源建立和训练智能算法模型，通过多维关联数据分析之后的数据建立预测模型。所述智能计算和分析模块依据实时及历史数据建立机组性能模型、热力***模型和设备状态模型，依据监测范围与对象，建立预警模型，关联测点，进行规则定义、模型训练，模型创建完成后，通过数据训练自动获得残差初始值以及其它重要默认设定参数，并能够在任何时间方便改变这些模型参数，在***中记录参数修改的痕迹，通过计算测点得到无法直接获得的变量，原始测点、计算测点和预测测点中的期望值、残差、残差告警都可以作为计算测点的输入值，计算测点位于工程之下，可被该工程之下的模型、规则所引用，将计算测点配置功能设置于工程管理之下，与模型配置、规则配置位于同一层级。具体包括如下功能：
数据清洗：为了阻止信号故障或者不正确的信息被错误使用，所采集的信号首先进行数据验证，并且支持适应不同时段的验证功能。
模型选择：建模方式应根据设备和***的不同，应用精确性和实时响应性原则。***应灵活、开放、可配置。经过培训以后，不仅各个相关部门都可以使用(运行、检修、诊断专家等)，而且可以自主进行维护，以及开发新的模型。
模型创建和训练：依据实时及历史数据由乙方建立机组性能模型、主要热力***模型和设备状态模型；依据监测范围与对象，建立预警模型，关联测点，进行规则定义、模型训练等工作，并实现以下功能：采用多种建模技术自动地从可获得的测点创建关键设备及***监测模型。能够监测电厂关键设备和***的过程及组件的正常状态。
模型参数设定：模型创建完成后，***可以通过数据训练自动获得残差初始值以及其它重要默认设定参数，以允许模型迅速投入使用。用户能够在任何时间并且方便地改变这些模型参数，在***中记录参数修改的痕迹。
模型调整和优化：电厂的设备和***由于技术改造、机组检修和正常的老化而会发生不断的变化，模型应该能够随时改变。
计算测点：通过计算测点可以得到一些无法直接获得的变量，如时间平均值。直接信号、残差、计算变量、验证测点等都可以用于计算信号。原始测点(OriginalSensor)、计算测点(ComputedSensor)和预测测点(StateEstimation)中的期望值、残差、残差告警都可以作为计算测点的输入值。计算测点位于工程之下，可被该工程之下的模型、规则所引用，因此将计算测点配置功能设置于工程管理之下，与模型配置、规则配置位于同一层级。
预警规则管理：提供基于表达式的规则的管理与预警判断。规则可以由信号，残值，阈值自由定义，当电厂的行为符合定义时会产生规则告警。原始测点(OriginalSensor)、计算测点(ComputedSensor)和预测测点(StateEstimation)中的期望值、残差、残差告警都可以作为规则(Rules)的输入值。
模型版本管理：通过模型版本管理技术，实现编辑、运行、历史模型版本的隔离。
(七)边缘计算模块：利用智能设备的计算能力，使预测模型成为大数据***重要的计算服务节点，然后通过***下发算法模型，智能终端能根据获取到的模型进行实时分析和诊断。边缘计算模块具体包括：
71)测量数据展示和分析模块，用于对比同一测点在不同时刻的数据，并计算不同时刻数值的绝对差和相对差值，使用颜色标识出不同程度的差别，使用趋势图来展示测点的时序数据，其横坐标为时间，纵坐标为测点数值，多个测点数据在一个趋势图中展示，并用颜色区分不同的测点，针对某一测点绘制一段时间内的持续曲线，并支持对时间区间进行更改。
72)性能在线分析模块，用于机组运行状态提示，对机组某一时刻处于的运行模式进行提示。主要包括：
数值对比表，利用对比表对同一测点不同的数据类型进行比较分析，数据类型包括测量值、验证值和期望值，对比的结果包括绝对偏差和相对偏差，并能以颜色标识出大偏差。***以不同的后缀来区分不同的数据类型，M代表测量值，是直接从传感器获取的数值或者根据传感器数值计算出的值；V代表验证值，是根据测量值和不确定度，利用误差传递和热力关系，在测量冗余的得出的计算值；E代表期望值，是在不同的环境条件下，假设设备为全新或者最优，利用热平衡计算得出的数值。
测点验证，利用测量值和验证值对比，比计算出某一测点在某时刻的惩罚值(Penalty)，并根据惩罚值进行分析确定测点数值是否可靠，惩罚值越大，测点数值越不可靠。
损失分析，对电厂运行中各个参数偏差对经济性的影响进行分析并展示，其中经济性影响包含出力偏差和效率偏差。
73)性能离线分析模块，性能离线分析支持用户改变输入数据，如环境温度、大气压力、环境湿度、凝汽器压力、循环水进口温度、燃料进口温度、燃料低热值、辅机耗电，利用热力学模型计算出不同输入数据下的各类指标，如循环效率、循环净效率、循环总出力和净出力、循环总热耗和净热耗。
74)运维决策支持模块，在指标计算、运行偏差分析的基础上，再利用仿真器便可以为电厂运行提供辅助决策，同时可通过历史数据仿真，定制化生成经济性报表。结合电厂的实际运行情况(包括燃料情况、实际运行负荷、实际机组运行方式等)，利用优化算法，以机组整体经济性最佳为目标函数，以机组安全性为约束条件，进行可控参数自动寻优计算，给出优化运行方式及优化效果。具体是提供压气机水洗预测，***可根据燃机的运行状态预测最佳的压气机水洗时间，并给出相应的水洗效果。
(八)微服务发布模块：用于发布和管理***承载数据、计算任务和对外服务。微服务发布模块采用微服务技术架构，每个服务都有自己的处理和轻量通讯机制，可以部署在单个或多个服务器上。它的主要特点是组件化、松耦合、自治、去中心化等。***对外通过API网关提供服务。微服务发布模块的构架示意图如图5所示。
API网关作为所有客户端的唯一入口，接收客户端请求，并路由到合适的服务上，API网关根据不同的客户端开放不同的API。API网关可以实现访问控制负载均衡也可以实现安全性验证客户端是否有权限访问服务等。不同业务服务之间通过REST相互调用，服务部署在容器中。***提供对服务的注册与发现，心跳监测，限流，降级，熔断等。缓存服务器提供缓存服务也可以避免流量风暴冲垮关系数据库，业务***可以将大量访问或变化快的数据存放在缓存服务器中，以提高***访问数据，缓存中的数据可以根据订阅策略刷入关系数据库中。消息队列可以降低服务之间的耦合，又可以成为调用之间的缓冲，确保消息积压不会冲垮被调用方。
(九)数据治理模块：包括主数据的管理、元数据的管理，对各种异构数据进行统一管理，建立管理体系，为上层业务***的应用提供支撑。数据治理模块的架构图如图6所示。数据治理体系是一个***化工程，可以帮助电力企业规范数据流程，管理企业内部主数据，提升企业数据质量，保证企业在业务运营管理中得到准确、及时和完整的数据支持。主要工作包括数据治理保障体系、数据共享服务体系、数据全生命周期管理、数据标准管理、数据质量管理、主数据管理、元数据管理、数据安全管理等。
主数据是电厂被重复应用于多个业务流程的、各个***之间共享的、高价值的基础数据，是数字电厂各业务功能间进行信息交互的基础，例如组织机构、物资编码等。主数据管理采用一系列规则、应用和技术，以协调和管理与电厂核心业务实体相关的基础数据，为数字电厂提供跨业务应用、使用一致且共享的高质量主数据，降低成本和复杂度。
元数据主要用于描述***中技术、业务和管理相关的概念、关系和规则，包括数据***内对象和数据结构的定义、源数据到目的数据的映射、数据转换的描述、指标、人员角色、岗位职责以及管理流程等信息。元数据管理是为了获得高质量的、整合的元数据而进行的规划、实施与控制行为，使电厂数据信息的描述与分类实现格式统一，明晰数据的真实含义。
数据治理是指将数据作为组织资产而展开的一系列的具体化工作,是对数据的全生命周期管理。数据治理体系是指从组织架构、管理制度、操作规范、IT应用技术、绩效考核支持等多个维度对组织的数据模型、数据架构、数据质量、数据安全、数据生命周期等各方面进行全面的梳理、建设以及持续改进的体系。数据治理的目标是提高数据的质量(准确性和完整性)，保证数据的安全性(保密性、完整性及可用性)，实现数据资源在各组织机构部门的共享；推进信息资源的整合、对接和共享，从而提升公司信息化水平，充分发挥信息化作用。
本发电厂数据智能处理***基于开源Hadoop生态组件搭建，使用包括：Hadoop、Yarn、Zookeeper、Spark、Storm、HBase、Hive、Kafka等组件，通过采用基于上述分布式组件的SOA服务框架设计，可以实现实时数据采集、历史(离散)数据抽取、数据治理、数据预处理、数据存储(结构化、非结构化)、数据分析和计算、服务发布，并打破了一对一的传统模式，通过底层的资源分配和调度机制，对物理服务器进行高效的利用，从而实现了一台服务器上运行多套(多种)操作***的需求。
本发电厂数据智能处理***通过与大数据、物联网、云计算、人工智能等技术进行深度融合，可以实现发电厂各个***数据的准确采集，实现各个***数据的智能处理，提高发电设备自动化、数字化、可视化和智能化程度以及设备可靠性和可用率。
本发电厂数据智能处理***还具备如下优势：
(1)提供一个海量的、可靠的、可扩展的数据存储服务，将集群中各个节点的存储能力聚集起来，并能够自动屏蔽软硬件故障，为用户提供不间断的数据访问服务。
(2)支持增量扩容和数据的自动平衡，支持随机读写和追加写的操作。
(3)提供通过多租户机制，各部门可以独立管理自己的数据。除非显式授权，否则租户之间无法访问对方的数据。
(4)具备完善的权限认证与隔离机制，提供多级安全沙箱，支持读写鉴权，充分保障用户数据的私密性，杜绝数据泄漏。
(5)提供统一的权限管理模型，即不管是租户内部的数据授权，还是租户之间的数据授权，都遵循同一套权限管理机制。
(6)支持对数据库中数据权限的控制；支持对关键数据透明加密，无需修改上层应用，同时加解密过程不会对性能造成影响。
(7)所有主要功能模块支持LDAP，AD等多种用户验证方式，支持SSO验证。
(8)支持通过多租户对底层的CPU、内存、磁盘资源进行隔离管控，支持多租户情况下资源动态分配。
(9)支持用户按需使用不同模型算法分析处理所属范围的数据，同时支持细粒度授权方式的数据共享。
(10)支持用户空间保护与跨用户空间访问授权，多个用户可以协同完成数据分析。
(11)提供面向管理员的统一的数据资源视图。
(12)为集群***中的任务提供调度服务，同时支持强调响应速度的在线服务和强调处理数据吞吐量的离线任务。能够对统一数据***内的所有作业任务进行统一的调度管理和运行监控，涵盖整个数据链路(数据同步、数据清洗、数据加工、数据分析等)，涉及***内所有的分布式计算能力。
(13)各个组件提供标准化接口，能够很好地和第三方产品集成。
(14)统一数据***支持定制开发和二次开发，以便快速满足业务需求。
以上所述为本发明的较佳实施例而已，但本发明不应局限于该实施例和附图所公开的内容，所以凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (7)

1.一种发电厂数据智能处理***，其特征在于包括：
运维管理模块：用于实现对***物理节点管理、分布式组件管理、多租户和用户管理、以及数据存储和作业管理；
安全管理模块：用于物理安全、组件安全、网络安全、应用软件安全的数据管理，形成多维立体的安全支撑，保障***稳定运行和数据安全；
数据采集和抽取模块：通过基于IEC60870的规约采集软件和ETL抽取工具，实现对目标区域内异源数据进行采集；
数据存储模块：基于Hadoop生态的开源组件，建立操作数据存储中心、时序数据存储中心、数据仓库以及非结构化数据存储；
通用分析和计算模块：建立算法模型库，依托Storm、Spark、MapReduce的分布式计算能力，实现实时、准实时、离线计算。具体包括：实时计算模块、历史统计计算模块、状态计算模块，其中，实时计算模块是基于Storm分布式计算包括报警点统计、实时积分电量的实时指标；历史统计计算模块用于计算针对历史数据统计的指标；状态计算模块用于计算机组故障信息，实时报警和展示，可以保存数据发生、结束、等级信息；
智能计算和分析模块：基于机器学习算法，利用分布式计算资源建立和训练智能算法模型，通过多维关联数据分析之后的数据建立预测模型，所述智能计算和分析模块依据实时及历史数据建立机组性能模型、热力***模型和设备状态模型，依据监测范围与对象，建立预警模型，关联测点，进行规则定义、模型训练，模型创建完成后，通过数据训练自动获得残差初始值以及其它重要默认设定参数，并能够在任何时间方便改变这些模型参数，在***中记录参数修改的痕迹，通过计算测点得到无法直接获得的变量，原始测点、计算测点和预测测点中的期望值、残差、残差告警都可以作为计算测点的输入值，计算测点位于工程之下，可被该工程之下的模型、规则所引用，将计算测点配置功能设置于工程管理之下，与模型配置、规则配置位于同一层级。
边缘计算模块：利用智能设备的计算能力，使预测模型成为大数据***重要的计算服务节点，然后通过***下发算法模型，智能终端能根据获取到的模型进行实时分析和诊断；
微服务发布模块：用于发布和管理***承载数据、计算任务和对外服务；
数据治理模块：包括主数据的管理、元数据的管理，对各种异构数据进行统一管理，建立管理体系，为上层业务***的应用提供支撑，所述主数据管理是采用系列规则、应用和技术，协调和管理与电厂核心业务实体相关的基础数据，为电厂提供跨业务应用、使用一致且共享的高质量主数据，降低成本和复杂度；元数据管理用于描述***中技术、业务和管理相关的概念、关系和规则，包括***内对象和数据结构的定义、源数据到目的数据的映射、数据转换的描述、指标、人员角色、岗位职责以及管理流程。
2.如权利要求1所述的发电厂数据智能处理***，其特征在于，所述运维管理模块是基于开源组件开发构建的统一的可视化管控模块，面向开发人员、运维人员和管理人员开放，实现数据、应用、资源统一的可视化管控，具体包括：
基础设施和组件管理模块：用于Hadoop、Yarn、Zookeeper、Spark、HDFS、HBase、Hive、Storm、MapReduce组件的分布式集群的安装，实现对上述组件及其依赖的组件的安装和管理，支持组件自动化的安装部署，使用工具进行自动安装，监控大数据群集的运行状况，包括主机节点、网络节点、机架的状态和运行负载，同时监控***各节点的软、硬件占用情况，如果被监控对象出现异常情况，监控***就会在相关管理告警页面发出告警通知；
多租户管理模块：用于实现多用户的环境下共用相同的***或程序，并且确保各用户间数据的隔离性，使得大数据***得到充分利用，为更多的用户提供服务，同时也保证用户的数据安全、应用程序正常运行，实现资源共享的同时，也能具备追溯能力；
资源和作业管理模块：对存储资源的分配，提供可视化的存储资源分配界面、存储资源检索界面，计算资源由资源调度组件根据计算情况进行调度分配，并提供可视化的作业提交功能以及多个作业的编排功能，方便发布作业、编排流程，同时也提供作业监控界面，方便了解作业运行状态、资源使用情况，方便查看作业运行日志；
日志管理模块：结合Logstash、Elasticsearch和Kibana工具，构建集中式日志管理***，把不同组件的日志归集起来，集中存储，并提供全文检索功能；
告警管理模块：具备可配置化告警管理功能，能够根据告警规则配置不同等级告警；可根据实际业务需要，配置告警通知机制、告警管理员。
3.如权利要求1或2所述的发电厂数据智能处理***，其特征在于，所述安全管理模块包括***安全管理模块和物理安全管理模块，其中***安全管理模块从主机层、组件层、网络层、接口API层进行管理，主机层的安全认证通过身份鉴别、访问控制、安全审计、入侵防范、恶意代码防范、资源控制来实现，组件层的安全认证通过Ranger框架来实现，网络层的安全认证通过Kerberos协议来实现，接口API层的安全认证通过用户登录和JWT认证来实现；物理安全管理模块从物理位置选择、物理访问控制、防盗窃和防破坏、防雷击和防火、防水和防潮、防静电、温湿度控制、电力供应、电磁防护进行管理。
4.如权利要求1或3所述的发电厂数据智能处理***，其特征在于，所述数据采集和抽取模块用于采集电厂生产运行以及运营管理过程中产生的结构化、半结构化以及非结构化数据，参照IEC61850、IEC61970标准，从各控制***采集生产实时数据，通过ETL抽取工具从子***抽取离散的历史数据，按照数据类型划分，采集的数据主要包括生产时序数据、文档型数据、以及电厂其他***关系型数据中抽取的离散关系型数据。
5.如权利要求1所述的发电厂数据智能处理***，其特征在于，所述数据存储模块包括：时序数据存储模块、结构化数据存储模块、非结构化数据存储模块。其中，时序数据存储模块用于存储生产过程中产生的以时间序列为基础存储的实时数据；结构化数据存储模块用于存储电厂子***生产或管理过程中产生的操作记录、管理日志；非结构化数据存储模块用于存储音频、图像、HTML这些无规则的，无法用二维逻辑表表述的信息，非结构化数据采用NoSQL数据库进行存储。
6.如权利要求1所述的发电厂数据智能处理***，其特征在于，所述边缘计算模块包括：测量数据展示和分析模块、性能在线分析模块、性能离线分析模块和运维决策支持模块，其中，测量数据展示和分析模块用于对比同一测点在不同时刻的数据，并计算不同时刻数值的绝对差和相对差值，使用颜色标识出不同程度的差别，使用趋势图来展示测点的时序数据，其横坐标为时间，纵坐标为测点数值，多个测点数据在一个趋势图中展示，并用颜色区分不同的测点，针对某一测点绘制一段时间内的持续曲线，并支持对时间区间进行更改。性能在线分析模块利用对比表对同一测点不同的数据类型进行比较分析，数据类型包括测量值、验证值和期望值，对比的结果包括绝对偏差和相对偏差，并能以颜色标识出大偏差；性能离线分析模块用于支持用户改变输入数据；运维决策支持模块用于在指标计算、运行偏差分析的基础上，再利用仿真器为电厂运行提供辅助决策，同时可通过历史数据仿真，定制化生成经济性报表。
7.如权利要求1所述的发电厂数据智能处理***，其特征在于，所述微服务发布模块采用微服务技术架构，每个服务都有自身的处理和轻量通讯机制，可以部署在单个或多个服务器上，使用API网关作为所有客户端的唯一入口，接收客户端请求，并路由到合适的服务上，API网关根据不同的客户端开放不同的API，通过API网关实现访问控制负载均衡，也可以实现安全性验证客户端是否有权限访问服务，不同业务服务之间通过REST相互调用，服务部署在容器中，***提供对服务的注册与发现、心跳监测、限流、降级和熔断。
CN202011029005.9A 2020-09-27 2020-09-27 一种发电厂数据智能处理*** Active CN112102111B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011029005.9A CN112102111B (zh) 2020-09-27 2020-09-27 一种发电厂数据智能处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011029005.9A CN112102111B (zh) 2020-09-27 2020-09-27 一种发电厂数据智能处理***

Publications (2)

Publication Number Publication Date
CN112102111A true CN112102111A (zh) 2020-12-18
CN112102111B CN112102111B (zh) 2021-06-08

Family

ID=73755612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011029005.9A Active CN112102111B (zh) 2020-09-27 2020-09-27 一种发电厂数据智能处理***

Country Status (1)

Country Link
CN (1) CN112102111B (zh)

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112527823A (zh) * 2020-12-21 2021-03-19 南京深度智控科技有限公司 一种智慧建筑管理平台中的数据处理方法
CN112714018A (zh) * 2020-12-28 2021-04-27 上海领健信息技术有限公司 基于网关的ElasticSearch搜索服务方法、***、介质及终端
CN112765232A (zh) * 2021-01-05 2021-05-07 广东核电合营有限公司 核电厂重大设备的数据管理方法及***
CN112783668A (zh) * 2020-12-30 2021-05-11 宁波智能成型技术创新中心有限公司 基于RabbitMQ的海量智能制造设备的数据采集处理方法
CN112839080A (zh) * 2020-12-31 2021-05-25 四川瑞霆电力科技有限公司 一种基于配置实现采集、计算的边缘物联代理装置及方法
CN112905685A (zh) * 2021-03-12 2021-06-04 国网安徽省电力有限公司 一种面向信息化建设的架构管控***及设备
CN113008588A (zh) * 2021-02-22 2021-06-22 南方电网电力科技股份有限公司 一种燃煤电厂锅炉监测可视化***
CN113050566A (zh) * 2021-03-17 2021-06-29 珠海市鸿瑞信息技术股份有限公司 基于大数据的工业控制***网络安全数据的高效采集方法
CN113127413A (zh) * 2021-05-12 2021-07-16 北京红山信息科技研究院有限公司 一种运营商数据处理方法、装置、服务器及存储介质
CN113128862A (zh) * 2021-04-16 2021-07-16 唐山不锈钢有限责任公司 一种转炉煤气智能调度***
CN113139107A (zh) * 2021-05-13 2021-07-20 天讯方舟(北京)信息科技有限公司 一种基于3d数字场景的建筑数据可视化管理***
CN113242208A (zh) * 2021-04-08 2021-08-10 电子科技大学 基于网络流的网络态势分析***
CN113343108A (zh) * 2021-06-30 2021-09-03 中国平安人寿保险股份有限公司 推荐信息处理方法、装置、设备及存储介质
CN113378169A (zh) * 2021-07-07 2021-09-10 国网冀北电力有限公司 用于虚拟电厂运营的安全防护***
CN113393107A (zh) * 2021-06-07 2021-09-14 东方电气集团科学技术研究院有限公司 一种面向发电设备状态参量参考值的增量式计算方法
CN113419938A (zh) * 2021-07-01 2021-09-21 中国工商银行股份有限公司 用户并发访问的控制方法、装置及设备
CN113435839A (zh) * 2021-06-23 2021-09-24 东北大学 铝/铜板带生产全流程大数据平台架构
CN113450612A (zh) * 2021-05-17 2021-09-28 云南电网有限责任公司 一种应用于继电保护培训的成套教学装置的开发方法
CN113590724A (zh) * 2021-08-03 2021-11-02 厦门至恒融兴信息技术股份有限公司 数据指标综合管理与可视化评价方法与***
CN113641739A (zh) * 2021-07-05 2021-11-12 南京联创信息科技有限公司 一种基于Spark的智能数据转换方法
CN113704178A (zh) * 2021-09-18 2021-11-26 京东方科技集团股份有限公司 大数据管理方法、***、电子设备及存储介质
CN113779007A (zh) * 2021-08-26 2021-12-10 浙江虎哥数字科技有限公司 用于垃圾回收的全流程管理方法、***和可读存储介质
CN113807663A (zh) * 2021-08-26 2021-12-17 上海发电设备成套设计研究院有限责任公司 一种智慧电站中台***
CN113873033A (zh) * 2021-09-27 2021-12-31 江苏方天电力技术有限公司 一种具有容错功能的智能边缘计算网关平台
CN113938383A (zh) * 2021-10-19 2022-01-14 广东奥飞数据科技股份有限公司 一种sd-wan集中策略管理方法
CN114048952A (zh) * 2021-10-13 2022-02-15 辽宁科技大学 基于边缘物联技术和神经网络的炼铁厂安全态势感知方法
CN114066418A (zh) * 2021-11-17 2022-02-18 北京城建设计发展集团股份有限公司 一种基于数据中台的消防数据处理***
CN114167828A (zh) * 2021-12-03 2022-03-11 润电能源科学技术有限公司 一种dcs控制器的外挂控制方法及相关装置
CN114338469A (zh) * 2021-12-15 2022-04-12 越亮传奇科技股份有限公司 基于分布式的idc机房流量分析方法、装置及存储介质
CN114356502A (zh) * 2021-12-31 2022-04-15 国家电网有限公司 基于边缘计算技术的非结构化数据标记、训练和发布***及方法
CN114490657A (zh) * 2022-01-27 2022-05-13 佛山众陶联供应链服务有限公司 一种基于opc的快速数据采集方法
CN114862096A (zh) * 2022-03-22 2022-08-05 东华大学 一种基于边缘计算的航天薄壁件旋压加工质量管理***
CN114924889A (zh) * 2022-06-21 2022-08-19 浙江大学 一种基于云边端协同的超低排放智能调控***及方法
CN115017148A (zh) * 2021-03-08 2022-09-06 杭州云掣科技有限公司 一种统一高效的运维数据存储检索分析的方法与***
CN115514631A (zh) * 2022-09-22 2022-12-23 浙江大学 一种数据的实时交互监测与分析方法及装置
CN115580637A (zh) * 2022-09-26 2023-01-06 广州健新科技有限责任公司 一种用于电厂辅机设备的安全监测预警方法及***
CN115617898A (zh) * 2022-12-21 2023-01-17 中国科学院长春光学精密机械与物理研究所 基于soa架构的靶场测控数据处理***、方法及计算机设备
CN116126961A (zh) * 2023-04-04 2023-05-16 河北中废通网络技术有限公司 再生循环物联信息***的防篡改无人值守过磅数据***
CN116561151A (zh) * 2023-07-06 2023-08-08 广州机智云物联网科技有限公司 物联网数据的可视化处理方法及装置
CN116756779A (zh) * 2023-08-17 2023-09-15 青岛诺亚信息技术有限公司 一种电子表格数据对象化存储***及方法
CN116910815A (zh) * 2023-09-06 2023-10-20 华能吉林发电有限公司 一种基于大数据的信息数据管理方法
CN117390054A (zh) * 2023-12-08 2024-01-12 先进操作***创新中心(天津)有限公司 一种国产化生态适配数据的数据治理方法及***
CN117575358A (zh) * 2023-11-22 2024-02-20 江苏鸿剑网络科技有限公司 一种基于大数据的数据处理管理方法及***
CN116781476B (zh) * 2023-06-30 2024-03-22 索提斯云智控科技(上海)有限公司 一种节点型边缘计算***
CN117938636A (zh) * 2024-03-25 2024-04-26 中国人民解放军国防科技大学 智能节点管控服务***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109600269A (zh) * 2019-01-21 2019-04-09 云南电网有限责任公司信息中心 一种基于dcos的云管理平台
CN110782370A (zh) * 2019-10-31 2020-02-11 国网重庆市电力公司北碚供电分公司 一种电力调度数据网综合运维管理平台
CN110809017A (zh) * 2019-08-16 2020-02-18 云南电网有限责任公司玉溪供电局 一种基于云平台和微服务构架的数据分析应用平台***
WO2020053727A1 (en) * 2018-09-10 2020-03-19 3M Innovative Properties Company Method and system for monitoring a health of a power cable accessory based on machine learning
CN111107675A (zh) * 2020-01-21 2020-05-05 山东科华电力技术有限公司 基于泛在电力物联网的电缆通道边缘物联终端及方法
CN111400850A (zh) * 2018-12-28 2020-07-10 阿里巴巴集团控股有限公司 设备故障分析方法、装置、设备和存储介质
CN111461567A (zh) * 2020-04-14 2020-07-28 国家电网公司东北分部 基于移动物联网的海量分布式新能源低成本管理***
CN111600296A (zh) * 2020-01-09 2020-08-28 浙江中新电力工程建设有限公司自动化分公司 基于边缘计算的电力负荷预测***及其预测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020053727A1 (en) * 2018-09-10 2020-03-19 3M Innovative Properties Company Method and system for monitoring a health of a power cable accessory based on machine learning
CN111400850A (zh) * 2018-12-28 2020-07-10 阿里巴巴集团控股有限公司 设备故障分析方法、装置、设备和存储介质
CN109600269A (zh) * 2019-01-21 2019-04-09 云南电网有限责任公司信息中心 一种基于dcos的云管理平台
CN110809017A (zh) * 2019-08-16 2020-02-18 云南电网有限责任公司玉溪供电局 一种基于云平台和微服务构架的数据分析应用平台***
CN110782370A (zh) * 2019-10-31 2020-02-11 国网重庆市电力公司北碚供电分公司 一种电力调度数据网综合运维管理平台
CN111600296A (zh) * 2020-01-09 2020-08-28 浙江中新电力工程建设有限公司自动化分公司 基于边缘计算的电力负荷预测***及其预测方法
CN111107675A (zh) * 2020-01-21 2020-05-05 山东科华电力技术有限公司 基于泛在电力物联网的电缆通道边缘物联终端及方法
CN111461567A (zh) * 2020-04-14 2020-07-28 国家电网公司东北分部 基于移动物联网的海量分布式新能源低成本管理***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YI LIU ,ETC: "Intelligent Edge Computing for IoT-Based Energy Management in Smart Cities", 《IEEE NETWORK》 *
饶玮 等: "面向全球能源互联网的电力大数据基础体系架构和标准体系研究", 《电力信息与通信技术》 *

Cited By (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112527823A (zh) * 2020-12-21 2021-03-19 南京深度智控科技有限公司 一种智慧建筑管理平台中的数据处理方法
CN112714018A (zh) * 2020-12-28 2021-04-27 上海领健信息技术有限公司 基于网关的ElasticSearch搜索服务方法、***、介质及终端
CN112783668A (zh) * 2020-12-30 2021-05-11 宁波智能成型技术创新中心有限公司 基于RabbitMQ的海量智能制造设备的数据采集处理方法
CN112783668B (zh) * 2020-12-30 2023-09-01 宁波智能成型技术创新中心有限公司 基于RabbitMQ的海量智能制造设备的数据采集处理方法
CN112839080A (zh) * 2020-12-31 2021-05-25 四川瑞霆电力科技有限公司 一种基于配置实现采集、计算的边缘物联代理装置及方法
CN112839080B (zh) * 2020-12-31 2022-11-04 四川瑞霆智汇科技有限公司 一种基于配置实现采集、计算的边缘物联代理装置及方法
CN112765232B (zh) * 2021-01-05 2024-03-19 广东核电合营有限公司 核电厂重大设备的数据管理方法及***
CN112765232A (zh) * 2021-01-05 2021-05-07 广东核电合营有限公司 核电厂重大设备的数据管理方法及***
CN113008588A (zh) * 2021-02-22 2021-06-22 南方电网电力科技股份有限公司 一种燃煤电厂锅炉监测可视化***
CN113008588B (zh) * 2021-02-22 2022-07-19 南方电网电力科技股份有限公司 一种燃煤电厂锅炉监测可视化***
CN115017148A (zh) * 2021-03-08 2022-09-06 杭州云掣科技有限公司 一种统一高效的运维数据存储检索分析的方法与***
CN112905685B (zh) * 2021-03-12 2023-11-28 国网安徽省电力有限公司 一种面向信息化建设的架构管控***及设备
CN112905685A (zh) * 2021-03-12 2021-06-04 国网安徽省电力有限公司 一种面向信息化建设的架构管控***及设备
CN113050566B (zh) * 2021-03-17 2021-09-28 珠海市鸿瑞信息技术股份有限公司 基于大数据的工业控制***网络安全数据的高效采集方法
CN113050566A (zh) * 2021-03-17 2021-06-29 珠海市鸿瑞信息技术股份有限公司 基于大数据的工业控制***网络安全数据的高效采集方法
CN113242208B (zh) * 2021-04-08 2022-07-05 电子科技大学 基于网络流的网络态势分析***
CN113242208A (zh) * 2021-04-08 2021-08-10 电子科技大学 基于网络流的网络态势分析***
CN113128862A (zh) * 2021-04-16 2021-07-16 唐山不锈钢有限责任公司 一种转炉煤气智能调度***
CN113127413B (zh) * 2021-05-12 2024-03-01 北京红山信息科技研究院有限公司 一种运营商数据处理方法、装置、服务器及存储介质
CN113127413A (zh) * 2021-05-12 2021-07-16 北京红山信息科技研究院有限公司 一种运营商数据处理方法、装置、服务器及存储介质
CN113139107B (zh) * 2021-05-13 2024-02-27 天讯方舟(北京)信息科技有限公司 一种基于3d数字场景的建筑数据可视化管理***
CN113139107A (zh) * 2021-05-13 2021-07-20 天讯方舟(北京)信息科技有限公司 一种基于3d数字场景的建筑数据可视化管理***
CN113450612A (zh) * 2021-05-17 2021-09-28 云南电网有限责任公司 一种应用于继电保护培训的成套教学装置的开发方法
CN113450612B (zh) * 2021-05-17 2022-10-28 云南电网有限责任公司 一种应用于继电保护培训的成套教学装置的开发方法
CN113393107A (zh) * 2021-06-07 2021-09-14 东方电气集团科学技术研究院有限公司 一种面向发电设备状态参量参考值的增量式计算方法
CN113393107B (zh) * 2021-06-07 2022-08-12 东方电气集团科学技术研究院有限公司 一种面向发电设备状态参量参考值的增量式计算方法
CN113435839A (zh) * 2021-06-23 2021-09-24 东北大学 铝/铜板带生产全流程大数据平台架构
CN113343108A (zh) * 2021-06-30 2021-09-03 中国平安人寿保险股份有限公司 推荐信息处理方法、装置、设备及存储介质
CN113419938A (zh) * 2021-07-01 2021-09-21 中国工商银行股份有限公司 用户并发访问的控制方法、装置及设备
CN113641739A (zh) * 2021-07-05 2021-11-12 南京联创信息科技有限公司 一种基于Spark的智能数据转换方法
CN113378169A (zh) * 2021-07-07 2021-09-10 国网冀北电力有限公司 用于虚拟电厂运营的安全防护***
CN113590724A (zh) * 2021-08-03 2021-11-02 厦门至恒融兴信息技术股份有限公司 数据指标综合管理与可视化评价方法与***
CN113807663A (zh) * 2021-08-26 2021-12-17 上海发电设备成套设计研究院有限责任公司 一种智慧电站中台***
CN113779007A (zh) * 2021-08-26 2021-12-10 浙江虎哥数字科技有限公司 用于垃圾回收的全流程管理方法、***和可读存储介质
CN113807663B (zh) * 2021-08-26 2024-04-16 上海发电设备成套设计研究院有限责任公司 一种智慧电站中台***
CN113704178A (zh) * 2021-09-18 2021-11-26 京东方科技集团股份有限公司 大数据管理方法、***、电子设备及存储介质
CN113873033A (zh) * 2021-09-27 2021-12-31 江苏方天电力技术有限公司 一种具有容错功能的智能边缘计算网关平台
CN113873033B (zh) * 2021-09-27 2022-12-13 江苏方天电力技术有限公司 一种具有容错功能的智能边缘计算网关平台
CN114048952A (zh) * 2021-10-13 2022-02-15 辽宁科技大学 基于边缘物联技术和神经网络的炼铁厂安全态势感知方法
CN114048952B (zh) * 2021-10-13 2023-02-17 辽宁科技大学 基于边缘物联技术和神经网络的炼铁厂安全态势感知方法
CN113938383A (zh) * 2021-10-19 2022-01-14 广东奥飞数据科技股份有限公司 一种sd-wan集中策略管理方法
CN114066418A (zh) * 2021-11-17 2022-02-18 北京城建设计发展集团股份有限公司 一种基于数据中台的消防数据处理***
CN114167828A (zh) * 2021-12-03 2022-03-11 润电能源科学技术有限公司 一种dcs控制器的外挂控制方法及相关装置
CN114338469A (zh) * 2021-12-15 2022-04-12 越亮传奇科技股份有限公司 基于分布式的idc机房流量分析方法、装置及存储介质
CN114356502A (zh) * 2021-12-31 2022-04-15 国家电网有限公司 基于边缘计算技术的非结构化数据标记、训练和发布***及方法
CN114356502B (zh) * 2021-12-31 2024-02-13 国家电网有限公司 基于边缘计算技术的非结构化数据标记、训练和发布***及方法
CN114490657A (zh) * 2022-01-27 2022-05-13 佛山众陶联供应链服务有限公司 一种基于opc的快速数据采集方法
CN114862096A (zh) * 2022-03-22 2022-08-05 东华大学 一种基于边缘计算的航天薄壁件旋压加工质量管理***
CN114862096B (zh) * 2022-03-22 2024-06-04 东华大学 一种基于边缘计算的航天薄壁件旋压加工质量管理***
CN114924889B (zh) * 2022-06-21 2024-05-14 浙江大学 一种基于云边端协同的超低排放智能调控***及方法
CN114924889A (zh) * 2022-06-21 2022-08-19 浙江大学 一种基于云边端协同的超低排放智能调控***及方法
CN115514631A (zh) * 2022-09-22 2022-12-23 浙江大学 一种数据的实时交互监测与分析方法及装置
CN115580637B (zh) * 2022-09-26 2023-05-19 广州健新科技有限责任公司 一种用于电厂辅机设备的安全监测预警方法及***
CN115580637A (zh) * 2022-09-26 2023-01-06 广州健新科技有限责任公司 一种用于电厂辅机设备的安全监测预警方法及***
CN115617898A (zh) * 2022-12-21 2023-01-17 中国科学院长春光学精密机械与物理研究所 基于soa架构的靶场测控数据处理***、方法及计算机设备
CN116126961A (zh) * 2023-04-04 2023-05-16 河北中废通网络技术有限公司 再生循环物联信息***的防篡改无人值守过磅数据***
CN116781476B (zh) * 2023-06-30 2024-03-22 索提斯云智控科技(上海)有限公司 一种节点型边缘计算***
CN116561151B (zh) * 2023-07-06 2023-11-10 广州机智云物联网科技有限公司 物联网数据的可视化处理方法及装置
CN116561151A (zh) * 2023-07-06 2023-08-08 广州机智云物联网科技有限公司 物联网数据的可视化处理方法及装置
CN116756779B (zh) * 2023-08-17 2023-11-17 青岛诺亚信息技术有限公司 一种电子表格数据对象化存储***及方法
CN116756779A (zh) * 2023-08-17 2023-09-15 青岛诺亚信息技术有限公司 一种电子表格数据对象化存储***及方法
CN116910815A (zh) * 2023-09-06 2023-10-20 华能吉林发电有限公司 一种基于大数据的信息数据管理方法
CN117575358A (zh) * 2023-11-22 2024-02-20 江苏鸿剑网络科技有限公司 一种基于大数据的数据处理管理方法及***
CN117390054A (zh) * 2023-12-08 2024-01-12 先进操作***创新中心(天津)有限公司 一种国产化生态适配数据的数据治理方法及***
CN117938636A (zh) * 2024-03-25 2024-04-26 中国人民解放军国防科技大学 智能节点管控服务***
CN117938636B (zh) * 2024-03-25 2024-05-24 中国人民解放军国防科技大学 智能节点管控服务***

Also Published As

Publication number Publication date
CN112102111B (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN112102111B (zh) 一种发电厂数据智能处理***
Finogeev et al. The convergence computing model for big sensor data mining and knowledge discovery
CN109492991B (zh) 配电工程建设智能化综合管理***
Faisal et al. Data-stream-based intrusion detection system for advanced metering infrastructure in smart grid: A feasibility study
Guo et al. Complex power system status monitoring and evaluation using big data platform and machine learning algorithms: a review and a case study
CN106778253A (zh) 基于大数据的威胁情景感知信息安全主动防御模型
CN102882969A (zh) 一种工矿企业的安全生产云服务平台
CN105303455A (zh) 电力企业用户数据存储和分析***
CN102917032A (zh) 一种工矿企业的安全生产云服务平台
CN105512730A (zh) 基于bim模型的数据中心运维***
CN108777637A (zh) 一种支持服务器异构的数据中心综合管理***和方法
CN102930372A (zh) 一种用于面向工矿企业安全生产云服务平台***的关联规则的数据分析方法
Wang et al. A centralized HIDS framework for private cloud
US20220407889A1 (en) Provenance based identification of policy deviations in cloud computing environments
CN112148578A (zh) 基于机器学习的it故障缺陷预测方法
CN114626807A (zh) 核电场景管理方法、***、装置、计算机设备和存储介质
CN102915482A (zh) 一种用于面向工矿企业云服务平台安全生产过程控制与管理方法
Ebrahimy et al. Cyber-interdependency in smart energy systems
Sultanov et al. Development of a centralized system for data storage and processing on operation modes and reliability indicators of power equipment
CN112699162A (zh) 一种用于源网荷多元数据处理的***
CN110415136B (zh) 一种电力调度自动化***服务能力评估***与方法
Zhang et al. A security monitoring method based on autonomic computing for the cloud platform
Diez et al. Resilience of cloud computing in critical systems
CN114363079A (zh) 一种云平台的分布式智能数据监管***
Pavlikov et al. Architecture and security tools in distributed information systems with Big Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant