CN113312340A - 一种多源数据的处理、融合、展示一体化方法及*** - Google Patents

一种多源数据的处理、融合、展示一体化方法及*** Download PDF

Info

Publication number
CN113312340A
CN113312340A CN202110384112.1A CN202110384112A CN113312340A CN 113312340 A CN113312340 A CN 113312340A CN 202110384112 A CN202110384112 A CN 202110384112A CN 113312340 A CN113312340 A CN 113312340A
Authority
CN
China
Prior art keywords
data
source
processing
query
mediator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110384112.1A
Other languages
English (en)
Inventor
万康鸿
杨传凯
李鹏程
李良书
吴昊
曹利强
黄国强
张晓兰
吴经锋
迟清
叶晓林
王文森
李明
郭璨
高健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Shaanxi Electric Power Co Ltd
Electric Power Research Institute of State Grid Shaanxi Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Shaanxi Electric Power Co Ltd
Electric Power Research Institute of State Grid Shaanxi Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Shaanxi Electric Power Co Ltd, Electric Power Research Institute of State Grid Shaanxi Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202110384112.1A priority Critical patent/CN113312340A/zh
Publication of CN113312340A publication Critical patent/CN113312340A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)

Abstract

本发明公开了一种多源数据的处理、融合、展示一体化方法及***，所述方法应用于第三代智能变电站，包括以下步骤：获取多源数据并进行数据处理，获得处理后的数据；其中，所述数据处理包括：去掉重复数据和异常数据；采用中介者数据融合模式对处理后的数据进行融合，获得融合后的数据；将融合后的数据按照DL/T 860通信协议进行规范化处理，获得规范化处理后的数据；将规范化处理后的数据按照实时性分别存入实时数据库、维护数据库、历史数据库，用于供用户处理、查看、调用。本发明能够实现变电站中各子***的多源数据的处理、融合及展示的一体化，提升变电运维的管控水平。

Description

一种多源数据的处理、融合、展示一体化方法及***
技术领域
本发明属于多源数据处理、融合、展示技术领域，涉及第三代智能变电站领域，特别涉及一种多源数据的处理、融合、展示一体化方法及***。
背景技术
变电站是电网的核心环节，担负着变换电压等级，分配所在区域电能的任务；变电站具有数量多、地域分布广、地处人烟稀少区域的特点，给维护管理带来了诸多不便。变电站的无人值守是电网综合自动化发展的必然趋势，包括：现有的变电站在条件成熟时逐步实现无人值守；新建变电站按无人值守方式设计等；无人值守己成为考察电力企势守业达标创一流的一个重要指标。
然而，传统的变电站安防***受传统理念和技术的影响，各个子***都是孤立的，以至于出现了一种监控“孤岛”现象，通信环节多，协议不统一，无形中降低了***的实用性、稳定性和安全性，增加了投资成本和运行成本；在线监测设备存在信息传输可靠性低、数据融合能力弱、规约私有造成互联互通的工作量大，大大增加了运维人员的工作强度，效率低下。
基于上述现状，迫切的需要研究设备间多源数据融合技术，搭建统一的辅助设备监控***平台，实现变电站中各子***的多源数据的处理、融合及展示的一体化，提升变电运维的管控水平。
发明内容
本发明的目的在于提供一种多源数据的处理、融合、展示一体化方法及***，以解决上述存在的一个或多个技术问题。本发明能够实现变电站中各子***的多源数据的处理、融合及展示的一体化，提升变电运维的管控水平。
为达到上述目的，本发明采用以下技术方案：
本发明公开的一种多源数据的处理、融合、展示一体化方法，应用于第三代智能变电站，包括以下步骤：
获取多源数据并进行数据处理，获得处理后的数据；其中，所述数据处理包括：去掉重复数据和异常数据；
采用中介者数据融合模式对处理后的数据进行融合，获得融合后的数据；
将融合后的数据按照DL/T 860通信协议进行规范化处理，获得规范化处理后的数据；
将规范化处理后的数据按照实时性分别存入实时数据库、维护数据库、历史数据库，用于供用户处理、查看、调用。
本发明的进一步改进在于，所述获取多源数据并进行数据处理，获得处理后的数据的步骤具体包括：
获取多个辅助设备所产生的数据以及用户输入的数据，通过相似重复数据清洗方法、不完整数据清洗方法、不一致数据修复方法，去掉重复数据和异常数据，获得处理后的数据。
本发明的进一步改进在于，所述中介者数据融合模式包括数据源、查询与反馈、数据包装和中介者；所述数据源为所述处理后的数据；所述查询与反馈包括数据包装与数据源间的查询与反馈、中介者与数据包装间的查询与反馈；所述中介者用于维护一个虚拟的数据模式，将各个数据源的数据模式组合起来，生成对应的数据标签；
其中，对数据标签提交查询时，查询被转换成对各个数据源的若干查询，所述若干查询分别发送到各个数据源，由各个数据源执行所述若干查询并返回结果，各个数据源返回的结果经合并后输出。
本发明的进一步改进在于，所述数据包装与数据源间的查询与反馈具体包括：查询输入数据类型，对数据包进行拆分和打包，在所发送的数据包上附加上目标地址、本地地址、数据标签以及一些用于纠错的字节。
本发明的进一步改进在于，所述中介者与数据包装间的查询与反馈具体包括：通过包装后的数据标签、目标地址和本地地址进行查询。
本发明的进一步改进在于，在将规范化处理后的数据按照实时性分别存入实时数据库、维护数据库、历史数据库之前还包括：数据安全设计；
所述数据安全设计包括以下步骤：
采用3DES加密方法，将传输过程中的数据进行2进制流转换；
通过http协议进行访问，http协议构建在TCP/IP协议之上；
在采集或输入数据后，进行数据格式验证、数据长度验证、数据类型验证、会话验证。
本发明的一种多源数据的处理、融合、展示一体化***，应用于第三代智能变电站，包括：
数据处理模块，用于获取多源数据并进行数据处理，获得处理后的数据；其中，所述数据处理包括：去掉重复数据和异常数据；
数据融合模块，用于采用中介者数据融合模式对处理后的数据进行融合，获得融合后的数据；
规范化处理模块，用于将融合后的数据按照DL/T 860通信协议进行规范化处理，获得规范化处理后的数据；
后处理模块，用于将规范化处理后的数据按照实时性分别存入实时数据库、维护数据库、历史数据库，用于供用户处理、查看、调用。
本发明的进一步改进在于，所述数据处理模块中，获取多源数据并进行数据处理，获得处理后的数据的步骤具体包括：
获取多个辅助设备所产生的数据以及用户输入的数据，通过相似重复数据清洗方法、不完整数据清洗方法以及不一致数据修复方法，去掉重复数据和异常数据，获得处理后的数据。
本发明的进一步改进在于，所述数据融合模块中，中介者数据融合模式包括数据源、查询与反馈、数据包装和中介者；所述数据源为所述处理后的数据；所述查询与反馈包括数据包装与数据源间的查询与反馈、中介者与数据包装间的查询与反馈；所述中介者维护一个虚拟的数据模式，将各个数据源的数据模式组合起来，生成对应的数据标签；对数据标签提交查询时，查询被转换成对各个数据源的若干查询，所述若干查询分别发送到各个数据源，由各个数据源执行所述若干查询并返回结果，各个数据源返回的结果经合并后输出到下一级。
与现有技术相比，本发明具有以下有益效果：
本发明的多源数据的处理、融合、展示一体化方法，可对多源数据进行清理，降低数据冗余，提高数据质量；所采用的中介者数据融合模式，将各数据源与对应数据模式组合起来，生成对应的数据标签和地址，可降低多源数据之间的耦合性，使得数据易于独立地被用户查询与复用，可实现第三代智能变电站实现多源数据处理、融合、展示的一体化。
本发明中，数据处理能对多个辅助设备所产生的数据以及用户输入的数据进行处理，去掉重复数据和异常数据，解决数据质量问题，减小因变电站各子***多源数据冗杂而带来处理的困难。
本发明中，数据融合技术采用中介者数据融合模式，通过维护一个虚拟的数据模式，把各个数据源的数据模式组合起来，生成对应的数据标签，降低了多源数据之间的耦合性，提高了数据查询与调用的准确性，为实现辅助设备远程控制及智能联动，及主辅设备间、辅助设备间的智能联动提供了数据基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种应用于第三代智能变电站的多源数据处理、融合、展示一体化方法的数据处理流程示意图；
图2是本发明实施例中，中介者数据融合模式示意图。
具体实施方式
为使本发明实施例的目的、技术效果及技术方案更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例是本发明一部分实施例。基于本发明公开的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，都应属于本发明保护的范围。
参见图1所示，本发明实施例的一种应用于第三代智能变电站的多源数据处理、融合、展示一体化方法，具体包括清理、融合、转换、安全设计、数据后处理、用户操作。
数据清理包括：将多个辅助设备所产生的数据以及用户输入的数据进行处理，通过相似重复数据清洗技术、不完整数据清洗技术以及不一致数据修复技术，去掉重复数据和异常数据，解决数据质量问题，减小因变电站各子***多源数据冗杂而带来处理的困难。
数据融合包括：采用中介者数据融合模式，中介者本身不保存作保数据，数据仍然保存在数据源中。中介者维护一个虚拟的数据模式，将各个数据源的数据模式组合起来，生成对应的数据标签，当用户对数据标签提交查询时，查询被转换成对各个数据源的若干查询，这些查询分别发送到各个数据源，由各个数据源执行这些查询并返回结果。各个数据源返回的结果经合并后，输出到下一级进行数据转换。中介者数据融合模式降低了多源数据之间的耦合性，提高了数据查询与调用的准确性，为实现辅助设备远程控制及智能联动，及主辅设备间、辅助设备间的智能联动提供了数据基础。
数据转换包括：将数据进行规范化处理，使之支持DL/T 860通信协议接入参数配置和解析。
本发明实施例的方法通过建立多源数据融合模型，将用户及设备间的数据进行清理、融合、转换、安全设计，使之成为有效数据；数据通过后处理，被置入对应数据库，用户再由表现层完成人机交互、监视、操作、***管理，实现第三代变电站中主辅设备间、辅助设备间的智能联动。本发明实施例中，清理无效和重复数据，使得数据精准，可信度高；利用中介者数据融合模式融合多个数据源数据，将对象间的一对多关联转变为一对一的关联，提高***的灵活性，使得***易于维护和扩展；将数据按照DL/T 860通信协议进行规范化处理，使整个***具有良好的兼容性和可扩展性。
数据安全设计包括：数据安全设计包含了提升数据的机密性、完整性、可用性三个方面内容。
(1)机密性：通过采用3DES加密技术，将传输过程中的数据进行2进制流转换。当客户端登录成功后，应用服务器在Session中随机生成一个密钥Key，同时把这个key传输给客户端，客户端请求服务器数据过程中用这个Key通过3DES算法进行数据加密后，传输给应用服务器，应用服务器接受到请求对请求体进行解密后，进行正常的应用逻辑处理。整个过程由***框架自动实现，不需要业务代码进行任何处理，保证了数据的机密性。
(2)完整性：通过http协议进行访问，http协议构建在TCP/IP协议之上。数据存储过程中通过数据库的事务进行操作。要么统一提交，要么统一回滚。TCP/IP协议保证了数据网络传输的完整性。
(3)可用性：通过数据格式验证、数据长度验证和数据类型验证等技术，在采集或输入数据后，对采集数据的格式进行验证，可考虑采用白名单的方式对数数据格式进行验证。同时还对采集过来的数据进行会话验证，验证他的来源，在服务器不存在对应的会话数据统一拒绝，保证了数据的可用性。
本发明实施例中，采用3DES加密的方式进行数据加密；TCP/IP协议保证了数据网络传输的完整性；采集或输入数据后，必须对采集数据的格式进行验证，以确保其可用性。
数据后处理包括：将数据按照实时性分别存入实时数据库、维护数据库、历史数据库，供用户处理、查看、调用。其中实时数据库用于存储对实时性要求较高的数据，通过数据在内存中的计算，提供实时计算、实时分析处理功能，并集成各通讯协议的数据源，形成统一的访问实时数据接口，完成对实时数据的集中存储；维护数据库用于存储保证***正常运行的配置数据及部分业务数据，为***的正常运行提供保障；历史数据库：用于存储***的历史数据，通过历史数据库提供的查询接口，供数据分析使用。
表现层(用户操作)：用户由表现层对数据控中的数据进行操作，完成人机交互、监视、操作、***管理等功能，实现主辅设备间的智能联动。
本发明实施例中，将数据按照实时性分别存入实时数据库、维护数据库、历史数据库，供用户处理、查看、调用。
参见图2所示，本发明实施例中，多源数据融合技术的中介者数据融合模式，包括数据源、查询与反馈、数据包装、中介者。
数据源n：由多个上一级数据经过清理后得到，可信度高，数据精准。
查询与反馈：查询与反馈在中介者模式中共进行两次，分为数据包装与数据源间的查询与反馈、中介者与数据包装间的查询与反馈。
数据包装与数据源间的查询与反馈包括：***查询输入数据类型，事先对数据包进行拆分和打包，在所发送的数据包上附加上目标地址，本地地址，数据标签，以及一些用于纠错的字节，使得数据成为独立模块，将对象间的一对多关联转变为一对一的关联，提高***的灵活性，使得***易于维护和扩展。
中介者与数据包装间的查询与反馈包括：中介者维护一个虚拟的数据模式，它通过包装后的数据标签和地址进行查询，把各个数据源的数据模式组合起来，降低了对象之间的耦合性，使得对象易于独立地被下一级复用。
本发明实施例公开了一种应用于第三代智能变电站的多源数据处理、融合、展示一体化方法，将第三代变电站中主辅设备间、辅助设备间所传递的数据进行统一处理、融合后，使之成为有效数据，置入对应数据库，用户再由表现层完成人机交互、监视、操作、***管理，实现第三代变电站中主辅设备间、辅助设备间的智能联动。通过本发明的方法可提高第三代智能变电站主辅设备间、辅助设备间的信息交换效率，同时方便工作人员对数据进行监视，实时掌握变电站的工作状态。本发明的方法中，为数据库中数据选择联动模型，触发相应的联动机制做数据层面的基础支持；从用户以及各主辅设备中采集多源数据信息，数据经过去重复化、去异常化清理，然后通过“中介者”模式对数据进行融合，再进行规范化转换、安全设计，使之成为有效数据。数据的后处理阶段将有效数据置入相应数据库，用户再由表现层完成人机交互、监视、操作、***管理，实现第三代变电站中主辅设备间、辅助设备间的智能联动。
本发明实施例的一种多源数据的处理、融合、展示一体化***，应用于第三代智能变电站，包括：
数据处理模块，用于获取多源数据并进行数据处理，获得处理后的数据；其中，所述数据处理包括：去掉重复数据和异常数据；
数据融合模块，用于采用中介者数据融合模式对处理后的数据进行融合，获得融合后的数据；
规范化处理模块，用于将融合后的数据按照DL/T 860通信协议进行规范化处理，获得规范化处理后的数据；
后处理模块，用于将规范化处理后的数据按照实时性分别存入实时数据库、维护数据库、历史数据库，用于供用户处理、查看、调用。
本发明实施例中，建立多源数据融合模型，实现多源数据处理、融合、展示的一体化。将变电站辅助设备监控***一体监控、标准接口、远方控制、智能联动四个方面的技术研究融入第三代智能变电站研究中，即可实现辅助设备远程控制及智能联动，也可实现主辅设备间、辅助设备间的智能联动。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (9)

1.一种多源数据的处理、融合、展示一体化方法，其特征在于，应用于第三代智能变电站，包括以下步骤：
获取多源数据并进行数据处理，获得处理后的数据；其中，所述数据处理包括：去掉重复数据和异常数据；
采用中介者数据融合模式对处理后的数据进行融合，获得融合后的数据；
将融合后的数据按照DL/T 860通信协议进行规范化处理，获得规范化处理后的数据；
将规范化处理后的数据按照实时性分别存入实时数据库、维护数据库、历史数据库，用于供用户处理、查看、调用。
2.根据权利要求1所述的一种多源数据的处理、融合、展示一体化方法，其特征在于，所述获取多源数据并进行数据处理，获得处理后的数据的步骤具体包括：
获取多个辅助设备所产生的数据以及用户输入的数据，通过相似重复数据清洗方法、不完整数据清洗方法、不一致数据修复方法，去掉重复数据和异常数据，获得处理后的数据。
3.根据权利要求1所述的一种多源数据的处理、融合、展示一体化方法，其特征在于，所述中介者数据融合模式包括数据源、查询与反馈、数据包装和中介者；所述数据源为所述处理后的数据；所述查询与反馈包括数据包装与数据源间的查询与反馈、中介者与数据包装间的查询与反馈；所述中介者用于维护一个虚拟的数据模式，将各个数据源的数据模式组合起来，生成对应的数据标签；
其中，对数据标签提交查询时，查询被转换成对各个数据源的若干查询，所述若干查询分别发送到各个数据源，由各个数据源执行所述若干查询并返回结果，各个数据源返回的结果经合并后输出。
4.根据权利要求3所述的一种多源数据的处理、融合、展示一体化方法，其特征在于，所述数据包装与数据源间的查询与反馈具体包括：查询输入数据类型，对数据包进行拆分和打包，在所发送的数据包上附加上目标地址、本地地址、数据标签以及一些用于纠错的字节。
5.根据权利要求4所述的一种多源数据的处理、融合、展示一体化方法，其特征在于，所述中介者与数据包装间的查询与反馈具体包括：通过包装后的数据标签、目标地址和本地地址进行查询。
6.根据权利要求1所述的一种多源数据的处理、融合、展示一体化方法，其特征在于，在将规范化处理后的数据按照实时性分别存入实时数据库、维护数据库、历史数据库之前还包括：数据安全设计；
所述数据安全设计包括以下步骤：
采用3DES加密方法，将传输过程中的数据进行2进制流转换；
通过http协议进行访问，http协议构建在TCP/IP协议之上；
在采集或输入数据后，进行数据格式验证、数据长度验证、数据类型验证、会话验证。
7.一种多源数据的处理、融合、展示一体化***，其特征在于，应用于第三代智能变电站，包括：
数据处理模块，用于获取多源数据并进行数据处理，获得处理后的数据；其中，所述数据处理包括：去掉重复数据和异常数据；
数据融合模块，用于采用中介者数据融合模式对处理后的数据进行融合，获得融合后的数据；
规范化处理模块，用于将融合后的数据按照DL/T 860通信协议进行规范化处理，获得规范化处理后的数据；
后处理模块，用于将规范化处理后的数据按照实时性分别存入实时数据库、维护数据库、历史数据库，用于供用户处理、查看、调用。
8.根据权利要求7所述的一种多源数据的处理、融合、展示一体化***，其特征在于，所述数据处理模块中，获取多源数据并进行数据处理，获得处理后的数据的步骤具体包括：
获取多个辅助设备所产生的数据以及用户输入的数据，通过相似重复数据清洗方法、不完整数据清洗方法以及不一致数据修复方法，去掉重复数据和异常数据，获得处理后的数据。
9.根据权利要求7所述的一种多源数据的处理、融合、展示一体化***，其特征在于，所述数据融合模块中，中介者数据融合模式包括数据源、查询与反馈、数据包装和中介者；所述数据源为所述处理后的数据；所述查询与反馈包括数据包装与数据源间的查询与反馈、中介者与数据包装间的查询与反馈；所述中介者维护一个虚拟的数据模式，将各个数据源的数据模式组合起来，生成对应的数据标签；对数据标签提交查询时，查询被转换成对各个数据源的若干查询，所述若干查询分别发送到各个数据源，由各个数据源执行所述若干查询并返回结果，各个数据源返回的结果经合并后输出到下一级。
CN202110384112.1A 2021-04-09 2021-04-09 一种多源数据的处理、融合、展示一体化方法及*** Pending CN113312340A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110384112.1A CN113312340A (zh) 2021-04-09 2021-04-09 一种多源数据的处理、融合、展示一体化方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110384112.1A CN113312340A (zh) 2021-04-09 2021-04-09 一种多源数据的处理、融合、展示一体化方法及***

Publications (1)

Publication Number Publication Date
CN113312340A true CN113312340A (zh) 2021-08-27

Family

ID=77371987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110384112.1A Pending CN113312340A (zh) 2021-04-09 2021-04-09 一种多源数据的处理、融合、展示一体化方法及***

Country Status (1)

Country Link
CN (1) CN113312340A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095800A (zh) * 2021-09-03 2022-02-25 复旦大学 基于多数据源的大规模无线局域网数据采集与处理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008135A (zh) * 2014-05-07 2014-08-27 南京邮电大学 一种多源异构数据库融合***及其数据查询方法
CN105352542A (zh) * 2015-10-14 2016-02-24 国家电网公司 一种换流站全景状态监测***
CN106557991A (zh) * 2016-11-04 2017-04-05 广东电网有限责任公司电力科学研究院 电压监测数据平台
CN107066499A (zh) * 2016-12-30 2017-08-18 江苏瑞中数据股份有限公司 面向异构存储多源数据管理及可视化***的数据查询方法
CN109144982A (zh) * 2018-09-29 2019-01-04 北京友友天宇***技术有限公司 多维全息数据库动态构建技术***
WO2019233047A1 (zh) * 2018-06-07 2019-12-12 国电南瑞科技股份有限公司 基于电网调度的运维方法
WO2020173020A1 (zh) * 2019-02-26 2020-09-03 北京控制工程研究所 航天器交会对接飞行控制智能数据分析与决策支持***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008135A (zh) * 2014-05-07 2014-08-27 南京邮电大学 一种多源异构数据库融合***及其数据查询方法
CN105352542A (zh) * 2015-10-14 2016-02-24 国家电网公司 一种换流站全景状态监测***
CN106557991A (zh) * 2016-11-04 2017-04-05 广东电网有限责任公司电力科学研究院 电压监测数据平台
CN107066499A (zh) * 2016-12-30 2017-08-18 江苏瑞中数据股份有限公司 面向异构存储多源数据管理及可视化***的数据查询方法
WO2019233047A1 (zh) * 2018-06-07 2019-12-12 国电南瑞科技股份有限公司 基于电网调度的运维方法
CN109144982A (zh) * 2018-09-29 2019-01-04 北京友友天宇***技术有限公司 多维全息数据库动态构建技术***
WO2020173020A1 (zh) * 2019-02-26 2020-09-03 北京控制工程研究所 航天器交会对接飞行控制智能数据分析与决策支持***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ONEAPE15: "数据清洗与数据集成", pages 165 - 169, Retrieved from the Internet <URL:https://www.jianshu.com/p/68a4945af243> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095800A (zh) * 2021-09-03 2022-02-25 复旦大学 基于多数据源的大规模无线局域网数据采集与处理方法
CN114095800B (zh) * 2021-09-03 2023-08-25 复旦大学 基于多数据源的大规模无线局域网数据采集与处理方法

Similar Documents

Publication Publication Date Title
CN105787089A (zh) 一种配电网规划基础数据集成方法
CN104160381A (zh) 多租户环境中租户特定数据集的管理
CN105574643A (zh) 一种电网实时数据中心与大数据平台融合方法
CN105427041A (zh) 一种在运变电站改扩建信息点表的标准化维护方法
CN103605020A (zh) 一种电能质量数据的处理方法和装置
CN106878466A (zh) 一种水电机组数据管理和设备控制一体化平台
CN112989389A (zh) 一种数据安全防护方法及***
CN113312340A (zh) 一种多源数据的处理、融合、展示一体化方法及***
CN114281790A (zh) 一种多类型负荷资源聚合商接入***及方法
CN114357473A (zh) 一种基于区块链的虚拟电厂聚合与分布式调控***及方法
CN106407072A (zh) 一种大数据平台的监控***
CN102750368A (zh) 一种数据库集群数据高速导入方法
CN106384283A (zh) 一种基于互联网+的服务总线结构及服务总线***
CN101667124A (zh) 基于对象模型对监控设备进行配置的***及其方法
CN104216986B (zh) 以数据更新周期进行预操作提高数据查询效率的装置及方法
CN116246765A (zh) 一种医疗设备全生命周期智能维保管理方法及***
KR102538324B1 (ko) 전력시스템 간 연계를 위한 데이터 통합 및 연계 서비스 방법
CN108540308A (zh) 一种基于SCOM的windows应用平台故障自愈***及方法
CN107729410A (zh) 一种适用于电力设备大数据的数据库引擎
CN112559607A (zh) 电力***通信调度数据交互方法及***
Sedighi et al. Integration of heterogeneous data sources in smart grid based on summary schema model
CN101719634A (zh) 变电巡视记录管理***
Wang et al. RETRACTED: Research and Implementation of The Fault Information System FOR Relay Protection Based on Cloud Computing Technology
CN104484759A (zh) 一种基于客户/服务器体系结构的台区数据智能管理***及其管理方法
CN109976716A (zh) 一种自动化软件开发***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination