CN113806606A - 基于三维场景的电力大数据快速可视化分析方法及*** - Google Patents

基于三维场景的电力大数据快速可视化分析方法及*** Download PDF

Info

Publication number
CN113806606A
CN113806606A CN202111046249.2A CN202111046249A CN113806606A CN 113806606 A CN113806606 A CN 113806606A CN 202111046249 A CN202111046249 A CN 202111046249A CN 113806606 A CN113806606 A CN 113806606A
Authority
CN
China
Prior art keywords
data
computing
calculation
task
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111046249.2A
Other languages
English (en)
Inventor
高菘
姚明亮
张龙浩
付恩狄
莫理
梁宇柔
刘永辉
李德华
胡道平
陈远政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Communication Branch of Peak Regulation and Frequency Modulation Power Generation of China Southern Power Grid Co Ltd
Original Assignee
Information Communication Branch of Peak Regulation and Frequency Modulation Power Generation of China Southern Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Communication Branch of Peak Regulation and Frequency Modulation Power Generation of China Southern Power Grid Co Ltd filed Critical Information Communication Branch of Peak Regulation and Frequency Modulation Power Generation of China Southern Power Grid Co Ltd
Priority to CN202111046249.2A priority Critical patent/CN113806606A/zh
Publication of CN113806606A publication Critical patent/CN113806606A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及大数据分析技术领域，且公开了基于三维场景的电力大数据快速可视化分析方法及***，可视化分析方法的处理流程如下：S1：采集数据，序列化到大数据文件***HDFS中，并同时持久化到数据库HBase；S2：决定采用何种方案对数据进行挖掘与分析，采用相应的智能算法；S3：将输出的结果集映射到可视化模块成为图形信息，可视化引擎将结果集与场景集成，以三维空间场可视化的形式输出给用户。该基于三维场景的电力大数据快速可视化分析方法及***，通过将大数据生态***与可视化模块整合，使三维场景的图形计算和数据分析的数值计算集成在同一个框架内，使其存储模式、计算模式通用，从而实现多业务协同可视化分析工作。

Description

基于三维场景的电力大数据快速可视化分析方法及***
技术领域
本发明涉及大数据分析技术领域，具体为基于三维场景的电力大数据快速可视化分析方法及***。
背景技术
大数据是近年来兴起的新学科，在该领域的研究起步不久，在电力大数据可视化分析领域更是没有较为深入的研究和已成熟的应用。
将快速数据分析方法与快速场景绘制方法应用到电力大数据中，需要一个一体化的、专用于电力***的平台。目前已存在的大数据应用***尚无针对电力***专门设计的架构，已存在的国家电网业务***尚无针对大数据专门设计的应用，这使得各种数据与业务相互分离，用户无法在统一的平台进行可视化分析工作。在不同平台上分别处理不同的数据、然后设法综合到可视化分析***这种模式不仅为用户带来诸多不便，更无法在数据挖掘过程中得到多种数据间的相关性并直观展现。
发明内容
针对现有技术的不足，本发明提供了基于三维场景的电力大数据快速可视化分析方法及***，提出为电力大数据可视化分析设计一种一体化的模型，将大数据生态***与可视化模块整合，使三维场景的图形计算和数据分析的数值计算集成在同一个框架内，使其存储模式、计算模式通用，从而实现多业务协同可视化分析工作，无需采用传统的先进行数据挖掘并导出、后导入可视化***进行分析的处理模式。
为实现上述的基于三维场景的电力大数据快速可视化分析方法及***目的，本发明提供如下技术方案：基于三维场景的电力大数据快速可视化分析方法，可视化分析任务的处理流程如下：
步骤一：采集数据，序列化到大数据文件***HDFS中，并同时持久化到数据库HBase；
步骤二：决定采用何种方案对数据进行挖掘与分析，采用相应的智能算法；
步骤三：将输出的结果集映射到可视化模块成为图形信息，可视化引擎将结果集与场景集成，以三维空间场可视化的形式输出给用户。
所述可视化分析***具有如下功能模块，分别是：
(1)业务模块：提供高层抽象接口，实现用户层的业务需求；
(2)可视化引擎：作为模型的核心子***，应当实现数据与场景的集成方法，并实现大规模三维场景的快速渲染以达到实际应用的需求；
(3)计算模块：用于实施各种智能算法，完成数据挖掘工作；
(4)控制模块：用于完成大数据作业调度功能，实现合理的负载均衡控制；
(5)存储模块：用于存储数据，需要实现大数据文件***和数据库***。
优选的，所述将可能产生的业务结合以上模块对***进行分层，分别为接口层、引擎层、计算层、控制层和持久化层；
(1)持久化层
采用Hadoop文件***HDFS和数据库***HBase，用于存储所有类型的数据，包括场景数据、数值数据以及实际运行中产生的日志数据等；
(2)控制层
采用Hadoop任务调度模块ZooKeeper和芯片级并行技术MPI分别用于控制不同类型的计算任务，ZooKeeper用于控制数据密集型计算模式STORM，MPI用于控制计算密集型计算模式CUDA。这些控制模块完成任务调度、低层次的负载均衡和简单的容错处理；
(3)计算层
对计算任务分类，不以图形计算和数据计算区分，而是根据计算特点分为数据密集型和计算密集型，采用这种分类方法的目的是为了尽可能提高计算效率，针对两种类型的计算任务分别采用与之相适应的并行计算模式，对于待计算的数据，凡是数据密集型的计都分配到STORM模块执行；凡是计算密集型的计算都分配到CUDA模块执行；
(4)引擎层
引擎是模型中的核心子***，该模块实现一个快速渲染引擎，针对大数据环境下的大规模三维场景设计若干优化算法和策略，保证场景的实时渲染效率能够达到实际应用需求，大规模场景的实时渲染问题一直是研究的热点，本文针对此问题分别提出两种方法用于加速渲染：其一是基于八叉树的可见性剔除方法，其二是基于权重函数LOD的多分辨率绘制方法，这两种方法将在后续章节详细介绍算法与实施过程，并通过实验验证其效率。
(5)接口层
接口层作为高层抽象，需要对用户直接进行的操作定义一系列接口，这些接口应当包括对场景的操作和对数据的操作，以及其它操作，如场景导入、数据导入、数据分析、日志导出等，这些接口同时应当预留字段，指明所请求任务的计算类型是属于数据密集型还是属于计算密集型；对于不需要并行计算的任务，该字段应设为NULL，避免不必要的任务调度和节点间通信时间损耗。
优选的，在接口层收到计算任务请求时，对于数据密集型计算任务，应当考虑将数据量的并行度最大化，因此采用分布式实时计算框架STORM；对于计算密集型计算任务，应当考虑将函数线程的并行度最大化，因此采用超级计算框架CUDA；
STORM仅在CPU阵列上进行并行计算，CUDA仅在GPU阵列上进行并行计算，这两个中间层计算框架无需单独在集群硬件中划分自身的作用域，集群可采用多种机器作为节点，实现异构资源上的协同并行计算，计算层根据接口层定义的任务类型判断计算任务属于数据密集型还是计算密集型，将任务分解并分配到对应的计算框架，在不同类型的计算资源上进行并行处理，CUDA框架中的计算任务会被Hadoop分配到集群内所有的GPU资源进行并行计算处理，STORM框架中的计算任务则会被Hadoop分配到集群内所有的CPU资源进行并行计算处理。
优选的，所述STORM分布式计算框架使用单控制节点(Master)，名为Nimbus，接口层接收到业务请求时，首先根据接口类型分析是哪一类计算任务，如果是数据密集型，则提交到Nimbus进行拓扑生成操作，Nimbus将生成的任务拓扑序列发送到控制层的Zookeeper，由Zookeeper统一进行任务调度，STORM的计算节点(Slave)分为两种，一种是用来分配原语的spout(Supervisor)，一种是用来计算原语的bolt(Worker)，STORM不要求所有原语都进行相同的操作，更适合处理数据密集型任务，对于数值计算中的非迭代型任务(数据密集型任务)，STORM能实现较好的加速比；对于图形任务中不适合用CUDA加速的计算任务，STORM也能达到较好的效率。
优选的，所述CUDA架构基于SIMT(Single Instruction,Multiple Thread，单指令多线程)模型，是对SIMD(Single Instruction,Multiple Data，单指令多数据)模型的一种扩展，在GPU上执行的函数称为核函数(kernel)，运行时，核函数指令被并行地发射到阵列中的所有流处理器SP(Stream Processor)上，一个kernel仅是一个函数，不是完整的程序，在执行kernel前，需要CPU辅助完成数据预处理与设备初始化工作，CUDA计算过程分为输入、执行、输出三个阶段，第一阶段，主程序为输入和输出数据分配GPU内存空间，将输入数据从CPU内存传输到GPU内存；第二阶段，主程序启动GPU上的内核程序，并行地执行任务；第三阶段，当内核程序结束时，主程序将其输出数据从GPU内存传输到CPU内存，从而获得输出结果；
CUDA架构将计算资源分为两类：主机host(CPU)和设备device(GPU)，在同一阵列中主机只有一个，而设备可以有若干个，因此CUDA是单控制节点的并行模式，CUDA编程模式采取Grid-Block-Thread三层模型，每层具有不同的索引、同步方式、共享内存方式以及协同计算方式，计算任务逐步细粒度化，粒度最细的Thread并行度最高，CUDA适用于大规模的、均衡的高并发计算任务。
与现有技术相比，本发明提供了基于三维场景的电力大数据快速可视化分析方法及***，具备以下有益效果：
本基于三维场景的电力大数据快速可视化分析方法及***，***基于Hadoop生态***设计，Hadoop***因其在大数据处理领域具有广泛的实用性以及良好的易用性，自推出后很快得到了学术界的广泛关注和研究，同时在工业界也得到普及应用，Hadoop是目前最为成功、最被广泛接受的大数据处理主流技术和***平台，它提供了完整的分布式集群计算所需的各种功能模块，至今Hadoop平台已经演进为一个完整的生态***，Hadoop平台运行于一个由普通商用服务器甚至廉价机器组成的计算集群上，提供了廉价、便捷、可伸缩的大数据解决方案；
本发明提出为电力大数据可视化分析设计一种一体化的***，将大数据生态***与可视化模块整合，使三维场景的图形计算和数据分析的数值计算集成在同一个框架内，使其存储模式、计算模式通用，从而实现多业务协同可视化分析工作，无需采用传统的先进行数据挖掘并导出、后导入可视化***进行分析的处理模式。
附图说明
图1为本发明大数据环境下的电力***可视化分析任务流程图；
图2为本发明电力大数据可视化分析平台功能模块图；
图3为本发明电力大数据可视化分析模型层次架构图；
图4为本发明计算层中不同类型任务的资源分配图；
图5为本发明STORM计算框架图；
图6为本发明CUDA计算框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，基于三维场景的电力大数据快速可视化分析方法，可视化分析任务的处理流程如下：
步骤一：采集数据，序列化到大数据文件***HDFS中，并同时持久化到数据库HBase；
步骤二：决定采用何种方案对数据进行挖掘与分析，采用相应的智能算法；
步骤三：将输出的结果集映射到可视化模块成为图形信息，可视化引擎将结果集与场景集成，以三维空间场可视化的形式输出给用户。
在大数据环境下，数据、业务、场景均较为复杂，需要对整个任务处理流程进行合理的组织才能达到实际应用的需求，基于Hadoop生态***设计，Hadoop***因其在大数据处理领域具有广泛的实用性以及良好的易用性，自推出后很快得到了学术界的广泛关注和研究，同时在工业界也得到普及应用，Hadoop是目前最为成功、最被广泛接受的大数据处理主流技术和***平台，它提供了完整的分布式集群计算所需的各种功能模块，至今Hadoop平台已经演进为一个完整的生态***，Hadoop平台运行于一个由普通商用服务器甚至廉价机器组成的计算集群上，提供了廉价、便捷、可伸缩的大数据解决方案。
可视化分析***具有如下功能模块，分别是：
(1)业务模块：提供高层抽象接口，实现用户层的业务需求；
(2)可视化引擎：作为模型的核心子***，应当实现数据与场景的集成方法，并实现大规模三维场景的快速渲染以达到实际应用的需求；
(3)计算模块：用于实施各种智能算法，完成数据挖掘工作；
(4)控制模块：用于完成大数据作业调度功能，实现合理的负载均衡控制；
(5)存储模块：用于存储数据，需要实现大数据文件***和数据库***。
请参阅图2-3，将可能产生的业务结合以上模块对***进行分层，分别为接口层、引擎层、计算层、控制层和持久化层；
(1)持久化层
采用Hadoop文件***HDFS和数据库***HBase，用于存储所有类型的数据，包括场景数据、数值数据以及实际运行中产生的日志数据等；
(2)控制层
采用Hadoop任务调度模块ZooKeeper和芯片级并行技术MPI分别用于控制不同类型的计算任务，ZooKeeper用于控制数据密集型计算模式STORM，MPI用于控制计算密集型计算模式CUDA。这些控制模块完成任务调度、低层次的负载均衡和简单的容错处理；
(3)计算层
对计算任务分类，不以图形计算和数据计算区分，而是根据计算特点分为数据密集型和计算密集型，采用这种分类方法的目的是为了尽可能提高计算效率，针对两种类型的计算任务分别采用与之相适应的并行计算模式，对于待计算的数据，凡是数据密集型的计都分配到STORM模块执行；凡是计算密集型的计算都分配到CUDA模块执行；
(4)引擎层
引擎是模型中的核心子***，该模块实现一个快速渲染引擎，针对大数据环境下的大规模三维场景设计若干优化算法和策略，保证场景的实时渲染效率能够达到实际应用需求，大规模场景的实时渲染问题一直是研究的热点，本文针对此问题分别提出两种方法用于加速渲染：其一是基于八叉树的可见性剔除方法，其二是基于权重函数LOD的多分辨率绘制方法，这两种方法将在后续章节详细介绍算法与实施过程，并通过实验验证其效率。
(5)接口层
接口层作为高层抽象，需要对用户直接进行的操作定义一系列接口，这些接口应当包括对场景的操作和对数据的操作，以及其它操作，如场景导入、数据导入、数据分析、日志导出等，这些接口同时应当预留字段，指明所请求任务的计算类型是属于数据密集型还是属于计算密集型；对于不需要并行计算的任务，该字段应设为NULL，避免不必要的任务调度和节点间通信时间损耗。
请参阅图4，在接口层收到计算任务请求时，对于数据密集型计算任务，应当考虑将数据量的并行度最大化，因此采用分布式实时计算框架STORM；对于计算密集型计算任务，应当考虑将函数线程的并行度最大化，因此采用超级计算框架CUDA；
STORM仅在CPU阵列上进行并行计算，CUDA仅在GPU阵列上进行并行计算，这两个中间层计算框架无需单独在集群硬件中划分自身的作用域，集群可采用多种机器作为节点，实现异构资源上的协同并行计算，计算层根据接口层定义的任务类型判断计算任务属于数据密集型还是计算密集型，将任务分解并分配到对应的计算框架，在不同类型的计算资源上进行并行处理，CUDA框架中的计算任务会被Hadoop分配到集群内所有的GPU资源进行并行计算处理，STORM框架中的计算任务则会被Hadoop分配到集群内所有的CPU资源进行并行计算处理。
请参阅图5，STORM分布式计算框架使用单控制节点(Master)，名为Nimbus，接口层接收到业务请求时，首先根据接口类型分析是哪一类计算任务，如果是数据密集型，则提交到Nimbus进行拓扑生成操作，Nimbus将生成的任务拓扑序列发送到控制层的Zookeeper，由Zookeeper统一进行任务调度，STORM的计算节点(Slave)分为两种，一种是用来分配原语的spout(Supervisor)，一种是用来计算原语的bolt(Worker)，STORM不要求所有原语都进行相同的操作，更适合处理数据密集型任务，对于数值计算中的非迭代型任务(数据密集型任务)，STORM能实现较好的加速比；对于图形任务中不适合用CUDA加速的计算任务，STORM也能达到较好的效率。
请参阅图6，CUDA架构基于SIMT(Single Instruction,Multiple Thread，单指令多线程)模型，是对SIMD(Single Instruction,Multiple Data，单指令多数据)模型的一种扩展，在GPU上执行的函数称为核函数(kernel)，运行时，核函数指令被并行地发射到阵列中的所有流处理器SP(Stream Processor)上，一个kernel仅是一个函数，不是完整的程序，在执行kernel前，需要CPU辅助完成数据预处理与设备初始化工作，CUDA计算过程分为输入、执行、输出三个阶段，第一阶段，主程序为输入和输出数据分配GPU内存空间，将输入数据从CPU内存传输到GPU内存；第二阶段，主程序启动GPU上的内核程序，并行地执行任务；第三阶段，当内核程序结束时，主程序将其输出数据从GPU内存传输到CPU内存，从而获得输出结果；
CUDA架构将计算资源分为两类：主机host(CPU)和设备device(GPU)，在同一阵列中主机只有一个，而设备可以有若干个，因此CUDA是单控制节点的并行模式，CUDA编程模式采取Grid-Block-Thread三层模型，每层具有不同的索引、同步方式、共享内存方式以及协同计算方式，计算任务逐步细粒度化，粒度最细的Thread并行度最高，CUDA适用于大规模的、均衡的高并发计算任务。
当接口层业务请求函数的计算类型字段设计正确时，STORM和CUDA协同工作将达到极高的效率。
本发明的工作使用流程以及安装方法为，本基于三维场景的电力大数据快速可视化分析方法及***在使用时，***基于Hadoop生态***设计，Hadoop***因其在大数据处理领域具有广泛的实用性以及良好的易用性，自推出后很快得到了学术界的广泛关注和研究，同时在工业界也得到普及应用，Hadoop是目前最为成功、最被广泛接受的大数据处理主流技术和***平台，它提供了完整的分布式集群计算所需的各种功能模块，至今Hadoop平台已经演进为一个完整的生态***，Hadoop平台运行于一个由普通商用服务器甚至廉价机器组成的计算集群上，提供了廉价、便捷、可伸缩的大数据解决方案；本发明提出为电力大数据可视化分析设计一种一体化的***，将大数据生态***与可视化模块整合，使三维场景的图形计算和数据分析的数值计算集成在同一个框架内，使其存储模式、计算模式通用，从而实现多业务协同可视化分析工作，无需采用传统的先进行数据挖掘并导出、后导入可视化***进行分析的处理模式。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.基于三维场景的电力大数据快速可视化分析方法，其特征在于：可视化分析方法的处理流程如下：
步骤一：采集数据，序列化到大数据文件***HDFS中，并同时持久化到数据库HBase；
步骤二：决定采用何种方案对数据进行挖掘与分析，采用相应的智能算法；
步骤三：将输出的结果集映射到可视化模块成为图形信息，可视化引擎将结果集与场景集成，以三维空间场可视化的形式输出给用户。
2.基于三维场景的电力大数据快速可视化分析***，其特征在于：所述可视化分析***具有如下功能模块，分别是：
(1)业务模块：提供高层抽象接口，实现用户层的业务需求；
(2)可视化引擎：作为模型的核心子***，应当实现数据与场景的集成方法，并实现大规模三维场景的快速渲染以达到实际应用的需求；
(3)计算模块：用于实施各种智能算法，完成数据挖掘工作；
(4)控制模块：用于完成大数据作业调度功能，实现合理的负载均衡控制；
(5)存储模块：用于存储数据，需要实现大数据文件***和数据库***。
3.根据权利要求2所述的基于三维场景的电力大数据快速可视化分析***，其特征在于：所述将可能产生的业务结合以上模块对***进行分层，分别为接口层、引擎层、计算层、控制层和持久化层；
(1)持久化层
采用Hadoop文件***HDFS和数据库***HBase，用于存储所有类型的数据，包括场景数据、数值数据以及实际运行中产生的日志数据等；
(2)控制层
采用Hadoop任务调度模块ZooKeeper和芯片级并行技术MPI分别用于控制不同类型的计算任务，ZooKeeper用于控制数据密集型计算模式STORM，MPI用于控制计算密集型计算模式CUDA。这些控制模块完成任务调度、低层次的负载均衡和简单的容错处理；
(3)计算层
对计算任务分类，不以图形计算和数据计算区分，而是根据计算特点分为数据密集型和计算密集型，采用这种分类方法的目的是为了尽可能提高计算效率，针对两种类型的计算任务分别采用与之相适应的并行计算模式，对于待计算的数据，凡是数据密集型的计都分配到STORM模块执行；凡是计算密集型的计算都分配到CUDA模块执行；
(4)引擎层
引擎是模型中的核心子***，该模块实现一个快速渲染引擎，针对大数据环境下的大规模三维场景设计若干优化算法和策略，保证场景的实时渲染效率能够达到实际应用需求，大规模场景的实时渲染问题一直是研究的热点，本文针对此问题分别提出两种方法用于加速渲染：其一是基于八叉树的可见性剔除方法，其二是基于权重函数LOD的多分辨率绘制方法，这两种方法将在后续章节详细介绍算法与实施过程，并通过实验验证其效率。
(5)接口层
接口层作为高层抽象，需要对用户直接进行的操作定义一系列接口，这些接口应当包括对场景的操作和对数据的操作，以及其它操作，如场景导入、数据导入、数据分析、日志导出等，这些接口同时应当预留字段，指明所请求任务的计算类型是属于数据密集型还是属于计算密集型；对于不需要并行计算的任务，该字段应设为NULL，避免不必要的任务调度和节点间通信时间损耗。
4.根据权利要求3所述的基于三维场景的电力大数据快速可视化分析***，其特征在于：在接口层收到计算任务请求时，对于数据密集型计算任务，应当考虑将数据量的并行度最大化，因此采用分布式实时计算框架STORM；对于计算密集型计算任务，应当考虑将函数线程的并行度最大化，因此采用超级计算框架CUDA；
STORM仅在CPU阵列上进行并行计算，CUDA仅在GPU阵列上进行并行计算，这两个中间层计算框架无需单独在集群硬件中划分自身的作用域，集群可采用多种机器作为节点，实现异构资源上的协同并行计算，计算层根据接口层定义的任务类型判断计算任务属于数据密集型还是计算密集型，将任务分解并分配到对应的计算框架，在不同类型的计算资源上进行并行处理，CUDA框架中的计算任务会被Hadoop分配到集群内所有的GPU资源进行并行计算处理，STORM框架中的计算任务则会被Hadoop分配到集群内所有的CPU资源进行并行计算处理。
5.根据权利要求4所述的基于三维场景的电力大数据快速可视化分析***，其特征在于：所述STORM分布式计算框架使用单控制节点(Master)，名为Nimbus，接口层接收到业务请求时，首先根据接口类型分析是哪一类计算任务，如果是数据密集型，则提交到Nimbus进行拓扑生成操作，Nimbus将生成的任务拓扑序列发送到控制层的Zookeeper，由Zookeeper统一进行任务调度，STORM的计算节点(Slave)分为两种，一种是用来分配原语的spout(Supervisor)，一种是用来计算原语的bolt(Worker)，STORM不要求所有原语都进行相同的操作，更适合处理数据密集型任务，对于数值计算中的非迭代型任务(数据密集型任务)，STORM能实现较好的加速比；对于图形任务中不适合用CUDA加速的计算任务，STORM也能达到较好的效率。
6.根据权利要求4所述的基于三维场景的电力大数据快速可视化分析***，其特征在于：所述CUDA架构基于SIMT(Single Instruction,Multiple Thread，单指令多线程)模型，是对SIMD(Single Instruction,Multiple Data，单指令多数据)模型的一种扩展，在GPU上执行的函数称为核函数(kernel)，运行时，核函数指令被并行地发射到阵列中的所有流处理器SP(Stream Processor)上，一个kernel仅是一个函数，不是完整的程序，在执行kernel前，需要CPU辅助完成数据预处理与设备初始化工作，CUDA计算过程分为输入、执行、输出三个阶段，第一阶段，主程序为输入和输出数据分配GPU内存空间，将输入数据从CPU内存传输到GPU内存；第二阶段，主程序启动GPU上的内核程序，并行地执行任务；第三阶段，当内核程序结束时，主程序将其输出数据从GPU内存传输到CPU内存，从而获得输出结果；
CUDA架构将计算资源分为两类：主机host(CPU)和设备device(GPU)，在同一阵列中主机只有一个，而设备可以有若干个，因此CUDA是单控制节点的并行模式，CUDA编程模式采取Grid-Block-Thread三层模型，每层具有不同的索引、同步方式、共享内存方式以及协同计算方式，计算任务逐步细粒度化，粒度最细的Thread并行度最高，CUDA适用于大规模的、均衡的高并发计算任务。
CN202111046249.2A 2021-09-07 2021-09-07 基于三维场景的电力大数据快速可视化分析方法及*** Pending CN113806606A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111046249.2A CN113806606A (zh) 2021-09-07 2021-09-07 基于三维场景的电力大数据快速可视化分析方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111046249.2A CN113806606A (zh) 2021-09-07 2021-09-07 基于三维场景的电力大数据快速可视化分析方法及***

Publications (1)

Publication Number Publication Date
CN113806606A true CN113806606A (zh) 2021-12-17

Family

ID=78940758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111046249.2A Pending CN113806606A (zh) 2021-09-07 2021-09-07 基于三维场景的电力大数据快速可视化分析方法及***

Country Status (1)

Country Link
CN (1) CN113806606A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117130491A (zh) * 2023-10-26 2023-11-28 航天宏图信息技术股份有限公司 混合现实多组协同的方法、***、电子设备和存储介质
CN117196421A (zh) * 2023-09-15 2023-12-08 国能智慧科技发展(江苏)有限公司 一种基于电厂能源调度可视化***及校准方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107329982A (zh) * 2017-06-01 2017-11-07 华南理工大学 一种基于分布式列式存储的大数据并行计算方法及***

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107329982A (zh) * 2017-06-01 2017-11-07 华南理工大学 一种基于分布式列式存储的大数据并行计算方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张子谦;张艳燕;陈俣;赵希超;: "一种电力大数据三维可视化管理方法研究", 能源与环保, no. 03 *
黄靖媛: "基于三维场景的电力大数据快速可视化分析模型研究", 中国优秀硕士学位论文全文数据库 信息科技辑, pages 14 - 20 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117196421A (zh) * 2023-09-15 2023-12-08 国能智慧科技发展(江苏)有限公司 一种基于电厂能源调度可视化***及校准方法
CN117196421B (zh) * 2023-09-15 2024-05-10 大庆市庆翔热电有限公司 一种基于电厂能源调度可视化***及校准方法
CN117130491A (zh) * 2023-10-26 2023-11-28 航天宏图信息技术股份有限公司 混合现实多组协同的方法、***、电子设备和存储介质
CN117130491B (zh) * 2023-10-26 2024-02-06 航天宏图信息技术股份有限公司 混合现实多组协同的方法、***、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN111327681A (zh) 一种基于Kubernetes的云计算数据平台构建方法
CN107329828A (zh) 一种面向cpu/gpu异构集群的数据流编程方法和***
CN102929718A (zh) 一种基于任务调度的分布式gpu计算机***
CN113806606A (zh) 基于三维场景的电力大数据快速可视化分析方法及***
CN104239144A (zh) 一种多级分布式任务处理***
CN103677759A (zh) 一种用于信息***性能提升的对象化并行计算方法及***
Lu et al. Scalable computation of stream surfaces on large scale vector fields
CN110659278A (zh) 基于cpu-gpu异构架构的图数据分布式处理***
Song et al. Gaia scheduler: A kubernetes-based scheduler framework
Morad et al. Generalized MultiAmdahl: Optimization of heterogeneous multi-accelerator SoC
CN103617494A (zh) 一种广域多级分布式并行电网分析***
CN107329822A (zh) 面向多源多核***的基于超任务网的多核调度方法
Ranaweera et al. Scheduling of periodic time critical applications for pipelined execution on heterogeneous systems
CN107908459B (zh) 一种云计算调度***
You et al. High-performance polyline intersection based spatial join on GPU-accelerated clusters
Hu et al. Cluster-scheduling big graph traversal task for parallel processing in heterogeneous cloud based on DAG transformation
Pilla et al. Asymptotically optimal load balancing for hierarchical multi-core systems
CN103019852A (zh) 一种适用于大规模集群的mpi并行程序负载问题三维可视化分析方法
Liu et al. A hybrid parallel genetic algorithm with dynamic migration strategy based on sunway many-core processor
Hong et al. An optimized model for MapReduce based on Hadoop
de Rezende et al. MapReduce with components for processing big graphs
CN113076191A (zh) 一种集群gpu资源调度***
Singh et al. Live virtual machine migration techniques in cloud computing
Yang et al. Research on co-simulation task scheduling based on virtualization technology under cloud simulation
Yin et al. Heterogeneous Big Data Parallel Computing Optimization Model using MPI/OpenMP Hybrid and Sensor Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination