CN109542960A - 一种数据分析域*** - Google Patents

一种数据分析域*** Download PDF

Info

Publication number
CN109542960A
CN109542960A CN201811215551.4A CN201811215551A CN109542960A CN 109542960 A CN109542960 A CN 109542960A CN 201811215551 A CN201811215551 A CN 201811215551A CN 109542960 A CN109542960 A CN 109542960A
Authority
CN
China
Prior art keywords
data
layer
module
storage
domain system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811215551.4A
Other languages
English (en)
Other versions
CN109542960B (zh
Inventor
朱继阳
莫明飞
白雨佳
任春雷
张慧奔
樊锐
吴小锋
梁旭
张悦
林燊
黄鑫烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
East Inner Mongolia Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
East Inner Mongolia Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Information and Telecommunication Co Ltd, East Inner Mongolia Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201811215551.4A priority Critical patent/CN109542960B/zh
Publication of CN109542960A publication Critical patent/CN109542960A/zh
Application granted granted Critical
Publication of CN109542960B publication Critical patent/CN109542960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种数据分析域***，其特征在于，包括：数据源层，数据接入层，数据存储计算层和统一分析服务层。

Description

一种数据分析域***
技术领域
本发明涉及一种数据分析域***。
背景技术
国网蒙东电力经过SG186工程及SG-ERP体系建设，已建成一体化信息***，大数据平台的建设实现了统一的数据共享，积累了海量生产运行数据。但是，随着技术的不断发展，逐步暴露出数据共享不足、数据反复抽取、数据分析支撑不够等问题。
发明内容
为解决上述技术问题，本发明提出了一种数据分析域***，其特征在于，包括：数据源层，数据接入层，数据存储计算层和统一分析服务层。
附图说明
图1是本发明的数据分析域***的结构图。
图2是本发明的数据集成方法的流程图。
图3是本发明的数据分析域***应用于企业业务应用平台的具体实施例展示界面图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，将结合附图对本发明作进一步地详细描述。这种描述是通过示例而非限制的方式介绍了与本发明的原理相一致的具体实施方式，这些实施方式的描述是足够详细的，以使得本领域技术人员能够实践本发明，在不脱离本发明的范围和精神的情况下可以使用其他实施方式并且可以改变和/或替换各要素的结构。因此，不应当从限制性意义上来理解以下的详细描述。
本发明提供了一种数据分析域***，其特征在于，包括：数据源层，数据接入层，数据存储计算层和统一分析服务层，所述数据源层用于获取数据，包括结构化数据获取模块，非结构化数据获取模块和监测采集数据获取模块，所述数据接入层用于将数据从外部数据源导入数据分析域***，包括结构化数据接入模块，采集测量数据接入模块以及非结构化数据接入模块，所述数据存储计算层用于提供数据集中存储和查询的载体，包括数据缓冲模块，数据仓库模块，数据组件模块以及数据集市模块，所述统一分析服务层用于提供统一的数据服务及展现服务，包括数据接口服务模块，数据挖掘服务模块以及自助式分析服务模块。
根据本发明，所述数据仓库模块包括明细数据层和轻度汇总层，所述明细数据层用于存储将数据源层存储的数据经过编码统一、数据同源、数据规范化后形成的明细数据，所述轻度汇总层用于存储将所述明细数据层的数据进行数据轻量汇总和/或轻量合并处理后的数据。所述数据集市模块中的数据由数据仓库的数据经过处理转换后形成，用于支撑统一分析服务的需求。所述数据组件模块包括用于数据计算和数据存储的组件，所述数据计算组件包括流计算组件，内存计算组件，批量计算组件和查询计算组件；所述数据存储组件包括热点数据存储组件，实时数据采集组件以及分布式文件***组件。
根据本发明，所述数据接入层和数据存储计算层包括：处理器和存储器，其中，存储器用于存储计算机程序，处理器用于执行所述存储器存储的计算机程序，以使所述数据接入层和数据存储计算层配合执行以下数据集成方法：如图2所示，步骤A100，通过数据抽取组件或数据库同步复制方式接入，并存储至所述数据缓存模块；步骤A200，将数据缓存模块数据按照统一数据模型标准抽取到数据仓库明细数据层；步骤A300，将数据仓库明细层数据抽取到数据仓库轻度汇总层，按数据仓库的数据模型进行存储；步骤A400，根据粒度需求，将数据按照数据集市的数据模型进行聚合，存储到数据集市中；步骤A500，以数据集市中的数据为基础，支撑统一分析服务。
进一步的，所述结构化数据获取模块用于获取电网相关的结构化数据，所述结构化数据包括：电网运行数据，生产状态数据和生产人员数据。所述非结构化数据获取模块用于获取电网相关的非结构化数据，所述非结构化数据包括音视频，图片和文件。所述监测采集数据获取模块用于获取电网相关的监测采集数据，所述监测采集数据包括实时电压，实时电流和实时负载。
进一步的，所述统一分析服务层还用于提供数据路由和数据网关服务。
进一步的，所述数据源层为临时数据存储区，数据一般存储3个月，逾期数据将进行定期归仓并清除。
进一步的，所述数据集市区存储的数据主要是主题分析数据，数据在线存储的周期一般较长，数据一般保存5年。数据在保存一段时间之后，考虑到数据库的承载能力，数据应进行归档。
此外，***还可以包括：
采集量测数据存储区：提供分布式列式存储、分布式内存存储等数据存储方式，满足业务应用对海量数据的高并发读写、高效率存储、高扩展性等要求。其中，列式存储主要用于提供较低延迟的读写访问，承受高并发的访问请求；内存存储主要应用于高性能实时查询分析场景。
分布式文件***：主要用于存储分析域中非结构化数据，采用分布式文件的数据存储架构，支撑PB级以上规模非结构化数据在线存储，包括非结构化数据、半结构化数据，满足大量、多样化数据的低成本存储需求。具有一次写入多次查询的特性，能降低并发性控制要求，简化数据聚合性，支持高吞吐量访问，应包括文件存储、文件树管理、批量加载、在线监控等功能。
如图3所示，将本发明的数据分析域***应用于企业业务应用平台的具体实施例展示界面。
此外，根据公开的本发明的说明书，本发明的其他实现对于本领域的技术人员是明显的。实施方式和/或实施方式的各个方面可以单独或者以任何组合用于本发明的***和方法中。说明书和其中的示例应该是仅仅看作示例性，本发明的实际范围和精神由所附权利要求书表示。

Claims (9)

1.一种数据分析域***，其特征在于，包括：数据源层，数据接入层，数据存储计算层和统一分析服务层，所述数据源层用于获取数据，包括结构化数据获取模块，非结构化数据获取模块和监测采集数据获取模块，所述数据接入层用于将数据从外部数据源导入数据分析域***，包括结构化数据接入模块，采集测量数据接入模块以及非结构化数据接入模块，所述数据存储计算层用于提供数据集中存储和查询的载体，包括数据缓冲模块，数据仓库模块，数据组件模块以及数据集市模块，所述统一分析服务层用于提供统一的数据服务及展现服务，包括数据接口服务模块，数据挖掘服务模块以及自助式分析服务模块。
2.根据权利要求1所述的数据分析域***，其特征在于，所述结构化数据获取模块用于获取电网相关的结构化数据，所述结构化数据包括：电网运行数据，生产状态数据和生产人员数据。
3.根据权利要求1所述的数据分析域***，其特征在于，所述非结构化数据获取模块用于获取电网相关的非结构化数据，所述非结构化数据包括音视频，图片和文件。
4.根据权利要求1所述的数据分析域***，其特征在于，所述监测采集数据获取模块用于获取电网相关的监测采集数据，所述监测采集数据包括实时电压，实时电流和实时负载。
5.根据权利要求1所述的数据分析域***，其特征在于，所述统一分析服务层还用于提供数据路由和数据网关服务。
6.根据权利要求1所述的数据分析域***，其特征在于，所述数据仓库模块包括明细数据层和轻度汇总层，所述明细数据层用于存储将数据源层存储的数据经过编码统一、数据同源、数据规范化后形成的明细数据，所述轻度汇总层用于存储将所述明细数据层的数据进行数据轻量汇总和/或轻量合并处理后的数据。
7.根据权利要求1所述的数据分析域***，其特征在于，所述数据集市模块中的数据由数据仓库的数据经过处理转换后形成，用于支撑统一分析服务的需求。
8.根据权利要求1所述的数据分析域***，其特征在于，所述数据组件模块包括用于数据计算和数据存储的组件，所述数据计算组件包括流计算组件，内存计算组件，批量计算组件和查询计算组件；所述数据存储组件包括热点数据存储组件，实时数据采集组件以及分布式文件***组件。
9.根据权利要求8所述的数据分析域***，其特征在于，所述数据接入层和数据存储计算层包括：处理器和存储器，其中，存储器用于存储计算机程序，处理器用于执行所述存储器存储的计算机程序，以使所述数据接入层和数据存储计算层配合执行以下数据集成方法：
步骤A100，通过数据抽取组件或数据库同步复制方式接入，并存储至所述数据缓存模块；
步骤A200，将数据缓存模块数据按照统一数据模型标准抽取到数据仓库明细数据层；
步骤A300，将数据仓库明细层数据抽取到数据仓库轻度汇总层，按数据仓库的数据模型进行存储；
步骤A400，根据粒度需求，将数据按照数据集市的数据模型进行聚合，存储到数据集市中；
步骤A500，以数据集市中的数据为基础，支撑统一分析服务。
CN201811215551.4A 2018-10-18 2018-10-18 一种数据分析域*** Active CN109542960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811215551.4A CN109542960B (zh) 2018-10-18 2018-10-18 一种数据分析域***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811215551.4A CN109542960B (zh) 2018-10-18 2018-10-18 一种数据分析域***

Publications (2)

Publication Number Publication Date
CN109542960A true CN109542960A (zh) 2019-03-29
CN109542960B CN109542960B (zh) 2023-03-14

Family

ID=65844493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811215551.4A Active CN109542960B (zh) 2018-10-18 2018-10-18 一种数据分析域***

Country Status (1)

Country Link
CN (1) CN109542960B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976729A (zh) * 2019-05-05 2019-07-05 东北大学 一种存算显全局可配置的数据分析软件架构设计方法
CN112395281A (zh) * 2020-12-10 2021-02-23 太极计算机股份有限公司 一种异构多源数据融合***

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080065590A1 (en) * 2006-09-07 2008-03-13 Microsoft Corporation Lightweight query processing over in-memory data structures
US20080270363A1 (en) * 2007-01-26 2008-10-30 Herbert Dennis Hunt Cluster processing of a core information matrix
US20130074058A1 (en) * 2012-09-18 2013-03-21 Concurix Corporation Memoization from Offline Analysis
CN104142980A (zh) * 2014-07-15 2014-11-12 中电科华云信息技术有限公司 基于大数据的元数据模型管理***和管理方法
CN105184642A (zh) * 2015-09-02 2015-12-23 浪潮软件集团有限公司 一种综合治税平台
CN105554070A (zh) * 2015-12-09 2016-05-04 北京中科云集科技有限公司 一种基于警务大数据中心服务建设的方法
US20160196304A1 (en) * 2015-01-05 2016-07-07 Saama Technologies Inc. Abstractly implemented data analysis systems and methods therefor
CN106339509A (zh) * 2016-10-26 2017-01-18 国网山东省电力公司临沂供电公司 一种基于大数据技术的电网运营数据共享***
CN107330080A (zh) * 2017-07-03 2017-11-07 北京希嘉创智教育科技有限公司 一种数据处理方法、装置及应用其的计算机设备
CN108121778A (zh) * 2017-12-14 2018-06-05 浙江航天恒嘉数据科技有限公司 一种异构数据交换与清洗***及方法
CN108390782A (zh) * 2018-02-12 2018-08-10 黄倚霄 一种集中式应用***性能问题综合分析方法
CN108615143A (zh) * 2018-06-12 2018-10-02 湖南建工集团有限公司 智能建筑管理中基于bim模型与运维信息交互的装置及方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080065590A1 (en) * 2006-09-07 2008-03-13 Microsoft Corporation Lightweight query processing over in-memory data structures
US20080270363A1 (en) * 2007-01-26 2008-10-30 Herbert Dennis Hunt Cluster processing of a core information matrix
US20130074058A1 (en) * 2012-09-18 2013-03-21 Concurix Corporation Memoization from Offline Analysis
CN104142980A (zh) * 2014-07-15 2014-11-12 中电科华云信息技术有限公司 基于大数据的元数据模型管理***和管理方法
US20160196304A1 (en) * 2015-01-05 2016-07-07 Saama Technologies Inc. Abstractly implemented data analysis systems and methods therefor
CN105184642A (zh) * 2015-09-02 2015-12-23 浪潮软件集团有限公司 一种综合治税平台
CN105554070A (zh) * 2015-12-09 2016-05-04 北京中科云集科技有限公司 一种基于警务大数据中心服务建设的方法
CN106339509A (zh) * 2016-10-26 2017-01-18 国网山东省电力公司临沂供电公司 一种基于大数据技术的电网运营数据共享***
CN107330080A (zh) * 2017-07-03 2017-11-07 北京希嘉创智教育科技有限公司 一种数据处理方法、装置及应用其的计算机设备
CN108121778A (zh) * 2017-12-14 2018-06-05 浙江航天恒嘉数据科技有限公司 一种异构数据交换与清洗***及方法
CN108390782A (zh) * 2018-02-12 2018-08-10 黄倚霄 一种集中式应用***性能问题综合分析方法
CN108615143A (zh) * 2018-06-12 2018-10-02 湖南建工集团有限公司 智能建筑管理中基于bim模型与运维信息交互的装置及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孟维一: "基于数据仓库的保险商业智能***设计与实现" *
江樱;黄慧;卢文达;骆伟艺;: "基于大数据技术的电力全业务数据运营管理平台研究" *
邱菊;王岩;黄佩卓;王洋;: "大型电力企业基于GBase分布式数据仓库建设初探" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976729A (zh) * 2019-05-05 2019-07-05 东北大学 一种存算显全局可配置的数据分析软件架构设计方法
CN109976729B (zh) * 2019-05-05 2021-10-22 东北大学 一种存算显全局可配置的数据分析软件架构设计方法
CN112395281A (zh) * 2020-12-10 2021-02-23 太极计算机股份有限公司 一种异构多源数据融合***
CN112395281B (zh) * 2020-12-10 2021-05-11 太极计算机股份有限公司 一种异构多源数据融合***

Also Published As

Publication number Publication date
CN109542960B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
He et al. QoE-driven big data architecture for smart city
CN104933112B (zh) 分布式互联网交易信息存储处理方法
CN104820670B (zh) 一种电力信息大数据的采集和存储方法
US20180285414A1 (en) Database management system cluster node subtasking data query
CN105139281A (zh) 一种电力营销大数据的处理方法及***
CN103699660B (zh) 一种大规模网络流式数据缓存写入的方法
CN107766402A (zh) 一种楼盘字典云房源大数据平台
CN103268336A (zh) 一种快数据和大数据结合的数据处理方法及其***
CN103500173A (zh) 一种轨道交通监测数据的查询方法
CN103577602A (zh) 一种二次聚类方法及***
CN102968422A (zh) 流数据存储控制***及其方法
CN103365971A (zh) 基于云计算的海量数据访问处理***
CN109542960A (zh) 一种数据分析域***
CN106649687A (zh) 大数据联机分析处理方法及装置
CN104113605A (zh) 一种企业云应用开发的监控处理方法
CN108595605A (zh) 一种车联网平台数据库的构建方法
CN115238015A (zh) 一种基于微服务的时空大数据平台
CN104717247A (zh) 对云存储***中存储资源的动态调度方法和***
CN106570145B (zh) 一种基于分层映射的分布式数据库结果缓存方法
CN112632025A (zh) 一种基于paas平台的电网企业管理决策支持应用***
CN112328569A (zh) 基于Flume分布式数据收集架构的构建方法
CN109669975A (zh) 一种工业大数据处理***及方法
Kemp et al. Aggregating and managing big realtime data in the cloud-application to intelligent transport for smart cities
CN110377757A (zh) 一种实时知识图谱构建***
CN112000703B (zh) 数据入库处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant