CN108306916A - 大数据多网融合科研一体机平台装置 - Google Patents

大数据多网融合科研一体机平台装置 Download PDF

Info

Publication number
CN108306916A
CN108306916A CN201710025727.9A CN201710025727A CN108306916A CN 108306916 A CN108306916 A CN 108306916A CN 201710025727 A CN201710025727 A CN 201710025727A CN 108306916 A CN108306916 A CN 108306916A
Authority
CN
China
Prior art keywords
layer
data
big data
scientific research
stage apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710025727.9A
Other languages
English (en)
Inventor
郑建平
杨晓红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Cloud Fusion Mdt Infotech Ltd
Original Assignee
Jiangsu Cloud Fusion Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Cloud Fusion Mdt Infotech Ltd filed Critical Jiangsu Cloud Fusion Mdt Infotech Ltd
Priority to CN201710025727.9A priority Critical patent/CN108306916A/zh
Publication of CN108306916A publication Critical patent/CN108306916A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/54—Presence management, e.g. monitoring or registration for receipt of user log-on information, or the connection status of the users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种大数据多网融合科研一体机平台装置，涉及大数据处理领域。该大数据多网融合科研一体机平台装置，包括cProc云处理平台、应用层、虚拟资源层和立方数据库，cProc云处理平台分别与Storm云存储***、HBase分布式数据库和HDFS分布式文件***双向连接，cProc云处理平台还与大数据实3验一体机双向连接，大数据实验一体机与分布式计算机双向连接。该大数据多网融合科研一体机平台装置，通过Storm云储存***、HBas分布式数据库和HDFS分布式文件***的配合对大数据进行存储，减少了硬件和人员管理的投入成本，储存量大，适用性强，可靠性高。

Description

大数据多网融合科研一体机平台装置
技术领域
本发明大数据处理技术领域，具体为一种大数据多网融合科研一体机平台装置。
背景技术
数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。它不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等，也是客观事物的属性、数量、位置及其相互关系的抽象表示。例如，“0、1、2...”、“阴、雨、下降、气温”“学生的档案记录、货物的运输情况”等都是数据，数据经过加工后就成为信息。
在各大高校的学生实验过程中常常会产生大量的实验数据，这些大数据处理时常常需要用到大数据实验一体机，大数据实验一体机通过应用容器技术，以少量机器虚拟大量实验集群，可供大量学生同时拥有多套集群进行试验，而每个学生的实验环境不仅相互隔离，方便高效地完成实验，而且实验彼此不干扰，即使某个实验环境被破坏，对其他人也没有影响。
目前的大数据实验一体机对于数据的存储大多数都是采用自身的存储机构和外置的存储设备进行，但是这样的存储方式硬件和人员管理的投入成本高，储存量小，适用性差。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种大数据多网融合科研一体机平台装置，解决了目前大数据实验一体机采用自身的存储机构和外置的存储设备进行存储，硬件和人员管理的投入成本高，储存量小，适用性差的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种大数据多网融合科研一体机平台装置，包括cProc云处理平台、应用层、虚拟资源层和立方数据库，所述cProc云处理平台分别与Storm云存储***、HBase分布式数据库和HDFS分布式文件***双向连接，所述cProc云处理平台还与大数据实验一体机双向连接，所述大数据实验一体机与分布式计算机双向连接。
所述Storm云存储***包括管理监控中心，所述管理监控中心分别与元数据管理服务器、数据存储节点服务器和客户端双线连接。
所述管理监控中心包括配置中心和监控中心，所述配置中心包括卷配置、节点参数配置、存储参数配置、用户配额管理、QoS管理和告警装置，所述监控中心包括存储空间监控、设备状态监控、程序状态监控、硬盘状态监控、流量监控和全面警告。
所述HBase分布式数据库和立方数据库构成管理层，且管理层分别与处理层和存储层连接，存储层由Storm云存储***和HDFS分布式文件***构成，处理层由MapReduce引擎组成，处理层还与业务层连接。
优选的，所述cProc云处理平台搭建在云存储***上，且cProc云处理平台为向业务层直接提供对外开发接口和数据传输接口的分布式数据处理平台。
优选的，所述立方数据库是以B+树的结构建立了字段的索引，每个B+树结构的字段索引相当于一个数据平面，这样一个全局数据表与其多个重要字段的索引就组成了一个类似于立方体的数据组织结构。
优选的，所述MapReduce引擎由JobTrackers和TaskTrackers组成。
优选的，所述HDFS分布式文件***由为其提供元数据服务NameNode和提供存储块的DataNode构成。
优选的，所述业务层和存储层还分别与应用层和虚拟资源层连接，且应用层为智能终端、笔记本、PC机或者瘦客户机，所述虚拟资源层为网络资源。
优选的，所述应用层、业务层、处理层、管理层、存储层和虚拟资源层对数据处理的同时监控协调层对应用层、业务层、处理层、管理层、存储层和虚拟资源层进行监控和协调，且监控协调层由Zookeeper和Chukwa组成。
(三)有益效果
本发明提供了一种大数据多网融合科研一体机平台装置。具备以下有益效果：
1、该大数据多网融合科研一体机平台装置，通过Storm云储存***、HBas分布式数据库和HDFS分布式文件***的配合对大数据进行存储，Stor云存储***采用云计算技术、网络通信技术以及分布式文件***技术，将廉价的、性能低下的硬件存储节点组织管理起来，HBas分布式数据库可以获取距离某个时间最近的数据，或者一次获取所有数据，HDFS分布式文件***既可以将数据合并化简，也可以将数据分成多个小单元，减少了硬件和人员管理的投入成本，储存量大，适用性强，可靠性高。
2、该大数据多网融合科研一体机平台装置，Storm云储存***采用包括元数据管理服务器(管理节点)、数据存储节点服务器(存储节点)以及客户端节点的结构构成一个虚拟的海量存储卷，有效提供了高性能、高可靠的存储***，便于使用者及时的提取数据资料。
3、该大数据多网融合科研一体机平台装置，Storm云储存***提供的管理监控中心可以对每一个节点进行管理，包括设备运行状态、磁盘运行状态、服务在线情况以及异常告警等功能；另外，网管监控中心还提供有如FTP账户添加等客户端管理和配置工具，便于使用者及时的了解数据的实时状态，便于使用者对数据进行管理。
附图说明
图1为本发明***原理图；
图2为本发明Storm云储存***的结构框图；
图3为本发明cProc架构图
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明实施例提供一种大数据多网融合科研一体机平台装置，包括cProc云处理平台、应用层、虚拟资源层和立方数据库，cProc云处理平台分别与Storm云存储***、HBase分布式数据库和HDFS分布式文件***双向连接，cProc云处理平台还与大数据实验一体机双向连接，大数据实验一体机与分布式计算机双向连接。
本发明中：cProc云处理平台搭建在云存储***上，且cProc云处理平台为向业务层直接提供对外开发接口和数据传输接口的分布式数据处理平台，cProc云处理平台是一种处理海量数据的并行编程模型和计算框架，用于对大规模数据集的并行计算。
cProc架构图如图3所示，cProc云处理平台是一种处理海量数据的高效分布式软硬件集合的云处理平台，该平台可以从TB乃至PB级的数据中挖掘出有用的信息，并对这些海量信息进行快捷、高效的处理，cProc云处理平台支持和关系数据库混合模式，绝大部分海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库，以满足支撑各种类型的业务需求，支持支撑查询、统计、分析业务；可支撑深度数据挖掘和商业智能分析业务，要求对标准SQL规范支持度达到50％以上，提供属性选择、分类预测、回归预测、聚类分析、关联分析、时间序列分析等数据挖掘算法，提供食品二维码扫描功能，能够对各类信息实现溯源，通过cProc云处理平台解析后，可以大大增加数据查询和检索等业务，可以让***平台具备数据实时入库、实时查询、查询结果实时传输等优势，通过cProc对元数据进行分析之后，可以大大加快数据的查询和检索效率。
本发明中：HDFS分布式文件***由为其提供元数据服务NameNode和提供存储块的DataNode构成，HDFS分布式文件***是开源云处理平台Hadoop框架的底层实现部分，适合运行在通用硬件上的分布式文件***，具有高容错性，能提高吞吐量的数据访问，非常适合于大规模数据集上的应用。
本发明中：HBase分布式数据库类似Bigtable的分布式数据库，是一个稀疏的，长期存储的，多维的，排序的映射表，这张表的索引是行关键字，列关键字和时间戳，所有数据库的更新都是一个时间戳标记，每个更新都是一个新的版本，而HBase会保留一定数量的版本，这个值是可以设定的，客户端可以获取距离某个时间最近的数据，或者一次获取所有数据。
Storm云存储***包括管理监控中心，管理监控中心分别与元数据管理服务器、数据存储节点服务器和客户端双线连接。
管理监控中心包括配置中心和监控中心，配置中心包括卷配置、节点参数配置、存储参数配置、用户配额管理、QoS管理和告警装置，监控中心包括存储空间监控、设备状态监控、程序状态监控、硬盘状态监控、流量监控和全面警告。
本发明中：管理监控中心在使用过程中具有提供存储机架的虚拟化管理，可以监测到每个节点服务器的运行状态，对磁盘的运行状态和使用情况监控，对卷管理服务器的设置和账户管理，对***操作日志管理及审计的功能。
本发明中：Storm云储存***针对绝大多数数据密集型应用的特点从多个方面进行了优化，从而在一定规模下达到成本、可靠性和性能的最佳平衡。Storm云储存***凭着超低的价格、优异的性能、高度可靠、绿色节能、无限容量、在线自动伸缩、易用通用等诸多压倒性优势，获得了用户的一致称赞。
本发明中：Stor云存储***所有的节点均通过网络的方式连接起来，其中存储节点采用廉价的计算机节点，运用自适应副本管理技术进行容错，所有存储节点同时担任对外服务功能，客户端分别挂载到不同存储节点访问云存储***，通过增加或者减少存储节点的方式，即可以对存储***进行在线伸缩，由于采用了自适应副本管理技术进行容错，***在线伸缩的过程中，不影响***对外提供服务。
对于Stor云存储的用户来说，通过Stor客户端可以将海量云存储***映射成一个本地海量磁盘(Windows客户端)或者映射到一个目录(Linux客户端)，对于此磁盘或者目录的读写操作，即可实现云存储***数据的读写。同时，由于Stor文件***支持POSIX接口规范，对于目前一般的应用不需要做二次开发即可使用。
HBase分布式数据库和立方数据库构成管理层，且管理层分别与处理层和存储层连接，存储层由Storm云存储***和HDFS分布式文件***构成，处理层由MapReduce引擎组成，处理层还与业务层连接，业务层和存储层还分别与应用层和虚拟资源层连接，且应用层为智能终端、笔记本、PC机或者瘦客户机，虚拟资源层为网络资源，应用层、业务层、处理层、管理层、存储层和虚拟资源层对数据处理的同时监控协调层对应用层、业务层、处理层、管理层、存储层和虚拟资源层进行监控和协调，且监控协调层由Zookeeper和Chukwa组成。
本发明中：MapReduce引擎由JobTrackers和TaskTrackers组成。
本发明中：立方数据库是以B+树的结构建立了字段的索引，每个B+树结构的字段索引相当于一个数据平面，这样一个全局数据表与其多个重要字段的索引就组成了一个类似于立方体的数据组织结构。
综上所述，该大数据多网融合科研一体机平台装置，通过Storm云储存***、HBas分布式数据库和HDFS分布式文件***的配合对大数据进行存储，Stor云存储***采用云计算技术、网络通信技术以及分布式文件***技术，将廉价的、性能低下的硬件存储节点组织管理起来，HBas分布式数据库可以获取距离某个时间最近的数据，或者一次获取所有数据，HDFS分布式文件***既可以将数据合并化简，也可以将数据分成多个小单元，减少了硬件和人员管理的投入成本，储存量大，适用性强，可靠性高。
同时，Storm云储存***采用包括元数据管理服务器(管理节点)、数据存储节点服务器(存储节点)以及客户端节点的结构构成一个虚拟的海量存储卷，有效提供了高性能、高可靠的存储***，便于使用者及时的提取数据资料。
其次，Storm云储存***提供的管理监控中心可以对每一个节点进行管理，包括设备运行状态、磁盘运行状态、服务在线情况以及异常告警等功能；另外，网管监控中心还提供有如FTP账户添加等客户端管理和配置工具，便于使用者及时的了解数据的实时状态，便于使用者对数据进行管理。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种大数据多网融合科研一体机平台装置，包括cProc云处理平台、应用层、虚拟资源层和立方数据库，其特征在于：所述cProc云处理平台分别与Storm云存储***、HBase分布式数据库和HDFS分布式文件***双向连接，所述cProc云处理平台还与大数据实验一体机双向连接，所述大数据实验一体机与分布式计算机双向连接；
所述Storm云存储***包括管理监控中心，所述管理监控中心分别与元数据管理服务器、数据存储节点服务器和客户端双线连接；
所述管理监控中心包括配置中心和监控中心，所述配置中心包括卷配置、节点参数配置、存储参数配置、用户配额管理、QoS管理和告警装置，所述监控中心包括存储空间监控、设备状态监控、程序状态监控、硬盘状态监控、流量监控和全面警告；
所述HBase分布式数据库和立方数据库构成管理层，且管理层分别与处理层和存储层连接，存储层由Storm云存储***和HDFS分布式文件***构成，处理层由MapReduce引擎组成，处理层还与业务层连接。
2.根据权利要求1所述的大数据多网融合科研一体机平台装置，其特征在于：所述cProc云处理平台搭建在云存储***上，且cProc云处理平台为向业务层直接提供对外开发接口和数据传输接口的分布式数据处理平台。
3.根据权利要求1所述的大数据多网融合科研一体机平台装置，其特征在于：所述立方数据库是以B+树的结构建立了字段的索引，每个B+树结构的字段索引相当于一个数据平面，这样一个全局数据表与其多个重要字段的索引就组成了一个类似于立方体的数据组织结构。
4.根据权利要求1所述的大数据多网融合科研一体机平台装置，其特征在于：所述MapReduce引擎由JobTrackers和TaskTrackers组成。
5.根据权利要求1所述的大数据多网融合科研一体机平台装置，其特征在于：所述HDFS分布式文件***由为其提供元数据服务NameNode和提供存储块的DataNode构成。
6.根据权利要求1所述的大数据多网融合科研一体机平台装置，其特征在于：所述业务层和存储层还分别与应用层和虚拟资源层连接，且应用层为智能终端、笔记本、PC机或者瘦客户机，所述虚拟资源层为网络资源。
7.根据权利要求1所述的大数据多网融合科研一体机平台装置，其特征在于：所述应用层、业务层、处理层、管理层、存储层和虚拟资源层对数据处理的同时监控协调层对应用层、业务层、处理层、管理层、存储层和虚拟资源层进行监控和协调，且监控协调层由Zookeeper和Chukwa组成。
CN201710025727.9A 2017-01-13 2017-01-13 大数据多网融合科研一体机平台装置 Pending CN108306916A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710025727.9A CN108306916A (zh) 2017-01-13 2017-01-13 大数据多网融合科研一体机平台装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710025727.9A CN108306916A (zh) 2017-01-13 2017-01-13 大数据多网融合科研一体机平台装置

Publications (1)

Publication Number Publication Date
CN108306916A true CN108306916A (zh) 2018-07-20

Family

ID=62872142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710025727.9A Pending CN108306916A (zh) 2017-01-13 2017-01-13 大数据多网融合科研一体机平台装置

Country Status (1)

Country Link
CN (1) CN108306916A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359151A (zh) * 2018-10-29 2019-02-19 上海船舶工艺研究所(中国船舶工业集团公司第十研究所) 一种船体分段物流大数据可视化平台
CN109684412A (zh) * 2018-12-25 2019-04-26 成都虚谷伟业科技有限公司 一种分布式数据库***
CN112650747A (zh) * 2021-01-20 2021-04-13 天元大数据信用管理有限公司 一种金融风控业务场景下的大数据治理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221927A (zh) * 2011-05-27 2011-10-19 深圳中电数码显示有限公司 触控式三网融合多媒体一体机装置及其触控实现方法
US20140195466A1 (en) * 2013-01-08 2014-07-10 Purepredictive, Inc. Integrated machine learning for a data management product
CN104391989A (zh) * 2014-12-16 2015-03-04 浪潮电子信息产业股份有限公司 一种分布式etl一体机***
CN104506632A (zh) * 2014-12-25 2015-04-08 中国科学院电子学研究所 一种基于分布式多中心的资源共享***及方法
CN105205729A (zh) * 2015-09-22 2015-12-30 许继集团有限公司 一种基于云计算的电力***能效公共服务云平台
CN105554123A (zh) * 2015-12-17 2016-05-04 北京华油信通科技有限公司 大容量感知云计算平台***
CN105933461A (zh) * 2016-07-18 2016-09-07 合肥赑歌数据科技有限公司 大数据平台***及其运行方法
CN106326331A (zh) * 2016-06-29 2017-01-11 河南许继仪表有限公司 一种基于云计算的智能用电数据服务***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221927A (zh) * 2011-05-27 2011-10-19 深圳中电数码显示有限公司 触控式三网融合多媒体一体机装置及其触控实现方法
US20140195466A1 (en) * 2013-01-08 2014-07-10 Purepredictive, Inc. Integrated machine learning for a data management product
CN104391989A (zh) * 2014-12-16 2015-03-04 浪潮电子信息产业股份有限公司 一种分布式etl一体机***
CN104506632A (zh) * 2014-12-25 2015-04-08 中国科学院电子学研究所 一种基于分布式多中心的资源共享***及方法
CN105205729A (zh) * 2015-09-22 2015-12-30 许继集团有限公司 一种基于云计算的电力***能效公共服务云平台
CN105554123A (zh) * 2015-12-17 2016-05-04 北京华油信通科技有限公司 大容量感知云计算平台***
CN106326331A (zh) * 2016-06-29 2017-01-11 河南许继仪表有限公司 一种基于云计算的智能用电数据服务***
CN105933461A (zh) * 2016-07-18 2016-09-07 合肥赑歌数据科技有限公司 大数据平台***及其运行方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
""分布式文件管理一体机设计与研发"" *
南京云创大数据: ""数据立方大数据一体机"", pages 1 - 12, Retrieved from the Internet <URL:http：//www.cstor.cn/proTextdetail_121.html> *
张东;亓开元;吴楠;辛国茂;刘正伟;颜秉珩;郭锋;: "云海大数据一体机体系结构和关键技术", no. 02 *
饶玮;周爱华;常涛;谢若承;蒋静;: "基于分布式存储的多类型数据管理技术研究", no. 05 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359151A (zh) * 2018-10-29 2019-02-19 上海船舶工艺研究所(中国船舶工业集团公司第十研究所) 一种船体分段物流大数据可视化平台
CN109684412A (zh) * 2018-12-25 2019-04-26 成都虚谷伟业科技有限公司 一种分布式数据库***
CN112650747A (zh) * 2021-01-20 2021-04-13 天元大数据信用管理有限公司 一种金融风控业务场景下的大数据治理方法

Similar Documents

Publication Publication Date Title
US20230334030A1 (en) System and method for slowly changing dimension and metadata versioning in a multidimensional database environment
US10860598B2 (en) Systems and methods for interest-driven business intelligence systems including event-oriented data
US9747127B1 (en) Worldwide distributed job and tasks computational model
Gürcan et al. Real-time processing of big data streams: Lifecycle, tools, tasks, and challenges
US9507807B1 (en) Meta file system for big data
CN107766402A (zh) 一种楼盘字典云房源大数据平台
CN104205039A (zh) 使用兴趣驱动数据管线进行数据分析的兴趣驱动商业智能***和方法
US20150081353A1 (en) Systems and Methods for Interest-Driven Business Intelligence Systems Including Segment Data
CN107408114A (zh) 基于事务访问模式识别联结关系
Mohammed et al. A review of big data environment and its related technologies
CN110928740A (zh) 云计算中心运维数据集中可视化方法及其***
Caldarola et al. Big data: A survey-the new paradigms, methodologies and tools
CN112148578A (zh) 基于机器学习的it故障缺陷预测方法
CN108306916A (zh) 大数据多网融合科研一体机平台装置
Sogodekar et al. Big data analytics: hadoop and tools
Vazhkudai et al. GUIDE: a scalable information directory service to collect, federate, and analyze logs for operational insights into a leadership HPC facility
CN115640300A (zh) 一种大数据管理方法、***、电子设备和存储介质
US9767222B2 (en) Information sets for data management
CN208207819U (zh) 一种基于可扩展节点集群的大数据分析处理***
Abdelhafez Big data technologies and analytics: A review of emerging solutions
CN108399208A (zh) 一种大数据的信息展示***
Gupta et al. Fair: A hadoop-based hybrid model for faculty information retrieval system
Lee et al. A big data management system for energy consumption prediction models
CN112181972A (zh) 基于大数据的数据治理方法、装置和计算机设备
CN108363756A (zh) 一种智能交通大数据处理***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination