CN112258369A - 统一数据平台和基于统一数据平台的数据处理方法 - Google Patents

统一数据平台和基于统一数据平台的数据处理方法 Download PDF

Info

Publication number
CN112258369A
CN112258369A CN202011288439.0A CN202011288439A CN112258369A CN 112258369 A CN112258369 A CN 112258369A CN 202011288439 A CN202011288439 A CN 202011288439A CN 112258369 A CN112258369 A CN 112258369A
Authority
CN
China
Prior art keywords
data
platform
unified
service
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011288439.0A
Other languages
English (en)
Inventor
邓练兵
方家钦
欧阳可佩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Dahengqin Technology Development Co Ltd
Original Assignee
Zhuhai Dahengqin Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Dahengqin Technology Development Co Ltd filed Critical Zhuhai Dahengqin Technology Development Co Ltd
Priority to CN202011288439.0A priority Critical patent/CN112258369A/zh
Publication of CN112258369A publication Critical patent/CN112258369A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供了统一数据平台和基于统一数据平台的数据处理方法,所述统一数据平台部署于云平台,所述统一数据平台包括数据资源平台和数据共享平台;所述统一数据平台接收所述云平台采集的业务数据;所述统一数据平台通过所述数据资源平台对所述业务数据进行数据处理;所述统一数据平台通过所述数据共享平台将处理后的业务数据进行数据共享,以为与所述云平台连接的业务应用***提供数据支持。通过本发明实施例,实现了建设标准化程度高的一站式数据管理平台,通过统一数据平台提供的各项功能,能够解决数据管理领域中数据标准化和数据质量的问题,有助于用户更高效的探索数据,提高了数据平台的易用性。

Description

统一数据平台和基于统一数据平台的数据处理方法
技术领域
本发明涉及数据处理领域,特别是涉及统一数据平台和基于统一数据平台的数据处理方法。
背景技术
随着计算机、网络和通信等技术的发展,为了更智能的为城市提供智能服务,同步建设了大量的应用服务,无论从数据的广度和深度,还是从应用服务的全面性与精准性,针对“多模型、多应用”的模式提供应用服务建设是为城市提供智能服务的发展方向。
然而,在对智慧城市服务的数据平台的数据接入、数据处理、数据运营、数据服务,以及价值实现展开建设的过程中,如何解决数据管理领域中数据标准化和数据质量的问题,以为用户提供有效的数据资源管理服务是目前急需解决的问题。
发明内容
鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题的统一数据平台和基于统一数据平台的数据处理方法,包括:
一种统一数据平台,所述统一数据平台部署于云平台,所述统一数据平台包括数据资源平台和数据共享平台;
所述统一数据平台接收所述云平台采集的业务数据;
所述统一数据平台通过所述数据资源平台对所述业务数据进行数据处理;
所述统一数据平台通过所述数据共享平台将处理后的业务数据进行数据共享,以为与所述云平台连接的业务应用***提供数据支持。
可选地,所述数据资源平台包括数据上云组件,所述统一数据平台接收所述云平台采集的业务数据,包括:
所述统一数据平台通过所述数据资源平台中所述数据上云组件获取所述云平台采集的业务数据;其中,所述数据上云组件用于将所述云平台采集的业务数据存储于多个服务节点,以供所述数据资源平台调用。
可选地,所述数据资源平台包括智能数仓组件,所述统一数据平台通过所述数据资源平台对所述业务数据进行数据处理,包括:
所述统一数据平台通过所述数据资源平台中所述智能数仓组件对所述业务数据进行标准化处理,以得到标准化数据;其中,所述智能数仓组件用于采用标准化数据模型对所述业务数据进行标准化处理,并针对得到的标准化数据进行修正。
可选地,所述数据资源平台包括智能标签组件和数据探索组件,所述统一数据平台通过所述数据资源平台对所述业务数据进行数据处理,包括:
所述统一数据平台通过所述数据资源平台中所述智能标签组件和所述数据探索组件,对所述业务数据进行数据分析,以从所述业务数据中获取业务探索信息;
其中,所述智能标签组件用于采用数据标签模型对所述业务数据进行标签化处理,所述数据探索组件用于根据标签化处理后的业务数据和业务算子信息,生成业务分析模型,并采用所述业务分析模型进行数据分析。
可选地,所述数据资源平台具有数据仓库区域,在所述统一数据平台通过所述数据资源平台对所述业务数据进行数据处理之前,还包括:
所述统一数据平台通过所述数据资源平台,对所述业务数据进行数据保护配置处理,并将所述业务数据归档至所述数据仓库区域。
可选地,所述统一数据平台将所述云平台中多个应用服务的数据共享至所述业务应用***。
可选地,通过对第三方用户进行身份验证,所述统一数据平台通过所述数据共享平台所述向第三方用户发送针对数据调用请求的数据。
一种基于统一数据平台的数据处理方法,所述统一数据平台部署于云平台,所述统一数据平台包括数据资源平台和数据共享平台,所述方法包括:
所述统一数据平台接收所述云平台采集的业务数据;
所述统一数据平台通过所述数据资源平台对所述业务数据进行数据处理;
所述统一数据平台通过所述数据共享平台将处理后的业务数据进行数据共享,以为与所述云平台连接的业务应用***提供数据支持。
一种电子设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的基于统一数据平台的数据处理方法。
一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的基于统一数据平台的数据处理方法。
本发明实施例具有以下优点:
在本发明实施例中,统一数据平台部署于云平台,统一数据平台包括数据资源平台和数据共享平台,通过统一数据平台接收云平台采集的业务数据,然后统一数据平台通过数据资源平台对业务数据进行数据处理,进而统一数据平台通过数据共享平台将处理后的业务数据进行数据共享,以为与云平台连接的业务应用***提供数据支持,实现了建设标准化程度高的一站式数据管理平台,通过统一数据平台提供的各项功能,能够解决数据管理领域中数据标准化和数据质量的问题,有助于用户更高效的探索数据,提高了数据平台的易用性。
附图说明
为了更清楚地说明本发明的技术方案,下面将对本发明的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种云平台整体架构的示意图;
图2是本发明一实施例提供的一种统一数据平台的结构示意图;
图3是本发明一实施例提供的一种基于统一数据平台的数据处理方法的步骤流程图;
图4是本发明一实施例提供的一种统一数据平台网络架构的示意图;
图5是本发明一实施例提供的一种统一数据平台整体架构的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在智慧城市建设中,通过引入云计算,大数据,物联网,移动互联等先进技术,搭建标准统一、入口统一、采集统一、管理统一、服务统一、数据统一的跨域多维大数据公共服务云平台,从而实现跨部门、跨领域和跨地域的数据融通能力,并达到域内数据集中、域外数据共享交换、域边界依规则柔性扩展,以形成数字经济的生态循环,推动了城市管理、社会民生、资源环境、经济产业各领域的数据共享,提升了行政效率、城市治理能力、居民生活品质,促进了行业融合发展,推动了产业转型升级、创新商业模式。
通过跨域多维大数据云平台的建设,能够打破数据壁垒,实现数据集中,破解了大数据发展难题。基于云平台建设,将进一步针对云平台进行数据中台、数据共享服务体系建设。
针对数据中台(即统一数据平台)建设,通过引入数据资源平台、数据共享平台等,并配套对应的数据规范,进而可以建设一个打通各级业务协同机构、视频区域,以及各层级的业务***、各领域的智慧应用,也可以形成一个提供开放、互联、共享的数据共享平台,且同时能够具备数据上云、数据治理、数据探索、全链路监控等统一数据管理体系。
如图1所示,云平台中部署有区域应用门户、开放服务网关、统一数据平台、区域物联传感***以及其它结构,其中,开放服务网关包括融合业务共享中心、融合数据创新中心,以下对云平台的各个部分进行具体说明:
(一)区域应用门户
在区域应用门户中,主要分为交通、环保、旅游、工商、医疗、教育、区域经济大脑、就业、跨域鉴权等板块,用户可以通过区域应用门户进入各板块,并可以获取经处理后的数据所组成的各板块对应的资讯信息。
(二)融合业务共享中心与融合数据创新中心
融合业务共享中心可以按业务分类将各区域数据进行融合后创建不同的数据共享中心,例如:个人信息中心、信用信息中心、法人信息中心、金融服务中心、旅游服务中心、综合治理服务中心、时空服务中心、物联网服务中心等。
融合数据创新中心通过数据融合体系和AI算法体系可以实现对融合数据的创新应用。融合业务共享中心与融合数据创新中心可以将数据进行融合处理后,通过区域应用门户向用户呈现处理后的数据。
(三)统一数据平台
统一数据平台可以包括数据资源平台和数据共享平台,其中,数据资源平台可以包括多个组件,例如,数据上云、智能数仓、智能标签、数据探索、AIMaster、数据DNA、全景监控、数据资产,进而能够为上层的行业应用和业务场景提供服务,解决了数据管理领域中的数据标准化和数据质量等问题,且采用拖拽等交互方式,简化了业务逻辑和业务功能的实现,提高了数据平台的易用性。
(四)区域物联传感***
区域物联传感***由压力、湿度、摄像头、光源、红外传感、温度等相关传感设备及设备数据构成。
(五)其它结构
此外,还可以通过超算集群、区域云计算平台、OpenStack FIWare集群(一个开源的云计算管理平台项目,是一系列软件开源项目的组合),对数据进行处理。
参照图2,示出了本发明一实施例提供的一种统一数据平台的结构示意图,统一数据平台201可以部署于云平台202,统一数据平台201可以包括数据资源平台203和数据共享平台204;
所述统一数据平台201接收所述云平台202采集的业务数据;所述统一数据平台201通过所述数据资源平台203对所述业务数据进行数据处理;所述统一数据平台201通过所述数据共享平台204将处理后的业务数据进行数据共享,以为与所述云平台202连接的业务应用***205提供数据支持。
其中,业务数据可以为基于用户业务***采集的待数据处理及分析的数据,例如,可以通过从云平台或者其它平台中收集业务数据,以进一步针对业务数据进行数据处理及分析。
在通过统一数据平台201进行数据处理的过程中,由于统一数据平台201可以部署于云平台202,统一数据平台201可以包括数据资源平台203和数据共享平台204,统一数据平台201可以接收云平台202采集的业务数据,该业务数据可以为基于用户业务***采集的待数据处理及分析的数据,然后统一数据平台201可以通过数据资源平台203和对业务数据进行数据处理,进而统一数据平台201可以通过数据共享平台204将处理后的业务数据进行数据共享,以为与云平台202连接的业务应用***205提供数据支持。
在一示例中,可以通过从云平台或者其它平台中收集业务数据,然后可以基于统一数据平台针对业务数据进行数据处理及分析,可以通过统一数据平台中数据资源平台,针对采集的业务数据进行数据加工、数据处理、数据分析,进而可以针对经过数据资源平台处理的数据,通过统一数据平台中数据共享平台进行数据共享,以为与云平台连接的各业务应用***提供数据支持,例如,可以将数据通过数据共享平台共享至信息中心,进而可以使得数据服务于各业务应用***。
基于统一数据平台中数据资源平台和数据共享平台提供的用于数据处理的各项功能,可以支持统一数据平台具有数据管理的全部能力域和能力项,从而可以为用户提供一站式数据资源管理服务,能够方便用户完成数据架构、数据标准、数据质量、数据应用、数据生命周期管理等多项数据管理应用。
在本发明一实施例中,数据资源平台203可以包括数据上云组件,所述统一数据平台201接收所述云平台202采集的业务数据,可以包括如下子步骤:
所述统一数据平台201通过所述数据资源平台203中所述数据上云组件获取所述云平台202采集的业务数据;其中,所述数据上云组件用于将所述云平台202采集的业务数据存储于多个服务节点,以供所述数据资源平台203调用。
作为一示例,数据资源平台可以包括数据上云组件,该数据上云组件可以用于执行将业务数据上传至统一数据平台中数据资源平台的操作。
在统一数据平台201接收业务数据的过程中,由于数据资源平台203可以包括数据上云组件,统一数据平台201可以通过数据资源平台203中数据上云组件获取云平台202采集的业务数据,该数据上云组件可以用于将云平台202采集的业务数据存储于多个服务节点,以供数据资源平台203调用,从而通过数据资源平台中数据上云组件,统一数据平台可以针对业务数据实现统一上云、快速上云、安全上云。
具体的,数据资源平台可以包括数据上云组件,数据上云组件可以用于执行将云平台采集的业务数据,上传至统一数据平台中数据资源平台的操作,数据上云组件可以包括采用分布式架构的多个服务节点,该服务节点可以根据实际情况部署于物理机、虚拟机上,进而数据上云组件可以将业务数据拆分为多种类型的数据,存储在不同的服务节点上。
例如,针对单体业务数据,数据上云组件可以先按照业务领域进行纵向拆分,然后可以按照数据的服务类型进行横向拆分,以存储在不同的服务节点中,进而数据资源平台可以通过调用数据上云组件中多个服务节点,实现读取、写入服务节点对应的数据。
在一示例中,统一数据平台可以通过数据资源平台中数据上云组件,将上云的业务数据存储至云平台数据湖中多个存储区域,以为云平台中区域应用门户提供数据支持,该区域应用门户可以为云平台中城市应用门户,例如,交通门户、环保门户、医疗门户等,数据湖中可以具有多种数据储存库,当区域应用门户需要调用与其服务相关的数据时,可以从数据湖中得到与其服务相关的原始业务数据,也可以得到数据处理后业务数据。
在本发明一实施例中,数据资源平台203可以包括智能数仓组件,所述统一数据平台201通过所述数据资源平台203对所述业务数据进行数据处理,可以包括如下子步骤:
所述统一数据平台201通过所述数据资源平台203中所述智能数仓组件对所述业务数据进行标准化处理,以得到标准化数据;其中,所述智能数仓组件用于采用标准化数据模型对所述业务数据进行标准化处理,并针对得到的标准化数据进行修正。
在统一数据平台201进行数据处理的过程中,由于数据资源平台203可以包括智能数仓组件,统一数据平台201可以通过数据资源平台203中智能数仓组件对业务数据进行标准化处理,以得到标准化数据,该智能数仓组件可以用于采用标准化数据模型对业务数据进行标准化处理,并针对得到的标准化数据进行修正。
在实际应用中,统一数据平台可以通过数据资源平台中智能数仓组件,针对数据上云的业务数据进行标准化处理,该智能数仓服务端可以设置有多个标准化数据模型,其可以用于数据标准化处理并可以得到标准化数据,该标准化数据可以为针对业务语义具有一致性数据表达的数据,进而可以将标准化数据应用于平台中,以使数据能够有效融合。
例如,智能数仓组件可以针对数据上云的业务数据,通过确定其对应的业务领域的信息,然后可以根据该业务领域的信息,从多个预置的标准化数据模型中确定与其业务领域相关的标准化数据模型,该标准化数据模型可以包括多个子数据模型,如主题子模型、概念子模型、逻辑子模型,以及物理子模型,进而可以采用多个子数据模型,对业务数据进行标准化处理,得到标准化数据。
在一示例中,智能数仓组件可以对标准化数据进行质量检测,可以根据质量检测结果,在质量检测结果为质量存在问题时,对标准化数据进行修正,通过在数据治理阶段对标准化数据进行修正,进而可以将符合数据质量要求的标准化数据应用于平台中,以为统一数据平台提供数据支持。
例如,可以对标准化数据进行质量检测,在发生数据质量问题时,可以根据质量检测结果快速定位产生数据质量问题的根源位置,进而可以及时修正数据,以保障数据质量。
通过对平台数据的标准化管理,能够保证平台中数据的一致性和数据质量,提升了数据完整度、可用性,且达到了高质量的智能数仓服务端建设效果。
在本发明一实施例中,数据资源平台203可以包括智能标签组件和数据探索组件,所述统一数据平台201通过所述数据资源平台203和对所述业务数据进行数据处理,可以包括如下子步骤:
所述统一数据平台201通过所述数据资源平台203中所述智能标签组件和所述数据探索组件,对所述业务数据进行数据分析,以从所述业务数据中获取业务探索信息;
其中,所述智能标签组件用于采用数据标签模型对所述业务数据进行标签化处理,所述数据探索组件用于根据标签化处理后的业务数据和业务算子信息,生成业务分析模型,并采用所述业务分析模型进行数据分析。
作为一示例,业务探索信息可以为针对指定行业的新的业务数据,该新的业务数据可以包括业务场景数据和业务对象数据。
在统一数据平台201进行数据处理的过程中,由于数据资源平台203可以包括智能标签组件和数据探索组件,统一数据平台201可以通过数据资源平台203中智能标签组件和数据探索组件,对业务数据进行数据分析,以从业务数据中获取业务探索信息,该业务探索信息可以为针对特定行业的新的业务数据,智能标签组件用于采用数据标签模型对所述业务数据进行标签化处理,该数据探索组件可以用于根据标签化处理后的业务数据和业务算子信息,生成业务分析模型,并可以采用业务分析模型进行数据分析。
在实际应用中,统一数据平台中数据资源平台可以包括智能标签组件和数据探索组件,可以采用针对智能标签组件的数据标签模型和针对数据探索组件的业务算子信息,对业务数据进行标签化处理及数据分析,并可以通过业务分析模型基于业务数据获取业务探索信息,以实现从业务视角更直观的探索数据,更高效地从数据中获取业务价值。
例如,可以通过获取针对智能标签组件的数据标签模型和针对数据探索组件的业务算子信息,该数据标签模型可以用于将物理表与业务实体进行映射,该业务算子信息可以用于编排业务分析模型,然后可以采用数据标签模型,对目标物理表进行标签化处理,可以根据标签化的目标物理表和业务算子信息进行模型编排,生成业务分析模型,该业务分析模型可以为针对指定行业的具有预设业务分析规则的模型,进而可以采用业务分析模型进行数据分析,得到针对指定行业的新的业务数据,该业务数据包括业务场景数据和业务对象数据。
在一示例中,针对智能标签组件,可以根据具体的业务应用场景,设计出数据标签模型,然后可以根据业务应用需求和数据标签模型预置针对数据标签的映射逻辑,进而可以采用数据标签模型管理数据标签的共享和使用权限,以保证数据标签的数据质量。
在又一示例中,针对数据探索组件,可以依据已知的业务场景抽象出对应的业务算子,然后可以根据数据模型、标签模型、业务逻辑,开发可执行的业务算子,以进一步对业务数据进行探查分析,并可以通过业务算子编排业务流程,从而能够通过自主式分析的方式对数据进行挖掘,以发现新的业务场景、值得关注的业务对象,达成业务目标。
通过针对大数据信息的有效整合,将数据表实体化,能够让应用开发者直观了解所需获取的业务数据,且采用业务分析模型对数据进行分析探查,使得数据更标准、更智能。
在本发明一实施例中,数据资源平台203可以具有数据仓库区域,在所述统一数据平台201通过所述数据资源平台203对所述业务数据进行数据处理之前,还可以包括如下步骤:
所述统一数据平台201通过所述数据资源平台203,对所述业务数据进行数据保护配置处理,并将所述业务数据归档至所述数据仓库区域。
在统一数据平台201进行数据处理之前,由于数据资源平台203可以具有数据仓库区域,进而统一数据平台201可以通过数据资源平台203,对业务数据进行数据保护配置处理,并可以将业务数据归档至数据仓库区域,以进一步对数据进行加工、处理。
在实际应用中,统一数据平台中数据资源平台可以具有数据仓库区域,该数据仓库区域可以具有多个数据处理层,每一数据处理层可以包括多个项目区域,可以通过预设数据保护配置信息,该数据保护配置信息可以包括数据保护信息和传入项目区域信息,进而可以根据数据保护配置信息,确定数据传入的项目区域,以采用该项目区域进行数据处理,并可以将处理后数据归档至数据仓库区域。
例如,可以通过从公共数据上云区域或专有数据上云区域获取数据,然后可以根据数据对应的账号信息和权限信息,针对数据临时缓冲层中专有项目区域和公共项目区域,确定待传入数据的项目区域,进而可以在专有项目区域传入数据时,采用保障数据安全的传入方式,并可以根据预设的数据保护配置信息,将数据传入数据临时缓冲层下一级数据处理层的项目区域进行数据处理。
通过在平台处理中对敏感数据的数据保护,划分不同项目区域,以针对敏感数据采取有效的数据保护措施,避免了在平台内部处理过程中的数据泄漏,保证了数据流转的安全性。
在本发明一实施例中,所述统一数据平台201将所述云平台202中多个应用服务的数据共享至所述业务应用***205。
在具体实现中,统一数据平台201可以将云平台202中多个应用服务的数据共享至业务应用***205,
例如,统一数据平台可以将数据通过数据共享平台共享至信息中心,以使得数据服务于各业务应用***,同时,针对挂载在数据共享平台中应用服务,可以通过相同的网络链路共享至各业务应用***中。
在本发明一实施例中,通过对第三方用户进行身份验证,所述统一数据平台201通过所述数据共享平台204所述向第三方用户发送针对数据调用请求的数据。
在具体实现中,通过对第三方用户进行身份验证,统一数据平台201可以通过数据共享平台204向第三方用户发送针对数据调用请求的数据,例如,在数据调用的过程中,数据共享平台可以接收第三方用户发送的数据调用请求,第三方用户可以通过数据调用请求,针对数据共享平台中API资源数据进行调用。
在一示例中,可以通过接收第三方用户发送的针对数据共享平台中拥有资源数据的用户的数据调用请求,该数据调用请求可以包括用户身份标识、用户签名数据和第一验证信息,然后可以确定用户身份标识对应的用户密码信息,可以采用用户密码信息和用户签名数据,生成第二验证信息,进而可以在第一验证信息与第二验证信息相匹配时,向第三方用户返回针对数据调用请求的数据。
通过对数据共享平台的安全控制优化,在数据调用时针对请求的完善身份认证机制,提高了数据共享平台的安全管控能力,保证了数据传输的安全性以及一致性。
在本发明实施例中,统一数据平台部署于云平台,统一数据平台包括数据资源平台和数据共享平台,通过统一数据平台接收云平台采集的业务数据,然后统一数据平台通过数据资源平台对业务数据进行数据处理,进而统一数据平台通过数据共享平台将处理后的业务数据进行数据共享,以为与云平台连接的业务应用***提供数据支持,实现了建设标准化程度高的一站式数据管理平台,通过统一数据平台提供的各项功能,能够解决数据管理领域中数据标准化和数据质量的问题,有助于用户更高效的探索数据,提高了数据平台的易用性。
参照图3,示出了本发明一实施例提供的一种基于统一数据平台的数据处理方法的步骤流程图,统一数据平台可以部署于云平台,统一数据平台可以包括数据资源平台和数据共享平台,具体可以包括如下步骤:
步骤301,所述统一数据平台接收所述云平台采集的业务数据;
在通过统一数据平台进行数据处理的过程中,由于统一数据平台可以部署于云平台,统一数据平台可以包括数据资源平台和数据共享平台,统一数据平台可以接收云平台采集的业务数据,该业务数据可以为基于用户业务***采集的待数据处理及分析的数据,例如,可以通过从云平台或者其它平台中收集业务数据。
在一示例中,统一数据平台的网络架构可以如图4所示,统一数据平台的前端和后端均可以部署于VPC(Virtual Private Cloud,虚拟私有云)区域中的ECS(ElasticCompute Service,云服务器)上,该VPC区域可以位于专有云(云平台)数据资源平台中。
统一数据平台中应用可以与云平台管控区中的计算引擎,以及云平台业务应用VPC中的业务应用,通过网关白名单配置方式进行数据交互,且在连接云平台管控区中的计算引擎,以及云平台业务应用、数据资源平台VPC中的其它应用时,可以采用AK(AccessKey,访问密钥)的认证,以确保受信的服务端进行调用。
在又一示例中,为支持跨复杂网络的数据传输能力,数据上云组件的Agent(代理器)端可以部署于业务***网络中,数据上云组件的Agent端可以与部署于统一数据平台VPC中的数据上云应用前/后端,通过网关白名单配置方式进行数据交互。
步骤302,所述统一数据平台通过所述数据资源平台对所述业务数据进行数据处理;
在统一数据平台接收云平台采集的业务数据后,可以基于统一数据平台针对业务数据进行数据处理及分析,进而可以通过统一数据平台中数据资源平台,针对采集的业务数据进行数据加工、数据处理、数据分析。
在本发明一实施例中,数据资源平台可以具有数据仓库区域,在所述统一数据平台通过所述数据资源平台对所述业务数据进行数据处理之前,所述方法还可以包括如下步骤:
所述统一数据平台通过所述数据资源平台,对所述业务数据进行数据保护配置处理,并将所述业务数据归档至所述数据仓库区域。
在统一数据平台进行数据处理之前,由于数据资源平台可以具有数据仓库区域,进而统一数据平台可以通过数据资源平台,对业务数据进行数据保护配置处理,并可以将业务数据归档至数据仓库区域,以进一步对数据进行加工、处理。
在本发明一实施例中,数据资源平台可以包括数据上云组件,步骤302可以包括如下子步骤:
所述统一数据平台通过所述数据资源平台中所述数据上云组件获取所述云平台采集的业务数据;其中,所述数据上云组件用于将所述云平台采集的业务数据存储于多个服务节点,以供所述数据资源平台调用。
在统一数据平台接收业务数据的过程中,由于数据资源平台可以包括数据上云组件,统一数据平台可以通过数据资源平台中数据上云组件获取云平台采集的业务数据,该数据上云组件可以用于将云平台采集的业务数据存储于多个服务节点,以供数据资源平台调用,从而通过数据资源平台中数据上云组件,统一数据平台可以针对业务数据实现统一上云、快速上云、安全上云。
在本发明一实施例中,数据资源平台可以包括智能数仓组件,步骤302可以包括如下子步骤:
所述统一数据平台通过所述数据资源平台中所述智能数仓组件对所述业务数据进行标准化处理,以得到标准化数据;其中,所述智能数仓组件用于采用标准化数据模型对所述业务数据进行标准化处理,并针对得到的标准化数据进行修正。
在统一数据平台进行数据处理的过程中,由于数据资源平台可以包括智能数仓组件,统一数据平台可以通过数据资源平台中智能数仓组件对业务数据进行标准化处理,以得到标准化数据,该智能数仓组件可以用于采用标准化数据模型对业务数据进行标准化处理,并针对得到的标准化数据进行修正,从而能够保证平台中数据的一致性和数据质量,提升了数据完整度、可用性。
在本发明一实施例中,数据资源平台可以包括智能标签组件和数据探索组件,步骤302可以包括如下子步骤:
所述统一数据平台通过所述数据资源平台中所述智能标签组件和所述数据探索组件,对所述业务数据进行数据分析,以从所述业务数据中获取业务探索信息;
其中,所述智能标签组件用于采用数据标签模型对所述业务数据进行标签化处理,所述数据探索组件用于根据标签化处理后的业务数据和业务算子信息,生成业务分析模型,并采用所述业务分析模型进行数据分析。
在统一数据平台进行数据处理的过程中,由于数据资源平台可以包括智能标签组件和数据探索组件,统一数据平台可以通过数据资源平台中智能标签组件和数据探索组件,对业务数据进行数据分析,以从业务数据中获取业务探索信息,该业务探索信息可以为针对特定行业的新的业务数据,智能标签组件用于采用数据标签模型对所述业务数据进行标签化处理,该数据探索组件可以用于根据标签化处理后的业务数据和业务算子信息,生成业务分析模型,并可以采用业务分析模型进行数据分析,实现了从业务视角更直观的探索数据,更高效地从数据中获取业务价值。
步骤303,所述统一数据平台通过所述数据共享平台将处理后的业务数据进行数据共享,以为与所述云平台连接的业务应用***提供数据支持。
在数据资源平台对数据进行处理后,可以通过统一数据平台中数据共享平台进行数据共享,以为与云平台连接的各业务应用***提供数据支持,例如,可以将数据通过数据共享平台共享至信息中心,进而可以使得数据服务于各业务应用***。
在本发明一实施例中,所述方法还可以包括如下步骤:
所述统一数据平台将所述云平台中多个应用服务的数据共享至所述业务应用***。
在实际应用中,统一数据平台可以将数据通过数据共享平台共享至信息中心,以使得数据服务于各业务应用***,同时,针对挂载在数据共享平台中应用服务,可以通过相同的网络链路共享至各业务应用***中。
在本发明一实施例中,所述方法还可以包括如下步骤:
通过对第三方用户进行身份验证,所述统一数据平台通过所述数据共享平台所述向第三方用户发送针对数据调用请求的数据。
在具体实现中,通过对第三方用户进行身份验证,统一数据平台可以通过数据共享平台向第三方用户发送针对数据调用请求的数据,例如,在数据调用的过程中,数据共享平台可以接收第三方用户发送的数据调用请求,第三方用户可以通过数据调用请求,针对数据共享平台中API资源数据进行调用。
在一示例中,如图5所示,针对统一数据平台整体架构,统一数据平台中数据资源平台可以包含数据上云组件、智能数仓组件、智能标签组件、数据探索组件、数据DNA组件、全景监控组件等模块,从而能够实现标准数据模型管理、应用数据模型管理、数据质量管理、智能标签***、业务算法模型管理及应用、全局运行维护等主要功能,为用户提供标准化程度高、易用性强的一站式数据管理平台,解决了数据管理领域中的数据标准化和数据质量等问题。
统一数据平台可以采用拖拽等交互方式,简化复杂业务逻辑和业务功能的实现,提高了大数据平台的易用性,且通过统一数据平台,可以设计高质量的标准化数据模型,减少了重复开发工作,能够全面了解数据质量、数据使用情况和***运行情况,并可以从业务视角更直观的探索数据,更高效地从数据中获取业务价值。
在本发明实施例中,统一数据平台部署于云平台,统一数据平台包括数据资源平台和数据共享平台,通过统一数据平台接收云平台采集的业务数据,然后统一数据平台通过数据资源平台对业务数据进行数据处理,进而统一数据平台通过数据共享平台将处理后的业务数据进行数据共享,以为与云平台连接的业务应用***提供数据支持,实现了建设标准化程度高的一站式数据管理平台,通过统一数据平台提供的各项功能,能够解决数据管理领域中数据标准化和数据质量的问题,有助于用户更高效的探索数据,提高了数据平台的易用性。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
本发明一实施例还提供了一种电子设备,可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序,计算机程序被处理器执行时实现如上基于统一数据平台的数据处理方法。
本发明一实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如上基于统一数据平台的数据处理方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的统一数据平台和基于统一数据平台的数据处理方法,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种统一数据平台,其特征在于,所述统一数据平台部署于云平台,所述统一数据平台包括数据资源平台和数据共享平台;
所述统一数据平台接收所述云平台采集的业务数据;
所述统一数据平台通过所述数据资源平台对所述业务数据进行数据处理;
所述统一数据平台通过所述数据共享平台将处理后的业务数据进行数据共享,以为与所述云平台连接的业务应用***提供数据支持。
2.根据权利要求1所述的平台,其特征在于,所述数据资源平台包括数据上云组件,所述统一数据平台接收所述云平台采集的业务数据,包括:
所述统一数据平台通过所述数据资源平台中所述数据上云组件获取所述云平台采集的业务数据;其中,所述数据上云组件用于将所述云平台采集的业务数据存储于多个服务节点,以供所述数据资源平台调用。
3.根据权利要求2所述的平台,其特征在于,所述数据资源平台包括智能数仓组件,所述统一数据平台通过所述数据资源平台对所述业务数据进行数据处理,包括:
所述统一数据平台通过所述数据资源平台中所述智能数仓组件对所述业务数据进行标准化处理,以得到标准化数据;其中,所述智能数仓组件用于采用标准化数据模型对所述业务数据进行标准化处理,并针对得到的标准化数据进行修正。
4.根据权利要求1或2或3所述的平台,其特征在于,所述数据资源平台包括智能标签组件和数据探索组件,所述统一数据平台通过所述数据资源平台对所述业务数据进行数据处理,包括:
所述统一数据平台通过所述数据资源平台中所述智能标签组件和所述数据探索组件,对所述业务数据进行数据分析,以从所述业务数据中获取业务探索信息;
其中,所述智能标签组件用于采用数据标签模型对所述业务数据进行标签化处理,所述数据探索组件用于根据标签化处理后的业务数据和业务算子信息,生成业务分析模型,并采用所述业务分析模型进行数据分析。
5.根据权利要求1所述的平台,其特征在于,所述数据资源平台具有数据仓库区域,在所述统一数据平台通过所述数据资源平台对所述业务数据进行数据处理之前,还包括:
所述统一数据平台通过所述数据资源平台,对所述业务数据进行数据保护配置处理,并将所述业务数据归档至所述数据仓库区域。
6.根据权利要求1所述的平台,其特征在于,所述统一数据平台将所述云平台中多个应用服务的数据共享至所述业务应用***。
7.根据权利要求1所述的平台,其特征在于,通过对第三方用户进行身份验证,所述统一数据平台通过所述数据共享平台所述向第三方用户发送针对数据调用请求的数据。
8.一种基于统一数据平台的数据处理方法,其特征在于,所述统一数据平台部署于云平台,所述统一数据平台包括数据资源平台和数据共享平台,所述方法包括:
所述统一数据平台接收所述云平台采集的业务数据;
所述统一数据平台通过所述数据资源平台对所述业务数据进行数据处理;
所述统一数据平台通过所述数据共享平台将处理后的业务数据进行数据共享,以为与所述云平台连接的业务应用***提供数据支持。
9.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求8所述的基于统一数据平台的数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求8所述的基于统一数据平台的数据处理方法。
CN202011288439.0A 2020-11-17 2020-11-17 统一数据平台和基于统一数据平台的数据处理方法 Pending CN112258369A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011288439.0A CN112258369A (zh) 2020-11-17 2020-11-17 统一数据平台和基于统一数据平台的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011288439.0A CN112258369A (zh) 2020-11-17 2020-11-17 统一数据平台和基于统一数据平台的数据处理方法

Publications (1)

Publication Number Publication Date
CN112258369A true CN112258369A (zh) 2021-01-22

Family

ID=74266010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011288439.0A Pending CN112258369A (zh) 2020-11-17 2020-11-17 统一数据平台和基于统一数据平台的数据处理方法

Country Status (1)

Country Link
CN (1) CN112258369A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115550463A (zh) * 2022-09-16 2022-12-30 深圳市润腾智慧科技有限公司 一种跨云物联网平台数据处理方法、装置及相关设备
CN117909322A (zh) * 2024-03-19 2024-04-19 广东琴智科技研究院有限公司 一种基于智能计算平台的统一数据管理应用***及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116825A (zh) * 2013-01-29 2013-05-22 江苏省邮电规划设计院有限责任公司 智慧城市管理***
CN105976110A (zh) * 2016-05-05 2016-09-28 云神科技投资股份有限公司 一种智慧城市管理的方法及***
CN110109998A (zh) * 2019-05-17 2019-08-09 贵州数据宝网络科技有限公司 数据交易智能整合***
CN111461471A (zh) * 2019-01-21 2020-07-28 国网能源研究院有限公司 一种公司战略环境趋势分析和动态识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116825A (zh) * 2013-01-29 2013-05-22 江苏省邮电规划设计院有限责任公司 智慧城市管理***
CN105976110A (zh) * 2016-05-05 2016-09-28 云神科技投资股份有限公司 一种智慧城市管理的方法及***
CN111461471A (zh) * 2019-01-21 2020-07-28 国网能源研究院有限公司 一种公司战略环境趋势分析和动态识别方法
CN110109998A (zh) * 2019-05-17 2019-08-09 贵州数据宝网络科技有限公司 数据交易智能整合***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
冯奎: "《中欧智慧城市发展报告》", 30 September 2017, 中国环境科学出版社 *
肖君主编: "《教育大数据》", 31 January 2020, 上海科学技术出版社 *
陈泽强: ""智慧城市时空信息云平台技术体系与标准需求"", 《电信网技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115550463A (zh) * 2022-09-16 2022-12-30 深圳市润腾智慧科技有限公司 一种跨云物联网平台数据处理方法、装置及相关设备
CN117909322A (zh) * 2024-03-19 2024-04-19 广东琴智科技研究院有限公司 一种基于智能计算平台的统一数据管理应用***及方法
CN117909322B (zh) * 2024-03-19 2024-05-31 广东琴智科技研究院有限公司 一种基于智能计算平台的统一数据管理应用***及方法

Similar Documents

Publication Publication Date Title
Singh et al. Accountability in the IoT: Systems, law, and ways forward
US9386033B1 (en) Security recommendation engine
KR20210133289A (ko) 블록체인 네트워크에서 데이터 추출
CN112398860A (zh) 一种安全控制的方法和装置
CN104506487B (zh) 云环境下隐私策略的可信执行方法
US10296750B1 (en) Robust data tagging
Jang et al. Fog computing architecture based blockchain for industrial IoT
CN112272240B (zh) 一种数据上云的方法和装置
CN112328585A (zh) 一种数据处理的方法和装置
CN112258369A (zh) 统一数据平台和基于统一数据平台的数据处理方法
WO2022072862A9 (en) Peer-to-peer (p2p) distributed data management system
CN112330519A (zh) 一种数据处理的方法和装置
CN112291264A (zh) 一种安全控制的方法和装置
CN112256687A (zh) 一种数据处理的方法和装置
CN112069529B (zh) 基于区块链的卷宗管理方法、装置、计算机以及存储介质
Burnap et al. Determining and sharing risk data in distributed interdependent systems
CN112256490A (zh) 一种数据处理的方法和装置
CN112288614A (zh) 一种基于数据资源平台的数据处理方法和装置
US11687627B2 (en) Media transit management in cyberspace
US20230177385A1 (en) Federated machine learning based on partially secured spatio-temporal data
WO2022001879A1 (en) Management of computing secrets
Wu et al. Identification of attack on data packets using rough set approach to secure end to end communication
CN114297495A (zh) 业务数据查找方法、装置、电子设备及存储介质
CN112269837A (zh) 一种数据处理的方法和装置
Nativi et al. IoT 2.0 and the Internet of transformation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210122