CN112035438A - 政务大数据平台*** - Google Patents
政务大数据平台*** Download PDFInfo
- Publication number
- CN112035438A CN112035438A CN202010903094.9A CN202010903094A CN112035438A CN 112035438 A CN112035438 A CN 112035438A CN 202010903094 A CN202010903094 A CN 202010903094A CN 112035438 A CN112035438 A CN 112035438A
- Authority
- CN
- China
- Prior art keywords
- data
- subsystem
- service
- resource
- department
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种政务大数据平台***,属于计算机技术领域,该***包括:数据汇聚子***汇聚异构多源的数据;数据资产子***对数据汇聚子***中的数据按照政务数据资产化管理规则进行全生命周期地管理;数据服务子***确定数据汇聚子***中的数据的使用方式;数据治理子***对数据汇聚子***中的数据质量进行管控;对***中服务运行和平台运维进行监控;可以解决现有的数据交换平台所交换的数据质量不高、标准不统一、敏感数据存在安全风险等问题;通过对异构的数据的采集、交换和管理,可以提高数据交换的效率和准确性。
Description
技术领域
本申请涉及一种政务大数据平台***,属于计算机技术领域。
背景技术
大数据时代的到来给政府管理变革带来了新的契机。为打破各种信息壁垒和数据“孤岛”,有些地方政府建设数据交换平台,通过数据接口的方式,实现数据相互交换。
但是,现有的数据交换平台交换的数据类型只限于格式化数据,对于非格式化数据(如照片、音视频等),则仍需要需求部门和提供部门“点对点”来互传,不能通过工具共享和监督。随着政务数据的日益增长,数据的量级和复杂度也不断提高,传统的数据交换平台也难以处理超大规模的数据,限制了政务数据的共享效率。
发明内容
本申请提供了一种政务大数据平台***,可以解决现有的数据交换平台所交换的数据质量不高、标准不统一、敏感数据存在安全风险等问题。本申请提供如下技术方案:提供了一种政务大数据平台***,所述***包括:
数据汇聚子***,用于汇聚异构多源的数据;
数据资产子***,用于对所述数据汇聚子***中的数据按照政务数据资产化管理规则进行全生命周期地管理;
数据服务子***,用于确定所述数据汇聚子***中的数据的使用方式;
数据治理子***,用于对所述数据汇聚子***中的数据质量进行管控;对所述***中服务运行和平台运维进行监控。
可选地,所述数据汇聚子***的数据接入方式包括以下方式中的至少一种:
数据库方式,支持MySQL、Oracle、SqlServer、Hive和/或HBase多种主流数据库;
文件方式,支持格式化文件和非格式化文件;通过数据上报,支持提取格式化文件里的数据并保存到关系型数据库;通过文件上传汇聚非格式化文件;
接口方式,支持RESTful和Web Service接口类型。
可选地,所述数据汇聚子***,用于:
周期性地按照调度计划运行作业实现数据汇聚;
使用作业运行监控来监控作业的运行过程,所述运行过程包括以下信息中的至少一种:运行时间、运行状态、成功处理的数据、疑问数据、运行日志和历史运行情况;
使用设备运行监控来监控运行所述数据汇聚子***的服务器的硬件信息,所述硬件信息包括以下信息中的至少一种:CPU占用情况、内存占用情况和磁盘占用情况;
在所述硬件信息指示所述服务器存在异常时进行预警。
可选地,所述数据资产子***,用于:
对所述数据汇聚子***中的数据按照预设资源编目规则进行分类,得到资源分类;
对所述数据汇聚子***中的数据对应的资源信息进行登记,建立登记后的资源信息对应的数据关联表,所述数据关联表用于将所述资源信息与所述数据汇聚子***中的数据相关联;所述资源信息包括基础信息和资源信息项;所述基础信息包括资源名称、资源分类、资源摘要、资源类型、共享类型、共享方式和/或更新周期;所述资源信息项用于描述所述分类后的资源;
对登记后的资源信息进行发布,并提供发布的资源信息的查询服务;
在接收到对目标资源信息对应的目标数据的查看请求时,若所述目标数据的共享类型为有条件共享时,需求部门向资源提供部门发送资源查看需求,以供资源提供部门对所述资源查看需求进行审核;所述资源查看需求包括所述目标资源信息的资源信息项、需求理由和需求时间;
在所述资源提供部门对所述资源查看需求审核通过后,在数据管理部门进行备案,以形成三方协议;在审核和备案通过后,允许需求部门使用所述目标资源信息对应的目标数据;所述需求部门按照所述目标数据对应的共享方式进行数据调用。
可选地,所述数据服务子***,用于:
接收接口提供部门注册发布的接口服务,所述接口服务用于调用外部数据、或者根据输入条件反馈结果,所述接口服务包括以下信息中的至少一种:基本信息、出参入参信息、示例代码和错误代码;
根据所述接口服务生成服务说明文档,并提供所述服务说明文档的导出功能,以使开发者参考调用。
可选地,所述数据服务子***,还用于:
接收服务需求部门提出的需求申请;
将所述需求申请发送至申请审核部门进行审核;
在所述申请审核部门审核通过后,为所述服务需求部门分配授权口令;
接收服务需求部门使用对应的授权口令发送的文档调用请求;
基于所述授权口令为所述服务需求部门提供所述服务说明文档,记录所述服务说明文档的调用信息,所述调用信息包括以下信息中的至少一种:调用服务名称、调用IP、调用时间、调用参数和调用状态。
可选地,所述数据服务子***,还用于:
根据预设的白名单确定所述服务需求部门是否可靠;
确定所述服务需求部门请求的服务说明文档的调用频次是否超过预设阈值;
在所述服务需求部门可靠且所述调用频次未超过所述预设阈值时,执行所述基于所述授权口令为所述服务需求部门提供所述服务说明文档,记录所述服务说明文档的调用信息的步骤。
可选地,所述数据治理子***,用于:
设置治理标准,所述治理标准包括对数据脱敏、数据权威、数据码值和数据校验的管理标准;
按照所述治理标准制定ETL作业和所述ETL作业的调度计划;
按照所述调度计划调度所述ETL作业运行,以按照所述治理标准清洗数据,得到治理结果;
对所述治理结果进行处理。
可选地,所述数据治理子***,用于:
对于不符合所述治理标准的数据归置为疑问数据;
对所述疑问数据的数据字段内容和疑问原因进行展示;
对所述疑问数据的源头业务数据库进行检查;
根据检查结果调整所述源头业务数据库的相关业务操作;
通过所述ETL作业抽取数据。
本申请的有益效果在于:通过数据汇聚子***,汇聚异构多源的数据;数据资产子***对数据汇聚子***中的数据按照政务数据资产化管理规则进行全生命周期地管理;数据服务子***确定数据汇聚子***中的数据的使用方式;数据治理子***对数据汇聚子***中的数据质量进行管控;对***中服务运行和平台运维进行监控;可以解决现有的数据交换平台所交换的数据质量不高、标准不统一、敏感数据存在安全风险等问题;通过对异构的数据的采集、交换和管理,可以提高数据交换的效率和准确性。
另外,数据汇聚子***、数据资产子***,消灭传统信息化平台建设中的“竖井式”业务、“数据孤岛”、重复建设、资源浪费等问题。各业务***均由各个部门自行建设,***集成度低、数据信息分散,数据标准不统一。通过政务大数据平台整合人口基础信息资源库、法人基础信息资源库、地理空间信息资源库、电子证照信息资源库等四大基础库,以及整合产业经济、平安等主题库,为平台的各类应用提供基础数据资源,实现资源整合与利用率的提升。
另外,数据共享交换平台可以实现多用户接入、多应用支撑;通过整合各用户之间的数据共享渠道,为安全、高效、有序、可靠的数据共享交换提供平台支撑。通过平台资源的统一整合,在数据存储与交换机制中采用数据可用不可见、数据服务调用等交换模式,大大提升了交换效率。
另外,随着IT信息化与政府业务日趋紧密的结合,业务需求具有周期短、需求异、要求简的特征。传统的建设模式,采购流程多,部署时间长,无法快速适应业务需求变化。政务大数据平台可以支持数据的业务***与相关的其他部门的业务***的数据交互,使得业务***的部署上线省去考虑各类数据层的可靠性、可交互、安全性等问题,大大提升政府信息化效率。
另外,通过加强政务数据的获取、组织、分析、决策,依据法律法规和各部门的需求对政务信息资源进行统一管理和开发利用,可以提高数据资源利用率、避免重复建设、降低维护成本;通过政务信息资源的深度挖掘,进一步提高决策的效率。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,并可依照说明书的内容予以实施,以下以本申请的较佳实施例并配合附图详细说明如后。
附图说明
图1是本申请一个实施例提供的政务大数据平台***的结构示意图;
图2是本申请一个实施例提供的数据资产子***的流程示意图;
图3是本申请一个实施例提供的数据服务子***的流程示意图。
具体实施方式
下面结合附图和实施例,对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
图1是本申请一个实施例提供的政务大数据平台***的结构示意图,如图1所示,该***至少包括:
数据汇聚子***110,用于汇聚异构多源的数据。异构的数据包括结构化数据(如Oracle、Mysql、SQLServer)、半结构化数据(如XML、JSON)、以及非结构化数据(如文本、图片、图像、音视频)。
数据资产子***120,用于对所述数据汇聚子***110中的数据按照政务数据资产化管理规则进行全生命周期地管理;数据服务子***130,用于确定所述数据汇聚子***中的数据的使用方式。通过数据资产子***120和数据服务子***130,可以实现不同类型数据的共享交换,且发布资源目录时自动生成相应的服务接口,无需技术人员手动开发,提高效率和准确性。
数据治理子***140,用于对所述数据汇聚子***中的数据质量进行管控;对所述***中服务运行和平台运维进行监控。通过数据治理子***140制定元数据标准、数据脱敏规则、数据权威等标准规则,实现数据稽核和脱敏、转换,保证数据质量和隐私安全。
其中,数据资产子***120面向政务办公人员,通过提出需求、需求审核、使用监控等功能实现政务办公人员自主管控数据的共享交换,提高共享效率。
本实施例中,政务大数据平台采用Hadoop大数据架构体系,支持亿万数据秒级处理的高并发应用场景。
可选地,所述数据汇聚子***110的数据接入方式包括以下方式中的至少一种:数据库方式,支持MySQL、Oracle、SqlServer、Hive和/或HBase多种主流数据库;文件方式,支持格式化文件和非格式化文件;通过数据上报,支持提取格式化文件里的数据并保存到关系型数据库;通过文件上传汇聚非格式化文件;接口方式,通过kettle作业实现,支持RESTful和Web Service接口类型。数据汇聚子***110是通过数据库作业、接口作业、文件上传、网络抓取等多种采集方式实现结构化、半结构化、非结构化的异构数据汇聚,打破数据壁。
所述数据汇聚子***110周期性地按照调度计划运行作业实现数据汇聚;使用作业运行监控来监控作业的运行过程,所述运行过程包括以下信息中的至少一种:运行时间、运行状态、成功处理的数据、疑问数据、运行日志和历史运行情况;使用设备运行监控来监控运行所述数据汇聚子***的服务器的硬件信息,所述硬件信息包括以下信息中的至少一种:CPU占用情况、内存占用情况和磁盘占用情况;在所述硬件信息指示所述服务器存在异常时进行预警。
数据资产子***120是按照政务数据资产化管理思路,实现资源编目、资源注册、关联数据、资源发布、生成数据服务,到数据共享需求提出,到审核、调用的全生命周期管理。
参考图2,所述数据资产子系120,用于:对所述数据汇聚子***中的数据按照预设资源编目规则进行分类,得到资源分类(即资源编目);对所述数据汇聚子***中的数据对应的资源信息进行登记(即资源注册),建立登记后的资源信息对应的数据关联表,所述数据关联表用于将所述资源信息与所述数据汇聚子***中的数据相关联;所述资源信息包括基础信息和资源信息项;所述基础信息包括资源名称、资源分类、资源摘要、资源类型、共享类型、共享方式和/或更新周期;所述资源信息项用于描述所述分类后的资源;对登记后的资源信息进行发布(即资源发布),并提供发布的资源信息的查询服务;在接收到对目标资源信息对应的目标数据的查看请求(即资源需求)时,若所述目标数据的共享类型为有条件共享时,需求部门向资源提供部门发送资源查看需求,以供资源提供部门对所述资源查看需求进行审核(即需求审核);所述资源查看需求包括所述目标资源信息的资源信息项、需求理由和需求时间;在所述资源提供部门对所述资源查看需求审核通过后,在数据管理部门进行备案,以形成三方协议;在审核和备案通过后,允许需求部门使用所述目标资源信息对应的目标数据(即资源使用);所述需求部门按照所述目标数据对应的共享方式进行数据调用(即使用监控)。
可选地,数据的共享类型包括:无条件共享、有条件共享和不予共享。在数据的共享类型为无条件共享时,需求部门可以直接查看数据;在数据的共享类型为不予共享时,需求部门不能查看数据。
数据的共享方式包括在线浏览、文件下载和数据服务。在共享方式为在线浏览时,需求部门只能在页面上浏览数据,不能从操作;在共享方式为文件下载时,需求部门可以把数据导出成表格;在共享方式为数据服务时,需求部门可以通过资源自动生成的服务接口调用数据,供业务***直接使用。
数据服务子***130主要解决用数据的问题,需求部门通过接口服务调用数据,平台对数据的使用进行授权、鉴权和监控,保证数据共享安全。
数据服务子***130提供第三方服务注册及共享使用,主要有两种业务场景,一种是条件数据或结果的反馈。比如在行政审批过程中,为减少办件人重复提交相关证照,可以根据办件人的姓名和身份证信息调用个人信息接口得到其证照信息。像这种需要根据输入条件返回具体某类信息或某类结果的接口,就可以在数据服务子***里注册发布。还有一种业务场景是外部数据的调用。政府数据除了业务条线生产的数据,还有一部分来自于外部数据的采集,如网络运营商的数据、气象数据、相关监测实验室的数据等,这些数据的共享,一般都由提供单位通过接口的方式提供,为了便于统一共享管理,可以把这些接口在数据服务子***里注册发布。
参考图3(黑色背景框为前端界面操作,白色背景框为后端服务器操作),数据服务子***130,用于:接收接口提供部门注册发布的接口服务(即前台注册,后端发布),所述接口服务用于调用外部数据、或者根据输入条件反馈结果,所述接口服务包括以下信息中的至少一种:基本信息、出参入参信息、示例代码和错误代码;根据所述接口服务生成服务说明文档,并提供所述服务说明文档的导出功能,以使开发者参考调用。具体地,根据所述接口服务生成服务说明文档,并提供所述服务说明文档的导出功能,包括:接收服务需求部门提出的需求申请(即前端申请,后端提供需求);将所述需求申请发送至申请审核部门进行审核;在所述申请审核部门审核通过后,为所述服务需求部门分配授权口令(即前端审核,后端授权);接收服务需求部门使用对应的授权口令发送的文档调用请求;基于所述授权口令为所述服务需求部门提供所述服务说明文档(即前端调用,后端鉴权),记录所述服务说明文档的调用信息(即前端分析,后端监控),所述调用信息包括以下信息中的至少一种:调用服务名称、调用IP、调用时间、调用参数和调用状态。
可选地,数据服务子***130还提供白名单功能,保证服务调用者安全可靠;同时提供频度管控功能,防止服务大并发调用,堵塞网络。此时,所述数据服务子***130,还用于:根据预设的白名单确定所述服务需求部门是否可靠;确定所述服务需求部门请求的服务说明文档的调用频次是否超过预设阈值;在所述服务需求部门可靠且所述调用频次未超过所述预设阈值时,执行所述基于所述授权口令为所述服务需求部门提供所述服务说明文档,记录所述服务说明文档的调用信息的步骤。
数据治理子***140,一方面通过数据标准的创建和执行,保障数据质量;另一方面,通过对服务运行、平台运维等监控,保障数据在传输、存储过程中的安全和稳定。
数据治理子***140,用于:设置治理标准,所述治理标准包括对数据脱敏、数据权威、数据码值和数据校验的管理标准;按照所述治理标准制定ETL作业和所述ETL作业的调度计划;按照所述调度计划调度所述ETL作业运行,以按照所述治理标准清洗数据,得到治理结果;对所述治理结果进行处理。
其中,对所述治理结果进行处理,包括:对于不符合所述治理标准的数据归置为疑问数据;对所述疑问数据的数据字段内容和疑问原因进行展示;对所述疑问数据的源头业务数据库进行检查;根据检查结果调整所述源头业务数据库的相关业务操作;通过所述ETL作业抽取数据。
其中,数据脱敏主要针对姓名、手机号码、身份证号码、住址等敏感数据的脱敏设置。数据权威是对一数一源、多源校核的问题处理。一数一源是指每条数据对应一个源头业务数据库;多源校核是指对多个来源的数据进行矫正审核。数据码值是对标准数据代码的设置,如性别代码、省市区代码、学历代码、职业代码等。数据校验是转换规则的设置,如非空设置、固定长度设置等。
展示方式可以快速灵活定制,比如:灵活定义BI数据图表,支持列表、折线图、柱状图、饼图、漏斗图、雷达图等多种可视化图表。
综上所述,本实施例提供的政务大数据平台方法,通过数据汇聚子***,汇聚异构的多源数据;数据资产子***对数据汇聚子***中的数据按照政务数据资产化管理规则进行全生命周期地管理;数据服务子***确定数据汇聚子***中的数据的使用方式;数据治理子***对数据汇聚子***中的数据质量进行管控;对***中服务运行和平台运维进行监控;可以解决现有的数据交换平台所交换的数据质量不高、标准不统一、敏感数据存在安全风险等问题;通过对异构的数据的采集、交换和管理,可以提高数据交换的效率和准确性。
另外,数据汇聚子***、数据资产子***,消灭传统信息化平台建设中的“竖井式”业务、“数据孤岛”、重复建设、资源浪费等问题。各业务***均由各个部门自行建设,***集成度低、数据信息分散,数据标准不统一。通过政务大数据平台整合人口基础信息资源库、法人基础信息资源库、地理空间信息资源库、电子证照信息资源库等四大基础库,以及整合产业经济、平安等主题库,为平台的各类应用提供基础数据资源,实现资源整合与利用率的提升。
另外,数据共享交换平台可以实现多用户接入、多应用支撑;通过整合各用户之间的数据共享渠道,为安全、高效、有序、可靠的数据共享交换提供平台支撑。通过平台资源的统一整合,在数据存储与交换机制中采用数据可用不可见、数据服务调用等交换模式,大大提升了交换效率。
另外,随着IT信息化与政府业务日趋紧密的结合,业务需求具有周期短、需求异、要求简的特征。传统的建设模式,采购流程多,部署时间长,无法快速适应业务需求变化。政务大数据平台可以支持数据的业务***与相关的其他部门的业务***的数据交互,使得业务***的部署上线省去考虑各类数据层的可靠性、可交互、安全性等问题,大大提升政府信息化效率。
另外,通过加强政务数据的获取、组织、分析、决策,依据法律法规和各部门的需求对政务信息资源进行统一管理和开发利用,可以提高数据资源利用率、避免重复建设、降低维护成本;通过政务信息资源的深度挖掘,进一步提高决策的效率。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种政务大数据平台***,其特征在于,所述***包括:
数据汇聚子***,用于汇聚异构多源的数据;
数据资产子***,用于对所述数据汇聚子***中的数据按照政务数据资产化管理规则进行全生命周期地管理;
数据服务子***,用于确定所述数据汇聚子***中的数据的使用方式;
数据治理子***,用于对所述数据汇聚子***中的数据质量进行管控;对所述***中服务运行和平台运维进行监控。
2.根据权利要求1所述的***,其特征在于,所述数据汇聚子***的数据接入方式包括以下方式中的至少一种:
数据库方式,支持MySQL、Oracle、SqlServer、Hive和/或HBase多种主流数据库;
文件方式,支持格式化文件和非格式化文件;通过数据上报,支持提取格式化文件里的数据并保存到关系型数据库;通过文件上传汇聚非格式化文件;
接口方式,支持RESTful和Web Service接口类型。
3.根据权利要求1所述的***,其特征在于,所述数据汇聚子***,用于:
周期性地按照调度计划运行作业实现数据汇聚;
使用作业运行监控来监控作业的运行过程,所述运行过程包括以下信息中的至少一种:运行时间、运行状态、成功处理的数据、疑问数据、运行日志和历史运行情况;
使用设备运行监控来监控运行所述数据汇聚子***的服务器的硬件信息,所述硬件信息包括以下信息中的至少一种:CPU占用情况、内存占用情况和磁盘占用情况;
在所述硬件信息指示所述服务器存在异常时进行预警。
4.根据权利要求1所述的***,其特征在于,所述数据资产子***,用于:
对所述数据汇聚子***中的数据按照预设资源编目规则进行分类,得到资源分类;
对所述数据汇聚子***中的数据对应的资源信息进行登记,建立登记后的资源信息对应的数据关联表,所述数据关联表用于将所述资源信息与所述数据汇聚子***中的数据相关联;所述资源信息包括基础信息和资源信息项;所述基础信息包括资源名称、资源分类、资源摘要、资源类型、共享类型、共享方式和/或更新周期;所述资源信息项用于描述所述分类后的资源;
对登记后的资源信息进行发布,并提供发布的资源信息的查询服务;
在接收到对目标资源信息对应的目标数据的查看请求时,若所述目标数据的共享类型为有条件共享时,需求部门向资源提供部门发送资源查看需求,以供资源提供部门对所述资源查看需求进行审核;所述资源查看需求包括所述目标资源信息的资源信息项、需求理由和需求时间;
在所述资源提供部门对所述资源查看需求审核通过后,在数据管理部门进行备案,以形成三方协议;在审核和备案通过后,允许需求部门使用所述目标资源信息对应的目标数据;所述需求部门按照所述目标数据对应的共享方式进行数据调用。
5.根据权利要求1所述的***,其特征在于,所述数据服务子***,用于:
接收接口提供部门注册发布的接口服务,所述接口服务用于调用外部数据、或者根据输入条件反馈结果,所述接口服务包括以下信息中的至少一种:基本信息、出参入参信息、示例代码和错误代码;
根据所述接口服务生成服务说明文档,并提供所述服务说明文档的导出功能,以使开发者参考调用。
6.根据权利要求5所述的***,其特征在于,所述数据服务子***,还用于:
接收服务需求部门提出的需求申请;
将所述需求申请发送至申请审核部门进行审核;
在所述申请审核部门审核通过后,为所述服务需求部门分配授权口令;
接收服务需求部门使用对应的授权口令发送的文档调用请求;
基于所述授权口令为所述服务需求部门提供所述服务说明文档,记录所述服务说明文档的调用信息,所述调用信息包括以下信息中的至少一种:调用服务名称、调用IP、调用时间、调用参数和调用状态。
7.根据权利要求5所述的***,其特征在于,所述数据服务子***,还用于:
根据预设的白名单确定所述服务需求部门是否可靠;
确定所述服务需求部门请求的服务说明文档的调用频次是否超过预设阈值;
在所述服务需求部门可靠且所述调用频次未超过所述预设阈值时,执行所述基于所述授权口令为所述服务需求部门提供所述服务说明文档,记录所述服务说明文档的调用信息的步骤。
8.根据权利要求1所述的***,其特征在于,所述数据治理子***,用于:
设置治理标准,所述治理标准包括对数据脱敏、数据权威、数据码值和数据校验的管理标准;
按照所述治理标准制定ETL作业和所述ETL作业的调度计划;
按照所述调度计划调度所述ETL作业运行,以按照所述治理标准清洗数据,得到治理结果;
对所述治理结果进行处理。
9.根据权利要求1所述的***,其特征在于,所述数据治理子***,用于:
对于不符合所述治理标准的数据归置为疑问数据;
对所述疑问数据的数据字段内容和疑问原因进行展示;
对所述疑问数据的源头业务数据库进行检查;
根据检查结果调整所述源头业务数据库的相关业务操作;
通过所述ETL作业抽取数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010903094.9A CN112035438A (zh) | 2020-09-01 | 2020-09-01 | 政务大数据平台*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010903094.9A CN112035438A (zh) | 2020-09-01 | 2020-09-01 | 政务大数据平台*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112035438A true CN112035438A (zh) | 2020-12-04 |
Family
ID=73590478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010903094.9A Pending CN112035438A (zh) | 2020-09-01 | 2020-09-01 | 政务大数据平台*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112035438A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112650745A (zh) * | 2020-12-30 | 2021-04-13 | 中科环森智慧科技(苏州)有限公司 | 一种基于统一数据资源池的数据治理*** |
CN113076361A (zh) * | 2021-03-17 | 2021-07-06 | 国家气象信息中心(中国气象局气象数据中心) | 一种基于大数据的海量气象数据统一服务接口的实现方法 |
CN113094393A (zh) * | 2021-03-16 | 2021-07-09 | 杭州数梦工场科技有限公司 | 数据汇聚方法及装置、电子设备 |
CN113987077A (zh) * | 2021-12-23 | 2022-01-28 | 太极计算机股份有限公司 | 一种基于链码机制的数据感知与跨链调度方法及装置 |
CN115496428A (zh) * | 2022-11-18 | 2022-12-20 | 北京融数安科技有限公司 | 一种基于大数据的工业安全管理方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160364927A1 (en) * | 2015-06-15 | 2016-12-15 | Blub0X Technology Holdings, Inc. | Web-cloud hosted unified physical security system |
CN108647217A (zh) * | 2017-12-27 | 2018-10-12 | 广东智政信息科技有限公司 | 基于安监应用的大数据平台集成管理*** |
CN110781236A (zh) * | 2019-10-29 | 2020-02-11 | 山西云时代技术有限公司 | 一种构建政务大数据治理体系的方法 |
CN111259006A (zh) * | 2019-11-19 | 2020-06-09 | 中国科学院计算机网络信息中心 | 一种通用的分布式异构数据一体化物理汇聚、组织、发布与服务方法及*** |
-
2020
- 2020-09-01 CN CN202010903094.9A patent/CN112035438A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160364927A1 (en) * | 2015-06-15 | 2016-12-15 | Blub0X Technology Holdings, Inc. | Web-cloud hosted unified physical security system |
CN108647217A (zh) * | 2017-12-27 | 2018-10-12 | 广东智政信息科技有限公司 | 基于安监应用的大数据平台集成管理*** |
CN110781236A (zh) * | 2019-10-29 | 2020-02-11 | 山西云时代技术有限公司 | 一种构建政务大数据治理体系的方法 |
CN111259006A (zh) * | 2019-11-19 | 2020-06-09 | 中国科学院计算机网络信息中心 | 一种通用的分布式异构数据一体化物理汇聚、组织、发布与服务方法及*** |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112650745A (zh) * | 2020-12-30 | 2021-04-13 | 中科环森智慧科技(苏州)有限公司 | 一种基于统一数据资源池的数据治理*** |
CN113094393A (zh) * | 2021-03-16 | 2021-07-09 | 杭州数梦工场科技有限公司 | 数据汇聚方法及装置、电子设备 |
CN113094393B (zh) * | 2021-03-16 | 2023-07-14 | 杭州数梦工场科技有限公司 | 数据汇聚方法及装置、电子设备 |
CN113076361A (zh) * | 2021-03-17 | 2021-07-06 | 国家气象信息中心(中国气象局气象数据中心) | 一种基于大数据的海量气象数据统一服务接口的实现方法 |
CN113987077A (zh) * | 2021-12-23 | 2022-01-28 | 太极计算机股份有限公司 | 一种基于链码机制的数据感知与跨链调度方法及装置 |
CN115496428A (zh) * | 2022-11-18 | 2022-12-20 | 北京融数安科技有限公司 | 一种基于大数据的工业安全管理方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112035438A (zh) | 政务大数据平台*** | |
EP3869371A1 (en) | Data consent manager | |
US11962614B2 (en) | Techniques for cloud security monitoring and threat intelligence | |
EP3422269A1 (en) | Centralized consent management | |
US9892281B1 (en) | Testing using deidentified production data | |
US20210294853A1 (en) | Predicted data use obligation match using data differentiators | |
US11488113B1 (en) | Rendering related content prior to an event in a group-based communication interface | |
US9641555B1 (en) | Systems and methods of tracking content-exposure events | |
US20090271238A1 (en) | System and method of managing a workflow within and between a criminal case management side and a criminal intelligence management side in the justice and public safety domain | |
US11477244B2 (en) | Method and system for data loss prevention management | |
AU2018220072B2 (en) | Systems and methods to control data access and usage | |
US20180013643A1 (en) | Determining events by analyzing stored electronic communications | |
CN109766322A (zh) | 一种数据共享交换方法及*** | |
US11126445B1 (en) | Disparate data aggregation for user interface customization | |
CN104504014A (zh) | 基于大数据平台的数据处理方法和装置 | |
US8620911B2 (en) | Document registry system | |
US20230267387A1 (en) | Computer-Guided Corporate Relationship Management | |
US20170270602A1 (en) | Object manager | |
US8832856B2 (en) | Authority delegation for business objects | |
CN114175577A (zh) | 敏感信息的信息屏障 | |
CN112835863A (zh) | 操作日志的处理方法和处理装置 | |
CN113111046A (zh) | 一种基于主数据驱动的数据治理*** | |
CN111967854A (zh) | 一种智能移动办公平台 | |
KR20210050827A (ko) | 클라우드 기반 분산 딥러닝 정보 분석관리를 이용한 객체추출 시스템 및 방법 | |
Costa et al. | Attribute based access control in federated clouds: A case study in bionformatics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |