CN113094385A - 一种基于软件定义开放工具集的数据共享融合平台及方法 - Google Patents
一种基于软件定义开放工具集的数据共享融合平台及方法 Download PDFInfo
- Publication number
- CN113094385A CN113094385A CN202110261104.8A CN202110261104A CN113094385A CN 113094385 A CN113094385 A CN 113094385A CN 202110261104 A CN202110261104 A CN 202110261104A CN 113094385 A CN113094385 A CN 113094385A
- Authority
- CN
- China
- Prior art keywords
- data
- platform
- interface
- sharing
- management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000007726 management method Methods 0.000 claims abstract description 113
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000012544 monitoring process Methods 0.000 claims abstract description 41
- 238000004458 analytical method Methods 0.000 claims abstract description 26
- 238000013480 data collection Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 238000003860 storage Methods 0.000 claims description 26
- 238000011156 evaluation Methods 0.000 claims description 22
- 238000007689 inspection Methods 0.000 claims description 16
- 238000013475 authorization Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000007405 data analysis Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000011157 data evaluation Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 238000002156 mixing Methods 0.000 claims description 8
- 238000013523 data management Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000013441 quality evaluation Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000007418 data mining Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims description 3
- 238000013024 troubleshooting Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 40
- 230000006870 function Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 9
- 238000013524 data verification Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 7
- 230000010354 integration Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 244000035744 Hura crepitans Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于软件定义开放工具集的数据共享融合平台及方法。该方案包括数据共享共融平台和数据共享融合工具；所述数据共享共融平台包括共享开放数据归集接口、数据计算接口、组件服务接口、数据使用接口、数据仓库、运行环境、可扩展容器引擎、元数据管理模块、资源目录管理模块、数据质量管理模块、平台服务管理和运行监控模块；所述数据共享融合工具包括数据处理工具和数据共享工具。该方案通过软件定义方式建立数据共享融合工具，并结合数据共享融合平台，对共享融合数据进行监管、融合和场景分析，解决信息孤岛数据低效率、高成本问题。
Description
技术领域
本发明涉及数据处理技术领域，更具体地，涉及一种基于软件定义开放工具集的数据共享融合平台及方法。
背景技术
信息资源的融合和整合，能够形成广泛的数据共享，使得数据资源和基础数据的流动加速，进而推动各部门之间的业务创新，对于满足公众政务需求和跨部门合作都有重要的意义。近年来，信息资源的融合和整合的相关技术一直在不断快速的发展。例如，信息高速公路、访问美国工程等，均推动信息资源融合和整合技术的不断进步。
在本专利技术之前，现有的技术主要是对于数据资源的归集，而且开发利用的水平极低，易出现信息孤岛。信息孤岛多源数据分析共享使用流程复杂，不同的业务***需要不同的共享数据支撑。为满足不同的业务分析使用的需求，当前共享平台中的数据基本上都是分散存储在各式各样的数据源中，各自存储***接口不同造成多源数据分析环境复杂，造成共享平台数据使用效率低。同时在上层应用开发中缺少统一的数据视图，造成使用成本高。因此，在面对进行业务***建设过程中，会出现信息孤岛，进而导致数据多份拷贝，无法支撑业务需要的高成本。
发明内容
鉴于上述问题，本发明提出了一种基于软件定义开放工具集的数据共享融合平台及方法，通过软件定义方式建立数据共享融合工具，并结合数据共享融合平台，对共享融合数据进行监管、融合和场景分析，解决信息孤岛数据低效率、高成本问题。
根据本发明实施例第一方面，提供一种基于软件定义开放工具集的数据共享融合平台。该平台包括数据共享共融平台和数据共享融合工具；
所述数据共享共融平台包括共享开放数据归集接口、数据计算接口、组件服务接口、数据使用接口、数据仓库、运行环境、可扩展容器引擎、元数据管理模块、资源目录管理模块、数据质量管理模块、平台服务管理和运行监控模块；
所述数据共享融合工具包括数据处理工具和数据共享工具；
所述共享开放数据归集接口用于对数据共享融合平台的外部的多源信息的接收；
所述数据计算接口用于将计算获得的数据反馈到数据共享融合平台的外部；
所述组件服务接口用于进行所述数据共享共融平台和所述数据共享融合工具之间的数据交互；
所述数据使用接口将数据处理后的数据在数据共享融合平台的外部进行扩展应用。
在一个或多个实施例中，优选地，所述元数据管理模块，具体包括：
元数据存储子模块，用于管理数据源接口、消息中间件和前端展现中的全部接口元数据，并将所述接口元数据按照技术元数据和业务元数据进行分类存储；
元数据查询子模块，用于对所述元数据存储子模块中的元数据基本信息进行查询与检索，并返回查询内容信息，其中，所述查询内容信息包括数据库表、维表、指标、过程和参与输入输出的对象信息；
元数据检查子模块，用于对元数据信息的完整性和合理性进行稽核检查，其中，稽核检查内容包括中间件sql解析成功率、表级关系完整率、字段关系完整率；
元数据校验子模块，用于根据所述资源目录管理模块使用JSR303进行校验参数的合法性。
在一个或多个实施例中，优选地，所述资源目录管理模块，具体包括：
信息资源目录，用于录入部门目录、基础目录和主体目录，并对所述部门目录、所述基础目录和所述主体目录进行维护和管理，其中，所述主体目录包括人口、法人、电子证照；
政务信息资源包括前段码、消息中间件和后段码，其中，所述前段码用于表示政务信息资源的分类，所述后段码用于表示政务信息资源的顺序，所述消息中间件用于存储消息内容；
目录查询子模块，用于根据所述政务信息资源的目录查询和查看对应的信息资源，其中，查询所述政务信息资源需要获得查询资源授权；
目录权限子模块，用于管理人员为不同用户级别进行授权，其中，授权内容包括查看资源授权、查询资源授权、修改资源授权。
在一个或多个实施例中，优选地，所述数据质量管理模块，具体包括：
数据质量管理子模块，用于进行质量规则管理、质量规则执行、数据质量监控、质量问题管理和质量评价报告生成；
数据评估管理子模块，用于进行数据使用评估、数据关系评估、时效性评估、冗余数据评估和重要性评估；
数据稽查管理子模块，用于进行稽查规则管理、稽核任务调度和稽核结果分析。
在一个或多个实施例中，优选地，所述平台服务管理和运行监控模块，具体包括：
平台服务管理子模块，用于注册服务、发现服务、查看已启动服务、查看服务状态；
集群管理子模块，用于在接口调用和集群监测过程中，在无法正常使用时向技术负责人发起问题排查通知；
采集监控子模块，用于以图形化界面形式提供交换任务的监控信息，所述监控信息包括任务调度和实时流量；
监控告警子模块，用于对异常、告警、故障情况进行状态诊断和展示；
日志管理子模块，用于根据操作结果、操作类型、操作时间、操作用户进行日志内容的查询；
性能监测子模块，用于以5分钟间隔进行性能数据的测量，并根据所述性能数据进行历史数据查询和实时数据查询。
在一个或多个实施例中，优选地，所述数据共享工具，具体包括：
运行管理组件，用于将所述数据共享共融平台的运行情况进行收集和归类，并按照预设的运维监控规范，将运行情况数据发送给管理人员；
存储管理组件包括分布式文件存储和分布式内存数据库；
检索管理组件，用于提供检索入口，进行根据关键词的全文检索、分库统计和记录查看；
数据接口组件包括认证接口、数据归集接口组件、数据计算接口组件、数据使用接口组件、平台服务接口，其中所述认证接口、所述数据归集接口组件、所述数据计算接口组件、所述数据使用接口组件和所述平台服务接口的结构都包括请求URL与请求方法；
开源平台组件库包括批量采集组件、分布式文件***、批处理引擎、内存型批处理引擎、主键查询检索组件、全文检索组件、采集工具、分布式消息组件、存储查询组件、SQL批处理引擎、资源调度引擎、开源计算框架、流处理引擎。
在一个或多个实施例中，优选地，所述数据处理工具，具体包括：
数据交换组件，用于管理数据交换节点和数据交换规则；
数据校验组件，用于对类型、长度、是否为空、精度、范围、格式进行数据校验；
数据管理组件，用于将所述数据共享共融平台的所有的数据、元数据、数据组织到可视化的界面展示给管理员，并支持管理员在线进行资源、目录、元数据的查询和更新；
数据处理组件，用于从数据共享平台中获取业务数据，抽取方式为根据业务进行全量抽取或增量抽取；
数据分析组件，用于分析每个数据任务，并根据集成的算法进行数据挖掘分析，其中，所述集成的算法包括文本语义分析算法和关联规则运算算法。
根据本发明实施例第二方面，提供一种基于软件定义开放工具集的数据共享融合方法。该方法包括：
数据共享共融平台获取全部的多源数据信息；
将所述多源数据信息进行数据共享与归集，生成共享开放数据，其中，所述共享开放数据包括非加密数据和加密数据；
将所述非加密数据直接接入所述数据共享共融平台，将所述加密数据利用区块链以预设格式存储到目标区块链内；
对所述多源数据信息进行预设格式、预设分类和预设接口的数据处理，存储到数据仓库；
对所述数据共享共融平台进行数据归集、数据融合和权限管理，将所述多源数据信息存储为预设形式的元数据、接口数据和多源共享数据；
通过数据共享融合工具与所述数据共享共融平台为所述多源数据信息创建结构化映射表；
在所述数据共享共融平台内建立虚拟结构数据；
通过执行SQL语句访问所述结构化映射表，调用和查新所述虚拟结构数据。
根据本发明实施例第三方面，提供一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如本发明实施例第一方面中任一项所述的方法。
根据本发明实施例第四方面，提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现本发明实施例第一方面中任一项所述的步骤。
本发明的实施例提供的技术方案可以包括以下有益效果：
1)本发明实施例对外部访问者开放数据访问服务时，处于安全角度考虑，支持创建虚拟结构表来对远端访问请求屏蔽本都物理数据源的真实元数据信息和实例信息。
2)本发明实施例提供统一的元数据及SQL访问接口，在访问多源数据库之前，通过数据共享融合工具与平台提供的SQL语法为多源数据库创建结构化映射表，在通过执行SQL语句访问刚刚创建的结构化映射表提升数据查询效率，降低应用开发难度。
3)本发明实施例通过对外部数据通过数据共享融合平台进行归集融合分析，实现多源数据加工流转在一个平台内闭环，数据流动更高效，基于平台实现交互式数据查询，提高数据使用效率。
4)本发明实施例通过数据共享融合平台实现多源数据在一个平台内融合分析，多种数据处理共享同一份数据，数据避免搬迁，解决数据分散和重复存储问题，提高数据查询速度，通过平台服务管理实现资源统一调度，提升数据资源利用率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种基于软件定义开放工具集的数据共享融合平台的结构图。
图2是本发明一个实施例的一种基于软件定义开放工具集的数据共享融合平台的应用示意图。
图3是本发明一个实施例的资源目录管理模块的资源数据查阅流程示意图。
图4是本发明一个实施例中的目录查询子模块的查询流程示意图。
图5是本发明一个实施例中的目录权限子模块的权限设置流程示意图。
图6是本发明一个实施例中的数据评估管理子模块的评估管理流程示意图。
图7是本发明一个实施例中的平台服务管理子模块的服务管理流程示意图。
图8是本发明一个实施例中的日志管理子模块的日志管理流程示意图。
图9是本发明一个实施例中的数据校验组件的执行流程示意图。
图10是本发明一个实施例中的数据校验组件的数据解析流程示意图。
图11是本发明一个实施例中的数据校验组件的数据分类流程示意图。
图12是本发明一个实施例中的数据处理组件的执行流程示意图。
图13是本发明一个实施例中的数据管理组件的执行流程示意图。
图14是本发明一个实施例中的数据分析组件的执行流程示意图。
图15是本发明一个实施例的一种基于软件定义开放工具集的数据共享融合平台的多层级技术架构图。
图16是本发明一个实施例的一种基于软件定义开放工具集的数据共享融合方法的流程图。
图17是本发明一个实施例中一种电子设备的结构图。
具体实施方式
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
信息资源的融合和整合，能够形成广泛的数据共享，使得数据资源和基础数据的流动加速，进而推动各部门之间的业务创新，对于满足公众政务需求和跨部门合作都有重要的意义。近年来，信息资源的融合和整合的相关技术一直在不断快速的发展。例如，信息高速公路、访问美国工程等，均推动信息资源融合和整合技术的不断进步。
在本专利技术之前，现有的技术主要是对于数据资源的归集，而且开发利用的水平极低，易出现信息孤岛。信息孤岛多源数据分析共享使用流程复杂，不同的业务***需要不同的共享数据支撑。为满足不同的业务分析使用的需求，当前共享平台中的数据基本上都是分散存储在各式各样的数据源中，各自存储***接口不同造成多源数据分析环境复杂，造成共享平台数据使用效率低。同时在上层应用开发中缺少统一的数据视图，造成使用成本高。因此，在面对进行业务***建设过程中，会出现信息孤岛，进而导致数据多份拷贝，无法支撑业务需要的高成本。
本发明实施例中，提供了一种基于软件定义开放工具集的数据共享融合平台及方法。该方案通过软件定义方式建立数据共享融合工具，并结合数据共享融合平台，对共享融合数据进行监管、融合和场景分析，解决信息孤岛数据低效率、高成本问题。
根据本发明实施例第一方面，提供一种基于软件定义开放工具集的数据共享融合平台。图1是本发明一个实施例的一种基于软件定义开放工具集的数据共享融合平台的结构图。如图1所示，该平台包括数据共享共融平台101和数据共享融合工具102；
所述数据共享共融平台101包括共享开放数据归集接口103、数据计算接口104、组件服务接口105、数据使用接口106、数据仓库107、运行环境108、可扩展容器引擎109、元数据管理模块110、资源目录管理模块111、数据质量管理模块112、平台服务管理和运行监控模块113；
所述数据共享融合工具包括数据处理工具114和数据共享工具115；
所述共享开放数据归集接口103用于对数据共享融合平台的外部的多源信息的接收；
所述数据计算接口104用于将计算获得的数据反馈到数据共享融合平台的外部；
所述组件服务接口105用于进行所述数据共享共融平台和所述数据共享融合工具之间的数据交互；
所述数据使用接口106将数据处理后的数据在数据共享融合平台的外部进行扩展应用。
本发明实施例中，数据共享共融平台和数据共享融合工具通过Eureka实现相互之间的服务注册和发现。其中，数据共享融合平台以微服务架构实现。Eureka是一个基于代表性状态转移的服务，是服务注册和发现的基础组件。Eureka客户端将自己的服务信息登记到服务器上，并在维护自己信息一致性，方便其他服务发现自己，通过Eureka服务器获取到自己依赖的其他服务信息，完成服务调用。具体的，注册表示服务提供者向Eureka服务器端注册自身的元数据以供服务发现。发现表示Eureka客户端通过Eureka服务器获取注册的其他服务信息，从而找到所需要的服务发起远程调用。
因此，数据共享融合平台若要调用数据共享融合工具中的组件，首先要先启动组件服务，向Eureka服务器端注册自身的元数据以供服务发现，在应用启动时，Eureka客户端向Eureka服务器注册自己的服务信息，同时将Eureka服务器的服务信息缓存到本地。Eureka客户端会和Eureka服务器周期性的进行心跳交互，以更新服务租约和服务信息，通过发送心跳到Eureka服务器以维持和更新注册表中服务实例元数据的有效性。在一定时长内，Eureka服务器没有收到Eureka客户端的心跳信息，将默认下线，会把服务实例信息从注册表中删除。服务关闭时候主动向Eureka服务器注销服务实例元数据，服务提供方实例数据将从Eureka服务器的注册表中删除。
图2是本发明一个实施例的一种基于软件定义开放工具集的数据共享融合平台的应用示意图。如图2所示，所述数据共享融合平台实现元数据管理、资源目录管理、数据质量管理、平台服务管理、平台运行监控以及数据归集接口、数据使用接口、数据计算接口、组件服务接口功能。所述数据归集接口实现数据共享与归集，共享开放数据分两类。1)非加密数据由平台可共享开放数据归结接口直接汇入平台，2)加密数据使用区块链客户端以智能合约为依托存入区块链，依据智能合约中数据开放权限联盟成员之间数据共享。所述数据计算接口主要实现外部数据与数据共享融合平台对接通道，实现数据的高性能计算处理。所述组件服务接口主要实现组件的注册与发现服务是数据共享融合平台与数据共享融合工具之间的通道。所述数据使用接口主要实现数据共享融合平台数据应用，包括交互式应用、搜索应用、实时报表、实时决策分析、企业征信管理、机构金融风险等。
在一个或多个实施例中，优选地，所述元数据管理模块110，具体包括：
元数据存储子模块，用于管理数据源接口、消息中间件和前端展现中的全部接口元数据，并将所述接口元数据按照技术元数据和业务元数据进行分类存储；
元数据查询子模块，用于对所述元数据存储子模块中的元数据基本信息进行查询与检索，并返回查询内容信息，其中，所述查询内容信息包括数据库表、维表、指标、过程和参与输入输出的对象信息；
元数据检查子模块，用于对元数据信息的完整性和合理性进行稽核检查，其中，稽核检查内容包括中间件sql解析成功率、表级关系完整率、字段关系完整率；
具体的，结构化查询语言(Structured Query Language)简称SQL，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库***。
元数据校验子模块，用于根据所述资源目录管理模块使用JSR303进行校验参数的合法性。
具体的，JSR是Java Specification Requests的缩写，表示Java规范提案。一个标准化技术规范的正式请求形式。
在本发明实施例中，所有数据源的数据会汇集到数据共享融合平台的存储***之中。所有的数据按照资源配置分类存放。进行查询时可以通过特定条件对资源下的数据进行查阅。首先，需要进行目标管理，实现部门目录、基础目录、主体目录的及各部门政务信息资源目录管理。该目录里面是所有政务信息资源。包括人口、法人、电子证照基础目录管理。政务信息资源代码结构由前段码、消息中间件、后段码组成。前段码由类、项、目、细、目组成，作为政务信息资源的分类码；消息中间件为实际传输内容；后段码为政务信息资源的顺序码。目录查询组要是根据结果排序实现多维度目录查询及查看目录下经授权的信息资源。目录权限管理用于对管理人员为不同用户级别进行授权，满足不同用户对目录浏览、检索的权限要求。
图3是本发明一个实施例的资源目录管理模块的资源数据查阅流程示意图。如图3所示，在一个或多个实施例中，优选地，所述资源目录管理模块111，具体包括：
信息资源目录，用于录入部门目录、基础目录和主体目录，并对所述部门目录、所述基础目录和所述主体目录进行维护和管理，其中，所述主体目录包括人口、法人、电子证照；
政务信息资源包括前段码、消息中间件和后段码，其中，所述前段码用于表示政务信息资源的分类，所述后段码用于表示政务信息资源的顺序，所述消息中间件用于存储消息内容；
目录查询子模块，用于根据所述政务信息资源的目录查询和查看对应的信息资源，其中，查询所述政务信息资源需要获得查询资源授权；
目录权限子模块，用于管理人员为不同用户级别进行授权，其中，授权内容包括查看资源授权、查询资源授权、修改资源授权。
图4是本发明一个实施例中的目录查询子模块的查询流程示意图。如图4所示，通过选择不同数据分类和数据的二级分类，进而检索关键词，通过查询列表实现多维度的目录查询。
图5是本发明一个实施例中的目录权限子模块的权限设置流程示意图。如图5所示，用户通过角色选择进行，匹配不同类型的权限组，进而根据其权限组类型进行数据权限的管理。最终，实现管理人员为不同用户级别进行授权，满足不同用户对目录浏览、检索的权限要求。
在一个或多个实施例中，优选地，所述数据质量管理模块112，具体包括：
数据质量管理子模块，用于进行质量规则管理、质量规则执行、数据质量监控、质量问题管理和质量评价报告生成；
数据评估管理子模块，用于进行数据使用评估、数据关系评估、时效性评估、冗余数据评估和重要性评估；
数据稽查管理子模块，用于进行稽查规则管理、稽核任务调度和稽核结果分析。
在本发明实施例中，实现包括支持质量规则管理、质量规则执行、数据质量监控、质量问题管理和质量评价报告。数据评估管理用于实现包括数据使用评估、数据关系评估、时效性评估、冗余数据评估和重要性评估。数据稽查管理用于实现包括稽查规则管理、稽核任务调度和稽核结果分析。
图6是本发明一个实施例中的数据评估管理子模块的评估管理流程示意图。通过数据合法性判断，进行合法数据归类和非合法数据的标记，进一步，进行数据属性的组合条件选择，形成定制化数据，进而实现包括数据使用评估、数据关系评估、时效性评估、冗余数据评估和重要性评估。
在一个或多个实施例中，优选地，所述平台服务管理和运行监控模块113，具体包括：
平台服务管理子模块，用于注册服务、发现服务、查看已启动服务、查看服务状态；
集群管理子模块，用于在接口调用和集群监测过程中，在无法正常使用时向技术负责人发起问题排查通知；
采集监控子模块，用于以图形化界面形式提供交换任务的监控信息，所述监控信息包括任务调度和实时流量；
监控告警子模块，用于对异常、告警、故障情况进行状态诊断和展示；
日志管理子模块，用于根据操作结果、操作类型、操作时间、操作用户进行日志内容的查询；
性能监测子模块，用于以5分钟间隔进行性能数据的测量，并根据所述性能数据进行历史数据查询和实时数据查询。
在本发明实施例中，平台服务管理用于对各种服务进行管理的功能，包括注册/发现服务、查看***所有服务、查看当前***已启动服务、查看指定服务的服务状态。平台运行监用于集群管理、采集监视、监控告警、日志管理和性能监测。
具体的，集群管理针对接口调用及***集群监测过程中由于某种原因导致接口无法正常使用或集群压力过大，无法正常提供服务，而必须要通知到相关的负责人并进行处理的一系列问题。实现节点管理和集群监控管理。
具体的，采集监控用于以图形化界面形式提供给平台管理员对交换任务进行监控，主要包括任务调度监控及实时流量监控。实现以图形方式展现前置机信息和状态，包括各前置机的运行状态、***性能及资源占用情况，日志及***异常情况，各前置交换子***部署的交换服务运行情况。
图7是本发明一个实施例中的平台服务管理子模块的服务管理流程示意图。如图7所示，通过创建人员、管理人员进行查看和申请资源，审核和执行人员进行创建发表和确认发布，测试者进行服务发布状态和沙箱测试结果判断，最终由观察元给出最终结果，进而支持对各种服务进行管理的功能，包括注册/发现服务、查看***所有服务；查看当前***已启动服务；查看指定服务的服务状态。
图8是本发明一个实施例中的日志管理子模块的日志管理流程示意图。如图8所示，通过查询信息并选择对应日志获得更加详细的日志信息，此过程中，设置有固定的根据查询条件，返回正确的查询结果，并提供日志详情的查看；最终，可查看用户操作日志，用户操作日志包括对用户登入、登出、权限变更、IP、操作类型、操作内容、操作时间等内容的记录与展示；具体的，支持***日志查看，***日志包括对***启动、关闭、用户增减、用户登录、权限变更、性能异常、功能异常、硬件异常、网络异常、危险操作等内容的记录与展示。
在一个或多个实施例中，优选地，所述数据共享工具115，具体包括：
运行管理组件，用于将所述数据共享共融平台的运行情况进行收集和归类，并按照预设的运维监控规范，将运行情况数据发送给管理人员；
存储管理组件包括分布式文件存储和分布式内存数据库；
检索管理组件，用于提供检索入口，进行根据关键词的全文检索、分库统计和记录查看；
数据接口组件包括认证接口、数据归集接口组件、数据计算接口组件、数据使用接口组件、平台服务接口，其中所述认证接口、所述数据归集接口组件、所述数据计算接口组件、所述数据使用接口组件和所述平台服务接口的结构都包括请求URL与请求方法；
开源平台组件库包括批量采集组件、分布式文件***、批处理引擎、内存型批处理引擎、主键查询检索组件、全文检索组件、采集工具、分布式消息组件、存储查询组件、SQL批处理引擎、资源调度引擎、开源计算框架、流处理引擎。
图9是本发明一个实施例中的数据校验组件的执行流程示意图。如图9所示，数据校验内容支持对类型、长度、是否为空、精度、范围、格式等信息进行数据校验。
图10是本发明一个实施例中的数据校验组件的数据解析流程示意图。如图10所示，数据解析提供将分散的、异构数据源中的数据如关系数据、非关系数据、数据文件、FTP消息中间件等抽取到临时中间层后进行入库前的数据类型校验功能以及针对海量数据的高性能数据解析功能。
图11是本发明一个实施例中的数据校验组件的数据分类流程示意图。如图11所示，在发生数据数据采集时，各业务部门采集的数据向数据中心前置库***传入要校验的数据条目信息，前置库校验该条目信息是否吻合一致，如果一致相符，则返回对比成功，否则返回比对错误，并将各业务部门采集准确的信息返回给调用者。在向业务部门数据同步时，数据校验用于比对导入数据和业务部门数据的一致性，如果一致，则不需要重复导入，如果不一致，则用最新的数据覆盖不一致信息。数据校验比对工具，要将检查比对的结果以便于阅读分析的报告形式展现给用户。
图12是本发明一个实施例中的数据管理组件的执行流程示意图。如图12数据管理模块主要将交换平台下所有数据、元数据、数据所属等信息组织成可视化的界面展示给管理员，管理员可在线完成资源、目录、元数据的查询/更新的管理工作。在进行数据交换时，数据任务会根据数据的资源ID，获取相关资源配置对数据进行检测校验等操作。
图13是本发明一个实施例中的数据处理组件的执行流程示意图。如图13所示，所述数据处理组件支持从数据共享平台中获取业务数据。数据来源为业务***和文件***，抽取方式支持根据具体业务进行全量抽取或增量抽取，根据具体业务制定抽取的时间、频率，支持对这些参数进行配置。
图14是本发明一个实施例中的数据分析组件的执行流程示意图。
如图14所示，在一个或多个实施例中，优选地，所述数据处理工具114，具体包括：
数据交换组件，用于管理数据交换节点和数据交换规则；
数据校验组件，用于对类型、长度、是否为空、精度、范围、格式进行数据校验；
数据管理组件，用于将所述数据共享共融平台的所有的数据、元数据、数据组织到可视化的界面展示给管理员，并支持管理员在线进行资源、目录、元数据的查询和更新；
数据处理组件，用于从数据共享平台中获取业务数据，抽取方式为根据业务进行全量抽取或增量抽取；
数据分析组件，用于分析每个数据任务，并根据集成的算法进行数据挖掘分析，其中，所述集成的算法包括文本语义分析算法和关联规则运算算法。
图15是本发明一个实施例的一种基于软件定义开放工具集的数据共享融合平台的多层级技术架构图。如图15所示，所述基于软件定义开放工具集的数据共享融合平台包括了多个技术层级，分别包括数据资源层、数据采集层、数据融合层和数据服务层。在数据资源层进行数据的获取，在数据采集层进行数据交互服务，在数据融合层技术数据的预处理、存储和分析，在数据服务层形成应用功能并协调融合分析。
根据本发明实施例第二方面，提供一种基于软件定义开放工具集的数据共享融合方法。图16是本发明一种基于软件定义开放工具集的数据共享融合方法的流程图。如图16所示，该方法包括：
S1601、数据共享共融平台获取全部的多源数据信息；
S1602、将所述多源数据信息进行数据共享与归集，生成共享开放数据，其中，所述共享开放数据包括非加密数据和加密数据；
S1603、将所述非加密数据直接接入所述数据共享共融平台，将所述加密数据利用区块链以预设格式存储到目标区块链内；
S1604、对所述多源数据信息进行预设格式、预设分类和预设接口的数据处理，存储到数据仓库；
S1605、对所述数据共享共融平台进行数据归集、数据融合和权限管理，将所述多源数据信息存储为预设形式的元数据、接口数据和多源共享数据；
S1606、通过数据共享融合工具与所述数据共享共融平台为所述多源数据信息创建结构化映射表；
S1607、在所述数据共享共融平台内建立虚拟结构数据；
S1608、通过执行SQL语句访问所述结构化映射表，调用和查新所述虚拟结构数据。
在本发明实施例中，数据共享融合平台解决数据共享过程中多源数据接入分析低效率问题，实现一个SQL连接多个数据源统一访问，实现元数据模型一致、权限模型模型一致、访问模型一致、管理模型一致实现多源易购数据源信息的统一管理。基于数据共享的开放平台与工具集，数据接入层由平台运营单位将原有的数据接口，接入数据共享平台中。提供业务***数据接口重构服务，形成与业务对应的数据接口。数据共享融合工具解决可编程的数据分析处理环境高成本的问题，平台提供一系列数据处理的组件工具和已经完成的大量算法组件，以服务的方式对接数据共享开放平台对应的环境，数据使用方可采用组件化的开发方法，提高数据的处理和分析效率，解决业务数据分析处理环境建设高成本问题。
根据本发明实施例第三方面，提供一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如本发明实施例第一方面中任一项所述的方法。
根据本发明实施例第四方面，提供一种电子设备。图17是本发明一个实施例中一种电子设备的结构图。图17所示的电子设备为通用数据共享融合装置，其包括通用的计算机硬件结构，其至少包括处理器1701和存储器1702。处理器1701和存储器1702通过总线1703连接。存储器1702适于存储处理器1701可执行的指令或程序。处理器1701可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器1701通过执行存储器1702所存储的指令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线1703将上述多个组件连接在一起，同时将上述组件连接到显示控制器1704和显示装置以及输入/输出(I/O)装置1705。输入/输出(I/O)装置1705可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置1705通过输入/输出(I/O)控制器1706与***相连。
本发明的实施例提供的技术方案可以包括以下有益效果：
1)本发明实施例对外部访问者开放数据访问服务时，处于安全角度考虑，支持创建虚拟结构表来对远端访问请求屏蔽本都物理数据源的真实元数据信息和实例信息。
2)本发明实施例提供统一的元数据及SQL访问接口，在访问多源数据库之前，通过数据共享融合工具与平台提供的SQL语法为多源数据库创建结构化映射表，在通过执行SQL语句访问刚刚创建的结构化映射表提升数据查询效率，降低应用开发难度。
3)本发明实施例通过对外部数据通过数据共享融合平台进行归集融合分析，实现多源数据加工流转在一个平台内闭环，数据流动更高效，基于平台实现交互式数据查询，提高数据使用效率。
4)本发明实施例通过数据共享融合平台实现多源数据在一个平台内融合分析，多种数据处理共享同一份数据，数据避免搬迁，解决数据分散和重复存储问题，提高数据查询速度，通过平台服务管理实现资源统一调度，提升数据资源利用率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于软件定义开放工具集的数据共享融合平台，其特征在于，该平台包括数据共享共融平台和数据共享融合工具；
所述数据共享共融平台包括共享开放数据归集接口、数据计算接口、组件服务接口、数据使用接口、数据仓库、运行环境、可扩展容器引擎、元数据管理模块、资源目录管理模块、数据质量管理模块、平台服务管理和运行监控模块；
所述数据共享融合工具包括数据处理工具和数据共享工具；
所述共享开放数据归集接口用于对数据共享融合平台的外部的多源信息的接收；
所述数据计算接口用于将计算获得的数据反馈到数据共享融合平台的外部；
所述组件服务接口用于进行所述数据共享共融平台和所述数据共享融合工具之间的数据交互；
所述数据使用接口将数据处理后的数据在数据共享融合平台的外部进行扩展应用。
2.如权利要求1所述的一种基于软件定义开放工具集的数据共享融合平台，其特征在于，所述元数据管理模块，具体包括：
元数据存储子模块，用于管理数据源接口、消息中间件和前端展现中的全部接口元数据，并将所述接口元数据按照技术元数据和业务元数据进行分类存储；
元数据查询子模块，用于对所述元数据存储子模块中的元数据基本信息进行查询与检索，并返回查询内容信息，其中，所述查询内容信息包括数据库表、维表、指标、过程和参与输入输出的对象信息；
元数据检查子模块，用于对元数据信息的完整性和合理性进行稽核检查，其中，稽核检查内容包括中间件sql解析成功率、表级关系完整率、字段关系完整率；
元数据校验子模块，用于根据所述资源目录管理模块使用JSR303进行校验参数的合法性。
3.如权利要求1所述的一种基于软件定义开放工具集的数据共享融合平台，其特征在于，所述资源目录管理模块，具体包括：
信息资源目录，用于录入部门目录、基础目录和主体目录，并对所述部门目录、所述基础目录和所述主体目录进行维护和管理，其中，所述主体目录包括人口、法人、电子证照；
政务信息资源包括前段码、消息中间件和后段码，其中，所述前段码用于表示政务信息资源的分类，所述后段码用于表示政务信息资源的顺序，所述消息中间件用于存储消息内容；
目录查询子模块，用于根据所述政务信息资源的目录查询和查看对应的信息资源，其中，查询所述政务信息资源需要获得查询资源授权；
目录权限子模块，用于管理人员为不同用户级别进行授权，其中，授权内容包括查看资源授权、查询资源授权、修改资源授权。
4.如权利要求1所述的一种基于软件定义开放工具集的数据共享融合平台，其特征在于，所述数据质量管理模块，具体包括：
数据质量管理子模块，用于进行质量规则管理、质量规则执行、数据质量监控、质量问题管理和质量评价报告生成；
数据评估管理子模块，用于进行数据使用评估、数据关系评估、时效性评估、冗余数据评估和重要性评估；
数据稽查管理子模块，用于进行稽查规则管理、稽核任务调度和稽核结果分析。
5.如权利要求1所述的一种基于软件定义开放工具集的数据共享融合平台，其特征在于，所述平台服务管理和运行监控模块，具体包括：
平台服务管理子模块，用于注册服务、发现服务、查看已启动服务、查看服务状态；
集群管理子模块，用于在接口调用和集群监测过程中，在无法正常使用时向技术负责人发起问题排查通知；
采集监控子模块，用于以图形化界面形式提供交换任务的监控信息，所述监控信息包括任务调度和实时流量；
监控告警子模块，用于对异常、告警、故障情况进行状态诊断和展示；
日志管理子模块，用于根据操作结果、操作类型、操作时间、操作用户进行日志内容的查询；
性能监测子模块，用于以5分钟间隔进行性能数据的测量，并根据所述性能数据进行历史数据查询和实时数据查询。
6.如权利要求1所述的一种基于软件定义开放工具集的数据共享融合平台，其特征在于，所述数据共享工具，具体包括：
运行管理组件，用于将所述数据共享共融平台的运行情况进行收集和归类，并按照预设的运维监控规范，将运行情况数据发送给管理人员；
存储管理组件包括分布式文件存储和分布式内存数据库；
检索管理组件，用于提供检索入口，进行根据关键词的全文检索、分库统计和记录查看；
数据接口组件包括认证接口、数据归集接口组件、数据计算接口组件、数据使用接口组件、平台服务接口，其中所述认证接口、所述数据归集接口组件、所述数据计算接口组件、所述数据使用接口组件和所述平台服务接口的结构都包括请求URL与请求方法；
开源平台组件库包括批量采集组件、分布式文件***、批处理引擎、内存型批处理引擎、主键查询检索组件、全文检索组件、采集工具、分布式消息组件、存储查询组件、SQL批处理引擎、资源调度引擎、开源计算框架、流处理引擎。
7.如权利要求1所述的一种基于软件定义开放工具集的数据共享融合平台，其特征在于，所述数据处理工具，具体包括：
数据交换组件，用于管理数据交换节点和数据交换规则；
数据校验组件，用于对类型、长度、是否为空、精度、范围、格式进行数据校验；
数据管理组件，用于将所述数据共享共融平台的所有的数据、元数据、数据组织到可视化的界面展示给管理员，并支持管理员在线进行资源、目录、元数据的查询和更新；
数据处理组件，用于从数据共享平台中获取业务数据，抽取方式为根据业务进行全量抽取或增量抽取；
数据分析组件，用于分析每个数据任务，并根据集成的算法进行数据挖掘分析，其中，所述集成的算法包括文本语义分析算法和关联规则运算算法。
8.一种基于软件定义开放工具集的数据共享融合方法，其特征在于，该方法包括：
数据共享共融平台获取全部的多源数据信息；
将所述多源数据信息进行数据共享与归集，生成共享开放数据，其中，所述共享开放数据包括非加密数据和加密数据；
将所述非加密数据直接接入所述数据共享共融平台，将所述加密数据利用区块链以预设格式存储到目标区块链内；
对所述多源数据信息进行预设格式、预设分类和预设接口的数据处理，存储到数据仓库；
对所述数据共享共融平台进行数据归集、数据融合和权限管理，将所述多源数据信息存储为预设形式的元数据、接口数据和多源共享数据；
通过数据共享融合工具与所述数据共享共融平台为所述多源数据信息创建结构化映射表；
在所述数据共享共融平台内建立虚拟结构数据；
通过执行SQL语句访问所述结构化映射表，调用和查新所述虚拟结构数据。
9.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-7任一项所述的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110261104.8A CN113094385B (zh) | 2021-03-10 | 2021-03-10 | 一种基于软件定义开放工具集的数据共享融合平台及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110261104.8A CN113094385B (zh) | 2021-03-10 | 2021-03-10 | 一种基于软件定义开放工具集的数据共享融合平台及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113094385A true CN113094385A (zh) | 2021-07-09 |
| CN113094385B CN113094385B (zh) | 2024-04-30 |
Family
ID=76666826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110261104.8A Active CN113094385B (zh) | 2021-03-10 | 2021-03-10 | 一种基于软件定义开放工具集的数据共享融合平台及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113094385B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113656608A (zh) * | 2021-08-18 | 2021-11-16 | 中国科学院软件研究所 | 一种面向软件定义卫星的大数据***及数据自动处理方法 |
| CN113742357A (zh) * | 2021-08-25 | 2021-12-03 | 国核电力规划设计研究院有限公司 | 一种跨平台设计数据自动归集并关联的方法和*** |
| CN114780261A (zh) * | 2022-04-28 | 2022-07-22 | 四川虹魔方网络科技有限公司 | 智能设备运营管理中基础数据微服务化共享***及方法 |
| CN116720300A (zh) * | 2023-08-02 | 2023-09-08 | 福州水字节科技有限公司 | 一种排水管网模型*** |
| CN117033487A (zh) * | 2023-08-11 | 2023-11-10 | 北京长河数智科技有限责任公司 | 一种基于数据共享的接口灵活编排的***及方法 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722667A (zh) * | 2012-03-07 | 2012-10-10 | 甘肃省电力公司信息通信公司 | 基于虚拟数据库和虚拟补丁的数据库安全防护***和方法 |
| CN103246724A (zh) * | 2013-05-08 | 2013-08-14 | 昆明能讯科技有限责任公司 | 支持组件式开发和管理的开放式企业信息门户 |
| CN104123133A (zh) * | 2014-07-01 | 2014-10-29 | 曾安里 | DragonVVP-VBF组件化开发框架平台工具*** |
| CN105554070A (zh) * | 2015-12-09 | 2016-05-04 | 北京中科云集科技有限公司 | 一种基于警务大数据中心服务建设的方法 |
| CN106777227A (zh) * | 2016-12-26 | 2017-05-31 | 河南信安通信技术股份有限公司 | 基于云平台的多维数据融合分析***及方法 |
| CN106855962A (zh) * | 2015-12-09 | 2017-06-16 | 星际空间（天津）科技发展有限公司 | 一种构建政务大数据平台的方法 |
| CN107491510A (zh) * | 2017-08-03 | 2017-12-19 | 国网江苏省电力公司信息通信分公司 | 一种混合异构数据源统一查询***及分布式查询方法 |
| CN109766374A (zh) * | 2018-12-26 | 2019-05-17 | 科大国创软件股份有限公司 | 一种信用联合监管平台 |
| CN111274294A (zh) * | 2020-01-09 | 2020-06-12 | 中国科学院计算机网络信息中心 | 一种通用的分布式异构数据一体化逻辑汇聚组织、发布与服务方法及*** |
| CN111400749A (zh) * | 2020-03-06 | 2020-07-10 | 江苏荣泽信息科技股份有限公司 | 一种基于区块链的政务金融数据共享平台及其实现方法 |
| CN111625510A (zh) * | 2020-05-25 | 2020-09-04 | 广东电网有限责任公司 | 一种基于云映射的多源数据共享***及方法 |
| CN111930355A (zh) * | 2020-08-12 | 2020-11-13 | 创意信息技术股份有限公司 | 一种web后端开发框架及其构建方法 |
| CN112116488A (zh) * | 2020-04-28 | 2020-12-22 | 刘革瑞 | 一种水利大数据综合维护*** |
| CN112307396A (zh) * | 2020-10-21 | 2021-02-02 | 五凌电力有限公司 | 基于多引擎数据建模计算分析的平台架构及其处理方法 |
| CN112306992A (zh) * | 2020-11-04 | 2021-02-02 | 内蒙古证联信息技术有限责任公司 | 一种基于互联网的大数据平台 |
| CN112379653A (zh) * | 2020-12-01 | 2021-02-19 | 国能信控互联技术有限公司 | 一种基于微服务架构的智慧电厂管控*** |
| CN112396404A (zh) * | 2020-11-27 | 2021-02-23 | 广州光点信息科技有限公司 | 一种数据中台*** |
-
2021
- 2021-03-10 CN CN202110261104.8A patent/CN113094385B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722667A (zh) * | 2012-03-07 | 2012-10-10 | 甘肃省电力公司信息通信公司 | 基于虚拟数据库和虚拟补丁的数据库安全防护***和方法 |
| CN103246724A (zh) * | 2013-05-08 | 2013-08-14 | 昆明能讯科技有限责任公司 | 支持组件式开发和管理的开放式企业信息门户 |
| CN104123133A (zh) * | 2014-07-01 | 2014-10-29 | 曾安里 | DragonVVP-VBF组件化开发框架平台工具*** |
| CN105554070A (zh) * | 2015-12-09 | 2016-05-04 | 北京中科云集科技有限公司 | 一种基于警务大数据中心服务建设的方法 |
| CN106855962A (zh) * | 2015-12-09 | 2017-06-16 | 星际空间（天津）科技发展有限公司 | 一种构建政务大数据平台的方法 |
| CN106777227A (zh) * | 2016-12-26 | 2017-05-31 | 河南信安通信技术股份有限公司 | 基于云平台的多维数据融合分析***及方法 |
| CN107491510A (zh) * | 2017-08-03 | 2017-12-19 | 国网江苏省电力公司信息通信分公司 | 一种混合异构数据源统一查询***及分布式查询方法 |
| CN109766374A (zh) * | 2018-12-26 | 2019-05-17 | 科大国创软件股份有限公司 | 一种信用联合监管平台 |
| CN111274294A (zh) * | 2020-01-09 | 2020-06-12 | 中国科学院计算机网络信息中心 | 一种通用的分布式异构数据一体化逻辑汇聚组织、发布与服务方法及*** |
| CN111400749A (zh) * | 2020-03-06 | 2020-07-10 | 江苏荣泽信息科技股份有限公司 | 一种基于区块链的政务金融数据共享平台及其实现方法 |
| CN112116488A (zh) * | 2020-04-28 | 2020-12-22 | 刘革瑞 | 一种水利大数据综合维护*** |
| CN111625510A (zh) * | 2020-05-25 | 2020-09-04 | 广东电网有限责任公司 | 一种基于云映射的多源数据共享***及方法 |
| CN111930355A (zh) * | 2020-08-12 | 2020-11-13 | 创意信息技术股份有限公司 | 一种web后端开发框架及其构建方法 |
| CN112307396A (zh) * | 2020-10-21 | 2021-02-02 | 五凌电力有限公司 | 基于多引擎数据建模计算分析的平台架构及其处理方法 |
| CN112306992A (zh) * | 2020-11-04 | 2021-02-02 | 内蒙古证联信息技术有限责任公司 | 一种基于互联网的大数据平台 |
| CN112396404A (zh) * | 2020-11-27 | 2021-02-23 | 广州光点信息科技有限公司 | 一种数据中台*** |
| CN112379653A (zh) * | 2020-12-01 | 2021-02-19 | 国能信控互联技术有限公司 | 一种基于微服务架构的智慧电厂管控*** |
Non-Patent Citations (2)
| Title |
|---|
| MICHAEL FRANKLIN等: "From databases to dataspaces: a new abstraction for information management", ACM SIGMOD RECORD, vol. 34, no. 4, 1 December 2005 (2005-12-01), pages 27 - 33, XP002406424, DOI: 10.1145/1107499.1107502 * |
| 殷自力等: "一种面向配电网调度业务管控的混合型大数据平台研究", 供用电, vol. 37, no. 11, 5 November 2020 (2020-11-05), pages 15 - 20 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113656608A (zh) * | 2021-08-18 | 2021-11-16 | 中国科学院软件研究所 | 一种面向软件定义卫星的大数据***及数据自动处理方法 |
| CN113656608B (zh) * | 2021-08-18 | 2023-10-24 | 中国科学院软件研究所 | 一种面向软件定义卫星的大数据***及数据自动处理方法 |
| CN113742357A (zh) * | 2021-08-25 | 2021-12-03 | 国核电力规划设计研究院有限公司 | 一种跨平台设计数据自动归集并关联的方法和*** |
| CN114780261A (zh) * | 2022-04-28 | 2022-07-22 | 四川虹魔方网络科技有限公司 | 智能设备运营管理中基础数据微服务化共享***及方法 |
| CN114780261B (zh) * | 2022-04-28 | 2022-11-29 | 四川虹魔方网络科技有限公司 | 智能设备运营管理中基础数据微服务化共享***及方法 |
| CN116720300A (zh) * | 2023-08-02 | 2023-09-08 | 福州水字节科技有限公司 | 一种排水管网模型*** |
| CN116720300B (zh) * | 2023-08-02 | 2023-10-13 | 福州水字节科技有限公司 | 一种排水管网模型*** |
| CN117033487A (zh) * | 2023-08-11 | 2023-11-10 | 北京长河数智科技有限责任公司 | 一种基于数据共享的接口灵活编排的***及方法 |
| CN117033487B (zh) * | 2023-08-11 | 2024-05-07 | 北京长河数智科技有限责任公司 | 一种基于数据共享的接口灵活编排的***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113094385B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113094385B (zh) | 一种基于软件定义开放工具集的数据共享融合平台及方法 | |
| US11755628B2 (en) | Data relationships storage platform | |
| CN112396404A (zh) | 一种数据中台*** | |
| CN112650762B (zh) | 数据质量监控的方法、装置、电子设备以及存储介质 | |
| CN110019176B (zh) | 提高数据治理服务成功率的数据治理控制*** | |
| US9367586B2 (en) | Data validation and service | |
| US20130305224A1 (en) | Rules Engine for Architectural Governance | |
| CN110458678B (zh) | 一种基于hadoop校验的财务数据校验方法和*** | |
| CN114925045B (zh) | 大数据集成和管理的PaaS平台 | |
| US9123006B2 (en) | Techniques for parallel business intelligence evaluation and management | |
| CN111866121B (zh) | 一种大型起重机设备安全监控管理云平台 | |
| CN112527774A (zh) | 数据中台搭建方法、***及存储介质 | |
| KR100903726B1 (ko) | 데이터 품질 관리 성숙도 평가 시스템 | |
| CN111538720A (zh) | 电力行业基础数据清理的方法及*** | |
| US20170039235A1 (en) | Air quality metrology system | |
| Fu et al. | Design and implementation of clinical LIS360 laboratory management system based on AI technology | |
| KR100796906B1 (ko) | 데이터베이스 품질관리 방법 | |
| CN116910023A (zh) | 一种数据治理*** | |
| CN115168474B (zh) | 一种基于大数据模型的物联中台***搭建方法 | |
| CN113706101B (zh) | 电网项目管理智能***架构及方法 | |
| KR100796905B1 (ko) | 데이터베이스 품질관리 시스템 | |
| KR100792322B1 (ko) | 데이터베이스 품질관리 프레임워크 | |
| Ribeiro et al. | A scalable data integration architecture for smart cities: implementation and evaluation | |
| CN112784129A (zh) | 一种泵站设备运维数据监管平台 | |
| CN111352985A (zh) | 一种基于计算机***的数据服务平台、方法、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |