CN106910146B - 一种基于流式处理技术的异构教育数据交换平台及方法 - Google Patents

一种基于流式处理技术的异构教育数据交换平台及方法 Download PDF

Info

Publication number
CN106910146B
CN106910146B CN201710111531.1A CN201710111531A CN106910146B CN 106910146 B CN106910146 B CN 106910146B CN 201710111531 A CN201710111531 A CN 201710111531A CN 106910146 B CN106910146 B CN 106910146B
Authority
CN
China
Prior art keywords
data
message
exchange
distributed
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710111531.1A
Other languages
English (en)
Other versions
CN106910146A (zh
Inventor
李振
周东岱
钟绍春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Normal University Lixiang Software Co ltd
Northeast Normal University
Original Assignee
Northeast Normal University Lixiang Software Co ltd
Northeast Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Normal University Lixiang Software Co ltd, Northeast Normal University filed Critical Northeast Normal University Lixiang Software Co ltd
Priority to CN201710111531.1A priority Critical patent/CN106910146B/zh
Publication of CN106910146A publication Critical patent/CN106910146A/zh
Application granted granted Critical
Publication of CN106910146B publication Critical patent/CN106910146B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于流式处理技术的异构教育数据交换平台及方法，所述异构教育数据交换平台包括前置交换***和数据交换中心，数据交换中心内设置有分布式消息***、数据交换引擎和交换管理监控***。前置交换***将数据对象以消息的方式传递给分布式消息***，基于大数据流式处理技术的数据交换引擎依次通过各类处理器对消息进行分发、解析、转换、封装、发送操作，数据消息到达每个处理器后立即进行实时分布式处理，各处理器是使用Spout或Bolt组件实现的。通过构建Hub/Spoke架构与应用大数据流式处理技术，实现了教育领域中各异构教育应用***间简单实用、按需服务、实时高效地进行数据交换与共享。

Description

一种基于流式处理技术的异构教育数据交换平台及方法
技术领域
本发明涉及异构教育数据交换领域，尤其涉及一种基于流式处理技术的异构教育数据交换平台及方法。
背景技术
经过多年的信息化建设，各级各类教育机构建立的应用***存储了大量的数据，尤其是近年来随着云计算、大数据等新一代信息技术的发展，教育应用***积累的数字资源迅猛增加。然而，由于建设初期各应用***缺乏统一的数据标准与规范，所采用的存储技术以及存储方式也不相同，导致各级各类***间数据交换与共享困难、数据不能有效流通。因此，有效整合各异构应用***的数据，促进跨机构、跨部门、跨层级的数据资源交换与共享，成为教育信息化中亟待解决的难题。
目前，国内外已有的数据交换技术都是基于一种统一的中间元数据标准(如IEEELOM、CELTS-42)，各异构***的数据格式需要转换成元数据标准的格式，而元数据标准本身也在不断地修订与完善，因此，本发明提出一种无统一元数据标准的数据交换方法，而对于无统一数据标准的交换，需进行N*(N-1)/2种转换(N表示异构***的数量)，因此本发明又采用Hub/Spoke构架和大数据大数据流式处理技术来实现，既解决了数据格式转换计算复杂度高的问题，也可以实现按需实时的数据交换，流式处理集群也能解决Hub/Spoke架构单点故障、性能瓶颈问题。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种基于流式处理技术的异构教育数据交换平台及方法，该发明是一种无统一元数据标准、基于Hub/Spoke架构与大数据流式处理技术实现的，旨在解决教育领域中各异构应用***的数据资源，无法实现跨机构、跨部门、跨层级的交换与共享的问题。
本发明的技术方案如下：
一种基于流式处理技术的异构教育数据交换平台，其中，包括异构教育数据交换平台，所述异构教育数据交换平台包括前置交换***和数据交换中心，数据交换中心内设置有分布式消息***、数据交换引擎和交换管理监控***，所述前置交换***一端连接于各部门内部的应用***，所述前置交换***的另一端连接于所述数据交换中心；
所述前置交换***是所述应用***和所述数据交换中心的连接器，各异构所述应用***的元数据以及数据实例都经过所述前置交换***传输给所述数据交换中心；
所述分布式消息***通过采用分布式构架暂时缓存各前置交换***发送给数据交换中心的请求消息以及元数据的映射规则，所述分布式消息***内设置有元数据映射规则库；
所述数据交换引擎用于从所述分布式消息***的消息队列中获取消息，然后通过流式计算引擎进行流式计算，所述流式计算引擎包括Storm和S4；
所述交换管理监控***负责对所述数据交换中心的所有消息数据进行接入管理、安全管理、数据备份管理、日志管理、集群管理以及配置管理，同时监控各***的运行状态；
所述数据交换引擎包括消息分发器、消息解析器、数据加工处理器、消息封装器以及消息发送器，所述消息分发器在Storm流式处理引擎中，使用数据源产生组件Spout实现，其余各处理器使用Bolt数据处理组件实现，所述数据交换引擎中各消息处理器对消息的处理过程组成一个拓扑结构Topology；
所述消息分发器负责从所述分布式消息***的消息队列中读取消息并根据负载均衡的原则分发给所述消息解析器；
所述消息解析器通过解压、解密的方式从所述消息分发器发送来的消息中解析出数据对象并传送给后续的所述数据加工处理器；
所述数据加工处理器对从所述消息解析器接收的数据流进行相应的转换，发送给后续的消息封装器，所述数据加工处理器内包括有元数据转换器和数据实例转换器，所述元数据转换器将不同来源的元数据项根据属性的语义相似度进行匹配，并将匹配结果缓存到所述分布式消息***中的元数据映射规则库中；同时所述数据实例转换器将数据实例按照元数据映射规则进行转换，并将转换结果进行缓存；
所述消息封装器用于将所述数据加工处理器处理后的数据封装成指定的消息格式并进行压缩、加密处理，然后传递给后续的所述消息发送器；
所述消息发送器将接收到的消息按照路由规则正确传送给各个所述前置交换***，形成数据的交换；
数据消息是以流的形式进行传递的，数据流到达每个数据处理器后立即进行实时计算，并且每个计算任务都可以分配给多台机器同时执行，流式计算指可以实时地处理应用环境中的数据，对大规模流动数据进行持续计算、分析并能捕捉到有价值信息的分布式计算模式。
一种基于流式处理技术的异构教育数据交换方法，其步骤如下：
前置交换***将各部门内部应用***中的数据对象以消息的方式传递给分布式消息***，所述分布式消息***暂时缓存各所述前置交换***发送给数据交换中心的请求消息以及元数据映射规则；
所述分布式消息***将缓存的消息以及元数据映射规则传递给消息分发器，多个所述消息分发器定时地从消息***中获取消息，通过随机分组或者按照字段分组的方式并根据负载均衡的原则将消息分发给多个消息解析器，若分发失败，会进行重新发送，以保证消息的可靠性，多个所述消息解析器对消息进行解压、解密，然后将解析出来的数据对象传输给数据加工处理器，所述数据加工处理器会对数据进行过滤、校验，数据格式及类型的转换，经过加工后的数据会由消息封装器进行压缩、加密处理，然后传递给消息发送器，所述消息发送器按照路由规则将接收到的数据正确地传递给各所述前置交换***；
所述数据交换中心中的数据接入管理、安全管理、数据备份管理、日志管理、集群管理、配置管理以及各***的运行状态皆由交换管理监控***处理；
数据交换引擎包括消息分发器、消息解析器、数据加工处理器、消息封装器以及消息发送器，所述消息分发器在Storm流式处理引擎中，使用数据源产生组件Spout实现，其余各处理器使用Bolt数据处理组件实现，所述数据交换引擎中各消息处理器对消息的处理过程组成一个拓扑结构Topology；
所述消息分发器负责从所述分布式消息***的消息队列中读取消息并根据负载均衡的原则分发给所述消息解析器；
所述消息解析器通过解压、解密的方式从所述消息分发器发送来的消息中解析出数据对象并传送给后续的所述数据加工处理器；
所述数据加工处理器对从所述消息解析器接收的数据流进行相应的转换，发送给后续的消息封装器，所述数据加工处理器内包括有元数据转换器和数据实例转换器，所述元数据转换器将不同来源的元数据项根据属性的语义相似度进行匹配，并将匹配结果缓存到所述分布式消息***中的元数据映射规则库中；同时所述数据实例转换器将数据实例按照元数据映射规则进行转换，并将转换结果进行缓存；
所述消息封装器用于将所述数据加工处理器处理后的数据封装成指定的消息格式并进行压缩、加密处理，然后传递给后续的所述消息发送器；
所述消息发送器将接收到的消息按照路由规则正确传送给各个所述前置交换***，形成数据的交换；
数据消息是以流的形式进行传递的，数据流到达每个数据处理器后立即进行实时计算，并且每个计算任务都可以分配给多台机器同时执行，流式计算指可以实时地处理应用环境中的数据，对大规模流动数据进行持续计算、分析并能捕捉到有价值信息的分布式计算模式。
本发明提供的一种基于流式处理技术的异构教育数据交换平台及方法，通过构建Hub/Spoke架构与应用大数据流式处理技术，实现了教育领域中各异构教育应用***间简单实用、按需服务、实时高效地进行数据交换与共享。
附图说明：
图1为本发明中异构教育数据交换平台的结构示意图；
图2为本发明中数据交换引擎的结构示意图；
图3为本发明中数据交换中心与各前置交换***之间传递消息方式原理示意图；
图4为本发明中数据交换引擎执行流程示意图。
图5为本发明中异构教育数据交换平台的原理示意图。
具体实施方式
本发明提供了一种基于流式处理技术的异构教育数据交换平台及方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种基于流式处理技术的异构教育数据交换平台，包括异构教育数据交换平台1，如图1以及图5所示的，其包括前置交换***2和数据交换中心3。其中，数据交换中心3包括分布式消息***4、数据交换引擎5和交换管理监控***6。所述前置交换***2一端连接于各部门内部的应用***7，所述前置交换***2的另一端连接于所述数据交换中心3；
所述前置交换***2是所述应用***7和所述数据交换中心3的连接器，各异构所述应用***7的元数据以及数据实例都经过所述前置交换***2传输给所述数据交换中心3的；
所述分布式消息***4通过采用分布式构架暂时缓存各前置交换***2发送给数据交换中心的请求消息以及元数据的映射规则，所述分布式消息***4内设置有元数据映射规则库；
所述数据交换引擎5用于从所述分布式消息***4的消息队列中获取消息，然后通过流式计算引擎进行流式计算，所述流式计算引擎包括Storm和S4；
所述交换管理监控***6负责对所述数据交换中心3的所有消息数据进行接入管理、安全管理、数据备份管理、日志管理、集群管理以及配置管理，同时监控各***的运行状态。
更进一步的，如图2所示的，所述数据交换引擎5包括消息分发器8、消息解析器9、数据加工处理器10、消息封装器11以及消息发送器12，所述各处理器在Storm流式处理引擎中是通过使用Spout或Bolt组件实现的，其中所述消息分发器8是使用数据源产生组件Spout实现，其余各处理器使用Bolt数据处理组件实现，所述数据交换引擎5中各消息处理器对消息的处理过程组成一个拓扑结构Topology。
所述消息分发器8负责从所述分布式消息***4的消息队列中读取消息并根据负载均衡的原则分发给所述消息解析器9；
所述消息解析器9通过解压、解密的方式从所述消息分发器8发送来的消息中解析出数据对象并传送给后续的所述数据加工处理器10；
所述数据加工处理器10对从所述消息解析器9接收的数据流进行相应的转换，发送给后续的消息封装器，所述数据加工处理器10内包括有元数据转换器和数据实例转换器，其中，所述元数据转换器将不同来源的元数据项根据属性的语义相似度进行匹配，并将匹配结果缓存到所述分布式消息***4中的元数据映射规则库中；同时所述数据实例转换器将数据实例按照元数据映射规则进行转换，并将转换结果进行缓存；
所述消息封装器11用于将所述数据加工处理器10处理后的数据封装成指定的消息格式并进行压缩、加密处理，然后传递给后续的所述消息发送器12；
所述消息发送器12将接收到的消息按照路由规则正确传送给各个所述前置交换***2，形成数据的交换；
而且，整个过程中数据消息是以流的形式进行传递的，数据流到达每个数据处理器后立即进行实时计算，并且每个计算任务都可以分配给多台机器同时执行，所述流式计算指可以实时地处理应用环境中的数据，对大规模流动数据进行持续计算、分析并能捕捉到有价值信息的分布式计算模式。
本发明还提供了一种基于流式处理技术的异构教育数据交换方法，其步骤如下：
如图3以及图4所示，前置交换***2将各部门内部应用***7中的数据对象以消息的方式传递给分布式消息***4中，所述分布式消息***4暂时缓存各所述前置交换***2发送给所述数据交换中心3的请求消息以及元数据映射规则；
然后，所述分布式消息***4将缓存的消息以及元数据映射规则传递给消息分发器8，多个所述消息分发器8定时地从消息***中获取消息，通过随机分组或者按照字段分组的方式并根据负载均衡的原则将消息分发给多个消息解析器9，若分发失败，会进行重新发送，以保证消息的可靠性，多个所述消息解析器9对消息进行解压、解密，然后将解析出来的数据对象传输给数据加工处理器10，所述数据加工处理器10会对数据进行过滤、校验，数据格式及类型的转换，经过加工后的数据会由消息封装器11进行压缩、加密处理，然后传递给消息发送器12，所述消息发送器12按照路由规则将接收到的数据正确地传递给各所述前置交换***2；
所述数据交换中心3中的数据接入管理、安全管理、数据备份管理、日志管理、集群管理、配置管理以及各***的运行状态皆由交换管理监控***6处理。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (2)

1.一种基于流式处理技术的异构教育数据交换平台，其特征在于，包括异构教育数据交换平台，所述异构教育数据交换平台包括前置交换***和数据交换中心，数据交换中心内设置有分布式消息***、数据交换引擎和交换管理监控***，所述前置交换***一端连接于各部门内部的应用***，所述前置交换***的另一端连接于所述数据交换中心；
所述前置交换***是所述应用***和所述数据交换中心的连接器，各异构所述应用***的元数据以及数据实例都经过所述前置交换***传输给所述数据交换中心；
所述分布式消息***通过采用分布式构架暂时缓存各前置交换***发送给数据交换中心的请求消息以及元数据的映射规则，所述分布式消息***内设置有元数据映射规则库；
所述数据交换引擎用于从所述分布式消息***的消息队列中获取消息，然后通过流式计算引擎进行流式计算，所述流式计算引擎包括Storm和S4；
所述交换管理监控***负责对所述数据交换中心的所有消息数据进行接入管理、安全管理、数据备份管理、日志管理、集群管理以及配置管理，同时监控各***的运行状态；
所述数据交换引擎包括消息分发器、消息解析器、数据加工处理器、消息封装器以及消息发送器，所述消息分发器在Storm流式处理引擎中，使用数据源产生组件Spout实现，其余各处理器使用Bolt数据处理组件实现，所述数据交换引擎中各消息处理器对消息的处理过程组成一个拓扑结构Topology；
所述消息分发器负责从所述分布式消息***的消息队列中读取消息并根据负载均衡的原则分发给所述消息解析器；
所述消息解析器通过解压、解密的方式从所述消息分发器发送来的消息中解析出数据对象并传送给后续的所述数据加工处理器；
所述数据加工处理器对从所述消息解析器接收的数据流进行相应的转换，发送给后续的消息封装器，所述数据加工处理器内包括有元数据转换器和数据实例转换器，所述元数据转换器将不同来源的元数据项根据属性的语义相似度进行匹配，并将匹配结果缓存到所述分布式消息***中的元数据映射规则库中；同时所述数据实例转换器将数据实例按照元数据映射规则进行转换，并将转换结果进行缓存；
所述消息封装器用于将所述数据加工处理器处理后的数据封装成指定的消息格式并进行压缩、加密处理，然后传递给后续的所述消息发送器；
所述消息发送器将接收到的消息按照路由规则正确传送给各个所述前置交换***，形成数据的交换；
数据消息是以流的形式进行传递的，数据流到达每个数据处理器后立即进行实时计算，并且每个计算任务都可以分配给多台机器同时执行，流式计算指可以实时地处理应用环境中的数据，对大规模流动数据进行持续计算、分析并能捕捉到有价值信息的分布式计算模式。
2.一种基于流式处理技术的异构教育数据交换方法，其步骤如下：
前置交换***将各部门内部应用***中的数据对象以消息的方式传递给分布式消息***，所述分布式消息***暂时缓存各所述前置交换***发送给数据交换中心的请求消息以及元数据映射规则；
所述分布式消息***将缓存的消息以及元数据映射规则传递给消息分发器，多个所述消息分发器定时地从消息***中获取消息，通过随机分组或者按照字段分组的方式并根据负载均衡的原则将消息分发给多个消息解析器，若分发失败，会进行重新发送，以保证消息的可靠性，多个所述消息解析器对消息进行解压、解密，然后将解析出来的数据对象传输给数据加工处理器，所述数据加工处理器会对数据进行过滤、校验，数据格式及类型的转换，经过加工后的数据会由消息封装器进行压缩、加密处理，然后传递给消息发送器，所述消息发送器按照路由规则将接收到的数据正确地传递给各所述前置交换***；
所述数据交换中心中的数据接入管理、安全管理、数据备份管理、日志管理、集群管理、配置管理以及各***的运行状态皆由交换管理监控***处理；
数据交换引擎包括消息分发器、消息解析器、数据加工处理器、消息封装器以及消息发送器，所述消息分发器在Storm流式处理引擎中，使用数据源产生组件Spout实现，其余各处理器使用Bolt数据处理组件实现，所述数据交换引擎中各消息处理器对消息的处理过程组成一个拓扑结构Topology；
所述消息分发器负责从所述分布式消息***的消息队列中读取消息并根据负载均衡的原则分发给所述消息解析器；
所述消息解析器通过解压、解密的方式从所述消息分发器发送来的消息中解析出数据对象并传送给后续的所述数据加工处理器；
所述数据加工处理器对从所述消息解析器接收的数据流进行相应的转换，发送给后续的消息封装器，所述数据加工处理器内包括有元数据转换器和数据实例转换器，所述元数据转换器将不同来源的元数据项根据属性的语义相似度进行匹配，并将匹配结果缓存到所述分布式消息***中的元数据映射规则库中；同时所述数据实例转换器将数据实例按照元数据映射规则进行转换，并将转换结果进行缓存；
所述消息封装器用于将所述数据加工处理器处理后的数据封装成指定的消息格式并进行压缩、加密处理，然后传递给后续的所述消息发送器；
所述消息发送器将接收到的消息按照路由规则正确传送给各个所述前置交换***，形成数据的交换；
数据消息是以流的形式进行传递的，数据流到达每个数据处理器后立即进行实时计算，并且每个计算任务都可以分配给多台机器同时执行，流式计算指可以实时地处理应用环境中的数据，对大规模流动数据进行持续计算、分析并能捕捉到有价值信息的分布式计算模式。
CN201710111531.1A 2017-02-28 2017-02-28 一种基于流式处理技术的异构教育数据交换平台及方法 Expired - Fee Related CN106910146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710111531.1A CN106910146B (zh) 2017-02-28 2017-02-28 一种基于流式处理技术的异构教育数据交换平台及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710111531.1A CN106910146B (zh) 2017-02-28 2017-02-28 一种基于流式处理技术的异构教育数据交换平台及方法

Publications (2)

Publication Number Publication Date
CN106910146A CN106910146A (zh) 2017-06-30
CN106910146B true CN106910146B (zh) 2021-10-08

Family

ID=59208089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710111531.1A Expired - Fee Related CN106910146B (zh) 2017-02-28 2017-02-28 一种基于流式处理技术的异构教育数据交换平台及方法

Country Status (1)

Country Link
CN (1) CN106910146B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108092921A (zh) * 2017-12-14 2018-05-29 浪潮软件集团有限公司 一种数据交换***和方法
CN108964971A (zh) * 2018-05-23 2018-12-07 国政通科技股份有限公司 一种数据交换平台
CN108769178A (zh) * 2018-05-23 2018-11-06 苏州工业园区职业技术学院 一种金融平台数据共享处理***
CN108833443B (zh) * 2018-07-26 2021-02-02 长城计算机软件与***有限公司 一种消息传输方法及***、计算机设备
CN109542638A (zh) * 2018-10-26 2019-03-29 深圳点猫科技有限公司 一种基于教育***的文件处理方法及装置
CN109726235A (zh) * 2018-11-27 2019-05-07 东软集团股份有限公司 数据交换方法、装置、可读存储介质、电子设备及***
CN112966051A (zh) * 2021-03-31 2021-06-15 陕西省大数据集团有限公司 一种基于分布式的数据交换***及方法
CN113572840A (zh) * 2021-07-23 2021-10-29 浪潮卓数大数据产业发展有限公司 一种数据交换***及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1604082A (zh) * 2003-08-29 2005-04-06 微软公司 用于任意数据模型的映射体系结构
CN101364240A (zh) * 2008-10-14 2009-02-11 杭州华三通信技术有限公司 元数据管理方法及装置
CN102142027A (zh) * 2011-02-23 2011-08-03 南京智尚丰软件有限公司 数据整合的适配方法
CN103139251A (zh) * 2011-11-29 2013-06-05 神州数码信息***有限公司 一种城市级数据共享交换平台技术的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016004188A1 (en) * 2014-07-03 2016-01-07 FishEye Products, LLC Realtime processing of streaming data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1604082A (zh) * 2003-08-29 2005-04-06 微软公司 用于任意数据模型的映射体系结构
CN101364240A (zh) * 2008-10-14 2009-02-11 杭州华三通信技术有限公司 元数据管理方法及装置
CN102142027A (zh) * 2011-02-23 2011-08-03 南京智尚丰软件有限公司 数据整合的适配方法
CN103139251A (zh) * 2011-11-29 2013-06-05 神州数码信息***有限公司 一种城市级数据共享交换平台技术的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《"Storm在电力大数据分析平台中的研究与应用"》;曾文静;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20170215;C042-2082 *
《基于语义标注的元数据自动构建及其相关技术研究"》;刘海学;《中国博士学位论文全文数据库 信息科技辑》;20101115;I138-87 *

Also Published As

Publication number Publication date
CN106910146A (zh) 2017-06-30

Similar Documents

Publication Publication Date Title
CN106910146B (zh) 一种基于流式处理技术的异构教育数据交换平台及方法
CN106021315B (zh) 一种应用程序的日志管理方法及***
US10706062B2 (en) Method and system for exchanging data from a big data source to a big data target corresponding to components of the big data source
CN112100265A (zh) 面向大数据架构与区块链的多源数据处理方法及装置
CN111314339B (zh) 数据传输方法及装置
CN111294235B (zh) 数据处理方法、装置、网关及可读存储介质
CN109547162B (zh) 基于两套单向边界的数据通信方法
CN110008267B (zh) 一种数据处理的***及方法
CN105183299A (zh) 一种人机界面服务处理***和方法
CN102857505A (zh) 一种物联网数据总线中间件
CN107908560B (zh) 一种基于软件开发平台中多目标交叉调试***
CN114024801B (zh) 一种工业边缘计算服务网关
CN112817539A (zh) 一种工业数据存储方法、***、电子设备及存储介质
CN108614820B (zh) 实现流式源数据解析的方法和装置
CN112202932A (zh) 一种基于边缘计算的对视频进行结构化分析的方法及装置
CN102238505B (zh) 一种客户端多用户并发信令跟踪处理方法及***
CN113051323B (zh) 一种水环境大数据交换方法
CN115442029A (zh) 一种用于智能工厂的云平台
CN103516789B (zh) 从办公网到生产网的传输数据的管理方法和***
CN105429795A (zh) 一种告警监控***及方法
CN113873033B (zh) 一种具有容错功能的智能边缘计算网关平台
CN111782475A (zh) 一种基于命令模式的分布式日志访问方法及***
CN112687267A (zh) 一种物联网数据语义处理***
CN107749875B (zh) 一种大数据人工智能分析***
Leang et al. Real-time transmission of secured plcs sensing data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211008