CN110730201A - 一种基于元数据的数据共享方法及*** - Google Patents

一种基于元数据的数据共享方法及*** Download PDF

Info

Publication number
CN110730201A
CN110730201A CN201910794415.3A CN201910794415A CN110730201A CN 110730201 A CN110730201 A CN 110730201A CN 201910794415 A CN201910794415 A CN 201910794415A CN 110730201 A CN110730201 A CN 110730201A
Authority
CN
China
Prior art keywords
data
shared
data set
information
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910794415.3A
Other languages
English (en)
Inventor
余军
罗长寿
魏清风
孙素芬
龚晶
郑亚明
曹承忠
王富荣
于维水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Academy of Agriculture and Forestry Sciences
Original Assignee
Beijing Academy of Agriculture and Forestry Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Academy of Agriculture and Forestry Sciences filed Critical Beijing Academy of Agriculture and Forestry Sciences
Priority to CN201910794415.3A priority Critical patent/CN110730201A/zh
Publication of CN110730201A publication Critical patent/CN110730201A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种基于元数据的数据共享方法及***。该方法包括获取待上传的共享数据资源；对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述，得到数据集描述信息；上传所述共享数据资源和所述数据集描述信息至共享资源平台，以供共享资源请求方获取所述数据集描述信息，并基于所述数据集描述信息下载所述共享数据资源。本发明实施例通过对共享数据资源进行基于元数据的处理，利用了元数据自身的数据解读能力，使共享数据本身具有数据解读能力，能适应各种应用***的数据传输、解析和存储，实现了资源的分布式共享管理，同时，共享实现了平台无关性，数据生命力、传播能力强。

Description

一种基于元数据的数据共享方法及***
技术领域
本发明涉及数据共享技术领域，尤其涉及一种基于元数据的数据共享方法及***。
背景技术
当前共享数据交换方式主要依托数据交换共享平台实现在不同的网络环境中、异构的数据***、不同的操作平台，以统一的、标准的数据展现给最终使用者，并实现对不同***和数据库进行数据抽取和清洗利用，实现不同信息***之间数据资源的交换和共享。主流的数据交换方式为前置机交换方式和服务接口方式。前置机交换方式主要通过共享交换***从各部门应用***、其它的共享交换***中采集共享数据，并可以将数据保存到数据库或提供各部门业务***利用数据。它是不同平台信息共享交互的窗口，是数据共享交换的中转站。服务接口方式主要依托互联网传输技术，通过提供标准的共享数据接口服务，实现各部门数据的交换共享。相对前置机交换方式，无需数据共享交换***；同时，用户实时的查询数据，数据更新保证，核验数据都得到了解决；对于业务部门来说，避免了数据层操作，数据属主风险得到了控制。
上述两种数据交换方式分别存在不足，前置机交换方式不足点为：共享交换依赖于数据共享部门开放数据库权限，如可更新时间、可获取的字段等；同时，对于用户实时的查询数据，数据更新保证，核验数据这些是比较困难的；对于业务部门，由于在数据层进行操作，需开放底层数据库及其数据字典，由于开辟了数据通道，有改变数据属主的风险。服务接口方式不足点为：面对不同的需求，都需要提供接口服务，需要业务部门具有开发编程能力；再有接口方式进行数据交换共享，针对旧有业务数据和***整合难度大，特别历史数据需要重新开发服务接口，实际工作中可操作性差。
图1为数据资源平台共享框架图，如图1所示，数据资源平台包含部、省(区、市)、地三级，各级资源平台在汇集本级及以下的数据资源的同时，定期将数据同步至上级资源平台。该框架包括：数据资源建设层：是各业务部门数据生产***；数据资源发布传输层：是负责互联网数据传输支持；数据资源共享服务平台：提供共享数据的发布服务，为第三方提供数据发现支持；数据资源共享传输层：提供数据资源获取服务规范、传输技术规范支持与校验。在框架中，前置交换平台则重于数据资源共享服务平台，平台需提供数据解析服务与数据存储，平台共享专业性强，通用性弱；服务接口方式则重于框架中的数据资源建设层，数据资源建设层需提供服务接口功能和数据解读能力，同时框架中的数据资源共享服务平台需提供服务接口分发与数据发现支持；数据资源共享服务平台实现的是数据资源发现，即数据集的注册、发布与描述信息的存储；数据资源建设层提供共享数据描述的规范化与数据资源传输服务。各地数据资源不统一，数据资源内容、描述方式及存储格式存在较大差异，***维护能力迥异。旧有共享以文件形式存储于共享平台，数据庞大，数据格式不一，音频数据标识不统一，数据资源共享困难，不利于业务服务。分析前置机交换方式与服务接口方式数据共享在平台上的应用，两者有一个共同特点：技术***的依赖性强，数据交换依赖于特定信息技术与***的支持。
因此，需要提出一种具备平台无关性，高可靠性的，不依赖于传输技术的数据共享方法。
发明内容
本发明实施例提供一种基于元数据的数据共享方法及***，用以解决现有技术中数据交换共享过于依赖数据传播平台，以及特定的数据传播技术，使得数据传播可靠性不高，数据共享实现困难的问题。
第一方面，本发明实施例提供一种基于元数据的数据共享方法，包括：
获取待上传的共享数据资源；
对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述，得到数据集描述信息；
上传所述共享数据资源和所述数据集描述信息至共享资源平台，以供共享资源请求方获取所述数据集描述信息，并基于所述数据集描述信息下载所述共享数据资源。
优选的，所述对所述共享数据资源分别从元数据的定义信息、结构信息和分发与服务信息进行描述，得到数据集描述信息，之前还包括：
按照预设规则对所述共享数据资源进行分类整理。
优选的，所述上传所述共享数据资源和所述数据集描述信息至共享资源平台，之前还包括：
将所述数据集描述信息按照预设格式进行格式转换；
按照所述预设格式，将所述共享资源发布方的发布用户身份信息添加在格式转换后的所述数据集描述信息中；
对应地，所述上传所述共享数据资源和所述数据集描述信息至共享资源平台，之后还包括：
接收所述共享资源平台返回的预设格式状态码和规范化数据集描述信息；其中所述规范化数据集描述信息是由所述共享资源平台将所述数据集描述信息进行规范化处理后得到的。
第二方面，本发明实施例提供一种基于元数据的数据共享方法，包括：
从共享资源平台获取数据集描述信息；
基于所述数据集描述信息，从所述共享资源平台下载共享数据资源；所述数据集描述信息是所述共享资源发布方对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述得到的。
优选的，所述从共享资源平台获取数据集描述信息，之前还包括：
通过所述共享资源平台的资源发现接口，获取所述共享资源发布方提供的共享数据资源信息；
按照预设格式，将请求用户身份信息添加在所述共享数据资源信息中并上传至所述共享资源平台，以供所述共享资源平台对所述请求用户身份信息进行认证，并在认证通过时返回所述数据集描述信息。
优选的，所述从共享资源平台获取数据集描述信息，具体包括：
调用数据获取接口，向所述共享资源平台发送共享资源下载请求，使得所述共享资源平台返回所述共享资源下载请求对应的规范化数据集描述信息；所述规范化数据集描述信息是将述共享资源下载请求对应的所述数据集描述信息按照预设格式和数据集描述信息规范进行编制得到的；
对应地，所述基于所述数据集描述信息，从所述共享资源平台下载共享数据资源，具体包括：
对所述规范化数据集描述信息进行解析，获得数据集存储路径；
根据所述数据集存储路径下载获得所述共享数据资源。
第三方面，本发明实施例提供一种基于元数据的数据共享***，包括：
第一获取单元，用于获取待上传的共享数据资源；
描述处理单元，用于对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述，得到数据集描述信息；
上传单元，用于上传所述共享数据资源和所述数据集描述信息至共享资源平台，以供共享资源请求方获取所述数据集描述信息，并基于所述数据集描述信息下载所述共享数据资源。
第四方面，本发明实施例提供一种基于元数据的数据共享***，包括：
第二获取单元，用于从共享资源平台获取数据集描述信息；
下载单元，用于基于所述数据集描述信息，从所述共享资源平台下载共享数据资源；所述数据集描述信息是所述共享资源发布方对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述得到的。
第五方面，本发明实施例提供一种电子设备，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述一种基于元数据的数据共享方法的步骤。
第六方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现任一项所述一种基于元数据的数据共享方法的步骤。
本发明实施例提供的一种基于元数据的数据共享方法及***，通过对共享数据资源进行基于元数据的处理，利用了元数据自身的数据解读能力，使共享数据本身具有数据解读能力，能适应各种应用***的数据传输、解析和存储，实现了资源的分布式共享管理，同时，共享实现了平台无关性，数据生命力、传播能力强。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为数据资源平台共享框架图；
图2为本发明实施例提供的一种基于元数据的数据共享方法中共享资源发布的方法流程图；
图3为本发明实施例提供的一种基于元数据的数据共享方法中共享资源请求的方法流程图；
图4为本发明实施例提供的一种基于元数据的数据共享***中的共享资源发布***结构图；
图5为本发明实施例提供的一种基于元数据的数据共享***中共享资源请求***结构图；
图6为本发明实施例提供的电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中涉及的通常数据资源共享的主要流程分为数据资源的发布与数据资源的请求两部分，而元数据数据交换方式流程添加了共享数据定义过程，即在发布与获取过程中多了描述与解析。
图2为本发明实施例提供的一种基于元数据的数据共享方法中共享资源发布的方法流程图，如图2所示，包括：
S1，获取待上传的共享数据资源；
S2，对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述，得到数据集描述信息；
S3，上传所述共享数据资源和所述数据集描述信息至共享资源平台，以供共享资源请求方获取所述数据集描述信息，并基于所述数据集描述信息下载所述共享数据资源。
具体地，某用户有意愿将待分享的信息共享在资源共享平台上，即将该用户定义为共享资源发布方，由共享资源发布方将待分享的信息整理为共享数据资源，并按照共享资源平台提供的数据描述规则，本发明实施例采用基于元数据的结构来对共享数据资源进行处理，分别从元数据的三个方面，即定义信息、结构信息和分发与服务信息，得到数据集描述信息，然后共享资源发布方将共享数据资源和得到的数据集描述信息一起上传至资源共享平台，待有需求的共享资源请求方来查询并下载使用。该方法中将数据集描述信息统一存放于共享平台，而共享数据资源可由共享资源发布方保存于自已的对外发布资源服务器，在实际应用中可实现谁发布谁管理谁受益的分布式数据共享。
其中元数据的内容包括：定义信息(如表1所示)、结构信息(如表2所示)和分发与服务信息三部分(如表3所示)。定义信息用于对共享数据集进行描述描述项的定义即确定元数据元素；结构信息用于对共享数据内容的结构项描述定义元数据元素；分发与服务信息用于对共享数据发布与获取所需信息项进行定义元数据元素。
表1
Figure BDA0002180503330000071
Figure BDA0002180503330000081
表2
Figure BDA0002180503330000091
表3
Figure BDA0002180503330000092
Figure BDA0002180503330000101
注：
约束(M、O)分别代表：
M：必选(Mandatory，M)——数据元的核心内容，适用于各种被描述对象，是数据元应包含的实体或元素；
O：可选(Optional，O)——该实体或元素是可选的，由用户决定是否将其包含在数据元中。
出现次数：
0：表示可不出现；
1：表示出现并且不重复使用；
N：表示可重复使用。
本发明实施例通过对共享数据资源进行基于元数据的处理，利用了元数据自身的数据解读能力，使共享数据本身具有数据解读能力，能适应各种应用***的数据传输、解析和存储，实现了资源的分布式共享管理，同时，共享实现了平台无关性，数据生命力、传播能力强。
在上述实施例的基础上，所述对所述共享数据资源分别从元数据的定义信息、结构信息和分发与服务信息进行描述，得到数据集描述信息，之前还包括：
按照预设规则对所述共享数据资源进行分类整理。
具体地，数据资源在发布前需要以业务特点及共享需求进行准备，因共享数据资源包含结构化数据和非结构化数据，不便于统一化描述，所以在准备数据时以一定的预设规则，本发明实施例的预设规则是以表格的形式为待发布的数据资源进行数据集的整理。例如：工单数据，包括工单分类、咨询问题、解答内容、受理时间等数据信息，以表的格式存在，对于音频、图片等非结构化数据，在表中进行说明。这样就完成了工单数据集的准备工作。
如表4所示：
表4
在上述实施例的基础上，所述上传所述共享数据资源和所述数据集描述信息至共享资源平台，之前还包括：
将所述数据集描述信息按照预设格式进行格式转换；
按照所述预设格式，将所述共享资源发布方的发布用户身份信息添加在格式转换后的所述数据集描述信息中；
对应地，所述上传所述共享数据资源和所述数据集描述信息至共享资源平台，之后还包括：
接收所述共享资源平台返回的预设格式状态码和规范化数据集描述信息；其中所述规范化数据集描述信息是由所述共享资源平台将所述数据集描述信息进行规范化处理后得到的。
具体地，将得到的数据集描述信息，由共享资源发布方按照转换成预设的数据交换格式，这里的预设格式采用JSON(Java Script Object Notation)格式，JSON是一种轻量级的数据交换格式，用法简单，具有易读性且易解析，常用于数据传输。其具体格式如下：
[{
"DataSetDescriptionInformation":[
{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}
],
"DataSetDistributionAndServiceInformation":[
{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}
],
"EntityInformation":[
{"实体":[{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}]},
{"属性1":[{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}]},
{"属性2":[{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}]}
……
]
}]。
其中，“DataSetDescriptionInformation”为数据集定义信息，“DataSetDistributionAndServiceInformation”为数据集分发与服务信息，“EntityInformation”为实体结构信息。
在按照预设格式转换后的数据集描述信息上，再添加共享资源上传方的身份认证信息，此处的身份认证信息也是按照相同的预设JSON格式进行转换。
添加后的格式如下：
[{
"UserNum":"用户编码",
"DataSetDescriptionInformation":[
{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}
],
"DataSetDistributionAndServiceInformation":[
{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}
],
"EntityInformation":[
{"实体":[{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}]},
{"属性1":[{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}]},
{"属性2":[{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}]}
……
]
}]。
完成上述数据集描述信息和身份认证信息的格式转化后，共享资源上传方将调用共享资源平台的数据接口，将共享数据资源和数据集描述信息一并上传至共享资源平台，这里的数据上传采用的是基于超文本传输标准协议(HyperText Transfer Protocol，HTTP)的POST传输技术。
待共享资源平台接收完信息后，向共享资源上传方返回信息上传的状态码和规范化数据集描述信息，其中状态码反映了信息上传的状态，例如共享资源平台是否接收成功，上传后存储的位置，信息传输的时间等，规范化数据集描述信息则是共享资源平台将接收到的数据集描述信息按照规范化标准处理后的结果，该结果将返回至共享资源上传方。
本发明实施例通过对数据集描述信息以及共享资源上传方的身份认证信息进行JSON格式转换，建立了统一简单的数据传输格式，实现了数据传输共享的平台无关性，提升了数据上传的效率。
图3为本发明实施例提供的一种基于元数据的数据共享方法中共享资源请求的方法流程图，如图3所示，包括：
T1，从共享资源平台获取数据集描述信息；
T2，基于所述数据集描述信息，从所述共享资源平台下载共享数据资源；所述数据集描述信息是所述共享资源发布方对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述得到的。
具体地，当共享资源请求方有下载共享数据资源的需求时，在身份认证通过后会获得共享数据资源的数据集描述信息，然后共享资源请求方会向资源共享平台发送下载请求，并根据数据集描述信息获得对应的共享数据资源并进行下载，此处的数据集描述信息和共享资源上传方相同，都是基于元数据对共享数据资源进行描述，同样是按照三个方面，即定义信息、结构信息和分发与服务信息，得到数据集描述信息。
本发明实施例通过对共享数据资源进行基于元数据的处理，利用了元数据自身的数据解读能力，使共享数据本身具有数据解读能力，能适应各种应用***的数据传输、解析和存储，实现了资源的分布式共享管理，同时，共享实现了平台无关性，数据生命力、传播能力强。
在上述实施例的基础上，所述从共享资源平台获取数据集描述信息，之前还包括：
通过所述共享资源平台的资源发现接口，获取所述共享资源发布方提供的共享数据资源信息；
按照预设格式，将请求用户身份信息添加在所述共享数据资源信息中并上传至所述共享资源平台，以供所述共享资源平台对所述请求用户身份信息进行认证，并在认证通过时返回所述数据集描述信息。
具体地，共享资源请求方，根据资源共享平台提供的资源发现接口，发现信息提供方提供的共享资源的相关信息，主要包括服务唯一标识符、数据集编码或实体编码等。在此基础上，按照预设的JSON格式将请求用户的身份信息添加在相关信息上，并上传共享资源平台，由平台对请求用户的身份信息进行认证，例如根据上传用户的身份信息和请求用户的身份信息进行匹配，以确认请求用户的是否具有下载权限，若认证通过，则向共享资源请求方返回数据集描述信息，返回结果时是调用共享资源平台的数据获取接口，同样是采用了基于HTTP的POST传输技术。共享资源相关信息添加了请求用户的身份信息的具体格式如下：
Figure BDA0002180503330000151
在上述实施例的基础上，所述从共享资源平台获取数据集描述信息，具体包括：
调用数据获取接口，向所述共享资源平台发送共享资源下载请求，使得所述共享资源平台返回所述共享资源下载请求对应的规范化数据集描述信息；所述规范化数据集描述信息是将所述共享资源下载请求对应的所述数据集描述信息按照所述预设格式和所述数据集描述信息规范进行编制得到的；
对应地，所述基于所述数据集描述信息，从所述共享资源平台下载共享数据资源，具体包括：
对所述规范化数据集描述信息进行解析，获得数据集存储路径；
根据所述数据集存储路径下载获得所述共享数据资源。
具体地，在共享资源请求方获得共享资源平台返回的数据集描述信息后，向共享资源平台发送资源下载请求，然后共享资源平台返回规范化数据集描述信息，信息采用JSON格式编制。具体格式如下：
[{
"status":”状态码”,
"请求编码1":[{
"DataSetDescriptionInformation":[
{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}
],
"DataSetDistributionAndServiceInformation":[
{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}
],
"EntityInformation":[
{"实体":[{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}]},
{"属性1":[{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}]},
{"属性2":[{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}]}
……
]
}],
"请求编码2":[{
"DataSetDescriptionInformation":[
{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}
],
"DataSetDistributionAndServiceInformation":[
{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}
],
"EntityInformation":[
{"实体":[{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}]},
{"属性1":[{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}]},
{"属性2":[{"字段名1":"字段值1","字段名2":"字段值2","字段名3":"字段值3",,,}]}
……
]
}]
……
}]。
共享资源请求方将获得的规范化数据集描述信息进行解析，得到数据集的存储路径，最后根据该存储路径下载获得对应的共享数据资源。
本发明实施例通过对数据集描述信息以及共享资源请求方的身份认证信息进行JSON格式转换，并通过将请求用户身份信息和上传用户身份信息进行匹配，建立了统一简单的数据传输格式，实现了数据传输共享的平台无关性，提升了数据下载的效率。
图4为本发明实施例提供的一种基于元数据的数据共享***中的共享资源发布***结构图，如图4所示，包括：第一获取单元41、描述处理单元42和上传单元43；其中：
第一获取单元41用于获取待上传的共享数据资源；描述处理单元42用于对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述，得到数据集描述信息；上传单元43用于上传所述共享数据资源和所述数据集描述信息至共享资源平台，以供共享资源请求方获取所述数据集描述信息，并基于所述数据集描述信息下载所述共享数据资源。
本发明实施例提供的***用于执行上述对应的方法，其具体的实施方式与方法的实施方式一致，此处不再赘述。
本发明实施例通过对共享数据资源进行基于元数据的处理，利用了元数据自身的数据解读能力，使共享数据本身具有数据解读能力，能适应各种应用***的数据传输、解析和存储，实现了资源的分布式共享管理，同时，共享实现了平台无关性，数据生命力、传播能力强。
在上述实施例的基础上，描述处理单元42还用于：
按照预设规则对所述共享数据资源进行分类整理。
上传单元43具体用于将所述数据集描述信息按照预设格式进行格式转换；
按照所述预设格式，将所述共享资源发布方的发布用户身份信息添加在格式转换后的所述数据集描述信息中；
对应地，所述上传所述共享数据资源和所述数据集描述信息至共享资源平台，之后还包括：
接收所述共享资源平台返回的预设格式状态码和规范化数据集描述信息；其中所述规范化数据集描述信息是由所述共享资源平台将所述数据集描述信息进行规范化处理后得到的。
本发明实施例通过对数据集描述信息以及共享资源上传方的身份认证信息进行JSON格式转换，建立了统一简单的数据传输格式，实现了数据传输共享的平台无关性，提升了数据上传的效率。
图5为本发明实施例提供的一种基于元数据的数据共享***中共享资源请求***结构图，如图5所示，包括：第二获取单元51和下载单元52；其中：
第二获取单元51用于从共享资源平台获取数据集描述信息；下载单元52用于基于所述数据集描述信息，从所述共享资源平台下载共享数据资源；所述数据集描述信息是所述共享资源发布方对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述得到的。
本发明实施例提供的***用于执行上述对应的方法，其具体的实施方式与方法的实施方式一致，此处不再赘述。
本发明实施例通过对共享数据资源进行基于元数据的处理，利用了元数据自身的数据解读能力，使共享数据本身具有数据解读能力，能适应各种应用***的数据传输、解析和存储，实现了资源的分布式共享管理，同时，共享实现了平台无关性，数据生命力、传播能力强。
在上述实施例的基础上，第二获取单元51还用于：
通过所述共享资源平台的资源发现接口，获取所述共享资源发布方提供的共享数据资源信息；
按照预设格式，将请求用户身份信息添加在所述共享数据资源信息中并上传至所述共享资源平台，以供所述共享资源平台对所述请求用户身份信息进行认证，并在认证通过时返回数据集描述信息。
第二获取单元51还用于调用数据获取接口，向所述共享资源平台发送共享资源下载请求，使得所述共享资源平台返回所述共享资源下载请求对应的规范化数据集描述信息；所述规范化数据集描述信息是将所述共享资源下载请求对应的所述数据集描述信息按照所述预设格式和所述数据集描述信息规范进行编制得到的；
下载单元52具体用于：
对所述规范化数据集描述信息进行解析，获得数据集存储路径；
根据所述数据集存储路径下载获得所述共享数据资源。
本发明实施例通过对数据集描述信息以及共享资源请求方的身份认证信息进行JSON格式转换，并通过将请求用户身份信息和上传用户身份信息进行匹配，建立了统一简单的数据传输格式，实现了数据传输共享的平台无关性，提升了数据下载的效率。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行如下方法：获取待上传的共享数据资源；对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述，得到数据集描述信息；上传所述共享数据资源和所述数据集描述信息至共享资源平台，以供共享资源请求方获取所述数据集描述信息，并基于所述数据集描述信息下载所述共享数据资源。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：获取待上传的共享数据资源；对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述，得到数据集描述信息；上传所述共享数据资源和所述数据集描述信息至共享资源平台，以供共享资源请求方获取所述数据集描述信息，并基于所述数据集描述信息下载所述共享数据资源。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于元数据的数据共享方法，其特征在于，包括：
获取待上传的共享数据资源；
对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述，得到数据集描述信息；
上传所述共享数据资源和所述数据集描述信息至共享资源平台，以供共享资源请求方获取所述数据集描述信息，并基于所述数据集描述信息下载所述共享数据资源。
2.根据权利要求1所述的一种基于元数据的数据共享方法，其特征在于，所述对所述共享数据资源分别从元数据的定义信息、结构信息和分发与服务信息进行描述，得到数据集描述信息，之前还包括：
按照预设规则对所述共享数据资源进行分类整理。
3.根据权利要求1所述的一种基于元数据的数据共享方法，其特征在于，所述上传所述共享数据资源和所述数据集描述信息至共享资源平台，之前还包括：
将所述数据集描述信息按照预设格式进行格式转换；
按照所述预设格式，将所述共享资源发布方的发布用户身份信息添加在格式转换后的所述数据集描述信息中；
对应地，所述上传所述共享数据资源和所述数据集描述信息至共享资源平台，之后还包括：
接收所述共享资源平台返回的预设格式状态码和规范化数据集描述信息；其中所述规范化数据集描述信息是由所述共享资源平台将所述数据集描述信息进行规范化处理后得到的。
4.一种基于元数据的数据共享方法，其特征在于，包括：
从共享资源平台获取数据集描述信息；
基于所述数据集描述信息，从所述共享资源平台下载共享数据资源；所述数据集描述信息是所述共享资源发布方对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述得到的。
5.根据权利要求4所述的一种基于元数据的数据共享方法，其特征在于，所述从共享资源平台获取数据集描述信息，之前还包括：
通过所述共享资源平台的资源发现接口，获取所述共享资源发布方提供的共享数据资源信息；
按照预设格式，将请求用户身份信息添加在所述共享数据资源信息中并上传至所述共享资源平台，以供所述共享资源平台对所述请求用户身份信息进行认证，并在认证通过时返回所述数据集描述信息。
6.根据权利要求4所述的一种基于元数据的数据共享方法，其特征在于，所述从共享资源平台获取数据集描述信息，具体包括：
调用数据获取接口，向所述共享资源平台发送共享资源下载请求，使得所述共享资源平台返回所述共享资源下载请求对应的规范化数据集描述信息；所述规范化数据集描述信息是将所述共享资源下载请求对应的所述数据集描述信息按照预设格式和数据集描述信息规范进行编制得到的；
对应地，所述基于所述数据集描述信息，从所述共享资源平台下载共享数据资源，具体包括：
对所述规范化数据集描述信息进行解析，获得数据集存储路径；
根据所述数据集存储路径下载获得所述共享数据资源。
7.一种基于元数据的数据共享***，其特征在于，包括：
第一获取单元，用于获取待上传的共享数据资源；
描述处理单元，用于对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述，得到数据集描述信息；
上传单元，用于上传所述共享数据资源和所述数据集描述信息至共享资源平台，以供共享资源请求方获取所述数据集描述信息，并基于所述数据集描述信息下载所述共享数据资源。
8.一种基于元数据的数据共享***，其特征在于，包括：
第二获取单元，用于从共享资源平台获取数据集描述信息；
下载单元，用于基于所述数据集描述信息，从所述共享资源平台下载共享数据资源；所述数据集描述信息是所述共享资源发布方对所述共享数据资源分别从元数据的定义信息、结构信息，以及分发与服务信息进行描述得到的。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述一种基于元数据的数据共享方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述一种基于元数据的数据共享方法的步骤。
CN201910794415.3A 2019-08-27 2019-08-27 一种基于元数据的数据共享方法及*** Pending CN110730201A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910794415.3A CN110730201A (zh) 2019-08-27 2019-08-27 一种基于元数据的数据共享方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910794415.3A CN110730201A (zh) 2019-08-27 2019-08-27 一种基于元数据的数据共享方法及***

Publications (1)

Publication Number Publication Date
CN110730201A true CN110730201A (zh) 2020-01-24

Family

ID=69217173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910794415.3A Pending CN110730201A (zh) 2019-08-27 2019-08-27 一种基于元数据的数据共享方法及***

Country Status (1)

Country Link
CN (1) CN110730201A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522803A (zh) * 2020-04-14 2020-08-11 北京仁科互动网络技术有限公司 软件服务化平台的租户交互方法、装置及电子设备
CN111552729A (zh) * 2020-04-26 2020-08-18 北京锦鸿希电信息技术股份有限公司 数据共享方法、装置和设备
CN112214546A (zh) * 2020-09-24 2021-01-12 交控科技股份有限公司 轨道交通数据共享***、方法、电子设备及存储介质
CN112306485A (zh) * 2020-05-29 2021-02-02 北京京东尚科信息技术有限公司 用于处理模版的方法和装置
CN112416893A (zh) * 2020-11-10 2021-02-26 金蝶软件（中国）有限公司 数据共享方法、***、装置、计算机设备和存储介质
CN113890891A (zh) * 2021-10-11 2022-01-04 国网电子商务有限公司 一种能源云网的数据共享交互方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030093790A1 (en) * 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
CN101639852A (zh) * 2009-09-08 2010-02-03 中国科学院地理科学与资源研究所 一种分布式地学数据共享的方法和***
CN101799826A (zh) * 2010-03-04 2010-08-11 中国电子科技集团公司第二十八研究所 一种基于虚拟视图的网络化数据共享***及方法
CN104573068A (zh) * 2015-01-23 2015-04-29 四川中科腾信科技有限公司 一种基于大数据的信息处理方法
CN104657918A (zh) * 2015-01-21 2015-05-27 胡宝清 一种区域资源环境数据共享和综合服务平台

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030093790A1 (en) * 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
CN101639852A (zh) * 2009-09-08 2010-02-03 中国科学院地理科学与资源研究所 一种分布式地学数据共享的方法和***
CN101799826A (zh) * 2010-03-04 2010-08-11 中国电子科技集团公司第二十八研究所 一种基于虚拟视图的网络化数据共享***及方法
CN104657918A (zh) * 2015-01-21 2015-05-27 胡宝清 一种区域资源环境数据共享和综合服务平台
CN104573068A (zh) * 2015-01-23 2015-04-29 四川中科腾信科技有限公司 一种基于大数据的信息处理方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522803A (zh) * 2020-04-14 2020-08-11 北京仁科互动网络技术有限公司 软件服务化平台的租户交互方法、装置及电子设备
CN111522803B (zh) * 2020-04-14 2023-05-19 北京仁科互动网络技术有限公司 软件服务化平台的租户交互方法、装置及电子设备
CN111552729A (zh) * 2020-04-26 2020-08-18 北京锦鸿希电信息技术股份有限公司 数据共享方法、装置和设备
CN112306485A (zh) * 2020-05-29 2021-02-02 北京京东尚科信息技术有限公司 用于处理模版的方法和装置
CN112214546A (zh) * 2020-09-24 2021-01-12 交控科技股份有限公司 轨道交通数据共享***、方法、电子设备及存储介质
CN112416893A (zh) * 2020-11-10 2021-02-26 金蝶软件（中国）有限公司 数据共享方法、***、装置、计算机设备和存储介质
CN113890891A (zh) * 2021-10-11 2022-01-04 国网电子商务有限公司 一种能源云网的数据共享交互方法和装置

Similar Documents

Publication Publication Date Title
CN110730201A (zh) 一种基于元数据的数据共享方法及***
US10331422B1 (en) System and method for generating API devlopment code for integrating platforms
US20220035600A1 (en) API Specification Generation
CN107391142B (zh) 一种应用拆分的方法及装置
CN107465692B (zh) 统一用户身份认证方法、***以及存储介质
US8683545B2 (en) Federating policies from multiple policy providers
CN112527528A (zh) 基于消息队列的数据传输方法、装置及存储介质
Wu Service Computing: Concept, Method and Technology
CN112148679A (zh) 基于多种数据平台的数据交互方法、***、装置及存储介质
CN109656963B (zh) 元数据获取方法、装置、设备及计算机可读存储介质
CN105472045A (zh) 数据库迁移的方法和装置
US20190272169A1 (en) System and method for generating api devlopment code for integrating platforms
CN111786998A (zh) 基于微服务调用的权限管理方法、装置及存储介质
CN111200523B (zh) 中台***配置方法、装置、设备及存储介质
CN106777142A (zh) 基于移动互联网海量数据的服务层***及其方法
CN111723161A (zh) 一种数据处理方法、装置及设备
Bellini et al. Managing complexity of data models and performance in broker-based Internet/Web of Things architectures
CN112818654B (zh) 消息存储方法、消息生成方法、装置、电子设备及计算机可读介质
CN116974948B (zh) 业务***测试方法、***、设备和介质
CN111814020A (zh) 一种数据的获取方法和装置
Pfeil et al. Opensensemap-a citizen science platform for publishing and exploring sensor data as open data
CN114443940A (zh) 一种消息订阅方法、装置及设备
CN102780680A (zh) Sns平台数据回推方法及***
US11855962B2 (en) Mediating creation and use of channels of a publish-subscribe service
CN107679096B (zh) 数据集市间指标共享的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200124

RJ01 Rejection of invention patent application after publication