CN110275861A - 数据存储方法及装置、存储介质、电子装置 - Google Patents

数据存储方法及装置、存储介质、电子装置 Download PDF

Info

Publication number
CN110275861A
CN110275861A CN201910557273.9A CN201910557273A CN110275861A CN 110275861 A CN110275861 A CN 110275861A CN 201910557273 A CN201910557273 A CN 201910557273A CN 110275861 A CN110275861 A CN 110275861A
Authority
CN
China
Prior art keywords
file
stored
metadata
attribute information
metadata schema
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910557273.9A
Other languages
English (en)
Other versions
CN110275861B (zh
Inventor
于阳
张毅然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN201910557273.9A priority Critical patent/CN110275861B/zh
Publication of CN110275861A publication Critical patent/CN110275861A/zh
Application granted granted Critical
Publication of CN110275861B publication Critical patent/CN110275861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/116Details of conversion of file system types or formats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164File meta data generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据存储方法及装置、存储介质,其中,上述方法包括:获取待存储文件,其中,所述待存储文件包括:元数据和第一属性信息;将所述第一属性信息与多个元数据模型的多个第二属性信息进行匹配,在匹配结果满足预设条件的情况下,确定所述第一属性信息所对应的元数据模型,其中,所述元数据模型用于对所述待存储文件进行解析处理;将所述待存储文件按照所述元数据模型的第二属性信息进行解析,得到目标文件,并将所述目标文件存储到与所述元数据模型对应的元数据存储介质中,采用上述技术方案,解决了相关技术中,对于不同来源的元数据,必须借助技术人员编写不同的采集逻辑或采集程序才能够实现元数据的存储的问题。

Description

数据存储方法及装置、存储介质、电子装置
技术领域
本发明涉及数据存储领域,具体而言,涉及一种数据存储方法及装置、存储介质、电子装置。
背景技术
元数据(Metadata)是描述其它数据的数据(data about other data),或者说是用于提供某种资源的有关信息的结构数据(structured data)。在数据仓库领域中,元数据按用途分成技术元数据和业务元数据。首先,元数据能提供基于用户的信息,如记录数据项的业务描述信息的元数据能帮助用户使用数据。其次,元数据能支持***对数据的管理和维护,如关于数据项存储方法的元数据能支持***以最有效的方式访问数据。所以元数据的统一管理和采集是建立数据仓库的基础。
但是,对于一般***或者数据仓库来说,采集元数据和存储元数据是强耦合的,针对不同业务场景中的元数据需要写不同的解析程序,才能将采集过来的元数据输送到存储介质当中。然而,数据库一般为关系型数据库或者图数据库,这种元数据采集存储***的可扩展性较低,采集的元数据的格式和来源局限性很高,而且必须借助技术人员编写新的采集解析逻辑才能够实现元数据的录入,十分复杂。
针对相关技术中,对于不同来源的元数据,必须借助技术人员编写不同的采集逻辑或采集程序才能够实现元数据的存储的问题,尚未提出有效的技术方案。
发明内容
本发明实施例提供了一种数据存储方法及装置、存储介质、电子装置,以至少解决相关技术中对于不同来源的元数据,必须借助技术人员编写不同的采集逻辑或采集程序才能够实现元数据的存储的问题。
根据本发明的一个实施例,提供了一种数据存储方法,包括:获取待存储文件,其中,所述待存储文件包括:元数据和第一属性信息;将所述第一属性信息与多个元数据模型的多个第二属性信息进行匹配,在匹配结果满足预设条件的情况下,确定所述第一属性信息所对应的元数据模型,其中,所述元数据模型用于对所述待存储文件进行解析处理;将所述待存储文件按照所述元数据模型的第二属性信息进行解析,得到目标文件,并将所述目标文件存储到与所述元数据模型对应的元数据存储介质中。
可选地,将所述第一属性信息与多个元数据模型的多个第二属性信息进行匹配,包括:
将所述第一属性信息的第一字段信息,与所述多个第二属性信息的第二字段信息进行匹配。
可选地,将所述待存储文件按照所述元数据模型的第二属性信息进行解析,包括:
校验所述待存储文件的文件格式是否为目标格式;
在所述待存储文件的文件格式为目标格式的情况下,将所述待存储文件按照所述元数据模型的第二属性信息进行解析。
可选地,所述校验所述待存储文件的文件格式是否为目标格式之后,所述方法还包括:
在所述待存储文件的文件格式非目标格式的情况下,输出提示信息。
可选地,所述获取待存储文件,包括:
从监控文件目录中按照预设顺序依次获取所述待存储文件。
根据本发明的另一个实施例,还提供了一种数据存储装置,包括:
获取模块,用于获取待存储文件,其中,所述待存储文件包括:元数据和第一属性信息;
第一处理模块,用于将所述第一属性信息与多个元数据模型的多个第二属性信息进行匹配,在匹配结果满足预设条件的情况下,确定所述第一属性信息所对应的元数据模型,其中,所述元数据模型用于对所述待存储文件进行解析处理;
第二处理模块,用于将所述待存储文件按照所述元数据模型的第二属性信息进行解析,得到目标文件,并将所述目标文件存储到与所述元数据模型对应的元数据存储介质中。
可选地,所述第一处理模块,还用于将所述第一属性信息的第一字段信息,与所述多个第二属性信息的第二字段信息进行匹配。
可选地,所述第二处理模块,还用于校验所述待存储文件的文件格式是否为目标格式;
在所述待存储文件的文件格式为目标格式的情况下,将所述待存储文件按照所述元数据模型的第二属性信息进行解析。
可选地,所述装置还包括:输出模块:用于在所述待存储文件的文件格式非目标格式的情况下,输出提示信息。
可选地,所述获取模块,还用于从监控文件目录中按照预设顺序依次获取所述待存储文件。
根据本发明的另一个实施例,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行以上任一项所述的数据存储方法。
根据本发明的另一个实施例,还提供了一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行以上任一项所述的数据存储方法。
通过本发明,获取待存储文件,其中,所述待存储文件包括:元数据和第一属性信息;将所述第一属性信息与多个元数据模型的多个第二属性信息进行匹配,在匹配结果满足预设条件的情况下,确定所述第一属性信息所对应的元数据模型,其中,所述元数据模型用于对所述待存储文件进行解析处理;将所述待存储文件按照所述元数据模型的第二属性信息进行解析,得到目标文件,并将所述目标文件存储到与所述元数据模型对应的元数据存储介质中,即在数据存储过程中引入元数据模型,采用上述技术方案,解决了相关技术中,对于不同来源的元数据,必须借助技术人员编写不同的采集逻辑或采集程序才能够实现元数据的存储的问题,进而提供了一种数据存储方法,也简化了元数据的存储的过程。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为根据本发明实施例的一种可选的数据存储方法的流程图;
图2是根据本发明实施例的一种可选的数据存储装置的结构框图;
图3是根据本发明实施例的一种可选的数据存储装置的另一结构框图;
图4为根据本发明实施例的一种可选的数据存储方法的另一流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本发明实施例提供了一种数据存储方法,图1为根据本发明实施例的数据存储方法的流程图,如图1所示,包括:
步骤S102,获取待存储文件,其中,所述待存储文件包括:元数据和第一属性信息;
步骤S104,将所述第一属性信息与多个元数据模型的多个第二属性信息进行匹配,在匹配结果满足预设条件的情况下,确定所述第一属性信息所对应的元数据模型,其中,所述元数据模型用于对所述待存储文件进行解析处理;
步骤S106,将所述待存储文件按照所述元数据模型的第二属性信息进行解析,得到目标文件,并将所述目标文件存储到与所述元数据模型对应的元数据存储介质中。
通过本发明,获取待存储文件,其中,所述待存储文件包括:元数据和第一属性信息;将所述第一属性信息与多个元数据模型的多个第二属性信息进行匹配,在匹配结果满足预设条件的情况下,确定所述第一属性信息所对应的元数据模型,其中,所述元数据模型用于对所述待存储文件进行解析处理;将所述待存储文件按照所述元数据模型的第二属性信息进行解析,得到目标文件,并将所述目标文件存储到与所述元数据模型对应的元数据存储介质中,即在数据存储过程中引入元数据模型,采用上述技术方案,解决了相关技术中,对于不同来源的元数据,必须借助技术人员编写不同的采集逻辑或采集程序才能够实现元数据的存储的问题,进而提供了一种数据存储方法,也简化了元数据的存储的过程。
在本发明一可选实施例中,将所述第一属性信息与多个元数据模型的多个第二属性信息进行匹配,包括:
将所述第一属性信息的第一字段信息,与所述多个第二属性信息的第二字段信息进行匹配。
在本发明一可选实施例中,将所述待存储文件按照所述元数据模型的第二属性信息进行解析,包括:
校验所述待存储文件的文件格式是否为目标格式;
在所述待存储文件的文件格式为目标格式的情况下,将所述待存储文件按照所述元数据模型的第二属性信息进行解析。
在本发明一可选实施例中,所述校验所述待存储文件的文件格式是否为目标格式之后,所述方法还包括:
在所述待存储文件的文件格式非目标格式的情况下,输出提示信息。
在本发明一可选实施例中,所述获取待存储文件,包括:
从监控文件目录中按照预设顺序依次获取所述待存储文件。
以下结合一示例对上述数据存储过程进行解释说明,但不用于限定本发明实施例的技术方案,本发明示例的技术方案如下:
步骤1,定义元数据模型;
其中,上述元数据模型为描述元数据信息的数据,多个元数据模型之间可以建立依赖关系。
具体地,定义元数据模型是在页面上完成的,是由用户填写每个元数据模型所需的具体的属性信息。举例来说,依赖关系是指:在页面上创建元数据模型A,页面自动刷新,会显示新创建的模型A,然后点击模型A,选择创建模型,创建模型B,那么新创建的模型B就是模型A的子模型,即依赖关系。
步骤2,为上述定义的元数据模型自动生成对应的第二属性信息,并记录所述元数据模型对应的第二属性信息;
其中,该第二属性信息可以理解为一种采集模板。采集模板是符合人类阅读习惯的csv(Comma-Separated Values,逗号分隔值文件格式)格式或者为Excel(电子表格)。也就是说,该采集模板用于表示元数据模型中定义的元数据的各项第二属性信息。
步骤3,在有待存储文件的情况下,将所述待存储文件放入指定的监控文件目录中;
具体地,待存储文件可以通过监控文件目录上传。其中,该监控文件目录可以是分布式文件***,也可以是普通文件***。或者,待存储文件还可以通过web服务器上传。
步骤4,从监控文件目录中按照预设顺序依次获取所述待存储文件,其中,所述待存储文件包括:元数据和第一属性信息;
步骤5,将所述第一属性信息与多个元数据模型的多个第二属性信息进行匹配,在匹配结果满足预设条件的情况下,确定所述第一属性信息所对应的元数据模型,其中,所述元数据模型用于对所述待存储文件进行解析处理;
其中,上述待存储文件的第一属性信息可以理解为一种表头信息。若该待存储文件为文件格式为(csv,excel)的文件,则该表头信息中会包含有字段信息(即上述第一属性信息)。将该字段信息和元数据模型属性的第二属性信息进行匹配,可以自动识别出该待存储文件对应的元数据模型。例如,多个元数据模型中的元数据模型A有属性b,c,d;且待存储文件的表头信息包含字段信息b,c,d,则待存储文件与元数据模型A匹配成功。
步骤6,校验所述待存储文件的文件格式是否为目标格式;在所述待存储文件的文件格式非目标格式的情况下,输出提示信息。
步骤7,在所述待存储文件的文件格式为目标格式的情况下,将所述待存储文件按照所述元数据模型的第二属性信息进行解析,得到目标文件;
步骤8,将所述目标文件存储到与所述元数据模型对应的元数据存储介质中。
通过定义元数据模型,在有不同来源的待存储文件的情况下,通过对该待存储文件的第一属性信息,以及多个元数据模型的第二属性信息进行匹配,可以找到与该待存储文件对应的元数据模型,进而可以将该待存储文件按照元数据模型的第二属性信息的方式进行解析,得到目标文件,最终实现将该目标文件存储到与所述元数据模型对应的元数据存储介质中。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种数据存储装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本发明实施例的数据存储装置的结构框图,如图2所示,该装置包括:
获取模块20,用于获取待存储文件,其中,所述待存储文件包括:元数据和第一属性信息;
第一处理模块22,用于将所述第一属性信息与多个元数据模型的多个第二属性信息进行匹配,在匹配结果满足预设条件的情况下,确定所述第一属性信息所对应的元数据模型,其中,所述元数据模型用于对所述待存储文件进行解析处理;
第二处理模块24,用于将所述待存储文件按照所述元数据模型的第二属性信息进行解析,得到目标文件,并将所述目标文件存储到与所述元数据模型对应的元数据存储介质中。
通过本发明,获取待存储文件,其中,所述待存储文件包括:元数据和第一属性信息;将所述第一属性信息与多个元数据模型的多个第二属性信息进行匹配,在匹配结果满足预设条件的情况下,确定所述第一属性信息所对应的元数据模型,其中,所述元数据模型用于对所述待存储文件进行解析处理;将所述待存储文件按照所述元数据模型的第二属性信息进行解析,得到目标文件,并将所述目标文件存储到与所述元数据模型对应的元数据存储介质中,即在数据存储过程中引入元数据模型,采用上述技术方案,解决了相关技术中,对于不同来源的元数据,必须借助技术人员编写不同的采集逻辑或采集程序才能够实现元数据的存储的问题,进而提供了一种数据存储方法,也简化了元数据的存储的过程。
在本发明一可选实施例中,所述第一处理模块22,还用于将所述第一属性信息的第一字段信息,与所述多个第二属性信息的第二字段信息进行匹配。
在本发明一可选实施例中,所述第二处理模块24,还用于校验所述待存储文件的文件格式是否为目标格式;
在所述待存储文件的文件格式为目标格式的情况下,将所述待存储文件按照所述元数据模型的第二属性信息进行解析。
在本发明一可选实施例中,如图3所示,所述装置还包括:输出模块26,用于在所述待存储文件的文件格式非目标格式的情况下,输出提示信息。
在本发明一可选实施例中,所述获取模块26,还用于从监控文件目录中按照预设顺序依次获取所述待存储文件。
如图4所示,以下再结合优选实施例对上述数据存储过程进行进一步说明,但不用于限定本发明实施例的技术方案。
1)用户新增一项业务元数据,该元数据描述的内容为FTP服务器(File TransferProtocol,简称FTP),该业务元数据的内容为一种Excel报表;
2)在***的web页面上面创建与该业务元数据对应的元数据模型,并描述该元数据模型中需要包含的字段和辅助信息;
其中,上述描述该元数据模型中需要包含的字段和辅助信息的步骤,可以理解为一种元数据模板的填充。对于复杂的元数据模型的模板的填充,可以编写相应的的解析程序,且编写相应的解析程序的过程与整个***完全解耦,不会影响***的的使用,而相应的解析程序也不会限制在一定框架内去完成功能的实现,仅需要输出文件的格式正确即可。
3)当有文件时,在web页面上上传文件;
4)后台根据上传的文件,自动解析对应的元数据模型;
5)匹配到元数据模型之后对文件的格式进行校验;
6)验证成功后,若该文件的文件格式为Excel格式的文件,可以将Excel格式的文件按照元数据模型定义的依赖关系解析成相应的csv文件,按照文件任务的执行顺序,提交到任务调度***中,等待添加(即存储)到数据库中,若验证失败,提示相应错误信息;
7)按照文件任务的提交顺序按照依次执行数据库的添加任务,完整构建出整个元数据的存储信息和元数据之间的关联信息,过程结束。
综上可知,可以至少解决相关技术中采集的元数据的格式和来源局限性很高,进而无法对不同格式和来源的元数据进行统一存储的问题。
以下再结合另一优选实施例对上述数据存储过程进行进一步说明,但不用于限定本发明实施例的技术方案。
S402、定义元数据模型及其依赖关系;
S404、上传元数据模型模板,以及将符合模板格式的文件放入文件***的监控目录中;
S406、解析文件对应的元数据模型,随后进行格式校验,校验通过跳转到S408,否则跳转到S412;
S408、如果是Excel文件解析为csv文件,根据模型的依赖关系,依序提交至任务调度***中去执行;
S410、数据库按照层级添加数据,逐层构建元数据及其关联信息;
S412、给予相应的错误提示。
本发明的实施例还提供了一种存储介质,该存储介质包括存储的程序,其中,上述程序运行时执行上述任一项的方法。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的程序代码:
S1,获取待存储文件,其中,所述待存储文件包括:元数据和第一属性信息;
S2,将所述第一属性信息与多个元数据模型的多个第二属性信息进行匹配,在匹配结果满足预设条件的情况下,确定所述第一属性信息所对应的元数据模型,其中,所述元数据模型用于对所述待存储文件进行解析处理;
S3,将所述待存储文件按照所述元数据模型的第二属性信息进行解析,得到目标文件,并将所述目标文件存储到与所述元数据模型对应的元数据存储介质中。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取待存储文件,其中,所述待存储文件包括:元数据和第一属性信息;
S2,将所述第一属性信息与多个元数据模型的多个第二属性信息进行匹配,在匹配结果满足预设条件的情况下,确定所述第一属性信息所对应的元数据模型,其中,所述元数据模型用于对所述待存储文件进行解析处理;
S3,将所述待存储文件按照所述元数据模型的第二属性信息进行解析,得到目标文件,并将所述目标文件存储到与所述元数据模型对应的元数据存储介质中。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据存储方法,其特征在于,包括:
获取待存储文件,其中,所述待存储文件包括:元数据和第一属性信息;
将所述第一属性信息与多个元数据模型的多个第二属性信息进行匹配,在匹配结果满足预设条件的情况下,确定所述第一属性信息所对应的元数据模型,其中,所述元数据模型用于对所述待存储文件进行解析处理;
将所述待存储文件按照所述元数据模型的第二属性信息进行解析,得到目标文件,并将所述目标文件存储到与所述元数据模型对应的元数据存储介质中。
2.根据权利要求1所述的方法,其特征在于,将所述第一属性信息与多个元数据模型的多个第二属性信息进行匹配,包括:
将所述第一属性信息的第一字段信息,与所述多个第二属性信息的第二字段信息进行匹配。
3.根据权利要求1所述的方法,其特征在于,将所述待存储文件按照所述元数据模型的第二属性信息进行解析,包括:
校验所述待存储文件的文件格式是否为目标格式;
在所述待存储文件的文件格式为目标格式的情况下,将所述待存储文件按照所述元数据模型的第二属性信息进行解析。
4.根据权利要求3所述的方法,其特征在于,所述校验所述待存储文件的文件格式是否为目标格式之后,所述方法还包括:
在所述待存储文件的文件格式非目标格式的情况下,输出提示信息。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述获取待存储文件,包括:
从监控文件目录中按照预设顺序依次获取所述待存储文件。
6.一种数据存储装置,其特征在于,包括:
获取模块,用于获取待存储文件,其中,所述待存储文件包括:元数据和第一属性信息;
第一处理模块,用于将所述第一属性信息与多个元数据模型的多个第二属性信息进行匹配,在匹配结果满足预设条件的情况下,确定所述第一属性信息所对应的元数据模型,其中,所述元数据模型用于对所述待存储文件进行解析处理;
第二处理模块,用于将所述待存储文件按照所述元数据模型的第二属性信息进行解析,得到目标文件,并将所述目标文件存储到与所述元数据模型对应的元数据存储介质中。
7.根据权利要求6所述的装置,其特征在于,所述第一处理模块,还用于将所述第一属性信息的第一字段信息,与所述多个第二属性信息的第二字段信息进行匹配。
8.根据权利要求6所述的装置,其特征在于,所述第二处理模块还用于校验所述待存储文件的文件格式是否为目标格式;
在所述待存储文件的文件格式为目标格式的情况下,将所述待存储文件按照所述元数据模型的第二属性信息进行解析。
9.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法。
CN201910557273.9A 2019-06-25 2019-06-25 数据存储方法及装置、存储介质、电子装置 Active CN110275861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910557273.9A CN110275861B (zh) 2019-06-25 2019-06-25 数据存储方法及装置、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910557273.9A CN110275861B (zh) 2019-06-25 2019-06-25 数据存储方法及装置、存储介质、电子装置

Publications (2)

Publication Number Publication Date
CN110275861A true CN110275861A (zh) 2019-09-24
CN110275861B CN110275861B (zh) 2021-09-17

Family

ID=67963161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910557273.9A Active CN110275861B (zh) 2019-06-25 2019-06-25 数据存储方法及装置、存储介质、电子装置

Country Status (1)

Country Link
CN (1) CN110275861B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909187A (zh) * 2019-11-07 2020-03-24 苏州浪潮智能科技有限公司 图像存储方法、图像读取方法、图像存储器及存储介质
CN110968592A (zh) * 2019-12-06 2020-04-07 深圳前海环融联易信息科技服务有限公司 元数据采集方法、装置、计算机设备及计算机可读存储介质
CN111209443A (zh) * 2020-01-03 2020-05-29 苏州亿歌网络科技有限公司 一种问卷数据存储方法、装置、服务器及存储介质
CN111274219A (zh) * 2020-01-21 2020-06-12 浙江大华技术股份有限公司 数据存储方法及装置、存储介质、电子装置
CN112131289A (zh) * 2020-08-17 2020-12-25 武汉旷视金智科技有限公司 数据处理方法、装置、电子设备及存储介质
CN112699405A (zh) * 2020-12-29 2021-04-23 深圳市天朗时代科技有限公司 Isli元数据文件解析方法、装置、设备及可读存储介质
CN113656094A (zh) * 2021-08-03 2021-11-16 北京数码大方科技股份有限公司 属性信息的处理方法和装置
CN113722334A (zh) * 2021-09-10 2021-11-30 京东科技控股股份有限公司 数据处理的方法、装置、电子设备及介质
CN114372104A (zh) * 2022-01-10 2022-04-19 苏州久知联信息技术有限公司 一种兼容性好的电子文件元数据采集工具及方法
CN114880308A (zh) * 2022-07-12 2022-08-09 山东中创软件商用中间件股份有限公司 一种基于大数据的元数据处理方法、装置、介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102571720A (zh) * 2010-12-27 2012-07-11 ***通信集团辽宁有限公司 一种异构信息内容处理方法及装置
US20150026114A1 (en) * 2013-07-18 2015-01-22 Dania M. Triff System and method of automatically extracting data from plurality of data sources and loading the same to plurality of target databases
CN104317974A (zh) * 2014-11-21 2015-01-28 武汉理工大学 一种可重构的erp***中多源数据导入方法
CN107463661A (zh) * 2017-07-31 2017-12-12 小草数语(北京)科技有限公司 数据的导入方法及装置
CN107704479A (zh) * 2017-02-08 2018-02-16 上海壹账通金融科技有限公司 文件生成方法和装置
US20180075042A1 (en) * 2016-09-15 2018-03-15 Oracle International Corporation Reusable transformation mechanism to allow mappings between incompatible data types
CN108133000A (zh) * 2017-12-21 2018-06-08 百度在线网络技术(北京)有限公司 一种元数据存储方法、装置和服务器
CN108170752A (zh) * 2017-12-21 2018-06-15 山东合天智汇信息技术有限公司 基于模板的元数据管理方法和***
CN109189367A (zh) * 2018-06-28 2019-01-11 重庆小雨点小额贷款有限公司 一种数据处理方法、装置、服务器及存储介质
CN109684290A (zh) * 2018-12-20 2019-04-26 东软集团股份有限公司 日志存储方法、装置、设备及计算机可读存储介质
CN109739867A (zh) * 2018-12-29 2019-05-10 北京航天数据股份有限公司 一种工业元数据管理方法及***

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102571720A (zh) * 2010-12-27 2012-07-11 ***通信集团辽宁有限公司 一种异构信息内容处理方法及装置
US20150026114A1 (en) * 2013-07-18 2015-01-22 Dania M. Triff System and method of automatically extracting data from plurality of data sources and loading the same to plurality of target databases
CN104317974A (zh) * 2014-11-21 2015-01-28 武汉理工大学 一种可重构的erp***中多源数据导入方法
US20180075042A1 (en) * 2016-09-15 2018-03-15 Oracle International Corporation Reusable transformation mechanism to allow mappings between incompatible data types
CN107704479A (zh) * 2017-02-08 2018-02-16 上海壹账通金融科技有限公司 文件生成方法和装置
CN107463661A (zh) * 2017-07-31 2017-12-12 小草数语(北京)科技有限公司 数据的导入方法及装置
CN108133000A (zh) * 2017-12-21 2018-06-08 百度在线网络技术(北京)有限公司 一种元数据存储方法、装置和服务器
CN108170752A (zh) * 2017-12-21 2018-06-15 山东合天智汇信息技术有限公司 基于模板的元数据管理方法和***
CN109189367A (zh) * 2018-06-28 2019-01-11 重庆小雨点小额贷款有限公司 一种数据处理方法、装置、服务器及存储介质
CN109684290A (zh) * 2018-12-20 2019-04-26 东软集团股份有限公司 日志存储方法、装置、设备及计算机可读存储介质
CN109739867A (zh) * 2018-12-29 2019-05-10 北京航天数据股份有限公司 一种工业元数据管理方法及***

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909187B (zh) * 2019-11-07 2023-01-10 苏州浪潮智能科技有限公司 图像存储方法、图像读取方法、图像存储器及存储介质
CN110909187A (zh) * 2019-11-07 2020-03-24 苏州浪潮智能科技有限公司 图像存储方法、图像读取方法、图像存储器及存储介质
CN110968592A (zh) * 2019-12-06 2020-04-07 深圳前海环融联易信息科技服务有限公司 元数据采集方法、装置、计算机设备及计算机可读存储介质
CN110968592B (zh) * 2019-12-06 2023-11-21 深圳前海环融联易信息科技服务有限公司 元数据采集方法、装置、计算机设备及计算机可读存储介质
CN111209443A (zh) * 2020-01-03 2020-05-29 苏州亿歌网络科技有限公司 一种问卷数据存储方法、装置、服务器及存储介质
CN111274219A (zh) * 2020-01-21 2020-06-12 浙江大华技术股份有限公司 数据存储方法及装置、存储介质、电子装置
CN111274219B (zh) * 2020-01-21 2023-12-08 浙江大华技术股份有限公司 数据存储方法及装置、存储介质、电子装置
CN112131289A (zh) * 2020-08-17 2020-12-25 武汉旷视金智科技有限公司 数据处理方法、装置、电子设备及存储介质
CN112699405A (zh) * 2020-12-29 2021-04-23 深圳市天朗时代科技有限公司 Isli元数据文件解析方法、装置、设备及可读存储介质
CN113656094A (zh) * 2021-08-03 2021-11-16 北京数码大方科技股份有限公司 属性信息的处理方法和装置
CN113656094B (zh) * 2021-08-03 2023-12-12 北京数码大方科技股份有限公司 属性信息的处理方法和装置
CN113722334A (zh) * 2021-09-10 2021-11-30 京东科技控股股份有限公司 数据处理的方法、装置、电子设备及介质
CN113722334B (zh) * 2021-09-10 2024-05-17 京东科技控股股份有限公司 数据处理的方法、装置、电子设备及介质
CN114372104A (zh) * 2022-01-10 2022-04-19 苏州久知联信息技术有限公司 一种兼容性好的电子文件元数据采集工具及方法
CN114880308A (zh) * 2022-07-12 2022-08-09 山东中创软件商用中间件股份有限公司 一种基于大数据的元数据处理方法、装置、介质

Also Published As

Publication number Publication date
CN110275861B (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN110275861A (zh) 数据存储方法及装置、存储介质、电子装置
CN107370786B (zh) 一种基于微服务架构的通用信息管理***
CN104866599B (zh) 可视化报表的生产方法和***
CN100565510C (zh) 数据访问层类生成器
CN102236672B (zh) 一种数据导入方法及装置
CN109446072A (zh) 测试脚本的生成方法和装置
US10121071B2 (en) Document verification system
WO2016060547A1 (en) Emulating manual system of filing using electronic document and electronic file
CN106104472A (zh) 指定逻辑验证规则并将逻辑验证规则应用于数据
CN109189379A (zh) 代码生成方法和装置
CN104572122A (zh) 一种软件应用数据的生成装置及方法
TW201439792A (zh) 資料庫訪問系統及方法
CN105488223A (zh) 业务数据事件的分析订阅方法及***
CN106557470A (zh) 数据提取方法和装置
CN106612330A (zh) 支持分布式多文件导入的***及方法
EP2965492A1 (en) Selection of data storage settings for an application
CN107766313B (zh) 一种数据列表的导入方法及其终端
CN108763323A (zh) 基于资源集和大数据技术的气象格点文件应用方法
CN109005167B (zh) 一种认证数据的处理方法、装置、服务器与存储介质
CN110362294A (zh) 开发任务执行方法、装置、电子设备及存储介质
CN115481026A (zh) 测试案例的生成方法、装置、计算机设备、存储介质
CN109669936A (zh) 一种基于聚合模型的海量数据质量报告生成方法
CN112256978B (zh) 一种基于数据模型的数据处理方法、装置、介质
CN114880387A (zh) 数据集成脚本生成方法及装置、存储介质及电子设备
CN113779132A (zh) 一种数据导入的方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant