CN114637801A - 数据导入方法、装置、计算机设备和存储介质 - Google Patents
数据导入方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114637801A CN114637801A CN202210243407.1A CN202210243407A CN114637801A CN 114637801 A CN114637801 A CN 114637801A CN 202210243407 A CN202210243407 A CN 202210243407A CN 114637801 A CN114637801 A CN 114637801A
- Authority
- CN
- China
- Prior art keywords
- file
- import
- target
- database
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及人工智能领域,通过根据文件导入参数对象确定目标文件对应的目标导入表,并基于目标导入表将目标文件中的数据内容导入数据库,可以实现批量导入不同类型的文件的数据内容,无需关注文件的类型与具体的数据内容,提高了数据导入的效率。涉及一种数据导入方法、装置、计算机设备和存储介质,该方法包括:获取文件导入参数对象,根据文件导入参数对象进行文件查询以及数据库连接;当查询得到待导入的目标文件且数据库连接正常时,根据文件导入参数对象确定目标文件对应的目标导入表,目标导入表为数据库中的导入表;基于目标导入表,将目标文件中的数据内容导入数据库。此外,本申请还涉及区块链技术,数据库可存储于区块链中。
Description
技术领域
本申请涉及人工智能、数据处理领域,尤其涉及一种数据导入方法、装置、计算机设备和存储介质。
背景技术
在软件开发过程中,很多业务功能经常涉及将外部文件中的数据内容导入到数据库。现有的文件数据导入方式主要包括两种:使用专业的数据处理工具导入数据和开发专门的数据导入功能。其中,数据处理工具一般有多个复杂的组件,导入操作繁琐,并且只能处理单独的文件,无法批量导入不同类型的文件的数据,导致数据导入的效率较低。若开发专门的数据导入功能,则需要针对每种类型的文件单独开发对应的数据导入程序,从而每个数据导入程序只能处理单独的文件,无法批量导入不同类型的文件,同样存在数据导入的效率较低问题。
因此,如何提高数据导入的效率成为亟需解决的问题。
发明内容
本申请提供了一种数据导入方法、装置、计算机设备和存储介质,通过根据文件导入参数对象确定目标文件对应的目标导入表,并基于目标导入表将目标文件中的数据内容导入数据库,可以实现批量导入不同类型的文件的数据内容,无需关注文件的类型与具体的数据内容,提高了数据导入的效率。
第一方面,本申请提供了一种数据导入方法,所述方法包括:
获取文件导入参数对象,根据所述文件导入参数对象进行文件查询以及数据库连接;
当查询得到待导入的目标文件且数据库连接正常时,根据所述文件导入参数对象确定所述目标文件对应的目标导入表,所述目标导入表为数据库中的导入表;
基于所述目标导入表,将所述目标文件中的数据内容导入所述数据库。
第二方面,本申请还提供了一种数据导入装置,所述装置包括:
对象获取模块,用于获取文件导入参数对象,根据所述文件导入参数对象进行文件查询以及数据库连接;
导入表确定模块,用于当查询得到待导入的目标文件且数据库连接正常时,根据所述文件导入参数对象确定所述目标文件对应的目标导入表,所述目标导入表为数据库中的导入表;
数据内容导入模块,用于基于所述目标导入表,将所述目标文件中的数据内容导入所述数据库。
第三方面,本申请还提供了一种计算机设备,所述计算机设备包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如上述的数据导入方法。
第四方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上述的数据导入方法。
本申请公开了一种数据导入方法、装置、计算机设备和存储介质,通过获取文件导入参数对象,后续可以基于文件导入参数对象实现将目标文件中的数据内容导入数据库,无需关注文件的类型与具体的数据内容;通过根据文件导入参数对象进行文件查询以及数据库连接,可以确定是否查询得到目标文件以及数据库是否连接正常,可以确保后续能够正常进行数据导入操作;通过在查询得到待导入的目标文件且数据库连接正常时,根据文件导入参数对象确定目标文件对应的目标导入表,并基于目标导入表将目标文件中的数据内容导入数据库,可以实现批量导入不同类型的文件的数据内容,提高了数据导入的效率。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据导入方法的示意性流程图;
图2是本申请实施例提供的一种数据导入的示意性流程图;
图3是本申请实施例提供的一种确定目标导入表的子步骤的示意性流程图;
图4是本申请实施例提供的一种数据导入装置的示意性框图;
图5是本申请实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
本申请的实施例提供了一种数据导入方法、装置、计算机设备和存储介质。其中,该数据导入方法可以应用于服务器或终端中,通过根据文件导入参数对象确定目标文件对应的目标导入表,并基于目标导入表将目标文件中的数据内容导入数据库,可以实现批量导入不同类型的文件的数据内容,无需关注文件的类型与具体的数据内容,提高了数据导入的效率。
其中,服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑和台式电脑等电子设备。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
如图1所示,数据导入方法包括步骤S10至步骤S30。
步骤S10、获取文件导入参数对象,根据所述文件导入参数对象进行文件查询以及数据库连接。
需要说明的是,本申请实施例可以应用于数据导入组件中,通过根据文件导入参数对象确定目标文件对应的目标导入表,并基于目标导入表将目标文件中的数据内容导入数据库,可以实现批量导入不同类型的文件的数据内容,无需关注文件的类型与具体的数据内容,提高了数据导入的效率。
示例性的,在软件开发场景中,开发人员可以通过数据导入组件传入需要导入数据库的目标文件,由数据导入组件自动、批量将目标文件中的数据内容导入数据库,开发人员无需关注文件的类型与具体的数据内容。
示例性的,获取文件导入参数对象,可以调用导入importFiles函数,传入文件导入参数对象至数据导入组件。
通过获取文件导入参数对象,后续可以基于文件导入参数对象实现将目标文件中的数据内容导入数据库,无需关注文件的类型与具体的数据内容。
需要说明的是,在本申请实施例中,数据导入组件可以通过文件导入参数对象实现导入数据至数据库中,不需要提前知道导入的文件的类型与具体的数据内容,因此该数据导入组件可以同时导入大量不同类型的文件。而现有的数据处理工具或数据导入程序,需要知道文件的类型和文件内容,从而针对每种类型的文件单独开发对应的导入逻辑,因此,现有的数据处理工具或数据导入程序无法同时导入大量不同类型的文件。
在本申请实施例中,在获取文件导入参数对象后,可以根据文件导入参数对象进行文件查询以及数据库连接;也可以先对文件导入参数对象进行参数校验,然后根据参数校验后的文件导入参数对象进行文件查询以及数据库连接。
在一些实施例中,根据所述文件导入参数对象进行文件查询以及数据库连接,可以包括:对文件导入参数对象进行解析,获得对应的文件属性信息与数据库连接信息;根据文件属性信息中的文件存储路径进行文件查询;根据数据库连接信息与数据库建立连接。
示例性的,对文件导入参数对象进行解析,获得对应的参数信息。参数信息可以包括但不限于文件属性信息、数据库连接信息、文件校验策略以及操作执行信息等等。
其中,文件属性信息可以包括文件存储路径、文件类型、导入表名称、主键字段属性以及第一行的属性值等等。文件存储路径用于确定目标文件的存储位置。文件类型用于确定读取目标文件中的数据内容的读取方式。导入表名称用于查询数据库中的导入表。主键字段属性用于确定目标文件的数据导入方式,例如,当主键字段属性为空值时,数据导入方式为***;又例如,当主键字段属性为非空值时,若目标文件中的主键字段与导入表中的主键字段匹配时,则导入方式为更新;若目标文件中的主键字段与导入表中的主键字段不匹配时,则数据导入方式为***。第一行的属性值包括第一行是列字段为True、第一行是列字段为Flase。数据库连接信息可以包括数据库服务器IP、数据库名称、数据库类型、端口、用户名以及密码等等。文件校验策略用于对目标文件进行校验,可以包括排除字段列表、日期校验列表等等。操作执行信息是指数据导入完成后执行的操作,例如发送短信通知、发送邮件通知等等。
示例性的,可以根据文件属性信息中的文件存储路径进行文件查询;例如,当文件存储路径为D:/test.xlsx时,可以查询D盘是否存在test.xlsx文件。若该文件存储路径存在文件,则确定查询得到待导入的目标文件;若该文件存储路径不存在文件,则停止后续的操作并在日志中记录文件导入异常信息。其中,文件导入异常信息可以是未存在目标文件。
示例性的,在根据数据库连接信息与数据库建立连接时,可以根据数据库服务器IP、数据库名称、数据库类型、端口、用户名以及密码,向数据库发送连接请求;当接收到数据库返回的连接成功消息时,可以确定文件数据导入组件与数据库成功建立连接。若未在预设时间内接收到数据库返回的连接成功消息或接收到数据库返回的连接失败消息,则确定文件数据导入组件与数据库未成功建立连接,此时,停止后续的操作并在日志中记录文件导入异常信息。其中,文件导入异常信息可以是数据库连接失败。
通过根据文件导入参数对象进行文件查询以及数据库连接,可以确定是否查询得到目标文件以及数据库是否连接正常,可以确保后续能够正常进行数据导入操作。
在另一些实施例中,根据文件导入参数对象进行文件查询以及数据库连接之前,还可以包括:对文件导入参数对象进行参数校验,获得参数校验后的文件导入参数对象。
需要说明的是,对文件导入参数对象进行参数校验主要是确定文件导入对象中的参数是否缺失。当确定文件导入参数对象为参数缺失时,可以生成参数缺失提示消息,以使开发人员重新传入或配置文件导入参数对象,也可以自动补充缺失的参数。
请参阅图2,图2是本申请实施例提供的一种数据导入的示意性流程图。如图2所示,可以先对文件导入参数对象进行参数校验。
示例性的,可以对文件导入参数对象中的文件属性信息进行参数校验。例如,确定文件属性信息是否包括文件存储路径、文件类型、导入表名称以及主键字段属性。当文件属性信息不包括文件类型时,根据文件存储路径查询目标文件,根据目标文件的后缀信息,确定文件类型。例如,当目标文件的后缀信息为xls或xlxs时,可以确定文件类型为excel文件。又例如,当目标文件的后缀信息为txt时,可以确定文件类型为文本文件。
示例性的,可以对文件导入参数对象中的数据库连接信息进行参数校验。例如,确定数据库连接信息是否包括数据库服务器IP、数据库名称、数据库类型、端口、用户名以及密码。
通过对文件导入参数对象进行参数校验,可以确定文件导入参数对象是否存在参数错误,进而可以降低后续可以文件导入参数对象进行数据导入时出现异常的概率,提升了数据导入的效率。
在一些实施例中,根据文件导入参数对象进行文件查询以及数据库连接,可以包括:根据参数校验后的文件导入参数对象进行文件查询以及数据库连接。
示例性的,如图2所示,在文件导入参数对象进行参数校验之后,可以根据参数校验后的文件导入参数对象进行文件查询以及数据库连接。
示例性的,可以根据文件属性信息中的文件存储路径进行文件查询,可以将查询得到的文件确定为目标文件。目标文件可以是一个或多个文件,其中,目标文件可以是同一类型的文件或不同类型的文件。例如,目标文件可以是excel文件、文本文件,也可以是其它类型的文件。若该文件存储路径不存在文件,则停止后续的操作并在日志中记录文件导入异常信息。
示例性的,在根据数据库连接信息与数据库建立连接时,可以根据数据库服务器IP、数据库名称、数据库类型、端口、用户名以及密码,向数据库发送连接请求;当接收到数据库返回的连接成功消息时,可以确定文件数据导入组件与数据库成功建立连接。若未在预设时间内接收到数据库返回的连接成功消息或接收到数据库返回的连接失败消息,则确定文件数据导入组件与数据库未成功建立连接,此时,停止后续的操作并在日志中记录文件导入异常信息。
通过根据参数校验后的文件导入参数对象进行文件查询以及数据库连接,可以确定是否查询得到目标文件以及数据库是否连接正常,可以确保后续能够正常进行数据导入操作。
步骤S20、当查询得到待导入的目标文件且数据库连接正常时,根据所述文件导入参数对象确定所述目标文件对应的目标导入表,所述目标导入表为数据库中的导入表。
示例性的,若未查询得到待导入的目标文件和/或数据库未成功建立连接,则停止导入文件并在日志中记录文件导入异常信息。
示例性的,当查询得到待导入的目标文件且数据库连接正常时,根据文件导入参数对象确定目标文件对应的目标导入表。其中,目标导入表用于缓存目标文件中经过校验的数据内容,并批量写入数据库中。
请参阅图3,图3是本申请实施例提供的一种确定目标导入表的子步骤的示意性流程图,具体可以包括以下步骤S201至步骤S203。
步骤S201、根据所述文件属性信息中的导入表名称查询所述数据库,确定是否存在所述导入表名称对应的第一导入表。
示例性的,若文件属性信息中的导入表名称为USERS,则可以查询数据库是否存在导入表名称为USERS的第一导入表。
步骤S202、若所述数据库存在所述第一导入表,则将所述第一导入表确定为所述目标导入表。
示例性的,当数据库存在导入表名称为USERS的第一导入表时,则可以将第一导入表确定为目标导入表。
通过将数据库中的第一导入表确定为目标导入表,可以实现基于目标导入表,将目标文件中的数据内容批量导入数据库。
步骤S203、若所述数据库不存在所述第一导入表,则创建第二导入表,并将所述第二导入表确定为所述目标导入表。
在一些实施例中,创建第二导入表,可以包括:当文件属性信息中的第一行的属性值为预设值时,获取目标文件中的第一行列字段;将第一行列字段添加至初始数据表,获得第二导入表。其中,第二导入表与目标文件具有相同的列字段。
示例性的,预设值为第一行是列字段为True。例如,当文件属性信息中的第一行的属性值为第一行是列字段为True时,获取目标文件中的第一行列字段,并将第一行列字段添加至初始数据表,获得第二导入表。当文件属性信息中的第一行的属性值为第一行是列字段为Flase时,停止导入文件并在日志中记录文件导入异常信息。
通过创建第二导入表,可以实现在数据库不存在第一导入表的情况下,通过创建的第二导入表将目标文件中的数据内容导入数据库,提升了数据导入成功的概率。
步骤S30、基于所述目标导入表,将所述目标文件中的数据内容导入所述数据库。
需要说明的是,在本申请实施例中,可以先将目标文件中的数据内容导入目标导入表对应的字段所在的位置,再将目标导入表中的数据批量写入数据库中。
在一些实施例中,基于目标导入表,将目标文件中的数据内容导入数据库之前,还可以包括:提取文件导入参数对象中的文件校验策略;根据文件校验策略对目标文件进行校验,获得校验后的目标文件。
示例性的,文件校验策略可以包括排除字段列表、日期校验列表等等。需要说明的是,排除字段列表用于过滤目标文件中不需要导入的列字段以及列字段对应的字段值;当排除字段列表为空值时,表示不需要过滤字段。日期校验列表用于校正目标文件中的日期格式。
示例性的,在根据文件校验策略对目标文件进行校验时,可以根据排除字段列表对目标文件进行字段过滤和/或根据日期校验列表对目标文件进行日期格式校正。
例如,若目标文件包括USER_ID、USER_NAME、GENDER三个字段,排除字段列表包括GENDER字段,则需要将目标文件中的GENDER字段进行过滤。
又例如,若目标文件中第4个字段为BIRTHDAY字段,BIRTHDAY字段的日期格式需要为YYYY-MM-DD,则日期校验列表可以设置为{4:“YYYY-MM-DD”},从而可以保证目标文件中的BIRTHDAY字段对应的日期格式是YYYY-MM-DD。
需要说明的是,在本申请实施例中,还可以自定义文件导入参数对象中的文件校验策略。例如,添加新的过滤规则。示例性的,目标文件包含USER_ID、USER_NAME、GENDER、BIRTHDAY、STATUS字段,若STATUS字段对应的字段值为0和1,0为无效,1为有效,则过滤规则可以为STATUS=0,从而可以过滤掉STATUS字段为0的数据。
通过根据文件校验策略对目标文件进行校验,可以确保目标文件中的数据内容的有效性,避免导入不必要的数据内容以及统一导入数据的格式,提升了数据导入的效率。
在一些实施例中,基于目标导入表,将目标文件中的数据内容导入数据库,可以包括:基于目标导入表,将校验后的目标文件中的数据内容导入数据库。
通过基于目标导入表将目标文件中的数据内容导入数据库,可以实现批量导入不同类型的文件的数据内容,提高了数据导入的效率。
其中,基于目标导入表,将校验后的目标文件中的数据内容导入数据库,可以包括:根据文件属性信息中的主键字段属性,确定校验后的目标文件对应的数据导入方式;基于数据导入方式,将校验后的目标文件中的数据内容导入目标导入表,由目标导入表将数据内容写入数据库。
示例性的,当文件属性信息中的主键字段属性为空值时,数据导入方式为***。当文件属性信息中的主键字段属性为非空值时,对目标文件中的主键字段与目标导入表中的主键字段进行匹配;若目标文件中的主键字段与目标导入表中的主键字段匹配,则可以确定数据导入方式为更新;若目标文件中的主键字段与目标导入表中的主键字段不匹配,则可以确定数据导入方式为***。
可以理解的是,当目标导入表为新建的导入表或目标导入表中的主键字段与目标文件中的主键字段不同时,需要将目标文件中的数据内容***目标导入表中。当目标导入表中的主键字段与目标文件中的主键字段相同时,需要将目标文件中的数据内容更新至目标导入表。
示例性的,可以基于数据导入方式,将校验后的目标文件中的数据内容导入目标导入表,由目标导入表将数据内容写入数据库。
其中,当数据导入方式为更新时,可以执行更新操作,将校验后的目标文件中的数据内容更新至目标导入表。当数据导入方式为***时,可以执行***操作,将校验后的目标文件中的数据内容***至目标导入表。当目标导入表中的数据内容的数量达到预设阈值时,执行写入操作。其中,预设阈值可以根据实际情况设定,具体数值在此不作限定。例如,预设阈值可以是5000。
为进一步保证上述数据库的私密和安全性,上述数据库可以存储于一区块链的节点中。
通过根据文件属性信息中的主键字段属性,确定校验后的目标文件对应的数据导入方式,可以灵活地基于数据导入方式将校验后的目标文件中的数据内容导入目标导入表。
在一些实施例中,基于目标导入表,将校验后的目标文件中的数据内容导入数据库,还可以包括:获取目标文件中的数据内容的导入进度信息,并显示导入进度信息;当导入进度信息在预设时间内未达到预设进度值时,停止导入文件并在日志中记录文件导入异常信息。其中,文件导入异常信息可以是数据导入超时。
示例性的,可以通过进度条的方式显示导入进度信息。通过显示导入进度信息,可以使得用户更加直观地得知数据导入的进度。
在一些实施例中,基于目标导入表,将校验后的目标文件中的数据内容导入数据库之后,还可以包括:获取文件导入参数对象中的操作执行信息;执行操作执行信息对应的操作。
示例性的,当操作执行信息为发送邮件通知时,向开发人员发送邮件通知。当操作执行信息为发送短信通知时,向开发人员发送短信通知。当操作执行信息为空值时,不执行任何操作。
上述实施例提供的数据导入方法,通过获取文件导入参数对象,后续可以基于文件导入参数对象实现将目标文件中的数据内容导入数据库,无需关注文件的类型与具体的数据内容;通过根据文件导入参数对象进行文件查询以及数据库连接,可以确定是否查询得到目标文件以及数据库是否连接正常,可以确保后续能够正常进行数据导入操作;通过对文件导入参数对象进行参数校验,可以确定文件导入参数对象是否存在参数错误,进而可以降低后续可以文件导入参数对象进行数据导入时出现异常的概率,提升了数据导入的效率;通过创建第二导入表,可以实现在数据库不存在第一导入表的情况下,通过创建的第二导入表将目标文件中的数据内容导入数据库,提升了数据导入成功的概率;通过根据文件校验策略对目标文件进行校验,可以确保目标文件中的数据内容的有效性,避免导入不必要的数据内容以及统一导入数据的格式,提升了数据导入的效率;通过基于目标导入表将目标文件中的数据内容导入数据库,可以实现批量导入不同类型的文件的数据内容,提高了数据导入的效率;通过根据文件属性信息中的主键字段属性,确定校验后的目标文件对应的数据导入方式,可以灵活地基于数据导入方式将校验后的目标文件中的数据内容导入目标导入表。
请参阅图4,图4是本申请的实施例还提供一种数据导入装置1000的示意性框图,该数据导入装置用于执行前述的数据导入方法。其中,该数据导入装置可以配置于服务器或终端中。
如图4所示,该数据导入装置1000,包括:对象获取模块1001、导入表确定模块1002和数据内容导入模块1003。
对象获取模块1001,用于获取文件导入参数对象,根据所述文件导入参数对象进行文件查询以及数据库连接。
导入表确定模块1002,用于当查询得到待导入的目标文件且数据库连接正常时,根据所述文件导入参数对象确定所述目标文件对应的目标导入表,所述目标导入表为数据库中的导入表。
数据内容导入模块1003,用于基于所述目标导入表,将所述目标文件中的数据内容导入所述数据库。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和各模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
上述的装置可以实现为一种计算机程序的形式,该计算机程序可以在如图5所示的计算机设备上运行。
请参阅图5图5是本申请实施例提供的一种计算机设备的结构示意性框图。
请参阅图5,该计算机设备包括通过***总线连接的处理器和存储器,其中,存储器可以包括存储介质和内存储器。所述存储介质可以是非易失性存储介质,也可以是易失性存储介质。
处理器用于提供计算和控制能力,支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境,该计算机程序被处理器执行时,可使得处理器执行任意一种数据导入方法。
应当理解的是,处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,在一个实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:
获取文件导入参数对象,根据所述文件导入参数对象进行文件查询以及数据库连接;当查询得到待导入的目标文件且数据库连接正常时,根据所述文件导入参数对象确定所述目标文件对应的目标导入表,所述目标导入表为数据库中的导入表;基于所述目标导入表,将所述目标文件中的数据内容导入所述数据库。
在一个实施例中,所述处理器在实现根据所述文件导入参数对象进行文件查询以及数据库连接时,用于实现:
对所述文件导入参数对象进行解析,获得对应的文件属性信息与数据库连接信息;根据所述文件属性信息中的文件存储路径进行文件查询;根据所述数据库连接信息与数据库建立连接。
在一个实施例中,所述文件导入参数对象包括文件属性信息;所述处理器在实现根据所述文件导入参数对象确定所述目标文件对应的目标导入表时,用于实现:
根据所述文件属性信息中的导入表名称查询所述数据库,确定是否存在所述导入表名称对应的第一导入表;若所述数据库存在所述第一导入表,则将所述第一导入表确定为所述目标导入表;若所述数据库不存在所述第一导入表,则创建第二导入表,并将所述第二导入表确定为所述目标导入表。
在一个实施例中,所述处理器在实现创建第二导入表时,用于实现:
当所述文件属性信息中的第一行的属性值为预设值时,获取所述目标文件中的第一行列字段;将所述第一行列字段添加至初始数据表,获得所述第二导入表。
在一个实施例中,所述处理器在实现基于所述目标导入表,将所述目标文件中的数据内容导入所述数据库之前,还用于实现:
提取所述文件导入参数对象中的文件校验策略;根据所述文件校验策略对所述目标文件进行校验,获得校验后的目标文件。
在一个实施例中,所述处理器在实现基于所述目标导入表,将所述目标文件中的数据内容导入所述数据库时,用于实现:
基于所述目标导入表,将校验后的目标文件中的数据内容导入所述数据库。
在一个实施例中,所述文件导入参数对象包括文件属性信息;所述处理器在实现基于所述目标导入表,将校验后的目标文件中的数据内容导入所述数据库时,用于实现:
根据所述文件属性信息中的主键字段属性,确定校验后的目标文件对应的数据导入方式;基于所述数据导入方式,将校验后的目标文件中的数据内容导入所述目标导入表,由所述目标导入表将数据内容写入所述数据库。
在一个实施例中,所述处理器在实现根据所述文件导入参数对象进行文件查询以及数据库连接之前,还用于实现:
对所述文件导入参数对象进行参数校验,获得参数校验后的文件导入参数对象。
在一个实施例中,所述处理器在实现根据所述文件导入参数对象进行文件查询以及数据库连接时,用于实现:
根据参数校验后的文件导入参数对象进行文件查询以及数据库连接。
本申请的实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述处理器执行所述程序指令,实现本申请实施例提供的任一项数据导入方法。
例如,该程序被处理器加载,可以执行如下步骤:
获取文件导入参数对象,根据所述文件导入参数对象进行文件查询以及数据库连接;当查询得到待导入的目标文件且数据库连接正常时,根据所述文件导入参数对象确定所述目标文件对应的目标导入表,所述目标导入表为数据库中的导入表;基于所述目标导入表,将所述目标文件中的数据内容导入所述数据库。
其中,所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元,例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备,例如所述计算机设备上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字卡(Secure Digital Card,SD Card),闪存卡(Flash Card)等。
进一步地,所述计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种数据导入方法,其特征在于,包括:
获取文件导入参数对象,根据所述文件导入参数对象进行文件查询以及数据库连接;
当查询得到待导入的目标文件且数据库连接正常时,根据所述文件导入参数对象确定所述目标文件对应的目标导入表,所述目标导入表为数据库中的导入表;
基于所述目标导入表,将所述目标文件中的数据内容导入所述数据库。
2.根据权利要求1所述的数据导入方法,其特征在于,所述根据所述文件导入参数对象进行文件查询以及数据库连接,包括:
对所述文件导入参数对象进行解析,获得对应的文件属性信息与数据库连接信息;
根据所述文件属性信息中的文件存储路径进行文件查询;
根据所述数据库连接信息与数据库建立连接。
3.根据权利要求1所述的数据导入方法,其特征在于,所述文件导入参数对象包括文件属性信息;所述根据所述文件导入参数对象确定所述目标文件对应的目标导入表,包括:
根据所述文件属性信息中的导入表名称查询所述数据库,确定是否存在所述导入表名称对应的第一导入表;
若所述数据库存在所述第一导入表,则将所述第一导入表确定为所述目标导入表;
若所述数据库不存在所述第一导入表,则创建第二导入表,并将所述第二导入表确定为所述目标导入表。
4.根据权利要求3所述的数据导入方法,其特征在于,所述创建第二导入表,包括:
当所述文件属性信息中的第一行的属性值为预设值时,获取所述目标文件中的第一行列字段;
将所述第一行列字段添加至初始数据表,获得所述第二导入表。
5.根据权利要求1所述的数据导入方法,其特征在于,所述基于所述目标导入表,将所述目标文件中的数据内容导入所述数据库之前,还包括:
提取所述文件导入参数对象中的文件校验策略;
根据所述文件校验策略对所述目标文件进行校验,获得校验后的目标文件;
所述基于所述目标导入表,将所述目标文件中的数据内容导入所述数据库,包括:
基于所述目标导入表,将校验后的目标文件中的数据内容导入所述数据库。
6.根据权利要求5所述的数据导入方法,其特征在于,所述文件导入参数对象包括文件属性信息;所述基于所述目标导入表,将校验后的目标文件中的数据内容导入所述数据库,包括:
根据所述文件属性信息中的主键字段属性,确定校验后的目标文件对应的数据导入方式;
基于所述数据导入方式,将校验后的目标文件中的数据内容导入所述目标导入表,由所述目标导入表将数据内容写入所述数据库。
7.根据权利要求1-6任一项所述的数据导入方法,其特征在于,所述根据所述文件导入参数对象进行文件查询以及数据库连接之前,还包括:
对所述文件导入参数对象进行参数校验,获得参数校验后的文件导入参数对象;
所述根据所述文件导入参数对象进行文件查询以及数据库连接,包括:
根据参数校验后的文件导入参数对象进行文件查询以及数据库连接。
8.一种数据导入装置,其特征在于,包括:
对象获取模块,用于获取文件导入参数对象,根据所述文件导入参数对象进行文件查询以及数据库连接;
导入表确定模块,用于当查询得到待导入的目标文件且数据库连接正常时,根据所述文件导入参数对象确定所述目标文件对应的目标导入表,所述目标导入表为数据库中的导入表;
数据内容导入模块,用于基于所述目标导入表,将所述目标文件中的数据内容导入所述数据库。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7任一项所述的数据导入方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7任一项所述的数据导入方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210243407.1A CN114637801A (zh) | 2022-03-11 | 2022-03-11 | 数据导入方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210243407.1A CN114637801A (zh) | 2022-03-11 | 2022-03-11 | 数据导入方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114637801A true CN114637801A (zh) | 2022-06-17 |
Family
ID=81948705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210243407.1A Pending CN114637801A (zh) | 2022-03-11 | 2022-03-11 | 数据导入方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114637801A (zh) |
-
2022
- 2022-03-11 CN CN202210243407.1A patent/CN114637801A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10904009B2 (en) | Blockchain implementing delta storage | |
CN109831487B (zh) | 分片文件验证方法及终端设备 | |
US11018853B2 (en) | Workflow management via distributed ledgers and smart contracts | |
CN110532799B (zh) | 数据脱敏控制方法、电子装置及计算机可读存储介质 | |
CN112035472B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN112565393B (zh) | 文件上传方法、下载方法、装置、计算机设备和存储介质 | |
CN110543516A (zh) | 智能合约处理方法、装置、计算机设备及存储介质 | |
US20120151036A1 (en) | Identifying stray assets in a computing enviroment and responsively taking resolution actions | |
CN112150113A (zh) | 档案数据的借阅方法、装置和***、资料数据的借阅方法 | |
CN110598996A (zh) | 一种风险处理方法、装置、电子设备及存储介质 | |
CN111782456A (zh) | 异常检测方法、装置、计算机设备和存储介质 | |
CN117195297B (zh) | 基于erp的数据安全与隐私保护***及方法 | |
CN112363997B (zh) | 数据版本管理方法、装置及存储介质 | |
US20180069774A1 (en) | Monitoring and reporting transmission and completeness of data upload from a source location to a destination location | |
CN115086047B (zh) | 接口鉴权方法、装置、电子设备及存储介质 | |
CN111722994A (zh) | 一种任务请求的响应方法及设备 | |
CN108965108B (zh) | 一种消息推送方法及相关设备 | |
CN115098297B (zh) | 一种云原生存储数据卷的一致性快照生成方法和*** | |
CN114979109B (zh) | 行为轨迹检测方法、装置、计算机设备和存储介质 | |
CN114637801A (zh) | 数据导入方法、装置、计算机设备和存储介质 | |
CN114157662B (zh) | 一种云平台参数适配方法、装置、终端设备及储存介质 | |
CN115567218A (zh) | 基于区块链的安全证书的数据处理方法、装置和服务器 | |
CN113722225A (zh) | 页面测试方法、装置、计算机设备和存储介质 | |
CN112350868A (zh) | 开墙处理方法、装置、服务器、***及可读存储介质 | |
CN112286881A (zh) | 一种文档的认证溯源方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |