CN104317974B - 一种可重构的erp***中多源数据导入方法 - Google Patents
一种可重构的erp***中多源数据导入方法 Download PDFInfo
- Publication number
- CN104317974B CN104317974B CN201410669701.4A CN201410669701A CN104317974B CN 104317974 B CN104317974 B CN 104317974B CN 201410669701 A CN201410669701 A CN 201410669701A CN 104317974 B CN104317974 B CN 104317974B
- Authority
- CN
- China
- Prior art keywords
- data
- information
- importing
- configuration
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
- G06F16/2386—Bulk updating operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2219—Large Object storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种可重构的ERP***中多源数据的导入方法,包括以下步骤:根据需导入的数据配置导入模板;将用户提供的EXCEL、CSV或XML等格式数据通过标准接口转换为中间处理文件;根据导入的数据类型匹配对应的导入模板;根据匹配信息配置更新匹配后的信息;根据关联信息配置和导入模式配置完成关联信息的更新;根据配置的校验规格,对导入的数据进行逐条校验;校验通过后,进入数据的中间处理过程形成导入数据的中间过渡表;根据配置的数据导入模式,将过渡表中的数据导入目标表。本发明以可重构的形式提供了多种数据导入的方式,解决了数据导入需求的灵活性和动态性问题,并且校验规则库提供了不同模式下的数据完整性与合法性规则。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种可重构的ERP***中多源数据的导入方法。
背景技术
随着物联网等先进信息技术的深入发展,企业对资源计划***(EnterpriseResource Planning,ERP)的需求更加急迫。ERP***作为企业信息化决策和管理平台,其运行的基础是企业在运作过程中的物流信息、制造过程信息、财务信息等。数据信息主要来源于管理过程中手工录入***的数据和导入***的数据。目前,这两种方式存在以下问题和缺陷:
(1)手工录入效率成为瓶颈
ERP***中处理数据的源头是产品的BOM信息,手工录入方式不但繁琐,而且容易出错。特别是在一些大型装备制造企业,由于产品的结构复杂,并采用个性化定制设计生产,使得产品BOM数据量大且差异性大,手工录入的效率低,导致技术准备的周期延长,甚至ERP***的实施都成为困难。
(2)多数据导入需求制约ERP***开发速度
数据导入ERP***时,需要按照定义的标准格式,对每一条数据进行校验和处理。目前市场上主流的数据库及数据库开发软件都具备数据导入功能,但是其使用的技术门槛限制了在底层用户中的推广,并且 可能导致***数据的安全风险。另外,主流数据库***的校验功能也不完备,只能验证既定的数据格式,对用户定义的数据格式无法进行完整性校验,这就可能导致ERP***数据的紊乱。针对这一问题,目前ERP***中常用的处理方式是编写针对特定数据格式的标准模板进行匹配,这样对每一种数据导入格式都需要编写代码模板。因此,导入数据的需求功能越多,需要进行的ERP***代码开发量越大,影响了ERP***的开发和实施进度。
(3)导入数据的单向性及与ERP***数据匹配困难
导入ERP***的数据可能来源于EXCEL、CSV或XML等数据格式,其与ERP***中的数据是分离的。在已有的导入***中,需要事先提供数据导入的标准模板和全部数据,但在实际的应用过程中,用户可能已经预先定义了一部分数据,而另一部分数据可能需要与ERP***交互得到,并且这些数据要同时导入到ERP***中的多个标准数据格式中,这就需要现有数据与ERP***数据进行匹配和多向导入,保证数据的一致性和完整性。传统的方式是编写相应的数据接口实现,只能实现数据的一对一导入,并且代码开发工作量大,可移植性低,特别是随着数据导入需求的增加而愈加明显。
综上所述,现有技术和方法能在一定程度上降低数据导入ERP***的繁琐性和强度,但是无法从根本上解决ERP***中,数据导入的多向性以及在用户需求动态变化下数据导入的难度和便捷性。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷,提供一种 可重构的ERP***中多源数据导入方法。
本发明解决其技术问题所采用的技术方案是:一种可重构的ERP***中多源数据导入方法,包括以下步骤:
1)根据需导入的数据配置导入模板,包括以下步骤:
1.1)配置导入模板的基本信息,所述基本信息包括需导入数据模板的表头位置、导入列数以及在导入页面加载和关闭时执行的数据库底层处理函数;并根据要导入的数据表字段,需设置其对应的字段名或创建的函数名称;
1.2)配置导入模板的匹配信息,所述匹配信息是用于匹配用户提供的部分字段信息与数据库内信息,交互得到的需要数据信息;
1.3)配置导入模板的关联信息,所述关联信息是不依赖于用户提供的数据,而只与***信息相关的部分数据信息;
1.4)配置导入模式,导入模式是指数据导入数据库中对应的数据表的操作,需导入的数据表分为主表和从表,主表必须存在且唯一,导入的数据为数据源提供的全部数据,从表可以没有或有多个,其导入的数据根据需要可以选择全部,也可以选择只导入表结构中通过主外键关联的关键数据;所述导入模式分为主从表N-N模式和主从表N-1模式;
1.5)配置校验规则,所述校验规则用于保证数据的完整性和合法性,包括正则表达式和存在性规则;
2)将用户提供的EXCEL、CSV或XML等格式数据通过标准接口转 换为中间处理文件;
3)根据导入的数据类型匹配对应的导入模板,采集数据后,显示与数据库要求一致的数据字段和内容,供用户进行修改;
4)根据匹配信息配置更新匹配后的信息,匹配后的信息包括用户与ERP***交互得到的信息,对于无法根据匹配信息配置获知匹配后的信息的记录,由用户更改,直到数据匹配完成;
5)根据关联信息配置和导入模式配置要求完成界面数据控件中的所有数据,完成关联信息的更新;
6)根据配置的校验规格,对导入的数据进行逐条校验;
7)校验通过后,进入数据的中间处理过程,通过数据的中间处理,形成导入数据的中间过渡表,该过渡表中包含了所有导入信息字段信息,这些信息包括数据源字段信息、关联字段信息、匹配字段信息以及创建的字段信息;
8)根据配置的数据导入模式,将过渡表中的数据导入目标表。
按上述方案,所述步骤1.1)中需导入数据模板包括EXCEL、CSV或XML数据模板。
按上述方案,所述步骤1.1)中设置其对应的字段名或创建的函数名称的基本设置为:标识、字段名称、字段名、表名、需导入数据模板字段名、创建方法、能否编辑。
按上述方案,所述配置匹配信息的设置包括标识、匹配标识、匹配语句、匹配字段名。
按上述方案,所述配置关联信息的设置包括标识、控件名称、控件数据源、关联控件、控件字段和控件类型。
按上述方案,所述步骤2)中的中间处理文件为数据库***中的全局临时表,该全局临时表中保存了需要导入的数据,每一种导入模板对应一个全局临时表。。
本发明产生的有益效果是:
(1)本发明以可重构的形式提供了多种数据导入的方式,解决了数据导入需求的灵活性和动态性问题,并且校验规则库提供了不同模式下的数据完整性与合法性规则。
(2)本发明以可重构的形式提供了数据模板的快速配置方法,可与不同ERP***集成,减少ERP***实施过程中数据导入代码的开发工作量,使得数据导入更加简单和快捷。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明方法的流程示意图。
图2是本发明实施例提供一种可重构配置流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,一种可重构的ERP***中多源数据的导入方法,包 括以下步骤:
1)根据需导入的数据配置导入模板,包括以下步骤:
1.1)配置导入模板的基本信息,所述基本信息包括需导入数据模板的表头位置、导入列数以及在导入页面加载和关闭时执行的数据库底层处理函数;需导入数据模板包括EXCEL、CSV或XML数据模板。并根据要导入的数据表字段,需设置其对应的字段名或创建的函数名称;其对应的字段名或创建的函数名称的基本设置为:标识、字段名称、字段名、表名、需导入数据模板字段名、创建方法、能否编辑。
1.2)配置导入模板的匹配信息,所述匹配信息是用于匹配用户提供的部分字段信息与数据库内信息,交互得到的需要数据信息;配置匹配信息的设置包括标识、匹配标识、匹配语句、匹配字段名。
1.3)配置导入模板的关联信息,所述关联信息是不依赖于用户提供的数据,而只与***信息相关的部分数据信息;配置关联信息的设置包括标识、控件名称、控件数据源、关联控件、控件字段和控件类型。
1.4)配置导入模式,导入模式是指数据导入数据库中对应的数据表的操作,需导入的数据表分为主表和从表,主表必须存在且唯一,导入的数据为数据源提供的全部数据,从表可以没有或有多个,其导入的数据根据需要可以选择全部,也可以选择只导入表结构中通过主外键关联的关键数据;所述导入模式分为主从表N-N模式和主从表N-1模式;
1.5)配置校验规则,所述校验规则用于保证数据的完整性和合 法性,包括正则表达式和存在性规则;
2)将用户提供的EXCEL、CSV或XML等格式数据通过标准接口转换为中间处理文件;中间处理文件为存放导入数据的数据库全局临时表,该全局临时表中存放了导入目标表需要的数据字段,所有字段根据导入模板的配置信息创建。
3)根据导入的数据类型匹配对应的导入模板,采集数据后,显示与数据库要求一致的数据字段和内容,供用户进行修改;
4)根据匹配信息配置更新匹配后的信息,匹配后的信息包括用户与ERP***交互得到的信息,对于无法根据匹配信息配置获知匹配后的信息的记录,由用户更改,直到数据匹配完成;
5)根据关联信息配置和导入模式配置要求完成界面数据控件中的所有数据,完成关联信息的更新;
6)根据配置的校验规格,对导入的数据进行逐条校验;
7)校验通过后,进入数据的中间处理过程,通过数据的中间处理,形成导入数据的中间过渡表,该过渡表中包含了所有导入信息字段信息,这些信息包括数据源字段信息、关联字段信息、匹配字段信息以及创建的字段信息;
8)根据配置的数据导入模式,将过渡表中的数据导入目标表。
按照上述数据导入方法,以用户实际导入需求为例对具体实施步骤进行描述。需要指明的是,本具体实施例中采用的数据库是MSSQL。
假设终端用户需要导入材料需用计划,在导入的过程中涉及数据库中的两个表,相关字段如表1、表2所示。从表中可以看出,导入的需用计划数据不是简单的从EXCEL或其它数据源直接导入,还存在以下情况:(1)部分字段信息不导入,如表1中的字段[审核A]等;(2)部分字段信息需要结合***数据生成,如表1中的字段[计划批号]、表2中的字段[物料编码]等;(3)部分字段信息需要验证,如表1中的字段[材料类型]、[备注]等;(4)部分字段信息需要导入多个表,并且表中数据通过主键关联,如表1中的字段[计划批号]与表2中的字段[计划批号]。另外,导入字段或格式可能发生变更,使得导入模板变化。考虑到以上情况,一些已有的固定模板的配置方法在代码编制及代码的重用上缺乏灵活性,需要重新编写代码和发布程序,而这对于分发式的应用程序来讲,也增加了其部署的成本。
表1材料计划审核总表TBTM_MPFORALLRVW
表2材料计划明细表TBTM_MPDETAIL
根据图2中可重构数据导入的基本流程示意图描述,需要以下步骤。
第一步,数据导入模板配置。
数据导入的第一步是配置导入模板,其配置的对象是数据库导入字段集合。由于导入模板的可变性,要保证导入模板的可重构,即在不编写代码或编写少量数据库底层处理代码的前提下,达到可重构配置的要求。在本发明中,以数据表字段为最小控制对象,将模板的配置信息分为5类,即基本信息、匹配信息、关联信息、导入模式和校验规则,其配置流程如图2所示。以EXCEL模板配置为例,具体包括:(1)基本信息配置。基本信息包括导入EXCEL模板的表头位置、导入列数以及在导入页面加载和关闭时执行的数据库底层处理函数。通过确定EXCEL模板表头的位置及导入列数可以确定导入数据的区域;通过设置在导入页面打开和关闭时的执行函数,可以生成临时的中间过渡数据供导入数据进行调用和处理。针对导入的数据表字段,需要设置其对应的EXCEL字段名或创建的函数名称,对于有EXCEL字段名对应的字段,直接将EXCEL文件中的数据导入,对于创建的字段,调用创建函数得到。如表3所示,在配置的基本信息中,初始值根据表 1和表2信息由计算机自动生成,开发人员可以在此基础进行简单的修改就可满足导入模板的配置,其中[标识]列为主键;[字段名称]列中非空的行为中间数据处理过程中过渡表的列,其包含了所有需要导入的字段及中间的辅助处理字段;[字段名]列中非空的行是导入数据表中的列名;[表名]为导入字段的归属表;[EXCEL字段名]列中为非空的行是EXCEL中的列名,表示数据来源于EXCEL,空行表示该字段数据通过与数据库的交互得到;[创建方法]表示该列数据利用数据库底层函数创建;[正则表达式]表示该字段的校验规则,结合表1或表2中的字段类型从规则库中选择,也可由使用者自行定义;[非空]表示导入的字段信息不能为空;[能否编辑]表示该导入字段数据用户能否修改。
表3基本信息配置
标识 | 字段名称 | 字段名 | 表名 | EXCEL字段名 | 创建方法 | 正则表达式 | 非空 | 能否编辑 |
1 | TBTM_MPDETAIL | 序号 | ||||||
2 | 物料编码 | MP_MARID | TBTM_MPDETAIL | 物料编码 | TRUE | TRUE | ||
3 | 材料名称 | TBTM_MPDETAIL | 材料名称 | |||||
4 | 规格 | TBTM_MPDETAIL | 规格 | |||||
5 | 材质 | TBTM_MPDETAIL | 材质 | |||||
6 | 单位 | TBTM_MPDETAIL | 单位 | |||||
7 | 数量 | MP_NUMBER | TBTM_MPDETAIL | 需用数量 | ^\d+$ | TRUE | TRUE | |
8 | 时间要求 | MP_TIMERQ | TBTM_MPDETAIL | 时间要求 | TRUE | |||
9 | 环境影响 | MP_ENVREFFCT | TBTM_MPDETAIL | 环境影响 | TRUE | |||
10 | 备注 | MP_NOTE | TBTM_MPDETAIL | 备注 | TRUE | |||
11 | 批号 | MP_PID | TBTM_MPDETAIL | CreateLotNum | TRUE | |||
12 | 项目名称 | TBTM_MPDETAIL | ||||||
13 | 工程名称 | TBTM_MPDETAIL | ||||||
14 | 计划跟踪号 | MP_TRACKNUM | TBTM_MPDETAIL | GetTRACKNUM | TRUE | |||
15 | 批号 | MP_ID | TBTM_MPFORALLRVW | TRUE |
16 | 项目ID | MP_PJID | TBTM_MPFORALLRVW | TRUE | TRUE | |||
17 | 工程ID | MP_ENGID | TBTM_MPFORALLRVW | TRUE | TRUE | |||
18 | 材料类型 | MP_MASHAPE | TBTM_MPFORALLRVW | TRUE | TRUE | |||
19 | 提交人 | MP_SUBMITID | TBTM_MPFORALLRVW | TRUE | ||||
20 | 提交时间 | MP_SUBMITTM | TBTM_MPFORALLRVW | TRUE |
(2)匹配信息配置。匹配信息是根据用户提供的部分字段信息,与数据库交互得到的数据信息。匹配信息的设置主要包括标识、匹配标识、匹配语句、匹配字段名,其匹配的构成为:标识=(匹配语句+匹配字段名+匹配标识)。如表4所示,在匹配的信息中,[标识]列为需要匹配信息的列;[匹配标识]列为匹配信息的来源列;[匹配语句]列为匹配的主体SQL语句;[匹配字段名]为匹配标识对应的数据库字段。结合表3的描述,表4的匹配方案可解读为:物料编码由物料名称、规格和材质进行匹配,匹配的语句为SELECT TOP 1ID FROMTBMA_MATERIAL WHERE STATE='1'AND MNAME='物料名称'AND GUIGE='规格'ANDCAIZHI='材质'。
表4匹配信息配置
标识 | 匹配标识 | 匹配语句 | 匹配字段名 |
2 | 3 | SELECT top 1ID FROM TBMA_MATERIAL WHERE STATE='1' | MNAME |
2 | 4 | SELECT top 1ID FROM TBMA_MATERIAL WHERE STATE='1' | GUIGE |
2 | 5 | SELECT top 1ID FROM TBMA_MATERIAL WHERE STATE='1' | CAIZHI |
(3)关联信息配置。关联信息是不依赖于用户提供的数据,而只与***信息相关的一些数据信息。为了达到可重构配置的要求,采用动态创建控件的方式实现用户与数据库的交互,即使用户的需求发生变化,只需要重新配置相应的数据库语句就可以实现,避免***的频繁变更。关联信息的配置主要包括标识、控件名称、控件数据源、关联 控件、控件字段和控件类型。如表5所示,在关联信息中,[标识]列为关联的信息列;[控件名称]列为显示关联信息的控件名称;[控件数据源]列为数据来源的SQL语句;[关联控件]列为关联的多级控件名,如表5中,标识为17的工程ID列与标识为16的项目ID列关联,即通过项目ID决定相应的工程ID;[控件字段]列为关联控件对应的数据库字段名;[控件类型]列为显示数据的具体控件名,主要有Combox和TextBox。
表5关联信息配置
(4)导入模式配置。导入模式主要是指数据导入数据库中对应的数据表的操作。导入的数据表分为主表和从表,主表必须存在且唯一,导入的数据为数据源提供的全部数据,从表可以没有或有多个,其导入的数据可以选择全部,也可以选择只导入表结构中通过主外键关联 的关键数据。根据上面的叙述,可将导入模式分为主从表N-N模式和主从表N-1模式。在本实施例中选择的模式为主从表N-1模式。
(5)校验规则配置。校验规则是为了保证数据的完整性和合法性,对导入数据库的字段数据进行校验而制定的规则,主要包括正则表达式规则和存在性规则。正则表达式规则主要是验证数据的标准格式,如数据类型、用户自定义数据格式等;存在性规则主要是验证数据在数据库中是否存在。同时,建立了校验规则库,对常用的一些校验规则进行存储,便于二次调用。
数据导入模板的配置主要由ERP软件开发人员或维护人员完成,在导入字段、模式或规则发生变更后,只需要按照(1)~(5)的要求增加、修改或删除相应字段配置信息即可,完成配置后,用户即可按照模板导入数据。
第二步,数据导入数据库***。
包括:(1)数据接口转换。在本发明实施例中,需要根据数据源文件的类型,选择数据的转换接口,常用的数据转换接口包括EXCEL数据转换接口、CSV数据转换接口、XML数据转换接口。用户在加载相应的文件后,会触发对文件类型的判断,通过相应的数据转换接口对数据文件进行解析。
(2)导入数据显示。解析完成后,根据导入的数据类型匹配对应的数据模板,显示与数据库要求一致的数据字段和内容,供用户进行修改。需要指出的是,显示的数据内容和字段不仅仅只是在数据源中规定的字段和内容,也包括用户与***交互得到的字段和内容,如制 单人、单号等信息,这样用户就不用担心导入信息的缺失。
(3)更新关联信息。根据数据表主从模式的结构设计,需更新的关联信息有两种,一种是针对单条数据的关联信息,另一种是针对总信息的关联信息。用户需要分别对这两种关联信息进行更新。在本发明的实施例中,对底层用户而言,只需要选择相应的关联方案,点击***界面上的特定按钮,***会根据配置要求完成界面数据控件中的所有数据,完成关联信息的更新。
(4)更新匹配信息。匹配信息是用户与ERP***交互得到的信息,对于无法获知匹配信息的记录,***会在界面上进行提示,方便用户更改,直到数据匹配完成。
(5)数据校验。在本发明实施例中,***会根据配置的校验规格,对导入的数据进行逐条校验,无法通过校验的数据在导入界面上进行提示。对于没有通过校验的数据,用户可以进行修改后单独进行校验,提高校验的效率。校验通过后,进入数据的中间处理过程。
(6)数据的中间处理。在本发明的实施例中,数据的中间处理过程是数据导入***的关键步骤,通过数据的中间处理,形成导入数据的中间过渡表,该过渡表中包含了所有导入信息字段信息,这些信息包括数据源字段信息、关联字段信息、匹配字段信息以及创建的字段信息。需要指出的是,该过渡表不是数据库中的实体表,而是按照***配置模板动态创建的全局临时表。
(7)将数据导入***。根据配置的数据导入模式,将过渡表中的数据导入目标表。
本发明已经在某企业ERP***的数据导入中使用,基于该发明方法的***能够实现数据的快速导入,并且应对用户导入需求变更导致的导入模板变化,只需要更改少量配置信息而无需修改ERP***代码就可满足要求,节约了开发时间,同时也保证的数据导入的准确性和及时性。
需要强调的是,以上是对本发明方法的一种具体的实现方式,本发明的实现方式不局限于此,在本发明领域内,任何借鉴本发明的基本思想,在具体实施方式和应用范围上的更改,同样属于本发明的保护范围。
Claims (6)
1.一种可重构的ERP***中多源数据的导入方法,其特征在于,包括以下步骤:
1)根据需导入的数据配置导入模板,包括以下步骤:
1.1)配置导入模板的基本信息,所述基本信息包括需导入数据模板的表头位置、导入列数以及在导入页面加载和关闭时执行的数据库底层处理函数;并根据要导入的数据表字段,需设置其对应的字段名或创建的函数名称;
1.2)配置导入模板的匹配信息,所述匹配信息是用于匹配用户提供的部分字段信息与数据库内信息,交互得到的需要数据信息;
1.3)配置导入模板的关联信息,所述关联信息是不依赖于用户提供的数据,而只与***信息相关的部分数据信息;
1.4)配置导入模式,导入模式是指数据导入数据库中对应的数据表的操作, 需导入的数据表分为主表和从表,主表必须存在且唯一,导入的数据为数据源提供的全部数据,从表可以没有或有多个,其导入的数据根据需要可以选择全部,也可以选择只导入表结构中通过主外键关联的关键数据;所述导入模式分为主从表N-N模式和主从表N-1模式;
1.5)配置校验规则,所述校验规则用于保证数据的完整性和合法性,包括正则表达式和存在性规则;
2)将用户提供的包括EXCEL、CSV或XML在内的格式数据通过标准接口转换为中间处理文件;
3)根据导入的数据类型匹配对应的导入模板,采集数据后,显示与数据库要求一致的数据字段和内容,供用户进行修改;
4)根据匹配信息配置更新匹配后的信息,匹配后的信息包括用户与ERP***交互得到的信息,对于无法根据匹配信息配置获知匹配后的信息的记录,由用户更改,直到数据匹配完成;
5)根据关联信息配置和导入模式配置要求完成数据库要求的所有数据,完成关联信息的更新;
6)根据配置的校验规格,对导入的数据进行逐条校验;
7)校验通过后,进入数据的中间处理过程,通过数据的中间处理,形成导入数据的中间过渡表,该过渡表中包含了所有导入信息字段信息,这些信息包括数据源字段信息、关联字段信息、匹配字段信息以及创建的字段信息;
8)根据配置的数据导入模式,将过渡表中的数据导入目标表。
2.根据权利要求1所述的多源数据的导入方法,其特征在于,所述步骤1.1)中需导入数据模板包括EXCEL、CSV或XML数据模板。
3.根据权利要求1所述的多源数据的导入方法,其特征在于,所述步骤1.1)中设置其对应的字段名或创建的函数名称的基本设置为:标识、字段名称、字段名、表名、需导入数据模板字段名、创建方法、能否编辑。
4.根据权利要求1所述的多源数据的导入方法,其特征在于,所述配置匹配信息的设置包括标识、匹配标识、匹配语句、匹配字段名。
5.根据权利要求1所述的多源数据的导入方法,其特征在于,所述配置关联信息的设置包括标识、控件名称、控件数据源、关联控件、控件字段和控件类型。
6.根据权利要求1所述的多源数据的导入方法,其特征在于,所述步骤2)中的中间处理文件为数据库***中的全局临时表,该全局临时表中保存了需要导入的数据,每一种导入模板对应一个全局临时表。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410669701.4A CN104317974B (zh) | 2014-11-21 | 2014-11-21 | 一种可重构的erp***中多源数据导入方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410669701.4A CN104317974B (zh) | 2014-11-21 | 2014-11-21 | 一种可重构的erp***中多源数据导入方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104317974A CN104317974A (zh) | 2015-01-28 |
CN104317974B true CN104317974B (zh) | 2017-07-11 |
Family
ID=52373206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410669701.4A Expired - Fee Related CN104317974B (zh) | 2014-11-21 | 2014-11-21 | 一种可重构的erp***中多源数据导入方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104317974B (zh) |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104598598A (zh) * | 2015-01-23 | 2015-05-06 | 浙江协同数据***有限公司 | 一种关系型数据标准性的评估方法 |
CN104899523B (zh) * | 2015-06-29 | 2018-01-26 | 上海瀚之友信息技术服务有限公司 | 一种卡密数据的统一导入方法 |
CN105117431A (zh) * | 2015-08-07 | 2015-12-02 | 北京思特奇信息技术股份有限公司 | 一种动态配置外部导入数据的方法及*** |
CN105488210B (zh) * | 2015-12-11 | 2019-02-12 | 金蝶软件(中国)有限公司 | 一种批量数据匹配方法及装置 |
CN106909604B (zh) * | 2015-12-22 | 2022-06-24 | 清华大学 | 基于规则的excel表单和access数据库的自动检查方法及*** |
CN105589968A (zh) * | 2015-12-25 | 2016-05-18 | ***股份有限公司 | 数据汇总***及方法 |
CN107122368B (zh) * | 2016-02-25 | 2021-05-28 | 阿里巴巴集团控股有限公司 | 一种数据校验方法、装置及电子设备 |
CN106021528A (zh) * | 2016-05-25 | 2016-10-12 | 北京京东尚科信息技术有限公司 | 数据处理方法和装置 |
CN106886546B (zh) * | 2016-07-06 | 2020-10-27 | 创新先进技术有限公司 | 一种数据网站的构建方法和设备 |
CN106250472A (zh) * | 2016-07-29 | 2016-12-21 | 广州仕邦人力资源有限公司 | 一种excel数据导入方法 |
CN106383906B (zh) * | 2016-09-30 | 2020-12-11 | 杭州数梦工场科技有限公司 | 优化Oracle数据库数据增量捕捉的方法和*** |
CN108132936A (zh) * | 2016-11-30 | 2018-06-08 | 北京国双科技有限公司 | 数据导入方法及装置 |
CN106648763A (zh) * | 2016-12-06 | 2017-05-10 | 明博教育科技股份有限公司 | 一种批量数据导入组件及其导入方法 |
CN106612330B (zh) * | 2017-01-05 | 2020-04-21 | 广州慧睿思通信息科技有限公司 | 支持分布式多文件导入的***及方法 |
CN107092672A (zh) * | 2017-04-13 | 2017-08-25 | 中国联合网络通信集团有限公司 | 数据维护方法、装置及*** |
CN107256206B (zh) * | 2017-05-24 | 2021-04-30 | 北京京东尚科信息技术有限公司 | 字符流格式转换的方法和装置 |
CN107274098A (zh) * | 2017-06-20 | 2017-10-20 | 国网江苏省电力公司无锡供电公司 | 一种基于电网调度技术的电网设备信息智能入库的方法 |
CN107480262A (zh) * | 2017-08-05 | 2017-12-15 | 中山大学 | 一种基于网页的数据库通用管理*** |
CN107291961B (zh) * | 2017-08-08 | 2020-08-11 | 中国银行股份有限公司 | 一种数据处理方法及装置 |
CN110019111B (zh) * | 2017-08-15 | 2021-11-23 | 北京国双科技有限公司 | 数据处理方法、装置、存储介质以及处理器 |
CN108415922B (zh) * | 2017-09-30 | 2021-10-22 | 平安科技(深圳)有限公司 | 数据库修改方法及应用服务器 |
CN107729519B (zh) * | 2017-10-27 | 2020-06-09 | 上海数据交易中心有限公司 | 基于多源多维数据的评估方法及装置、终端 |
CN107741925B (zh) * | 2017-11-07 | 2020-11-20 | 济南市市政工程设计研究院(集团)有限责任公司 | 地下管线勘测数据自动转换方法、装置 |
CN107742190A (zh) * | 2017-11-16 | 2018-02-27 | 郑州云海信息技术有限公司 | 一种erp***主数据批量导入的方法和*** |
CN108133341A (zh) * | 2017-12-21 | 2018-06-08 | 郑州云海信息技术有限公司 | 一种基于erp***的物料选择条件的生成方法及*** |
CN110019226A (zh) * | 2017-12-22 | 2019-07-16 | 杭州海康威视数字技术股份有限公司 | 一种数据库文件的导入方法及装置 |
CN108197207A (zh) * | 2017-12-28 | 2018-06-22 | 南京涵韬信息科技有限公司 | 批量数据匹配导入方法 |
CN108280223A (zh) * | 2018-02-09 | 2018-07-13 | 弘成科技发展有限公司 | 用于招生录取的dbf数据导入平台及导入方法 |
CN108763235A (zh) * | 2018-02-13 | 2018-11-06 | 阿里巴巴集团控股有限公司 | 一种文件处理方法、装置及设备 |
CN108345682A (zh) * | 2018-03-02 | 2018-07-31 | 弘成科技发展有限公司 | 基于多租户可配置的导入导出平台及方法 |
CN110309214B (zh) * | 2018-04-10 | 2023-06-23 | 腾讯科技(深圳)有限公司 | 一种指令执行方法及其设备、存储介质、服务器 |
CN108874866A (zh) * | 2018-04-22 | 2018-11-23 | 平安科技(深圳)有限公司 | 数据导入管理方法、装置、移动终端和存储介质 |
CN109241351A (zh) * | 2018-07-19 | 2019-01-18 | 佛山科学技术学院 | 一种电路板生产的多源异构数据整理方法 |
CN108932612B (zh) * | 2018-08-17 | 2022-07-12 | 中国建设银行股份有限公司 | 一种应用于企业年金的数据处理方法、装置及电子设备 |
CN109542408B (zh) * | 2018-11-27 | 2022-04-26 | 深圳市关运通科技有限公司 | 一种模板智能配置方法和装置 |
CN111444170B (zh) * | 2018-12-28 | 2023-10-03 | 第四范式(北京)技术有限公司 | 基于预测业务场景的自动机器学习方法和设备 |
CN109992585A (zh) * | 2019-04-01 | 2019-07-09 | 北京金和网络股份有限公司 | 用于办公管理***的数据导入方法 |
CN110134926A (zh) * | 2019-05-22 | 2019-08-16 | 山东浪潮通软信息科技有限公司 | 一种带表单验证的excel导入方法 |
CN110275861B (zh) * | 2019-06-25 | 2021-09-17 | 北京明略软件***有限公司 | 数据存储方法及装置、存储介质、电子装置 |
CN110728121B (zh) * | 2019-09-17 | 2023-08-01 | 杭州安恒信息技术股份有限公司 | 基于现有接口实现零开发的数据导入***及方法 |
CN111125213A (zh) * | 2019-11-29 | 2020-05-08 | 北京数起科技有限公司 | 数据采集的方法、装置及其*** |
CN111143450B (zh) * | 2019-12-13 | 2023-05-30 | 远光软件股份有限公司 | 导入数据的方法和装置 |
CN111177243B (zh) * | 2019-12-24 | 2023-11-14 | 浙江大搜车软件技术有限公司 | 数据的导出方法及装置、存储介质和电子装置 |
CN111625586A (zh) * | 2020-05-27 | 2020-09-04 | 北京思特奇信息技术股份有限公司 | 一种通用业务数据的导入方法和*** |
CN111966815B (zh) * | 2020-07-03 | 2023-12-19 | 北京旷视科技有限公司 | 数据校验模板的生成方法、装置和电子*** |
CN113971191A (zh) * | 2020-07-23 | 2022-01-25 | 腾讯科技(深圳)有限公司 | 一种数据导入方法、装置和计算机可读存储介质 |
CN112035355A (zh) * | 2020-08-28 | 2020-12-04 | 中国平安财产保险股份有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
CN112115208A (zh) * | 2020-09-04 | 2020-12-22 | 杭州日思夜享数据科技有限公司 | 一种数据库数据导入方法 |
CN112988790A (zh) * | 2021-02-07 | 2021-06-18 | 潍坊北大青鸟华光照排有限公司 | 一种基于execl的数据互通及数据批量检索查询方法 |
CN113094345A (zh) * | 2021-04-15 | 2021-07-09 | 浪潮通用软件有限公司 | 一种表格数据文件的导入方法及设备 |
CN114048194A (zh) * | 2022-01-12 | 2022-02-15 | 树根互联股份有限公司 | 数据的管理方法、装置和电子设备 |
CN114722109B (zh) * | 2022-04-13 | 2024-02-06 | 中国电信股份有限公司 | 数据导入方法、***、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101452441A (zh) * | 2008-12-05 | 2009-06-10 | 山东浪潮齐鲁软件产业股份有限公司 | 一种电子表格通用数据解析导入方法 |
CN103246651A (zh) * | 2012-02-02 | 2013-08-14 | 金蝶软件(中国)有限公司 | 一种数据导入方法及*** |
CN103838845A (zh) * | 2014-03-05 | 2014-06-04 | 成都交大光芒科技股份有限公司 | 一种通用导入Excel数据的实现方法 |
CN103995908A (zh) * | 2014-06-17 | 2014-08-20 | 山东中创软件工程股份有限公司 | 一种数据导入方法及装置 |
CN104021219A (zh) * | 2014-06-23 | 2014-09-03 | 东莞市西奥计算机智能科技有限公司 | 一种数据模板的生成方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070005635A1 (en) * | 2005-07-01 | 2007-01-04 | Microsoft Corporation | Importing database data to a non-database program |
US20140114822A1 (en) * | 2012-10-18 | 2014-04-24 | Intuit Inc. | Method and system for creating tax configuration templates |
-
2014
- 2014-11-21 CN CN201410669701.4A patent/CN104317974B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101452441A (zh) * | 2008-12-05 | 2009-06-10 | 山东浪潮齐鲁软件产业股份有限公司 | 一种电子表格通用数据解析导入方法 |
CN103246651A (zh) * | 2012-02-02 | 2013-08-14 | 金蝶软件(中国)有限公司 | 一种数据导入方法及*** |
CN103838845A (zh) * | 2014-03-05 | 2014-06-04 | 成都交大光芒科技股份有限公司 | 一种通用导入Excel数据的实现方法 |
CN103995908A (zh) * | 2014-06-17 | 2014-08-20 | 山东中创软件工程股份有限公司 | 一种数据导入方法及装置 |
CN104021219A (zh) * | 2014-06-23 | 2014-09-03 | 东莞市西奥计算机智能科技有限公司 | 一种数据模板的生成方法及装置 |
Non-Patent Citations (1)
Title |
---|
大数据量Excel数据导入***的设计与实现;彭磊等;《现代电子技术》;20140715;第37卷(第14期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN104317974A (zh) | 2015-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104317974B (zh) | 一种可重构的erp***中多源数据导入方法 | |
CN104133772B (zh) | 一种自动生成测试数据的方法 | |
US8555248B2 (en) | Business object change management using release status codes | |
CN105528418B (zh) | 一种设计文档生成方法及装置 | |
CN106886406A (zh) | 开发代码或文档的生成方法和装置 | |
CN101539855A (zh) | 一种业务基础软件平台 | |
JP2003516569A (ja) | ビジネス・モデリングの方法および装置 | |
CN101753619B (zh) | 用于扩展服务模型的方法和*** | |
CN103186632A (zh) | 一种运维表单定制的方法及装置 | |
US20140229223A1 (en) | Integrated erp based planning | |
CN109901872A (zh) | 一种企业信息化系列产品版本管控方法 | |
CN110109893A (zh) | 数据建模和操作的方法和装置 | |
CN112541692B (zh) | 科学数据管理计划生成方法及装置 | |
JP2010015458A (ja) | プログラム修正支援システム、プログラム修正支援方法、およびプログラム修正支援プログラム | |
CN102123099B (zh) | 报文处理***及方法 | |
Rajbhoj et al. | Accelerating Software Development Using Generative AI: ChatGPT Case Study | |
CN111488164A (zh) | 智能表单***及其代码与界面生成方法 | |
US20190236124A1 (en) | Systems and methods for creating a dynamically editable document template and for drafting, reviewing, negotiating, and finalizing a dynamically editable document | |
CN105955718B (zh) | 一种软件定制方法及*** | |
CN101976381A (zh) | 用于管理应用资产的方法和*** | |
US20220413843A1 (en) | Combining model-driven applications and canvas-type applications with application lifecycle management | |
CN103699384A (zh) | 面向工程流程管理和数据内容管理的快速开发方法 | |
CN104391921A (zh) | 用于异构模型管理的地理空间决策元模型构建方法及*** | |
US11526895B2 (en) | Method and system for implementing a CRM quote and order capture context service | |
CN106528152A (zh) | 一种基于模型驱动软件开发的信息*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170711 Termination date: 20181121 |