CN103729455B - 一种基于主副本存储模式的主数据存储方法 - Google Patents
一种基于主副本存储模式的主数据存储方法 Download PDFInfo
- Publication number
- CN103729455B CN103729455B CN201410004578.4A CN201410004578A CN103729455B CN 103729455 B CN103729455 B CN 103729455B CN 201410004578 A CN201410004578 A CN 201410004578A CN 103729455 B CN103729455 B CN 103729455B
- Authority
- CN
- China
- Prior art keywords
- master data
- core
- data
- copy
- management system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013500 data storage Methods 0.000 title abstract 3
- 238000012558 master data management Methods 0.000 claims abstract description 67
- 230000004048 modification Effects 0.000 claims description 25
- 238000012986 modification Methods 0.000 claims description 25
- 238000013499 data model Methods 0.000 claims description 7
- 238000012423 maintenance Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于主副本存储模式的主数据存储方法,其特征在于,包括以下步骤:A.将主数据分为核心主数据和非核心主数据;B.将核心主数据存储在主数据管理***数据库中,并且建立核心主数据的副本,将核心主数据副本存储在业务***数据库中;C.将非核心主数据存储在业务***数据库中,并且建立非核心主数据的副本,将非核心主数据副本存储在主数据管理***数据库中。采用本发明可减低由于***外部因素带来的运维风险,提高业务功能的可靠性、稳定性。
Description
技术领域
本发明涉及一种主数据存储方法,尤其涉及的是一种基于主副本存储模式的主数据存储方法。
背景技术
主数据是描述现实世界中的核心对象,是参与企业运营的独立存在的业务对象,具有以下三个特性,最重要性:主数据是企业主营业务的主要实体;最基础性:所有主营业务均围绕着主数据开展,被多部门、多***共享使用;最稳定性:主数据是可标准化管理的静态引用数据,一般不会被频繁修改。企业否能有效管理主数据,确保主数据被唯一标识并符合质量要求,是影响企业决策分析以及跨部门的协作的关键因素之一。
现有的主数据存储***中,普遍是采取单一主本的存储模式,就是只在主数据库中保存一套数据,业务***需要消费数据的时候,再从主数据库获得。传统的主数据存储***存在以下缺点:1. 数据格式不匹配:主数据服务输出的数据是遵循主数据模型定义的格式,而业务***使用的数据格式是根据自身业务需求来定义,这样就会出现数据格式不一致的情况,业务***对获取的数据进行格式转换才能满足使用的需求。额外的数据格式转换的工作直接增加了业务***的负担,包括开发时的成本消耗,运行时的额外性能消耗等。2. 降低业务的响应效率:当客户端请求一个报表的结果时,业务***需要实时从主数据服务获取数据,然后转换为业务数据格式,最终显示到客户端,这一过程包括跨***发送请求,主数据管理***的自身处理过程,数据格式转换的性能消耗,这些大大降低了业务的响应效率。3. 强耦合:当业务***对主数据服务进行请求时,由于某些问题(如网络问题、主数据服务维护等)无法获得正确的响应,将导致业务***的业务功能无法正常使用,严重影响用户体验。
因此,现有技术还有待于改进和发展。
发明内容
本发明的目的在于提供一种基于主副本存储模式的主数据存储方法,旨在解决传统的主数据存储***业务的响应效率低,使用不方便的技术问题。
本发明的技术方案如下:一种基于主副本存储模式的主数据存储方法,其中,包括以下步骤:
A.将主数据分为核心主数据和非核心主数据;
B.将核心主数据存储在主数据管理***数据库中,并且建立核心主数据的副本,将核心主数据副本存储在业务***数据库中;
C.将非核心主数据存储在业务***数据库中,并且建立非核心主数据的副本,将非核心主数据副本存储在主数据管理***数据库中。
所述的基于主副本存储模式的主数据存储方法,其中,所述业务***包括为主数据管理***提供主数据的数据提供方和向主数据管理***获取主数据的数据消费方;
所述数据提供方所提供的主数据分为核心主数据和非核心主数据,数据提供方所提供的核心主数据保存在主数据管理***数据库中,并在数据提供方数据库中保存核心主数据副本;数据提供方所提供的非核心主数据保存在数据提供方数据库中,并在主数据管理***数据库中保存非核心主数据副本;
所述数据消费方所获取的主数据分为核心主数据和非核心主数据,数据消费方所获取的核心主数据的副本和非核心主数据的副本保存在数据消费方数据库中。
所述的基于主副本存储模式的主数据存储方法,其中,所述核心主数据的修改步骤如下:
S1.业务***对主数据管理***发送修改请求;
S2.主数据管理***验证修改请求,验证通过则调用主数据管理***数据库中的核心主数据并对其进行修改,修改成功后向业务***输出修改成功信息,否则输出修改失败信息;
S3.业务***对修改成功信息进行验证,验证成功后对业务***数据库中的核心主数据副本进行修改,修改成功后输出修改成功信息,否则输出修改失败信息。
所述的基于主副本存储模式的主数据存储方法,其中,所述主数据管理***对核心主数据的修改信息进行备份,并保存在主数据管理***数据库中。
所述的基于主副本存储模式的主数据存储方法,其中,所述非核心主数据的修改步骤如下:
X1.向业务***输入修改请求;
X2.业务***验证修改请求,验证通过则调用业务***数据库中的非核心主数据并对其进行修改,修改成功后输出修改成功信息,否则输出修改失败信息;
X3.业务***向主数据管理***发送修改成功信息,主数据管理***对修改成功信息进行验证,验证成功后对主数据管理***数据库中的非核心主数据副本进行修改,修改成功后输出修改成功信息,否则输出修改失败信息。
所述的基于主副本存储模式的主数据存储方法,其中,所述业务***对非核心主数据的修改信息进行备份,并保存在业务***数据库中。
所述的基于主副本存储模式的主数据存储方法,其中,所述主数据管理***数据库中存储有主数据模型,所述存储在主数据管理***数据库中的核心主数据和非核心主数据副本均按照主数据模型的定义进行建模。
本发明的有益效果:本发明将主数据划分为核心主数据与非核心主数据,其中核心主数据主本存于主数据管理***数据库中,核心主数据副本存于各个业务***数据库中(包括数据提供方和数据消费方),在修改核心主数据时,需要先变更主数据管理***数据库中的核心主数据主本库后,再变更业务***数据库中的核心主数据副本;同样,非核心主数据的主本存于业务***(数据提供方)的数据库中,非核心主数据的副本存于主数据管理***数据库与其他业务***(数据消费方)的数据库中,在修改非核心主数据时,需要先对非核心主数据的主本进行修改,然后再对非核心主数据的副本进行修改。通过这种设置方式,一方面,在利用业务***数据库,执行查询等基础业务操作时效率快,另外由于主数据信息(包括核心主数据的副本和非核心主数据的主本)已融入业务***表中,在业务***需要调用主数据时,无需另外进行数据格式的转换操作,效率得到提升;另一方面有利于降低***耦合,业务***在进行非核心主数据操作和核心主数据的查询类操作时,可以直接读取本地信息,不再需要对主数据管理***数据库进行访问,减低由于***外部因素带来的运维风险,提高业务功能的可靠性、稳定性,保证良好的用户体验。本发明中的核心主数据与非核心主数据是根据实际需要自定义的,在使用的过程中可以根据业务的需求变化进行灵活的转换,既保证主数据的权威性和唯一性,又减少对业务***的影响。
附图说明
图1是本发明中基于主副本存储模式的主数据存储方法的流程图。
图2是本发明中对核心主数据进行修改的流程图。
图3是本发明中对非核心主数据进行修改的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。
本发明公开了一种基于主副本存储模式的主数据存储方法,如图1所示,包括以下步骤:
A.将主数据分为核心主数据和非核心主数据;
B.将核心主数据存储在主数据管理***数据库中,并且建立核心主数据的副本,将核心主数据副本存储在业务***数据库中;
C.将非核心主数据存储在业务***数据库中,并且建立非核心主数据的副本,将非核心主数据副本存储在主数据管理***数据库中。
具体的,本发明中的核心主数据与非核心主数据是根据实际需要自定义的,在使用的过程中可以根据业务的需求变化进行灵活的转换。
具体的,业务***包括为主数据管理***提供主数据的数据提供方和向主数据管理***获取主数据的数据消费方;数据提供方所提供的主数据分为核心主数据和非核心主数据,其中,数据提供方所提供的核心主数据保存在主数据管理***数据库中,并在数据提供方数据库中保存核心主数据副本,数据提供方所提供的非核心主数据保存在数据提供方数据库中,并在主数据管理***数据库中保存非核心主数据副本;数据消费方所获取的主数据同样分为核心主数据和非核心主数据,数据消费方数据库中保存该核心主数据的副本和非核心主数据的副本。
通过这种灵活的设置方式,业务***可以根据自身的业务需要对主数据进行存储,大大提高各***的工作效率。举个简单的例子,一个公司的数据***,包括财务数据***和人力资源***,财务数据***可以向公司主数据管理***输入财务信息,人力资源***向公司主数据管理***输入人员信息,假设定义财务信息为核心主数据,那么财务信息的主本存储在主数据管理***数据库中,财务信息的副本存储在财务数据***中,假设定义人员信息为非核心主数据,那么人员信息的主本存储在人力资源***中,人员信息的副本存储在主数据中。假如财务数据***需要经常性的查询人员信息(也就是财务数据***的业务需要),此时可以在财务数据***中存储人员信息的副本,那么财务数据***查询人员信息时,只需要直接访问本地数据库,并不需要访问主数据管理***或者人力资源***,这样可以大大减少数据获取的时间,提交***的效率,同时可以避免受到网络问题、主数据服务维护等外界因素影响。同样,假如人力资源***需要查询财务信息,可以将财务信息的副本存储在人力资源***中。本发明所述的主数据存储方式在使用的过程中根据业务***的需求变化进行灵活的转换,既提高业务***的工作效率,同时提高各***数据库的有效利用率。
实际应用中,对于主数据管理***,无论是核心主数据还是非核心主数据副本都严格按照主数据管理***数据模型的定义进行建模,保证主数据的完整性;对于业务***数据库,可以根据主数据管理***数据模型进行统一建模,但考虑到一些业务***不方便修改原有的数据库结构,可以由业务***根据自身情况进行数据处理和存储。当业务***与主数据管理***进行数据交互时,必须遵循数据接口提供的输入输出格式,以保证数据可以被识别。
在实际应用中,需要对主数据进行修改,本发明定义在修改主数据时,必须要先对主数据的主本(包括核心主数据的主本和非核心主数据的主本)进行修改,在主数据的主本修改完毕后,修改其对应的副本,以保证主数据的准确性和一致性。
具体的,如图2所示,核心主数据的修改步骤如下:
S1.业务***对主数据管理***发送修改请求;
S2.主数据管理***验证修改请求,验证通过则调用主数据管理***数据库中的核心主数据并对其进行修改,修改成功后向业务***输出修改成功信息,否则输出修改失败信息;
S3.业务***对修改成功信息进行验证,验证成功后对业务***数据库中的核心主数据副本进行修改,修改成功后输出修改成功信息,否则输出修改失败信息。
在核心主数据修改完成后,主数据管理***对核心主数据的修改信息进行备份,并保存在主数据管理***数据库中,生成日志,以方便工作人员查询。对于核心主数据,当完成对核心主数据主本的修改后,通过变更消息广播的方式对各业务***中相应的核心主数据副本进行相应的修改,以保证核心主数据的一致性。
具体的,如图3所示,非核心主数据的修改步骤如下:
X1.向业务***输出修改请求;
X2.业务***验证修改请求,验证通过则调用业务***数据库中的非核心主数据并对其进行修改,修改成功后输出修改成功信息,否则输出修改失败信息;
X3.业务***向主数据管理***发送修改成功信息,主数据管理***对修改成功信息进行验证,验证成功后对主数据管理***数据库中的非核心主数据副本进行修改,修改成功后输出修改成功信息,否则输出修改失败信息。
在非核心主数据修改完毕后,业务***对非核心主数据的修改信息进行备份,并保存在业务***数据库中,生成日志,方便工作人员查询。对于非核心主数据,当完成对非核心主数据主本的修改后,通过准实时服务调用的方式对主数据管理***中相应的非核心主数据副本进行相应的修改,当完成对主数据管理***的主数据副本的修改后,再由主数据管理***通过变更消息广播的方式对存储有该非核心主数据副本的业务***中相应的非核心主数据副本进行修改,以保证核心主数据的一致性。
本发明公开的数据存储方法并非传统的简单的数据库冗余(即将主数据管理***数据库中的信息在业务***数据库中建立一个副本),而是将主数据根据实际需求(该实际需求包括用户的需要或者主数据的交换频率)自由的定义成核心主数据和非核心主数据,将核心主数据的主本和非核心主数据的副本存于主数据管理***数据库中,并根据业务***的实际业务需求存储核心主数据副本和非核心主数据主本。这种存储方式有利用提高业务***的效率,相比于传统的将主数据管理***数据库中的信息在业务***数据库中建立一个副本的存储方法,本发明的业务***工作效率更高,数据存储更加灵活,而且有效节约数据库的存储空间,实际工作更加稳定可靠。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (6)
1.一种基于主副本存储模式的主数据存储方法,其特征在于,包括以下步骤:
A.将主数据分为核心主数据和非核心主数据;
B.将核心主数据存储在主数据管理***数据库中,并且建立核心主数据的副本,将核心主数据副本存储在业务***数据库中;
C.将非核心主数据存储在业务***数据库中,并且建立非核心主数据的副本,将非核心主数据副本存储在主数据管理***数据库中;
所述业务***包括为主数据管理***提供主数据的数据提供方和向主数据管理***获取主数据的数据消费方;所述数据提供方所提供的主数据分为核心主数据和非核心主数据,数据提供方所提供的核心主数据保存在主数据管理***数据库中,并在数据提供方数据库中保存核心主数据副本;数据提供方所提供的非核心主数据保存在数据提供方数据库中,并在主数据管理***数据库中保存非核心主数据副本;所述数据消费方所获取的主数据分为核心主数据和非核心主数据,数据消费方所获取的核心主数据的副本和非核心主数据的副本保存在数据消费方数据库中。
2.根据权利要求1所述的基于主副本存储模式的主数据存储方法,其特征在于,所述核心主数据的修改步骤如下:
S1.业务***对主数据管理***发送修改请求;
S2.主数据管理***验证修改请求,验证通过则调用主数据管理***数据库中的核心主数据并对其进行修改,修改成功后向业务***输出修改成功信息,否则输出修改失败信息;
S3.业务***对修改成功信息进行验证,验证成功后对业务***数据库中的核心主数据副本进行修改,修改成功后输出修改成功信息,否则输出修改失败信息。
3.根据权利要求2所述的基于主副本存储模式的主数据存储方法,其特征在于,所述主数据管理***对核心主数据的修改信息进行备份,并保存在主数据管理***数据库中。
4.根据权利要求1所述的基于主副本存储模式的主数据存储方法,其特征在于,所述非核心主数据的修改步骤如下:
X1.向业务***输入修改请求;
X2.业务***验证修改请求,验证通过则调用业务***数据库中的非核心主数据并对其进行修改,修改成功后输出修改成功信息,否则输出修改失败信息;
X3.业务***向主数据管理***发送修改成功信息,主数据管理***对修改成功信息进行验证,验证成功后对主数据管理***数据库中的非核心主数据副本进行修改,修改成功后输出修改成功信息,否则输出修改失败信息。
5.根据权利要求4所述的基于主副本存储模式的主数据存储方法,其特征在于,所述业务***对非核心主数据的修改信息进行备份,并保存在业务***数据库中。
6.根据权利要求1所述的基于主副本存储模式的主数据存储方法,其特征在于,所述主数据管理***数据库中存储有主数据模型,所述存储在主数据管理***数据库中的核心主数据和非核心主数据副本均按照主数据模型的定义进行建模。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410004578.4A CN103729455B (zh) | 2014-01-06 | 2014-01-06 | 一种基于主副本存储模式的主数据存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410004578.4A CN103729455B (zh) | 2014-01-06 | 2014-01-06 | 一种基于主副本存储模式的主数据存储方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103729455A CN103729455A (zh) | 2014-04-16 |
CN103729455B true CN103729455B (zh) | 2015-01-21 |
Family
ID=50453529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410004578.4A Active CN103729455B (zh) | 2014-01-06 | 2014-01-06 | 一种基于主副本存储模式的主数据存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103729455B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108052610B (zh) * | 2017-12-13 | 2021-02-02 | 泰康保险集团股份有限公司 | 主数据的管理方法、服务器、存储介质及电子设备 |
CN111831534A (zh) * | 2019-04-15 | 2020-10-27 | 西安京迅递供应链科技有限公司 | 一种对数据报表进行准确性验证的方法和装置 |
CN111311450B (zh) * | 2020-02-28 | 2024-03-29 | 重庆百事得大牛机器人有限公司 | 用于法律咨询服务的大数据管理平台及方法 |
CN114153842B (zh) * | 2021-11-12 | 2022-05-20 | 广东广信通信服务有限公司 | 一种跨平台数据处理方法、***、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101452450A (zh) * | 2007-11-30 | 2009-06-10 | 上海市电力公司 | 一种多源数据转换服务方法及其装置 |
CN101517569A (zh) * | 2006-08-07 | 2009-08-26 | 米谋萨***有限公司 | 改造数据的合成完整副本 |
CN103049815A (zh) * | 2012-12-14 | 2013-04-17 | 深圳供电局有限公司 | 一种客户档案信息管理***和方法 |
CN103119618A (zh) * | 2010-04-20 | 2013-05-22 | Ips株式会社 | 数据库、业务内容数据管理服务器和业务内容数据管理程序 |
-
2014
- 2014-01-06 CN CN201410004578.4A patent/CN103729455B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101517569A (zh) * | 2006-08-07 | 2009-08-26 | 米谋萨***有限公司 | 改造数据的合成完整副本 |
CN101452450A (zh) * | 2007-11-30 | 2009-06-10 | 上海市电力公司 | 一种多源数据转换服务方法及其装置 |
CN103119618A (zh) * | 2010-04-20 | 2013-05-22 | Ips株式会社 | 数据库、业务内容数据管理服务器和业务内容数据管理程序 |
CN103049815A (zh) * | 2012-12-14 | 2013-04-17 | 深圳供电局有限公司 | 一种客户档案信息管理***和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103729455A (zh) | 2014-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101957865A (zh) | 一种异构***间数据交换与共享技术 | |
CN103729455B (zh) | 一种基于主副本存储模式的主数据存储方法 | |
CN104794609A (zh) | 一种支持企业协同办公的即时通信*** | |
CN103049482B (zh) | 一种分布式异构***中数据融合存储的实现方法 | |
CN106354833A (zh) | 一种基于b\s架构实现数据管理与共享交换的平台 | |
CN103092645B (zh) | 一种基于微内核技术的地理空间信息应用***及其实现方法 | |
CN105335822B (zh) | 一种面向大数据分析的智能电网统一数据模型建模方法 | |
CN103729450A (zh) | 一种集中管理功能权限的方法及装置 | |
CN104182846A (zh) | 一种客户管理*** | |
CN102567378A (zh) | 基于异构数据的信息检索*** | |
CN102567334A (zh) | 基于异构数据的办公自动化*** | |
CN103729742B (zh) | 一种基于soa架构和模型驱动架构的数据资源管理*** | |
CN110502566B (zh) | 近实时数据采集方法、装置、电子设备、存储介质 | |
US11062246B2 (en) | Enterprise framework for efficient and adaptable workflow application data distribution | |
CN102880832B (zh) | 一种集群下的数据海量管理的***的实现方法 | |
CN105205670A (zh) | 基于电子商务平台创建独立网站的方法 | |
CN103310304B (zh) | 流程模型的管理方法和装置 | |
CN112488643A (zh) | 一种面向企业应用的数字中台*** | |
CN101673257A (zh) | 一种复杂对象数据的复制粘贴方法及装置 | |
CN115982133A (zh) | 数据处理方法及装置 | |
CN110471378A (zh) | 一种水厂自动化控制及数据分析*** | |
CN104346334A (zh) | 远程可视界面数据库*** | |
Graw et al. | Process management in-the-many | |
CN103679432A (zh) | 一种支持动态构建应用平台的vnms*** | |
CN103258026A (zh) | 一种异构***的数据自动传递及控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |