CN104699860A - 一种共享型主数据的数据加工存储方法 - Google Patents

一种共享型主数据的数据加工存储方法 Download PDF

Info

Publication number
CN104699860A
CN104699860A CN201510163449.4A CN201510163449A CN104699860A CN 104699860 A CN104699860 A CN 104699860A CN 201510163449 A CN201510163449 A CN 201510163449A CN 104699860 A CN104699860 A CN 104699860A
Authority
CN
China
Prior art keywords
data
master data
master
storage means
operation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510163449.4A
Other languages
English (en)
Inventor
朱焰冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Ka Laiboer Information Technology Co Ltd
Original Assignee
Chengdu Ka Laiboer Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Ka Laiboer Information Technology Co Ltd filed Critical Chengdu Ka Laiboer Information Technology Co Ltd
Priority to CN201510163449.4A priority Critical patent/CN104699860A/zh
Publication of CN104699860A publication Critical patent/CN104699860A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种共享型主数据的数据加工存储方法，其特征在于，包括：抽取，从各业务***或文件中抽取各信息域主数据；清洗，清洗抽取到的主数据，取出脏数据；映射，建立主数据***和各业务***数据映射关系表，建立业务***主数据和主数据管理***主数据的映射关系；转换，对各业务***的接口数据进行转换，使其数据类型与主数据管理***的数据规范一致；加载，将抽取到的、经过清洗和转换的数据装载到主数据库模型中，其实现了数据的共享，避免各***之间数据的冗余和不一致的问题。

Description

一种共享型主数据的数据加工存储方法
技术领域
本发明涉及数据存储技术领域，具体地，涉及一种共享型主数据的数据加工存储方法。
背景技术
    目前的企业单位均存在着大大小小不同时期建设的专业性业务***，***间的部署主要以网状结构存在。而现有的各个部分使用各自的***，各***之间的信息不能互享，形成“信息孤岛”。 随着企业单位研究业务的变化、经济社会的转型和信息技术的发展，数据库之间的数据交换越来越频繁。在业务应用中，经常需要进行复杂的数据交换，尤其是不同***和业务之间，这些数据交换要求跨平台、跨***的，同时要实现业务数据结构的变化和多业务的交互。在对各***之间的数据进行整理时，由于各***之间的数据存在冗余、不一致的问题，采用现有的数据存储方式显然不太合适。
发明内容
本发明为了解决的上述技术问题，提供了一种共享型主数据的数据加工存储方法。
本发明解决上述问题所采用的技术方案是：
一种共享型主数据的数据加工存储方法，其特征在于，包括：
A、            抽取，从各业务***或文件中抽取各信息域主数据；
B、             清洗，清洗抽取到的主数据，取出脏数据；
C、             映射，建立主数据***和各业务***数据映射关系表，建立业务***主数据和主数据管理***主数据的映射关系；
D、            转换，对各业务***的接口数据进行转换，使其数据类型与主数据管理***的数据规范一致；
E、             加载，将抽取到的、经过清洗和转换的数据装载到主数据库模型中。
    所谓的脏数据，即源***中的数据不在给定的范围内或对实际业务毫无意义，或者数据格式非法，以及在源***中存在不规范的编码和含糊的业务逻辑。脏数据的造成主要是由于源***的设计不严密造成的，主要表现在：数据格式错误，数据不一致，数据重复、错误，业务逻辑不合理，违反业务规则等。譬如：未经验证的身份、未经验证的日期、字段等。本发明的数据加工存储方法基于现有的各***之间的信息相互独立不能共享交互而生的。先对各***中的信息进抽取，随之对脏数据进行剔除，利用映射，使得主数据***和各业务***数据相对应，再对接口数据进行转换，使得数据类型相匹配一致，最后再加载到主数据模型中，实现数据的共享，避免各***之间数据的冗余和不一致的问题。
作为优选，为了保证数据的安全性，还包括备份：对主数据管理平台数据库中的应用框架数据和主数据进行备份。
进一步的，所述的清洗步骤中还包括对取出的脏数据的存储，对脏数据进行存储，便于分析使用。
作为优选，为了便于对数据进行管理，在对主数据***和各业务***数据之间进行映射时，同时加上时间戳。
作为优选，为了便于对数据进行管理，在将将抽取到的、经过清洗和转换的数据装载到主数据库模型中时，加上时间戳。
综上，本发明的有益效果是：
本发明的方法对各***中的信息进抽取，随之对脏数据进行剔除，利用映射，使得主数据***和各业务***数据相对应，再对接口数据进行转换，使得数据类型相匹配一致，最后再加载到主数据模型中，实现数据的共享，避免各***之间数据的冗余和不一致的问题。
具体实施方式
下面结合实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
一种共享型主数据的数据加工存储方法，其特征在于，包括：
A、            抽取，从各业务***或文件中抽取各信息域主数据；
B、             清洗，清洗抽取到的主数据，取出脏数据；
C、             映射，建立主数据***和各业务***数据映射关系表，建立业务***主数据和主数据管理***主数据的映射关系；
D、            转换，对各业务***的接口数据进行转换，使其数据类型与主数据管理***的数据规范一致；
E、             加载，将抽取到的、经过清洗和转换的数据装载到主数据库模型中。
本发明的数据加工存储方法基于现有的各***之间的信息相互独立不能共享交互而生的。先对各***中的信息进抽取，随之对脏数据进行剔除，利用映射，使得主数据***和各业务***数据相对应，再对接口数据进行转换，使得数据类型相匹配一致，最后再加载到主数据模型中，实现数据的共享，避免各***之间数据的冗余和不一致的问题。
实施例2：
为了提高数据的安全性，本实施例在上述实施例的基础上做了优化，即还包括备份：对主数据管理平台数据库中的应用框架数据和主数据进行备份。
所述的清洗步骤中还包括对取出的脏数据的存储。
实施例3：
为了便于对数据的管理，本实施例在上述实施例的基础上做了优化，即在对主数据***和各业务***数据之间进行映射时，同时加上时间戳。
在将将抽取到的、经过清洗和转换的数据装载到主数据库模型中时，加上时间戳。
如上所述，可较好的实现本发明。

Claims (5)

1.一种共享型主数据的数据加工存储方法，其特征在于，包括：
抽取，从各业务***或文件中抽取各信息域主数据；
清洗，清洗抽取到的主数据，取出脏数据；
映射，建立主数据***和各业务***数据映射关系表，建立业务***主数据和主数据管理***主数据的映射关系；
转换，对各业务***的接口数据进行转换，使其数据类型与主数据管理***的数据规范一致；
加载，将抽取到的、经过清洗和转换的数据装载到主数据库模型中。
2.根据权利要求1所述的一种共享型主数据的数据加工存储方法，其特征在于：还包括备份：对主数据管理平台数据库中的应用框架数据和主数据进行备份。
3.根据权利要求1或2所述的一种共享型主数据的数据加工存储方法，其特征在于：所述的清洗步骤中还包括对取出的脏数据的存储。
4.根据权利要求1所述的一种共享型主数据的数据加工存储方法，其特征在于：在对主数据***和各业务***数据之间进行映射时，同时加上时间戳。
5.根据权利要求1所述的一种共享型主数据的数据加工存储方法，其特征在于：在将将抽取到的、经过清洗和转换的数据装载到主数据库模型中时，加上时间戳。
CN201510163449.4A 2015-04-09 2015-04-09 一种共享型主数据的数据加工存储方法 Pending CN104699860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510163449.4A CN104699860A (zh) 2015-04-09 2015-04-09 一种共享型主数据的数据加工存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510163449.4A CN104699860A (zh) 2015-04-09 2015-04-09 一种共享型主数据的数据加工存储方法

Publications (1)

Publication Number Publication Date
CN104699860A true CN104699860A (zh) 2015-06-10

Family

ID=53346980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510163449.4A Pending CN104699860A (zh) 2015-04-09 2015-04-09 一种共享型主数据的数据加工存储方法

Country Status (1)

Country Link
CN (1) CN104699860A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104993958A (zh) * 2015-06-29 2015-10-21 北京京东尚科信息技术有限公司 一种用户主数据的生成方法及***
CN106126629A (zh) * 2016-06-22 2016-11-16 武汉斗鱼网络科技有限公司 一种基于直播行业的主数据管理方法及***
CN108052645A (zh) * 2017-12-26 2018-05-18 重庆信联达软件有限公司 企业内部数据标准化管理方法
CN108121809A (zh) * 2017-12-26 2018-06-05 重庆信联达软件有限公司 企业内部数据标准化实现方法
CN108156061A (zh) * 2017-12-26 2018-06-12 重庆信联达软件有限公司 esb监控服务平台
CN108173711A (zh) * 2017-12-26 2018-06-15 重庆信联达软件有限公司 企业内部***数据交换监控方法
CN108197192A (zh) * 2017-12-26 2018-06-22 重庆信联达软件有限公司 用于实现企业内部数据标准化的主数据***
CN110389845A (zh) * 2019-07-30 2019-10-29 浪潮软件集团有限公司 一种基于主数据管理进行数据广播的方法
CN111324597A (zh) * 2020-03-19 2020-06-23 北京三维天地科技股份有限公司 一种主数据管理方法和***
CN112528331A (zh) * 2020-12-15 2021-03-19 杭州默安科技有限公司 隐私泄露风险的检测方法、设备及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070198593A1 (en) * 2005-11-28 2007-08-23 Anand Prahlad Systems and methods for classifying and transferring information in a storage network
US20140059024A1 (en) * 2012-08-27 2014-02-27 Ss8 Networks, Inc. System and method of storage, recovery, and management of data intercepted on a communication network
CN103853843A (zh) * 2014-03-20 2014-06-11 浪潮集团山东通用软件有限公司 一种基于主数据映射实现跨安全域数据集中的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070198593A1 (en) * 2005-11-28 2007-08-23 Anand Prahlad Systems and methods for classifying and transferring information in a storage network
US20140059024A1 (en) * 2012-08-27 2014-02-27 Ss8 Networks, Inc. System and method of storage, recovery, and management of data intercepted on a communication network
CN103853843A (zh) * 2014-03-20 2014-06-11 浪潮集团山东通用软件有限公司 一种基于主数据映射实现跨安全域数据集中的方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104993958A (zh) * 2015-06-29 2015-10-21 北京京东尚科信息技术有限公司 一种用户主数据的生成方法及***
CN106126629A (zh) * 2016-06-22 2016-11-16 武汉斗鱼网络科技有限公司 一种基于直播行业的主数据管理方法及***
CN106126629B (zh) * 2016-06-22 2019-07-09 武汉斗鱼网络科技有限公司 一种基于直播行业的主数据管理方法及***
CN108052645A (zh) * 2017-12-26 2018-05-18 重庆信联达软件有限公司 企业内部数据标准化管理方法
CN108121809A (zh) * 2017-12-26 2018-06-05 重庆信联达软件有限公司 企业内部数据标准化实现方法
CN108156061A (zh) * 2017-12-26 2018-06-12 重庆信联达软件有限公司 esb监控服务平台
CN108173711A (zh) * 2017-12-26 2018-06-15 重庆信联达软件有限公司 企业内部***数据交换监控方法
CN108197192A (zh) * 2017-12-26 2018-06-22 重庆信联达软件有限公司 用于实现企业内部数据标准化的主数据***
CN108156061B (zh) * 2017-12-26 2021-06-22 重庆信联达软件有限公司 esb监控服务平台
CN110389845A (zh) * 2019-07-30 2019-10-29 浪潮软件集团有限公司 一种基于主数据管理进行数据广播的方法
CN111324597A (zh) * 2020-03-19 2020-06-23 北京三维天地科技股份有限公司 一种主数据管理方法和***
CN112528331A (zh) * 2020-12-15 2021-03-19 杭州默安科技有限公司 隐私泄露风险的检测方法、设备及***

Similar Documents

Publication Publication Date Title
CN104699860A (zh) 一种共享型主数据的数据加工存储方法
CN103646111B (zh) 大数据环境下实现实时数据关联的***及方法
CN105069109B (zh) 一种分布式数据库扩容的方法和***
CN105068856A (zh) 基于镜像快照的虚拟机备份***及备份方法
CN104102790B (zh) 基于gis的供电图自动成图***及方法
CN107391306A (zh) 一种异构数据库备份文件恢复方法
CN105912691A (zh) 基于分布式存储的电网模型多版本多租户管理***和方法
CN105635311A (zh) 一种云管理平台中资源池信息同步的方法
CN101770518A (zh) 电网企业一体化信息模型元数据管理方法
CN106708941A (zh) 电网多任务在线协同编辑方法
CN104408150A (zh) 一种适应多种数据库数据格式的数据导入导出方法及装置
CN102495916A (zh) 一种基于对象匹配的多应用***全景建模方法
CN109298978A (zh) 一种指定位置的数据库集群的恢复方法及***
CN104699857A (zh) 基于知识工程的大数据存储方法
CN105577423A (zh) 一种实时数据中心群集管理***
CN109361777A (zh) 分布式集群节点状态的同步方法、同步***及相关装置
CN106155838A (zh) 一种数据库备份数据恢复方法及装置
CN107273449B (zh) 一种基于内存数据库的断点处理方法及***
CN106802928B (zh) 电网历史数据管理方法及其***
CN103441988B (zh) 跨gis平台数据迁移方法
CN103207916B (zh) 元数据处理的方法和装置
CN102479205B (zh) 变更单的生成方法及***
CN106250501A (zh) 报表处理方法及报表***
CN105930380A (zh) 一种基于hadoop的图表监控方法和装置
CN111737655A (zh) 一种云管理平台的用户权限管理方法、***及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150610

WD01 Invention patent application deemed withdrawn after publication