CN107480263A - 一种数据资源的管理方法及管理*** - Google Patents
一种数据资源的管理方法及管理*** Download PDFInfo
- Publication number
- CN107480263A CN107480263A CN201710705611.XA CN201710705611A CN107480263A CN 107480263 A CN107480263 A CN 107480263A CN 201710705611 A CN201710705611 A CN 201710705611A CN 107480263 A CN107480263 A CN 107480263A
- Authority
- CN
- China
- Prior art keywords
- data
- subject area
- master data
- management
- business datum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 120
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000012558 master data management Methods 0.000 claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 16
- 238000009825 accumulation Methods 0.000 claims abstract description 12
- 238000009412 basement excavation Methods 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 239000000284 extract Substances 0.000 claims abstract description 7
- 238000007670 refining Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 51
- 238000004140 cleaning Methods 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 32
- 238000005516 engineering process Methods 0.000 claims description 28
- 230000001755 vocal effect Effects 0.000 claims description 23
- 239000000463 material Substances 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 15
- 230000010354 integration Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 238000004519 manufacturing process Methods 0.000 claims description 10
- 238000013439 planning Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000013075 data extraction Methods 0.000 claims description 6
- 238000011160 research Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000008676 import Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000011068 loading method Methods 0.000 claims description 2
- 239000007789 gas Substances 0.000 description 25
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 230000000739 chaotic effect Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000567 combustion gas Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000009916 joint effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种数据资源的管理方法及管理***,所述管理方法包括业务数据积累步骤、业务数据提炼步骤及主数据处理步骤;所述管理***包括业务数据积累模块、抽取转换加载模块、主数据管理模块及元数据管理模块。本发明通过对数据的积累、提炼、分析、挖掘等技术手段有效地解决了数据混乱和可信度问题,以达到提高数据资源的透明度和可获取性,进而达到企业内部数据的融会贯通、加强各部门之间的协作效率、有效降低城镇燃气企业的运营成本等技术目的。
Description
技术领域
本发明涉及数据管理技术领域,更为具体来说,本发明为一种数据资源的管理方法及管理***。
背景技术
在信息化建设高峰期,燃气企业建成的信息***要求具备跨部门或跨***数据访问、共享、使用、迁移、整合的功能,虽然这有力支撑了近年来移动互联网等一系列新技术应用的扩展,但是传统的跨部门或跨***的数据访问、共享、使用、迁移、整合过程存在如下问题。
一、数据混乱问题:包括不同***在进行数据统一时导致的数据混乱问题、复杂业务的问题和内外协作引发的数据混乱问题、历史遗留数据的混乱问题以及缺乏统一的数据定义标准导致的数据混乱问题。
二、数据的可信度问题:由于传统的数据资源管理***无法保证用户数据唯一性,其内部组织结构复杂,有用数据获取难度大;数据多元化、缺乏数据共享等原因导致难以确定数据的真实性和可靠性等问题。
对于上述技术问题,常规的解决方案是:通过技术人员进行手工维护。但是,常规方案不仅耗费了大量人力和物力,而且无法从根本上解决问题,新的数据混乱问题和可信度问题仍然会不断出现。
因此,如何有效解决燃气企业的信息***中存在的数据混乱、数据可信度难以保证等问题,成为了本领域技术人员亟待解决的技术问题和始终研究的重点。
发明内容
为解决现有燃气企业的信息***中存在的数据混乱、数据可信度难以保证等问题,本发明创新地提出了一种数据资源的管理方法及管理***,通过对数据资源优化管理的方式有效提高数据质量,从而实现数据的有效性、可访问性、一致性、安全性及可审计性。
为实现上述技术目的,本发明公开了一种数据资源的管理方法,所述管理方法包括如下步骤,
业务数据积累步骤,在进行业务工作的过程中,不断积累产生的业务数据;
业务数据提炼步骤,从业务数据中导出静态数据和共享数据,将静态数据和共享数据作为主数据,并抽取所述业务数据中的技术元数据;
主数据处理步骤,分析和整理所述主数据后,令主数据标准化;参照所述技术元数据,对所述主数据进行抽取、整合及清洗处理,并将清洗后的主数据进行发布。
通过对业务数据的积累和提炼、对主数据的处理等技术手段,本发明有效提高可数据资源的透明度和数据的可获取性,从而有效的解决了常规的数据资源管理存在的混乱问题和可信度问题,实现企业内部数据的融会贯通,从而加强了各部门之间的协作效率,有效降低城镇燃气企业的运营成本。
本发明在功能上可实现对数据的收集、组织、存储、制定数据标准、监管质量等目的,在内容上可实现包含对企业核心的、最需共享的主数据的管理和对元数据的管理。同时,本发明还能够达到制定企业数据标准的发布、监控数据质量、处理数据质量问题等技术目的。
进一步地,在主数据处理步骤中,还包括对清洗后的主数据进行挖掘的步骤,并将挖掘后的结果发送至数据仓库、数据交换和集成平台、决策分析支持***及商务智能***。
基于上述改进方案,本发明能够实现对数据资源的高效应用,实现对主数据、元数据的统一全生命周期管理,从而保证主数据的准确性、规范性、完整性及唯一性,提高数据质量,有效地为数据资源的深入挖掘工作提供支撑。
进一步地,所述管理方法还包括传输过程监控步骤;
所述传输过程监控步骤,包括对主数据导出过程、对技术元数据抽取过程、对主数据的抽取、整合、清洗处理过程及对清洗后的主数据的发布过程进行监控;根据监控结果确定用于存储当前被监控数据的数据库。
通过对数据传输过程的监控,本发明有效提高了燃气企业的安全管理能力,并可在此基础上进行安全分级和授权工作,从而极大地提高了数据资源的安全性和可靠性。
进一步地,所述管理方法还包括业务数据划分步骤;
所述业务数据划分步骤,在积累业务数据步骤后,将所述业务数据按照主题域的方式进行划分;所述主题域包括战略主题域、规划主题域、计划主题域、投资主题域、科研主题域、财务主题域、营销服务主题域、生产运营主题域、项目主题域、设备主题域、安全主题域、人力资源主题域、物资主题域及综合数据主题域;
在所述业务数据提炼步骤中,在不同的主题域下分别进行主数据导出操作和技术元数据抽取操作。
通过以主题域的方式划分业务数据,可更有针对性、更为合理地处理业务数据,使本发明涉及的数据资源管理更为科学和合理,有利于后期对主数据的发布和挖掘操作。本发明保证了燃气企业内部业务主题域和跨业务主题域等相关数据资源的实时性、含义及质量,保证了各***重复性使用正确的业务数据。此过程整合、存储、同步及维护了企业内业务实体的特定实例,如将企业内财务数据、客户数据等做标准化处理。对于每一个实体,数据资源管理***中保存的数据就是该数据的最终版本,也是所有信息***必须参照的终版。
进一步地,在主数据处理步骤中,同时参照配置数据、规则数据及技术元数据,对所述主数据进行抽取、整合及清洗处理,对处理过程中产生的错误数据进行存储;其中,所述配置数据和规则数据通过手工录入的方式获取。
通过参照配置数据、规则数据及技术元数据的方式,使得本发明能够更好地获取主数据中的有价值的数据,从而实现对数据资源更科学、有效地管理,满足各个业务***更为高效和准确使用的目的。
进一步地,所述业务工作包括企业生产业务工作、物料转移业务工作、事务处理业务工作、现金流动业务工作及客户交互业务工作。
本发明支持全方位的数据查询与展现,实现了跨***、跨业务之间的统一数据视图,有效提高了报表数据准确性和生成速度,提升了数据利用和价值,提高了决策质量,实现快速应对新业务,并能够支持数据整合和报表合并。本发明基于业务数据的绩效分析和绩效管理的方式提升竞争力,支持市场分析、竞争分析、预测分析等各类业务分析,实现更好应对外部环境变化;本发明通过实现业务数据的规范化、标准化,提高数据质量,形成了唯一可信的数据资产,从而建成企业内统一数据管理体系,实现了业务数据的标准化,促进了业务流程标准化和优化;而通过实现数据共享,可支持企业业务协调与贯通。
进一步地,在主数据处理步骤中,通过统一信息编码的方式令主数据标准化。
基于上述改进的技术方案,使本发明达到了破除企业信息孤岛现象、规范业务管理流程、挖掘数据内在价值等技术目的。
本发明还公开了一种数据资源的管理***,所述管理***包括业务数据积累模块、抽取转换加载模块、主数据管理模块及元数据管理模块;
所述业务数据积累模块,用于在进行业务工作的过程中,不断积累并存储产生的业务数据;
所述抽取转换加载模块,用于将业务数据中的主数据导入主数据管理模块、将从业务数据中抽取的技术元数据导入元数据管理模块,还用于对主数据管理模块中的主数据进行抽取、整合及清洗处理,并用于将清洗后的主数据进行发布;
所述主数据管理模块,用于对所述主数据进行统一存储、管理及监控;
所述元数据管理模块,用于对所述技术元数据进行统一存储、管理及监控。
通过对业务数据的积累和提炼、对主数据的处理等技术手段,本发明有效提高可数据资源的透明度和数据的可获取性,从而有效的解决了常规的数据资源管理存在的混乱问题和可信度问题,实现企业内部数据的融会贯通,从而加强了各部门之间的协作效率,有效降低城镇燃气企业的运营成本。
本发明在功能上可实现对数据的收集、组织、存储、制定数据标准、监管质量等目的,在内容上可实现包含对企业核心的、最需共享的主数据的管理和对元数据的管理。同时,本发明还能够达到制定企业数据标准的发布、监控数据质量、处理数据质量问题等技术目的。
进一步地,所述管理***还包括主数据挖掘模块;
所述主数据挖掘模块,用于对清洗后的主数据进行挖掘,并将挖掘后的结果发送至数据仓库、数据交换和集成平台、决策分析支持***及商务智能***。
基于上述改进方案,本发明能够实现对数据资源的高效应用,实现对主数据、元数据的统一全生命周期管理,从而保证主数据的准确性、规范性、完整性及唯一性,提高数据质量,有效地为数据资源的深入挖掘工作提供支撑。
进一步地,所述抽取转换加载模块,还用于对数据传输过程进行监控,包括对主数据导出过程、对技术元数据抽取过程、对主数据的抽取、整合、清洗处理过程及对清洗后的主数据的发布过程进行监控。
通过对数据传输过程的监控,本发明有效提高了燃气企业的安全管理能力,并可在此基础上进行安全分级和授权工作,从而极大地提高了数据资源的安全性和可靠性。
进一步地,所述管理***还包括业务数据划分模块;
所述业务数据划分模块,用于将所述业务数据按照主题域的方式进行划分;所述主题域包括战略主题域、规划主题域、计划主题域、投资主题域、科研主题域、财务主题域、营销服务主题域、生产运营主题域、项目主题域、设备主题域、安全主题域、人力资源主题域、物资主题域及综合数据主题域。
本发明保证了燃气企业内部业务主题域和跨业务主题域等相关数据资源的实时性、含义及质量,保证了各***重复性使用正确的业务数据。此过程整合、存储、同步及维护了企业内业务实体的特定实例,如将企业内财务数据、客户数据等做标准化处理。对于每一个实体,数据资源管理***中保存的数据就是该数据的最终版本,也是所有信息***必须参照的终版。
本发明的有益效果为:本发明通过对数据的积累、提炼、分析、挖掘等技术手段有效地解决了数据混乱和可信度问题,以达到提高数据资源的透明度和可获取性,进而达到企业内部数据的融会贯通、加强各部门之间的协作效率、有效降低城镇燃气企业的运营成本等技术目的。本发明能够保证主数据的完整性、一致性及准确性,包括数据集成、数据发布、数据质量、数据治理四大要素。本发明通过从多个业务***中整合核心的、最需要共享的主数据,集中进行数据清洗和丰富,用服务的方式把统一、完整、准确、有权威性的主数据分发给燃气企业中需要使用这些数据的相关的交易型***和分析型***。
附图说明
图1为本发明数据资源的管理方法的流程示意图。
图2为本发明涉及数据的流向示意图。
图3为本发明数据资源的管理***的结构示意图。
具体实施方式
下面结合说明书附图对本发明数据资源的管理方法及管理***进行详细的解释和说明。
实施例一:
如图1、图2所示,本实施例公开了一种数据资源的管理方法,数据资源是维持现代企业正常运行的基本养分,其形成基于企业业务工作产生的数据,对于“数据资源”,应理解为包括主数据、元数据等对企业正常运行有帮助的所有相关数据。本实施例中,企业业务工作具体指燃气企业业务工作。具体来说,该管理方法包括如下步骤。
业务数据积累步骤,在进行业务工作的过程中,不断积累产生的业务数据;本实施例中,业务工作包括企业生产业务工作、物料转移业务工作、事务处理业务工作、现金流动业务工作及客户交互业务工作,上述的业务工作过程产生的数据正日益成为企业的重要资产,也是提升企业竞争力的基础要素。
本实施例中,该管理方法还包括业务数据划分步骤;具体来说,业务数据划分步骤:在积累业务数据步骤后,将业务数据按照主题域的方式进行划分;主题域包括战略主题域、规划主题域、计划主题域、投资主题域、科研主题域、财务主题域、营销服务主题域、生产运营主题域、项目主题域、设备主题域、安全主题域、人力资源主题域、物资主题域及综合数据主题域等。
业务数据提炼步骤,对所有的业务数据进行调查和分析,识别、梳理主数据后制定主数据标准,具体的主数据标准根据实际情况的需要而合理的制定,从业务数据中导出静态数据和共享数据,将静态数据和共享数据作为主数据,并抽取业务数据中的技术元数据;为针对性地进行主数据和技术元数据的处理,本实施例在业务数据提炼步骤中,在不同的主题域下分别进行主数据导出操作和技术元数据抽取操作,从而实现在前期的数据处理过程中即实现了初步的分类,以便于后期的处理。
在上述步骤中,本发明的管理方法还包括传输过程监控步骤;具体地,传输过程监控步骤包括对主数据导出过程、对技术元数据抽取过程、对主数据的抽取、整合、清洗处理过程及对清洗后的主数据的发布过程进行监控;根据监控结果确定用于存储当前被监控数据的数据库,比如按照数据的用途或类型分别进行存储等,实现具有不同作用的数据之间的区分。
主数据处理步骤,分析和整理主数据后,令主数据标准化;参照技术元数据,对主数据进行抽取、整合及清洗处理,并将清洗后的主数据进行发布,比如,将清洗后的主数据发布给各个业务***使用,对于燃气企业来说,业务***可包括客服***、销售计费***、资金管理***、财务核算管理***、物资管理***、工程项目管理***、设备资产管理***、人力资源***等。本实施例中,为提高抽取、整合及清洗的效果,在主数据处理步骤中,同时参照配置数据、规则数据及技术元数据,对主数据进行抽取、整合及清洗处理,对处理过程中产生的错误数据进行存储;其中,配置数据和规则数据通过手工录入的方式获取。本步骤中,还包括对清洗后的主数据进行挖掘的步骤,并将挖掘后的结果发送至数据仓库、数据交换和集成平台、决策分析支持***及商务智能(BI)***等,从而实现对数据资源的深入挖掘和利用。
针对燃气企业来说,本发明通过积累、分析、挖掘燃气企业生产数据和经营数据,以实现在应急抢修、事故预防、管道完整性管理、优化维检修策略、物资采购与调度等方面有效提高城镇燃气企业的安全管理能力;基于上述的方案,本发明通过提高数据资源的透明度和数据的可获取性,实现企业内部数据的融会贯通,从而加强了各部门之间的协作效率,有效降低城镇燃气企业的运营成本;另外,通过对城镇燃气企业大量基于用户的信息的挖掘、整合及定制化分析,可有效地实现指导创新燃气用户服务等技术目的。
本发明有效提高了数据质量,建立统一的主数据管理和运维机制,为各类基层业务经办单元准确提供统一的基本信息;建立数据资产目录,为数据资源管理***的规划、建设、扩充及数据交换等提供元数据管理服务;建立一系列制度、流程作为各数据库建立需遵循的标准规范;并基于数据标准进行数据质量的监控、评估及优化,可以有效地开展数据安全分级和授权工作。
实施例二:
如图2、图3所示,基于与实施例一中涉及的数据资源的管理方法的相同的发明构思,本实施例对应提出了一种数据资源的管理***,该管理***包括业务数据积累模块、抽取转换加载模块、主数据管理模块、元数据管理模块、主数据挖掘模块及业务数据划分模块等。
业务数据积累模块,用于在进行业务工作的过程中,不断积累并存储产生的业务数据;本实施例中,业务工作可包括企业生产业务工作、物料转移业务工作、事务处理业务工作、现金流动业务工作以及客户交互业务工作等。
抽取转换加载模块,用于将业务数据中的主数据导入主数据管理模块、将从业务数据中抽取的技术元数据导入元数据管理模块,还用于对主数据管理模块中的主数据进行抽取、整合及清洗处理,并用于将清洗后的主数据进行发布;在本实施例中,抽取转换加载模块,还用于对数据传输过程进行监控,包括对主数据导出过程、对技术元数据抽取过程、对主数据的抽取、整合、清洗处理过程及对清洗后的主数据的发布过程进行监控。本实施例中,抽取转换加载模块具体是通过ETL(Extract-Transform-Load) 工具实现,配置数据是指ETL工具抽取等过程所需的清洗规则、数据库映射等配置数据。
主数据管理模块,用于对主数据进行统一集中的存储、管理及监控,从而形成了企业“黄金数据”。当然,除了抽取获得的主数据外,本发明的主数据管理模块也可支持手工录入、文件批量导入等功能,实现将一些其他方式得到的主数据手工录入至主数据管理模块,与通过导出的主数据一起通过主数据管理模块进行统一的存储和管理。
元数据管理模块,用于对技术元数据进行统一存储、管理及监控,本实施例中,元数据管理模块还包括对业务元数据进行管理,业务元数据也用于保证主数据质量,业务元数据可通过手工录入至管理***中,可理解为本发明涉及的元数据包括技术元数据和业务元数据。元数据是保证数据质量的关键,通过元数据管理模块自动采集燃气企业已建和正在建的多个信息***中的数据库对象信息,可管理企业数据资产的流程,并能集成、链接及集中管理多个来源的元数据,便于在燃气企业全局范围内妥善维护、分析、消费及解释数据。元数据管理模块通过重复使用有用数据,加强了一致性并消除了冗余。通过减少冗余或未使用数据,推进了硬软件整合并节省了成本。具体实施时,元数据管理模块中可构建中央元数据资料库,用于保存企业知识资产,降低了人员特别是关键员工流动带来的知识资产流失风险,且集成的元数据可帮助燃气企业了解数据类型、数据存储位置及其含义,从而最大限度降低信息复杂性、增加企业向业务用户进行数据交付的信心。
主数据挖掘模块,用于对清洗后的主数据进行挖掘,并将挖掘后的结果发送至数据仓库、数据交换和集成平台、决策分析支持***及商务智能***。本实施例通过对城镇燃气企业大量基于用户的信息的挖掘、整合及定制化分析,可有效地实现指导创新燃气用户服务等技术目的。
业务数据划分模块,也用于将业务数据按照主题域的方式进行划分;主题域包括战略主题域、规划主题域、计划主题域、投资主题域、科研主题域、财务主题域、营销服务主题域、生产运营主题域、项目主题域、设备主题域、安全主题域、人力资源主题域、物资主题域及综合数据主题域。
不仅如此,在本发明的技术启示下,还可根据需要设置数据质量管理模块、数据标准管理模块、数据安全管理模块、门户页面管理模块等,以完成对数据标准、数据质量、数据安全、门户页面等多个方面进行针对性管理。
比如,通过数据质量管理模块,可深化本发明的数据质量管理能力、构建业务***联动机制,实现了业务***核心数据稽核、业务***元数据稽核、数据实体检查、处理过程检查及关键指标检查,实现了业务***的全流程数据质量监控,可提前发现和及时处理数据质量问题。并根据数据质量评估指标和评估方法,实现对业务接口基础数据质量的评价,可发现数据质量潜在的问题和规律,作为数据质量改进的参考和依据。通过汇总、梳理、统计及分析数据质量管理模块的各种信息,可提供全面及时的数据质量报告,预防和控制扩大错误范围,便于数据质量管理信息总结、知识沉淀及经验重用。
再比如,通过数据标准管理模块,实现标准从计划下达、文本编写、意见征求、文件审核、文件发布、文件受控的全生命周期管理。针对燃气企业的企业需求,实现标准流程的定制,通过制定元数据的属性和代码,从元数据的描述方法、字段名命名规则、数据类型及格式的表示法三方面规范元数据的标准,该模块可实现流程定制及信息加密功能,通过结合互联网技术、数据库、信息加密技术,在数据标准化方面达到了以下作用: (1)实现标准化各项工作的集成管理和对标准信息进行管理统计。标准管理人员可对各部门应用的标准进行审核,提供网上标准借阅、标准订购等功能;(2)实现信息数据的及时传递,解决了上下级管理部门间标准化信息无法及时共享和传递的问题,并实现各部门通过浏览器浏览标准全文文本,能为各部门提供通用、灵活的检索途径,进行快速检索查询,(3) 能够采集管理新标准文献,对新标准及时建档,完成新旧标准信息的替代工作,并规范业务流程和数据信息流程,达到按规定办理业务,申报材料违反规定的可通过***的数据信息过滤进行提示,并由本发明提供强大的检索和分析功能,有效利用有价值信息,支持决策。
再比如,通过数据安全管理模块,可利用身份认证和访问控制、数据内容安全、监控审计三大安全保障技术,在应用安全、数据库安全、资源访问安全、存储安全四方面对燃气数据资源管理***提供数据安全保障,实现了数据资源管理***数据安全进行统一管理、集中监视、实时跟踪的统一平台,并主要提供应用访问安全、数据库安全管理、存储安全监控、数据安全等级管理、安全事件管理、安全事件知识库管理等能力。
在***技术框架上,该数据资源的管理***可以分为:操作***层,数据抽取、整合、清洗、发布层,基础平台层及应用层。在本实施例中,操作***层可通过IBM AIX 7.1操作***实现;数据抽取、整合、清洗、发布层通过ETL工具实现,ETL工具具体可采用OracleData Integrator,并为Oracle Data Integrator部署Oracle database 11g数据库和独立的 Weblogic服务器,使用UniEAP Data Exchange作为辅助ETL工具;对于基础平台层及应用层,本实施例部署Oracle EBS套件,启用Oracle Product Hub模块对物资主数据进行管理、分发,而其他类别的主数据将基于UniEAP平台采用Java技术进行二次开发实现,并采用Weblogic 套件做为Web服务器,其中,物资主数据的存储使用Oracle EBS套件中自带的Oracle database数据库,其他类别主数据存储使用独立部署的 Oracle database 11g数据库,在实际应用中业务人员希望展现的是完整的主数据视图,因此本实施例中物资主数据库和其他类别的主数据库采用 DB-LINK技术进行数据库共享。本发明涉及的资源管理***基于 UniEAP平台采用Java技术,开发元数据管理模块和门户页面管理模块,采用Weblogic套件作为Web服务器,分别部署,而元数据管理模块和门户页面管理模块所涉及的数据存储到主数据(物资以外)数据库中。
在本说明书的描述中,参考术语“本实施例”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明实质内容上所作的任何修改、等同替换和简单改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据资源的管理方法,其特征在于:所述管理方法包括如下步骤,
业务数据积累步骤,在进行业务工作的过程中,不断积累产生的业务数据;
业务数据提炼步骤,从业务数据中导出静态数据和共享数据,将所述静态数据和共享数据作为主数据,并抽取所述业务数据中的技术元数据;
主数据处理步骤,分析和整理所述主数据后,令主数据标准化;参照所述技术元数据,对所述主数据进行抽取、整合及清洗处理,并将清洗后的主数据进行发布。
2.根据权利要求1所述的数据资源的管理方法,其特征在于:在主数据处理步骤中,还包括对清洗后的主数据进行挖掘的步骤,并将挖掘后的结果发送至数据仓库、数据交换和集成平台、决策分析支持***及商务智能***。
3.根据权利要求1或2所述的数据资源的管理方法,其特征在于:所述管理方法还包括传输过程监控步骤;
所述传输过程监控步骤,包括对主数据导出过程、对技术元数据抽取过程、对主数据的抽取、整合、清洗处理过程及对清洗后的主数据的发布过程进行监控;根据监控结果确定用于存储当前被监控数据的数据库。
4.根据权利要求3所述的数据资源的管理方法,其特征在于:所述管理方法还包括业务数据划分步骤;
所述业务数据划分步骤,在积累业务数据步骤后,将所述业务数据按照主题域的方式进行划分;所述主题域包括战略主题域、规划主题域、计划主题域、投资主题域、科研主题域、财务主题域、营销服务主题域、生产运营主题域、项目主题域、设备主题域、安全主题域、人力资源主题域、物资主题域及综合数据主题域;
在所述业务数据提炼步骤中,在不同的主题域下分别进行主数据导出操作和技术元数据抽取操作。
5.根据权利要求1、2或4所述的数据资源的管理方法,其特征在于:在主数据处理步骤中,同时参照配置数据、规则数据及技术元数据,对所述主数据进行抽取、整合及清洗处理,对处理过程中产生的错误数据进行存储;其中,所述配置数据和规则数据通过手工录入的方式获取。
6.根据权利要求5所述的数据资源的管理方法,其特征在于:所述业务工作包括企业生产业务工作、物料转移业务工作、事务处理业务工作、现金流动业务工作及客户交互业务工作。
7.一种数据资源的管理***,其特征在于:所述管理***包括业务数据积累模块、抽取转换加载模块、主数据管理模块及元数据管理模块;
所述业务数据积累模块,用于在进行业务工作的过程中,不断积累并存储产生的业务数据;
所述抽取转换加载模块,用于将业务数据中的主数据导入主数据管理模块、将从业务数据中抽取的技术元数据导入元数据管理模块,还用于对主数据管理模块中的主数据进行抽取、整合及清洗处理,并用于将清洗后的主数据进行发布;
所述主数据管理模块,用于对所述主数据进行统一存储、管理及监控;
所述元数据管理模块,用于对所述技术元数据进行统一存储、管理及监控。
8.根据权利要求7所述的数据资源的管理***,其特征在于:所述管理***还包括主数据挖掘模块;
所述主数据挖掘模块,用于对清洗后的主数据进行挖掘,并将挖掘后的结果发送至数据仓库、数据交换和集成平台、决策分析支持***及商务智能***。
9.根据权利要求7或8所述的数据资源的管理***,其特征在于:所述抽取转换加载模块,还用于对数据传输过程进行监控,包括对主数据导出过程、对技术元数据抽取过程、对主数据的抽取、整合、清洗处理过程及对清洗后的主数据的发布过程进行监控。
10.根据权利要求9所述的数据资源的管理***,其特征在于:所述管理***还包括业务数据划分模块;
所述业务数据划分模块,用于将所述业务数据按照主题域的方式进行划分;所述主题域包括战略主题域、规划主题域、计划主题域、投资主题域、科研主题域、财务主题域、营销服务主题域、生产运营主题域、项目主题域、设备主题域、安全主题域、人力资源主题域、物资主题域及综合数据主题域。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610685796 | 2016-08-19 | ||
CN2016106857968 | 2016-08-19 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107480263A true CN107480263A (zh) | 2017-12-15 |
Family
ID=60598914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710705611.XA Pending CN107480263A (zh) | 2016-08-19 | 2017-08-17 | 一种数据资源的管理方法及管理*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107480263A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108520008A (zh) * | 2018-03-15 | 2018-09-11 | 链家网(北京)科技有限公司 | 数据仓库模型的构建方法及构建装置 |
CN109408502A (zh) * | 2018-11-14 | 2019-03-01 | 成都四方伟业软件股份有限公司 | 一种数据标准处理方法、装置及其存储介质 |
CN109857730A (zh) * | 2018-12-29 | 2019-06-07 | 三盟科技股份有限公司 | 面向教育的数据治理管理方法及*** |
CN110175205A (zh) * | 2019-05-21 | 2019-08-27 | 浙江申跃信息科技有限公司 | antb数据管理平台 |
CN110188088A (zh) * | 2019-05-23 | 2019-08-30 | 广东海洋大学 | 一种海上船舶采砂行为大数据模型 |
CN111143651A (zh) * | 2019-12-23 | 2020-05-12 | 安徽海豚新媒体产业发展有限公司 | 一种新媒体一体化运营管理用数据采集分析*** |
CN111427876A (zh) * | 2020-03-19 | 2020-07-17 | 北京三维天地科技股份有限公司 | 一种数据资产管理方法和*** |
CN112052284A (zh) * | 2020-08-26 | 2020-12-08 | 南京越扬科技有限公司 | 一种大数据下的主数据管理方法及*** |
CN113254508A (zh) * | 2021-06-22 | 2021-08-13 | 西南石油大学 | 一种天然气管道清管作业的数据仓库及数据挖掘方法 |
CN114529162A (zh) * | 2022-01-21 | 2022-05-24 | 中国科学院深圳先进技术研究院 | 一种面向城市决策和评估的多尺度信息目录构建*** |
CN114969011A (zh) * | 2022-06-13 | 2022-08-30 | 山东威海烟草有限公司 | 一种企业数据集中构建***及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103136249A (zh) * | 2011-11-30 | 2013-06-05 | 北京航天长峰科技工业集团有限公司 | 多模态异构数据整合***及方法 |
US20130332408A1 (en) * | 2012-06-11 | 2013-12-12 | International Business Machines Corporation | In-querying data cleansing with semantic standardization |
-
2017
- 2017-08-17 CN CN201710705611.XA patent/CN107480263A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103136249A (zh) * | 2011-11-30 | 2013-06-05 | 北京航天长峰科技工业集团有限公司 | 多模态异构数据整合***及方法 |
US20130332408A1 (en) * | 2012-06-11 | 2013-12-12 | International Business Machines Corporation | In-querying data cleansing with semantic standardization |
Non-Patent Citations (1)
Title |
---|
金洁羽 等: "城镇燃气企业数据资源管理体系的建设实践", 《煤 气 与 热 力》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108520008A (zh) * | 2018-03-15 | 2018-09-11 | 链家网(北京)科技有限公司 | 数据仓库模型的构建方法及构建装置 |
CN109408502A (zh) * | 2018-11-14 | 2019-03-01 | 成都四方伟业软件股份有限公司 | 一种数据标准处理方法、装置及其存储介质 |
CN109857730A (zh) * | 2018-12-29 | 2019-06-07 | 三盟科技股份有限公司 | 面向教育的数据治理管理方法及*** |
CN110175205A (zh) * | 2019-05-21 | 2019-08-27 | 浙江申跃信息科技有限公司 | antb数据管理平台 |
CN110188088A (zh) * | 2019-05-23 | 2019-08-30 | 广东海洋大学 | 一种海上船舶采砂行为大数据模型 |
CN111143651B (zh) * | 2019-12-23 | 2023-11-17 | 安徽海豚新媒体产业发展有限公司 | 一种新媒体一体化运营管理用数据采集分析*** |
CN111143651A (zh) * | 2019-12-23 | 2020-05-12 | 安徽海豚新媒体产业发展有限公司 | 一种新媒体一体化运营管理用数据采集分析*** |
CN111427876A (zh) * | 2020-03-19 | 2020-07-17 | 北京三维天地科技股份有限公司 | 一种数据资产管理方法和*** |
CN112052284A (zh) * | 2020-08-26 | 2020-12-08 | 南京越扬科技有限公司 | 一种大数据下的主数据管理方法及*** |
CN113254508A (zh) * | 2021-06-22 | 2021-08-13 | 西南石油大学 | 一种天然气管道清管作业的数据仓库及数据挖掘方法 |
CN113254508B (zh) * | 2021-06-22 | 2022-10-11 | 西南石油大学 | 一种天然气管道清管作业的数据仓库及数据挖掘方法 |
CN114529162A (zh) * | 2022-01-21 | 2022-05-24 | 中国科学院深圳先进技术研究院 | 一种面向城市决策和评估的多尺度信息目录构建*** |
CN114969011A (zh) * | 2022-06-13 | 2022-08-30 | 山东威海烟草有限公司 | 一种企业数据集中构建***及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107480263A (zh) | 一种数据资源的管理方法及管理*** | |
CN110415831B (zh) | 一种医疗大数据云服务分析平台 | |
US8813022B2 (en) | Aggregating business analytics architecture and configurator | |
CN107766579A (zh) | 基于xbrl标准的主数据管理***的设计方法 | |
CN112699175A (zh) | 一种数据治理***及其方法 | |
CN108446972A (zh) | 银行头寸监控方法、装置及资金头寸管理*** | |
CN102663008B (zh) | 政府综合业务平台业务库和基础库的构建方法 | |
CN110414802A (zh) | 集团经营决策分析驾驶舱*** | |
CN113094385A (zh) | 一种基于软件定义开放工具集的数据共享融合平台及方法 | |
CN111126955A (zh) | 业务数据分析方法、处理服务器及存储介质 | |
CN111370143A (zh) | 一种医疗数据集成平台处理*** | |
CN112506892A (zh) | 一种基于元数据技术的指标溯源管理*** | |
CN115496337A (zh) | 一种支撑企业大脑的数据*** | |
CN106355489A (zh) | 一种面向管理的数据中心***及数据处理方法 | |
Li et al. | Fuzzy clustering-based financial data mining system analysis and design | |
Si | Construction and application of enterprise internal audit data analysis model based on decision tree algorithm | |
Su et al. | Data governance facilitate digital transformation of oil and gas industry | |
CN117709901A (zh) | 基于区块链的科技成果全流程管控方法及*** | |
CN102902614B (zh) | 一种动态监测及智能引导方法 | |
Paim et al. | Enhancing Data Warehouse Design with the NFR Framework. | |
CN110969407A (zh) | 一种专利信息管理平台及管理方法 | |
CN113706101B (zh) | 电网项目管理智能***架构及方法 | |
CN111626703A (zh) | 基于条目式的记事记账计数计件项目管理*** | |
Su | [Retracted] Define Electronic Enterprise Financial Management Information Decision‐Making Process Based on IoT and the ERP Model | |
Tian | AI-Assisted Dynamic Modeling for Data Management in a Distributed System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171215 |