CN114281795A - 一种基于业务数据标准表的数据模型构建方法 - Google Patents

一种基于业务数据标准表的数据模型构建方法 Download PDF

Info

Publication number
CN114281795A
CN114281795A CN202111384691.6A CN202111384691A CN114281795A CN 114281795 A CN114281795 A CN 114281795A CN 202111384691 A CN202111384691 A CN 202111384691A CN 114281795 A CN114281795 A CN 114281795A
Authority
CN
China
Prior art keywords
service
data
business
standard
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111384691.6A
Other languages
English (en)
Inventor
蔡敬东
王增志
刘明巍
宋志伟
陈广
张柯
贺绍鹏
张萌
李志�
陈今
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Anhui Jiyuan Software Co Ltd
State Grid Materials Co Ltd
Original Assignee
State Grid Corp of China SGCC
Anhui Jiyuan Software Co Ltd
State Grid Materials Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Anhui Jiyuan Software Co Ltd, State Grid Materials Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202111384691.6A priority Critical patent/CN114281795A/zh
Publication of CN114281795A publication Critical patent/CN114281795A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于业务数据标准表的数据模型构建方法,包括以下步骤:步骤(1).制定业务数据规范;步骤(2).构建业务标准信息库;步骤(3).识别业务标准信息‑源端***表数据逻辑关系,构建业务与数据血缘关系字典;步骤(4)通过业务标准信息库、业务与数据血缘关系字典创建业务数据模型;步骤(5).快速响应各类数据服务,依托业务数据模型,实现前端需求的快速响应。本发明基于业务数据规范生成业务数据模型,从“数据资源”中提炼“数据资产”,明确数据权属关系,方便业务用户、数据管理人员、技术人员高效开展数据应用、数据共享、数据资产交易、数据架构管控等各类业务数据管理活动。

Description

一种基于业务数据标准表的数据模型构建方法
技术领域
本发明涉及信息化及大数据技术领域,具体为一种基于业务数据标准表的数据模型构建方法。
背景技术
传统的数据建模工作主要由信息化部门主导,一般从技术视角出发,遵从第三范式建模方法,导致数据目录专业性强、数据关系错综复杂、溯源难,表与表之间的关联关系不清,业务人员“看不懂数据底表”、“数据溯源难”、“逻辑编写难”。
针对以上不足,本发明从业务视角出发,提出一套突破第三范式约束,通过制定业务数据规范,建立业务标准信息库,构建具备松耦合特性的业务与数据逻辑关系字典,真正实现数据“业务化”、“资产化”,支撑业务侧通过更容易理解的业务语言快速建模,数据溯源,高效开展业务数据资产管理及应用场景建设。
发明内容
本发明所解决的技术问题在于提供一种基于业务数据标准表的数据模型构建方法,业务数据模型为“长柄星型”分级汇总结构,由业务主表外加若干个关联的附表组成,业务差异化字段通过附表去区分,按照业务数据规范实体上下级关系,与其它业务主表可通过业务主外键ID关联,以解决上述背景技术中提出的问题。
本发明所解决的技术问题采用以下技术方案来实现:一种基于业务数据标准表的数据模型构建方法,包括以下步骤:
步骤(1).制定业务数据规范,准确理解并定义统一的业务标准信息;
步骤(2).构建业务标准信息库,识别核心业务实体、属性与业务数据模型业务标准信息表关系,识别核心公共标准代码与业务数据模型业务标准编码表的关系;
步骤(3).识别业务标准信息-源端***表数据逻辑关系,构建业务与数据血缘关系字典;
步骤(4)通过业务标准信息库、业务与数据血缘关系字典创建业务数据模型;
步骤(5).快速响应各类数据服务,依托业务数据模型,实现前端需求的快速响应。
所述步骤(1)中按照业务域-业务流程-业务对象-业务信息的方式对业务涉及的标准化、计划、采购、合同、仓储、配送、质量监督、报废物资、督查、专家、供应商、应急业务域进行层层分解,通过业务流程和业务活动的梳理,将业务活动进行解耦拆分成最小单元,抽象出核心业务实体、业务属性和公共标准代码。
所述步骤(2)中业务数据标准信息库按照自顶向下与自底向上相结合的方式进行创建,一方面以业务应用场景需求为驱动,识别各类应用场景中涉及的业务实体、业务属性和公共标准代码等业务数据要素;一方面从全局角度构建统一的业务标准编码表,按照业务域进行归纳,将各业务数据要素通过松耦合自由组合的方式构建深度契合业务应用场景需求的业务标准信息表,并通过***进行在线化管理。
所述步骤(2)具体步骤包括:
S1.识别业务流程的中业务核心实体和属性所涉及的业务基本信息和业务编码;
S2.设计业务标准信息表、设计业务标准编码表,提取业务信息和业务编码构建业务标准编码表和业务标准信息表,形成业务标准信息库;
S3.根据业务颗粒度,按汇总层、明细层的方式,在业务数据模型层(中台共享层)分层分类建立“长柄星型”结构的业务数据模型,完善业务标准信息库。
所述步骤(3)中业务与数据血缘关系字典包括业务-数据映射关系字典,数据-数据关联关系字典,参考业务数据规范信息,应用业务流分析法从业务流程中提炼关键业务信息,结合业务***前端操作及后台数据库表对应关系,完成业务-数据映射关系梳理;同时,从业务流中业务信息前后传递关系、数据库主外键关系中提炼数据-数据关联关系,形成覆盖数据全生命周期的数据链路,将主体责任细化落实到数据链路各个环节,并通过***进行可视化管理,用于支撑业务数据溯源、分析数据变动影响、辅助数据架构管控。
所述步骤(3)具体步骤包括:
S1.识别业务标准信息表与源端***表数据映射关系,包括包含业务-数据映射关系字典,完成业务标准信息表准确溯源;
S2.识别业务标准信息表涉及的源端***表之间关联关系,限制条件,包括数据-数据关联关系字典,完成表-表关联关系图谱构建。
根据业务数据规范业务实体定义及应用场景数据需求综合分析创建业务数据模型主表,为满足同一业务数据模型在不同业务过程中的个性化信息处理需求,通过关联附表方式对主表信息进行扩展,同时,以业务数据血缘关系为脉络梳理出相关主表定义,逐步覆盖全业务过程。
所述步骤(4)具体步骤包括:
S1.针对具体业务分析应用场景,进行需求分析,识别应用场景所涉及的核心实体、属性、公共标准代码;
S2.通过管理工具在线选取适当的业务实体、业务属性、公共标准代码,完成业务标准信息模型构建;
S3.依据步骤(2)、步骤(3)建立的业务标准信息库、业务与数据逻辑关系字典,自动生成业务数据模型。
与现有技术相比,本发明的有益效果是:本发明基于业务数据规范生成业务数据模型,从“数据资源”中提炼“数据资产”,明确数据权属关系,方便业务用户、数据管理人员、技术人员高效开展数据应用、数据共享、数据资产交易、数据架构管控等各类业务数据管理活动。
附图说明
图1为本发明的方法流程示意图。
图2为本发明的步骤(3)流程示意图。
图3为本发明的业务数据模型构建流程图。
图4为本发明的业务数据模型构建示例示意图。
图5为本发明的业务数据模型应用架构图.
图6为本发明的业务数据规范示例。
图7为本发明的业务数据规范管理页面示意图。
图8为本发明的业务标准信息表构建示意图。
图9为本发明的业务标准表管理页面示意图。
图10为本发明的业务与数据血缘关系字典管理页面示意图。
图11为本发明的业务数据模型管理示意图。
图12为本发明的业务数据模型物理表管理页面示意图。
具体实施方式
为了使本发明的实现技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体图示,进一步阐述本发明。
如图1~12所示,一种基于业务数据标准表的数据模型构建方法,包括以下步骤:
步骤(1).制定业务数据规范,准确理解并定义统一的业务标准信息;按照业务域-业务流程-业务对象-业务信息的方式对业务涉及的标准化、计划、采购、合同、仓储、配送、质量监督、报废物资、督查、专家、供应商、应急业务域进行层层分解,通过业务流程和业务活动的梳理,将业务活动进行解耦拆分成最小单元,抽象出核心业务实体、业务属性和公共标准代码。按照“统一命名、统一定义、统一规则、统一源头”的原则,制定业务数据规范,并通过***进行结构化管理;
步骤(2).构建业务标准信息库,识别核心业务实体、属性与业务数据模型业务标准信息表关系,识别核心公共标准代码与业务数据模型业务标准编码表的关系;务数据标准信息库按照自顶向下与自底向上相结合的方式进行创建,一方面以业务应用场景需求为驱动,识别各类应用场景中涉及的业务实体、业务属性和公共标准代码等业务数据要素;一方面从全局角度构建统一的业务标准编码表,按照业务域进行归纳,将各业务数据要素通过松耦合自由组合的方式构建深度契合业务应用场景需求的业务标准信息表,并通过***进行在线化管理;
1.步骤(3).识别业务标准信息-源端***表数据逻辑关系,构建业务与数据血缘关系字典;
2.所述步骤(3)中业务与数据血缘关系字典包括业务-数据映射关系字典,数据-数据关联关系字典,参考业务数据规范信息,应用业务流分析法从业务流程中提炼关键业务信息,结合业务***前端操作及后台数据库表对应关系,完成业务-数据映射关系梳理;同时,从业务流中业务信息前后传递关系、数据库主外键关系中提炼数据-数据关联关系,形成覆盖数据全生命周期的数据链路,将主体责任细化落实到数据链路各个环节,并通过***进行可视化管理,用于支撑业务数据溯源、分析数据变动影响、辅助数据架构管控。
步骤(4)通过业务标准信息库、业务与数据血缘关系字典创建业务数据模型;根据业务数据规范业务实体定义创建业务数据模型主表,为满足同一业务实体在不同业务过程中的个性化信息处理需求,通过关联附表方式对主表信息进行扩展,例如采购合同业务实体,合同类型为批次合同时增加批次类合同附表信息,合同类型为框架协议时增加框架协议类合同附表信息。同时,以业务数据血缘关系为脉络梳理出相关主表定义,逐步覆盖全业务过程。
步骤(5).快速响应各类数据服务,依托业务数据模型,实现前端需求的快速响应。
所述步骤(2)具体步骤包括:
S1.识别业务总线矩阵的中业务核心实体和属性所涉及的业务基本信息和业务编码;
S2.设计业务标准信息表、设计业务标准编码表,提取业务信息和业务编码构建业务标准编码表和业务标准信息表,形成业务标准信息库。
所述步骤(3)具体步骤包括:
S1.识别业务标准信息表与源端***表数据映射关系,包括包含业务-数据映射关系字典,数据-数据关联关系字典;
S2.识别业务标准信息表涉及的源端***表之间关联关系,限制条件,完成业务标准信息表准确溯源。
所述步骤(4)具体步骤包括:
S1.针对具体业务分析应用场景,进行需求分析,识别应用场景所涉及的核心实体、属性、公共标准代码;
S2.通过管理工具在线选取适当的业务实体、业务属性、公共标准代码,完成业务标准信息模型构建;
S3.依据步骤(2)、步骤(3)建立的业务标准信息库、业务与数据逻辑关系字典,自动生成业务数据模型。
本发明可以实现基于业务数据模型,将源端业务***数据业务化,从“数据资源”中提炼“数据资产”,真正实现数据资产化管理。基于业务数据模型构建数据责任矩阵,明确数据权责关系,为数据应用、数据安全管理、数据资产共享开放乃至数据资产交易、数据安全管理提供组织保障,奠定管理基础。基于业务数据模型开展数据共享及应用开发,基于业务数据模型提报分析类业务需求,沉淀数据应用分析模型,形成数据血缘关系图谱,彻底解决“看不懂数据底表”、“数据溯源难”、“逻辑编写难”等问题,让业务人员可以通过业务语言快速完成业务场景构建。基于业务数据模型开展跨层级数据上传和下发,开发数据链路监测工具,实现数据跨层级全链路监控,问题及时发现、及时定位和治理。基于业务数据模型开展源端***数据架构管控,通过业务数据模型的血缘分析、影响分析,快速定位源端***影响业务发展和变革的因素,反向推动源端***数据架构开展适应性调整,快速迭代,满足业务数字化转型发展需要。
本发明中业务标准编码又称参考数据,是用来规范某些特定属性允许取值范围的若干“码值对”集合,使用代码表示特定值,为进一步规范数据,应统一定义、维护和使用业务相关公共标准代码。
主键为实体中能够唯一标识一个特定业务实体的关键属性,为简化实体关系、避免多键关联,通常定义一个没有特定业务意义的ID属性作为主键,例如人员ID、合同ID、物料ID等。
外键用来引用其他实体信息的属性,通常是其他实体主键,例如采购合同实体通过工程项目ID关联工程项目实体,以避免在采购合同中直接定义项目编号、项目名称、项目单位等与工程项目相关属性。
面向主题的数据应用模型是对现代智慧数据应用的模型化表述,包括模型类别、名称、用途描述、发布单位、发布时间、基础数据等信息,反映了数据与数据应用间的对应关系。
业务标准信息表:根据业务数据标准规范创建的用于结构化管理业务信息逻辑结构的表单,包括业务定义、业务注释…,是后续创建业务标准信息库的基础。
业务过程:指在业务中发生的最小单元的行为或事务,不可再拆分事件,比如创建订单,浏览网页等等。业务过程产生的行为明细,比如支付了一笔订单,浏览了某个网页,最终都会汇集到业务标准信息表中,而大部分情况下,业务标准信息表都会聚焦于某个特定的业务过程。
业务标准信息库:根据实际业务,按专业进行分类,将具有统计分析价值的业务数据字段进行规范梳理,汇总成为业务标准表库。按照业务专业分类,从业务角度规范具有统计分析价值的业务数据,形成一套业务标准表及其字段的基础库。
业务-数据血缘关系字典:根据业务标准表库,与源端***字段进行对应,建立业务标准表与源端***底表的对应及关联关系,提取最终应用数据,实现快速精准定位。以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明的要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于业务数据标准表的数据模型构建方法,其特征在于:包括以下步骤:
步骤(1).制定业务数据规范,准确理解并定义统一的业务标准信息;
步骤(2).构建业务标准信息库,识别核心业务实体、属性与业务数据模型业务标准信息表关系,结合自顶向下的应用场景需求信息与自底向上的业务数据规范,通过第三范式“退化”方式,构建业务标准信息,识别核心公共标准代码与业务数据模型业务标准编码表的关系;
步骤(3).识别业务标准信息-源端***表数据逻辑关系,构建业务与数据血缘关系字典;
步骤(4).通过业务标准信息库、业务与数据血缘关系字典创建业务数据模型;
步骤(5).快速响应各类数据服务,依托业务数据模型,实现前端需求的快速响应。
2.根据权利要求1所述的一种基于业务数据标准表的数据模型构建方法,其特征在于:所述步骤(1)中按照业务域-业务流程-业务对象-业务信息的方式对业务涉及的标准化、计划、采购、合同、仓储、配送、质量监督、报废物资、督查、专家、供应商、应急业务域进行层层分解,通过业务流程和业务活动的梳理,将业务活动进行解耦拆分成最小单元,抽象出核心业务实体、业务属性和公共标准代码。
3.根据权利要求1所述的一种基于业务数据标准表的数据模型构建方法,其特征在于:所述步骤(2)中业务数据标准信息库按照自顶向下与自底向上相结合的方式进行创建,一方面以业务应用场景需求为驱动,识别各类应用场景中涉及的业务实体、业务属性和公共标准代码等业务数据要素;一方面从全局角度构建统一的业务标准编码表,按照业务域进行归纳,将各业务数据要素通过松耦合自由组合的方式构建深度契合业务应用场景需求的业务标准信息表,并通过***进行在线化管理。
4.根据权利要求3所述的一种基于业务数据标准表的数据模型构建方法,其特征在于:所述步骤(2)具体步骤包括:
S1.识别业务流程中的业务核心实体和属性所涉及的业务基本信息和业务编码;
S2.设计业务标准信息表、设计业务标准编码表,提取业务信息和业务编码构建业务标准编码表和业务标准信息表,形成业务标准信息库。
5.根据权利要求1所述的一种基于业务数据标准表的数据模型构建方法,其特征在于:所述步骤(3)中业务与数据血缘关系字典包括业务-数据映射关系字典,数据-数据关联关系字典,参考业务数据规范信息,应用业务流分析法从业务流程中提炼关键业务信息,结合业务***前端操作及后台数据库表对应关系,完成业务-数据映射关系梳理;同时,从业务流中业务信息前后传递关系、数据库主外键关系中提炼数据-数据关联关系,形成覆盖数据全生命周期的数据链路,将主体责任细化落实到数据链路各个环节,并通过***进行可视化管理,用于支撑业务数据溯源、分析数据变动影响、辅助数据架构管控。
6.根据权利要求5所述的一种基于业务数据标准表的数据模型构建方法,其特征在于:所述步骤(3)具体步骤包括:
S1.识别业务标准信息表与源端***表数据映射关系,包括包含业务-数据映射关系字典,数据-数据关联关系字典;
S2.识别业务标准信息表涉及的源端***表之间关联关系,限制条件,完成业务标准信息表准确溯源。
7.根据权利要求1所述的一种基于业务数据标准表的数据模型构建方法,其特征在于:所述步骤(4)中根据业务数据规范业务实体定义及应用场景数据需求综合分析创建业务数据模型主表,为满足同一业务数据模型在不同业务过程中的个性化信息处理需求,通过关联附表方式对主表信息进行扩展,同时,以业务数据血缘关系为脉络梳理出相关主表定义,逐步覆盖全业务过程。
8.根据权利要求7所述的一种基于业务数据标准表的数据模型构建方法,其特征在于:所述步骤(4)具体步骤包括:
S1.针对具体业务分析应用场景,进行需求分析,识别应用场景所涉及的核心实体、属性、公共标准代码;
S2.通过管理工具在线选取适当的业务实体、业务属性、公共标准代码,完成业务标准信息模型构建;
S3.依据步骤(2)、步骤(3)建立的业务标准信息库、业务与数据逻辑关系字典,自动生成业务数据模型。
CN202111384691.6A 2021-11-19 2021-11-19 一种基于业务数据标准表的数据模型构建方法 Pending CN114281795A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111384691.6A CN114281795A (zh) 2021-11-19 2021-11-19 一种基于业务数据标准表的数据模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111384691.6A CN114281795A (zh) 2021-11-19 2021-11-19 一种基于业务数据标准表的数据模型构建方法

Publications (1)

Publication Number Publication Date
CN114281795A true CN114281795A (zh) 2022-04-05

Family

ID=80869554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111384691.6A Pending CN114281795A (zh) 2021-11-19 2021-11-19 一种基于业务数据标准表的数据模型构建方法

Country Status (1)

Country Link
CN (1) CN114281795A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114840531A (zh) * 2022-05-30 2022-08-02 中国平安财产保险股份有限公司 基于血缘关系的数据模型重构方法、装置、设备及介质
CN116383669A (zh) * 2023-03-18 2023-07-04 宝钢工程技术集团有限公司 一种数据贯通的工厂对象位号标识生成方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114840531A (zh) * 2022-05-30 2022-08-02 中国平安财产保险股份有限公司 基于血缘关系的数据模型重构方法、装置、设备及介质
CN114840531B (zh) * 2022-05-30 2024-05-28 中国平安财产保险股份有限公司 基于血缘关系的数据模型重构方法、装置、设备及介质
CN116383669A (zh) * 2023-03-18 2023-07-04 宝钢工程技术集团有限公司 一种数据贯通的工厂对象位号标识生成方法及***
CN116383669B (zh) * 2023-03-18 2024-04-16 宝钢工程技术集团有限公司 一种数据贯通的工厂对象位号标识生成方法及***

Similar Documents

Publication Publication Date Title
Rosemann et al. Evaluation of workflow management systems-a meta model approach
Haque et al. Towards the application of case based reasoning to decision-making in concurrent product development (concurrent engineering)
US7574379B2 (en) Method and system of using artifacts to identify elements of a component business model
WO2019096191A1 (zh) 基于xbrl标准的主数据管理***的设计方法
Cao et al. Flexible frameworks for actionable knowledge discovery
CN111190881A (zh) 一种数据治理方法和***
CN106296378A (zh) 基于xbrl的智能财务云平台***、构建方法及业务实现方法
CN101421725A (zh) 用于关联企业实体的方法与***
CN110751361B (zh) 一种银行需求条目级管理方法及***
CN114281795A (zh) 一种基于业务数据标准表的数据模型构建方法
CN112651218A (zh) 一种标书自动生成方法、管理方法、介质以及计算机
CN111240648A (zh) 用于变量的智能管理***及方法
CN112506892A (zh) 一种基于元数据技术的指标溯源管理***
Shahbaz Data mapping for data warehouse design
Lin [Retracted] Research on Enterprise Employee Performance Appraisal Management System Based on CS Architecture
CN114911773B (zh) 一种通用元模型设计方法
CN111242779A (zh) 金融数据特征选择和预测方法、装置、设备及存储介质
CN115496337A (zh) 一种支撑企业大脑的数据***
Blanco et al. An MDA approach for developing secure OLAP applications: Metamodels and transformations
US20140149186A1 (en) Method and system of using artifacts to identify elements of a component business model
CN111427936B (zh) 报表生成方法、装置、计算机设备和存储介质
Ho et al. Applying data ming to develop a warning system of procurement in construction
CN101958893A (zh) 前置业务服务器及其处理方法
Antonelli et al. Introducing collaborative practices in small medium enterprises
CN116701358B (zh) 一种数据处理方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination