CN114706575A - 一种迁移和复用数据模型的方法及*** - Google Patents

Abstract

本发明公开了一种迁移和复用数据模型的方法及***，用于同一行业内跨公司或者跨行业迁移和复用，所述方法包括以下步骤：S110.梳理行业业务流程；S120.对业务***中的业务动作划分为多个主体域；S130.整理每个主体域下包含的业务动作，每个业务动作对应的分析维度，形成对应的总线矩阵；S140.依据总线矩阵设计事实表及维度表；S150.对事实表和维度表进行梳理，建立及初始化行业可复用数据模型，对行业可复用数据模型中涉及的表字段设立第一区、第二区和第三区，并保留对应的开发代码；S160.在同行业其他公司应用所述行业可复用数据模型，并可进行申请评审迭代数据模型，如通过评审确实可以将其进行调整后在其他项目可以直接复用，则更新数据模型及对应的开发代码。

Description

一种迁移和复用数据模型的方法及***

技术领域

本发明涉及计算机及网络通信技术领域，主要是数仓或数据中台模型建设领域，特别涉及一种可以跨行业、跨公司迁移和复用数据模型的方法及***。

背景技术

随着企业不断发展，企业对数据建设也越来越重视，对数仓或数据中台的建设也越来越迫切，但是由于企业的技术专业性和技术水平的限制，无法***的做到搭建企业级数据中台，往往需要第三方公司帮助其建设数仓或数据中台。当前第三方公司搭建数仓或数据中台采用的建模方法有：ER实体模型、维度建模、Data Vault模型、Anchor，其中使用最多的是维度建模。随着对数据中台建设需求的企业越来越多，第三方公司面向的客户也不再是某一行业或某一公司，然而，针对跨行业、跨公司进行数据模型建设需求，现有的的处理方法基本上都是：面向不同行业和公司，采用一个客户一套建模方案，针对同一客户下的不同领域数据模型也是不能复用。

这种方法也是有着明显不足，一方面，如果企业前期数据中台建设时，只涉及到客户的某一行业或某一品牌，后期客户的其他行业或其他品牌想要建设数据中台时，就要重新开发设计，另一方面，即使是公司所属行业相同，业务模式相近，也需要重复的设计数据模型，由此是的开发人员不断进行重复工作，项目人员投入也没有得到很好的控制，最终导致企业后期建设及运维工作增加，跨行业、跨公司数据中台建设成本增加。

发明内容

针对现有技术存在的问题，本发明的目的在于提供一种不同公司之间通过复用已有的模型就可以搭建企业级数据平台，在公司内部不同品牌之间也同样适用，因为开发人员只用维护一套数据模型，在公司业务逻辑发生调整时，对应数据部门的工作量也减少很多。

为实现上述目的，本发明提供一种迁移和复用数据模型的方法，用于同一行业内跨公司迁移和复用，所述方法包括以下步骤：

S110.梳理行业业务流程；

S120.对业务***中的业务动作划分为多个主体域；

S130.整理每个主体域下包含的业务动作，每个业务动作对应的分析维度，形成对应的总线矩阵；

S140.依据总线矩阵设计事实表及维度表，一个业务动作代表一个业务事实，对应一个事实表，一个分析维度对应N个维度表，N大于等于1；

S150.对事实表和维度表进行梳理，建立及初始化行业可复用数据模型，对行业可复用数据模型中涉及的表字段设立第一区、第二区和第三区，并保留对应的开发代码；

S160.在同行业其他公司应用所述行业可复用数据模型，并可进行申请评审迭代数据模型，如通过评审确实可以将其进行调整后在其他项目可以直接复用，则更新数据模型及对应的开发代码。

进一步，整理业务流程中包含的主体、主体之间的业务动作及业务流。

进一步，维度模型采用的星型和雪花模型相结合进行搭建，搭建维度模型的步骤如下：

S210.选择业务过程，业务过程是企业和组织的业务活动，有相应的源头业务***支持，包括顾客和门店在产生交易的过程产生的业务过程；

S220. 声明粒度，确定数据仓库的数据中保存数据的细化程度或综合程度的级别，其中，订单事实表中一行数据表示的是一个订单中的一个商品项，描述事实表的单个行；在定义粒度过程中，选择业务过程中最为原子性的粒度，以满足业务用户的任何粒度的分析需求；

S230.确认维度，所述维度包括时间维度、地区维度和用户维度，维度是对度量的上下文和环境的描述；

S240. 确认事实，确认业务中的可以进行累加的度量值，所述度量值包括次数、个数、件数和金额。

进一步，第一区表示对应字段在其他公司建设数据模型时可以直接使用；第一区事实表包含主键id、总线矩阵中对应的维度关联键和业务过程对应度量字段；第一区维度表包含主键编码、维度名称、各层级编码及名称；

第二区表示对应字段在其他公司建设数据模型时部分可以使用，或修改调整后可以使用；第二区事实表包含不在总线矩阵中的维度关联字段和业务过程中的度量字段；第二区维度表包含扩展属性字段；

第三区表示对应字段在其他公司建设数据模型时无法复用的字段，第三区事实表包含行业专有维度和度量字段；第三区维度表包含行业特有属性标识和名称。

进一步，所述行业为零售行业，零售行业主体包含供应商、仓储、门店及消费者，业务流包含物流、资金流及信息流，零售行业主体域包括消费者域、公共域、交易域。

另一方面，本发明还提供一种迁移和复用数据模型的方法，用于跨行业迁移和复用，所述跨行业是指从原行业跨到新行业，跨行业迁移和复用数据模型的方法包括以下步骤：

S201.梳理新行业在建设数据中台过程中涉及的业务主体和业务过程；

S202.在公司数据模型池中找寻相同或相近的业务及分析粒度，组成新行业的原始模型结构；

S203.通过前期数据调研，将不满足第一区标准的字段进行剔除，满足第一区标准的字段根据标准词素进一步更新修改名称；经过修改及初始化的数据模型则为新行业可复用的数据模型，后期通过不断的迭代，增加第一区所占的比重。

进一步，所述业务主体用于确定维度表，所述业务过程用于确定事实表，在梳理维度表和事实表后，整理行业对应的标准词素，用于做表字段命名规范设计。

进一步，步骤S202中，在业务过程没有找寻到的情况下，根据原始表结构进行设计，之后补充到数据模型池中。

此外，本发明还提供一种迁移和复用数据模型的***，用于同一行业内或者跨行业迁移和复用数据模型，所述***能够实施根据本发明提供的迁移和复用数据模型的方法。

本发明的迁移和复用数据模型的方法和***通过梳理某一行业的业务流程，整理业务流程涉及的数据域，确定数据域包含的业务过程及业务过程之间的关系，整理行业数据模型，通过不断迭代，更新行业数据模型通用部分。与现有技术相比，本发明提出的技术方案中建立了不同公司之间通过复用已有的模型就可以搭建企业级数据中台，在公司内部不同品牌之间也同样适用，因为开发人员只用维护一套数据模型，在公司业务逻辑发生调整时，对应数据部门的工作量减少，使得交接工作更加方便高效。

附图说明

图1示出了根据本发明实施例中建立同行业跨公司复用模型流程示意图；

图2示出了根据本发明实施例中建立跨行业复用模型流程示意图；

图3示出了根据本发明实施例中复用模型中星型模型结构示意图；

图4示出了根据本发明实施例中复用模型中雪花模型结构示意图；

图5示出了根据本发明实施例中同行业可复用数据模型示例图；

图6示出了根据本发明实施例中跨行业可复用数据模型示例图。

具体实施方式

下面将结合附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

以下结合图1-图6对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

本发明通过梳理某一行业的业务流程，整理业务流程涉及的数据域，确定数据域包含的业务过程及业务过程之间的关系，整理行业数据模型，通过不断迭代，更新行业数据模型通用部分；从而构建一套可以跨行业、跨公司迁移和复用数据模型。

图1 是同一行业跨公司建立复用模型流程图，如图1所示，本发明提出的跨公司迁移和复用数据模型方法的具体步骤：

S110.梳理行业业务流程，整理业务流程中包含的主体、主体之间的业务动作及业务流，如零售行业包含供应商、仓储、门店及消费者等主体，业务流包含物流、资金流及信息流；

S120.对业务***中的业务动作进行主体域划分，如零售行业有：消费者域、公共域、交易域等；

S130.整理每个主体域下包含的业务动作，每个业务动作对应的分析维度，形成对应的总线矩阵；

S140.依据总线矩阵设计事实表及维度表，一个业务动作代表一个业务事实，对应一个事实表，一个分析维度对应一到多个维度表，目前维度模型主要采用的星型和雪花模型相结合进行搭建的；

S150.对事实表和维度表进行梳理，建立及初始化行业可复用数据模型，对模型中涉及的表字段设立第一区、第二区和第三区，并保留对应的开发代码；

S160.在同行业其他公司应用该数据模型，在应用过程中如发现部分第二区字段在该公司可以直接复用，或只是微小调整就可以直接使用时，可进行申请评审迭代数据模型，如通过评审确实可以将其进行调整后在其他项目可以直接复用，则更新数据模型及对应的开发代码；

为更好的实施跨公司数据模型复用，采用数据模型表结构和代码一一对应方式，若数据表中第一区字段做了修改，则同步修改对应开发代码，由此在跨公司建设数据模型时，只需关注第一区之外的表字段，任务代码也能够同步使用，大大节省了开发人员的投入。

步骤S140中，星型模型构造如下：星型模型中只有一张事实表，以及0张或多张维度表，事实表与维度表通过主键外键相关联，维度表之间不存在关联关系，当所有维度表都关联到事实表时，整个图形非常像一种星星的结构，所以称之为“星型模型”，如图3所示。

雪花模型构造如下：当一个或多个维度表没有直接连接到事实表上，而是通过其他维度表连接到事实表上时，其图解就像多个雪花连接在一起，故称雪花模型，如图4所示。

图2是跨行业建立复用模型流程图，如图2所示，跨行业构建复用数据模型的流程主要包含以下步骤：

S201.梳理新行业在建设数据中台过程中涉及的业务主体和主要业务过程，其中业务主体可以确定其大致的维度表包含哪些，业务过程则是对应事实表，在梳理以上两点之后，整理行业对应的标准词素，用于做表字段命名规范设计；

S202.在公司数据模型池中找寻相同或相近的业务及分析粒度，组成新行业的原始模型结构，如部分业务过程没有找到可以根据客户原始表结构进行设计，之后补充到数据模型池中；

S203.通过前期数据调研，将不满足第一区标准的字段进行剔除，满足第一区标准的字段根据标准词素进一步更新修改名称；

业务及分析粒度指业务过程和维度，如零售行业涉及采购活动，对应采购业务过程，对应维度有供应商、仓库及时间等，对于制造行业也会涉及到采购业务过程，对应的维度有时间、仓库等，所以可以复用零售行业采购数据模型。

经过修改及初始化的数据模型则为新行业可复用的数据模型，后期通过不断的迭代丰富，使得第一区占的比重越来越大。

其中，第一区表示对应字段在其他公司建设数据模型时可以直接使用；也称为绿区，同行业数据模型建设过程中，不用修改可以直接使用的字段，不同行业只用修改字段映射关系或简单修改即可使用的字段。绿区主要包含以下几种：

事实表：主键id；总线矩阵中对应的维度关联键，如商品编码、城市编码及客户id等；业务过程对应度量字段，如销售金额、销售数量及销售时间等

维度表：主键编码，维度名称，如果有层级关系则包含各层级编码及名称，如城市维度表，包含省份编码、省份名称等；

第二区表示对应字段在其他公司建设数据模型时部分可以使用，或需要修改调整后可以使用；也称为黄区，同行业数据模型建设过程中，需要简单修改可以使用的字段，不同行业需要较大调整的字段。黄区主要包含以下几种：

事实表：事实表中不在总线矩阵中的维度关联字段，如面料id，套装编码等，业务过程中与行业特性息息相关等度量字段，如成本金额、优惠金额等；

维度表：维度表中扩展属性字段，如鞋服行业的商品季节，眼镜行业左有眼标识等；

第三区表示对应字段在其他公司建设数据模型时不能使用；也称为红区，同行业及不同行业数据模型建设过程中无法复用的字段。红区主要包含以下几种：

事实表：行业专有维度和度量字段，如预付款等；

维度表：行业特有属性标识、名称，如填充物、眼镜度数等；

简单修改：在行业模型迁移过程中，根据前期调研客户的数据表中字段情况，人工的对黄区字段做出少部分修改操作，如某鞋服公司数据表中不涉及成本度量，则删除对应字段，如字段注释不同，则修改模型中的字段注释，使得和客户使用习惯一致。

星型模型和雪花模型相结合进行搭建的模型流程如下：

选择业务过程→声明粒度→确认维度→确认事实

S210.选择业务过程

组织完成的操作型活动。业务过程即企业和组织的业务活动，它们一般都有相应的源头业务***支持，例如顾客和门店在产生交易的过程会产生以下几个业务过程，下单、支付、仓储发货、退货；

S220. 声明粒度

数据仓库的数据中保存数据的细化程度或综合程度的级别。如订单事实表中一行数据表示的是一个订单中的一个商品项。定义粒度意味着对事实表行实际代表的内容和含义给出明确的说明。粒度传递了事实表度量值相联系的细节所达到的程度的信息。其实质就是如何描述事实表的单个行。

在定义粒度过程中，应该最大限度地选择业务过程中最为原子性的粒度，这样可以带来后续的最大灵活度，也可以满足业务用户的任何粒度的分析需求。

S230.维度包括：时间维度、地区维度、用户维度等。确认维度定义了粒度之后，相关业务过程的细节也就确定了，对应的维度就很容易确定。维度是对度量的上下文和环境的描述。通过维度，业务过程度量与事实就会变得丰富和丰满起来。对于订单来说，常见的维度会包含商品、日期、买家、卖家、门店等而每一个维度还可以包含大量的描述信息，比如商品维度表会包含商品名称、标签价、商品品牌、商品类目、商品上线时间等。

S240. 确认事实

指的是业务中的度量值（次数、个数、件数、金额，可以进行累加），例如订单金额、下单次数等。确定事实通过业务过程分析可能要分析什么来确定。定义粒度之后，事实和度量一般也很容易确定，比如门店的订单活动，相关的度量显然是销售数量和销售金额。

在实际维度事实设计中，可能还会碰到度量拆分的问题，比如超市开展单个小票满10减10元的活动，如果小票金额超过10元，这10元的优惠额如何分配到每一个小票子项实际设计中，可以和业务方具体讨论并制订具体的拆分分配算法。

本发明在采用维度建模理论的基础上，设立模型的第一区、第二区和第三区，建立行业标准数据模型池，通过建立完善的评审更新流程，结合不断的应用在项目中，不断的组织评审迭代，从而构建一套可以跨行业、跨公司迁移和复用数据模型。与现有技术相比，本发明提出的技术方案中建立了不同公司之间通过复用已有的模型就可以搭建企业级数据中台，在公司内部不同品牌之间也同样适用，因为开发人员只用维护一套数据模型，在公司业务逻辑发生调整时，对应数据部门的工作量也减少很多。

因为对数据模型划分了第一区、第二区和第三区，所以在代码开发方面，开发人员可以之间使用第一区的代码，只用根据需求修改第三区第二区对应的指标代码，也使得在同事之间交接工作更加方便高效。本发明在采用维度建模理论的基础上，设立模型的第一区、第二区和第三区，建立行业标准数据模型池，通过建立完善的评审更新流程，结合不断的应用在项目中，不断的组织评审迭代，从而构建一套可以跨行业、跨公司迁移和复用数据模型。

同行业可复用数据模型示例(鞋服&彩妆)如图5所示，其中，鞋服数据模型中，包括鞋服订单事实表、鞋服商品维度表，鞋服订单事实表包括商品编码、销售金额、销售日期、颜色id、面料id、衣领类型；鞋服商品维度表包括商品编码、适用人群、季节、衣领类型、填充物。将其复用至彩妆时，事实表、维度表无需改变，只需要变化其中的部分参数类型即可。复用后的彩妆数据模型中，包括彩妆订单事实表、彩妆商品维度表，彩妆订单事实表包括商品编码、销售金额、销售日期、顾客评分、套装编码、色号；彩妆商品维度表包括商品编码、适用人群、套装编码、色号、重量。

跨行业可复用数据模型示例(鞋服&保险)如图6所示，其中，鞋服数据模型中，包括鞋服订单事实表、鞋服商品维度表，鞋服订单事实表包括商品编码、销售金额、销售日期、颜色id、面料id、衣领类型；鞋服商品维度表包括商品编码、适用人群、季节、衣领类型、填充物。将其复用至保险时，事实表、维度表无需改变，只需要变化其中的部分参数类型即可。复用后的保险数据模型中，包括保险订单事实表、保险商品维度表，保险订单事实表包括商品编码、销售日期、保额、险种分类、险种号、医院；保险商品维度表包括商品编码、险种分类、险种号、保额、医院。

本发明还提供一种迁移和复用数据模型的***，用于同一行业内或者跨行业迁移和复用数据模型，所述***能够实施根据本发明提供的迁移和复用数据模型的方法。

在本说明书的描述中，参考术语“实施例”、“示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，本领域的技术人员可以在不产生矛盾的情况下，将本说明书中描述的不同实施例或示例以及其中的特征进行结合或组合。

上述内容虽然已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型等更新操作。

Claims (10)

1.一种迁移和复用数据模型的方法，用于同一行业内跨公司迁移和复用，其特征在于，包括以下步骤：

S110.梳理行业业务流程；

S120.对业务***中的业务动作划分为多个主体域；

S130.整理每个主体域下包含的业务动作，每个业务动作对应的分析维度，形成对应的总线矩阵；

S140.依据总线矩阵设计事实表及维度表，一个业务动作代表一个业务事实，对应一个事实表，一个分析维度对应N个维度表，N大于等于1；

S150.对事实表和维度表进行梳理，建立及初始化行业可复用数据模型，对行业可复用数据模型中涉及的表字段设立第一区、第二区和第三区，并保留对应的开发代码；

S160.在同行业其他公司应用所述行业可复用数据模型，并可进行申请评审迭代行业可复用数据模型，在通过评审后确实可以将其进行调整后在其他项目直接复用，则更新数据模型及对应的开发代码。

2.如权利要求1所述的迁移和复用数据模型的方法，其特征在于，整理业务流程中包含的主体、主体之间的业务动作及业务流。

3.如权利要求1或2所述的迁移和复用数据模型的方法，其特征在于，维度模型采用的星型和雪花模型相结合进行搭建，搭建维度模型的步骤如下：

S210.选择业务过程，业务过程是企业和组织的业务活动，有相应的源头业务***支持，包括顾客和门店在产生交易的过程产生的业务过程；

S220. 声明粒度，确定数据仓库的数据中保存数据的细化程度或综合程度的级别，其中，订单事实表中一行数据表示的是一个订单中的一个商品项，描述事实表的单个行；在定义粒度过程中，选择业务过程中最为原子性的粒度，以满足业务用户的任何粒度的分析需求；

S230.确认维度，所述维度包括时间维度、地区维度和用户维度，维度是对度量的上下文和环境的描述；

S240. 确认事实，确认业务中的可以进行累加的度量值，所述度量值包括次数、个数、件数和金额。

4.如权利要求3所述的迁移和复用数据模型的方法，其特征在于，第一区表示对应字段在其他公司建设数据模型时可以直接使用；第一区事实表包含主键id、总线矩阵中对应的维度关联键和业务过程对应度量字段；第一区维度表包含主键编码、维度名称、各层级编码及名称；

第二区表示对应字段在其他公司建设数据模型时部分可以使用，或修改调整后可以使用；第二区事实表包含不在总线矩阵中的维度关联字段和业务过程中的度量字段；第二区维度表包含扩展属性字段；

第三区表示对应字段在其他公司建设数据模型时无法复用的字段，第三区事实表包含行业专有维度和度量字段；第三区维度表包含行业特有属性标识和名称。

5.如权利要求4所述的迁移和复用数据模型的方法，其特征在于，所述行业为零售行业，零售行业主体包含供应商、仓储、门店及消费者，业务流包含物流、资金流及信息流，零售行业主体域包括消费者域、公共域、交易域。

6.一种迁移和复用数据模型的***，用于同一行业内跨公司迁移和复用数据模型，其特征在于，所述***能够实施权利要求1-5任一项所述的迁移和复用数据模型的方法。

7.一种迁移和复用数据模型的方法，用于跨行业迁移和复用，其特征在于，所述跨行业是指从原行业跨到新行业，其中原行业使用的数据模型根据权利要求1-5所述的迁移和复用数据模型的方法实现，跨行业迁移和复用数据模型的方法包括以下步骤：

S201.梳理新行业在建设数据中台过程中涉及的业务主体和业务过程；

S202.在公司数据模型池中找寻相近业务及分析粒度，组成新行业的原始模型结构；

S203.通过前期数据调研，将不满足第一区标准的字段进行剔除，满足第一区标准的字段根据标准词素进一步更新修改名称；经过修改及初始化的数据模型则为新行业可复用的数据模型，后期通过不断的迭代，增加第一区所占的比重。

8.如权利要求7所述的迁移和复用数据模型的方法，其特征在于，所述业务主体用于确定维度表，所述业务过程用于确定事实表，在梳理维度表和事实表后，整理行业对应的标准词素，用于做表字段命名规范设计。

9.如权利要求8所述的迁移和复用数据模型的方法，其特征在于，步骤S202中，在业务过程没有找寻到的情况下，根据原始表结构进行设计，之后补充到数据模型池中。

10.一种迁移和复用数据模型的***，用于跨行业迁移和复用数据模型，其特征在于，所述***能够实施权利要求1-9任一项所述的迁移和复用数据模型的方法。

Images