CN113468149A - 一种数据模型开发平台 - Google Patents

Abstract

本发明提供一种数据模型开发平台，采用B/S三层架构，包括：前台的页面端，用于通过Nginx访问应用服务器；后台的应用服务器，用于部署与数据模型开发相关联的应用服务；后台的应用服务器包括：数据标准管理模块，用于对数据标准以及词根进行维护；数据模型管理模块，用于根据数据标准和/或词根设计数据模型；项目管理模块，用于针对项目的任意的两个版本进行差异对比，生成差异文件，将差异文件导出为SQL文件；租户管理模块，用于提供多租户的环境，并且将不同租户的项目进行隔离，使得每个租户只能看到本租户自己的项目；数据存储端，用于采用关系型数据库进行数据存储，并且采用key‑value数据库作为缓存。该平台支持进行多人协作的分布式数据模型开发。

Description

一种数据模型开发平台

技术领域

本发明属于信息***数据模型设计领域的通用技术工具，可应用于IT行业中数据库、数据仓库设计，具体涉及一种数据模型开发平台。

背景技术

传统的数据模型设计工作往往由于规模小，工作量不大，一个人短期就能完成全部工作，不存在团队协作和知识共享的要求。

现在数据库或数据仓库规模越来越大，远远不是个别人短期能够完成的。同时数据治理对数据模型的标准化有了要求，这就对现有数据模型设计工作提出了团队协作、版本管理、标准引入的要求。同时，自2020年初以来的疫情影响，很多团队之间的协作不能在地理空间上统一，因此，需要有一款分布式数据模型设计工具。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

目前业内普遍使用的数据模型设计工具有PowerDesigner和ERWin，这些工具都是桌面单机***，不能支持多人协作。

发明内容

有鉴于此，本发明实施例的目的在于提供一种数据模型开发平台，以实现支持多人协作的分布式数据模型开发。

为达上述目的，提供一种数据模型开发平台，所述数据模型开发平台采用B/S三层架构，包括：

前台的页面端，用于通过Nginx访问应用服务器；

后台的应用服务器，用于部署与数据模型开发相关联的应用服务；其中，所述后台的应用服务器包括：

数据标准管理模块，用于对数据标准以及词根进行维护；

数据模型管理模块，用于根据所述数据标准和/或词根设计数据模型；

项目管理模块，用于针对项目的任意的两个版本进行差异对比，生成差异文件，将所述差异文件导出为SQL文件；

数据存储端，用于采用关系型数据库进行数据存储，并且采用key-value数据库作为缓存。

在一些可能的实施方式中，所述数据标准管理模块包括：

数据标准维护子模块，用于对数据标准进行维护，其包括对数据标准执行如下任意一种或多种维护操作：增加、删除、修改、查询、同步；其中，数据标准的同步操作包括：从外部数据库或外部应用同步获取数据标准；

词根维护子模块，用于对词根进行维护，包括对词根执行如下任意一种多种维护操作：检索、增加、修改、删除、同步；其中，词根的同步包括从外部数据库或外部应用同步获取词根。

在一些可能的实施方式中，所述数据模型管理模块，其包括如下子模块：

数据模型复制子模块，用于响应于修改数据模型的操作指令，对所述数据模型进行复制，形成第一复制品模型，仅允许用户对所述第一复制品模型进行修改；和/或，响应于用户发出的形成具有目标主题的数据模型的操作指令，通过匹配搜索确定具有所述目标主题的现有数据模型，对所述现有数据模型进行复制处理形成第二复制品模型，接收用户对所述第二复制品模型的修改操作，以生成具有所述目标主题的更新后的数据模型。

在一些可能的实施方式中，所述数据模型管理模块，还包括：

数据模型统计子模块，用于对当前项目的进度进行追踪；

数据模型维护子模块，用于执行如下任意一项或多项操作：增加数据模型、删除数据模型、修改数据模型、提交数据模型；

数据模型导入导出子模块，用于导入和导出excel格式的模型文档；或者，导入Excel格式的模型文档，并且，导出数据定义语言DDL格式的模型文档；以及，

数据模型发布子模块，用于将最终版本的数据模型交付到特定的环境。

在一些可能的实施方式中，所述项目管理模块，还可以包括：

创建项目子模块，用于创建待开发的数据模型所属的项目，并且根据分解规则分解所述项目，所述分解规则基于主题和/或基于业务***；

指定项目经理子模块，用于响应于选择指令或配置操作指令，指定项目经理；

项目成员管理子模块，用于对项目的开发团队中的开发人员进行管理，包括如下任意一个或多个：增加开发人员、停用开发人员、启用开发人员、删除开发人员。

在一些可能的实施方式中，所述项目管理模块，还可以包括：

修改项目子模块，用于修改项目的基本信息；

业务***维护子模块，用于维护项目所属业务***；

模型层次维护子模块，用于维护项目中数据模型所属层次；

数据模型命名规则子模块，用于维护项目中数据模型的命名规则，使模型具备统一风格的命名方式；

数据源管理子模块，用于选择确定数据模型物理化对应的数据库和逆向工程对应的数据库；

数据模型审核子模块，用于将设计完成的数据模型通过数据标准审核后提交给项目经理对应的节点。

在一些可能的实施方式中，所述项目管理模块，还包括如任意多个下子模块：

项目移交子模块，用于当项目经理发生变动时，将发生变动的项目经理对应的项目移交给指定人员对应的节点；

模型移交子模块，用于在项目开发***后，将变动的项目开发人员所设计的数据模型移交给本项目中其他项目开发人员对应的节点；

逆向工程子模块，用于将现有数据库中的表转换为数据模型。

在一些可能的实施方式中，所述租户管理模块，包括如下中的任意多个子模块：

创建租户子模块，用于创建租户；

修改租户子模块，用于修改租户的基本信息；

启用租户子模块，用于对被禁用的租户重新启用；

停用租户子模块，用于将当前租户禁用；

删除租户子模块，用于删除已禁用的租户，包括删除租户下的项目、模型、私有数据标准和词根；

租户移交子模块，用于当发生租户管理员变动的情况时，将租户移交给其他人员对应的节点。

在一些可能的实施方式中，所述后台的应用服务器还包括：

数据类型管理模块，用于不同数据库之间的数据类型映射，便于数据模型在不同数据库之间转换；所述数据类型管理模块包括：

数据类型查询子模块，用于检索当前配置的不同数据库之间的数据类型对照关系；

数据类型维护子模块，用于增加、修改、删除不同数据库之间的数据类型的对照关系。

在一些可能的实施方式中，所述关系型数据库包括MySQL数据库，外部数据库通过RESTful接口与所述MySQL数据库连接，所述MySQL数据库从所述外部数据库中获取标准和词根；

所述后台的应用服务器还包括：日志管理子模块，用于对于敏感操作生成日志记录，所述敏感操作包括如下中的至少一个：用户登录、删除用户、删除租户、删除数据模型。

上述技术方案具有如下有益效果：

1.分布式部署，可以突破地理空间的限制，团队成员可以在不同的地方协同工作，团队成员之间可以在线共享工作成果；

2.多版本管理，支持任意版本之间的差异对比，追溯版本变更历史；

3.前置数据标准，设计人员能够以现有标准设计数据模型；

4.多租户设计，可以在同一个平台上开始多个不同的工作。多租户设计有利于在团队协作时实现资源隔离，这种设计的出发点是对于大型项目，拆解为一个租户内的各个小项目，但是这些小项目又在同一个租户管理员之下，可以共享私有数据标准。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本发明实施例的一种数据模型开发平台的技术架构示意图；

图1B是本发明实施例的另一种数据模型开发平台的技术架构示意图；

图2是本发明实施例的一个示例中整体架构示意图；

图3是本发明实施例的开发流程的流程图；

图4是本发明实施例的又一个示例中数据模型开发平台的功能架构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种可视化、支持多人协作、支持版本管理的分布式数据模型开发平台。本发明实施例的目的之一是为了解决现有大型数据库/数据仓库设计过程中多人协作和版本管理的需要。大型数据库/数据仓库的设计复杂，工作量大，需要多人协作完成，团队成员不在一起工作，项目迭代过程中版本较多，管理复杂。本发明实施例着重解决现有数据模型设计工具缺乏多人协作、缺乏版本管理功能、不能引用现有的标准字段库和词根库，以及不具备分布式能力中的至少一个技术问题。

本发明实施例提供了将数据模型工作分布式开发的方法；本发明实施例提供了在数据模型设计阶段引用数据标准的能力；本发明实施例提供了在数据模型开发过程中多个版本并存的方法；本发明实施例提供了一种具备版本管理和/或数据标准引入的分布式数据模型开发工具。

实施例一

图1A是本发明实施例的一种数据模型开发平台的技术架构示意图；图1B是本发明实施例的另一种数据模型开发平台的技术架构示意图。如图1A和图1B所示，本数据模型开发平台采用B/S（Browser/Server，浏览器/服务器模式）三层结构，区别于目前市场上主流的C/S结构的模型开发工具。

B/S三层结构的设计模型将整个***分为三层架构，包括：前台（Web端）、后台（应用***，简称应用、服务等）、数据（或者存储，也称为数据库）。

前端页面Web端，用于通过Nginx访问应用服务器。Nginx是一个高性能的HTTP和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务。在前端页面应用如下技术：

Vue+JavaScript+ajax+json+HTML5+G6。具体地，前端页面展示和布局使用了Vue和JavaScript动态生成符合HTML5要求的页面，所有与后端交互的地方使用了ajax和json，图形化展示使用了G6和JavaScript技术。相关术语解释如下：

Vue，是一套用于构建用户界面的渐进式JavaScript框架。Vue.js的目标是通过尽可能简单的 API 实现响应的数据绑定和组合的视图组件。

JavaScript（简称“JS”） 是一种具有函数优先的轻量级，解释型或即时编译型的编程语言。JavaScript是一种属于网络的高级脚本语言，已经被广泛用于Web应用开发，常用来为网页添加各式各样的动态功能，为用户提供更流畅美观的浏览效果。通常JavaScript脚本是通过嵌入在HTML中来实现自身的功能的。

AJAX，指Asynchronous JavaScript and XML，即异步的 JavaScript 和 XML。XML是Extensible Markup Language，可扩展标记语言，其是一种用于标记电子文件使其具有结构性的标记语言。

JSON(JavaScript Object Notation, JS 对象简谱) ，其是一种轻量级的数据交换格式。它基于 ECMAScript (欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。其易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。

HTML5 是 Hyper Text Markup Language 5（超文本标记语言5.0）的缩写，HTML5是构建Web内容的一种语言描述方式，HTML5 技术结合了 HTML4.01 的相关标准并革新，符合现代网络发展要求，在 2008 年正式发布。

G6 是一个基于HTML5的简单、易用、完备的图可视化引擎，它在高定制能力的基础上，提供了一系列设计优雅、便于使用的图可视化解决方案。

应用***（对应于图2中的服务、应用）可以采用集群部署或者单机部署，视访问用户的数量决定。应用***指的是数据模型开发平台的应用、服务部分。应用***指的是软件，应用服务器包括硬件，指的是部署应用服务的服务器。应用服务器可以视具体情况配置集群部署或者单机部署。集群部署指的是多台机器组网，协同工作，用于访问量大、负载重的情况，单机部署指的是应用服务器只有一台机器，用于负载较轻的情况。在应用服务中应用如下技术：SpringBoot，负载均衡nginx，应用开发语言Java+ORM框架MyBatis。其中，对象关系映射（Object Relational Mapping，简称ORM，或O/RM，或O/R mapping），是一种程序设计技术，用于实现面向对象编程语言里不同类型***的数据之间的转换。MyBatis 是一款持久层框架，它支持定制化 SQL、存储过程以及高级映射。后台的应用服务器包括：前台的页面端，用于通过Nginx访问应用服务器；后台的应用服务器，用于部署与数据模型开发相关联的应用服务；其中，后台的应用服务器包括：数据标准管理模块，用于对数据标准以及词根进行维护；数据模型管理模块，用于根据数据标准和/或词根设计数据模型；其中，词根的作用是用于没有标准时，帮助开发人员生成对应的英文字段名称，作为一个推荐名称；在有标准的情况下是不使用词根，在有标准的情况下直接选择标准就行；项目管理模块，用于针对项目的任意的两个版本进行差异对比，生成差异文件，将差异文件导出为SQL文件；租户管理模块，用于提供多租户的环境，并且将不同租户的项目进行隔离，使得每个租户只能看到本租户自己的项目；数据存储端，用于采用关系型数据库进行数据存储，并且采用key-value数据库作为缓存。

现在的用户数据库环境往往是开发环境、测试环境、生产环境三套，这三套环境必须同步。但是现有技术只能在当前版本内部进行对比，包括PowerDesigner、ERWin等数据模型开发工具，也就是进行修改前和修改后对比，这种对比不能满足现在多环境、多用户、多版本情况下的对比。在项目开发过程中可能产生多个版本，本实施例可针对任意的两个时间点对应的版本进行差异对比，生成差异文件。例如开发过程中，每天产生一个版本，项目经理想知道今天和昨天相比做了哪些变动，通过版本对比就可以获知差异。

在本实施例中导出SQL文件是为了持续集成/持续部署(CI/CD)，这种格式的文件可以直接在生产环境执行，其他格式的文件，比如Excel满足不了CI/CD的要求。跨版本对比的要求就是为了对多种环境差异比较，通过比较形成差异脚本，直接执行该差异脚本就能覆盖这些差异，从而将开发环境、测试环境、生产环境数据库结构同步。

在本实施例中，上述隔离可以是通过用户权限实现的，用户管理功能实现了租户之间的资源隔离，当然，本发明实施例仍然可以通过权限管理实现租户之间资源共享。

数据存储采用关系型数据库，例如包括但不限于：MySQL数据库、Oracle、DB2、Microsoft SQL Server、Microsoft Access等，缓存采用key-value数据库，例如包括但不限于Redis（Remote Dictionary Server，远程字典服务）内存数据库或者Memcached（一种分布式的高速缓存***），用于高频数据的缓存。数据存储部分占用资源较少，可以单机部署，如果并发用户较多（例如超过50人）时也可以集群部署。

物理平台可以包括：应用服务器集群或者应用服务器单机，Redis缓存，MySQL数据库，以及Nginx。

本发明实施例上述技术采用主流的通用技术体系，产品迭代和运维有保障。

图2是本发明实施例的一个示例中数据模型开发平台的整体架构示意图。如图2所示，通过浏览器可该问本数据模型开发平台，并且该数据模型开发平台还与标准词根数据库连接。用户通过浏览器访问数据模型开发平台，不需要用户额外安装软件。外部标准和词根通过RESTful接口定时或手动获取标准和/或词根，保存到配置库中。在本实施例中，通过RESTful接口引入的标准和词根输入是***级的，私有标准和词根从外部Excel文件导入。在一个替代方案中，RESTful接口可以替换为RPC接口。在本实施例中，采用RESTful接口的优点在于：RESTful接口是目前主流的标准化远程调用接口，其是一种流行的API设计风格，采用HTTP协议，设计风格简洁清晰，可维护性强。

该数据模型开发平台的后台应用服务器中包括如下多个功能模块：

项目管理模块，包括修改项目基本信息（代码、名称、起止日期等）、项目主要属性（是否需要主键、是否需要外键、是否强制校验数据标准）、模块维护、数据源管理、逆向工程等。

模块维护模块，包括增加、删除、修改模块名称、代码和显示顺序。

租户管理模块，是***管理员对工作空间的管理，这里的租户和空间是同义词。

开发人员管理模块，是对开发团队的开发人员管理，包括：增加开发人员、停用开发人员、启用开发人员、删除开发人员、重置密码等，该功能只有***管理员、工作空间管理员、项目管理员可用。

数据源管理模块，用户管理当前项目的数据库连接信息，包括IP地址、端口、数据库、Schema、账号和口令。一个项目可以有多个数据源，在模型创建到数据库时可以选择其中之一。

需求管理模块，用于维护项目有哪些开发需求，方便项目经理跟踪开发进度。需求管理的设计可以独立于项目管理。

数据模型维护模块，包括创建数据模型、增加列、修改列、数据模型复制。

数据模型审核模块，包括：开发人员将设计好的的数据模型提交给项目管理员，项目管理员认为该数据模型结构合理，可以采用，就审核通过，否则驳回，由开发人员修改，直到项目管理员认可为止，目的是避免开发人员设计不合理的模型进入下一个流程，给数据开发工作带来困扰。

标准管理模块，包括对标准的检索、增加、删除、修改和同步（从外部数据库或外部应用同步）。标准建立之后，维护模型时可以直接从标准选择，大大减少开发人员工作量，同时也有助于建立标准化的模型。

词根管理（维护）模块，包括对词根的检索、增加、修改、删除、同步（从外部数据库或外部应用同步），作用是满足数据模型标准化的需要，例如在创建数据模型时，增加一列，给定了中文名称，英文名称会根据中文名称和词根自动给出一个推荐名称，方便设计人员对模型结构的标准化。词根管理是属于***级和租户级的功能。

逆向工程模块，是数据模型设计/开发中的术语，即从数据库中现有的表结构（即物理模型）中逆向生成数据模型。

版本管理模块，指的是整个项目的版本管理，比如新建一个版本，然后修改了一个数据模型结构，或者增加了一个数据模型，或者删除了一个数据模型，这些修改都是在最新版本上的修改，原有版本数据保持不变，如果后来发现修改错误，可以直接退回至原来版本，也可以对比两个版本的差异，方便查找问题。

日志管理模块，记录了***中对的各种敏感操作，不同的角色能看到的日志不一样。项目管理员能看到当前项目中新建/删除模块、新建/删除表、提交审核等操作；空间管理员能够看到新建/删除项目、人员停用/启用等操作；***管理员能看到登录、新建/删除租户、数据标准新建/删除/同步等操作。

日志管理模块和项目管理模块是并列的，不仅仅是项目有日志的要求，工作空间和整个***都有日志管理的要求。项目管理员需要了解当前项目有哪些敏感操作，比如删除表、删除模块；工作空间（租户）管理员需要了解当前租户内有哪些敏感操作，比如删除项目、删除工作空间人员；***管理员需要了解当前***内有哪些敏感操作，比如登录、删除工作空间、删除用户等等。

数据类型管理模块，其含义是不同数据库之间的数据类型映射，方便数据模型在不同数据库之间转换，该功能只有***管理员可用。

图3是本发明实施例的开发流程的流程图。如图3所示，该开发流程包括如下步骤：

***管理员登录可以管理租户（工作空间），包括：创建租户、禁用（停用）租户、启用租户，指定工作空间管理员，可以维护数据类型对照关系，维护***级数据标准和词根。平台支持多种数据库，数据模型需要在不同类型数据库之间互相转换，因此需要配置不同数据库数据类型的对照关系。

工作空间管理员登录后可以创建项目，指定项目经理，维护工作空间人员，维护私有标准和词根，这些私有标准和词根只能由该工作空间所属项目使用。工作空间管理员也可以参与项目开发。工作空间也叫租户，工作空间管理员只是工作空间人员之一，工作空间管理员维护工作空间人员之后，项目管理员在维护项目人员时可以从现有人员中选择，不必再添加。

项目管理员登录后，可以看到本人管理的全部项目，进一步维护项目属性和/或配置项目参数，包括：项目基本信息和参数（是否生成主键、外键，是否强制校验），指定项目团队成员，表名命名规则（即模型命名规则）、数据源（开发库配置），指定逆向工程数据源，模块配置，需求响应等。项目管理员也可以参与开发。其中，表和模型是相对于不同的概念的表述，在实际应用中指代的是同一事物，模型是一个抽象的概念，表是这个抽象概念的具象化。模块配置用于项目经理统一配置项目的模块层次结构，主要用于分解工作任务，方便项目管理。

开发人员登录后能看到自己参与的项目，可以在各个项目之间切换，新建数据模型、修改数据模型，导入/导出excel格式的模型文档，设计完成的模型可以提交给项目经理（即 述项目管理员）对应的节点进行审核。模型可以复制后修改，减小开发工作量。在审核过程中的模型不能修改，审核通过的模型一旦修改就变为草稿状态，在版本管理中不会将草稿状态的模型创建到指定的数据库中。审核不通过的模型直接被驳回，由开发人员继续修改。模型的字段可以从已有标准中选择，通过这种方式可以创建符合数据标准的模型。这里的标准包括***级数据标准和/或私有标准，***级数据标准可以被全局使用，私有数据标准和词根只能被某一个工作空间内的项目使用。自定义的字段输入中文名称后将根据词根自动推荐合适的英文名称。项目的“是否强制校验”选项将控制模型提交审核时的标准校验，如果不是强制校验，仅作提示性校验，否则强制要求满足标准，如果不满足则不能提交审核。

开发人员在开发模型的过程中执行如下多个操作：1、新建和/或修改数据模型；2、导出DDL（data definition language，数据定义语言）/Excel；3、模型复制；4、逆向工程；5、导入Excel格式的模型文档 ；6、模型移交，其指项目组成员变动后，需要将变动人员开发的模型移交给其他开发人员对应的节点，便于后期维护；7、标准校验，该功能在提交前隐式自动执行，对开发人员是无感的。

开发环境提供了可视化和表格化两种展示方式，可以自由切换。

图4是本发明实施例的又一个示例中数据模型开发平台的功能架构示意图。如图4所示，该数据模型开发平台包括：

租户管理功能提供了多租户的环境，实现了资源隔离，不同租户的人员登录只能看到所属租户的项目。租户管理模块包括如下中的任意多个子模块：创建租户、修改租户、启用租户、停用租户、删除租户、租户移交。其中，资源隔离是指是指将不同租户的项目进行隔离，因为有些项目有保密规定的，不能被其他人看到，所以这种通过租户（工作空间）隔离的方式，可以将不希望被其他人看到的内容放到另外一个租户（工作空间）中。

创建租户子模块，用于用户创建租户。租户在本***中是工作空间的同义词，有了租户才能新建项目，才能进行后续工作。

修改租户子模块，用于修改租户用户，包括修改租户基本信息，包括名称、密码等等。

启用租户子模块，用于对被禁用的租户重新启用。

停用租户子模块，用于将当前租户禁用，禁用后可以删除。

删除租户子模块，用于删除已禁用的租户，包括删除租户下的项目、模型、私有数据标准和词根。

租户移交子模块，用于当发生租户管理员变动的情况时，将租户移交给其他人员对应的节点。

数据类型管理模块，提供了不同数据库之间数据类型的匹配，便于在数据模型在不同数据之间转换。数据类型管理包括数据类型查询子模块和数据类型维护子模块。数据类型查询子模块，用于检索当前配置的不同数据库之间的数据类型对照关系。数据类型维护子模块，用于增加、修改、删除不同数据库之间的数据类型的对照关系。

数据标准管理模块，其包括：数据标准维护子模块，用于对数据标准进行维护，其包括对数据标准执行如下任意一种或多种维护操作：增加、删除、修改、查询、同步；其中，数据标准的同步操作包括：从外部数据库或外部应用同步获取数据标准；上述查询是指：查询本地数据库里的数据标准，可以采用但不限于模糊检索的方式。词根维护子模块，用于对词根进行维护，包括对词根执行如下任意一种多种维护操作：检索、增加、修改、删除、同步；其中，词根的同步包括从外部数据库或外部应用同步获取词根。上述检索可以从本地数据库中使用例如模糊检索的方式查询。

数据标准维护子模块，具体用于对本地数据标准和外部数据标准进行维护，包括增加、删除、修改、查询、同步数据标准等功能，上述这些数据标准可以在数据模型维护中引用。同步数据标准指的是与外部数据库或外部应用同步，在部署时指定外部数据库或外部应用服务器IP地址、端口，***自动每天同步一次，如果指定外部数据库或外部应用服务器修改数据后，数据模型开发平台想立即看到修改，使用这里的同步功能可以将最新修改的数据同步过来。

数据模型管理模块包括如下中的任意多个子模块：数据模型统计、数据模型维护、数据模型复制、数据模型导入导出、数据模型发布。

另外，根据数据仓库模型分层设计的特点，本发明实施例具备模型复制的功能，数据仓库设计人员复制同一主题的模型，适当的修改，形成该主题的层次模型，大大提高工作效率。在一些实施例中，数据模型复制子模块，用于响应于修改数据模型的操作指令，对该数据模型进行复制，形成第一复制品模型，仅允许用户对该第一复制品模型进行修改；和/或，响应于用户发出的形成具有目标主题的数据模型的操作指令，通过匹配搜索确定具有该目标主题的现有数据模型，对该现有数据模型进行复制处理形成第二复制品模型，接收用户对该第二复制品模型的修改操作，以生成具有该目标主题的更新后的数据模型；模型复制的应用场景主要在于分层数据仓库或者数据集市的建设过程中，不同层次的模型往往是维度逐层溃缩，这种模型非常适合从底层模型复制，然后修改维度（删除或者修改）后作为更高层次的模型，从而可以大大减少工作量。

在一些实施例中，其中，考虑到开发人员的工作习惯，保留了从外部Excel文件导入的功能，用户可以根据模板要求整理数据，批量导入，提高工作效率。数据模型导入导出子模块，用于导入和导出excel格式的模型文档；或者，导入Excel格式的模型文档，并且，导出数据定义语言DDL格式的模型文档。

在一些实施例中，数据模型统计子模块，用于对当前项目的进度进行追踪。该数据模型统计子模块的功能有利于项目经理对当前项目的追踪，了解项目进度。该模块具体执行如下方法：

S1、获取项目开发人员在不同日期段不同版本的设计中的数据模型数量、已提交审核通过的数量、以及全部数据模型数量。

S2、按照设计中的数据模型数量、已提交审核通过的数量、全部数据模型数量三类分时间阶段分组统计。具体地，按照时间阶段统计目前数据模型总量、审核通过数量、全部数量（包括审核通过、审核状态、驳回状态和草稿状态）。这个时间阶段是任意可选的，方便项目经理了解各个时间阶段模型开发情况。这个功能对于大中型项目非常有用。

S3、以饼图、趋势图、和时间轴的形式展示统计结果。

从而，项目经理可以在图表上看到各个项目开发人员、各个版本的数据模型数量。还可以自由选择日期阶段进行动态统计。

在一些实施例中，数据模型维护子模块，用于执行数据模型的增加、删除、修改、提交中的任意一项或多项功能。

在一些实施例中，数据模型发布子模块，用于数据模型的集成和交付。项目团队设计的模型最终要物理化到数据库，数据模型的发布是将当前版本的数据模型交付到特定的环境，比如开发环境、测试环境、生产环境等。版本管理功能能够满足持续交付的需要，下一个版本可以覆盖旧版本，也可以在旧版本上增量升级。

项目管理功能模块可以包括如下中的任意多个子模块：创建项目、修改项目、指定项目经理、项目成员管理、业务***维护、数据模型层次维护、数据模型命名规则、数据源管理、项目移交、数据模型移交、版本管理、逻辑数据模型审核、物理数据模型审核、逆向工程。

创建项目子模块，用于创建待开发的数据模型所属的项目，并且根据分解规则分解该项目，所述分解规则基于主题和/或基于业务***；该创建项目子模块主要是用于分解项目，分解规则可是基于主题、基于业务***等。例如一个数据仓库项目，主题可以分为客户、机构、账户、交易等主题，这样划分子模块后，各个模块任务量大大减少，方便项目管理。

对于某个比较大的项目来说，如果这个项目是针对多个业务***集中开发的数据模型。比如，项目包含了CRM、HR等等业务***，这时，数据模型的开发可以按照业务***分类，分为CRM和HR部分，分别指定给不同的项目组负责，这样就将一个比较大的项目分解为比较小的任务。再比如，一个数据仓库项目，需要按照主题设计，包含了客户、机构、账户、交易、合同、额度、押品等主题，因为项目规模比较大，可以对项目拆解，可以一个主题一个项目，指定不同的团队负责。主要是为了达到分而治之，各个击破的目的，方便项目管理。当然本发明实施例也可以把这个项目当作一个大项目来做，然后按照业务***或者主题在项目里新建模块层次。具体项目的拆解方法不以此为限。

指定项目经理子模块，用于指定项目管理人员。人员从现有租户人员选择，或者另行增加人员；

项目成员管理子模块，用于对项目的开发团队中的开发人员进行管理，包括如下任意一个或多个：增加开发人员、停用开发人员、启用开发人员、删除开发人员。

版本管理子模块的功能是指，任意版本之间可以做差异对比，差异可以导出为SQL文件，方便持续集成。不同版本可以选择不同数据库类型，数据库类型可以根据事先配置的数据类型对照关系自动转换，方便异构数据库之间的结构转换。在一个示例中，具有一个***数据类型，所有数据库类型都和该***数据类型有对照关系，根据***数据类型直接比较。

修改项目子模块，用于修改项目的基本信息，例如包括名称、起止日期等内容。

业务***维护子模块，用于维护项目所属业务***。

模型层次维护子模块，用于维护项目中模型所属层次，业务***一般为顶层。

数据源管理子模块，用于管理数据模型物理化和逆向工程的数据库。数据源管理功能包括：用户管理当前项目的数据库连接信息，包括IP地址、端口、数据库、Schema、账号和口令。一个项目可以有多个数据源，在模型创建到数据库时可以选择其中之一。逆向工程时，也可以选择其中之一的数据源。

数据模型审核子模块，用于将设计完成的模型通过数据标准审核后提交给项目经理。物理数据模型审核子模块已经和逻辑数据模型审核子模块融为一体构成数据模型审核子模块，因为对于开发人员来说，并不需要了解逻辑模型和物理模型之间的差异，这两个功能本发明实施例在后台自动处理了，从前端来看是无感的。数据标准是数据治理的概念，用来规范数据模型结构，通俗的解释就是一个语义只有一种代码表示，避免同一个语义在不同的地方有不同的表示方法，给数据治理中的元数据管理、数据血缘管理带来麻烦。这个审核的方式就是和用户定义的数据标准对比，如果名称、代码、数据类型、长度、精度中的任意一项不能与数据标准一致，则认定不符合数据标准要求。这个数据标准审核是可控的，可以在新建项目的时候将强制审核选项置为否，这样提交之前就不再经过数据标准审核流程。

项目移交子模块，用于当项目经理发生变动时，将发生变动的项目经理对应的项目移交给指定人员对应的节点。

模型移交子模块，用于在项目开发***后，将变动的项目开发人员所设计的数据模型移交给本项目中其他项目开发人员对应的节点。其中，为了应对开发团队成员变动，本发明实施例提供了项目移交和模型移交的功能。对于敏感操作（用户登录、删除用户、删除租户、删除模型等）都有日志记录，确保出现问题可追溯。在一些实施例中，项目移交给工作空间中的其他人员，一般是线下商量好了移交给谁，线上走程序，这个人员的原来角色没有限定。模型移交只能移交给项目中的人员，规则同项目移交。

逆向工程子模块，用于将现有数据库中的表转换为数据模型。逆向工程可以根据特定条件导入部分表。

数据模型命名规则子模块，用于维护项目中数据模型的命名规则，使模型具备统一风格的命名方式，方便项目管理。

其中，数据模型（Data Model）是数据特征的抽象，它从抽象层次上描述了***的静态特征、动态行为和约束条件，为数据库***的信息表示与操作提供一个抽象的框架。数据模型所描述的内容有三部分，分别是数据结构、数据操作和数据约束。数据模型按不同的应用层次分成三种类型：分别是概念数据模型、逻辑数据模型、物理数据模型。概念数据模型（Conceptual Data Model），是一种面向用户、面向客观世界的模型，主要用来描述世界的概念化结构，它是数据库的设计人员在设计的初始阶段，摆脱计算机***及DBMS的具体技术问题，集中精力分析数据以及数据之间的联系等，与具体的数据管理***（DatabaseManagement System，简称DBMS）无关。概念数据模型必须换成逻辑数据模型，才能在DBMS中实现。逻辑数据模型（Logical Data Model），是一种面向数据库***的模型，是具体的DBMS所支持的数据模型，如网状数据模型(Network Data Model)、层次数据模型(HierarchicalData Model)等等。此模型既要面向用户，又要面向***，主要用于数据库管理***（DBMS）的实现。物理数据模型（Physical Data Model），是一种面向计算机物理表示的模型，描述了数据在储存介质上的组织结构，它不但与具体的DBMS有关，而且还与操作***和硬件有关。每一种逻辑数据模型在实现时都有其对应的物理数据模型。由于本发明实施例映射了逻辑模型和物理模型之间的数据类型对照关系，逻辑模型向物理模型转换的过程中是无感的。

进一步地，所述后台的应用服务器还可以包括：日志管理子模块，用于对于敏感操作生成日志记录，所述敏感操作包括如下中的至少一个：用户登录、删除用户、删除租户、删除数据模型。

本发明实施例的上述技术方案具有如下有益技术效果：

本发明实施例对大型数据库或数据仓库的设计工作有很大帮助：

分布式部署方案可以满足了团队成员不在同一个办公场所工作的情况，突破了地理空间的限制；

在线联机工作方式解决了团队协作和团队成员之间知识共享的问题，提高了工作效率；

版本控制实现了开发过程中版本迭代可追溯，满足持续集成的需要；

引入数据标准，可以设计规范化的模型，实现了数据结构的标准化，满足数据治理对数据标准的要求。

本发明实施例提供了将数据模型工作分布式开发的方法；能够在数据模型设计阶段引用数据标准；以及在数据模型开发过程中实现多个版本并存。多版本并存类似树干的分支，即不同时期对开发人员生产的数据有一个快照，开发人员可以在这个快照上继续开发。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种数据模型开发平台，其特征在于，所述数据模型开发平台采用B/S三层架构，包括：

前台的页面端，用于通过Nginx访问应用服务器；

后台的应用服务器，用于部署与数据模型开发相关联的应用服务；其中，所述后台的应用服务器包括：

数据标准管理模块，用于对数据标准以及词根进行维护；

数据模型管理模块，用于根据所述数据标准和/或词根设计数据模型；

项目管理模块，用于针对项目的任意的两个版本进行差异对比，生成差异文件，将所述差异文件导出为SQL文件；

租户管理模块，用于提供多租户的环境，并且将不同租户的项目进行隔离，使得每个租户只能看到本租户自己的项目；

数据存储端，用于采用关系型数据库进行数据存储，并且采用key-value数据库作为缓存。

2.根据权利要求1所述的数据模型开发平台，其特征在于，所述数据标准管理模块，包括：

数据标准维护子模块，用于对数据标准进行维护，其包括对数据标准执行如下任意一种或多种维护操作：增加、删除、修改、查询、同步；其中，数据标准的同步操作包括：从外部数据库或外部应用同步获取数据标准；

词根维护子模块，用于对词根进行维护，包括对词根执行如下任意一种多种维护操作：检索、增加、修改、删除、同步；其中，词根的同步包括从外部数据库或外部应用同步获取词根。

3.根据权利要求2所述的数据模型开发平台，其特征在于，所述数据模型管理模块，包括：

数据模型复制子模块，用于响应于修改数据模型的操作指令，对所述数据模型进行复制，形成第一复制品模型，仅允许用户对所述第一复制品模型进行修改；和/或，响应于用户发出的形成具有目标主题的数据模型的操作指令，通过匹配搜索确定具有所述目标主题的现有数据模型，对所述现有数据模型进行复制处理形成第二复制品模型，接收用户对所述第二复制品模型的修改操作，以生成具有所述目标主题的更新后的数据模型。

4.根据权利要求3所述的数据模型开发平台，其特征在于，所述数据模型管理模块，还包括：

数据模型统计子模块，用于对当前项目的进度进行追踪；

数据模型维护子模块，用于执行如下任意一项或多项操作：增加数据模型、删除数据模型、修改数据模型、提交数据模型；

数据模型导入导出子模块，用于导入和导出excel格式的模型文档；或者，导入Excel格式的模型文档，并且，导出数据定义语言DDL格式的模型文档；以及，

数据模型发布子模块，用于将最终版本的数据模型交付到特定的环境。

5.根据权利要求1所述的数据模型开发平台，其特征在于，所述项目管理模块，还包括：

创建项目子模块，用于创建待开发的数据模型所属的项目，并且根据分解规则分解所述项目，所述分解规则基于主题和/或基于业务***；

指定项目经理子模块，用于响应于选择指令或配置操作指令，指定项目经理；

项目成员管理子模块，用于对项目的开发团队中的开发人员进行管理，包括如下任意一个或多个：增加开发人员、停用开发人员、启用开发人员、删除开发人员。

6.根据权利要求5所述的数据模型开发平台，其特征在于，所述项目管理模块，还包括：

修改项目子模块，用于修改项目的基本信息；

业务***维护子模块，用于维护项目所属业务***；

模型层次维护子模块，用于维护项目中数据模型所属层次；

数据模型命名规则子模块，用于维护项目中数据模型的命名规则，使模型具备统一风格的命名方式；

数据源管理子模块，用于选择确定数据模型物理化对应的数据库和逆向工程对应的数据库；

数据模型审核子模块，用于将设计完成的数据模型通过数据标准审核后提交给项目经理对应的节点。

7.根据权利要求6所述的数据模型开发平台，其特征在于，所述项目管理模块，还包括如任意多个下子模块：

项目移交子模块，用于当项目经理发生变动时，将发生变动的项目经理对应的项目移交给指定人员对应的节点；

模型移交子模块，用于在项目开发***后，将变动的项目开发人员所设计的数据模型移交给本项目中其他项目开发人员对应的节点；

逆向工程子模块，用于将现有数据库中的表转换为数据模型。

8.根据权利要求1-7中任一项所述的数据模型开发平台，其特征在于，所述租户管理模块包括如下中的任意多个子模块：

创建租户子模块，用于创建租户；

修改租户子模块，用于修改租户的基本信息；

启用租户子模块，用于对被禁用的租户重新启用；

停用租户子模块，用于将当前租户禁用；

删除租户子模块，用于删除已禁用的租户，包括删除租户下的项目、模型、私有数据标准和词根；

租户移交子模块，用于当发生租户管理员变动的情况时，将租户移交给其他人员对应的节点。

9.根据权利要求1-7中任一项所述的数据模型开发平台，其特征在于，所述后台的应用服务器还包括：

数据类型管理模块，用于不同数据库之间的数据类型映射，便于数据模型在不同数据库之间转换；所述数据类型管理模块包括：

数据类型查询子模块，用于检索当前配置的不同数据库之间的数据类型对照关系；

数据类型维护子模块，用于增加、修改、删除不同数据库之间的数据类型的对照关系。

10.根据权利要求1-7中任一项所述的数据模型开发平台，其特征在于，所述关系型数据库包括MySQL数据库，外部数据库通过RESTful接口与所述MySQL数据库连接，所述MySQL数据库从所述外部数据库中获取标准和词根；

所述后台的应用服务器还包括：日志管理子模块，用于对于敏感操作生成日志记录，所述敏感操作包括如下中的至少一个：用户登录、删除用户、删除租户、删除数据模型。

Images