CN114707953A - 一种主数据全生命周期管理方法、***、引擎及存储介质 - Google Patents
一种主数据全生命周期管理方法、***、引擎及存储介质 Download PDFInfo
- Publication number
- CN114707953A CN114707953A CN202210314247.5A CN202210314247A CN114707953A CN 114707953 A CN114707953 A CN 114707953A CN 202210314247 A CN202210314247 A CN 202210314247A CN 114707953 A CN114707953 A CN 114707953A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- request
- target
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2291—User-Defined Types; Storage management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24554—Unary operations; Data partitioning operations
- G06F16/24556—Aggregation; Duplicate elimination
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Computational Linguistics (AREA)
- Marketing (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种主数据全生命周期管理方法、***、引擎及存储介质,该方法包括:在检测到模型创建请求时,根据模型创建请求指向的模型架构和字段控件创建数据模型,所述数据模型为用户通过自选字段控件创建的包括一个或多个业务层级和/或一个或多个业务域的自定义模型;通过所述数据模型对待处理数据进行数据整合处理以生成目标数据,所述数据整合处理包括数据抽取和数据转换;在检测到数据获取请求时,输出所述数据获取请求对应的部分或全部目标数据。解决了现有主数据全生命周期管理方法无法在标准统一的前提下满足用户越来越多的数据需求的问题。
Description
技术领域
本发明实施例涉及数据处理领域,尤其涉及一种主数据全生命周期管理方法、***、引擎及存储介质。
背景技术
企业信息化经过多年的建设,一方面提升了企业相关业务的工作效率,另一方面在企业业务线上原本有很深业务交集上的各业务支点,出现各自为政、独自研发管理和维护自己的业务***,产生诸多数据定义上的歧义,同时这种问题最终又会反馈并体现在业务本身上。当他们之间有更深的业务逻辑交互时,这种问题就会逐渐爆发出来。实际上这是一开始就注定的结果,因为业务的发展过快,没有人来在统筹的层面上梳理业务定义、标准、规范、流程和职责,就会影响着业务协作与流程的贯通。
本申请人在实现本发明实施例的过程中发现,现有主数据全生命周期管理方法至少存在无法在标准统一的前提下满足用户越来越多的数据需求的问题。
发明内容
本发明实施例提供了一种主数据全生命周期管理方法、***、引擎及存储介质,解决了现有主数据全生命周期管理方法至少存在无法在标准统一的前提下满足用户越来越多的即时需求的问题。
第一方面,本发明实施例提供了一种主数据全生命周期管理方法,该方法包括:
在检测到模型创建请求时,根据模型创建请求指向的模型架构和字段控件创建数据模型,所述数据模型为用户通过自选字段控件创建的包括一个或多个业务层级和/或一个或多个业务域的自定义模型;
通过所述数据模型对待处理数据进行数据整合处理以生成目标数据,所述数据整合处理包括数据抽取和数据转换;
在检测到数据获取请求时,输出所述数据获取请求对应的部分或全部目标数据。
第二方面,本发明实施例还提供了一种主数据全生命周期管理***,该***包括:
模型创建模块,用于在检测到模型创建请求时,根据模型创建请求指向的模型架构和字段控件创建数据模型,所述数据模型为用户通过自选字段控件创建的包括一个或多个业务层级和/或一个或多个业务域的自定义模型;
目标数据生成模块,用于通过所述数据模型对待处理数据进行数据整合处理以生成目标数据,所述数据整合处理包括数据抽取和数据转换;
输出模块,用于在检测到数据获取请求时,输出所述数据获取请求对应的部分或全部目标数据。
第三方面,本发明实施例还提供了一种引擎,该引擎包括:
一个或多个处理器;
存储装置,用于存储一个或多个应用***;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如任意实施例所述的主数据全生命周期管理方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如任意实施例所述的主数据全生命周期管理方法。
本发明实施例提供的主数据全生命周期管理方法的技术方案,在检测到模型创建请求时,根据模型创建请求指向的模型架构和字段控件创建数据模型,数据模型为用户通过自选字段控件创建的包括一个或多个业务层级和/或一个或多个业务域的自定义模型;通过数据模型对待处理数据进行数据整合处理以生成目标数据,数据整合处理包括数据抽取和数据转换;在检测到数据获取请求时,输出数据获取请求对应的部分或全部目标数据。由于数据模型为自定义模型,因此数据模型对待处理数据进行数据整合处理可以得到期望的目标数据,因此用户可以根据业务需求的变化建立不同的数据模型,以满足不同的数据需求。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图做一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种主数据全生命周期管理方法的流程图;
图2是本发明实施例二提供的一种主数据全生命周期管理方法的流程图;
图3是本发明实施例三提供的一种主数据全生命周期管理***的结构框图;
图4是本发明实施例三提供的又一种主数据全生命周期管理***的结构框图;
图5是本发明实施例四提供的一种引擎的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,以下将参照本发明实施例中的附图,通过实施方式清楚、完整地描述本发明的技术方案,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
图1是本发明实施例提供的一种主数据全生命周期管理方法的流程图。本实施例的技术方案适用于在统一用户数据标准的前提下满足用户越来越多的数据需求的情况。该方法可以由本发明实施例提供的一种主数据全生命周期管理***来执行,该***可以采用软件和/或硬件的方式实现,并配置在***处理器中应用。该方法具体包括如下步骤:
S101、在检测到模型创建请求时,根据模型创建请求指向的模型架构和字段控件创建数据模型,数据模型为用户通过自选字段控件创建的包括一个或多个业务层级和/或一个或多个业务域的自定义模型。
主数据管理实际上就是在定义多种业务实体数据,这种实体业务数据一般包括许多字段,每个字段都对应这个实体的某一种业务属性。比如商品的编码、商品描述等字段。
其中,业务域可理解为业务范围,比如订单和支付为两个业务域。
其中,字段控件用于建立相应字段的数据表格。在一个实施例中,字段控件包括规则设置项。用户通过该规则设置项可为当前字段设置数据录入规则,比如一位浮点数,非空等。通过在字段控件的规则设置项来设置字段录入规则,可以显著提高数据管理的规范性。
其中,数据模型包括静态数据模型和动态数据模型,前者用于处理静态数据,后者用于处理动态数据。无论是静态数据模型还是动态数据模型,均可由用户根据实际需求自行创建。
对于企业来说,经常会存在一部分数据,既没有维护在数据库里面,也没有维护在业务平台之上,而是维护在表格文件中,这部分数据我们称为静态数据。本实施例为静态数据设置的建模字段控件包括但不限于组织、部门、维保信息、供应商、品牌型号等特定的常用默认字段控件,以及可选字段控件,比如:文本、枚举、数值、人员、IP、部门、自动编号、邮箱、级联、表格等结构化的业务控件,支持任意业务逻辑的数据构建。
对于企业来说,还会存在一些实时生成的数据,这部分数据我们称之为动态数据。可以理解的是,动态数据优选通过动态数据模型进行处理。
在一个实施例中,用户依次从字段控件组合中选取至少两个期望字段控件,并使用该至少两个期望字段控件搭建包括一个或多个业务域和/或一个或多个业务层级的模型架构,然后点击模型生成选项以向***发送模型创建请求,***在检测到该模型创建请求时,根据该模型创建请求指向的模型架构和字段控件创建数据模型。
在一个实施例中,用户在模型创建界面输入模型架构生成请求,***在检测到该模型架构生成请求时,根据该模型架构生成请求中的层级数生成模型架构,其中该模型架构包括一个或多个业务层级;用户在模型创建界面输入控件限定请求,***在检测到该控件限定请求时,输出该控件限定请求中的业务域所对应的控件组合,以缩小用户在创建模型时的控件选择范围。用户将控件组合中所需的字段控件拖拽至模型架构中,待所有所需的字段控件拖拽完毕之后,点击模型生成选项以向***发送模型创建请求,***在检测到该模型创建请求时,根据模型创建请求指向的模型架构和字段控件创建数据模型。可以理解的是,控件限定请求包括目标业务域的业务域标识,当用户要创建的数据模型包括多个业务域时,可以在将一个业务域对应的字段控件拖拽完毕之后,再向***输入用于限定另一业务域控件的控件限定请求。
在一个实施例中,数据模型包括至少两个字段,该至少两个字段中的一个或多个字段设置有对应的录入格式限定规则,以使用户仅能按照该设定的录入格式限定规则录入相应的待处理数据。提高了待处理数据的规范性以及提高了数据模型输出的目标数据的准确性。
在检测到数据模型建立时生成接口调用列表,该接口调用列表至少包括增加接口、删除接口、更新接口和查询接口。其中,增加接口用于向数据模型中输入新增数据;删除接口用于删除数据模型中的部分数据,更新接口用于更新数据模型中的部分或全部数据,查询接口用于查询数据模型中的部分或全部数据。通过接口调用列表中的接口可以满足用户对数据模型使用的基本需求。
本实施例中的动态数据模型还可以接收需要人工维护的数据,即本实施例中的动态数据模型可以仅处理动态数据,也可以处理动态数据和静态数据的组合数据。
S102、通过数据模型对待处理数据进行数据整合处理以生成目标数据,数据整合处理包括数据抽取和数据转换。
数据抽取用于从待处理数据中抽取出目标数据。本实施例中的数据抽取方式包括但不限于实时数据抽取方法、触发器抽取方法和批量数据抽取方法。这些数据抽取方法对动态数据和静态数据均适合。
对于实时抽取方法,***会定时循环检查,并通过时间戳对数据进行过滤,并在数据抽取结束后,自动记录时间戳信息。适应于源表中存在一个或多个字段(时间戳),其值随着时间的增加而不断增加。
对于触发器抽取方法,在通过触发器捕获到临时数据表增加了新数据时,执行数据抽取操作,以将新增数据从临时表中抽取出来。该方法数据抽取的实时性极高。
批量数据抽取方法,适用于间隔设定时间定时进行数据抽取,以保证数据抽取的完整性、准确性和唯一性,同时降低数据抽取对源数据库的数据传输压力。可以理解的是,此种方式的数据抽取时间应避开该数据源的数据生成时间。
本实施例中的数据转换包括格式转换、数据粒度转换、数据关联整合和拆分,比如:数据过滤、数据分组、分组聚和、日期格式转换、一列拆多列、一行拆多行、表关联等。对于核心数据库来说,会按照主题对数据进行拆分、合并,同时会添加一些为了提升执行效率而进行反范式化添加的冗余字段。对于数据转换的实现方式,可以使用数据库存储过程转换或使用高级语言转换。在数据库存储转换过程中,使用SQL(Structured QueryLanguage,结构化查询语言)开发存储过程完成转换作业;在高级语言转换当中,使用开发C/C++/JAVA等程序对数据进行转换处理。
本实施例支持对表的列对应的实体字段进行数据过滤,且在过滤过程中,支持任意单条件过滤或多条件组合过滤。对于列数据兼容多组条件时,还支持阈值定义过滤,比如将某个数据范围内的数据过滤掉。
本实施例通过数据分组转换组件进行数据分组。该数据分组转换组件支持根据前置列的实体数据进行逻辑整合判断后置新增列的数据备值,根据前置列的数据的不同,进而整合生成不同数据的映射备值。
本实施例通过数据分组聚和组件对数据进行分组聚和操作。支持根据前置列的实体数据,进行“合计、计数、最大值、最小值、均值、总体标准差、总体方差、唯一计数,若非数字型的实体数据,聚合函数选择性判断是否生成函数计算”。分组聚合后,能够根据上述计算,动态在后置列整合计算对应实体值。
本实施例通过日期格式转换组件进行日期格式转换,支持“年-月-日”、“年-月-日时:分:秒”、“时:分:秒年-月-日”之间的时间转换。时间格式支持选择“年、月、日”、“时:分:秒”、“年”、“月”、“日”、“时”、“分”、“秒”,等格式输出。
本实施例通过列拆分组件,根据数组的不同业务逻辑将原有列生成新的业务列。适应于表数据的列数据为数组,一列包含多个含义的结构数据的情况。
本实施例通过行拆分组件根据实际的业务逻辑,将数组结构的实体数据进行行数据的业务定义,支持在原有一行数据的情况下,将数组拆分成双行或者多行。
本实施例根据主表进行“左右连接、内连接”的关系定义。即定义主表,根据主表的行数据定义数据总计,根据内连接和左右连接定义关联表的范围,同时根据匹配逻辑定义表的关系字段和匹配规则,进而生成表关联。
本实施例中的动态数据模型,支持“IOT(“Internet of Things,简称IOT,物联网)”领域的***、硬件、网络设备的默认模板采集,支持针对***维度的中间件、服务、数据库、***版本、IP(Internet Protocol,互联网协议),以及硬件维度的网口、主板、CPU(Central Processing Unit,中央处理器)、内存,以及网络设备的网络流量、网口信息等采集项的标准化定义和维护,动态获取IOT指标,且全程自动化采集维护。
S103、在检测到数据获取请求时,输出数据获取请求对应的部分或全部目标数据。
当用户想要获取数据模型中的部分或全部数据时,在输入界面输入数据获取请求,该数据获取请求包括期望数据的数据标识。***检测到数据获取请求时,输出数据获取请求对应的部分或全部目标数据。
在一个实施例中,当现有数据模型的接口无法满足用户的数据获取需求时,用户可以申请API(Application Programming Interface,应用程序接口)订阅服务。示例性的,用户在输入界面输入接口建立请求,该接口建立请求包括目标数据模型标识、请求数据标识和数据传输方向。***根据该接口建立请求创建目标接口,以使用户通过该目标接口从目标数据模型标识对应的目标数据模型中获取该请求数据标识对应的数据,或者而通过该目标接口将请求数据标识对应的数据输入至该目标数据模型标识对应的目标数据模型中。可以理解的是,***自动记录API订阅服务,以便后续的数据服务追溯。
在一个实施例中,在检测到格式审计单元发出数据格式审计请求时,确定数据格式审计请求中的待审查数据模型中部分或全部数据是否符合预设数据格式标准,数据格式审计请求包括待审查数据模型标识以及预设数据格式标准;若否,则输出提示信息。提示信息包括预设数据格式标准以及待审查数据模型中不满足该预设数据格式标准的数据内容。其中,提示信息可以以工单的形式发送,以让对应的数据模型维护人员尽快补充相应的待处理数据;也可以以邮件、平台内短信等通知方式。示例性的。一应用***的采购单价必填。那么在规则审计时,可以选中该应用***,且指定该应用模型中的采购单价的阈值规则条件为不等于,且阈值为空,这样就能对不合规的空值数据进行全盘漏扫。
本发明实施例提供的主数据全生命周期管理方法的技术方案,在检测到模型创建请求时,根据模型创建请求指向的模型架构和字段控件创建数据模型,数据模型为用户通过自选字段控件创建的包括一个或多个业务层级和/或一个或多个业务域的自定义模型;通过数据模型对待处理数据进行数据整合处理以生成目标数据,数据整合处理包括数据抽取和数据转换;在检测到数据获取请求时,输出数据获取请求对应的部分或全部目标数据。由于数据模型为自定义模型,因此数据模型对待处理数据进行数据整合处理可以得到期望的目标数据,因此用户可以根据业务需求的变化建立不同的数据模型,以满足不同的数据需求。
实施例二
图2是本发明实施例提供的一种主数据全生命周期管理方法的流程图。本发明实施例在上述实施例的基础上,增加了数据接入的步骤。
相应地,本实施例的方法包括:
S201、在检测到模型创建请求时,根据模型创建请求指向的模型架构和字段控件创建数据模型,数据模型为用户通过自选字段控件创建的包括一个或多个业务层级和/或一个或多个业务域的自定义模型。
S202、获取一个或多个数据源的源数据以作为待处理数据。
企业的数据层多冗杂。为了产品快速上线,业务往往会按照项目制进行应用平台或数据平台进行搭建。随着企业的业务拓张,企业的数据框架逐渐多源异构,而这些异化的数据框架通常都会包含“结构化数据、半结构化数据、非结构化数据和一些企业的设备资产数据等。
针对不同的数据结构,本实施例设置了不同的数据采集方法,比如:对于结构化数据,通过JDBC(Java数据库连接)、ODBC(开放数据库互连)、API等方式进行企业数据库、企业应用平台、核心数据库、关系型数据库的数据源数据的接入管理;对于半结构化数据,通过埋点工具进行抓包,或通过数据采集脚本进行数据采集,比如通过Python、shell等脚本;针对IOT终端数据,通过私有协议“IPMI(Intelligent Platform Management Interface,智能平台管理接口)、SNMP(Simple Network Management Protocol,简单网络管理协议)、IDrac(远程控制卡)”等获取IOT设备信息、以及通过兼容私有厂商的Mib(管理信息库)进行非结构化的音频、视频、图片集等数据的获取。
在从数据源获取数据的同时,还实时监测数据源端的通信以及调用活性,以保障数据源能够被正常接入纳管。在一个实施例中,数据源接入时,建立该数据源的元数据库,以通过元数据管理相应数据源的数据。
企业数字化转型过程中对数据源的接入管理仅仅只是前置步骤,数据的核心价值并没有被挖掘和变现。这个阶段便需要通过标准灵活的数据处理和加工,从而将冗余在众多数据的核心价值数据剥离出来。要想将众多数据的核心价值剥离出来,就需要对数据进行整合处理,比如初始数据抽取和初始数据转换。
关于初始数据抽取和初始数据转换可参见前述实施例中的数据抽取和数据转换。
源数据经初始数据抽取和初始数据转换后生成待处理数据,待处理数据可直接***目标数据库。为了不影响源数据,本实施例使用INSERT(***)或者LOAD(导入)的方式导入目标表即可。
在一个实施例中,采用本地存储或异地存储的方式存储采集的数据,前者支持静态数据存储和动态的时序数据结构存储,以及企业不同维度的数据落库管控;后者支持管道式的数据搬迁服务,比如将接入或转换后的数据进行异端管道推送,在推送过程中,支持单表或多表的组合映射,以实现本地异地的双数据存储。
S203、通过数据模型对待处理数据进行数据整合处理以生成目标数据,数据整合处理包括数据抽取和数据转换。
S204、在检测到数据获取请求时,输出数据获取请求对应的部分或全部目标数据。
本发明实施例提供的主数据全生命周期管理方法,通过灵活的数据采集方法获取一个或多个数据源的源数据,并对该一个或多个数据源的源数据进行数据整合处理;通过自定义的数据模型对该一个或多个数据源对应的待处理数据进行数据分析即可得到期望的目标数据,提高了数据挖掘的灵活性和规范性。
实施例四
图3是本发明实施例提供的***的结构框图。该***用于执行上述任意实施例所提供的主数据全生命周期管理方法。该***包括:
模型创建模块11,用于在检测到模型创建请求时,根据模型创建请求指向的模型架构和字段控件创建数据模型,所述数据模型为用户通过自选字段控件创建的包括一个或多个业务层级和/或一个或多个业务域的自定义模型;
目标数据生成模块12,用于通过所述数据模型对待处理数据进行数据整合处理以生成目标数据,所述数据整合处理包括数据抽取和数据转换;
输出模块13,用于在检测到数据获取请求时,输出所述数据获取请求对应的部分或全部目标数据。
可选地,所述数据模型包括动态数据模型和静态数据模型;
所述动态数据模型处理的待处理数据中包括动态数据;
所述静态数据模型用于处理静态数据。
可选地,模型创建模块11还用于
在检测到模型架构生成请求时,根据所述模型架构生成请求中的层级数生成模型架构;在检测到控件限定请求时,输出所述控件限定请求中的业务域所对应的控件组合,所述控件限定请求包括目标业务域的业务域标识。
可选地,所述数据转换包括数据过滤、数据分组、分组聚和、日期格式转换、一列拆多列、一行拆多行、表关联中的一种或多种;
可选地,所述数据模型包括至少两个字段,该至少两个字段中的一个或多个字段设置有对应的录入格式限定规则。
可选地,该***还包括审计模块,该审计模块用于
在检测到格式审计单元发出的数据格式审计请求时,确定数据格式审计请求中的待审查数据模型中的待处理数据是否符合预设数据格式标准,所述数据格式审计请求包括待审查数据模型标识以及预设数据格式标准;若否,则输出提示结果,所述提示结果包括预设数据格式标准以及待审查数据模型中不满足该预设数据格式标准的数据内容。
可选地,模型创建模块还用于在检测到所述数据模型建立时,生成该数据模型的接口调用列表,所述接口调用列表至少包括增加接口、删除接口、更新接口和查询接口。
可选地,输出模块还用于获取接口建立请求,所述接口建立请求包括目标数据模型标识、请求数据标识和数据传输方向;根据所述接口建立请求创建目标接口,所述目标接口用于从所述目标数据模型标识对应的目标数据模型中获取所述请求数据标识对应的数据,或将所述数据标识对应的数据***所述目标数据模型标识对应的目标数据模型中。
可选地,如图4所示,该***还包括数据获取模块10,用于获取一个或多个数据源的源数据,并对该一个或多个数据源的源数据进行初始数据抽取和初始数据转换,以生成待处理数据;在检测到所述待处理数据的预设注释位置缺少预设注释内容时,在该预设注释位置增加预设注释内容。
本发明实施例提供的主数据全生命周期管理***的技术方案,模型创建模块在检测到模型创建请求时,根据模型创建请求指向的模型架构和字段控件创建数据模型,数据模型为用户通过自选字段控件创建的包括一个或多个业务层级和/或一个或多个业务域的自定义模型;目标数据生成模块用于通过所述数据模型对待处理数据进行数据整合处理以生成目标数据,所述数据整合处理包括数据抽取和数据转换;输出模块用于在检测到数据获取请求时,输出数据获取请求对应的部分或全部目标数据。由于数据模型为自定义模型,因此数据模型对待处理数据进行数据整合处理可以得到期望的目标数据,因此用户可以根据业务需求的变化建立不同的数据模型,以满足不同的数据需求。
本发明实施例所提供的主数据全生命周期管理***可执行本发明任意实施例所提供的主数据全生命周期管理方法,具备执行方法相应的功能模块和有益效果。
实施例四
图5为本发明实施例提供的引擎的结构示意图,如图5所示,该引擎包括处理器401、存储器402。处理器401的数量可以是一个或多个,图5中以一个处理器401为例;引擎中的处理器401、存储器402可以通过总线或其他方式连接,图5中以通过总线连接为例。
存储器402作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的主数据全生命周期管理方法对应的程序指令/模块(例如,模型创建模块11、目标数据生成模块12以及输出模块13)。处理器401通过运行存储在存储器402中的软件程序、指令以及模块,从而执行引擎的各种功能应用以及数据处理,即实现上述的主数据全生命周期管理方法。
存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储至少一个功能所需的应用***;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器402可进一步包括相对于处理器201远程设置的存储器,这些远程存储器可以通过网络连接至引擎。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例五
本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种主数据全生命周期管理方法,该方法包括:
在检测到模型创建请求时,根据模型创建请求指向的模型架构和字段控件创建数据模型,所述数据模型为用户通过自选字段控件创建的包括一个或多个业务层级和/或一个或多个业务域的自定义模型;
通过所述数据模型对待处理数据进行数据整合处理以生成目标数据,所述数据整合处理包括数据抽取和数据转换;
在检测到数据获取请求时,输出所述数据获取请求对应的部分或全部目标数据。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的主数据全生命周期管理方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(RandomAccess Memory,简称RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的主数据全生命周期管理方法。
值得注意的是,上述主数据全生命周期管理装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (12)
1.一种主数据全生命周期管理方法,其特征在于,包括:
在检测到模型创建请求时,根据模型创建请求指向的模型架构和字段控件创建数据模型,所述数据模型为用户通过自选字段控件创建的包括一个或多个业务层级和/或一个或多个业务域的自定义模型;
通过所述数据模型对待处理数据进行数据整合处理以生成目标数据,所述数据整合处理包括数据抽取和数据转换;
在检测到数据获取请求时,输出所述数据获取请求对应的部分或全部目标数据。
2.根据权利要求1所述的方法,其特征在于,所述数据模型包括动态数据模型和静态数据模型;
所述动态数据模型处理的待处理数据中包括动态数据;
所述静态数据模型用于处理静态数据。
3.根据权利要求1所述的方法,其特征在于,所述在检测到模型创建请求时,根据模型创建请求指向的模型架构和字段控件创建数据模型之前,还包括:
在检测到模型架构生成请求时,根据所述模型架构生成请求中的层级数生成模型架构;
在检测到控件限定请求时,输出所述控件限定请求中的业务域所对应的控件组合,所述控件限定请求包括目标业务域的业务域标识。
4.根据权利要求1所述的方法,其特征在于,所述数据转换包括数据过滤、数据分组、分组聚和、日期格式转换、一列拆多列、一行拆多行、表关联中的一种或多种。
5.根据权利要求1所述的方法,其特征在于,
所述数据模型包括至少两个字段,该至少两个字段中的一个或多个字段设置有对应的录入格式限定规则。
6.根据权利要求1所述的方法,其特征在于,所述在检测到数据获取请求时,输出所述数据获取请求对应的部分或全部目标数据之前,还包括:
在检测到格式审计单元发出的数据格式审计请求时,确定数据格式审计请求中的待审查数据模型中的待处理数据是否符合预设数据格式标准,所述数据格式审计请求包括待审查数据模型标识以及预设数据格式标准;
若否,则输出提示结果,所述提示结果包括预设数据格式标准以及待审查数据模型中不满足该预设数据格式标准的数据内容。
7.根据权利要求1所述的方法,其特征在于,还包括:
在检测到所述数据模型建立时,生成该数据模型的接口调用列表,所述接口调用列表至少包括增加接口、删除接口、更新接口和查询接口。
8.根据权利要求1所述的方法,其特征在于,还包括:
获取接口建立请求,所述接口建立请求包括目标数据模型标识、请求数据标识和数据传输方向;
根据所述接口建立请求创建目标接口,所述目标接口用于从所述目标数据模型标识对应的目标数据模型中获取所述请求数据标识对应的数据,或将所述数据标识对应的数据***所述目标数据模型标识对应的目标数据模型中。
9.根据权利要求1-8任一所述的方法,其特征在于,所述通过所述数据模型对待处理数据进行数据整合处理以生成目标数据之前,还包括:
获取一个或多个数据源的源数据,并对该一个或多个数据源的源数据进行初始数据抽取和初始数据转换,以生成待处理数据;
在检测到所述待处理数据的预设注释位置缺少预设注释内容时,在该预设注释位置增加预设注释内容。
10.一种主数据全生命周期管理***,其特征在于,包括:
模型创建模块,用于在检测到模型创建请求时,根据模型创建请求指向的模型架构和字段控件创建数据模型,所述数据模型为用户通过自选字段控件创建的包括一个或多个业务层级和/或一个或多个业务域的自定义模型;
目标数据生成模块,用于通过所述数据模型对待处理数据进行数据整合处理以生成目标数据,所述数据整合处理包括数据抽取和数据转换;
输出模块,用于在检测到数据获取请求时,输出所述数据获取请求对应的部分或全部目标数据。
11.一种引擎,其特征在于,所述引擎包括:
一个或多个处理器;
存储器,用于存储一个或多个应用***;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-9中任一所述的主数据全生命周期管理方法。
12.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-9中任一所述的主数据全生命周期管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210314247.5A CN114707953A (zh) | 2022-03-28 | 2022-03-28 | 一种主数据全生命周期管理方法、***、引擎及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210314247.5A CN114707953A (zh) | 2022-03-28 | 2022-03-28 | 一种主数据全生命周期管理方法、***、引擎及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114707953A true CN114707953A (zh) | 2022-07-05 |
Family
ID=82170458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210314247.5A Pending CN114707953A (zh) | 2022-03-28 | 2022-03-28 | 一种主数据全生命周期管理方法、***、引擎及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114707953A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117910850A (zh) * | 2023-12-18 | 2024-04-19 | 北京宇信科技集团股份有限公司 | 一种指标数据分析引擎、指标数据计算装置和计算方法 |
-
2022
- 2022-03-28 CN CN202210314247.5A patent/CN114707953A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117910850A (zh) * | 2023-12-18 | 2024-04-19 | 北京宇信科技集团股份有限公司 | 一种指标数据分析引擎、指标数据计算装置和计算方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109213754B (zh) | 一种数据处理***及数据处理方法 | |
CN109101652B (zh) | 一种标签创建和管理*** | |
JP6618461B2 (ja) | メタデータ管理のシステム | |
CN111427561A (zh) | 业务代码的生成方法、装置、计算机设备和存储介质 | |
CN108958959B (zh) | 检测hive数据表的方法和装置 | |
CN111666326A (zh) | Etl调度方法及装置 | |
CN110275889B (zh) | 一种适用于机器学习的特征处理方法及装置 | |
CN114116065B (zh) | 获取拓扑图数据对象的方法、装置、及电子设备 | |
CN113962597A (zh) | 一种数据分析方法、装置、电子设备及存储介质 | |
CN113742325A (zh) | 数据仓库建设方法、装置、***、电子设备及存储介质 | |
CN111340404A (zh) | 构建指标体系的方法、装置及计算机存储介质 | |
CN103678591A (zh) | 自动执行多业务单据统计处理的装置和方法 | |
US20240036890A1 (en) | System and method of a modular framework for configuration and reuse of web components | |
CN115329011A (zh) | 数据模型的构建方法、数据查询的方法、装置及存储介质 | |
CN113722337B (zh) | 业务数据确定方法、装置、设备及存储介质 | |
CN114707953A (zh) | 一种主数据全生命周期管理方法、***、引擎及存储介质 | |
CN115543428A (zh) | 一种基于策略模板的模拟数据生成方法和装置 | |
CN115292285A (zh) | 一种基于分布式架构的数据专题管理方法及*** | |
CN113485763A (zh) | 一种数据处理方法、装置、电子设备及计算机可读介质 | |
CN114818635A (zh) | 数据报表生成方法、装置、电子设备及存储介质 | |
CN112286895A (zh) | 日志实时归因处理方法、装置和平台 | |
CN110866005A (zh) | 一种物联网数据采集管理方法及***、存储介质及终端 | |
CN111311329B (zh) | 标签数据获取方法、装置、设备及可读存储介质 | |
KR101638048B1 (ko) | 맵리듀스를 이용한 sql 질의처리방법 | |
CN115617919A (zh) | 一种用于农业数据分析处理的数据中台*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |