CN112541031A - 一种基于自动化数据组装的统一数据服务方法和*** - Google Patents

一种基于自动化数据组装的统一数据服务方法和*** Download PDF

Info

Publication number
CN112541031A
CN112541031A CN202011517534.3A CN202011517534A CN112541031A CN 112541031 A CN112541031 A CN 112541031A CN 202011517534 A CN202011517534 A CN 202011517534A CN 112541031 A CN112541031 A CN 112541031A
Authority
CN
China
Prior art keywords
data
interface
data service
unified
management module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011517534.3A
Other languages
English (en)
Inventor
曾远征
张健
方月
徐志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan XW Bank Co Ltd
Original Assignee
Sichuan XW Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan XW Bank Co Ltd filed Critical Sichuan XW Bank Co Ltd
Priority to CN202011517534.3A priority Critical patent/CN112541031A/zh
Publication of CN112541031A publication Critical patent/CN112541031A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本发明涉及数据服务领域,公开了一种基于自动化数据组装的统一数据服务方法和***,包括以下步骤,步骤S101,底层数据***通过接口进入统一数据服务***的数据标准化模块中,并传至数据源管理模块中;步骤S102,***管理员依据数据安全原则为***应用用户赋权;步骤S103,***应用用户根据自身的应用需求在数据服务接口管理模块中设置属性,由数据服务接口管理模块实现需求数据的自动化组装;步骤S104,在经过上述步骤后,完成对基础数据的组装并传至规定的统一数据服务接口。本发明通过搭建该***,可以统一收集、整合企业底层基础数据,经过自动化数据组装,降低数据服务后台开发成本,在组装同时,实现数据标准及应用标准落地。

Description

一种基于自动化数据组装的统一数据服务方法和***
技术领域
本发明涉及数据服务领域,具体是指一种基于自动化数据组装的统一数据服务方法和***。
背景技术
传统的数据调用模式为各业务***与底层数据***独立联系,由底层数据***为业务***“定制化”的进行数据加工,在数据加工完成后,业务***通过调用各数据***的接口实现数据的传输并投入到生产中。
但该数据调用模式存在以下三个问题:
1.全流程效率不高:每个业务***每开展一个项目,均需与底层数据***联系,但不同业务***、不同项目的部分数据需求往往可以互通、整合,然而由于各***的相对独立性,无法实现数据资源的共享,导致整个数据调用流程从开发到上线时间较长、效率较低;
2.数据服务的后台开发成本较高:针对每一个数据需求,底层数据***均需做“定制化”开发,给底层数据***带来较大负担和较大压力,开发成本较高;
3.数据调用接口管理困难;底层数据***通过自主开放接口为各业务***提供数据支持,可能会存在多开、误开等情况,而且业务部门在调用接口时出现的异常信息较难统一汇总至上游***,带来诸如数据安全之类的问题。
因此我们迫切需要能够可以统一收集、整合企业底层基础数据,降低数据服务的后台开发成本,为企业的业务***提供标准化的服务,提升数据服务的基于自动化数据组装的统一数据服务方法和***。
发明内容
基于以上问题,本发明提供了一种基于自动化数据组装的统一数据服务方法和***。本发明通过搭建该***,可以统一收集、整合企业底层基础数据,经过自动化的数据组装,降低数据服务的后台开发成本,在组装的同时,实现数据标准及应用标准的落地,达到为企业的业务***提供标准化的服务,提升数据服务的效率、准确性、规范性。
为解决以上技术问题,本发明采用的技术方案如下:
一种基于自动化数据组装的统一数据服务***,包括,底层数据***,用于提供底层基础数据;统一数据服务***,所述统一数据***包括数据源管理模块、数据标准化模块和数据服务接口管理模块,其中数据源管理模块用于与底层数据***交互,数据标准化模块用于数据标准及应用标准的实现,数据服务接口管理模块用于实现***应用用户需求数据的自动化组装,数据服务接口管理模块完成对基础数据的组装并传至规定的统一数据服务接口;下游业务***,下游业务***通过调用对应的统一数据服务接口,实现对所需数据的调用。
优选的,所述数据源管理模块包括数据源清单管理功能、数据源接口新增功能、数据源接口调试功能、数据源接口测试功能。
优选的,所述数据标准化模块对底层数据***传入的数据进行标准化处理。
优选的,所述统一数据服务***还包括***管理模块,所述***管理模块包括用户管理功能、角色管理功能和权限管理功能,负责用户、角色、权限管理。
一种基于自动化数据组装的统一数据服务方法,包括以下步骤:步骤S101,底层数据***通过接口进入统一数据服务***的数据标准化模块中,数据标准化模块对传入的数据进行标准化处理,并传至数据源管理模块中,显示该接口“可启用”;步骤S102,***管理员依据数据安全原则为***应用用户赋权,明确***应用用户对数据源管理模块中数据的使用权限;步骤S103,***应用用户根据自身的应用需求在数据服务接口管理模块中设置属性,由数据服务接口管理模块实现需求数据的自动化组装,并显示该数据服务接口“可启用”;步骤S104,在经过上述步骤后,完成对基础数据的组装并传至规定的统一数据服务接口,下游业务***可调用相关接口实现对所需数据的调用。
优选的,在步骤S101中,底层数据***通过API接口或数据工程师预设规定的接口调用模式进入统一数据服务***的数据标准化模块中。
优选的,步骤S101中,若底层数据***传入的数据源为新增数据源或数据源的输入属性有所调整,则在传至数据源管理模块后,会调起数据源测试功能,只有反馈数据与数据字典具有一致性,接口状态才会变更为启用状态。
优选的,步骤S103中,***应用用户在数据服务接口管理模块中设置的属性包括创建人、创建小组、创建时间、最后更新时间、更新人员、依赖接口、所需字段、组装规则中的一个或者多个。
优选的,步骤S103中,若该数据服务接口为新增接口或接口组装属性有所调整,则新增或调整完毕后,该模块会自动调起组装后服务接口在线测试功能,以验证接口是否可用,只有测试结果符合要求后,接口状态才会变更为启用状态。
本发明的有益效果:本发明通过搭建该***,可以统一收集、整合企业底层基础数据,底层基础数据可以是数据仓库、数据集市或者外部数据源中的一个或者多个,在统一数据服务***中经过自动化的数据组装,可有效降低数据服务的后台开发成本,在组装的同时,统一数据服务***实现了数据标准及应用标准的落地,能够为企业的下游业务***提供标准化的服务,下游业务***可以根据企业自身情况为信维***、财务***、人事***中的一个或者多个,可以提升数据服务的效率、准确性、规范性。
附图说明
参考以下详细描述可以获得对本发明的特征和优点的更好理解,其中阐述了利用了本发明的原理的说明性实施例以及附图,其中:
图1是根据本说明书一些实施例所示的服务流程图。
图2是根据本说明书一些实施例所示的***框架图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。
一种基于自动化数据组装的统一数据服务***,包括,底层数据***,用于提供底层基础数据;统一数据服务***,所述统一数据***包括数据源管理模块、数据标准化模块和数据服务接口管理模块,其中数据源管理模块用于与底层数据***交互,数据标准化模块用于数据标准及应用标准的实现,数据服务接口管理模块用于实现***应用用户需求数据的自动化组装,数据服务接口管理模块完成对基础数据的组装并传至规定的统一数据服务接口;下游业务***,下游业务***通过调用对应的统一数据服务接口,实现对所需数据的调用。
需要说明的是,在一些实施例中,所述数据源管理模块包括数据源清单管理功能、数据源接口新增功能、数据源接口调试功能、数据源接口测试功能。该模块主要负责底层数据***与本***之间的交互。通过在该模块中设置接口名称、接口状态、接口数据来源、接口IP地址和接口调用模式,实现数据源与本***的交互。但需注意的是,在新增数据源时,需向该模块传入数据源接口名称、状态、来源、人员等信息。在配置数据源接口各字段信息时可支持标准格式的数字字典上传,也可通过单字段的新增和配置,字段属性包括字段名、字段长度、字段类型、字段码值。在第一次输入接口输入参数后,会调起数据源测试功能,只有反馈数据与数据字典具有一致性,接口状态才会变更为启用状态。
还需要说明的是,在一些实施例中,数据服务接口管理模块主要负责下游业务***与本***之间的交互。应用***用户从被赋权的数据源接口清单中根据自身业务的需求设置依赖接口、所需字段、组装规则,实现对底层数据的数据转换和自动化组装。在第一次输入数据组装参数后,该模块会自动调起组装后服务接口在线测试功能,以验证接口是否可用。数据服务接口管理模块具体功能包括数据服务接口调用权限展示功能、数据服务接口清单管理功能、数据服务接口新增功能、数据服务接口调试功能、数据服务接口测试功能。
需要说明的是,在一些实施例中,所述数据标准化模块对底层数据***传入的数据进行标准化处理。数据标准化模块主要负责数据标准及应用标准的实现。在企业制定外部数据标准和服务接口标准规范后,由该模块对出口的数据进行标准化处理,以便后续***的使用。标准化的过程主要为数据值域的映射、字段命名等场景。
需要说明的是,在一些实施例中,所述统一数据服务***还包括***管理模块,所述***管理模块包括用户管理功能、角色管理功能和权限管理功能,负责用户、角色、权限管理。该模块主要涉及用户、角色、权限管理等内容。本***主要包括三类用户:***管理员、数据工程师和应用***用户。其中***管理员主要负责用户的创建、用户权限的配置等日常管理职能;数据工程师主要负责数据源接口的配置、对外服务接口的组装、应用***的接口调用关系、调用阈值,接口异常报警阈值的配置等职能;应用***用户则根据配置的权限进行限制调用。
还需要说明的是,所述统一数据服务***还可以根据需要设置日志管理模块、***监控模块、***数据存储查询模块中的一个或者多个。
日志管理模块,包括***运行日志部分和人工操作日志部分。其中***运行日志部分主要记录***的运维情况;人工操作日志记录***用户的操作日志,并可依照用户的管理权限进行查询。
***监控模块,该模块主要负责对本***接口相关模块的运行进行监控,包括各数据源接口、服务接口的被调用情况、查得率、成功率以及各接口调用量的变化情况等。
***数据存储查询模块,主要用于存储数据的调用关系及数据标准后数据值,异步结构化存储指标库数据,异步结构化存储调用日志。
一种基于自动化数据组装的统一数据服务方法,包括以下步骤:步骤S101,底层数据***通过接口进入统一数据服务***的数据标准化模块中,数据标准化模块对传入的数据进行标准化处理,并传至数据源管理模块中,显示该接口“可启用”;步骤S102,***管理员依据数据安全原则为***应用用户赋权,明确***应用用户对数据源管理模块中数据的使用权限;步骤S103,***应用用户根据自身的应用需求在数据服务接口管理模块中设置属性,由数据服务接口管理模块实现需求数据的自动化组装,并显示该数据服务接口“可启用”;步骤S104,在经过上述步骤后,完成对基础数据的组装并传至规定的统一数据服务接口,下游业务***可调用相关接口实现对所需数据的调用。
需要说明的是,在一些实施例中,在步骤S101中,底层数据***通过API接口或数据工程师预设规定的接口调用模式进入统一数据服务***的数据标准化模块中。该模块对传入的数据进行值域映射、字段命名等标准化处理,并传至数据源管理模块中,显示该接口“可启用”。若该数据源为新增数据源或数据源的输入属性有所调整,则在传至数据源管理模块后,会调起数据源测试功能,只有反馈数据与数据字典具有一致性,接口状态才会变更为启用状态。
需要说明的是,在一些实施例中,步骤S101中,若底层数据***传入的数据源为新增数据源或数据源的输入属性有所调整,则在传至数据源管理模块后,会调起数据源测试功能,只有反馈数据与数据字典具有一致性,接口状态才会变更为启用状态。
需要说明的是,在一些实施例中,步骤S103中,***应用用户在数据服务接口管理模块中设置的属性包括创建人、创建小组、创建时间、最后更新时间、更新人员、依赖接口、所需字段、组装规则中的一个或者多个。
需要说明的是,在一些实施例中,步骤S103中,若该数据服务接口为新增接口或接口组装属性有所调整,则新增或调整完毕后,该模块会自动调起组装后服务接口在线测试功能,以验证接口是否可用,只有测试结果符合要求后,接口状态才会变更为启用状态。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的***组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的***。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (9)

1.一种基于自动化数据组装的统一数据服务***,其特征在于,包括,
底层数据***,用于提供底层基础数据;
统一数据服务***,所述统一数据***包括数据源管理模块、数据标准化模块和数据服务接口管理模块,其中数据源管理模块用于与底层数据***交互,数据标准化模块用于数据标准及应用标准的实现,数据服务接口管理模块用于实现***应用用户需求数据的自动化组装,数据服务接口管理模块完成对基础数据的组装并传至规定的统一数据服务接口;
下游业务***,下游业务***通过调用对应的统一数据服务接口,实现对所需数据的调用。
2.根据权利要求1所述的基于自动化数据组装的统一数据服务***,其特征在于,所述数据源管理模块包括数据源清单管理功能、数据源接口新增功能、数据源接口调试功能、数据源接口测试功能。
3.根据权利要求1所述的基于自动化数据组装的统一数据服务***,其特征在于:所述数据标准化模块对底层数据***传入的数据进行标准化处理。
4.根据权利要求1所述的基于自动化数据组装的统一数据服务***,其特征在于:所述统一数据服务***还包括***管理模块,所述***管理模块包括用户管理功能、角色管理功能和权限管理功能,负责用户、角色、权限管理。
5.一种基于自动化数据组装的统一数据服务方法,其特征在于,包括以下步骤:
步骤S101,底层数据***通过接口进入统一数据服务***的数据标准化模块中,数据标准化模块对传入的数据进行标准化处理,并传至数据源管理模块中,显示该接口“可启用”;
步骤S102,***管理员依据数据安全原则为***应用用户赋权,明确***应用用户对数据源管理模块中数据的使用权限;
步骤S103,***应用用户根据自身的应用需求在数据服务接口管理模块中设置属性,由数据服务接口管理模块实现需求数据的自动化组装,并显示该数据服务接口“可启用”;
步骤S104,在经过上述步骤后,完成对基础数据的组装并传至规定的统一数据服务接口,下游业务***可调用相关接口实现对所需数据的调用。
6.根据权利要求5所述的基于自动化数据组装的统一数据服务方法,其特征在于:在步骤S101中,底层数据***通过API接口或数据工程师预设规定的接口调用模式进入统一数据服务***的数据标准化模块中。
7.根据权利要求5所述的基于自动化数据组装的统一数据服务方法,其特征在于:步骤S101中,若底层数据***传入的数据源为新增数据源或数据源的输入属性有所调整,则在传至数据源管理模块后,会调起数据源测试功能,只有反馈数据与数据字典具有一致性,接口状态才会变更为启用状态。
8.根据权利要求5所述的基于自动化数据组装的统一数据服务方法,其特征在于:步骤S103中,***应用用户在数据服务接口管理模块中设置的属性包括创建人、创建小组、创建时间、最后更新时间、更新人员、依赖接口、所需字段、组装规则中的一个或者多个。
9.根据权利要求5所述的基于自动化数据组装的统一数据服务方法,其特征在于:步骤S103中,若该数据服务接口为新增接口或接口组装属性有所调整,则新增或调整完毕后,该模块会自动调起组装后服务接口在线测试功能,以验证接口是否可用,只有测试结果符合要求后,接口状态才会变更为启用状态。
CN202011517534.3A 2020-12-21 2020-12-21 一种基于自动化数据组装的统一数据服务方法和*** Pending CN112541031A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011517534.3A CN112541031A (zh) 2020-12-21 2020-12-21 一种基于自动化数据组装的统一数据服务方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011517534.3A CN112541031A (zh) 2020-12-21 2020-12-21 一种基于自动化数据组装的统一数据服务方法和***

Publications (1)

Publication Number Publication Date
CN112541031A true CN112541031A (zh) 2021-03-23

Family

ID=75019255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011517534.3A Pending CN112541031A (zh) 2020-12-21 2020-12-21 一种基于自动化数据组装的统一数据服务方法和***

Country Status (1)

Country Link
CN (1) CN112541031A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220343A (zh) * 2021-04-14 2021-08-06 深圳新贝奥数字科技有限公司 一种企业跨***数据整合处理***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765337A (zh) * 2019-11-15 2020-02-07 中科院计算技术研究所大数据研究院 一种基于互联网大数据的服务提供方法
CN111027284A (zh) * 2019-12-05 2020-04-17 集奥聚合(北京)人工智能科技有限公司 一种基于数据灵活接入标准化输出方法
CN111143444A (zh) * 2018-11-06 2020-05-12 上海顶澄科技有限公司 基于api的数据交换平台
CN111880950A (zh) * 2020-07-30 2020-11-03 浪潮云信息技术股份公司 基于政务云平台管理云服务api的方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143444A (zh) * 2018-11-06 2020-05-12 上海顶澄科技有限公司 基于api的数据交换平台
CN110765337A (zh) * 2019-11-15 2020-02-07 中科院计算技术研究所大数据研究院 一种基于互联网大数据的服务提供方法
CN111027284A (zh) * 2019-12-05 2020-04-17 集奥聚合(北京)人工智能科技有限公司 一种基于数据灵活接入标准化输出方法
CN111880950A (zh) * 2020-07-30 2020-11-03 浪潮云信息技术股份公司 基于政务云平台管理云服务api的方法及***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220343A (zh) * 2021-04-14 2021-08-06 深圳新贝奥数字科技有限公司 一种企业跨***数据整合处理***

Similar Documents

Publication Publication Date Title
US10754932B2 (en) Centralized consent management
JP5503875B2 (ja) プロセス制御システム及びプロセス制御方法
US10698745B2 (en) Adapter extension for inbound messages from robotic automation platforms to unified automation platform
US9767441B2 (en) System for monitoring elevators and maintaining elevators
US20040128583A1 (en) Method and system for monitoring, diagnosing, and correcting system problems
US20210133622A1 (en) Ml-based event handling
US10007491B2 (en) Systems and/or methods for cloud-based event-driven integration
EP3479337A1 (en) Vehicle data aggregation and analysis platform providing dealership service provider dashboard
US20030212654A1 (en) Data integration system and method for presenting 360° customer views
US20100332509A1 (en) Systems and methods for integrated management of governmental projects
US20070208574A1 (en) System and method for managing master data information in an enterprise system
US9805083B1 (en) Method and computer program product for allowing a software application to interact with a product
CN110880146A (zh) 区块链上链方法、装置、电子设备及存储介质
CN102946415A (zh) 一种移动终端本地应用的实现方法和装置
CN112541031A (zh) 一种基于自动化数据组装的统一数据服务方法和***
CN111045652A (zh) 配电网开发及服务***
US12019647B2 (en) Accessing application services from forms
CN106656592A (zh) 基于角色配置的服务管理方法和装置
US20070271229A1 (en) System and method for data searching among multiple enterprise applications
CN111045928A (zh) 一种接口数据测试方法、装置、终端及存储介质
CN112988705B (zh) 一种可用于企业级生产的数据中台构建方法
US20140337728A1 (en) Operating oracle forms using a web service
CN105335145A (zh) 操作结果处理方法、装置及***
CN110569026A (zh) 一种基于j2ee框架面向服务的***架构方法
CN110825354A (zh) 基于soa体系的知识产权代理机构业务管理***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210323

RJ01 Rejection of invention patent application after publication