CN108628593B

CN108628593B - 大数据产品平台建立方法、装置、电子设备和存储介质

Info

Publication number: CN108628593B
Application number: CN201710168525.XA
Authority: CN
Inventors: 李冬峰; 刘荣明
Original assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Current assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Priority date: 2017-03-21
Filing date: 2017-03-21
Publication date: 2021-09-03
Anticipated expiration: 2037-03-21
Also published as: CN108628593A

Abstract

本申请提供了一种大数据产品平台建立方法、装置、电子设备和存储介质，该方法包括：建立基础功能模块，为大数据产品平台中的各子产品提供统一的功能服务、数据服务和交互操作；所述基础功能模块实现的功能为各子产品均需实现的功能；建立个性化功能模块，为需要实现所述个性化功能模块实现的功能的大数据产品平台中的子产品提供对应的功能服务、数据服务和交互操作；建立大数据产品平台中的任一子产品时，根据该子产品待实现的功能，复用所述基础功能模块和所述个性化功能模块提供的对应功能。该方案解决了大数据产品平台各子产品间功能重叠、状态、数据不同步的问题。

Description

大数据产品平台建立方法、装置、电子设备和存储介质

技术领域

本发明涉及通信技术领域，特别涉及一种大数据产品平台建立方法、装置、电子设备和存储介质。

背景技术

大数据业务包括对海量的数据的采集、搬运、计算、存储、应用的全过程；并且数据范围内不局限于企业自身，还可能涉及企业供应链的上下游企业，甚至是整个行业、市场的数据。所以企业很难用一个产品实现大数据的全部业务，必须构建一个由多子产品组成的大数据产品平台。最终通过全部子产品各司其职、共同协作才能胜任大数据的工作。

伴随着大数据业务领域的不断扩张、企业对数据依赖的增加、数据应用场景激增等情况，传统的大数据产品平台只能通过不断增加新的子产品来应用不断产生的新需求和新业务场景。

但伴随着大数据产品平台的子产品的不断增多，不仅需要投入更多大量成本和人员，更重要的是无法解决各子产品间业务重叠、功能重复等问题。必然会导致各子产品间数据、状态无法同步的问题，最终可能导致大数据产品平台的整体崩溃。

发明内容

有鉴于此，本申请提供一种大数据产品平台建立方法、装置、电子设备和存储介质，解决了大数据产品平台各子产品间功能重叠、状态、数据不同步的问题。

为解决上述技术问题，本申请的技术方案是这样实现的：

一种大数据产品平台建立方法，该方法包括：

建立基础功能模块，为大数据产品平台中的各子产品提供统一的功能服务、数据服务和交互操作；所述基础功能模块实现的功能为各子产品均需实现的功能；

建立个性化功能模块，为需要实现所述个性化功能模块实现的功能的大数据产品平台中的子产品提供对应的功能服务、数据服务和交互操作；

建立大数据产品平台中的任一子产品时，根据该子产品待实现的功能，复用所述基础功能模块和所述个性化功能模块提供的对应功能。

一种大数据产品平台建立装置，该装置包括：第一建立单元、第二建立单元和第三建立单元；

所述第一建立单元，用于建立基础功能模块，为大数据产品平台中的各子产品提供统一的功能服务、数据服务和交互操作；所述基础功能模块实现的功能为各子产品均需实现的功能；

所述第二建立单元，用于建立个性化功能模块，为需要实现所述个性化功能模块实现的功能的大数据产品平台中的子产品提供对应的功能服务、数据服务和交互操作；

所述第三建立单元，用于建立大数据产品平台中的任一子产品时，根据该子产品待实现的功能，复用所述第一建立单元中所述基础功能模块和所述第二建立单元中所述个性化功能模块提供的对应功能。

一种电子设备，包括：

至少一个中央处理器；以及，

与所述至少一个中央处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个中央处理器执行的指令，所述指令被所述至少一个中央处理器执行，以使所述至少一个中央处理器能够执行上述方法。

一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述方法。

由上面的技术方案可知，本申请中在传统的以满足业务需求为主导构建大数据平台的基础上，将大数据产品平台上可复用、可独立的功能作为基础功能，不可复用的功能作为个性化功能，来实现大数据产品平台的建立，解决了大数据产品平台各子产品间功能重叠、状态、数据不同步的问题。

附图说明

图1为本申请实施例中实现大数据产品平台建立流程示意图；

图2为本申请实施例中实现的大数据产品平台架构示意图；

图3为本申请实施例中针对图2实现的大数据产品平台的平台视图；

图4为本申请实施例中应用于上述技术的装置结构示意图；

图5为本申请实施例中电子设备的硬件结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并举实施例，对本发明的技术方案进行详细说明。

本申请提供一种大数据产品平台建立方案，在传统的以满足业务需求为主导构建大数据平台的基础上，将大数据产品平台上可复用、可独立的功能作为基础功能，不可复用的功能作为个性化功能，来实现大数据产品平台的建立，解决了大数据产品平台各子产品间功能重叠、状态、数据不同步的问题。

由于企业的差别，大数据产品平台的子产品在数量和功能略有不同，一般按职能可划分为如下六个子产品：

用于数据采集和搬运的调度任务***；用于数据存储的数据仓库(集市)***；用于数据计算的数据计算(模型)***；用于数据展现的数据展现(报表)***；用于***运维的监控***、服务器、集群管理***；用于流程管理、人事审批的流程工单***。

将这些子产品都会使用的功能作为基础功能，如标签功能、日志功能、权限功能和字典功能等，且不限于这些基础功能的实现；只有某个或某几个产品使用的功能，或者针对一个功能实体，不同子产品使用该功能实体实现的不同功能，个性化功能如调度任务功能、数据仓库功能、服务器功能、集群功能和流程工单功能等，且不限于这些个性化功能的实现。

建立一个子产品，如数据计算***，基础功能(标签功能、日志功能、权限功能和字典功能)都需要实现，而只需实现个性化功能中的服务器功能，或者服务器功能中的计算功能。

在具体实现时，可以根据长期累积的经验确定基础功能和个性化功能包含的内容，也可以根据一个通用的大数据产品平台获得相应的内容，本申请对此不做限制，也不限制基础功能和个性化功能包括的内容，可以根据实际要建立的大数据产品平台进行增减。

用于实现大数据平台产品建立的设备可以为1台或多台设备，当为多台设备实现时，为了描述方便在下文也将这多台设备组成的***称为设备。下面结合附图，详细说明本申请实现大数据产品平台建立的过程。

参见图1，图1为本申请实施例中实现大数据产品平台建立流程示意图。具体步骤为：

步骤101，设备建立基础功能模块，为大数据产品平台中的各子产品提供统一的功能服务、数据服务和交互操作。

基础功能模块实现的功能为各子产品均需实现的功能；对大数据产品平台的所有子产品提供唯一的、公共的、独立的服务。

设备建立基础功能模块的方法，具体包括：

创建基础功能的对象基类；并为基础功能的对象基类定义对象属性和对象操作；

在创建的基础功能的对象基类的基础上进行扩展，采用抽象工厂模式实现标签功能、日志功能、权限功能和字典功能。

在具体实现时，可以采用JAVA、C、C++、python等语言实现，下面给出JAVA实现示例：

第一步，创建基础功能的对象基类(Atomic services)。

调用public final Class<？>newAtomicServices()的方法，创建一个基础功能的对象基类(Atomic services)。其中public表示公有方法，final Class表示返回一个唯一的类(Class)，<？>是泛型***适用于任何方法。

第二步，创建对象基类的对象属性。

在对象基类(Atomic services)的基础上，定义基础功能的对象属性。对象属性包括：

GetID；获取基础功能所属ID

GetType；获基础功能类别

GetName；获取基础功能名称

GetCreatTime；获取基础功能创建时间

GetCreater；获取基础功能创建者

GetClone；获取基础功能拷贝

第三步，创建基础功能的对象操作。

在基础功能的对象基类(Atomic services)的基础上，定义基础功能的对象操作。对象操作包括：

Add()；新增操作

Update()；更新操作

Delete()；删除操作

Select()；查询操作

第四步，基于基础功能扩展出标签功能、日志功能、监控功能、权限功能、字典功能。

在生成基础功能的对象基类(Atomisce rvices)的基础上(包括：属性+操作)，对基础功能的对象基类(Atomisce rvices)进行扩展，采用抽象工厂模式生成标签功能、日志功能、监控功能、权限功能、字典功能类。

以标签功能生成方法为例：

创建标签功能类：newTagServices类；

标签功能类(Tag services)继承基础功能类(Atomic services)，即：Tagservices extend Atomic services。继承后的标签功能类(Tag services)自动继承了基础服务类(Atomic services)的全部属性和操作；

标签功能类(Tag services)扩展自身私有属性，包括：

TagTeam；新增标签组属性；

orderNumber；标签自增序号

标签服务类(Tag services)扩展自身私有操作，包括：

AddTagTeam()新增标签组操作

UpdateTagTeam()；更新标签组操作

DeleteTagTeam()；删除标签组操作

SelectTagTeam()；查询标签组操作

将实现的各功能的集合，作为基础功能模块，至此，完成基础功能模块的建立。

步骤102，设备建立个性化功能模块，为需要实现所述个性化功能模块实现的功能的大数据产品平台中的子产品提供对应的功能服务、数据服务和交互操作。

各子产品除了具备基础服务，还根据自身特点存在一些个性化服务，即私有服务，如一个子产品使用服务器上的计算功能，一个子产品使用服务器上的基本信息功能，另外一个产品使用的是服务器上的状态信息同步功能，本申请在这3个子产品实现服务器功能时，服务服务器功能的对应功能，这样各子产品上的信息不再是孤立的，在服务器功能所实现的设备上查看，可以看到相关信息、状态都是同步的，这样实现了大数据平台产品的一致性，提升了产品的性能。

设备建立个性化功能模块，包括：

创建个性化功能基类，并为个性化功能基类定义对象属性和对象操作；

在创建的个性化功能基类的基础上进行扩展，采用抽象工厂模式实现调度任务功能、数据仓库功能、服务器功能、集群功能和流程工单功能。

在具体实现时，也可以采用JAVA、C、C++、python等语言实现，实现过程与基础功能模块实现过程类似，这里不再给出具体实现过程。

步骤103，设备建立大数据产品平台中的任一子产品时，根据该子产品待实现的功能，复用所述基础功能模块和所述个性化功能模块提供的对应功能。

当一子产品待实现的功能中，存在基础功能模块和个性化功能模块均未能实现的功能时，在个性化功能模块中增加该功能，并复用该功能建立该子产品。

随着大数据产品平台的发展，当某一个性化功能是所有子产品都需实现的功能，即演变为基础服务功能时，可以将该个性化服务功能更新到基础功能中实现。

参见图2，图2为本申请实施例中实现的大数据产品平台架构示意图。

图2中大数据产品平台不同于现有实现中的单一的业务纬度，而是通过业务和功能两个纬度实现。由图2可见，基础功能模块实现的各功能，各子产品均需复用，而个性化功能模块实现的功能各子产品根据实际需要实现的功能复用。如调度任务***针对个性化功能模块只复用调度任务功能即可；数据计算***针对个性化功能模块复用数据仓库功能和服务器功能即可。

这里只是列举一个复用相关功能的例子，在实际应用中，可以增加或减少基础功能模块实现的功能，也可以根据实际需要增加减少复用个性化功能模块的功能，针对个性化功能模块的实现的功能还可以根据实际需要合并或拆分实现的对应功能，在具体实现时均不做限制。

在具体实现基础功能的复用时，可以通过网页链接跳转和API接口调用两种方式实现；实现个性化功能的复用时，可以通过API接口调用的方式实现。

针对网页链接跳转实现方式，在需要实现对应功能的产品平台中调用对应功能的地址即可，如采用新增按钮、新增关键字链接等方式，可直接跳转到对应服务功能。

针对API接口调用实现方式，各功能提供对应的API调用接口，需要使用该功能的产品平台直接调用该API调用接口即可。

针对已建立的大数据产品平台，生成一张大数据产品平台视图，用于显示各子产品当前复用的基础功能模块和个性化功能模块中的功能。

参见图3，图3为本申请实施例中针对图2实现的大数据产品平台的平台视图。由图3可见，哪个子产品复用了哪些功能，一目了然，图3中使用“√”标记的功能为子产品复用实现的功能；实施者可以根据各子产品复用的情况更新基础功能模块和个性化功能模块实现的功能。

本申请上述技术方案通过对基础功能模块实现功能的复用，解决了各子产品间功能重复开发、资源浪费的问题；通过复用个性化功能模块实现的功能解决了各子产品的功能信息孤岛、状态不同等问题；整个技术方案实现了大数据产品平台的一致性，提升了产品的性能。

当建立完成的大数据产品平台中需要增加新的子产品，或者面临新业务需求时，复用基础功能模块和个性化功能模块实现的功能即可，还可以通过组合功能实现新功能；从而降低了新业务的复杂度，并保证了信息、状态的一致性。

基于同样的发明构思，本申请还提出一种大数据产品平台建立装置。参见图4，图4为本申请实施例中应用于上述技术的装置结构示意图。该装置包括：第一建立单元、第二建立单元和第三建立单元；

第一建立单元，用于建立基础功能模块，为大数据产品平台中的各子产品提供统一的功能服务、数据服务和交互操作；所述基础功能模块实现的功能为各子产品均需实现的功能；

第二建立单元，用于建立个性化功能模块，为需要实现所述个性化功能模块实现的功能的大数据产品平台中的子产品提供对应的功能服务、数据服务和交互操作；

第三建立单元，用于建立大数据产品平台中的任一子产品时，根据该子产品待实现的功能，复用所述第一建立单元中所述基础功能模块和所述第二建立单元中所述个性化功能模块提供的对应功能。

较佳地，

第一建立单元，具体用于建立基础功能模块时，创建基础功能基类；并为基础功能基类定义对象属性和对象操作；在创建的基础功能基类的基础上进行扩展，采用抽象工厂模式实现基础功能。

较佳地，

第二建立单元，具体用于建立个性化功能模块时，创建个性化功能基类，并为个性化功能基类定义对象属性和对象操作；在创建的个性化功能基类的基础上进行扩展，采用抽象工厂模式实现个性化功能。

较佳地，

基础功能模块实现的功能包括：标签功能、日志功能、权限功能和字典功能；

个性化功能模块实现的功能包括：调度任务功能、数据仓库功能、服务器功能、集群功能和流程工单功能。

较佳地，

第二建立单元，进一步用于当该子产品待实现的功能中，存在基础功能模块和个性化功能模块均未能实现的功能时，在个性化功能模块中增加该功能，并通过第三建立单元复用该功能建立该子产品。

较佳地，该装置进一步包括：显示单元；

显示单元，用于针对已建立的大数据产品平台，生成一张大数据产品平台视图，用于显示各子产品当前复用的基础功能模块和个性化功能模块中的功能。

上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。

基于同样的发明构思，本申请还提出一种***部署电子设备。参见图5，图5为本申请实施例中电子设备的硬件结构示意图。

图5中所示的电子设备包括至少一个中央处理器501、存储器502。所述存储器502和所述至少一个中央处理器501通过总线连接，所述存储器502用于存储计算机指令，当所述电子设备运行时，所述至少一个中央处理器501执行所述存储器502存储的计算机指令，使得所述电子设备执行上文所述方法的具体流程。

基于同样的发明构思，本申请还提出一种计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory RAM)等。

综上所述，本申请通过在传统的以满足业务需求为主导构建大数据平台的基础上，将大数据产品平台上可复用、可独立的功能作为基础功能，不可复用的功能作为个性化功能，来实现大数据产品平台的建立，解决了大数据产品平台各子产品间功能重叠、状态、数据不同步的问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种大数据产品平台建立方法，其特征在于，该方法包括：

2.根据权利要求1所述的方法，其特征在于，所述建立基础功能模块，包括：

创建基础功能基类；并为基础功能基类定义对象属性和对象操作；

在创建的基础功能基类的基础上进行扩展，采用抽象工厂模式实现基础功能。

3.根据权利要求1所述的方法，其特征在于，

所述建立个性化功能模块，包括：

在创建的个性化功能基类的基础上进行扩展，采用抽象工厂模式实现个性化功能。

4.根据权利要求1所述的方法，其特征在于，

所述基础功能模块实现的功能包括：标签功能、日志功能、权限功能和字典功能；

所述个性化功能模块实现的功能包括：调度任务功能、数据仓库功能、服务器功能、集群功能和流程工单功能。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法进一步包括：

当该子产品待实现的功能中，存在基础功能模块和个性化功能模块均未能实现的功能时，在个性化功能模块中增加该功能，并复用该功能建立该子产品。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述方法进一步包括：

7.一种大数据产品平台建立装置，其特征在于，该装置包括：第一建立单元、第二建立单元和第三建立单元；

8.根据权利要求7所述的装置，其特征在于，

所述第一建立单元，具体用于建立基础功能模块时，创建基础功能基类；并为基础功能基类定义对象属性和对象操作；在创建的基础功能基类的基础上进行扩展，采用抽象工厂模式实现基础功能。

9.根据权利要求7所述的装置，其特征在于，

所述第二建立单元，具体用于建立个性化功能模块时，创建个性化功能基类，并为个性化功能基类定义对象属性和对象操作；在创建的个性化功能基类的基础上进行扩展，采用抽象工厂模式实现个性化功能。

10.根据权利要求7所述的装置，其特征在于，

11.根据权利要求7-10任一项所述的装置，其特征在于，

所述第二建立单元，进一步用于当该子产品待实现的功能中，存在基础功能模块和个性化功能模块均未能实现的功能时，在个性化功能模块中增加该功能，并通过第三建立单元复用该功能建立该子产品。

12.根据权利要求7-10任一项所述的装置，其特征在于，所述装置进一步包括：显示单元；

所述显示单元，用于针对已建立的大数据产品平台，生成一张大数据产品平台视图，用于显示各子产品当前复用的基础功能模块和个性化功能模块中的功能。

13.一种电子设备，包括：

至少一个中央处理器；以及，

与所述至少一个中央处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个中央处理器执行的指令，所述指令被所述至少一个中央处理器执行，以使所述至少一个中央处理器能够执行权利要求1-6中任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。