CN110119422B - 小微信贷租户数据仓库数据处理***及设备 - Google Patents

小微信贷租户数据仓库数据处理***及设备 Download PDF

Info

Publication number
CN110119422B
CN110119422B CN201910405548.7A CN201910405548A CN110119422B CN 110119422 B CN110119422 B CN 110119422B CN 201910405548 A CN201910405548 A CN 201910405548A CN 110119422 B CN110119422 B CN 110119422B
Authority
CN
China
Prior art keywords
data
tenant
layer
etl
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910405548.7A
Other languages
English (en)
Other versions
CN110119422A (zh
Inventor
李维瀚
李伟
袁游
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Shenshuyun Information Technology Co ltd
Original Assignee
Wuhan Shenshuyun Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Shenshuyun Information Technology Co ltd filed Critical Wuhan Shenshuyun Information Technology Co ltd
Priority to CN201910405548.7A priority Critical patent/CN110119422B/zh
Publication of CN110119422A publication Critical patent/CN110119422A/zh
Application granted granted Critical
Publication of CN110119422B publication Critical patent/CN110119422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种小微信贷租户数据仓库数据处理***及设备。所述***包括：全局配置层与总控制管理层连接，配置全局信息；租户配置层与总控制管理层连接，给租户配置信息；总控制管理层与租户数据池连接，下发接口任务和协调资源分配；租户数据池与ETL租户抽取层连接，给租户分配内存管理区域、从总控制管理层同步接口任务和/或初始化ETL接口时间戳及表池；ETL租户抽取层与数据仓库数据合并层连接，抽取租户数据至数据缓冲区；数据仓库数据合并层与数据接口分离层连接，聚合租户数据；数据接口分离层与数据权限控制层连接，使在线分析处理OLAP查询租户数据；数据权限控制层设定租户权限。本发明可以确保数据仓库数据处理的稳定、安全与高效。

Description

小微信贷租户数据仓库数据处理***及设备
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种小微信贷租户数据仓库数据处理***及设备。
背景技术
目前，随着小微信贷业务的发展，租户数量随之增加，数据量增长明显。数据仓库的设计需要确保单租户的数据处理的独立性、及时性、数据容错、数据回溯以及数据诊断。数据安全访问对于企业来说至关重要，业务***数据都是集中在一个实体上的，数据仓库必须按照租户数据分离的方式处理，以确保每个租户运营快速决策的运营需要。数据安全也至关重要，如果一个租户获取到另外一个租户的客户信息，对于企业的经济损失是无法评估的。同时，数据处理任务不能很好的分离，会导致多个任务访问同一张表，DML(Datamanipulation language，数据操作语言)语句的互锁以及死锁概率增大，导致数据库的稳定性、数据处理高效性受到影响。因此，找到一种使数据仓库中数据高效、稳定、安全处理的方法，就成为业界亟待解决的技术问题。
发明内容
针对现有技术存在的上述问题，本发明实施例提供了一种小微信贷租户数据仓库数据处理***及设备。
第一方面，本发明的实施例提供了一种小微信贷租户数据仓库数据处理***，包括：全局配置层、租户配置层、总控制管理层、租户数据池、ETL租户抽取层、数据仓库数据合并层、数据接口分离层和数据权限控制层；
所述全局配置层，与所述总控制管理层连接，用于配置全局信息；所述租户配置层，与所述总控制管理层连接，用于给租户配置信息；所述总控制管理层，与所述租户数据池连接，用于动态下发接口任务和动态协调资源分配；所述租户数据池，与所述ETL租户抽取层连接，用于给租户分配内存管理区域、从所述总控制管理层同步接口任务和/或初始化ETL接口时间戳及表池；所述ETL租户抽取层，与所述数据仓库数据合并层连接，用于将租户数据抽取到数据缓冲区；所述数据仓库数据合并层，与所述数据接口分离层连接，用于聚合租户数据；所述数据接口分离层，与数据权限控制层连接，用于使在线分析处理OLAP查询租户数据；所述数据权限控制层，用于设定租户权限；其中，所述ETL为数据提取、转换和加载的过程。
进一步地，在上述***实施例内容的基础上，本发明实施例中提供的小微信贷租户数据仓库数据处理***，所述用于配置全局信息，包括：配置与数据仓库交换数据的主机、数据库和/或文件传输协议的配置信息；配置总控管理器的参数信息；配置抽取容器作业模板，拷贝ETL数据流。
进一步地，在上述***实施例内容的基础上，本发明实施例中提供的小微信贷租户数据仓库数据处理***，所述用于给租户配置信息，包括：配置租户基本信息、租户资源信息和ETL接口信息。
进一步地，在上述***实施例内容的基础上，本发明实施例中提供的小微信贷租户数据仓库数据处理***，所述用于动态下发接口任务，包括：根据所述ETL接口信息，触发所述ETL接口处理的工作流。
进一步地，在上述***实施例内容的基础上，本发明实施例中提供的小微信贷租户数据仓库数据处理***，所述用于动态协调资源分配，包括：从上游业务库***获取资源使用状态，和/或从数据仓库主机中收集物理资源使用状态。
进一步地，在上述***实施例内容的基础上，本发明实施例中提供的小微信贷租户数据仓库数据处理***，所述将租户数据抽取到数据缓冲区，包括：从所述租户数据池中获取数据库连接实例和ETL时间戳，调用ETL包，将租户数据抽取到数据缓冲区。
进一步地，在上述***实施例内容的基础上，本发明实施例中提供的小微信贷租户数据仓库数据处理***，所述用于聚合租户数据，包括：操作数据存储层将租户数据聚合进行并行处理，所述租户数据聚合完成后向数据仓库表合并时，为所述租户数据申请合并任务锁。
第二方面，本发明的实施例提供了一种电子设备，包括：
至少一个处理器；以及
与处理器通信连接的至少一个存储器，其中：
存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的小微信贷租户数据仓库数据处理***。
第三方面，本发明的实施例提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的小微信贷租户数据仓库数据处理***。
本发明实施例提供的小微信贷租户数据仓库数据处理***及设备，通过采用动态管理抽取租户数据并存储在数据缓冲区，然后在数据仓库数据合并层将租户数据合并，最后使用在线分析处理OLAP查询租户数据，可以确保数据仓库中数据处理的稳定、安全与高效。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的小微信贷租户数据仓库数据处理***结构示意图；
图2为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明实施例提供了一种小微信贷租户数据仓库数据处理***，参见图1，该***包括：全局配置层、租户配置层、总控制管理层、租户数据池、ETL租户抽取层、数据仓库数据合并层、数据接口分离层和数据权限控制层；
所述全局配置层，与所述总控制管理层连接，用于配置全局信息；所述租户配置层，与所述总控制管理层连接，用于给租户配置信息；所述总控制管理层，与所述租户数据池连接，用于动态下发接口任务和动态协调资源分配；所述租户数据池，与所述ETL租户抽取层连接，用于给租户分配内存管理区域、从所述总控制管理层同步接口任务和/或初始化ETL接口时间戳及表池；具体地，租户单独分配的内存管理区域，初始化CONNECT POOL(连接池)，连接个数从总控制管理层进行同步。从总控制管理层同步接口任务，初始化TASK POOL(任务池)。初始化租户配置的ETL接口的抽取时间戳，初始化TABLEPOOL(表池)，从而方便在抽取任务执行时获取。所述ETL租户抽取层，与所述数据仓库数据合并层连接，用于将租户数据抽取到数据缓冲区；具体地，ETL租户抽取层抽取了三个租户(分别为ETL-A租户，ETL-B租户，ETL-C租户)，分别存储在三个数据缓冲区中(分别为数据缓冲区A，数据缓冲区B，数据缓冲区C)。所述数据仓库数据合并层，与所述数据接口分离层连接，用于聚合租户数据；所述数据接口分离层，与数据权限控制层连接，用于使在线分析处理OLAP查询租户数据；具体地，数据接口分离层在本实施例中包括：Cube.A、Cube.B和Cube.C三个多维数据立方体，分别存储ETL-A租户，ETL-B租户，ETL-C租户的数据。所述数据权限控制层，用于设定租户权限；具体地，设定的租户权限包括：网络访问用户验证，主要检测租户登陆的用户名，密码验证是否有效。有效进行下一步验证；数据库安全认证，主要检测租户登陆的用户名是否在数据库端有绑定的数据库用户，若有，则进入下一步；数据权限范围控制，主要检测登陆用户ID与USER_ID一一对应，USER_ID对应的权限控制表与其它维度、度量表建立关系，USER_ID会注入到查询的where语句中，返回结果限定在租户的权限范围内。其中，所述ETL为数据提取、转换和加载的过程。本实施例中的租户为三个，分别为租户A，租户B和租户C。需要注意的是，租户可以为若干个，例如1个，2个或5个，其数量由***的实际运行状态决定，并非仅仅局限于上述的具体数量。具体地，租户是指提供小微信贷(如小额贷款)的企业或机构，本发明实施例中的小微信贷租户数据仓库数据处理***中每一个这种企业、机构或个人，称为一个租户。为了优化数据仓库数据处理***对数据的处理流程，总控制管理层还可以从业务库API接口调用应用程序，实现动态更新抽取参数；并且可以从本地服务器API接口调用应用程序，实现动态更新装载参数。
在上述实施例的基础上，本发明实施例中提供的小微信贷租户数据仓库数据处理***，所述用于配置全局信息，包括：配置与数据仓库交换数据的主机、数据库和/或文件传输协议的配置信息；配置总控管理器的参数信息；配置抽取容器作业模板，拷贝ETL数据流。具体地，配置与数据仓库交换数据的HOST(主机)、DATABASE(数据库)、FTP(文件传输协议)的配置信息。配置总控管理层的参数信息，包括：并行处理租户最大个数、ETL抽取任务数、数据仓库模型汇总任务数、多维数据立方体聚合任务数、网络连接数。配置抽取容器作业模板，快速拷贝一个ETL数据流。然后按照读取时间戳—>创建临时表—>清空临时数据—>加载抽取数据—>数据转换规则—>入库—>表统计信息收集的流程，完成配置抽取容器作业模板。
在上述实施例的基础上，本发明实施例中提供的小微信贷租户数据仓库数据处理***，所述用于给租户配置信息，包括：配置租户基本信息、租户资源信息和ETL接口信息。具体地，所述租户基本信息包括：租户ID、租户名称、租户优先级、存储的临时缓冲区、储存的数据库、表空间，命名规范信息。配置租户资源信息和ETL接口信息，可以引用全局配置区的资源。所述ETL接口信息，包括：接口编号、临时表名、抽取SQL、接口作业时间。
在上述实施例的基础上，本发明实施例中提供的小微信贷租户数据仓库数据处理***，所述用于动态下发接口任务，包括：根据所述ETL接口信息，触发所述ETL接口处理的工作流。具体地，根据租户配置的ETL接口信息，定时触发接口处理工作流，记录每一个流程的工作状态。若某一节点任务失败，可以从断点重新下发。
在上述实施例的基础上，本发明实施例中提供的小微信贷租户数据仓库数据处理***，所述用于动态协调资源分配，包括：从上游业务库***获取资源使用状态，和/或从数据仓库主机中收集物理资源使用状态。具体地，控制租户数据池资源的配额，为确保抽取不影响业务数据库性能，每间隔15分钟从上游业务库***获取资源使用状态，包括：输入输出接口、中央处理器、数据库连接数、表空间、事务日志状态，实时调整最大允许抽取任务数。并且可以从数据仓库各主机中收集***物理资源使用状态，以调整抽取任务后面节点的并行执行任务数。
在上述实施例的基础上，本发明实施例中提供的小微信贷租户数据仓库数据处理***，所述将租户数据抽取到数据缓冲区，包括：从所述租户数据池中获取数据库连接实例和ETL时间戳，调用ETL包，将租户数据抽取到数据缓冲区。具体地，抽取步骤包括：从租户数据池中获取数据库连接实例INSTANCE_ID；从租户数据池中获取ETL时间戳；调用ETL包，将全部租户数据抽取到临时缓冲区，再合并汇总到数据仓库ODS(操作数据存储)层。
在上述实施例的基础上，本发明实施例中提供的小微信贷租户数据仓库数据处理***，所述用于聚合租户数据，包括：操作数据存储层将租户数据聚合进行并行处理，所述租户数据聚合完成后向数据仓库表合并时，为所述租户数据申请合并任务锁。具体地，数据仓库数据是租户的合集，为了确保各租户分析数据时不用等待其它租户，ODS层将租户数据聚合进行并行处理，每个租户数据聚合完成后向数据仓库表合并时，申请一个合并任务锁，与数据库锁不同的是，数据库锁确保数据的一致性和完整性，在多租户大数据量***同一张表的情况下，通常导致锁等待，进而可能造成死锁，合并任务锁可以让其它租户处于合并等待状态。
在上述实施例的基础上，本发明实施例中提供的小微信贷租户数据仓库数据处理***，所述用于使在线分析处理OLAP查询租户数据，包括：根据租户ID，在线分析处理OLAP将租户数据从数据仓库中分离，储存在多维数据立方体中，在线分析处理OLAP从所述多维数据立方体中查询租户数据。具体地，为了确保前端网络客户访问效率，OLAP(OnlineAnalytical Processing，在线分析处理)层将租户数据在数据仓库汇总层中按照租户ID进行分离，一个租户一个Cube，确保开放租户访问的数据已经隔离，从而提升租户访问数据速度。
本发明实施例提供的小微信贷租户数据仓库数据处理***，通过采用动态管理抽取租户数据并存储在数据缓冲区，然后在数据仓库数据合并层将租户数据合并，最后使用在线分析处理OLAP查询租户数据，可以确保数据仓库中数据处理的稳定、安全与高效。
本发明实施例的小微信贷租户数据仓库数据处理***是依托电子设备实现的，因此对相关的电子设备有必要做一下介绍。基于此目的，本发明的实施例提供了一种电子设备，如图2所示，该电子设备包括：至少一个处理器(processor)201、通信接口(Communications Interface)204、至少一个存储器(memory)202和通信总线203，其中，至少一个处理器201，通信接口204，至少一个存储器202通过通信总线203完成相互间的通信。至少一个处理器201可以调用至少一个存储器202中的逻辑指令，以实现如下***：全局配置层、租户配置层、总控制管理层、租户数据池、ETL租户抽取层、数据仓库数据合并层、数据接口分离层和数据权限控制层；所述全局配置层，与所述总控制管理层连接，用于配置全局信息；所述租户配置层，与所述总控制管理层连接，用于给租户配置信息；所述总控制管理层，与所述租户数据池连接，用于动态下发接口任务和动态协调资源分配；所述租户数据池，与所述ETL租户抽取层连接，用于给租户分配内存管理区域、从所述总控制管理层同步接口任务和/或初始化ETL接口时间戳及表池；所述ETL租户抽取层，与所述数据仓库数据合并层连接，用于将租户数据抽取到数据缓冲区；所述数据仓库数据合并层，与所述数据接口分离层连接，用于聚合租户数据；所述数据接口分离层，与数据权限控制层连接，用于使在线分析处理OLAP查询租户数据；所述数据权限控制层，用于设定租户权限；其中，所述ETL为数据提取、转换和加载的过程。
此外，上述的至少一个存储器202中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)实现本发明各个实施例所述的全部***或部分***。例如包括：全局配置层、租户配置层、总控制管理层、租户数据池、ETL租户抽取层、数据仓库数据合并层、数据接口分离层和数据权限控制层；所述全局配置层，与所述总控制管理层连接，用于配置全局信息；所述租户配置层，与所述总控制管理层连接，用于给租户配置信息；所述总控制管理层，与所述租户数据池连接，用于动态下发接口任务和动态协调资源分配；所述租户数据池，与所述ETL租户抽取层连接，用于给租户分配内存管理区域、从所述总控制管理层同步接口任务和/或初始化ETL接口时间戳及表池；所述ETL租户抽取层，与所述数据仓库数据合并层连接，用于将租户数据抽取到数据缓冲区；所述数据仓库数据合并层，与所述数据接口分离层连接，用于聚合租户数据；所述数据接口分离层，与数据权限控制层连接，用于使在线分析处理OLAP查询租户数据；所述数据权限控制层，用于设定租户权限；其中，所述ETL为数据提取、转换和加载的过程。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于这种认识，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本专利中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种小微信贷租户数据仓库数据处理***，其特征在于，包括：
全局配置层、租户配置层、总控制管理层、租户数据池、ETL租户抽取层、数据仓库数据合并层、数据接口分离层和数据权限控制层；
所述全局配置层，与所述总控制管理层连接，用于配置全局信息；
所述租户配置层，与所述总控制管理层连接，用于给租户配置信息；
所述总控制管理层，与所述租户数据池连接，用于动态下发接口任务和动态协调资源分配；
所述租户数据池，与所述ETL租户抽取层连接，用于给租户分配内存管理区域、从所述总控制管理层同步接口任务和/或初始化ETL接口时间戳及表池；
所述ETL租户抽取层，与所述数据仓库数据合并层连接，用于将租户数据抽取到数据缓冲区；
所述数据仓库数据合并层，与所述数据接口分离层连接，用于聚合租户数据；
所述数据接口分离层，与数据权限控制层连接，用于使在线分析处理OLAP查询租户数据；
所述数据权限控制层，用于设定租户权限；
其中，所述ETL为数据提取、转换和加载的过程；
所述用于使在线分析处理OLAP查询租户数据，包括：
根据租户ID，在线分析处理OLAP将租户数据从数据仓库中分离，储存在多维数据立方体中，在线分析处理OLAP从所述多维数据立方体中查询租户数据。
2.根据权利要求1所述的小微信贷租户数据仓库数据处理***，其特征在于，所述用于配置全局信息，包括：
配置与数据仓库交换数据的主机、数据库和/或文件传输协议的配置信息；
配置总控管理器的参数信息；
配置抽取容器作业模板，拷贝ETL数据流。
3.根据权利要求1所述的小微信贷租户数据仓库数据处理***，其特征在于，所述用于给租户配置信息，包括：
配置租户基本信息、租户资源信息和ETL接口信息。
4.根据权利要求3所述的小微信贷租户数据仓库数据处理***，其特征在于，所述用于动态下发接口任务，包括：
根据所述ETL接口信息，触发所述ETL接口处理的工作流。
5.根据权利要求1所述的小微信贷租户数据仓库数据处理***，其特征在于，所述用于动态协调资源分配，包括：
从上游业务库***获取资源使用状态，和/或从数据仓库主机中收集物理资源使用状态。
6.根据权利要求1所述的小微信贷租户数据仓库数据处理***，其特征在于，所述将租户数据抽取到数据缓冲区，包括：
从所述租户数据池中获取数据库连接实例和ETL时间戳，调用ETL包，将租户数据抽取到数据缓冲区。
7.根据权利要求1所述的小微信贷租户数据仓库数据处理***，其特征在于，所述用于聚合租户数据，包括：
操作数据存储层将租户数据聚合进行并行处理，所述租户数据聚合完成后向数据仓库表合并时，为所述租户数据申请合并任务锁。
8.一种电子设备，其特征在于，包括：
至少一个处理器、至少一个存储器、通信接口和总线；其中，
所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如权利要求1至7任一项权利要求所述的***。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现如权利要求1至7中任一项权利要求所述的***。
CN201910405548.7A 2019-05-16 2019-05-16 小微信贷租户数据仓库数据处理***及设备 Active CN110119422B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910405548.7A CN110119422B (zh) 2019-05-16 2019-05-16 小微信贷租户数据仓库数据处理***及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910405548.7A CN110119422B (zh) 2019-05-16 2019-05-16 小微信贷租户数据仓库数据处理***及设备

Publications (2)

Publication Number Publication Date
CN110119422A CN110119422A (zh) 2019-08-13
CN110119422B true CN110119422B (zh) 2021-05-07

Family

ID=67522630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910405548.7A Active CN110119422B (zh) 2019-05-16 2019-05-16 小微信贷租户数据仓库数据处理***及设备

Country Status (1)

Country Link
CN (1) CN110119422B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611252B (zh) * 2020-04-01 2023-07-18 石化盈科信息技术有限责任公司 数据同步过程中安全数据的监控、装置、设备和存储介质
CN111552730B (zh) * 2020-04-28 2024-01-26 杭州数梦工场科技有限公司 数据分发方法、装置、电子设备、存储介质
US11641371B2 (en) * 2021-02-17 2023-05-02 Saudi Arabian Oil Company Systems, methods and computer-readable media for monitoring a computer network for threats using OLAP cubes

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2480599A (en) * 2010-05-17 2011-11-30 Tech Universit T Muenchen Hybrid OLTP and OLAP database
WO2014138115A1 (en) * 2013-03-05 2014-09-12 Pierce Global Threat Intelligence, Inc Systems and methods for detecting and preventing cyber-threats
US9276959B2 (en) * 2013-11-11 2016-03-01 Amazon Technologies, Inc. Client-configurable security options for data streams
CN104731939B (zh) * 2015-03-31 2018-05-01 浪潮集团有限公司 一种租户间通过数据表共享数据的方法
CN108846076A (zh) * 2018-06-08 2018-11-20 山大地纬软件股份有限公司 支持接口适配的海量多源异构数据etl方法及***
CN109685519A (zh) * 2018-11-07 2019-04-26 国家电网有限公司客户服务中心 一种面向多租户服务一体化监控的方法及所用***

Also Published As

Publication number Publication date
CN110119422A (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN109034993B (zh) 对账方法、设备、***及计算机可读存储介质
US11442823B2 (en) Transaction consistency query support for replicated data from recovery log to external data stores
CN110119422B (zh) 小微信贷租户数据仓库数据处理***及设备
EP3120261B1 (en) Dependency-aware transaction batching for data replication
CN107220142B (zh) 执行数据恢复操作的方法及装置
KR101559206B1 (ko) 로그 데이터 처리 방법 및 이를 수행하는 시스템
US9317542B2 (en) Declarative specification of data integration workflows for execution on parallel processing platforms
TW202002587A (zh) 基於區塊鏈的資料處理方法和裝置
CN111897863B (zh) 多源异构数据融合汇聚方法
US20200128094A1 (en) Fast ingestion of records in a database using data locality and queuing
US9582558B2 (en) Method and system for data definition language (DDL) replication
US8805849B1 (en) Enabling use of analytic functions for distributed storage system data
US10552293B2 (en) Logging as a service
US10095699B2 (en) Computer-readable recording medium, execution control method, and information processing apparatus
CN110019267A (zh) 一种元数据更新方法、装置、***、电子设备及存储介质
CN109669976B (zh) 基于etl的数据服务方法及设备
US9418241B2 (en) Unified platform for big data processing
US8738767B2 (en) Mainframe management console monitoring
US20210037072A1 (en) Managed distribution of data stream contents
CN110188103A (zh) 数据对账方法、装置、设备和存储介质
US10776359B2 (en) Abstractly implemented data analysis systems and methods therefor
CN113626447B (zh) 一种民航数据管理平台及方法
EP3769232B1 (en) Method and system for performing inner-joins on a sharded data set
CN106407442A (zh) 一种海量文本数据处理方法及装置
CN112597218A (zh) 一种数据处理方法、装置以及数据湖架构

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant