CN113065077B - 一种水平扩展的中台业务处理*** - Google Patents

Abstract

本发明公开了一种水平扩展的中台业务处理***，根据不同的监控场景、不同的监控指标，可极其方便的水平扩展python监控业务，并对外提供标准化的接口。其技术方案为：***包括python基础库模块、中台业务处理框架模块、业务逻辑工程模块，其中python基础库模块，提供一组通用组件供应用层使用；中台业务处理框架模块，用于基于MVC对多个通讯协议进行封装处理以及业务报文分发业务处理；业务逻辑工程模块，用于实现基于MVC的业务逻辑，业务逻辑工程模块中包含多个控制器，其中每个控制器的基类均是中台业务处理框架模块的MVC中的控制器，业务逻辑工程模块中的控制器的数量根据业务需要进行水平扩展。

Description

一种水平扩展的中台业务处理***

技术领域

本发明涉及一种中台业务处理***，具体涉及一种水平扩展的python中台业务处理***。

背景技术

一套完整的策略交易***，除了对于实时要求极高的交易部分外，对于***运行情况的监控、错误日志监控、交易数据的监控、风控数据的监控以及延时的监控基本都会采用python进行数据中台的开发建设。

前台普遍使用vue等前端框架，这意味着传统的包含view的python、PHP、java等框架的view处理部分将不再重要。

因此，为了适应前台中台开发的特点，如何开发一种***，专注于为可水平扩展的监控模块提供接口级别的中台服务，是目前业界亟待解决的问题。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种水平扩展的中台业务处理***，根据不同的监控场景、不同的监控指标，可极其方便的水平扩展python监控业务，并对外提供标准化的接口。

本发明的技术方案为：本发明揭示了一种水平扩展的中台业务处理***，***包括python基础库模块、中台业务处理框架模块、业务逻辑工程模块，其中：

python基础库模块，提供一组通用组件供应用层使用；

中台业务处理框架模块，用于基于MVC对多个通讯协议进行封装处理以及业务报文分发业务处理；

业务逻辑工程模块，用于实现基于MVC的业务逻辑，业务逻辑工程模块中包含多个控制器，其中每个控制器的基类均是中台业务处理框架模块的MVC中的控制器，业务逻辑工程模块根据业务需要能够进行水平扩展。

根据本发明的水平扩展的中台业务处理***的一实施例，中台业务处理框架模块包括http服务端、fastcgi服务端、websocket服务端，http服务端基于http协议即超文本协议，fastcgi服务端基于fastcgi协议即快速通用网关协议，websocket服务端基于websocket协议，其中http服务端、fastcgi服务端、websocket服务端共同构成多网络通讯协议封装的mvc通讯组件服务端。

根据本发明的水平扩展的中台业务处理***的一实施例，http服务端用于网络报文的接收和解码，并将业务层报文按http协议进行编码并发送至网络。

根据本发明的水平扩展的中台业务处理***的一实施例，http服务端包括http请求报文解析器和http应答报文编码器，其中http请求报文解析器用于提供报文头和报文体相关内容获取的接口，http应答报文编码器用于按照http报文格式进行相关内容编码填充。

根据本发明的水平扩展的中台业务处理***的一实施例，http服务端配置为执行以下的处理：

http服务端所继承的asyncio.protocol基类库中当有网络报文来到时，回调库函数中的data_received函数，MVC框架创建http请求报文解析器的对象以对报文进行解码，解码成功后生成http应答报文编码器，将应答报文编码器和解析后的报文通过调用业务层数据处理接口上传至业务逻辑工程模块，业务逻辑工程模块进行业务逻辑处理后将处理结果根据编码器进行编码传送至网络对端。

根据本发明的水平扩展的中台业务处理***的一实施例，中台业务处理框架模块还设有控制器组件，业务逻辑工程模块中的所有业务应用都基于该控制器组件，控制器组件用于将业务层所使用的底层通讯组件进行封装。

根据本发明的水平扩展的中台业务处理***的一实施例，中台业务处理框架模块对外提供标准统一的URL接口，URL接口分为工程、控制器、执行三个字段。

根据本发明的水平扩展的中台业务处理***的一实施例，中台业务处理框架模块的底层实现对URL接口的分发。

根据本发明的水平扩展的中台业务处理***的一实施例，对URL接口的分发处理包括：

建立数据链路后，监听网络请求URL报文是否满足标准接口的格式，如果是标准接口，根据URL中控制器字段，动态导入控制器字段对应的库，创建对应的控制器对象并进行初始化，再为该控制器对象设置协议的编解码器，然后根据URL中的执行字段，匹配到相关的控制器类中的方法进行执行，并将执行结果以特定的协议编码进行返回。

本发明对比现有技术有如下的有益效果：本发明***中的python中台业务处理框架是面向对象的思路解决异步接口，能够支持水平扩展多种应用服务，提供标准化统一的接口，可支持多协议，例如http协议、fastcgi协议和websocket协议等。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了本发明的水平扩展的中台业务处理***的一实施例的整体架构示意图。

图2示出了图1的***实施例中的http服务端的结构示意图。

图3示出了图2所示的http服务端中的http请求报文解析器和http应答报文编码器的工作流程示意图。

图4示出了基于MVC框架中的基类控制器的开发代码示意图。

图5示出了MVC框架路由执行URL所含指令的流程图。

图6示出了数据层存储数据的示意图。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

图1示出了本发明的水平扩展的中台业务处理***的一实施例的整体架构，请参见图1，本实施例的***包括：python基础库模块、中台业务处理框架模块、业务逻辑工程模块。

python基础库模块位于最底层，提供一组通用组件供应用层使用

中台业务处理框架模块位于***的中间层，基于MVC(Model-View-Controller，模型-视图-控制器)对各通讯协议进行封装处理以及业务报文分发业务处理。

业务逻辑工程模块位于最上层，用于实现基于MVC的业务逻辑，业务逻辑工程模块包含若干个控制器(controller)，每个特定的控制器的基类均是中台业务处理框架模块的MVC中的控制器，业务逻辑工程模块中的控制器的数量可根据业务需要进行水平扩展。

中台业务处理框架模块包括http服务端、fastcgi服务端、websocket服务端，其中http服务端基于http协议(超文本协议)，fastcgi服务端基于fastcgi协议(快速通用网关协议)，websocket服务端基于websocket协议。http服务端、fastcgi服务端、websocket服务端共同构成多网络通讯协议封装的mvc通讯组件服务端。

http服务端主要负责网络报文的接收和解码，并将业务层报文按http协议进行编码并发送至网络。

http服务端的结构请见图2，http服务端包括http请求报文解析器(http_request_decoder)和http应答报文编码器(http_response_encoder)。

http请求报文解析器用于提供报文头和报文体相关内容获取的接口。http应答报文编码器用于按照http报文格式进行相关内容编码填充。

具体而言，http请求报文解析器和http应答报文编码器的工作流程如图3所示。http服务端继承于python3中的asyncio.protocol(python协程并发库)，asyncio.protocol基类库中当有网络报文来到，回调data_received函数(Asyncio.protocol库函数)，MVC框架创建http请求报文解析器的对象对报文进行报文解码，解码成功后生成http应答报文编码器，将应答报文编码器和解析后的报文通过调用中间层中台业务处理框架中的业务层数据处理接口上传至业务逻辑工程模块。业务逻辑工程模块进行相关业务逻辑处理后，将处理结果根据编码器进行编码传送至网络对端。

中台业务处理框架模块还设有控制器(controller)组件，控制器组件是业务可水平扩展的基础组件，所有上层的业务应用都是基于该组件，控制器组件主要是将业务层用到的底层通讯组件进行封装，如报文应答接口等。

中台业务处理框架模块对外提供标准统一的URL接口，所有的接口分为三段：/project/controller/action，其中工程(project)对应于项目文件夹的名称，即业务层进行业务开发所在的目录；控制器(controller)对应于project/controller/xxx_controller文件中的controller类，所有的业务controller都是基于MVC框架中的基类controller进行开发。执行(action)对应于controller类中的action_XXX方法。如图4的示例，在业务层project所对应的目录下有个account_controller.py文件，该文件中定义一个account_controller类来实现用户登录登出，基本的接口如图4所示。该类中包含两个方法action_login和action_logout。对外提供的标准接口对应于两个URL，分别为/projectname/account/login和/projectname/account/logout，前者是客户端请求登录，后者是客户端请求登出。

中台业务处理框架模块的底层实现对URL接口的分发，将根据URL(/project/controller/action)在projectname/controller目录下，匹配对应的XXX_controler.py文件中的action_XXXX.然后执行该action，并根据业务处理通过相关协议进行返回至前端。如图4的接口/projectname/account/login和/projectname/account/logout。MVC框架在项目对应的文件目录下，找到account_controller，然后执行action_login或者action_logout方法。

MVC框架路由执行URL所含指令，对URL接口进行分发处理的流程图如图5所示。

当前端(Browser)和基于MVC框架实现的python服务建立数据链路后，python服务监听网络请求URL报文是否满足/project_name/controller/action的格式，如果是标准接口，根据URL中的controller字段，动态导入相关的XXX_controller库，并创建相关的controller对象并进行初始化，再为该controller设置协议的编解码器，然后根据URL中的action字段，匹配到相关的controller类中的方法进行执行，并将执行结果以特定的协议编码进行返回。

在开发业务层应用时，仅需关注业务逻辑工程模块中的控制器(controller)的代码实现，所有的controller其实都是面向对象的类，MVC框架解析URL接口，动态的创建相关的controller类对象，并调用类中相关的业务接口，接口可以是异步实现的方式，结果返回调用controller类中的应答接口。

python基础库提供诸如常用封装好的库接口供应用层使用。中台业务处理框架对基于特定格式的报文请求进行处理，路由至特定的业务逻辑工程模块。业务逻辑工程模块是具体业务的实现逻辑，对数据进行加工。如图6所示，数据层采用的是mongoDB(mongoDB是基于分布式文件存储的数据库)数据，库来存储数据，数据可以根据类型来划分为配置数据和业务数据等等，其中配置数据是由前端(Browser)配置至数据库，业务数据是由图6中计算层根据业务规则计算统计而得。图6中的计算层主要是对外部数据特定的规则进行二次计算或者统计而产生的一系列的业务数据；图6中的接口层是根据业务而水平扩展的多个业务控制器controller，每个controller根据业务场景定义好标准接口提供给前端，前端按照接口格式进行和业务controller交互，controller内部可以定义接口来异步访问mongoDB的数据，并将相关数据根据业务需求进行组织并返回至前端。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体***的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (7)

1.一种水平扩展的中台业务处理***，其特征在于，***包括python基础库模块、中台业务处理框架模块、业务逻辑工程模块，其中：

python基础库模块，提供一组通用组件供应用层使用；

中台业务处理框架模块，用于基于MVC对多个通讯协议进行封装处理以及业务报文分发业务处理；

业务逻辑工程模块，用于实现基于MVC的业务逻辑，业务逻辑工程模块中包含多个控制器，其中每个控制器的基类均是中台业务处理框架模块的MVC中的控制器，业务逻辑工程模块中的控制器的数量根据业务需要进行水平扩展；

其中，中台业务处理框架模块还设有控制器组件，业务逻辑工程模块中的所有业务应用都基于该控制器组件，该控制器组件用于将业务层所使用的底层通讯组件进行封装；

中台业务处理框架模块对外提供标准统一的URL接口，URL接口分为工程、控制器、执行三个字段，其中工程字段对应于项目文件夹的名称，控制器字段对应控制器的类，所有业务的控制器的类均是基于MVC框架中的基类进行开发，执行字段对应控制器的类中的执行方法。

2.根据权利要求1所述的水平扩展的中台业务处理***，其特征在于，中台业务处理框架模块包括http服务端、fastcgi服务端、websocket服务端，http服务端基于http协议即超文本协议，fastcgi服务端基于fastcgi协议即快速通用网关协议，websocket服务端基于websocket协议，其中http服务端、fastcgi服务端、websocket服务端共同构成多网络通讯协议封装的mvc通讯组件服务端。

3.根据权利要求2所述的水平扩展的中台业务处理***，其特征在于，http服务端用于网络报文的接收和解码，并将业务层报文按http协议进行编码并发送至网络。

4.根据权利要求3所述的水平扩展的中台业务处理***，其特征在于，http服务端包括http请求报文解析器和http应答报文编码器，其中http请求报文解析器用于提供报文头和报文体相关内容获取的接口，http应答报文编码器用于按照http报文格式进行相关内容编码填充。

5.根据权利要求4所述的水平扩展的中台业务处理***，其特征在于，http服务端配置为执行以下的处理：

http服务端所继承的asyncio.protocol基类库中当有网络报文来到时，回调库函数中的data_received函数，MVC框架创建http请求报文解析器的对象以对报文进行解码，解码成功后生成http应答报文编码器，将应答报文编码器和解析后的报文通过调用业务层数据处理接口上传至业务逻辑工程模块，业务逻辑工程模块进行业务逻辑处理后将处理结果根据编码器进行编码传送至网络对端。

6.根据权利要求5所述的水平扩展的中台业务处理***，其特征在于，中台业务处理框架模块的底层实现对URL接口的分发。

7.根据权利要求6所述的水平扩展的中台业务处理***，其特征在于，对URL接口的分发处理包括：

建立数据链路后，监听网络请求URL报文是否满足标准接口的格式，如果是标准接口，根据URL中控制器字段，动态导入控制器字段对应的库，创建对应的控制器对象并进行初始化，再为该控制器对象设置协议的编解码器，然后根据URL中的执行字段，匹配到相关的控制器类中的方法进行执行，并将执行结果以特定的协议编码进行返回。