CN103645959A

CN103645959A - 电信实时***多进程共享内存池交互组件和方法

Info

Publication number: CN103645959A
Application number: CN201310700002.7A
Authority: CN
Inventors: 王德杰; 翁小东
Original assignee: University of Science and Technology Beijing USTB
Current assignee: University of Science and Technology Beijing USTB
Priority date: 2013-12-18
Filing date: 2013-12-18
Publication date: 2014-03-19

Abstract

电信实时***多进程共享内存池交互组件和方法，通过设置共享内存池SMP模块，有利于减少进程之间需要传输的数据量，提高电信实时***处理性能，其特征在于，包括以下步骤，业务逻辑层的入口进程根据来自接口层的统一请求消息UNIREQ开始业务处理，并向共享内存池SMP申请一个内存块，将业务处理中的业务层统一消息UNIMSG存放在该内存块中；业务处理完毕后，仅仅将该统一消息UNIMSG的句柄传给下一个进程，而不是像之前传递整个统一消息UNIMSG；该下一个进程通过统一消息UNIMSG的句柄访问共享内存池SMP，从内存块中获得统一消息UNIMSG或释放所述内存块。

Description

电信实时***多进程共享内存池交互组件和方法

技术领域

本发明涉及电信实时***多进程技术，特别是一种电信实时***多进程共享内存池交互组件和方法。

背景技术

目前，基于3G通信的数据和增值业务已成为发展重点，因此对承担业务实时计费，鉴权等后台任务的电信营运商的移动数据业务和增值业务管理平台***之性能，提出了更高的要求。发明人认为，***的进程间数据交互部分如果能够减少数据的内存拷贝，降低对操作***内核的压力，则在相同硬件配置情况下，***性能够得到显著提高。图1是现有技术中的电信实时***架构示意图，如图1所示，电信实时***多进程交互组件包括接口层和业务逻辑层，统一请求消息UNI REQ从接口层传递到业务逻辑层，统一回复消息UNI RSP从业务逻辑层传递到接口层。接口层包括多种消息接口适配器，例如，鉴权计费请求消息接口适配器，SOAP消息接口适配器，DIAMETER消息接口适配器。业务逻辑层包括分别连接交易中间件的多个进程，例如，入口进程，鉴权进程，批价进程，其它进程；统一消息UNIMSG通过交易中间件和IPC消息队列在进程之间传递。电信营运支撑***的工作流程简要说明如下：①接口适配器将外部***的各种消息转换为内部统一的请求消息（UNIREQ），发给应用服务器的入口进程；②入口进程处理请求消息，分析业务处理逻辑，根据消息指示，生成会话数据存放于数据库的会话表中，或再查找数据库获得已经生成的会话，整合生成业务层统一消息（UNIMSG）消息，包含管理信息段，请求信息段，回复信息段，并通过中间件将UNIMSG（内部使用IPC消息队列）发送给下一个业务进程；③业务进程访问UNIMSG中的信息进行逻辑处理，填写必要的回复信息，若处理失败或流程结束，通过中间件返回统一回复消息（UNIRSP）给接口适配层，否则将UNIMSG交给下一个业务进程处理；④接口层适配器将UNIRSP转换为外部消息，发送给相应的外部***，完成鉴权计费处理。但是现有技术存在以下缺陷或不足:由于接口层和业务逻辑层之间设计为基于TCP/IP的局域网通讯，信息网络I/O的交互不可避免；对于基于中间件的IPC消息队列的进程间通讯，UNIMSG在进程间通过中间件来交互，但UNIMSG消息长度多达1K以上，使进程间的数据交换占用了大量的***开销。

发明内容

本发明针对现有技术中存在的缺陷或不足，提供一种电信实时***多进程共享内存池交互组件和方法，通过设置共享内存池SMP模块，以便在进程之间仅仅传递统一消息UNIMSG的句柄，而不是像之前传递整个统一消息UNIMSG，从而有利于减少进程之间需要传输的数据量，提高电信实时***处理性能。

电信实时***多进程共享内存池交互方法，其特征在于，包括以下步骤，业务逻辑层的入口进程根据来自接口层的统一请求消息UNIREQ开始业务处理，并向共享内存池SMP申请一个内存块，将业务处理中的业务层统一消息UNIMSG存放在该内存块中；业务处理完毕后，仅仅将该统一消息UNIMSG的句柄传给下一个进程，而不是像之前传递整个统一消息UNIMSG；该下一个进程通过统一消息UNIMSG的句柄访问共享内存池SMP，从内存块中获得统一消息UNIMSG或释放所述内存块，由此减少了进程之间需要传输的数据量，提高电信实时***处理性能。

所述SMP包括内存块组成的内存池、Hash表、任务队列、计数器组和性能统计信息模块。

所述Hash表，用来存放共享会话信息。

所述任务队列，用于提供进程间的消息通知。

所述计数器组，用于提供进程间共享的计数器。

所述性能统计信息模块，用于组件使用过程中的统计数据。

电信实时***多进程共享内存池交互组件，其特征在于，包括内置于电信实时***业务逻辑层的共享内存池SMP模块，所述业务逻辑层的入口进程接收来自接口层的统一请求消息UNIREQ开始业务处理，并向共享内存池SMP模块申请一个内存块，将业务处理中的业务层统一消息UNIMSG存放在该内存块中，业务处理完毕后，仅仅将该统一消息UNIMSG的句柄传给下一个进程，而不是像之前传递整个统一消息UNIMSG，该下一个进程通过统一消息UNIMSG的句柄访问共享内存池SMP，从内存块中获得统一消息UNIMSG或释放所述内存块；所述业务逻辑层向接口层传送统一回复消息UNIRSP；所述SMP包括内存块组成的内存池、Hash表、任务队列、计数器组和性能统计信息模块，所述Hash表，用来存放共享会话信息；所述任务队列，用于提供进程间的消息通知；所述计数器组，用于提供进程间共享的计数器；所述性能统计信息模块，用于组件使用过程中的统计数据。

本发明的技术效果如下：采用本发明的电信实时***，对其进行压力测试的结果表明，在相同硬件配置和测试环境下，同样的CPU利用率，***的性能提高了30%以上。

附图说明

图1是现有技术中的电信实时***架构示意图。

图2是实施本发明的引入了SMP的电信实时***架构示意图。

图3是SMP的结构示意图。

具体实施方式

下面结合附图（图1-图3）对本发明进行说明。

图1是现有技术中的电信实时***架构示意图，如图1所示，包括接口层和业务逻辑层，统一请求消息UNI REQ从接口层传递到业务逻辑层，统一回复消息UNI RSP从业务逻辑层传递到接口层。接口层包括多种消息接口适配器，例如，鉴权计费请求消息接口适配器，SOAP消息接口适配器，DIAMETER消息接口适配器，等等。业务逻辑层包括分别连接交易中间件的多个进程，例如，入口进程，鉴权进程，批价进程，其它进程等等；统一消息UNI MSG通过交易中间件和IPC消息队列在进程之间传递。经分析和测试，***处理的开销很大部分用在进程，中间件，***内核之间的数据交换，为减少这部分的CPU消耗，需要尽量减少数据在内存的拷贝。因此，如图2所示（图2是实施本发明的引入了SMP的电信实时***架构示意图），引入SMP模块（Shared Memory Pool:SMP）机制：入口进程开始业务处理后，向SMP申请数据块，用以存放UNIMSG，根据消息指示生成会话,存放于共享内存会话表中,或在共享内存会话表中查找已有的会话,将该UNIMSG的句柄传给下一个进程，而不是象之前传递整个消息，后续进程通过UNIMSG句柄访问SMP，最后使用这个句柄的进程负责释放它。如此大大减少了进程之间需要传输的数据量，显著提高了处理性能。图3是SMP的结构示意图。如图3所示，SMP分为以下几个部分:内存块组成的内存池，Hash表，用来存放共享会话信息，任务队列，提供进程间的消息通知；计数器组，提供进程间共享的计数器；性能统计信息，组件使用过程中的统计数据。Attach到SMP的进程可以向SMP要求分配一个块，用于存放UNIMSG,也可以向SMP释放一个不再使用的块；进程从SMP得到一个块后，可以把这个块传给另一个进程，以便后续进程对块上的数据进行处理。进程处理完毕后，可以选择释放它，也可以将块存放在SMP的Hash表中(如对处于会话中的请求消息)，其它进程则访问hash获得块，然后进程处理，会话结束后从hash中删除并释放这个块。

该***为电信营运商的移动数据业务和增值业务管理平台，对终端用户的业务消费提供实时控制功能，完成包括鉴权，认证，批价等功能；设计目标为7X24小时的高可靠性，高性能，高并发的后台处理***。***构建于商业的主流的Unix平台和事务交易中间件，采用分布式集群架构设计，单节点则为进程池方式的多进程并行处理模式。本方案是针对单个服务器实例的优化并以此作为技术特征要求保护。本发明解决了在实际应用中，在Unix上的多进程处理模式下，为提高***的处理性能，而设计的一个共享内存交互访问优化方案。***引入共享内存池交互组件（SMP）后，需要对之前的实现做小量的调整，主要针对消息访问封装做修改，不影响业务逻辑的流程。在改造完毕后，对***进行了压力测试，结果表明，在相同硬件配置和测试环境下，同样的CPU利用率，***的性能提高了30%以上。接口层和业务逻辑层之间设计为基于TCP/IP的局域网通讯，信息的网络I/O的交互不可避免；业务逻辑层的服务器节点则设计为在同一台主机上，基于中间件的IPC消息队列的进程间通讯，UNIMSG在进程间通过中间件来交互，但UNIMSG消息长度多达1K以上，使进程间的数据交换占用了大量的***开销。经分析和测试，***处理的开销很大部分用在进程，中间件，***内核之间的数据交换，为减少这部分的CPU消耗，需要尽量减少数据在内存的拷贝。因此引入内存共享池交互组件（Shared Memory Pool:SMP）机制：入口进程开始业务处理后，向SMP申请数据块，用以存放UNIMSG，处理完毕后，将该UNIMSG的句柄传给下一个进程，而不是象之前传递整个消息，后续进程通过UNIMSG句柄访问SMP，最后使用这个句柄的进程负责释放它。如此大大减少了进程之间需要传输的数据量，显著提高了处理性能。

***流程说明如下：接口适配器将外部***的各种消息转换为内部统一的请求消息（UNIREQ），发给应用服务器的入口进程；入口进程处理请求消息，分析业务处理逻辑，整合生成业务层统一消息（UNIMSG）消息，包含管理信息段，请求信息段，回复信息段，并通过中间件将UNIMSG（内部使用IPC消息队列）发送给下一个业务进程；业务进程访问UNIMSG中的信息进行逻辑处理，填写必要的回复信息，若处理失败或流程结束，通过中间件返回统一回复消息（UNIRSP）给接口适配层，否则将UNIMSG交给下一个业务进程处理；接口层适配器将UNIRSP转换为外部消息，发送给相应的外部***，完成鉴权计费处理。

在此指明，以上叙述有助于本领域技术人员理解本发明创造，但并非限制本发明创造的保护范围。任何没有脱离本发明创造实质内容的对以上叙述的等同替换、修饰改进和/或删繁从简而进行的实施，均落入本发明创造的保护范围。

Claims

1.电信实时***多进程共享内存池交互方法，其特征在于，包括以下步骤，业务逻辑层的入口进程根据来自接口层的统一请求消息UNIREQ开始业务处理，并向共享内存池SMP申请一个内存块，将业务处理中的业务层统一消息UNIMSG存放在该内存块中；业务处理完毕后，仅仅将该统一消息UNIMSG的句柄传给下一个进程，而不是像之前传递整个统一消息UNIMSG；该下一个进程通过统一消息UNIMSG的句柄访问共享内存池SMP，从内存块中获得统一消息UNIMSG或释放所述内存块，由此减少了进程之间需要传输的数据量，提高电信实时***处理性能。

2.根据权利要求1所述的电信实时***多进程共享内存池交互方法，其特征在于，所述SMP包括内存块组成的内存池、Hash表、任务队列、计数器组和性能统计信息模块。

3.根据权利要求2所述的电信实时***多进程共享内存池交互方法，其特征在于，所述Hash表，用来存放共享会话信息。

4.根据权利要求2所述的电信实时***多进程共享内存池交互方法，其特征在于，所述任务队列，用于提供进程间的消息通知。

5.根据权利要求2所述的电信实时***多进程共享内存池交互方法，其特征在于，所述计数器组，用于提供进程间共享的计数器。

6.根据权利要求2所述的电信实时***多进程共享内存池交互方法，其特征在于，所述性能统计信息模块，用于组件使用过程中的统计数据。

7.电信实时***多进程共享内存池交互组件，其特征在于，包括内置于电信实时***业务逻辑层的共享内存池SMP模块，所述业务逻辑层的入口进程接收来自接口层的统一请求消息UNIREQ开始业务处理，并向共享内存池SMP模块申请一个内存块，将业务处理中的业务层统一消息UNIMSG存放在该内存块中，业务处理完毕后，仅仅将该统一消息UNIMSG的句柄传给下一个进程，而不是像之前传递整个统一消息UNIMSG，该下一个进程通过统一消息UNIMSG的句柄访问共享内存池SMP，从内存块中获得统一消息UNIMSG或释放所述内存块；所述业务逻辑层向接口层传送统一回复消息UNIRSP；所述SMP包括内存块组成的内存池、Hash表、任务队列、计数器组和性能统计信息模块，所述Hash表，用来存放共享会话信息；所述任务队列，用于提供进程间的消息通知；所述计数器组，用于提供进程间共享的计数器；所述性能统计信息模块，用于组件使用过程中的统计数据。