CN105426231A - 多进程处理装置和多进程处理方法 - Google Patents

Abstract

一种多进程处理方法及装置，该装置包括：接收模块，用于接收调用指令，所述调用指令中包括各业务数据以及分别与各业务数据对应的业务处理逻辑代码；进程处理模块，用于生成分别执行所述业务处理逻辑代码的子进程，分别对与这些业务处理逻辑代码对应的业务数据进行处理；结果返回模块，用于将所述处理的结果返回给所述调用指令的发出者。本发明实施例的方案可实现多进程处理过程，简化了多进程技术，降低了多进程技术的使用难度，提高了程序开发效率。

Description

多进程处理装置和多进程处理方法

技术领域

本发明涉及程序设计领域，特别是涉及一种多进程处理装置及一种多进程处理方法。

背景技术

在程序运行过程中，被加载到内存中执行的程序实例，称为进程(process)。进程是程序在计算机上的一次执行活动，是程序的一次动态执行过程。它是***进行资源分配和调度的一个可并发执行的独立单位，或者也可以说，进程是应用程序的运行实例，是操作***进行资源分配的单位。当运行一个程序，就启动了一个进程。

一个进程从建立到终止，全由操作***的核心掌控。操作***的内部有一个进程队列，针对进程的状态和需求，根据不同的算法安排执行的顺序。每个进程会分配到一小段CPU时间(称为timeslice)，该段时间结束CPU马上切换到其他进程执行，从而多个进程同时运行，提高了处理效率。像这种不停的在各种进程之间切换执行(称为上下文切换：contextswtich)的***，称为多进程操作***。

目前遇到大数据量同步、多任务处理等场景时，为了提高处理效率，一般是资深开发人员根据自身掌握知识，开发多进程处理程序，完成业务功能需要。但是，多进程开发需要关心进程间通信、数据共享、进程锁等与业务无关的逻辑，不仅需要耗费大量的时间和精力，而且需要一定的操作***知识，一般需要资深开发人员才能完成开发，对于对操作***、进程等较底层的知识不是很了解的普通开发人员，则无法使用多进程技术提高程序的执行效率。

发明内容

基于此，针对上述现有技术中存在的问题，本发明的目的在于提供一种多进程处理装置及多进程处理方法，其可以简化多进程技术，降低多进程技术的使用难度，提高程序开发效率。

为达到上述目的，本发明实施例采用以下技术方案：

一种多进程处理装置，包括：

接收模块，用于接收调用指令，所述调用指令中包括各业务数据以及分别与各业务数据对应的业务处理逻辑代码；

进程处理模块，用于生成分别执行所述业务处理逻辑代码的子进程，分别对与这些业务处理逻辑代码对应的业务数据进行处理；

结果返回模块，用于将所述处理的结果返回给所述调用指令的发出者。

一种多进程处理方法，包括步骤：

接收调用指令，所述调用指令中包括各业务数据以及分别与各业务数据对应的业务处理逻辑代码；

生成分别执行所述业务处理逻辑代码的子进程，分别对与这些业务处理逻辑代码对应的业务数据进行处理。

根据上述本发明实施例的方案，其是将多进程处理的逻辑处理部分进行了封装，作为一个黑盒子供外部调用，对于开发人员来说，在开发多进程处理程序时，无需关心操作***、进程等较底层的知识，只需关注业务处理逻辑，直接调用本发明的多进程处理装置，即可实现多进程处理过程，简化了多进程技术，降低了多进程技术的使用难度，提高了程序开发效率。

附图说明

图1是本发明的多进程处理装置实施例一的结构示意图；

图2是本发明的多进程处理装置实施例二的结构示意图；

图3是本发明的多进程处理方法实施例一的流程示意图；

图4是本发明的多进程处理方法实施例二的流程示意图；

图5是能实现本发明的一个计算机***的模块图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

图1中示出了本发明的多进程处理装置实施例一的模块结构示意图。如图1所示，本实施例中的多进程处理装置包括：

接收模块101，用于接收调用者的调用指令，所述调用指令中包括各业务数据以及分别与各业务数据对应的业务处理逻辑代码；

进程处理模块102，用于生成分别执行所述业务处理逻辑代码的子进程，分别对与这些业务处理逻辑代码对应的业务数据进行处理；

结果返回模块103，用于将所述处理的结果返回给所述调用者。

根据上述本发明实施例的方案，其是将多进程处理的逻辑处理部分进行了封装，作为一个黑盒子供外部调用，对于开发人员来说，在开发多进程处理程序时，无需关心操作***、进程等较底层的知识，只需关注业务处理逻辑，直接调用本发明的多进程处理装置，即可实现多进程处理过程，简化了多进程技术，降低了多进程技术的使用难度，提高了程序开发效率。

其中，上述业务数据的数目根据实际需要可以有所不同。在生成分别执行所述业务处理逻辑代码的子进程时，所生成的子进程的数目根据实际需要可以有所不同。

在其中一种方式中，在上述调用指令中可以包括有子进程的数目。从而，进程处理模块102可以根据调用指令中包含的子进程的数目，生成相应数目的子进程。

在另外一种方式中，可以默认设置一次生成的子进程的数目。进程处理模块102可以根据默认设置的子进程的数目，生成相应数目的子进程。

在另外一种方式中，可以根据当前***的状态，来确定一次可以生成多少数目的子进程。

据此，图2中示出了本发明的多进程处理装置实施例二的结构示意图。如图2所示，本实施例中的多进程处理装置包括：

接收模块201，用于接收调用者的调用指令，所述调用指令中包括各业务数据以及分别与各业务数据对应的业务处理逻辑代码；

信息获取模块202，用于检测***状态信息，所述***状态信息包括CPU(CentralProcessingUnit，中央处理器)信息、***内存信息；

子进程数目确定模块203，用于根据所述***状态信息确定所述子进程的数目；

进程处理模块204，用于生成分别执行所述业务处理逻辑代码的子进程，分别对与这些业务处理逻辑代码对应的业务数据进行处理；

结果返回模块205，用于将所述处理的结果返回给所述调用者。

从而，在此情况下，在接收模块201接收到调用指令后，进程处理模块204可以根据当前***状态来决定要生成多少个子进程，在此情况下，可以更合理地对***进行利用。

其中，上述根据***状态信息确定子进程的数目时，可以是采用目前已有以及以后可能出现的任何方式进行，例如根据空闲CPU、剩余内存、每个子进程可能需要用到的CPU、内存来确定子进程的数目等等。

此外，上述调用指令中业务数据的数目有多有少，在一些处理业务量较大的情况下，业务数据的数目会较多，在一些业务处理量较少的情况下，业务数据的数目将会较少。以下结合图1、图2中所示的实施例，就其中几种情况进行说明。

在业务数据的数目小于可生成的子进程的数目的情况下，即业务数据的数目小于调用指令中包含的子进程的数目、或者业务数据的数目小于默认设置的子进程的数目、或者业务数据的数目小于子进程数目确定模块203确定的子进程的数目时，可以直接生成与业务数据的数目同等数量的子进程，来分别执行与这些业务数据相对应的业务处理逻辑代码，避免生成不必要的子进程。在此情况下，调用指令中包含的子进程的数目一般与业务数据的数目相同。

在业务数据的数目等于子进程的数目的情况下，即业务数据的数目等于调用指令中包含的子进程的数目、或者业务数据的数目等于默认设置的子进程的数目、或者业务数据的数目等于子进程数目确定模块203确定的子进程的数目时，由于业务数据的数目与所指示的子进程的数目相同，可以直接生成相应数目的子进程，以分别执行与这些业务数据相对应的业务处理逻辑代码。

在业务数据的数目大于子进程的数目的情况下，即业务数据的数目大于调用指令中包含的子进程的数目、或者业务数据的数目大于默认设置的子进程的数目、或者业务数据的数目大于子进程数目确定模块203确定的子进程的数目时，可以先生成所指示的数目(例如调用指令中包含的子进程的数目、默认设置的子进程的数目、子进程数目确定模块203确定的子进程的数目)的子进程。进程处理模块205可以在当前各子进程处理完毕后，检测各所述业务数据是否均已处理完毕，并在检测结果为否时，再次生成分别执行与未处理的业务数据对应业务处理逻辑代码的子进程，分别对这些业务处理逻辑代码对应的业务数据进行处理。若检测结果为否，则调用完毕。另一方面，进程处理模块205在生成所指示的数目的子进程后，可以在任何一个子进程处理完毕后(即，无需等待所有子进程都处理完毕)，就生成一个子进程来执行下一个业务数据对应的业务处理逻辑代码，直至对所有的业务处理逻辑代码均处理完毕。

基于如上所述的本发明的多进程处理装置，本发明还提供一种多进程处理方法。图3中示出了本发明的多进程处理方法实施例一的流程示意图。如图3所示，本实施例中的多进程处理方法包括：

步骤S301：接收调用指令，所述调用指令中包括各业务数据以及分别与各业务数据对应的业务处理逻辑代码；

步骤S302：生成分别执行所述业务处理逻辑代码的子进程，分别对与这些业务处理逻辑代码对应的业务数据进行处理。

根据上述本发明实施例的方案，其是将多进程处理的逻辑处理部分进行了封装，作为一个黑盒子供外部调用，对于开发人员来说，在开发多进程处理程序时，无需关心操作***、进程等较底层的知识，只需关注业务处理逻辑，直接调用本发明的多进程处理装置，即可实现多进程处理过程，简化了多进程技术，降低了多进程技术的使用难度，提高了程序开发效率。

其中，上述业务数据的数目根据实际需要可以有所不同。在生成分别执行所述业务处理逻辑代码的子进程时，所生成的子进程的数目根据实际需要可以有所不同。

在其中一种方式中，在上述调用指令中可以包括有子进程的数目。从而，在步骤S302中，可以根据调用指令中包含的子进程的数目，生成相应数目的子进程。

在另外一种方式中，可以默认设置一次生成的子进程的数目。在步骤S302中生成子进程时，根据默认设置的子进程的数目，生成相应数目的子进程。

在另外一种方式中，可以根据当前***的状态，来确定一次可以生成多少数目的子进程。

据此，图4中示出了本发明的多进程处理方法实施例二的流程示意图。如图4所示，本实施例中的多进程处理方法包括：

步骤S401：接收调用指令，所述调用指令中包括各业务数据以及分别与各业务数据对应的业务处理逻辑代码；

步骤S402：检测***状态信息，所述***状态信息包括CPU信息、***内存信息；

步骤S403：根据所述***状态信息确定待生成的子进程的数目；

步骤S404：生成分别执行所述业务处理逻辑代码的子进程，分别对与这些业务处理逻辑代码对应的业务数据进行处理。

从而，在此情况下，在接收到调用指令时，可以根据当前***状态来决定要生成多少个子进程，在此情况下，可以更合理地对***进行利用。

其中，上述根据***状态信息确定子进程的数目时，可以是采用目前已有以及以后可能出现的任何方式进行，例如根据空闲CPU、剩余内存、每个子进程可能需要用到的CPU、内存来确定子进程的数目等等。

此外，上述调用指令中业务数据的数目有多有少，在一些处理业务量较大的情况下，业务数据的数目会较多，在一些业务处理量较少的情况下，业务数据的数目将会较少。以下结合图3、图4中所示的实施例，就其中几种情况进行说明。

在业务数据的数目小于可生成的子进程的数目的情况下，即业务数据的数目小于调用指令中包含的子进程的数目、或者业务数据的数目小于默认设置的子进程的数目、或者业务数据的数目小于基于上述实施例二(图4)中的方式确定的子进程的数目时，可以直接生成与业务数据的数目同等数量的子进程，来分别执行与这些业务数据相对应的业务处理逻辑代码，避免生成不必要的子进程。在此情况下，调用指令中包含的子进程的数目一般与业务数据的数目相同。

在业务数据的数目等于子进程的数目的情况下，即业务数据的数目等于调用指令中包含的子进程的数目、或者业务数据的数目等于默认设置的子进程的数目、或者业务数据的数目等于基于上述实施例二(图4)中的方式确定的子进程的数目时，由于业务数据的数目与所指示的子进程的数目相同，可以直接生成相应数目的子进程，以分别执行与这些业务数据相对应的业务处理逻辑代码。

在业务数据的数目大于子进程的数目的情况下，即业务数据的数目大于调用指令中包含的子进程的数目、或者业务数据的数目大于默认设置的子进程的数目、或者业务数据的数目大于基于上述实施例二(图4)中的方式确定的子进程的数目时，可以先生成所指示的数目(例如调用指令中包含的子进程的数目、默认设置的子进程的数目、基于上述实施例二(图4)中的方式确定的子进程的数目)的子进程，并在这些子进程处理完毕后，检测各所述业务数据是否均已处理完毕；若否，生成分别执行与未处理的业务数据对应业务处理逻辑代码的子进程，分别对这些业务处理逻辑代码对应的业务数据进行处理；若否，则调用完毕。另一方面，在生成所指示的数目的子进程后，可以在任何一个子进程处理完毕后(即，无需等待所有子进程都处理完毕)，就生成一个子进程来执行下一个业务数据对应的业务处理逻辑代码，直至对所有的业务处理逻辑代码均处理完毕。

基于上述本发明实施例的方案，以下结合其中一个具体的应用示例进行详细说明。

实施时，调用者预先对数据进行处理，得到可以单独进行处理的单条数据的数据集，即这个数据集中包括有各个业务数据，并完成单条数据的业务处理逻辑代码，即分别完成针对每个业务数据的业务处理逻辑代码。

然后，调用者这个数据集以及与各业务数据对应的业务处理逻辑代码传递给本发明实施例方案中的多进程处理装置，即向本发明实施例的多进程处理装置发出代用指令。

本发明实施例的多进程处理装置接收到后，根据该调用指令执行上述本发明实施例中的处理过程，完成fork(分叉函数)子进程、共享内存管理、信号量控制等与业务逻辑无关的代码逻辑。处理过程中，该多进程处理装置不断fork单条数据的业务处理逻辑代码子进程去处理数据集中的数据，达到并行处理数据的目的。多进程处理装置的具体的代码逻辑的处理过程可以与目前已有以及以后可能出现的任何方式进行

在多进程处理装置处理完毕后，将处理结果返回给上述调用者。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

图5为能实现本发明实施例的一个计算机***1000的模块图。该计算机***1000只是一个适用于本发明的计算机环境的示例，不能认为是提出了对本发明的使用范围的任何限制。计算机***1000也不能解释为需要依赖于或具有图示的示例性的计算机***1000中的一个或多个部件的组合。该计算机***1000在具体实现时，可以理解为本发明实施例中的服务器。

图5中示出的计算机***1000是一个适合用于本发明的计算机***的例子。具有不同子***配置的其它架构也可以使用。例如有大众所熟知的台式机、笔记本等类似设备可以适用于本发明的一些实施例。但不限于以上所列举的设备。

如图5所示，计算机***1000包括处理器1010、存储器1020和***总线1022。包括存储器1020和处理器1010在内的各种***组件连接到***总线1022上。处理器1010是一个用来通过计算机***中基本的算术和逻辑运算来执行计算机程序指令的硬件。存储器1020是一个用于临时或永久性存储计算程序或数据(例如，程序状态信息)的物理设备。***总线1020可以为以下几种类型的总线结构中的任意一种，包括存储器总线或存储控制器、外设总线和局部总线。处理器1010和存储器1020可以通过***总线1022进行数据通信。其中存储器1020包括只读存储器(ROM)或闪存(图中都未示出)，以及随机存取存储器(RAM)，RAM通常是指加载了操作***和应用程序的主存储器。

计算机***1000还包括显示接口1030(例如，图形处理单元)、显示设备1040(例如，液晶显示器)、音频接口1050(例如，声卡)以及音频设备1060(例如，扬声器)。显示设备1040和音频设备1060是用于体验多媒体内容的媒体设备。

计算机***1000一般包括一个存储设备1070。存储设备1070可以从多种计算机可读介质中选择，计算机可读介质是指可以通过计算机***1000访问的任何可利用的介质，包括移动的和固定的两种介质。例如，计算机可读介质包括但不限于，闪速存储器(微型SD卡)，CD-ROM，数字通用光盘(DVD)或其它光盘存储、磁带盒、磁带、磁盘存储或其它磁存储设备，或者可用于存储所需信息并可由计算机***1000访问的任何其它介质。

计算机***1000还包括输入装置1080和输入接口1090(例如，IO控制器)。用户可以通过输入装置1080，如键盘、鼠标、显示装置1040上的触摸面板设备，输入指令和信息到计算机***1000中。输入装置1080通常是通过输入接口1090连接到***总线1022上的，但也可以通过其它接口或总线结构相连接，如通用串行总线(USB)。

计算机***1000可在网络环境中与一个或者多个网络设备进行逻辑连接。网络设备可以是个人电脑、服务器、路由器、智能电话、平板电脑或者其它公共网络节点。计算机***1000通过局域网(LAN)接口1100或者移动通信单元1110与网络设备相连接。局域网(LAN)是指在有限区域内，例如家庭、学校、计算机实验室、或者使用网络媒体的办公楼，互联组成的计算机网络。WiFi和双绞线布线以太网是最常用的构建局域网的两种技术。WiFi是一种能使计算机***1000间交换数据或通过无线电波连接到无线网络的技术。移动通信单元1110能在一个广阔的地理区域内移动的同时通过无线电通信线路接听和拨打电话。除了通话以外，移动通信单元1110也支持在提供移动数据服务的2G，3G或4G蜂窝通信***中进行互联网访问。

应当指出的是，其它包括比计算机***1000更多或更少的子***的计算机***也能适用于发明。

如上面详细描述的，适用于本发明的计算机***1000能执行多进程处理方法的指定操作。计算机***1000通过处理器1010运行在计算机可读介质中的软件指令的形式来执行这些操作。这些软件指令可以从存储设备1070或者通过局域网接口1100从另一设备读入到存储器1020中。存储在存储器1020中的软件指令使得处理器1010执行上述的多进程处理方法。此外，通过硬件电路或者硬件电路结合软件指令也能同样实现本发明。因此，实现本发明并不限于任何特定硬件电路和软件的组合。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种多进程处理装置，其特征在于，包括：

接收模块，用于接收调用指令，所述调用指令中包括各业务数据以及分别与各业务数据对应的业务处理逻辑代码；

进程处理模块，用于生成分别执行所述业务处理逻辑代码的子进程，分别对与这些业务处理逻辑代码对应的业务数据进行处理；

结果返回模块，用于将所述处理的结果返回给所述调用指令的发出者。

2.根据权利要求1所述的多进程处理装置，其特征在于，所述调用指令包括所述子进程的数目。

3.根据权利要求1所述的多进程处理装置，其特征在于，还包括：

信息获取模块，用于检测***状态信息，所述***状态信息包括CPU信息、***内存信息；

子进程数目确定模块，用于根据所述***状态信息确定所述子进程的数目。

4.根据权利要求2或3所述的多进程处理装置，其特征在于，所述进程处理模块，还用于在当前各子进程处理完毕后，检测各所述业务数据是否均已处理完毕，并在检测结果为否时，再次生成分别执行与未处理的业务数据对应业务处理逻辑代码的子进程，分别对这些业务处理逻辑代码对应的业务数据进行处理。

5.一种多进程处理方法，其特征在于，包括步骤：

接收调用指令，所述调用指令中包括各业务数据以及分别与各业务数据对应的业务处理逻辑代码；

生成分别执行所述业务处理逻辑代码的子进程，分别对与这些业务处理逻辑代码对应的业务数据进行处理。

6.根据权利要求5所述的多进程处理方法，其特征在于，所述调用指令包括所述子进程的数目。

7.根据权利要求5所述的多进程处理方法，其特征在于，生成分别执行所述业务处理逻辑代码的子进程之前，还包括步骤：

检测***状态信息，所述***状态信息包括CPU信息、***内存信息；

根据所述***状态信息确定待生成的子进程的数目。

8.根据权利要求6或7所述的多进程处理方法，其特征在于，还包括步骤：

在当前各子进程处理完毕后，检测各所述业务数据是否均已处理完毕；

若否，生成分别执行与未处理的业务数据对应业务处理逻辑代码的子进程，分别对这些业务处理逻辑代码对应的业务数据进行处理。