CN103825842B - 一种多cpu***的数据流处理方法和装置 - Google Patents
一种多cpu***的数据流处理方法和装置 Download PDFInfo
- Publication number
- CN103825842B CN103825842B CN201410072674.2A CN201410072674A CN103825842B CN 103825842 B CN103825842 B CN 103825842B CN 201410072674 A CN201410072674 A CN 201410072674A CN 103825842 B CN103825842 B CN 103825842B
- Authority
- CN
- China
- Prior art keywords
- treatment
- cpu
- forwarding cpu
- forwarding
- queue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Multi Processors (AREA)
Abstract
本发明公开了一种多CPU***的数据流处理方法和装置,该方法包括:转发CPU确定本转发CPU的运行状态;本转发CPU的运行状态包括:本转发CPU处于繁忙状态、或处于空闲状态、或处于正常状态;在本转发CPU处于繁忙状态并可以转出数据流时,确定处于空闲状态的转发CPU,从本转发CPU对应的处理序列内选择处理队列,并通知所述处于空闲状态的转发CPU以使其将该处理队列添加到自身对应的处理序列内,并从本转发CPU对应的处理序列内删除该处理队列。本发明实施例中,可以提高转发CPU的利用效率和处理性能,并提升***的转发处理能力。
Description
技术领域
本发明涉及了通信技术领域,尤其是涉及了一种多CPU***的数据流处理方法和装置。
背景技术
目前物理CPU(Central Processing Unit,中央处理器)通常包括多个处理内核,每个处理内核可以包括多个线程,并且每个线程对业务处理***来说就是一个CPU,后续的CPU可以指物理CPU的处理内核中包括的线程。
在数据包转发***(以数据包转发以及相关业务处理为主要业务的***)中,如果数据包转发***包含多个CPU,则为了更好的利用CPU资源,将多个CPU划分为接收分流CPU(简称接收CPU)和转发及业务处理CPU(简称转发CPU)。接收CPU从物理接口(Interface)接收数据流(将连续处理的特征比较相似的一组数据包(数据包也可称为数据报文)称为一条数据流,比如将源/目的地址,源/目的端口,协议号都相同的一组数据包称为一条数据流)后,按照一定规则进行分流,并将分流后的数据流分配到不同的处理队列。
以接收CPU按照Hash规则分流为例进行说明,如图1所示,处理队列1用于缓存Hash结果为0的数据流,处理队列2用于缓存Hash结果为1数据流,处理队列3用于缓存Hash结果为2的数据流,处理队列4用于缓存Hash结果为3的数据流,处理队列5用于缓存Hash结果为4的数据流,处理队列6用于缓存Hash结果为5的数据流。例如,接收CPU在接收到数据流之后,通过Hash算法对该数据流进行Hash处理,如果Hash结果为1,则将该数据流缓存到处理队列2。
基于上述处理队列,为了充分利用CPU资源,可以由转发CPU1负责处理队列1和处理队列3内缓存的数据流,由转发CPU2负责处理队列2和处理队列4内缓存的数据流,由转发CPU3负责处理队列5内缓存的数据流,由转发CPU4负责处理队列6内缓存的数据流。但是,现有技术中,由哪个转发CPU负责哪个处理队列,在***初始化时已经固定,从而导致有些转发CPU比较繁忙,而有些转发CPU比较空闲,继而不能充分发挥CPU性能,造成CPU资源的浪费。例如,当处理队列1和处理队列3内缓存的数据流很多,而处理队列6内缓存的数据流很少时,则会造成转发CPU1比较繁忙,转发CPU4比较空闲。
发明内容
本发明实施例提供一种多CPU***的数据流处理方法和装置,以提高转发CPU的利用效率,并提高转发CPU的处理性能。
为了达到上述目的,本发明实施例提供一种多中央处理器CPU***的数据流处理方法,所述多CPU***包括多个转发CPU,所述方法包括:
转发CPU确定本转发CPU的运行状态;其中,本转发CPU的运行状态包括:本转发CPU处于繁忙状态、或处于空闲状态、或处于正常状态;
在本转发CPU处于繁忙状态并可以转出数据流时,确定处于空闲状态的转发CPU,从本转发CPU对应的处理序列内选择处理队列,并通知所述处于空闲状态的转发CPU以使其将该选择的处理队列添加到自身对应的处理序列内,并从本转发CPU对应的处理序列内删除该选择的处理队列。
所述转发CPU确定本转发CPU的运行状态的过程,具体包括:
所述转发CPU检测本转发CPU对应的处理序列内记录的处理队列的长度;如果处理序列内记录的所有处理队列的长度均小于预设第一阈值,则确定本转发CPU的运行状态为空闲状态;如果处理序列内记录的处理队列中至少有两个处理队列的长度大于预设第二阈值,则确定本转发CPU的运行状态为繁忙状态;否则,确定本转发CPU的运行状态为正常状态;其中,所述预设第二阈值大于所述预设第一阈值。
所述转发CPU从本转发CPU对应的处理序列内选择处理队列的过程,具体包括:所述转发CPU检测本转发CPU对应的处理序列内记录的各处理队列的长度,并选择长度为第二长的处理队列。
所述在本转发CPU处于繁忙状态并可以转出数据流具体包括:
本转发CPU处于繁忙状态,且当前为持有调整令牌的非转出状态;当所述转发CPU从本转发CPU对应的处理序列内删除该选择的处理队列之后,所述转发CPU将所述调整令牌传递给其它转发CPU,并结束本轮调整处理。
所述转发CPU通知所述处于空闲状态的转发CPU以使其将该选择的处理队列添加到自身对应的处理序列内的过程,具体包括:
所述转发CPU在确定处于空闲状态的转发CPU后,所述转发CPU标记本转发CPU的调整状态为转出状态,在待转区域内标记该选择的处理队列需要由所述处于空闲状态的转发CPU进行处理,同时标记该选择的处理队列的来源CPU为本转发CPU以及标记所述处于空闲状态的转发CPU的调整状态为转入状态,以便由所述处于空闲状态的转发CPU在确定本转发CPU的调整状态为转入状态时,将待转区域内标记的需要由自身进行处理的该选择的处理队列添加到自身对应的处理序列内,并将所述转发CPU的调整状态标记为无调整状态,将自身的调整状态标记为无调整状态。
本发明实施例提供一种多中央处理器CPU数据流处理装置,所述多CPU数据流处理装置包括多个转发CPU,所述转发CPU包括:
确定模块,用于确定本转发CPU的运行状态;其中,本转发CPU的运行状态包括:本转发CPU处于繁忙状态、或处于空闲状态、或处于正常状态;
处理模块,用于在本转发CPU处于繁忙状态并可以转出数据流时,确定处于空闲状态的转发CPU,从本转发CPU对应的处理序列内选择处理队列,通知所述处于空闲状态的转发CPU以使其将该选择的处理队列添加到自身对应的处理序列内,并从本转发CPU对应的处理序列内删除该选择的处理队列。
所述确定本转发CPU的运行状态,具体包括:检测本转发CPU对应的处理序列内记录的处理队列的长度;如果处理序列内记录的所有处理队列的长度均小于预设第一阈值,则确定本转发CPU的运行状态为空闲状态;如果处理序列内记录的处理队列中至少有两个处理队列的长度大于预设第二阈值,则确定本转发CPU的运行状态为繁忙状态;否则,确定本转发CPU的运行状态为正常状态;其中,所述预设第二阈值大于所述预设第一阈值。
所述从本转发CPU对应的处理序列内选择处理队列,具体包括:检测本转发CPU对应的处理序列内记录的各处理队列的长度,并选择长度为第二长的处理队列。
所述在本转发CPU处于繁忙状态并可以转出数据流具体包括:本转发CPU处于繁忙状态,且当前为持有调整令牌的非转出状态;
所述处理模块,还用于当从本转发CPU对应的处理序列内删除该选择的处理队列之后,将所述调整令牌传递给其它转发CPU,并结束本轮调整处理。
所述通知所述处于空闲状态的转发CPU以使其将该选择的处理队列添加到自身对应的处理序列内,具体包括:在确定处于空闲状态的转发CPU后,标记本转发CPU的调整状态为转出状态,在待转区域内标记该选择的处理队列需要由所述处于空闲状态的转发CPU进行处理,同时标记该选择的处理队列的来源CPU为本转发CPU以及标记所述处于空闲状态的转发CPU的调整状态为转入状态,以便由所述处于空闲状态的转发CPU在确定本转发CPU的调整状态为转入状态时,将待转区域内标记的需要由自身进行处理的该选择的处理队列添加到自身对应的处理序列内,并将所述转发CPU的调整状态标记为无调整状态,将自身的调整状态标记为无调整状态。
与现有技术相比,本发明实施例至少具有以下优点:本发明实施例中,转发CPU在确定自身处于繁忙状态时,能够及时将需要由本转发CPU处理的数据流调整到其它处于空闲状态的转发CPU,使得处于空闲状态的转发CPU代替本转发CPU对数据流进行相关处理,从而提高转发CPU的利用效率和处理性能,并提升***的转发处理能力。
附图说明
图1是现有技术中按照Hash规则分流的应用示意图;
图2是本发明实施例提供的多CPU***的数据流处理方法流程图;
图3是本发明实施例提供的多CPU数据流处理装置的结构图。
具体实施方式
针对现有技术中存在的问题,本发明实施例提供一种多CPU***的数据流处理方法,且所述多CPU***中至少包括一个或多个接收CPU以及多个转发CPU。接收CPU负责从物理接口接收数据流,并按照一定规则(如Hash规则,后续过程中以Hash规则为例进行说明)进行分流,并将分流后的数据流分配到不同的处理队列。转发CPU负责处理对应的处理队列内缓存的数据流,该处理过程具体可以为转发对应的处理队列内缓存的数据流,或者,对相应的处理队列内缓存的数据流进行相关业务处理。
本发明实施例中,各转发CPU分别对应有处理序列,且处理序列内记录有需要由相应的转发CPU进行处理的处理队列,因此各转发CPU均有本转发CPU对应的处理队列,且一个转发CPU可以对应一个或多个处理队列,并且各转发CPU均用于处理本转发CPU对应的处理队列内缓存的数据流。
以图1为本发明实施例的应用场景,转发CPU1对应的处理序列内记录有处理队列1和处理队列3,因此转发CPU1对应的处理队列为处理队列1和处理队列3,即转发CPU1负责处理队列1和处理队列3内缓存的数据流,且处理队列1用于缓存Hash结果为0的数据流,处理队列3用于缓存Hash结果为2的数据流;转发CPU2对应的处理序列内记录有处理队列2和处理队列4,因此转发CPU2对应的处理队列为处理队列2和处理队列4,即转发CPU2负责处理队列2和处理队列4内缓存的数据流,且处理队列2用于缓存Hash结果为1数据流,处理队列4用于缓存Hash结果为3的数据流;转发CPU3对应的处理序列内记录有处理队列5,因此转发CPU3对应的处理队列为处理队列5,即转发CPU3负责处理队列5内缓存的数据流,且处理队列5用于缓存Hash结果为4的数据流;转发CPU4对应的处理序列内记录有处理队列6,因此转发CPU4对应的处理队列为处理队列6,即转发CPU4负责处理队列6内缓存的数据流,且处理队列6用于缓存Hash结果为5的数据流。
基于上述应用场景,接收CPU在接收到数据流之后,通过Hash算法对该数据流进行Hash处理;如果Hash结果为0,则接收CPU将该数据流缓存到处理队列1;如果Hash结果为1,则接收CPU将该数据流缓存到处理队列2;以此类推。对于处理队列1内缓存的数据流,由转发CPU1负责处理;对于处理队列2内缓存的数据流,由转发CPU2负责处理;以此类推。
基于上述应用场景,如图2所示,该数据流处理方法包括以下步骤:
步骤201,转发CPU确定本转发CPU的运行状态。
其中,本转发CPU的运行状态具体可以包括:本转发CPU处于繁忙状态、或者本转发CPU处于空闲状态、或者本转发CPU处于正常状态。
本发明实施例中,转发CPU确定本转发CPU的运行状态的过程,具体包括:转发CPU检测本转发CPU对应的处理序列内记录的处理队列的长度(例如,转发CPU1检测本转发CPU1对应的处理序列内记录的处理队列1以及处理队列3的长度);如果该处理序列内记录的所有处理队列的长度均小于预设第一阈值(如:第一阈值=64个报文),则确定本转发CPU的运行状态为空闲状态;如果该处理序列内记录的处理队列中至少有两个处理队列的长度大于预设第二阈值,即处理序列内记录有多个处理队列,且该多个处理队列中至少有两个处理队列的长度大于预设第二阈值(如:第二阈值=512个报文),则确定本转发CPU的运行状态为繁忙状态;否则(即上述两种情况之外的其它情况,此时本转发CPU的运行状态不是空闲状态,也不是繁忙状态),确定本转发CPU的运行状态为正常状态;其中,预设第二阈值大于预设第一阈值。
具体的,针对转发CPU的每一轮调度过程,各转发CPU在对本转发CPU对应的处理序列内记录的处理队列内缓存的数据流进行处理之前,首先计算本转发CPU对应的处理序列内记录的处理队列的长度,并根据本转发CPU对应的处理序列内记录的处理队列的长度确定本转发CPU的运行状态。即:如果处理序列内记录的所有处理队列的长度均小于预设第一阈值,则确定本转发CPU的运行状态为空闲状态;如果处理序列内记录的处理队列中至少有两个处理队列的长度大于预设第二阈值,则确定本转发CPU的运行状态为繁忙状态;否则,确定本转发CPU的运行状态为正常状态。
步骤202,在本转发CPU处于繁忙状态并可以转出数据流时,确定处于空闲状态的转发CPU,从本转发CPU对应的处理序列内选择处理队列,并通知处于空闲状态的转发CPU以使其将该选择的处理队列添加到自身对应的处理序列内,并从本转发CPU对应的处理序列内删除该选择的处理队列。
其中,各转发CPU确定本转发CPU的运行状态后,可以将本转发CPU的运行状态通知给其它转发CPU,例如,转发CPU在确定本转发CPU处于空闲状态时,将本转发CPU处于空闲状态的信息公告给其它转发CPU;基于此,当转发CPU处于繁忙状态时,该转发CPU可基于其它转发CPU公告的信息(即转发CPU处于空闲状态的信息)确定出处于空闲状态的转发CPU。在具体实现方式中,转发CPU在确定本转发CPU处于空闲状态之后,只有在本转发CPU的调整状态为无调整状态时,该转发CPU才将本转发CPU处于空闲状态的信息公告给其它转发CPU,无调整状态的内容在后续过程中阐述。
本发明实施例中,在处于繁忙状态的转发CPU对应的处理序列内将记录有多个处理队列,且转发CPU从本转发CPU对应的处理序列内选择处理队列的过程,具体包括:转发CPU检测本转发CPU对应的处理序列内记录的各处理队列的长度,并按照各处理队列的长度选择处理队列。在按照各处理队列的长度选择处理队列时,转发CPU选择的处理队列不是长度最长的处理队列,转发CPU可以任意选择其它长度的处理队列。例如:转发CPU可以选择长度为第二长的处理队列,或者,转发CPU可以选择长度最短的处理队列。
本发明实施例中,本转发CPU处于繁忙状态并可以转出数据流具体包括:本转发CPU处于繁忙状态,且当前为持有调整令牌的非转出状态;进一步的,当转发CPU从本转发CPU对应的处理序列内删除该选择的处理队列之后,本转发CPU将所述调整令牌传递给其它转发CPU,并结束本轮调整处理。
具体的,***中只包含一个调整令牌,该调整令牌在多个转发CPU之间循环传递,同一时间,只有一个转发CPU能够持有该调整令牌,且只有持有该调整令牌的转发CPU才能进行数据流的转出处理。在步骤202中,在本转发CPU处于繁忙状态时,只有该转发CPU当前持有调整令牌,该转发CPU才执行确定处于空闲状态的转发CPU,从本转发CPU对应的处理序列内选择处理队列,并通知处于空闲状态的转发CPU以使其将该选择的处理队列添加到处于空闲状态的转发CPU对应的处理序列内,并从本转发CPU对应的处理序列内删除该选择的处理队列。
本发明实施例中,针对转发CPU的一轮数据流调整过程(即执行本发明实施例提供的技术方案后,处于繁忙状态的转发CPU以及处于空闲状态的转发CPU的相关处理过程),转发CPU确定本转发CPU的运行状态之后,(1)在本转发CPU处于空闲状态时,如果本转发CPU当前未持有调整令牌,则转发CPU结束本轮调整处理,并等待下一轮数据流调整过程;如果本转发CPU当前持有调整令牌,则转发CPU将该调整令牌传递给其它转发CPU,并结束本轮调整处理,并等待下一轮数据流调整过程。(2)在本转发CPU处于正常状态时,如果本转发CPU当前未持有调整令牌,则转发CPU结束本轮调整处理,并等待下一轮数据流调整过程;如果本转发CPU当前持有调整令牌,则转发CPU将该调整令牌传递给其它转发CPU,结束本轮调整处理,并等待下一轮数据流调整过程。(3)在本转发CPU处于繁忙状态时,如果本转发CPU当前未持有调整令牌,则转发CPU结束本轮调整处理,并等待下一轮数据流调整过程;如果本转发CPU当前持有调整令牌,则转发CPU执行“确定处于空闲状态的转发CPU,从本转发CPU对应的处理序列内选择处理队列,并通知处于空闲状态的转发CPU以使其将该选择的处理队列添加到自身对应的处理序列内,并从本转发CPU对应的处理序列内删除该选择的处理队列”的相关过程;在转发CPU从本转发CPU对应的处理序列内删除该选择的处理队列之后,转发CPU结束本轮调整处理,并等待下一轮数据流调整过程。
本发明实施例中,还可以为每个转发CPU设置对应的调整状态。转发CPU在确定处于空闲状态的转发CPU,并从本转发CPU对应的处理序列内选择处理队列的过程中,本转发CPU的调整状态为转出状态,且确定出的处于空闲状态的转发CPU的调整状态为转入状态。本转发CPU在转出状态下,不能再对其它处理队列内缓存的数据流执行转出处理,也不能对其它转发CPU对应的处理队列内缓存的数据流执行转入处理。该处于空闲状态的转发CPU在转入状态下,不能对自身对应的处理队列内缓存的数据流执行转出处理,也不能对上述选择的处理队列之外的其它处理队列内缓存的数据流执行转入处理。此外,如果有转发CPU在确定处于空闲状态且未对处理队列内缓存的数据流执行转出处理,也未对处理队列内缓存的数据流执行转入处理,则该转发CPU的调整状态为无调整状态;在无调整状态下,该转发CPU可以对处理队列内缓存的数据流执行转出处理,也可以对处理队列内缓存的数据流执行转入处理。
基于上述分析过程,本发明实施例中,转发CPU确定处于空闲状态的转发CPU,并通知处于空闲状态的转发CPU以使其将该选择的处理队列添加到自身对应的处理序列内的过程,具体包括:转发CPU在确定处于空闲状态的转发CPU后,转发CPU标记本转发CPU的调整状态为转出状态,在待转区域内标记该选择的处理队列需要由处于空闲状态的转发CPU进行处理,同时标记该选择的处理队列的来源CPU为本转发CPU以及标记处于空闲状态的转发CPU的调整状态为转入状态,以便由处于空闲状态的转发CPU在确定本转发CPU的调整状态为转入状态时,将待转区域内标记的需要由自身进行处理的该选择的处理队列添加到自身对应的处理序列内,并将转发CPU的调整状态标记为无调整状态,将自身的调整状态标记为无调整状态。
具体的,转发CPU在确定处于空闲状态的转发CPU后,只有本转发CPU的调整状态为无调整状态,且处于空闲状态的转发CPU的调整状态为无调整状态时,转发CPU才标记本转发CPU的调整状态为转出状态,在待转区域内标记该选择的处理队列需要由处于空闲状态的转发CPU进行处理,同时标记该选择的处理队列的来源CPU为本转发CPU以及标记处于空闲状态的转发CPU的调整状态为转入状态,以便由处于空闲状态的转发CPU在确定本转发CPU的调整状态为转入状态时,需要读取待转区域内标记的信息。之后,处于空闲状态的转发CPU将待转区域内标记的需要由自身进行处理的该选择的处理队列添加到自身对应的处理序列内,并将处理队列的来源CPU的调整状态标记为无调整状态,并将本转发CPU的调整状态标记为无调整状态。
此外,在本转发CPU当前处于繁忙状态时,如果该转发CPU当前持有调整令牌,则在本转发CPU的调整状态为转出状态或者转入状态时,该转发CPU不向其它转发CPU传递调整令牌,结束本轮处理。
综上所述,本发明实施例中,转发CPU在确定自身处于繁忙状态(此时该转发CPU超过自身处理能力)时,能够及时将需要由本转发CPU处理的数据流调整到其它处于空闲状态的转发CPU,使得处于空闲状态的转发CPU代替本转发CPU对数据流进行相关处理,从而提高转发CPU的利用效率和处理性能,并提升***的转发处理能力。
基于与上述方法同样的发明构思,本发明实施例中还提供了一种多中央处理器CPU数据流处理装置,所述多CPU数据流处理装置包括多个转发CPU,如图3所示,所述转发CPU包括:
确定模块11,用于确定本转发CPU的运行状态;其中,本转发CPU的运行状态包括:本转发CPU处于繁忙状态、或处于空闲状态、或处于正常状态;处理模块12,用于在本转发CPU处于繁忙状态并可以转出数据流时,确定处于空闲状态的转发CPU,从本转发CPU对应的处理序列内选择处理队列,通知所述处于空闲状态的转发CPU以使其将该选择的处理队列添加到自身对应的处理序列内,并从本转发CPU对应的处理序列内删除该选择的处理队列。
所述确定本转发CPU的运行状态,具体包括:检测本转发CPU对应的处理序列内记录的处理队列的长度;如果处理序列内记录的所有处理队列的长度均小于预设第一阈值,则确定本转发CPU的运行状态为空闲状态;如果处理序列内记录的处理队列中至少有两个处理队列的长度大于预设第二阈值,则确定本转发CPU的运行状态为繁忙状态;否则,确定本转发CPU的运行状态为正常状态;其中,所述预设第二阈值大于所述预设第一阈值。
所述从本转发CPU对应的处理序列内选择处理队列,具体包括:检测本转发CPU对应的处理序列内记录的各处理队列的长度,并选择长度为第二长的处理队列。
所述在本转发CPU处于繁忙状态并可以转出数据流具体包括:本转发CPU处于繁忙状态,且当前为持有调整令牌的非转出状态;所述处理模块12,还用于当从本转发CPU对应的处理序列内删除该选择的处理队列之后,将所述调整令牌传递给其它转发CPU,并结束本轮调整处理。
所述通知所述处于空闲状态的转发CPU以使其将该选择的处理队列添加到自身对应的处理序列内,具体包括:在确定处于空闲状态的转发CPU后,标记本转发CPU的调整状态为转出状态,在待转区域内标记该选择的处理队列需要由所述处于空闲状态的转发CPU进行处理,同时标记该选择的处理队列的来源CPU为本转发CPU以及标记所述处于空闲状态的转发CPU的调整状态为转入状态,以便由所述处于空闲状态的转发CPU在确定本转发CPU的调整状态为转入状态时,将待转区域内标记的需要由自身进行处理的该选择的处理队列添加到自身对应的处理序列内,并将所述转发CPU的调整状态标记为无调整状态,将自身的调整状态标记为无调整状态。
其中,本发明装置的各个模块可以集成于一体,也可以分离部署。上述模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
本领域技术人员可以理解附图只是一个优选实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上公开的仅为本发明的几个具体实施例,但是,本发明并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
Claims (10)
1.一种多中央处理器CPU***的数据流处理方法,所述多CPU***包括多个转发CPU,其特征在于,所述方法具体包括以下步骤:
计算本转发CPU对应的处理序列内记录的处理队列的长度,并根据本转发CPU对应的处理序列内记录的处理队列的长度确定本转发CPU的运行状态;其中,本转发CPU的运行状态包括:本转发CPU处于繁忙状态、或处于空闲状态、或处于正常状态;
在本转发CPU处于繁忙状态并可以转出数据流时,确定处于空闲状态的转发CPU,从本转发CPU对应的处理序列内选择处理队列,并通知所述处于空闲状态的转发CPU以使其将该选择的处理队列添加到自身对应的处理序列内,并从本转发CPU对应的处理序列内删除该选择的处理队列。
2.如权利要求1所述的方法,其特征在于,计算本转发CPU对应的处理序列内记录的处理队列的长度,并根据本转发CPU对应的处理序列内记录的处理队列的长度确定本转发CPU的运行状态,具体包括:
所述转发CPU检测本转发CPU对应的处理序列内记录的处理队列的长度;如果处理序列内记录的所有处理队列的长度均小于预设第一阈值,则确定本转发CPU的运行状态为空闲状态;如果处理序列内记录的处理队列中至少有两个处理队列的长度大于预设第二阈值,则确定本转发CPU的运行状态为繁忙状态;否则,确定本转发CPU的运行状态为正常状态;其中,所述预设第二阈值大于所述预设第一阈值。
3.如权利要求2所述的方法,其特征在于,所述转发CPU从本转发CPU对应的处理序列内选择处理队列的过程,具体包括:
所述转发CPU检测本转发CPU对应的处理序列内记录的各处理队列的长度,并选择长度为第二长的处理队列。
4.如权利要求1所述的方法,其特征在于,所述在本转发CPU处于繁忙状态并可以转出数据流具体包括:
本转发CPU处于繁忙状态,且当前为持有调整令牌的非转出状态;当所述转发CPU从本转发CPU对应的处理序列内删除该选择的处理队列之后,所述转发CPU将所述调整令牌传递给其它转发CPU,并结束本轮调整处理。
5.如权利要求1至4任一所述的方法,其特征在于,所述转发CPU通知所述处于空闲状态的转发CPU以使其将该选择的处理队列添加到自身对应的处理序列内的过程,具体包括:
所述转发CPU在确定处于空闲状态的转发CPU后,所述转发CPU标记本转发CPU的调整状态为转出状态,在待转区域内标记该选择的处理队列需要由所述处于空闲状态的转发CPU进行处理,同时标记该选择的处理队列的来源CPU为本转发CPU以及标记所述处于空闲状态的转发CPU的调整状态为转入状态,以便由所述处于空闲状态的转发CPU在确定本转发CPU的调整状态为转入状态时,将待转区域内标记的需要由自身进行处理的该选择的处理队列添加到自身对应的处理序列内,并将所述转发CPU的调整状态标记为无调整状态,将自身的调整状态标记为无调整状态。
6.一种多中央处理器CPU数据流处理装置,所述多CPU数据流处理装置包括多个转发CPU,其特征在于,所述转发CPU包括:
确定模块,用于计算本转发CPU对应的处理序列内记录的处理队列的长度,并根据本转发CPU对应的处理序列内记录的处理队列的长度确定本转发CPU的运行状态;其中,本转发CPU的运行状态包括:本转发CPU处于繁忙状态、或处于空闲状态、或处于正常状态;
处理模块,用于在本转发CPU处于繁忙状态并可以转出数据流时,确定处于空闲状态的转发CPU,从本转发CPU对应的处理序列内选择处理队列,通知所述处于空闲状态的转发CPU以使其将该选择的处理队列添加到自身对应的处理序列内,并从本转发CPU对应的处理序列内删除该选择的处理队列。
7.如权利要求6所述的装置,其特征在于,
所述确定模块具体用于:检测本转发CPU对应的处理序列内记录的处理队列的长度;如果处理序列内记录的所有处理队列的长度均小于预设第一阈值,则确定本转发CPU的运行状态为空闲状态;如果处理序列内记录的处理队列中至少有两个处理队列的长度大于预设第二阈值,则确定本转发CPU的运行状态为繁忙状态;否则,确定本转发CPU的运行状态为正常状态;其中,所述预设第二阈值大于所述预设第一阈值。
8.如权利要求7所述的装置,其特征在于,
所述从本转发CPU对应的处理序列内选择处理队列,具体包括:检测本转发CPU对应的处理序列内记录的各处理队列的长度,并选择长度为第二长的处理队列。
9.如权利要求6所述的装置,其特征在于,
所述在本转发CPU处于繁忙状态并可以转出数据流具体包括:本转发CPU处于繁忙状态,且当前为持有调整令牌的非转出状态;
所述处理模块,还用于当从本转发CPU对应的处理序列内删除该选择的处理队列之后,将所述调整令牌传递给其它转发CPU,并结束本轮调整处理。
10.如权利要求6至9任一所述的装置,其特征在于,
所述通知所述处于空闲状态的转发CPU以使其将该选择的处理队列添加到自身对应的处理序列内,具体包括:在确定处于空闲状态的转发CPU后,标记本转发CPU的调整状态为转出状态,在待转区域内标记该选择的处理队列需要由所述处于空闲状态的转发CPU进行处理,同时标记该选择的处理队列的来源CPU为本转发CPU以及标记所述处于空闲状态的转发CPU的调整状态为转入状态,以便由所述处于空闲状态的转发CPU在确定本转发CPU的调整状态为转入状态时,将待转区域内标记的需要由自身进行处理的该选择的处理队列添加到自身对应的处理序列内,并将所述转发CPU的调整状态标记为无调整状态,将自身的调整状态标记为无调整状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410072674.2A CN103825842B (zh) | 2014-02-28 | 2014-02-28 | 一种多cpu***的数据流处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410072674.2A CN103825842B (zh) | 2014-02-28 | 2014-02-28 | 一种多cpu***的数据流处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103825842A CN103825842A (zh) | 2014-05-28 |
CN103825842B true CN103825842B (zh) | 2017-06-23 |
Family
ID=50760679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410072674.2A Active CN103825842B (zh) | 2014-02-28 | 2014-02-28 | 一种多cpu***的数据流处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103825842B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107979535B (zh) * | 2017-10-31 | 2021-03-02 | 新华三技术有限公司 | 报文转发方法及装置 |
CN109194558B (zh) * | 2018-07-25 | 2021-03-05 | 东软集团股份有限公司 | 隧道报文认证转发方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101222431A (zh) * | 2008-01-23 | 2008-07-16 | 中兴通讯股份有限公司 | 一种具有强服务质量功能的线卡装置及其设计的方法 |
CN102866921A (zh) * | 2012-08-29 | 2013-01-09 | 惠州Tcl移动通信有限公司 | 一种多核cpu的调控方法及*** |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7159216B2 (en) * | 2001-11-07 | 2007-01-02 | International Business Machines Corporation | Method and apparatus for dispatching tasks in a non-uniform memory access (NUMA) computer system |
CN101533362A (zh) * | 2009-04-15 | 2009-09-16 | 南京联创科技股份有限公司 | 进程间cpu资源平衡调度方法 |
CN101599028A (zh) * | 2009-07-08 | 2009-12-09 | 成都市华为赛门铁克科技有限公司 | 一种多核cpu中统一资源定位符过滤的方法及装置 |
CN102473118B (zh) * | 2010-05-24 | 2016-10-12 | 松下电器(美国)知识产权公司 | 信息处理*** |
-
2014
- 2014-02-28 CN CN201410072674.2A patent/CN103825842B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101222431A (zh) * | 2008-01-23 | 2008-07-16 | 中兴通讯股份有限公司 | 一种具有强服务质量功能的线卡装置及其设计的方法 |
CN102866921A (zh) * | 2012-08-29 | 2013-01-09 | 惠州Tcl移动通信有限公司 | 一种多核cpu的调控方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN103825842A (zh) | 2014-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9462084B2 (en) | Parallel processing of service functions in service function chains | |
CN105511954B (zh) | 一种报文处理方法及装置 | |
US20170163506A1 (en) | Event-triggered, graph-centric predictive cache priming | |
US20170061566A1 (en) | Technologies for offloading network packet processing to a gpu | |
CN111045782B (zh) | 日志处理方法、装置、电子设备和计算机可读存储介质 | |
US8725873B1 (en) | Multi-server round robin arbiter | |
US20190044879A1 (en) | Technologies for reordering network packets on egress | |
WO2017000822A1 (zh) | 一种直接内存访问的传输控制方法及装置 | |
US20170207990A1 (en) | Reducing an amount of captured network traffic data to analyze | |
CN110442610A (zh) | 负载均衡的方法、装置、计算设备以及介质 | |
US10757039B2 (en) | Apparatus and method for routing data in a switch | |
CN109033814A (zh) | 智能合约触发方法、装置、设备及存储介质 | |
US8959224B2 (en) | Network data packet processing | |
CN103825842B (zh) | 一种多cpu***的数据流处理方法和装置 | |
CN104484219B (zh) | 虚拟化平台中下发策略的方法和装置 | |
CN108134745A (zh) | 分布式数据采集方法及装置 | |
CN109710502A (zh) | 日志传输方法、装置及存储介质 | |
CN107959667A (zh) | 一种媒体分片的推送方法、服务器及客户端 | |
CN113986969A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
US11475356B2 (en) | Data processing method, electronic device and computer readable storage method for deduplication of a training dataset | |
CN111786887A (zh) | 由控制设备执行的数据转发方法、装置、计算设备和介质 | |
CN116208574A (zh) | 报文处理方法、装置、电子设备及计算机可读存储介质 | |
CN105373433A (zh) | 多核cpu负载均衡方法及装置 | |
US9800943B2 (en) | System and method for multipath communication management in an aircraft | |
CN105610733B (zh) | 队列调度处理方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No. Applicant after: Xinhua three Technology Co., Ltd. Address before: 310053 Hangzhou hi tech Industrial Development Zone, Zhejiang province science and Technology Industrial Park, No. 310 and No. six road, HUAWEI, Hangzhou production base Applicant before: Huasan Communication Technology Co., Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |