CN113360189A - 适用于流处理的异步优化方法、***、装置和可读介质 - Google Patents
适用于流处理的异步优化方法、***、装置和可读介质 Download PDFInfo
- Publication number
- CN113360189A CN113360189A CN202110625822.9A CN202110625822A CN113360189A CN 113360189 A CN113360189 A CN 113360189A CN 202110625822 A CN202110625822 A CN 202110625822A CN 113360189 A CN113360189 A CN 113360189A
- Authority
- CN
- China
- Prior art keywords
- asynchronous
- data
- processing
- stream
- computation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000005457 optimization Methods 0.000 title claims abstract description 36
- 238000004364 calculation method Methods 0.000 claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 230000004931 aggregating effect Effects 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 11
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 238000004220 aggregation Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 238000006116 polymerization reaction Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005111 flow chemistry technique Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3867—Concurrent instruction execution, e.g. pipeline or look ahead using instruction pipelines
- G06F9/3871—Asynchronous instruction pipeline, e.g. using handshake signals between stages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
- G06F9/3851—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution from multiple instruction streams, e.g. multistreaming
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Multi Processors (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种适用于流处理的异步优化方法，包括如下步骤S1：根据预定义的计算图生成执行计划并启动计算流水线；步骤S2：从数据源读取数据流，根据预定义的算法派发处理器的待处理队列；步骤S3：根据预定义的算法对数据流进行转换操作，将转换后的计算结果发送至聚合器进行数据汇总；步骤S4：聚合数据并进行下阶段处理。本发明还提供了一种适用于流处理的异步优化***、装置和可读介质。本发明通过在处理环节引入异步算法，减少了聚合环节阻塞时间来增加流水线的吞吐量提升计算效率。
Description
技术领域
本发明涉及流处理技术领域，具体地，涉及一种适用于流处理的异步优化方法、***、装置和可读介质。
背景技术
流处理是不断合并新数据以计算结果的动作。在流处理中，输入数据不受限制，并且没有预定的开始或结束。数据生产者将数据记录写入有序数据流，数据处理者需要从数据流中读取数据进行转换操作并将处理完的结果按输入顺序输出至消费者的数据流进行下一环节的处理。流处理由于其实时性和可扩展性在网络监控、风险管理、欺诈识别、算法交易等领域有着大量应用场景。
为了提升处理性能，流处理***通常会设计成利用MapReduce算法进行并发处理。常见的流处理实现如图4所示，每个环节的处理逻辑如下：
(1)有序的无限数据流(R)依次进入派发器组件；
(2)派发器组件将数据(R)分发至多个处理器待处理队列等待处理；
(3)处理器组件从待处理队列中获取数据(R)进行预定义的转换操作生成处理结果(T)；
(4)处理器组件将转换后的结果(T)发送至聚合器组件进行聚合；
(5)聚合器组件收集多个处理器生成结果进行排序后按输入顺序将结果输出至下一环节。
由于对于每个环节而言，输入的数据顺序需要和输出的数据顺序保持一致，因此聚合器需要等待最早的数据达到后才能将数据发送给后续环节。在并发处理的情况下，每个数据被处理完成的时间是不确定的，因此可能会存在先进入处理环节的数据处理较慢导致阻塞整个处理流的情况。通常这类问题会通过增加聚合器的缓存大小来减轻，使等待过程中后续数据还能进入处理环节，但这种解决方案会收到内存大小限制。
经过检索，专利文献CN102970239B公开了一种流处理方法、流处理装置、路由器及流处理***，包括：接收流的首数据包；为流分配第一标识，第一标识为流在本地转发设备中的本地标识；将首数据包及第一标识发到下游转发设备；接收下游转发设备返回的第二标识及第一标识，并绑定第一标识及第二标识，第二标识为流在下游转发设备中的本地标识，且与流在下游转发设备中的流表项相关联；接收后续数据包。该现有技术的不足之处在于需要根据第一标识及第二标识的绑定关系，将后续数据包及第二标识发送给下游转发设备，以使下游转发设备根据第二标识直接索引到流的流表项，并根据流表项对后续数据包进行处理，该现有技术比较复杂，并且耗时且长，储存第一标识和第二标识需要大量的内存空间。
因此，亟需研发设计一种能对流处理进行异步优化的方法和***。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种适用于流处理的异步优化方法、***、装置和可读介质，减少了异步处理场景的等待时间，增加了整体的吞吐率。
根据本发明提供的一种适用于流处理的异步优化方法，包括如下步骤：
步骤S1：根据预定义的计算图生成执行计划并启动计算流水线；
步骤S2：从数据源读取数据流，根据预定义的算法派发处理器的待处理队列；
步骤S3：根据预定义的算法对数据流进行转换操作，将转换后的计算结果发送至聚合器进行数据汇总；
步骤S4：聚合数据并进行下阶段处理。
优选地，步骤S3在步骤S1中会根据对计算图进行优化，如果发现计算过程可异步化则启动异步优化，否则退化为常规的同步计算。
优选地，步骤S1包括如下步骤：
步骤S1.1：对待启动的计算图进行校验；
步骤S1.2：根据校验后的计算图生成执行计划，包括异步执行计划和同步执行计划；
步骤S1.3：生成执行计划后启动流水线。
优选地，步骤S2包括如下步骤：
步骤S2.1：从外部数据源不断读取待处理的数据流；
步骤S2.2：将读取的待处理的数据流根据当前环节预定义的派发算法分发至指定处理器的待处理队列。
优选地，步骤S3包括如下步骤：
步骤S3.1：根据生成的异步执行计划创建异步任务；
步骤S3.2：提交异步任务至异步处理器；
步骤S3.3：生成异步处理结果代理；
步骤S3.4：将结果代理发送至聚合器进行数据聚合。
优选地，步骤S3.3中生成的结果代理将持有任务句柄，如果异步任务完成，则将访问委托异步计算结果执行；如果异步任务未完成，则阻塞等待异步计算完成。
优选地，步骤S4包括如下步骤：
步骤S4.1：对所有计算器提交的计算结果进行排序；
步骤S4.2：将处理结果发送至后续环节；
步骤S4.3：如果当前环节是最终环节，需要获取最终计算结果完成整个计算流水线；如果输出的是异步计算结果代理则会存在阻塞以等待计算完成。
根据本发明提供的一种适用于流处理的异步优化***，包括：
模块M1：根据预定义的计算图生成执行计划并启动计算流水线；
模块M2：从数据源读取数据流，根据预定义的算法派发处理器的待处理队列；
模块M3：根据预定义的算法对数据流进行转换操作，将转换后的计算结果发送至聚合器进行数据汇总；
模块M4：聚合数据并进行下阶段处理。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时实现上述的方法的步骤。
根据本发明提供的一种适用于流处理的异步优化装置，包括上述的适用于流处理的异步优化***或者上述的存储有计算机程序的计算机可读存储介质。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过在处理环节引入异步算法，减少了聚合环节阻塞时间来增加流水线的吞吐量提升计算效率。
2、本发明无需增加聚合器的缓存大小，可以有效应用于内存资源受限的场景。
3、本发明由于聚合器环节需要等待最先进入处理环节的任务完成，对于异步处理场景的等待时间被大大减少，从而增加了整体的吞吐率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明中适用于流处理的异步优化方法的异步处理流程图；
图2为本发明中适用于流处理的异步优化方法的同步计算时序示意图；
图3为本发明中适用于流处理的异步优化方法的异步计算时序示意图。
图4为现有技术中常见的流处理流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1-图3所示，本发明提供了一种适用于流处理的异步优化方法，包括如下步骤：
步骤S1：根据预定义的计算图生成异步执行计划并启动计算流水线。具体包括如下步骤：
步骤S1.1：对待启动的计算图进行校验，计算图中会包括各环节间的连接关系和定义每个环节的派发逻辑、计算逻辑和聚合逻辑等。在生成异步执行计划前需要对提交的计算图进行校验。
步骤S1.2：根据校验后的计算图生成异步执行计划，对于本发明而言，在此步骤中分析当前环节的派发逻辑、计算逻辑和聚合逻辑，如果计算逻辑中部分计算结果在当前聚合逻辑和后续环节的派发逻辑中不会被调用到，则将这部分计算过程生成为异步执行计划(异步执行计划详情参考步骤S3)，否则生成同步执行计划。
步骤S1.3：生成执行计划后启动流水线。
步骤S2：从数据源读取数据流，根据预定义的算法派发处理器的待处理队列。具体地包括如下步骤：
步骤S2.1：从外部数据源不断读取待处理的数据流。
步骤S2.2：将读取的待处理的数据流根据当前环节预定义的派发算法分发至指定处理器的待处理队列。由于存在异步计算过程，读取的数据有可能是异步处理结果的代理，但这对于派发器而言是透明的，如果派发器需要使用异步处理结果，则代理结果会阻塞数据方法直至异步处理完成。在这种场景下计算模型将退化为同步计算的模式。
步骤S3：根据预定义的算法对数据流进行转换操作，将转换后的计算结果发送至聚合器进行数据汇总；在步骤S1中会根据对计算图进行优化，如果发现计算过程可异步化则启动异步优化，否则退化为常规的同步计算。具体地，同步计算需要等待计算完成后才能获得计算结果，而异步计算只需要将计算任务提交至异步处理器就可以获得计算结果(代理)。因此异步计算获取的计算结果的时间会远小于同步计算。由于聚合器环节需要等待最先进入处理环节的任务完成，因此对于异步处理场景这个等待时间将被大大减少，从而增加整体的吞吐率。将步骤S3细分包括如下步骤：
步骤S3.1：根据生成的异步执行计划创建异步任务；在执行计划中定义数据转换算法，在计算器中存储了当前数据所需的上下文环境。计算器会将数据、转换算法和执行上下文包装成异步计算任务提交至异步任务处理器。
步骤S3.2：提交异步任务至异步处理器；异步任务处理器是由一组线程池组成，在接受了步骤S3.1中计算器提交的异步任务后会返回一个任务句柄给计算器用于查询计算状态和获取计算结果。
步骤S3.3：生成异步处理结果代理；计算器获取步骤S3.2返回的任务句柄并根据转换任务期望返回的结果类型生成代理。生成的结果代理将持有任务句柄，如果异步任务完成，则将访问委托异步计算结果执行；如果异步任务未完成，则阻塞等待异步计算完成。
步骤S3.4：将结果代理发送至聚合器进行数据聚合。
步骤S4：聚合数据并进行下阶段处理。具体包括如下步骤：
步骤S4.1：对所有计算器提交的计算结果进行排序；为了保证数据的输入顺序与输出顺序一致，对所有计算器提交的计算结果进行排序。如果先进入当前环节的数据未进入聚合器则等待。
步骤S4.2：将处理结果发送至后续环节；如果存在后续环节，将步骤S4.1中排序完成的计算结果按顺序发送至后续环节的派发节点进行后续环节的计算。
步骤S4.3：如果当前环节是最终环节，需要获取最终计算结果完成整个计算流水线；如果输出的是异步计算结果代理则会存在阻塞以等待计算完成。
具体实施例，假设存在两个计算环节：环节A和环节B。数据一(R1)在环节A需要10秒完成计算生成计算结果(T1)在环节B需要1秒完成计算生成计算结果(X1)，数据二(R2)在环节A需要1秒完成计算生成计算结果(T2)在环节B需要10秒完成计算生成结果(X2)。数据一(R1)和数据二(R2)依次进入环节A和环节B进行处理最终依次输出结果X1和X2。异步任务创建和提交过程时间可忽略。
对于同步计算模型，参考图2，完成全部计算所需时间为环节A最慢任务处理时间与环节B最慢任务处理时间
＝Max(A(R1),A(R2))+Max(B(T1),B(T2))
＝Max(10,1)+Max(1,10)＝20(秒)
对于异步计算模型，参考图3，完成全部计算所需时间为数据一(R1)和数据二(R2)在环节A和环节B的总计算时间的最大值
＝Max(A(R1)+B(T1),A(R2)+B(T1))
＝Max(10+1,1+10)＝11(秒)
可见，当使用了异步优化后，在上述场景下可以提前9秒完成整个计算过程。
本发明还提供了一种适用于流处理的异步优化***，包括：
模块M1：根据预定义的计算图生成执行计划并启动计算流水线；
模块M2：从数据源读取数据流，根据预定义的算法派发处理器的待处理队列；
模块M3：根据预定义的算法对数据流进行转换操作，将转换后的计算结果发送至聚合器进行数据汇总；
模块M4：聚合数据并进行下阶段处理。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时实现上述的方法的步骤。
根据本发明提供的一种适用于流处理的异步优化装置，包括上述的适用于流处理的异步优化***或者上述的存储有计算机程序的计算机可读存储介质。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种适用于流处理的异步优化方法，其特征在于，包括如下步骤：
步骤S1：根据预定义的计算图生成执行计划并启动计算流水线；
步骤S2：从数据源读取数据流，根据预定义的算法派发处理器的待处理队列；
步骤S3：根据预定义的算法对数据流进行转换操作，将转换后的计算结果发送至聚合器进行数据汇总；
步骤S4：聚合数据并进行下阶段处理。
2.根据权利要求1所述的适用于流处理的异步优化方法，其特征在于，所述步骤S3在步骤S1中会根据对计算图进行优化，如果发现计算过程可异步化则启动异步优化，否则退化为常规的同步计算。
3.根据权利要求1所述的适用于流处理的异步优化方法，其特征在于，所述步骤S1包括如下步骤：
步骤S1.1：对待启动的计算图进行校验；
步骤S1.2：根据校验后的计算图生成执行计划，包括异步执行计划和同步执行计划；
步骤S1.3：生成执行计划后启动流水线。
4.根据权利要求1所述的适用于流处理的异步优化方法，其特征在于，所述步骤S2包括如下步骤：
步骤S2.1：从外部数据源不断读取待处理的数据流；
步骤S2.2：将读取的待处理的数据流根据当前环节预定义的派发算法分发至指定处理器的待处理队列。
5.根据权利要求1所述的适用于流处理的异步优化方法，其特征在于，所述步骤S3包括如下步骤：
步骤S3.1：根据生成的异步执行计划创建异步任务；
步骤S3.2：提交异步任务至异步处理器；
步骤S3.3：生成异步处理结果代理；
步骤S3.4：将结果代理发送至聚合器进行数据聚合。
6.根据权利要求5所述的适用于流处理的异步优化方法，其特征在于，所述步骤S3.3中生成的结果代理将持有任务句柄，如果异步任务完成，则将访问委托异步计算结果执行；如果异步任务未完成，则阻塞等待异步计算完成。
7.根据权利要求1所述的适用于流处理的异步优化方法，其特征在于，所述步骤S4包括如下步骤：
步骤S4.1：对所有计算器提交的计算结果进行排序；
步骤S4.2：将处理结果发送至后续环节；
步骤S4.3：如果当前环节是最终环节，需要获取最终计算结果完成整个计算流水线；如果输出的是异步计算结果代理则会存在阻塞以等待计算完成。
8.一种适用于流处理的异步优化***，其特征在于，包括：
模块M1：根据预定义的计算图生成执行计划并启动计算流水线；
模块M2：从数据源读取数据流，根据预定义的算法派发处理器的待处理队列；
模块M3：根据预定义的算法对数据流进行转换操作，将转换后的计算结果发送至聚合器进行数据汇总；
模块M4：聚合数据并进行下阶段处理。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
10.一种适用于流处理的异步优化装置，其特征在于，包括权利要求8所述的适用于流处理的异步优化***或者权利要求9所述的存储有计算机程序的计算机可读存储介质。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110625822.9A CN113360189B (zh) | 2021-06-04 | 2021-06-04 | 适用于流处理的异步优化方法、***、装置和可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110625822.9A CN113360189B (zh) | 2021-06-04 | 2021-06-04 | 适用于流处理的异步优化方法、***、装置和可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113360189A true CN113360189A (zh) | 2021-09-07 |
| CN113360189B CN113360189B (zh) | 2022-09-30 |
Family
ID=77532357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110625822.9A Active CN113360189B (zh) | 2021-06-04 | 2021-06-04 | 适用于流处理的异步优化方法、***、装置和可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113360189B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120102503A1 (en) * | 2010-10-20 | 2012-04-26 | Microsoft Corporation | Green computing via event stream management |
| CN103164273A (zh) * | 2012-09-06 | 2013-06-19 | 佳都新太科技股份有限公司 | 一种利用自扩展的阻塞算法将同步服务调用转换为异步并行式调用的方法 |
| CN104391679A (zh) * | 2014-11-18 | 2015-03-04 | 浪潮电子信息产业股份有限公司 | 一种非规则流中高维数据流的gpu处理方法 |
| CN107038071A (zh) * | 2017-05-26 | 2017-08-11 | 重庆邮电大学 | 一种基于数据流预测的Storm任务伸缩调度算法 |
| WO2018078451A1 (en) * | 2016-10-25 | 2018-05-03 | Reconfigure.Io Limited | Synthesis path for transforming concurrent programs into hardware deployable on fpga-based cloud infrastructures |
| CN110998513A (zh) * | 2017-06-22 | 2020-04-10 | Icat有限责任公司 | 高吞吐量处理器 |
| CN111176861A (zh) * | 2019-12-24 | 2020-05-19 | 深圳市优必选科技股份有限公司 | 异步业务处理方法、***以及计算机可读存储介质 |
| CN111309409A (zh) * | 2020-02-26 | 2020-06-19 | 山东爱城市网信息技术有限公司 | 一种api服务调用实时统计方法 |
| CN111971648A (zh) * | 2018-04-13 | 2020-11-20 | 德吉润股份有限公司 | 异步多时钟域数据流接合及再同步***和方法 |
-
2021
- 2021-06-04 CN CN202110625822.9A patent/CN113360189B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120102503A1 (en) * | 2010-10-20 | 2012-04-26 | Microsoft Corporation | Green computing via event stream management |
| CN103164273A (zh) * | 2012-09-06 | 2013-06-19 | 佳都新太科技股份有限公司 | 一种利用自扩展的阻塞算法将同步服务调用转换为异步并行式调用的方法 |
| CN104391679A (zh) * | 2014-11-18 | 2015-03-04 | 浪潮电子信息产业股份有限公司 | 一种非规则流中高维数据流的gpu处理方法 |
| WO2018078451A1 (en) * | 2016-10-25 | 2018-05-03 | Reconfigure.Io Limited | Synthesis path for transforming concurrent programs into hardware deployable on fpga-based cloud infrastructures |
| CN107038071A (zh) * | 2017-05-26 | 2017-08-11 | 重庆邮电大学 | 一种基于数据流预测的Storm任务伸缩调度算法 |
| CN110998513A (zh) * | 2017-06-22 | 2020-04-10 | Icat有限责任公司 | 高吞吐量处理器 |
| CN111971648A (zh) * | 2018-04-13 | 2020-11-20 | 德吉润股份有限公司 | 异步多时钟域数据流接合及再同步***和方法 |
| CN111176861A (zh) * | 2019-12-24 | 2020-05-19 | 深圳市优必选科技股份有限公司 | 异步业务处理方法、***以及计算机可读存储介质 |
| CN111309409A (zh) * | 2020-02-26 | 2020-06-19 | 山东爱城市网信息技术有限公司 | 一种api服务调用实时统计方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王前等: "分步式并行MQ编码及其VLSI设计", 《高技术通讯》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113360189B (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10705878B2 (en) | Task allocating method and system capable of improving computational efficiency of a reconfigurable processing system | |
| Wang | Flexible flow shop scheduling: optimum, heuristics and artificial intelligence solutions | |
| US8402466B2 (en) | Practical contention-free distributed weighted fair-share scheduler | |
| US20180248934A1 (en) | Method and System for a Scheduled Map Executor | |
| CN111190741B (zh) | 基于深度学习节点计算的调度方法、设备及存储介质 | |
| CN111694643B (zh) | 一种面向图神经网络应用的任务调度执行***及方法 | |
| CN103365729A (zh) | 一种基于任务类型的动态MapReduce 调度方法及*** | |
| CN112148455A (zh) | 一种任务处理方法、设备及介质 | |
| CN113472597A (zh) | 分布式卷积神经网络细粒度的参数传输调度方法及装置 | |
| WO2023160088A1 (zh) | 一种区块链交易的处理方法、区块链节点及电子设备 | |
| CN111125013A (zh) | 一种数据入库方法、装置、设备及介质 | |
| Toma et al. | Computation offloading for real-time systems | |
| Duan et al. | Computation offloading scheduling for deep neural network inference in mobile computing | |
| Garanina et al. | Distributed Termination Detection by Counting Agent. | |
| US9753769B2 (en) | Apparatus and method for sharing function logic between functional units, and reconfigurable processor thereof | |
| Zhang et al. | Scheduling divisible loads in gaussian, mesh and torus network of processors | |
| CN113360189B (zh) | 适用于流处理的异步优化方法、***、装置和可读介质 | |
| CN111611479B (zh) | 用于网络资源推荐的数据处理方法及相关装置 | |
| CN116069480B (zh) | 一种处理器及计算设备 | |
| US10826982B2 (en) | Packet processing architecture and method therefor | |
| CN110955461B (zh) | 计算任务的处理方法、装置、***、服务器和存储介质 | |
| CN113760498A (zh) | 消息消费方法、装置、电子设备和计算机可读介质 | |
| CN110502337B (zh) | 针对Hadoop MapReduce中混洗阶段的优化*** | |
| Hu et al. | Joint deployment and request routing for microservice call graphs in data centers | |
| CN114706813B (zh) | 多核异构片上***、非对称同步方法、计算设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |