CN111078510B - 一种任务处理进度的记录方法及装置 - Google Patents

一种任务处理进度的记录方法及装置 Download PDF

Info

Publication number
CN111078510B
CN111078510B CN201811212841.3A CN201811212841A CN111078510B CN 111078510 B CN111078510 B CN 111078510B CN 201811212841 A CN201811212841 A CN 201811212841A CN 111078510 B CN111078510 B CN 111078510B
Authority
CN
China
Prior art keywords
task
processing
subtask
processing module
task processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811212841.3A
Other languages
English (en)
Other versions
CN111078510A (zh
Inventor
王清华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201811212841.3A priority Critical patent/CN111078510B/zh
Publication of CN111078510A publication Critical patent/CN111078510A/zh
Application granted granted Critical
Publication of CN111078510B publication Critical patent/CN111078510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Algebra (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Debugging And Monitoring (AREA)
  • Retry When Errors Occur (AREA)

Abstract

本发明公开了一种任务处理进度的记录方法及装置，涉及数据处理技术领域，为解决现有的利用分布式事务记录任务处理进度，当程序崩溃时为了准确记录任务处理量需要进行事务回滚处理，使得任务处理进度记录的性能较差的问题。本发明的方法包括：获取任务中的各个子任务分别对应的子任务处理日志；根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量和第二任务数量；根据所述第一任务数量和所述第二任务数量确定所述任务在各个所述任务处理模块中的处理进度并记录。本发明适合应用在对任务处理进度的记录中。

Description

一种任务处理进度的记录方法及装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种任务处理进度的记录方法及装置。
背景技术
随着大数据技术的迅速发展，大数据的应用场合也越来越广泛。在大数据任务处理过程，需要对任务处理进度进行监测。然而，通常情况下一个任务一般会包含大量数据的处理，也就相当于有大量的子任务，而且每条数据都会经过多个步骤的处理。因此，在记录任务处理进度时，为了把各个处理步骤中的任务总数量、已处理的任务数量保存下来，就需要在每当处理完一个或一批任务时对保存的数字进行更新。
目前，在对各个步骤中的任务处理进度进行记录时，主要是使用分布式事务来对任务量数字进行记录。然而当大数据任务处理程序崩溃时，对于当前正在各个任务处理模块中所处理的子任务，分布式事务无法准确记录其是否已经完成，为了确保任务处理进度记录的准确性需要进行处理事务回滚，例如当程序崩溃时分布式事务记录的已处理的任务数量为135，当再次启动时需要通过事务回滚处理判断记录的数字是否正确，并在记录错误时将数字进行修正，因此现有的利用分布式事务记录任务处理进度的方式使得任务处理进度记录的性能较差。
发明内容
鉴于上述问题，本发明提供一种任务处理进度的记录方法及装置，主要目的在于根据包含有各个任务处理模块在完成任务处理时创建的任务处理日志，对任务处理进度进行记录。
为解决上述技术问题，第一方面，本发明提供了一种任务处理进度的记录方法，该方法包括：
获取任务中的各个子任务分别对应的子任务处理日志，所述子任务处理日志为每个任务处理模块在完成其对应的每个所述子任务的处理时分别创建的；
根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量和第二任务数量，所述第一任务数量为注入所述任务处理模块的全部所述子任务的数量，所述第二任务数量为所述任务处理模块已经处理完成的所述子任务的数量；
根据所述第一任务数量和所述第二任务数量确定所述任务在各个所述任务处理模块中的处理进度并记录。
可选的，获取任务的处理日志之前，所述方法还包括：
对所述任务处理模块进行配置，以使得所述任务处理模块在完成各个所述子任务的处理时创建所述子任务处理日志。
可选的，所述子任务处理日志中包含有第一标识信息和第二标识信息，所述第一标识信息用于标识执行所述子任务处理和创建所述子任务处理日志的当前任务处理模块，所述第二标识信息用于标识执行所述子任务处理的下一个任务处理模块，所述子任务处理日志中还包含有数量信息，所述数量信息用于标识所述当前任务处理模块传递给所述下一个任务处理模块的所述子任务的数量，所述根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量包括：
根据所述第二标识信息提取每个所述任务处理模块所对应的所述子任务处理日志，得到每个所述任务处理模块所对应的第一日志集合；
依次提取所述第一日志集合中的各个所述子任务处理日志中的所述数量信息；
将提取的多个所述数量信息进行叠加，得到每个所述任务处理模块所对应的第一任务数量。
可选的，所述根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第二任务数量包括：
根据所述第一标识信息提取每个所述任务处理模块对应的所述子任务处理日志，得到每个所述任务处理模块所对应的第二日志集合；
统计所述第二日志集合中的所述子任务处理日志的数量，得到每个所述任务处理模块所对应的第二任务数量。
可选的，各个所述子任务处理日志还包含有所述子任务的标识信息，所述根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量和第二任务数量之前，所述方法还包括：
根据所述子任务的标识信息对每个任务处理模块对应的所述子任务处理日志进行去重处理。
可选的，所述方法还包括：
根据各个所述任务处理模块分别对应的第一任务数量和第二任务数量，计算所述任务的第一总任务量和第二总任务量，所述第一总任务量为所述任务包含的全部所述子任务的数量，所述第二总任务量为全部所述任务处理模块完成的所述子任务处理的数量；
当所述第一总任务量和所述第二总任务量相等时，确定所述任务的处理完成。
可选的，所述子任务处理日志中还包含有时间信息，所述方法还包括：
将各个所述子任务处理日志按照时间信息进行排序；
根据所述时间信息计算与各个所述任务处理模块对应的任务处理时间。
第二方面，本发明还提供了一种任务处理进度的记录装置，该装置包括：
获取单元，用于获取任务中的各个子任务分别对应的子任务处理日志，所述子任务处理日志为每个任务处理模块在完成其对应的每个所述子任务的处理时分别创建的；
计算单元，用于根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量和第二任务数量，所述第一任务数量为注入所述任务处理模块的全部所述子任务的数量，所述第二任务数量为所述任务处理模块已经处理完成的所述子任务的数量；
确定单元，用于根据所述第一任务数量和所述第二任务数量确定所述任务在各个所述任务处理模块中的处理进度并记录。
可选的，所述装置还包括：
配置单元，用于对所述任务处理模块进行配置，以使得所述任务处理模块在完成各个所述子任务的处理时创建所述子任务处理日志。
可选的，所述子任务处理日志中包含有第一标识信息和第二标识信息，所述第一标识信息用于标识执行所述子任务处理的当前任务处理模块，所述第二标识信息用于标识执行所述子任务处理和创建所述子任务处理日志的下一个任务处理模块，所述子任务处理日志中还包含有数量信息，所述数量信息用于标识所述当前任务处理模块传递给所述下一个任务处理模块的所述子任务的数量，所述计算单元包括：
第一提取模块，用于根据所述第二标识信息提取每个所述任务处理模块所对应的所述子任务处理日志，得到每个所述任务处理模块所对应的第一日志集合；
所述第一提取模块，还用于依次提取所述第一日志集合中的各个所述子任务处理日志中的所述数量信息；
叠加模块，用于将提取的多个所述数量信息进行叠加，得到每个所述任务处理模块所对应的第一任务数量。
可选的，所述计算单元还包括：第二提取模块、统计模块。
所述第二提取模块，用于根据所述第一标识信息提取每个所述任务处理模块对应的所述子任务处理日志，得到每个所述任务处理模块所对应的第二日志集合；
所述统计模块，用于统计所述第二日志集合中的所述子任务处理日志的数量，得到每个所述任务处理模块所对应的第二任务数量。
可选的，各个所述子任务处理日志还包含有所述子任务的标识信息，所述装置还包括：
去重单元，用于根据所述子任务的标识信息对每个任务处理模块对应的所述子任务处理日志进行去重处理。
可选的，
所述计算单元，还用于根据各个所述任务处理模块分别对应的第一任务数量和第二任务数量，计算所述任务的第一总任务量和第二总任务量，所述第一总任务量为所述任务包含的全部所述子任务的数量，所述第二总任务量为全部所述任务处理模块完成的所述子任务处理的数量。
所述确定单元，用于当所述第一总任务量和所述第二总任务量相等时，确定所述任务的处理完成。
可选的，所述子任务处理日志中还包含有时间信息，所述装置还包括：排序单元，
所述排序单元，用于将各个所述子任务处理日志按照时间信息进行排序；
所述计算单元，还用于根据所述时间信息计算与各个所述任务处理模块对应的任务处理时间。
为了实现上述目的，根据本发明的第三方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述所述的任务处理进度的记录方法。
为了实现上述目的，根据本发明的第四方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述的任务处理进度的记录方法。
借由上述技术方案，本发明提供的任务处理进度的记录方法及装置，对于现有技术在利用分布式事务对任务处理进度记录时，当程序崩溃时为了准确记录任务处理量需要进行事务回滚处理，使得任务处理进度记录的性能较差，本发明通过配置在各个任务处理模块完成每个子任务处理时，创建相应的子任务处理日志，从而能够通过获取各个子任务分别对应的子任务处理日志，并根据子任务处理日志计算注入各个任务处理模块的全部子任务数量以及各个任务处理模块完成处理的子任务数量，进而确定各个任务处理模块的任务处理进度，因此相比于现有技术，本发明在对任务处理进度进行记录时，只需要获取任务处理模块在完成子任务处理时创建的日志即可确定任务处理进度并记录，在确保了任务处理进度记录的准确性的同时提高了任务处理进度记录的性能；此外，通过在子任务处理日志中配置时间信息，以便于根据各条子任务处理日志中的时间计算各个任务处理模块的任务处理时间或者每个任务的处理时间等，从而可以更加全面的对任务处理进去进行记录，提高了任务处理进度记录的全面性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种任务处理进度的记录方法流程图；
图2示出了本发明实施例提供的另一种任务处理进度的记录方法流程图；
图3示出了本发明实施例提供的一种任务处理进度的记录装置的组成框图；
图4示出了本发明实施例提供的另一种任务处理进度的记录装置的组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了提高任务处理进度记录的准确性，本发明实施例提供了一种任务处理进度的记录方法，如图1所示，该方法包括：
101、获取任务中的各个子任务分别对应的子任务处理日志。
其中，所述子任务处理日志为每个任务处理模块在完成其对应的每个所述子任务的处理时分别创建的。而任务处理模块为执行任务处理的功能模块，如执行数据采集任务的数据采集模块、执行数据存储任务的存储模块等。
需要说明的是，在任务处理过程中，任意一个任务都包含有多个子任务，每个子任务可以在各个任务处理模块中依次传递并被处理，而在传递过程中，子任务可能处理失败，也可能生成更多的子任务。而对于本发明实施例可以预先对各个任务处理模块进行配置，使得任务处理模块可以在完成每个子任务处理时均创建一条相应的子任务处理日志，并将创建的子任务处理日志发送保存在数据库，从而在用户需要获取任务处理进度时，可以从数据库中直接提取任务对应的任务处理日志。
进一步的，对于本发明实施例，还可以在数据库中保存有多个任务分别对应的多条子任务处理日志，并且配置任务处理模块在创建子任务处理日志时，在日志中添加与任务对应的标识信息，从而可以利用任务标识对任务处理日志进行区分。
102、根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量和第二任务数量。
其中，所述第一任务数量为注入所述任务处理模块的全部所述子任务的数量，所述第二任务数量为所述任务处理模块已经处理完成的所述子任务的数量。
需要说明的是，在任务处理过程中需要记录的任务处理进度为多个子任务在任务处理模块中传递时，各个任务处理模块需要处理的子任务数量和已经完成处理的子任务数量。对于本发明实施例，各个任务处理模块在创建子任务处理日志时可以在日志中配置当前任务处理模块标识信息和下一个任务处理模块的标识信息，从而在本步骤中可以根据这两个标识信息分别计算与各个任务处理模块分别对应的需要处理的子任务数量和已经完成处理的子任务数量，进而实现对各个任务处理模块的任务处理进度的记录。
例如，对于任务A包含有10个子任务，分别为子任务a1、a2……a10，这十个子任务需要依次经过任务处理模块1、任务处理模块2和任务处理模块3进行处理，并且每个任务处理模块在完成每个子任务处理时均会创建一条子任务处理日志并保存在数据库中。当用户需要获取任务A在这三个任务处理模块中的处理进度时，根据任务A的标识信息从数据库中提取到了6条子任务处理日志，分别为{日志1：当前任务处理模块1、下一个任务处理模块2；日志2：当前任务处理模块1、下一个任务处理模块2；日志3：当前任务处理模块1、下一个任务处理模块2；日志4：当前任务处理模块2、下一个任务处理模块3；日志5：当前任务处理模块2、下一个任务处理模块3；日志6：当前任务处理模块3}，此时可以得到任务处理模块1需要完成的全部子任务为10条，已经完成处理的子任务数量为3条；任务处理模块2需要完成的任务为3条，已经完成处理的子任务数量为2条；任务处理模块3需要完成的任务为2条，已经完成处理的子任务数量为1条。
103、根据所述第一任务数量和所述第二任务数量确定所述任务在各个所述任务处理模块中的处理进度并记录。
其中，所述任务处理进度可以为各个任务处理模块完成子任务处理的百分比，也可以为未完成的子任务数量等，本发明实施例对此不做具体限定。例如，当任务处理进度为各个任务处理模块完成子任务处理的百分比时，可以根据上述步骤中计算得到第一任务数量与第二任务数量之间的商值，确定任务处理进度并进行记录。
本发明实施例提供的任务处理进度的记录方法，对于现有技术在利用分布式事务对任务处理进度记录时，当程序崩溃时为了准确记录任务处理量需要进行事务回滚处理，使得任务处理进度记录的性能较差，本发明通过配置在各个任务处理模块完成每个子任务处理时，创建相应的子任务处理日志，从而能够通过获取各个子任务分别对应的子任务处理日志，并根据子任务处理日志，计算注入各个任务处理模块的全部子任务数量以及各个任务处理模块完成处理的子任务数量，进而确定各个任务处理模块的任务处理进度，因此相比于现有技术，本发明在对任务处理进度进行记录时，只需要获取任务处理模块在完成子任务处理时创建的日志即可确定任务处理进度并记录，在确保了任务处理进度记录的准确性的同时提高了任务处理进度记录的性能。
进一步的，作为对图1所示实施例的细化及扩展，本发明实施例还提供了另一种任务处理进度的记录方法，如图2所示。
201、获取任务中的各个子任务分别对应的子任务处理日志。
其中，所述子任务处理日志为每个任务处理模块在完成其对应的每个所述子任务的处理时分别创建的。本步骤具体的实施方式可以参考所述步骤101中相应描述，在此不再赘述。
对于本发明实施例，在本步骤之前还可以包括：对所述任务处理模块进行配置，以使得所述任务处理模块在完成各个所述子任务的处理时创建所述子任务处理日志。具体地，本步骤可以为通过预先将配置代码进行封装得到程序包，从而利用该程序包对各个任务处理模块进行配置，即可实现各个任务处理模块在完成子任务处理时创建相应的子任务处理日志。
此外，对于本发明实施例，上述子任务处理日志中包含有第一标识信息和第二标识信息，所述第一标识信息用于标识执行所述子任务处理和创建所述子任务处理日志的当前任务处理模块，所述第二标识信息用于标识执行所述子任务处理的下一个任务处理模块。所述子任务处理日志中还包含有数量信息，所述数量信息用于标识所述当前任务处理模块传递给所述下一个任务处理模块的所述子任务的数量。需要说明的是，当任务处理模块在处理任意一个子任务时，均可能产生一个或多个子任务，因此在完成一条子任务处理时通过在子任务处理日志中添加当前子任务产生的子任务数量，并分别配置各个子任务对应的子任务标识信息，可以准确的记录产生的子任务和子任务的数量，进而确保了任务处理进度记录的准确性。
例如，任务处理模块A在完成处理子任务标识为M的子任务时，创建的子任务处理日志中携带的标识信息为：{taskID：taskM；module：moduleA；nextModule：nextModuleB；jobID：M1、M2、M3；count：3}，其中，taskID为被执行处理的任务标识，module为当前任务处理模块标识，nextModule为下一个任务处理模块标识，jobID为在当前任务处理模块中生成的子任务标识，count为生成的子任务的数量信息，则表明此时在执行子任务M处理的为任务处理模块A，下一个任务处理模块为任务处理模块B，且任务处理模块A在将子任务M处理完成时，生成了三条子任务分别为子任务M1、子任务M2和子任务M3，此时任务处理模块A向下一个任务处理模块B注入的子任务数量即为count所标识的3个。通过在各个任务处理模块完成子任务处理之后，创建至少包含有当前任务处理模块标识、下一个任务处理模块标识、新生成的子任务标识、以及当前任务处理模块发送给下一个任务处理模块的任务数量信息的任务处理日志，以便于能够快速准确的根据各条子任务处理日志计算各个任务处理模块的处理进度，从而提高了任务处理进度记录的准确性和效率。
对于本发明实施例，为了避免同一个子任务重复记录而造成的任务处理进度记录错误的问题，本发明实施例还可以包括：根据所述子任务的标识信息对所述子任务处理的日志进行去重处理。需要说明的是，对于某一个子任务，可以被一个任务处理模块多次重复处理，而当这个子任务在该任务处理模块中生成多个子任务时，在每次重复处理时这个子任务所生成的子任务标识信息都是jobId相同的，因此在完成该子任务处理时可以按照新生成的子任务标识jobId进行去重，以确保每个子任务数量唯一，进而提高了任务处理进度记录的准确性。例如，任务X的一个子任务在经过任务处理模块a处理时，生成了3个子任务且每个子任务标识分别为o、p、q，则在任务处理模块完成子任务处理时创建相应的子任务处理日志，并在按照字段taskId#module#jobId，即X#a#o、X#a#p、X#a#q对子任务处理日志进行去重处理。
202、根据所述第二标识信息提取每个所述任务处理模块所对应的所述子任务处理日志。
进一步地，得到每个所述任务处理模块所对应的第一日志集合。其中，所述任务处理模块可以为任意一个执行处理该任务的任务处理模块，而得到的第一日志集合中保存有全部将要注入到这个任务处理模块中的子任务。需要说明的是，在各条子任务处理日志中均包含有第二标识信息，而第二标识信息可以标识执行子任务处理的下一个任务处理模块，从而根据第二标识信息提取子任务处理日志，可以得到全部即将注入某个任务处理模块的全部子任务，因此，当需要提取某一个任务处理模块的第一日志集合时，则将查询条件确定为“第二标识信息＝待查询任务处理模块标识信息”即可。例如，当需要获取任务处理模块X对任务1的任务处理进度时，在保存任务处理日志的数据库中输入查询条件“nextModule＝moduleX且taskId＝task1”，则根据此时提取到的子任务处理日志创建与任务处理模块X对应的第一日志集合。
203、依次提取所述第一日志集合中的各个所述子任务处理日志中的所述数量信息。
例如，按照所述步骤202中输入的查询条件并提取到五条子任务处理日志，并且每条子任务处理日志中携带的count数量信息分别为2、2、5、4、3，也就是说任务处理模块X的上一个任务处理模块，在向任务处理模块X完成这五个子任务处理时，每个子任务又产生的子任务数量分别为2、2、5、4、3。
204、将提取的多个所述数量信息进行叠加。
进一步地，得到每个所述任务处理模块所对应的第一任务数量。需要说明的是，当上一个任务处理模块在完成某子任务处理而生成一个或多个子任务时，此时生成的全部子任务均需要注入到下一个任务处理模块，因此通过将上一个任务处理模块新生成的子任务数量进行叠加，即可以得到注入到各个任务处理模块中的全部子任务的数量。如步骤203中所述，当上一个任务处理模块在处理完成五个子任务时，分别生成了相应数量的子任务，此时可以计算得到上一个任务处理模块注入到任务处理模块X中的全部子任务数量为：2+2+5+4+3＝16。
对于本发明实施例，通过根据子任务处理日志中包含的下一个任务处理模块标识，提取即将注入到待查询任务处理模块的全部子任务，进而根据子任务处理日志中的数量标识获取新生子任务的数量，并按照数量信息进行叠加得到全部注入待查询任务处理模块中的子任务的数量，能够快速且准确的记录注入到任务处理模块的子任务数量，从而提高了任务处理进度记录的准确性和效率。
205、根据所述第一标识信息提取每个所述任务处理模块对应的所述子任务处理日志。
进一步地，得到每个所述任务处理模块所对应的第二日志集合。需要说明的是，只有在任务处理模块完成某一个子任务处理时才能创建相应的子任务处理日志，并在日志中配置有当前任务处理模块的标识信息。因此，通过用于标识当前任务处理模块的第一标识信息，可以提取到全部待查询任务处理模块所完成处理的子任务。
对于本发明实施例，在每条子任务处理日志中还包含有任务处理状态标识，即任务处理模块在执行子任务处理时处理的是否成功，而在本步骤中可以为只提取任务处理状态为处理成功的子任务处理日志。此外，还可以根据任务处理状态标识信息确定任务处理失败的子任务数量，并在处理失败的子任务数量超过一定阈值时输出告警信息，使得用户进行修护或者中止任务处理等，本发明实施例对此不做具体限定。
206、统计所述第二日志集合中的所述子任务处理日志的数量。
进一步地，得到与各个所述任务处理模块对应的第二任务数量。例如，在对上述任务处理模块X的已完成处理子任务数量进行查询时，在数据库中输入第一标识信息为任务处理模块X的查询条件，得到8条子任务处理日志，那么此时可以确定任务处理模块X已完成处理的子任务的数量为8。此外，在本发明实施例中，当需要同时查询多个任务处理模块的任务处理进度时，还可以同时输入多个查询条件进行同时查询，以进一步提高任务处理进度的查询效率。
进一步的，为了提高任务处理进度记录的准确性，本发明实施例还可以包括：根据各个所述任务处理模块分别对应的第一任务数量和第二任务数量，计算所述任务的第一总任务量和第二总任务量；当所述第一总任务量和所述第二总任务量相等时，确定所述任务处理完成。其中，所述第一总任务量为所述任务包含的全部所述子任务的数量，所述第二总任务量为全部所述任务处理模块完成的所述子任务处理的数量。需要说明的是，在本发明实施例中，当一个任务处理模块完成一条子任务处理时，下一个子任务处理模块中就要注入count数量信息中标识的N条子任务，因此只有当所有的任务处理模块完成一个任务对应的全部子任务处理时，才标识着这个任务已经完成处理。通过将任务处理***中全部任务处理模块所需要完成的全部子任务数量和已经完成的子任务数量进行累计，并在当两个数量相等时确定任务处理完成，通过利用两个总数量是否相等进行验证，可以避免当任务未完成处理却判断为任务处理完成而造成的误判问题，从而提高了任务处理进度记录的准确性。
此外，在任务处理模块创建子任务处理日志时还可以配置时间信息，在本发明实施例还可以包括：将各个所述子任务处理日志按照时间信息进行排序；根据所述时间信息计算与各个所述任务处理模块对应的任务处理时间根据所述时间信息计算与各个所述任务处理模块对应的任务处理时间。例如，可以按照一个任务处理模块处理的创建的最后一条子任务处理日志中的时间信息和第一条子任务处理日志中的时间信息至今的差值，确定为这个任务处理模块处理该任务所需要的时间。当然，还可以根据任务处理***中最后一个任务处理模块创建的最后一子任务处理日志中的时间信息，和第一个任务处理模块创建的第一条子任务处理日志中的时间信息之间的差值，确定为该任务的处理时间。
对于本发明实施例，通过在子任务处理日志中配置相应的时间信息，并根据时间信息计算各个任务处理模块的处理时间，可以对任务处理进度进行更加全面的记录，从而提高了任务处理进度记录的全面性。
进一步的，根据步骤201-206所述的方法，本发明实施例还可以提供一结合具体的应用场景下记录任务处理进度的实施方式，具体的，如下所述：
任务S在任务处理***的6个任务处理模块中依次进行处理，并且在处理过程中每个任务处理模块在处理完成一个子任务时均创建如下表1所示的子任务处理日志：
表1
Figure BDA0001832819980000131
如第二个任务处理模块在完成子任务处理时创建的子任务处理日志可以如表2所示：
表2
taskS
Module 2
Module 3
Job1、job2
taskS#module2#job1、taskS#module2#job2
2
是
当需要查询任务S的任务处理进度时，可以在数据库中输入携带有任务S标识信息和任务处理模块的标识信息，并提取相应的子任务处理日志，而后根据子任务处理日志计算各个任务处理模块需要处理的子任务数量和已经完成处理的子任务数量等。
但需要说明的是，上述应用场景所述的具体实施方式仅仅是示例性的，并非本发明实施例的唯一具体实施方式，在此仅为符合本发明所述的方法的优化实施方式之一。
进一步的，作为对上述图1所示方法的实现，本发明实施例还提供了一种任务处理进度的记录装置，用于对上述图1所示的方法进行实现。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。如图3所示，该装置包括：获取单元31、计算单元32、确定单元33，其中
获取单元31，可以用于获取任务中的各个子任务分别对应的子任务处理日志，所述子任务处理日志为每个任务处理模块在完成其对应的每个所述子任务的处理时分别创建的。
计算单元32，可以用于根据所述获取单元31获取到的所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量和第二任务数量，所述第一任务数量为注入所述任务处理模块的全部所述子任务的数量，所述第二任务数量为所述任务处理模块已经处理完成的所述子任务的数量。
确定单元33，可以用于根据所述计算单元32计算的所述第一任务数量和所述第二任务数量确定所述任务在各个所述任务处理模块中的处理进度并记录。
进一步的，作为对上述图2所示方法的实现，本发明实施例还提供了另一种任务处理进度的记录装置，用于对上述图2所示的方法进行实现。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。如图4所示，该装置包括：获取单元41、计算单元42、确定单元43，其中
获取单元41，可以用于获取任务中的各个子任务分别对应的子任务处理日志，所述子任务处理日志为每个任务处理模块在完成其对应的每个所述子任务的处理时分别创建的。
计算单元42，可以用于根据所述获取单元41获取到的所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量和第二任务数量，所述第一任务数量为注入所述任务处理模块的全部所述子任务的数量，所述第二任务数量为所述任务处理模块已经处理完成的所述子任务的数量。
确定单元43，可以用于根据所述计算单元42计算的所述第一任务数量和所述第二任务数量确定所述任务在各个所述任务处理模块中的处理进度并记录。
进一步的，所述装置还包括：
配置单元44，可以用于对所述任务处理模块进行配置，以使得所述任务处理模块在完成各个所述子任务的处理时创建所述子任务处理日志。
去重单元45，可以用于根据所述子任务的标识信息对每个任务处理模块对应的所述子任务处理日志进行去重处理。。
进一步的，所述装置还包括：提取单元46、叠加单元47。
所述提取单元46，可以用于根据所述第二标识信息提取每个所述任务处理模块所对应的所述子任务处理日志，得到每个所述任务处理模块所对应的第一日志集合。
所述提取单元46，还可以用于依次提取所述第一日志集合中的各个所述子任务处理日志中的所述数量信息。
所述叠加单元47，可以用于将提取的多个所述数量信息进行叠加，得到每个所述任务处理模块所对应的第一任务数量。
进一步的，所述装置还包括：统计单元48。
所述提取单元46，还可以用于根据所述第一标识信息提取每个所述任务处理模块对应的所述子任务处理日志，得到每个所述任务处理模块所对应的第二日志集合。
所述统计单元48，还可以用于统计所述第二日志集合中的所述子任务处理日志的数量，得到每个所述任务处理模块所对应的第二任务数量。
进一步的，
所述计算单元42，还可以用于根据各个所述任务处理模块分别对应的第一任务数量和第二任务数量，计算所述任务的第一总任务量和第二总任务量。
所述确定单元43，还可以用于当所述第一总任务量和所述第二总任务量相等时，确定所述任务处理完成。
进一步的，所述装置还包括：排序单元49。
所述排序单元49，可以用于将各个所述子任务处理日志按照时间信息进行排序。
所述计算单元42，还可以用于根据所述时间信息计算与各个所述任务处理模块对应的任务处理时间。
本发明实施例提供的另一种任务处理进度的记录装置。所述装置包括：获取单元、计算单元和确定单元。对于现有技术在利用分布式事务对任务处理进度记录时，当程序崩溃时为了准确记录任务处理量需要进行事务回滚处理，使得任务处理进度记录的性能较差，本发明通过配置在各个任务处理模块完成每个子任务处理时，创建相应的子任务处理日志，从而能够通过获取各个子任务分别对应的子任务处理日志，并根据子任务处理日志，计算注入各个任务处理模块的全部子任务数量以及各个任务处理模块完成处理的子任务数量，进而确定各个任务处理模块的任务处理进度，因此相比于现有技术，本发明在对任务处理进度进行记录时，只需要获取任务处理模块在完成子任务处理时创建的日志即可确定任务处理进度并记录，在确保了任务处理进度记录的准确性的同时提高了任务处理进度记录的性能；此外，通过在子任务处理日志中配置时间信息，以便于根据各条子任务处理日志中的时间计算各个任务处理模块的任务处理时间或者每个任务的处理时间等，从而可以更加全面的对任务处理进去进行记录，提高了任务处理进度记录的全面性。
所述文本处理装置包括处理器和存储器，上述获取单元31、计算单元32和确定单元33等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提高任务处理进度记录的性能。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述任务处理进度的记录方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述任务处理进度的记录方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取任务中的各个子任务分别对应的子任务处理日志，所述子任务处理日志为每个任务处理模块在完成其对应的每个所述子任务的处理时分别创建的；根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量和第二任务数量，所述第一任务数量为注入所述任务处理模块的全部所述子任务的数量，所述第二任务数量为所述任务处理模块已经处理完成的所述子任务的数量；根据所述第一任务数量和所述第二任务数量确定所述任务在各个所述任务处理模块中的处理进度并记录。
进一步的，所述方法还包括：
对所述任务处理模块进行配置，以使得所述任务处理模块在完成各个所述子任务的处理时创建所述子任务处理日志。
进一步的，所述子任务处理日志中包含有第一标识信息和第二标识信息，所述第一标识信息用于标识执行所述子任务处理的当前任务处理模块，所述第二标识信息用于标识执行所述子任务处理和创建所述子任务处理日志的下一个任务处理模块，所述子任务处理日志中还包含有数量信息，所述数量信息用于标识所述当前任务处理模块传递给所述下一个任务处理模块的所述子任务的数量，所述根据所述任务的处理日志分别计算与各个所述任务处理模块对应的第一任务数量包括：
根据所述第二标识信息提取每个所述任务处理模块所对应的所述子任务处理日志，得到每个所述任务处理模块所对应的第一日志集合；
依次提取所述第一日志集合中的各个所述子任务处理日志中的所述数量信息；
将提取的多个所述数量信息进行叠加，得到每个所述任务处理模块所对应的第一任务数量。
进一步的，所述根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第二任务数量包括：
根据所述第一标识信息提取每个所述任务处理模块对应的所述子任务处理日志，得到每个所述任务处理模块所对应的第二日志集合；
统计所述第二日志集合中的所述子任务处理日志的数量，得到每个所述任务处理模块所对应的第二任务数量。
进一步的，所述根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量和第二任务数量之前，所述方法还包括：
根据所述子任务的标识信息对每个任务处理模块对应的所述子任务处理日志进行去重处理。
进一步的，所述方法还包括：
根据各个所述任务处理模块分别对应的第一任务数量和第二任务数量，计算所述任务的第一总任务量和第二总任务量，所述第一总任务量为所述任务包含的全部所述子任务的数量，所述第二总任务量为全部所述任务处理模块完成的所述子任务处理的数量；
当所述第一总任务量和所述第二总任务量相等时，确定所述任务的处理完成。
进一步的，所述子任务处理日志中还包含有时间信息，所述方法还包括：
将各个所述子任务处理日志按照时间信息进行排序；
根据所述时间信息计算与各个所述任务处理模块对应的任务处理时间。
本发明实施例还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取任务中的各个子任务分别对应的子任务处理日志，所述子任务处理日志为每个任务处理模块在完成其对应的每个所述子任务的处理时分别创建的；根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量和第二任务数量，所述第一任务数量为注入所述任务处理模块的全部所述子任务的数量，所述第二任务数量为所述任务处理模块已经处理完成的所述子任务的数量；根据所述第一任务数量和所述第二任务数量确定所述任务在各个所述任务处理模块中的处理进度并记录。
进一步的，所述方法还包括：
对所述任务处理模块进行配置，以使得所述任务处理模块在完成各个所述子任务的处理时创建所述子任务处理日志。
进一步的，所述子任务处理日志中包含有第一标识信息和第二标识信息，所述第一标识信息用于标识执行所述子任务处理的当前任务处理模块，所述第二标识信息用于标识执行所述子任务处理和创建所述子任务处理日志的下一个任务处理模块，所述子任务处理日志中还包含有数量信息，所述数量信息用于标识所述当前任务处理模块传递给所述下一个任务处理模块的所述子任务的数量，所述根据所述任务的处理日志分别计算与各个所述任务处理模块对应的第一任务数量包括：
根据所述第二标识信息提取每个所述任务处理模块所对应的所述子任务处理日志，得到每个所述任务处理模块所对应的第一日志集合；
依次提取所述第一日志集合中的各个所述子任务处理日志中的所述数量信息；
将提取的多个所述数量信息进行叠加，得到每个所述任务处理模块所对应的第一任务数量。
进一步的，所述根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第二任务数量包括：
根据所述第一标识信息提取每个所述任务处理模块对应的所述子任务处理日志，得到每个所述任务处理模块所对应的第二日志集合；
统计所述第二日志集合中的所述子任务处理日志的数量，得到每个所述任务处理模块所对应的第二任务数量。
进一步的，所述根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量和第二任务数量之前，所述方法还包括：
根据所述子任务的标识信息对每个任务处理模块对应的所述子任务处理日志进行去重处理。
进一步的，所述方法还包括：
根据各个所述任务处理模块分别对应的第一任务数量和第二任务数量，计算所述任务的第一总任务量和第二总任务量，所述第一总任务量为所述任务包含的全部所述子任务的数量，所述第二总任务量为全部所述任务处理模块完成的所述子任务处理的数量；
当所述第一总任务量和所述第二总任务量相等时，确定所述任务的处理完成。
进一步的，所述子任务处理日志中还包含有时间信息，所述方法还包括：
将各个所述子任务处理日志按照时间信息进行排序；
根据所述时间信息计算与各个所述任务处理模块对应的任务处理时间。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种任务处理进度的记录方法，其特征在于，所述方法包括：
获取任务中的各个子任务分别对应的子任务处理日志，所述子任务处理日志为每个任务处理模块在完成其对应的每个所述子任务的处理时分别创建的；
根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量和第二任务数量，所述第一任务数量为注入所述任务处理模块的全部所述子任务的数量，所述第二任务数量为所述任务处理模块已经处理完成的所述子任务的数量，其中，所述子任务处理日志中包含有第一标识信息和第二标识信息，所述第一标识信息用于标识执行所述子任务处理和创建所述子任务处理日志的当前任务处理模块，所述第二标识信息用于标识执行所述子任务处理的下一个任务处理模块，所述子任务处理日志中还包含有数量信息，所述数量信息用于标识所述当前任务处理模块传递给所述下一个任务处理模块的所述子任务的数量，所述根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量包括：根据所述第二标识信息提取每个所述任务处理模块所对应的所述子任务处理日志，得到每个所述任务处理模块所对应的第一日志集合；依次提取所述第一日志集合中的各个所述子任务处理日志中的所述数量信息；将提取的多个所述数量信息进行叠加，得到每个所述任务处理模块所对应的第一任务数量；所述根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第二任务数量包括：根据所述第一标识信息提取每个所述任务处理模块对应的所述子任务处理日志，得到每个所述任务处理模块所对应的第二日志集合；统计所述第二日志集合中的所述子任务处理日志的数量，得到每个所述任务处理模块所对应的第二任务数量；
根据所述第一任务数量和所述第二任务数量确定所述任务在各个所述任务处理模块中的处理进度并记录。
2.根据权利要求1所述的方法，其特征在于，获取任务的处理日志之前，所述方法还包括：
对所述任务处理模块进行配置，以使得所述任务处理模块在完成各个所述子任务的处理时创建所述子任务处理日志。
3.根据权利要求1所述的方法，其特征在于，各个所述子任务处理日志还包含有所述子任务的标识信息，所述根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量和第二任务数量之前，所述方法还包括：
根据所述子任务的标识信息对每个任务处理模块对应的所述子任务处理日志进行去重处理。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据各个所述任务处理模块分别对应的第一任务数量和第二任务数量，计算所述任务的第一总任务量和第二总任务量，所述第一总任务量为所述任务包含的全部所述子任务的数量，所述第二总任务量为全部所述任务处理模块完成的所述子任务处理的数量；
当所述第一总任务量和所述第二总任务量相等时，确定所述任务的处理完成。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述子任务处理日志中还包含有时间信息，所述方法还包括：
将各个所述子任务处理日志按照时间信息进行排序；
根据所述时间信息计算与各个所述任务处理模块对应的任务处理时间。
6.一种任务处理进度的记录装置，其特征在于，所述装置包括：
获取单元，用于获取任务中的各个子任务分别对应的子任务处理日志，所述子任务处理日志为每个任务处理模块在完成其对应的每个所述子任务的处理时分别创建的；
计算单元，用于根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量和第二任务数量，所述第一任务数量为注入所述任务处理模块的全部所述子任务的数量，所述第二任务数量为所述任务处理模块已经处理完成的所述子任务的数量，其中，所述子任务处理日志中包含有第一标识信息和第二标识信息，所述第一标识信息用于标识执行所述子任务处理和创建所述子任务处理日志的当前任务处理模块，所述第二标识信息用于标识执行所述子任务处理的下一个任务处理模块，所述子任务处理日志中还包含有数量信息，所述数量信息用于标识所述当前任务处理模块传递给所述下一个任务处理模块的所述子任务的数量，所述装置还包括：提取单元、叠加单元，所述提取单元，可以用于根据所述第二标识信息提取每个所述任务处理模块所对应的所述子任务处理日志，得到每个所述任务处理模块所对应的第一日志集合；所述提取单元，还可以用于依次提取所述第一日志集合中的各个所述子任务处理日志中的所述数量信息；所述叠加单元，可以用于将提取的多个所述数量信息进行叠加，得到每个所述任务处理模块所对应的第一任务数量；所述装置还包括：统计单元，所述提取单元，还可以用于根据所述第一标识信息提取每个所述任务处理模块对应的所述子任务处理日志，得到每个所述任务处理模块所对应的第二日志集合；所述统计单元，还可以用于统计所述第二日志集合中的所述子任务处理日志的数量，得到每个所述任务处理模块所对应的第二任务数量；
确定单元，用于根据所述第一任务数量和所述第二任务数量确定所述任务在各个所述任务处理模块中的处理进度并记录。
7.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求5中任意一项所述的任务处理进度的记录方法。
8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至权利要求5中任意一项所述的任务处理进度的记录方法。
CN201811212841.3A 2018-10-18 2018-10-18 一种任务处理进度的记录方法及装置 Active CN111078510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811212841.3A CN111078510B (zh) 2018-10-18 2018-10-18 一种任务处理进度的记录方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811212841.3A CN111078510B (zh) 2018-10-18 2018-10-18 一种任务处理进度的记录方法及装置

Publications (2)

Publication Number Publication Date
CN111078510A CN111078510A (zh) 2020-04-28
CN111078510B true CN111078510B (zh) 2023-05-16

Family

ID=70308307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811212841.3A Active CN111078510B (zh) 2018-10-18 2018-10-18 一种任务处理进度的记录方法及装置

Country Status (1)

Country Link
CN (1) CN111078510B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112698843A (zh) * 2020-12-28 2021-04-23 浙江国利网安科技有限公司 一种工控软件安装方法、装置、存储介质和工控设备
CN112380024B (zh) * 2021-01-18 2021-05-25 天道金科股份有限公司 一种基于分布式计数的线程调度方法
CN113064869B (zh) * 2021-03-23 2023-06-13 网易（杭州）网络有限公司 日志处理方法、装置、发送端、接收端设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110015A (zh) * 2009-12-29 2011-06-29 北大方正集团有限公司 一种任务进度和任务处理时间的确定方法及装置
CN105260287A (zh) * 2015-09-16 2016-01-20 北京奇虎科技有限公司 父任务进度更新方法及装置
WO2017101488A1 (zh) * 2015-12-18 2017-06-22 乐视控股（北京）有限公司 实时转码的监控方法和实时转码***
CN106980636A (zh) * 2016-07-22 2017-07-25 平安科技（深圳）有限公司 保单数据处理方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110015A (zh) * 2009-12-29 2011-06-29 北大方正集团有限公司 一种任务进度和任务处理时间的确定方法及装置
CN105260287A (zh) * 2015-09-16 2016-01-20 北京奇虎科技有限公司 父任务进度更新方法及装置
WO2017101488A1 (zh) * 2015-12-18 2017-06-22 乐视控股（北京）有限公司 实时转码的监控方法和实时转码***
CN106980636A (zh) * 2016-07-22 2017-07-25 平安科技（深圳）有限公司 保单数据处理方法和装置

Also Published As

Publication number Publication date
CN111078510A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN111078510B (zh) 一种任务处理进度的记录方法及装置
CN107025224B (zh) 一种监控任务运行的方法和设备
CN106897342B (zh) 一种数据校验方法和设备
CN109934712B (zh) 应用于分布式***的对账方法、对账装置和电子设备
CN111767227A (zh) 一种录制回放测试的方法及装置
CN109471697A (zh) 一种监控虚拟机中***调用的方法、装置及存储介质
CN105302717A (zh) 一种大数据平台的检测方法及装置
CN106980571A (zh) 一种测试用例集的构建方法和设备
CN108121774B (zh) 一种数据表备份方法及终端设备
CN106648839B (zh) 数据处理的方法和装置
CN113918658A (zh) 恢复数据的方法及装置
CN109101819B (zh) 一种漏洞检测方法及终端、存储介质
CN107783879B (zh) 一种用于分析工作流执行路径的方法与设备
US20160306972A1 (en) Virus signature matching method and apparatus
CN110928941A (zh) 一种数据分片抽取方法及装置
CN110019357B (zh) 数据库查询脚本生成方法及装置
CN109558249B (zh) 一种并发操作的控制方法及装置
CN114070737B (zh) 设备的配置数据的检查方法、装置、存储介质及电子设备
WO2016140654A1 (en) Performance testing using service call executors
CN106569731B (zh) 极限存储方法、装置及设备
US10102052B2 (en) Dumping resources
CN114416442A (zh) 硬件变更的检测方法、装置、电子设备及可读存储介质
CN109561126A (zh) 一种数据同步方法和装置、存储介质、处理器
CN106980555A (zh) 一种超时线程处理方法及装置
CN109446091B (zh) 业务实体对象测试方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant