CN113778776A - 对任务异常进行预警的方法和装置以及存储介质 - Google Patents

对任务异常进行预警的方法和装置以及存储介质 Download PDF

Info

Publication number
CN113778776A
CN113778776A CN202010579102.9A CN202010579102A CN113778776A CN 113778776 A CN113778776 A CN 113778776A CN 202010579102 A CN202010579102 A CN 202010579102A CN 113778776 A CN113778776 A CN 113778776A
Authority
CN
China
Prior art keywords
task
time period
data volume
current time
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010579102.9A
Other languages
English (en)
Inventor
方伟
揣龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202010579102.9A priority Critical patent/CN113778776A/zh
Publication of CN113778776A publication Critical patent/CN113778776A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3017—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is implementing multitasking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开提出一种对任务异常进行预警的方法和装置以及存储介质，涉及计算机领域。根据任务在过去时间段的实际数据量，确定任务在当前时间段的预测数据量，根据任务在当前时间段的预测数据量和实际数据量的差值，对任务是否异常进行预警，从而在任务运行过程中及时地对任务异常进行预警，以便在问题出现的第一时间进行问题排查和相关的干预。

Description

对任务异常进行预警的方法和装置以及存储介质
技术领域
本公开涉及计算机领域，特别涉及一种对任务异常进行预警的方法和装置以及存储介质。
背景技术
在大数据时代，企业每天都运行着大量的计算任务，以实现不同的业务场景。
为了保证协定的服务质量，需要对任务进行监控和分析。目前大数据平台对于任务的分析采用的是事后分析方式，即，发现任务出现异常情况后，开始对任务相应的任务信息和日志信息等进行分析。
发明人发现，事后分析方式具有一定的延迟，无法在问题出现的第一时间进行问题排查和相关的干预。
发明内容
本公开实施例，根据任务在过去时间段的实际数据量，确定任务在当前时间段的预测数据量，根据任务在当前时间段的预测数据量和实际数据量的差值，对任务是否异常进行预警，从而在任务运行过程中及时地对任务异常进行预警，以便在问题出现的第一时间进行问题排查和相关的干预。
本公开一些实施例提出一种对任务异常进行预警的方法，包括：
获取任务在过去时间段的实际数据量；
根据所述任务在过去时间段的实际数据量，确定所述任务在当前时间段的预测数据量；
获取所述任务在当前时间段的实际数据量；
根据所述任务在当前时间段的预测数据量和实际数据量的差值，对所述任务是否异常进行预警。
在一些实施例中，所述过去时间段包括：距离所述当前时间段最近的预设第一数量的过去时间段。
在一些实施例中，确定所述任务在当前时间段的预测数据量，包括：
对距离所述当前时间段最近的预设第一数量的过去时间段的实际数据量进行加权平均计算，其中，过去时间段距离所述当前时间段越近，过去时间段的实际数据量相应的权重越大；
根据计算结果确定所述任务在当前时间段的预测数据量。
在一些实施例中，根据计算结果确定所述任务在当前时间段的预测数据量，包括：
判定所述计算结果与距离所述当前时间段最近的过去时间段的实际数据量之间的差值是否大于预设的阈值；
如果否，将所述计算结果确定为所述任务在当前时间段的预测数据量；
如果是，对所述计算结果进行修正，将修正后的计算结果确定为所述任务在当前时间段的预测数据量。
在一些实施例中，对所述计算结果进行修正，包括：
计算距离所述当前时间段最近的预设第二数量的过去时间段的实际数据量与预测数据量之间的平均相对误差；
利用所述平均相对误差对所述计算结果进行修正。
在一些实施例中，对所述任务是否异常进行预警，包括：
如果所述任务在当前时间段的预测数据量和实际数据量的差值超过预警规则设定的所述任务相应的预警阈值，发出所述任务发生异常的预警；其中，所述预警规则是可配置的。
在一些实施例中，所述预警规则包括：需要预警的任务的类型、以及每种类型的需要预警的任务相应的预警阈值。
在一些实施例中，需要预警的任务的类型包括：映射任务、映射读取任务、映射写入任务、归约任务、归约读取任务、归约写入任务中的一项或多项。
在一些实施例中，获取所述任务在当前时间段的实际数据量，包括：通过应用程序主控组件或者通过网页界面，实时获取所述任务在当前时间段的实际数据量。
本公开一些实施例提出一种对任务异常进行预警的装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行对任务异常进行预警的方法。
本公开一些实施例提出一种对任务异常进行预警的装置，包括
历史数据获取单元，被配置为获取任务在过去时间段的实际数据量；
预测单元，被配置为根据所述任务在过去时间段的实际数据量，确定所述任务在当前时间段的预测数据量；
实时数据获取单元，被配置为获取所述任务在当前时间段的实际数据量；
预警单元，被配置为根据所述任务在当前时间段的预测数据量和实际数据量的差值，对所述任务是否异常进行预警。
本公开一些实施例提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现对任务异常进行预警的方法的步骤。
附图说明
下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。根据下面参照附图的详细描述，可以更加清楚地理解本公开。
显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开一些实施例的对任务异常进行预警的方法的流程示意图。
图2示出本公开一些实施例的根据计算结果确定任务在当前时间段的预测数据量的示意图。
图3示出本公开一些实施例的映射读取文件的实际数据量与预测数据量的对比示意图。
图4示出本公开另一些实施例的对任务异常进行预警的方法的流程示意图。
图5示出本公开一些实施例的对任务异常进行预警的装置的示意图。
图6示出本公开另一些实施例的对任务异常进行预警的装置的示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
除非特别说明，否则，本公开中的“第一”“第二”等描述用来区分不同的对象，并不用来表示大小或时序等含义。
图1示出本公开一些实施例的对任务异常进行预警的方法的流程示意图。
如图1所示，该实施例的方法包括：步骤110-140。
在步骤110，获取任务在过去时间段的实际数据量。
其中，过去时间段例如包括：距离当前时间段最近的预设第一数量的过去时间段。基于距离当前时间段最近的过去时间段的实际数据量预测当前时间段的数据量，提高预测的准确性。
其中，任务(Job)例如包括映射(Map)任务、归约(Reduce)任务，并可以进一步细分为映射读取(Map Read)任务、映射写入(Map Written)任务、归约读取(Reduce Read)任务、归约写入(Reduce Written)任务，但不限于所举示例。
在步骤120，根据任务在过去时间段的实际数据量，确定任务在当前时间段的预测数据量。
在一些实施例中，步骤120的确定任务在当前时间段的预测数据量，包括：
在步骤121，对距离当前时间段最近的预设第一数量的过去时间段的实际数据量进行加权平均计算，其中，过去时间段距离当前时间段越近，该过去时间段的实际数据量相应的权重越大。
公式表示如下：
Figure BDA0002552472650000051
其中，距离当前时间段t+1最近的预设第一数量N的过去时间段t,t-1,…,t-i+1,…,t-N+1的实际数据量yt,yt-1,…,yt-i+1,…,yt-N+1，w1，w2,…,wi,…,wN分别为yt,yt-1,…,yt-i+1,…,yt-N+1的权重，Mt,N表示加权平均的计算结果。其中，预设第一数量为一个或多个。例如，N＝7，相应的，w1～w7例如分别为5，4，3，1，1，1，1，或者，w1～w7例如分别为7，6，5，4，3，2，1，但不限于所举示例。
在步骤122，根据计算结果确定任务在当前时间段的预测数据量。
上述预测方法形象地称为加权移动平均方法。通过加权移动平均方法预测当前时间段的数据量，进一步提高预测的准确性。
在一些实施例中，如图2所示，步骤122的根据计算结果确定任务在当前时间段的预测数据量，包括：
在步骤1221，判定计算结果与距离当前时间段最近的过去时间段的实际数据量之间的差值是否大于预设的阈值，从而，判定预测结果的合理性。
在步骤1222，如果否，说明预测结果合理，将计算结果确定为任务在当前时间段的预测数据量。
y′t+1＝Mt,N
其中，y′t+1表示当前时间段t+1的预测数据量，Mt,N表示对距离当前时间段t+1最近的预设第一数量N的过去时间段t～t-N+1的实际数据量进行加权平均的计算结果。
在步骤1223，如果是，说明预测结果不合理，对计算结果进行修正，将修正后的计算结果确定为任务在当前时间段的预测数据量。
y′t+1＝M′t,N
其中，y′t+1表示当前时间段t+1的预测数据量，M′t,N表示计算结果Mt,N的修正值。
对计算结果进行修正例如包括：计算距离当前时间段最近的预设第二数量的过去时间段的实际数据量与预测数据量之间的平均相对误差；利用平均相对误差对计算结果进行修正。例如，计算结果减去平均相对误差作为修正后的计算结果。其中，预设第二数量与预设第一数量可以相同或不同。
通过对预测结果进行修正，进一步提高预测的准确性。
在步骤130，获取任务在当前时间段的实际数据量。
例如，通过应用程序主控组件或者通过网页界面，实时获取任务在当前时间段的实际数据量。
在步骤140，根据任务在当前时间段的预测数据量和实际数据量的差值，对任务是否异常进行预警。
如果任务在当前时间段的预测数据量和实际数据量的差值超过预警规则设定的任务相应的预警阈值，发出任务发生异常的预警。
其中，预警规则是可配置的。预警规则例如包括：需要预警的任务的类型、以及每种类型的需要预警的任务相应的预警阈值等可配置信息。其中，需要预警的任务的类型例如包括：映射、任务、映射读取任务、映射写入任务、归约任务、归约读取任务、归约写入任务中的一项或多项，但不限于所举示例。通过配置预警规则，快速调整预警方式。
例如，该任务是映射读取任务，N＝7，w1～w7例如分别为5，4，3，1，1，1，1，依据2019/12/16～2019/12/22的映射读取文件的实际数据量，按照步骤121中的公式，计算出2019/12/23的映射读取文件的预测数据量为867.37，运行过程中获取的2019/12/23的映射读取文件的实际数据量为872.18，假设预警阈值为30MB，|872.18-867.37|<30，则2019/12/23的映射读取任务正常，无需预警。依次类推，依据2019/12/17～2019/12/23的映射读取文件的实际数据量，按照步骤121中的公式，计算出2019/12/24的映射读取文件的预测数据量为867.74，运行过程中获取的2019/12/24的映射读取文件的实际数据量为892.12，|892.12-867.74|<30，则2019/12/24的映射读取任务正常，无需预警。类似的，在2019/12/27，|981.28-886.66|>30，则2019/12/27的映射读取任务异常，发出预警。图3为2019/12/23～2019/12/31期间的映射读取文件的实际数据量与预测数据量的对比示意图，其中，实线表示实际数据量，虚线表示预测数据量，横坐标表示日期，纵坐标表示数据量。
Figure BDA0002552472650000071
上述实施例，根据任务在过去时间段的实际数据量，确定任务在当前时间段的预测数据量，根据任务在当前时间段的预测数据量和实际数据量的差值，对任务是否异常进行预警，从而在任务运行过程中及时地对任务异常进行预警，以便在问题出现的第一时间进行问题排查和相关的干预。
结合图4，下面以Hadoop为例，说明对任务异常进行预警的方法。
图4示出本公开另一些实施例的对任务异常进行预警的方法的流程示意图。
根据任务在过去时间段的实际数据量，确定任务在当前时间段的预测数据量，在任务运行过程中，对任务在当前时间段的实际数据量与预测数据量进行比较，当二者的差值超过预警阈值，例如，数据量剧增或者剧减，说明任务可能出现异常，在任务运行过程中就可以进行报警，将异常情况通知相关人员，以便在问题出现的第一时间进行问题排查和相关的干预。
如图4所示，在离线分析中，任务历史服务JobHistory记录任务运行完成的历史数据，数据库HBase统计任务在各个过去时间段的实际数据量，根据任务在各个过去时间段的实际数据量，通过预测确定任务在当前时间段的预测数据量，Kafka保存任务在当前时间段的预测数据量，并作为实时分析的一个数据源提供给Storm。
如图4所示，在实时分析中，通过资源管理器Yarn(Yet Another ResourceNegotiator，另一种资源协调者)中的应用程序主控(Application Master)组件或者通过爬取的网页界面(Website User Interface，WebUI)，将任务数据实时地发送到Kafka消息队列中，发送的频率例如为1次/30秒。Kafka统计任务在当前时间段的实际数据量，并作为实时分析的另一个数据源提供给实时计算***。在分布式预警***(如Apache Eagle)中，将实时计算***(如Storm、flink、spark等)与可配置的复杂事件处理(CEP，Complex EventProcessing)引擎(如Siddhi)结合起来，利用分布式预警***无需开发结合程序，通过配置预警规则，就可以实现任务异常的监控和预警。例如，复杂事件处理引擎配置各种预警规则，实时计算***获取各种任务在当前时间段的预测数据量和实际数据量，进行数据格式的转换(如果需要的话)，根据各种预警规则，比较相应任务在当前时间段的预测数据量和实际数据量的差值，分析并输出任务是否异常，在异常时进行预警。分析结果例如可以存储到Kafka、Mysql、HBase数据库中。其中，根据Siddhi结构化查询语言(Structured QueryLanguage，SQL)语法编写SQL规则就可以实现预警规则的配置。根据不同的监控场景，可以配置不同的预警规则。此外，Siddhi可以接受多种数据来源，多种数据格式，实时计算***将各种格式的数据流转换为Siddhi流，输入到Siddhi引擎中。
图5示出本公开一些实施例的对任务异常进行预警的装置的示意图。
如图5所示，该实施例的对任务异常进行预警的装置500包括：
历史数据获取单元510，被配置为获取任务在过去时间段的实际数据量；
预测单元520，被配置为根据任务在过去时间段的实际数据量，确定任务在当前时间段的预测数据量；
实时数据获取单元530，被配置为获取任务在当前时间段的实际数据量；
预警单元540，被配置为根据任务在当前时间段的预测数据量和实际数据量的差值，对任务是否异常进行预警。
在一些实施例中，过去时间段包括：距离当前时间段最近的预设第一数量的过去时间段。
在一些实施例中，预测单元520确定任务在当前时间段的预测数据量，包括：对距离当前时间段最近的预设第一数量的过去时间段的实际数据量进行加权平均计算，其中，过去时间段距离当前时间段越近，过去时间段的实际数据量相应的权重越大；根据计算结果确定任务在当前时间段的预测数据量。
在一些实施例中，预测单元520根据计算结果确定任务在当前时间段的预测数据量，包括：判定计算结果与距离当前时间段最近的过去时间段的实际数据量之间的差值是否大于预设的阈值；如果否，将计算结果确定为任务在当前时间段的预测数据量；如果是，对计算结果进行修正，将修正后的计算结果确定为任务在当前时间段的预测数据量。
在一些实施例中，预测单元520对计算结果进行修正，包括：计算距离当前时间段最近的预设第二数量的过去时间段的实际数据量与预测数据量之间的平均相对误差；利用平均相对误差对计算结果进行修正。
在一些实施例中，实时数据获取单元530被配置为通过应用程序主控组件或者通过网页界面，实时获取任务在当前时间段的实际数据量。
在一些实施例中，预警单元540对任务是否异常进行预警，包括：如果任务在当前时间段的预测数据量和实际数据量的差值超过预警规则设定的任务相应的预警阈值，发出任务发生异常的预警；其中，预警规则是可配置的。预警规则包括：需要预警的任务的类型、以及每种类型的需要预警的任务相应的预警阈值。要预警的任务的类型包括：映射任务、映射读取任务、映射写入任务、归约任务、归约读取任务、归约写入任务中的一项或多项。
图6示出本公开另一些实施例的对任务异常进行预警的装置的示意图。
如图6所示，该实施例的对任务异常进行预警的装置600包括：存储器610以及耦接至该存储器610的处理器620，处理器620被配置为基于存储在存储器610中的指令，执行前述任意一些实施例中的对任务异常进行预警的方法。
例如，获取任务在过去时间段的实际数据量；根据任务在过去时间段的实际数据量，确定任务在当前时间段的预测数据量；获取任务在当前时间段的实际数据量；根据任务在当前时间段的预测数据量和实际数据量的差值，对任务是否异常进行预警。
又例如，对距离当前时间段最近的预设第一数量的过去时间段的实际数据量进行加权平均计算，其中，过去时间段距离当前时间段越近，过去时间段的实际数据量相应的权重越大；根据计算结果确定任务在当前时间段的预测数据量。
又例如，判定计算结果与距离当前时间段最近的过去时间段的实际数据量之间的差值是否大于预设的阈值；如果否，将计算结果确定为任务在当前时间段的预测数据量；如果是，对计算结果进行修正，将修正后的计算结果确定为任务在当前时间段的预测数据量。其中，计算距离当前时间段最近的预设第二数量的过去时间段的实际数据量与预测数据量之间的平均相对误差；利用平均相对误差对计算结果进行修正。
其中，存储器610例如可以包括***存储器、固定非易失性存储介质等。***存储器例如存储有操作***、应用程序、引导装载程序(Boot Loader)以及其他程序等。
装置600还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630，640，650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为SD卡、U盘等外置存储设备提供连接接口。
本公开实施例还提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任意一些实施例中的对任务异常进行预警的方法的步骤。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机程序代码的非瞬时性计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (11)

1.一种对任务异常进行预警的方法，其特征在于，包括
获取任务在过去时间段的实际数据量；
根据所述任务在过去时间段的实际数据量，确定所述任务在当前时间段的预测数据量；
获取所述任务在当前时间段的实际数据量；
根据所述任务在当前时间段的预测数据量和实际数据量的差值，对所述任务是否异常进行预警。
2.根据权利要求1所述的方法，其特征在于，
所述过去时间段包括：距离所述当前时间段最近的预设第一数量的过去时间段。
3.根据权利要求2所述的方法，其特征在于，确定所述任务在当前时间段的预测数据量，包括：
对距离所述当前时间段最近的预设第一数量的过去时间段的实际数据量进行加权平均计算，其中，过去时间段距离所述当前时间段越近，过去时间段的实际数据量相应的权重越大；
根据计算结果确定所述任务在当前时间段的预测数据量。
4.根据权利要求3所述的方法，其特征在于，根据计算结果确定所述任务在当前时间段的预测数据量，包括：
判定所述计算结果与距离所述当前时间段最近的过去时间段的实际数据量之间的差值是否大于预设的阈值；
如果否，将所述计算结果确定为所述任务在当前时间段的预测数据量；
如果是，对所述计算结果进行修正，将修正后的计算结果确定为所述任务在当前时间段的预测数据量。
5.根据权利要求4所述的方法，其特征在于，对所述计算结果进行修正，包括：
计算距离所述当前时间段最近的预设第二数量的过去时间段的实际数据量与预测数据量之间的平均相对误差；
利用所述平均相对误差对所述计算结果进行修正。
6.根据权利要求1-5任一项所述的方法，其特征在于，对所述任务是否异常进行预警，包括：
如果所述任务在当前时间段的预测数据量和实际数据量的差值超过预警规则设定的所述任务相应的预警阈值，发出所述任务发生异常的预警；
其中，所述预警规则是可配置的。
7.根据权利要求6所述的方法，其特征在于，
所述预警规则包括：需要预警的任务的类型、以及每种类型的需要预警的任务相应的预警阈值；
其中，需要预警的任务的类型包括：映射任务、映射读取任务、映射写入任务、归约任务、归约读取任务、归约写入任务中的一项或多项。
8.根据权利要求1-5任一项所述的方法，其特征在于，获取所述任务在当前时间段的实际数据量，包括：
通过应用程序主控组件或者通过网页界面，实时获取所述任务在当前时间段的实际数据量。
9.一种对任务异常进行预警的装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-8中任一项所述的对任务异常进行预警的方法。
10.一种对任务异常进行预警的装置，包括
历史数据获取单元，被配置为获取任务在过去时间段的实际数据量；
预测单元，被配置为根据所述任务在过去时间段的实际数据量，确定所述任务在当前时间段的预测数据量；
实时数据获取单元，被配置为获取所述任务在当前时间段的实际数据量；
预警单元，被配置为根据所述任务在当前时间段的预测数据量和实际数据量的差值，对所述任务是否异常进行预警。
11.一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-8中任一项所述的对任务异常进行预警的方法的步骤。
CN202010579102.9A 2020-06-23 2020-06-23 对任务异常进行预警的方法和装置以及存储介质 Pending CN113778776A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010579102.9A CN113778776A (zh) 2020-06-23 2020-06-23 对任务异常进行预警的方法和装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010579102.9A CN113778776A (zh) 2020-06-23 2020-06-23 对任务异常进行预警的方法和装置以及存储介质

Publications (1)

Publication Number Publication Date
CN113778776A true CN113778776A (zh) 2021-12-10

Family

ID=78835206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010579102.9A Pending CN113778776A (zh) 2020-06-23 2020-06-23 对任务异常进行预警的方法和装置以及存储介质

Country Status (1)

Country Link
CN (1) CN113778776A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115168474A (zh) * 2022-07-26 2022-10-11 成都智元汇信息技术股份有限公司 一种基于大数据模型的物联中台***搭建方法
CN115292065A (zh) * 2022-07-29 2022-11-04 成都智元汇信息技术股份有限公司 一种基于流架构的事件确认方法、***及装置
WO2024072579A1 (en) * 2022-09-27 2024-04-04 Microsoft Technology Licensing, Llc System and method for ml-aided anomaly detection and end-to-end comparative analysis of the execution of spark jobs within a cluster

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965826A (zh) * 2018-08-21 2018-12-07 北京旷视科技有限公司 监控方法、装置、处理设备及存储介质
CN111090939A (zh) * 2019-12-17 2020-05-01 上海汉中诺软件科技有限公司 石化装置异常工况的预警方法和***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965826A (zh) * 2018-08-21 2018-12-07 北京旷视科技有限公司 监控方法、装置、处理设备及存储介质
CN111090939A (zh) * 2019-12-17 2020-05-01 上海汉中诺软件科技有限公司 石化装置异常工况的预警方法和***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115168474A (zh) * 2022-07-26 2022-10-11 成都智元汇信息技术股份有限公司 一种基于大数据模型的物联中台***搭建方法
CN115168474B (zh) * 2022-07-26 2023-04-14 成都智元汇信息技术股份有限公司 一种基于大数据模型的物联中台***搭建方法
CN115292065A (zh) * 2022-07-29 2022-11-04 成都智元汇信息技术股份有限公司 一种基于流架构的事件确认方法、***及装置
WO2024072579A1 (en) * 2022-09-27 2024-04-04 Microsoft Technology Licensing, Llc System and method for ml-aided anomaly detection and end-to-end comparative analysis of the execution of spark jobs within a cluster

Similar Documents

Publication Publication Date Title
WO2020259421A1 (zh) 一种业务***的监控方法及装置
CN109634801B (zh) 数据趋势分析方法、***、计算机装置及可读存储介质
CN110309009B (zh) 基于情境的运维故障根因定位方法、装置、设备及介质
CN113778776A (zh) 对任务异常进行预警的方法和装置以及存储介质
CN109684162B (zh) 设备状态预测方法、***、终端及计算机可读存储介质
CN111045894B (zh) 数据库异常检测方法、装置、计算机设备和存储介质
US20190079725A1 (en) Stream-processing data
US9286735B1 (en) Generating cumulative wear-based indicators for vehicular components
KR20180030521A (ko) 데이터 품질 분석
US11120051B2 (en) Dimension optimization in singular value decomposition-based topic models
US20200234581A1 (en) Vehicle traffic information analysis and traffic jam management
US10509649B2 (en) Value stream graphs across heterogeneous software development platforms
US20210124661A1 (en) Diagnosing and remediating errors using visual error signatures
WO2017214613A1 (en) Streaming data decision-making using distributions with noise reduction
US20210158220A1 (en) Optimizing accuracy of machine learning algorithms for monitoring industrial machine operation
CN112286958B (zh) 数据库查询表达式的处理方法和***
Alevizos et al. Complex event recognition under uncertainty: A short survey
CN108664603A (zh) 一种修复时序数据的异常聚合值的方法及装置
WO2021067385A1 (en) Debugging and profiling of machine learning model training
CN115033412A (zh) 一种任务日志归并方法和装置
CN111813631A (zh) 一种面向云数据中心的资源态势可视化与分析方法
US20180204127A1 (en) Management of building energy systems through quantification of reliability
US11675342B2 (en) AI-based smart health surveillance system and method
US11985074B1 (en) Dynamically informed digital twins
JP2019133470A (ja) 挙動判別方法、挙動判別装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination