CN105939393A - 一种任务运行状态的监控方法和*** - Google Patents

Abstract

本发明公开了一种任务运行状态的监控方法和***。该方法包括：展示指定页面，供用户通过该指定页面创建指定任务；将指定任务提交到服务器，由服务器运行指定任务；每隔预设时间间隔，从服务器获取指定任务的运行状态信息；在指定页面的指定区域显示获取到的运行状态信息。与现有技术中等待指定任务在服务器运行结束后再将运行结果反馈至前端进行展示的方式不同，本方案在指定任务运行的过程中，前端周期性地从服务器获取指定任务当前的运行状态信息，并将指定任务当前的运行状态信息显示在前端指定页面的指定区域内，形成了前端指定页面的指定区域内显示的信息动态更新的效果，使得用户在指定任务运行过程中便可以动态地了解到各阶段的运行状态。

Description

一种任务运行状态的监控方法和***

技术领域

本发明涉及互联网技术领域，具体涉及一种任务运行状态的监控方法和***。

背景技术

随着互联网技术的不断发展，互联网大数据的趋势日益显著，每一条互联网的业务线都在不断地产生新的数据，对产生的数据进行进一步的处理以对互联网业务的运行进行反馈是相当重要的工作之一，目前，对各业务线的数据进行处理的过程可以包装为指定的计算任务，将指定的计算任务提交到服务器中运行的过程即是执行相应的数据处理的过程。现有技术中，一个指定任务在服务器端运行的过程中，与指定任务关联的用户无法获知该指定任务的实时运行状态，必须要等到指定任务运行结束，才可以获知运行结果反馈，在这种情况下，用户无法及时获知指定任务在运行过程中的情况，无法及时监控到可能或已经发生的异常状态，不能及时有效地实施补救措施，直至任务运行失败时再做补救已为时太晚。

因此，如何对任务运行状态进行监控，是亟需解决的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种任务运行状态的监控方法和***。

依据本发明的一个方面，提供了一种任务运行状态的监控方法，该方法包括：

展示指定页面，供用户通过该指定页面创建指定任务；

将指定任务提交到服务器，由服务器运行所述指定任务；

每隔预设时间间隔，从服务器获取所述指定任务的运行状态信息；

在指定页面的指定区域显示获取到的运行状态信息。

可选地，所述从服务器获取所述指定任务的运行状态信息包括：

利用AJAX机制向服务器发送任务状态请求消息，接收服务器返回的所述指定任务的运行状态信息。

可选地，该方法进一步包括：

在每次获取到运行状态信息后，判断本次获取到的运行状态信息中是否包含指示任务运行过程出现异常的信息；是则，向用户发送报警信息。

可选地，该方法进一步包括：

在每次获取到运行状态信息后，判断本次获取到的运行状态信息中是否包含指示网址信息的字符串；

是则，将该指示网址信息的字符串转换为超链接；

在所述在指定页面的指定区域显示获取到的运行状态信息时，一并对所述超链接进行展示；

响应于用户点击所述超链接的操作，跳转到所述超链接对应的页面。

可选地，所述从服务器获取所述指定任务的运行状态信息包括：

从服务器获取从所述指定任务开始运行到当前已产生的所述指定任务的运行状态信息。

可选地，所述在指定页面的指定区域显示获取到的运行状态信息包括：

将本次获取到的运行状态信息代替前一次获取到的运行状态信息显示在指定页面的指定区域；

或者，

将本次获取到的运行状态信息与前一次获取到的运行状态信息进行比较，将变化的部分显示在指定页面的指定区域。

可选地，所述从服务器获取所述指定任务的运行状态信息包括：

从服务器获取从前一次获取所述指定任务的运行状态信息的时间到当前产生的所述指定任务的运行状态信息。

可选地，所述在指定页面的指定区域显示获取到的运行状态信息包括：

将本次获取到的运行状态信息代替前一次获取到的运行状态信息显示在指定页面的指定区域；

或者，

将本次获取到的运行状态信息与之前已获取到的运行状态信息共同显示在指定页面的指定区域。

可选地，服务器接收前端提交的指定任务，运行所述指定任务，将所述指定任务在运行过程中产生的运行状态信息保存到指定数据库中；

服务器响应于前端周期性发送的任务状态请求消息，将每次请求时间对应的指定任务的运行状态信息返回至前端，供前端在指定页面的指定区域进行动态显示。

可选地，所述将每次请求时间对应的指定任务的运行状态信息返回至前端包括：

将指定数据库中保存的所述指定任务从开始运行到本次请求时间已产生的运行状态信息返回至前端；

或者，

将指定数据库中保存的所述指定任务从前一次请求时间到本次请求时间产生的运行状态信息返回至前端。

可选地，所述运行所述指定任务包括：

读取该指定任务的配置信息；

根据所述配置信息中的数据源信息，从相应的数据源获取待处理数据；

根据所述配置信息中的计算规则，对待处理数据进行计算；

根据所述配置信息中的存储规则，对待处理数据的计算结果进行保存。

可选地，所述指定任务的配置信息是用户通过指定页面输入设置的。

依据本发明的另一个方面，提供了一种任务运行状态的监控***，该***包括：任务运行状态的监控前端和服务器；

任务运行状态的前端包括：

前端展示单元，适于展示指定页面，供用户通过该指定页面创建指定任务；

任务提交单元，适于将指定任务提交到服务器，由服务器运行所述指定任务；

状态监控单元，适于每隔预设时间间隔，从服务器获取所述指定任务的运行状态信息；在指定页面的指定区域显示获取到的运行状态信息。

可选地，所述状态监控单元，适于利用AJAX机制向服务器发送任务状态请求消息，接收服务器返回的所述指定任务的运行状态信息。

可选地，所述状态监控单元，进一步适于在每次获取到运行状态信息后，判断本次获取到的运行状态信息中是否包含指示任务运行过程出现异常的信息；是则，向用户发送报警信息。

可选地，所述状态监控单元，进一步适于在每次获取到运行状态信息后，判断本次获取到的运行状态信息中是否包含指示网址信息的字符串；是则，将该指示网址信息的字符串转换为超链接；在所述在指定页面的指定区域显示获取到的运行状态信息时，一并对所述超链接进行展示；响应于用户点击所述超链接的操作，跳转到所述超链接对应的页面。

可选地，所述状态监控单元，适于从服务器获取从所述指定任务开始运行到当前已产生的所述指定任务的运行状态信息。

可选地，所述状态监控单元，适于将本次获取到的运行状态信息代替前一次获取到的运行状态信息显示在指定页面的指定区域；或者，适于将本次获取到的运行状态信息与前一次获取到的运行状态信息进行比较，将变化的部分显示在指定页面的指定区域。

可选地，所述状态监控单元，适于从服务器获取从前一次获取所述指定任务的运行状态信息的时间到当前产生的所述指定任务的运行状态信息。

可选地，所述状态监控单元，适于将本次获取到的运行状态信息代替前一次获取到的运行状态信息显示在指定页面的指定区域；或者，适于将本次获取到的运行状态信息与之前已获取到的运行状态信息共同显示在指定页面的指定区域。

可选地，服务器，适于接收前端提交的指定任务，运行所述指定任务，将所述指定任务在运行过程中产生的运行状态信息保存到指定数据库中；响应于前端周期性发送的任务状态请求消息，将每次请求时间对应的指定任务的运行状态信息返回至前端，供前端在指定页面的指定区域进行动态显示。

可选地，服务器，适于将指定数据库中保存的所述指定任务从开始运行到本次请求时间已产生的运行状态信息返回至前端；或者，适于将指定数据库中保存的所述指定任务从前一次请求时间到本次请求时间产生的运行状态信息返回至前端。

可选地，服务器，适于读取该指定任务的配置信息；根据所述配置信息中的数据源信息，从相应的数据源获取待处理数据；根据所述配置信息中的计算规则，对待处理数据进行计算；根据所述配置信息中的存储规则，对待处理数据的计算结果进行保存。

可选地，所述指定任务的配置信息是用户通过指定页面输入设置的。

由上述可知，本发明提供的技术方案通过在前端展示的指定页面获取用户创建的指定任务，将该指定任务提交到服务器中运行，与现有技术中等待指定任务在服务器运行结束后再将运行结果反馈至前端进行展示的方式不同，本方案在指定任务运行的过程中，前端周期性地从服务器获取指定任务当前的运行状态信息，并将指定任务当前的运行状态信息显示在前端指定页面的指定区域内，形成了前端指定页面的指定区域内显示的信息动态更新的效果，使得用户在指定任务运行过程中便可以动态地了解到各阶段的运行状态，无需等到任务运行结束，能够及时发现任务运行过程中出现的问题，符合对于任务运行状态的监控需求。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的一种任务运行状态的监控方法的流程图；

图2示出了根据本发明一个实施例的一种任务运行状态的监控***的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的一种任务运行状态的监控方法的流程图。如图1所示，该方法包括：

步骤S110，展示指定页面，供用户通过该指定页面创建指定任务。

步骤S120，将指定任务提交到服务器，由服务器运行指定任务。

步骤S130，每隔预设时间间隔，从服务器获取指定任务的运行状态信息。

步骤S140，在指定页面的指定区域显示获取到的运行状态信息。

可见，图1所示的方法通过在前端展示的指定页面获取用户创建的指定任务，将该指定任务提交到服务器中运行，与现有技术中等待指定任务在服务器运行结束后再将运行结果反馈至前端进行展示的方式不同，本方案在指定任务运行的过程中，前端周期性地从服务器获取指定任务当前的运行状态信息，并将指定任务当前的运行状态信息显示在前端指定页面的指定区域内，形成了前端指定页面的指定区域内显示的信息动态更新的效果，使得用户在指定任务运行过程中便可以动态地了解到各阶段的运行状态，无需等到任务运行结束，能够及时发现任务运行过程中出现的问题，符合对于任务运行状态的监控需求。

在本发明的一个实施例中，所述服务器为实时计算平台的服务器，图1所示的方法描述了一个实时计算平台的数据处理流程，实时计算平台在前端展示指定页面，供用户通过该指定页面创建指定任务，所创建的该指定任务中包括该指定任务的配置信息，该配置信息是由用户通过指定页面输入设置的，如指定页面以网页页面的形式向用户展示多个输入框，用户通过在输入框中进行输入设置来完成配置信息的配置过程；前端将创建的指定任务提交到实时计算平台，实时计算平台接收指定任务，读取该指定任务的配置信息，根据该指定任务的配置信息展开相应的数据处理过程，该实时计算平台为不同的数据处理需求开设了统一的接口，用户无需为数据处理过程编写完整的程序代码，只需要将对应于数据处理需求的配置信息输入到前端创建计算任务即可，便于实施，十分省时省力，实时计算平台的整合性好、实时性高、效率高、与用户交互友好，且可以同时运行多个计算任务，符合当前的大数据发展趋势。

其中，实时计算平台接收指定任务并根据指定任务的配置信息进行数据处理的过程即是实时计算平台运行指定任务的过程，具体地，实时计算平台运行指定任务的过程包括：根据指定任务的配置信息中的数据源信息，从相应的数据源接收待处理数据，根据指定任务的配置信息中的数据处理规则，对接收到的待处理数据进行相应的处理，根据指定任务的配置信息中的存储规则，将处理结果存储到相应的存储介质中，在整个过程中，前端要获取的是各个阶段的运行状态信息，例如，当实时计算平台接收到指定任务并读取指定任务的配置信息时，输出的指定任务的运行状态信息为指示指定任务正在初始化的信息，当实时计算平台从相应的数据源读取待处理数据时，输出的指定任务的运行状态信息为指示从数据源接收待处理数据的信息，等，也就是说，前端要获取的运行状态信息不是指运行指定任务过程中产生的结果数据，而是指表征各阶段的状态的信息，是实时计算平台在运行指定任务过程中输出的运行日志；一般情况下，由于实时计算平台在运行指定任务过程中产生的结果数据的数据量较大，需要放入Redis数据库中进行大数据存储，而实时计算平台在运行指定任务过程中输出的运行状态信息数据量较小，通常将输出的运行状态信息放入Mysql数据库中，且在对运行状态信息进行存储时，还可以为每条运行状态信息打上标识，如在最新放入的一条运行状态信息上打上“update”标识等。

则实时计算平台的前端只需要周期性地从服务器侧的Mysql数据库中读取运行状态信息并在前端的指定页面的指定区域内进行显示即可，由于服务器侧的运行状态信息是不断产生的，服务器侧的Mysql数据库中的运行状态信息也是不断更新的，使得前端指定页面的指定区域内显示的内容也是动态更新的。

在本发明的一个实施例中，步骤S130中从服务器获取指定任务的运行状态信息包括：利用AJAX机制向服务器发送任务状态请求消息，接收服务器返回的指定任务的运行状态信息。其中，AJAX(Asynchronous Javascript And XML，异步JavaScript和XML)是指一种创建交互式网页应用的网页开发技术，可以用于创建快速动态页面，用异步的方式来从服务器获取信息，通过在后台与服务器进行少量数据交换，AJAX可以使页面实现异步更新，这意味着可以在不重新加载整个页面的情况下，对页面的某部分进行更新；而传统的不使用AJAX的网页如果需要更新页面内容，必须重载整个页面，在显示时对整个页面进行刷新。

例如，前端展示指定页面，通过指定页面获取用户创建的指定任务，将该指定任务提交到服务器端，服务器端异步执行该指定任务，该指定任务在运行过程中不断地输出各个阶段的运行状态信息，服务器周期性地将指定任务在运行过程中所输出的运行状态信息保存到指定数据库、指定文件或内存中，前端使用AJAX机制，周期性地从服务器的指定数据库、指定文件或内存中轮询获取运行状态信息并显示在前端div，达到前端页面的指定区域内不断更新显示指定任务的运行状态信息的目的，在指定页面的指定区域内形成一个动态增长的画面感。

在本发明的一个实施例中，图1所示的方法进一步包括：在每次获取到运行状态信息后，判断本次获取到的运行状态信息中是否包含指示任务运行过程出现异常的信息；是则，向用户发送报警信息。沿用上文中指定任务在实时计算平台中运行的例子，当实时计算平台在接收到指定任务、读取指定任务的配置信息发生错误时，会输出指示“配置信息读取失败”的运行状态信息并保存在数据库中，前端下一次从服务器侧的数据库中获取到该运行状态信息，判断该运行状态信息中包含指示任务运行过程出现异常的信息，在将该运行状态信息显示在指定页面的指定区域内的同时，还通过弹窗、即时消息、邮件等方式向创建该指定任务的用户发送报警信息。

在本发明的一个实施例中，图1所示的方法进一步包括：在每次获取到运行状态信息后，判断本次获取到的运行状态信息中是否包含指示网址信息的字符串；是则，将该指示网址信息的字符串转换为超链接；则在步骤S140中在指定页面的指定区域显示获取到的运行状态信息时，一并对超链接进行展示；响应于用户点击超链接的操作，跳转到所述超链接对应的页面。例如，用户创建的指定任务是一个MR(Hadoop Map Reduce)任务，前端将该MR任务提交到服务器，该MR在服务器侧运行时输出的运行状态信息中包含一个字符串和一个进度信息，该字符串指示了任务运行链接，该进度信息指示了任务运行到百分之多少，前端下一次从服务器侧的数据库中获取到该运行状态信息，从该运行状态信息中捕捉到存在指示网址信息的字符串，则将该指示网址信息的字符串转换为超链接，将该超链接和该运行状态信息中的进度信息一同展示在前端指定页面的指定区域内，这样用户在看到前端指定页面展示的该运行状态信息后，直接点击该超链接即可跳转到相应的网页，而现有技术中，用户往往需要手动将字符串粘贴到另一个空白网页的网址栏中才能打开运行状态信息中包含的网址信息，十分费时费力，影响效率和体验。

在本发明的一个实施例中，可以通过设置前端和服务器端的交互策略来控制二者交互的数据内容以及前端指定页面的指定区域内的具体展示内容，通常有以下两种交互策略：

策略一，步骤S130中从服务器获取指定任务的运行状态信息包括：从服务器获取从指定任务开始运行到当前已产生的所述指定任务的运行状态信息，也就是说，前端每次从服务器侧获取运行状态信息时都是将当前数据库中的所有运行状态信息均拉取下来；例如，设定前端每隔5秒轮询一次，9:00时，从服务器侧获取9:00之前已产生的所有运行状态信息，包括：a,b,c；9:05时，从服务器侧获取9:05之前已产生的所有运行状态信息，包括：a,b,c,d；其中，一条运行状态信息d是在9:00～9:05之间产生的，如果前一次轮询时间与后一次轮询之间内没有产生新的运行状态信息，则前端前一次获取的运行状态信息和后一次获取的运行状态信息是相同的。

则步骤S140中在指定页面的指定区域显示获取到的运行状态信息包括：

方式一，将本次获取到的运行状态信息代替前一次获取到的运行状态信息显示在指定页面的指定区域，这样指定页面的指定区域中的内容每次都是全量的替换，沿用前面的例子，9:00时前端将获取的运行状态信息a,b,c展示在指定页面的指定区域内，9:05时前端将获取的运行状态信息a,b,c，d展示在指定页面的指定区域内，虽然前后两次展示是全量的替换，但用户视觉上看到的效果是仅仅增加了运行状态信息d。

方式二，将本次获取到的运行状态信息与前一次获取到的运行状态信息进行比较，将变化的部分显示在指定页面的指定区域，沿用前面的例子，9:00时前端将获取的运行状态信息a,b,c展示在指定页面的指定区域内，9:05时前端将获取的运行状态信息a,b,c，d与9:00时前端获取的运行状态信息a,b,c进行比较，增量为d，则将d展示在指定页面的指定区域内，使得用户视觉上看到的效果每次都看到更新的运行状态信息。

策略二，步骤S130中从服务器获取指定任务的运行状态信息包括：从服务器获取从前一次获取所述指定任务的运行状态信息的时间到当前产生的指定任务的运行状态信息。也就是说，前端每次从服务器侧获取运行状态信息时都是将当前数据库中的在前一次轮询和本次轮询之间产生的运行状态信息拉取下来；例如，设定前端每隔5秒轮询一次，从9:00开始，9:00时，服务器侧的数据库中包括运行状态信息a,b,c，从服务器侧获取a,b,c；9:05时，服务器侧的数据库中包括包括运行状态信息a,b,c,d，从9:00～9:05新产生的运行状态信息为d，则从服务器获取该运行状态信息d；如果前一次轮询时间与后一次轮询之间内没有产生新的运行状态信息，则后一次获取的运行状态信息是无。

则步骤S140中在指定页面的指定区域显示获取到的运行状态信息包括：

方式一，将本次获取到的运行状态信息代替前一次获取到的运行状态信息显示在指定页面的指定区域；这样指定页面的指定区域中的内容每次都是全量的替换，沿用前面的例子，9:00时前端将获取的运行状态信息a,b,c展示在指定页面的指定区域内，9:05时前端将获取的运行状态信息d展示在指定页面的指定区域内，使得用户视觉上看到的效果每次都看到更新的运行状态信息。

方式二，将本次获取到的运行状态信息与之前已获取到的运行状态信息共同显示在指定页面的指定区域。沿用前面的例子，9:00时前端将获取的运行状态信息a,b,c展示在指定页面的指定区域内，9:05时前端将获取的运行状态信息d与9:00时前端获取的运行状态信息a,b,c共同展示在指定页面的指定区域内，使得用户视觉上看到的效果每次都看到运行状态信息的不断累加。

依据上述两个策略，相应地，服务器侧将每次请求时间对应的指定任务的运行状态信息返回至前端包括：将指定数据库中保存的指定任务从开始运行到本次请求时间已产生的运行状态信息返回至前端；或者，将指定数据库中保存的指定任务从前一次请求时间到本次请求时间产生的运行状态信息返回至前端。

在本发明的一个实施例中，服务器接收前端提交的指定任务，运行指定任务，将指定任务在运行过程中产生的运行状态信息保存到指定数据库中。服务器响应于前端周期性发送的任务状态请求消息，将每次请求时间对应的指定任务的运行状态信息返回至前端，供前端在指定页面的指定区域进行动态显示。

具体地，当指定任务在服务器侧运行结束，产生最后一条运行状态信息，服务器在将该条运行状态信息放入指定数据库时，还在该条运行状态信息上打上结束标识；当达到前端轮询时间时，前端向服务器发送任务状态请求消息，对于获取到的每条运行状态信息，判断该条运行状态信息上是否携带结束标志，是则，在对本次获取的运行状态信息进行展示后，结束周期性轮询过程，不再向服务器侧发送任务状态请求消息；否则，在对本次获取的运行状态信息进行展示后，等待下一次的轮询时机。

如前文所述，本方案中的服务器侧为实时计算平台的服务器，前端未实时计算平台的前端，实时计算平台在接收到前端提交的指定任务后，运行指定任务的过程是：读取该指定任务的配置信息；根据配置信息中的数据源信息，从相应的数据源获取待处理数据；根据配置信息中的计算规则，对待处理数据进行计算；根据配置信息中的存储规则，对待处理数据的计算结果进行保存。其中，指定任务的配置信息是用户通过指定页面输入设置的。

进一步地，运行指定任务的过程中，在根据配置信息中的计算规则，对待处理数据进行计算之前，还可以根据配置信息中的解析条件，将待处理数据中符合解析条件的待处理数据解析为指定格式的元数据，然后在根据配置信息中的计算规则，对指定格式的元数据进行计算。

具体地，上述将待处理数据中符合解析条件的字段解析为指定格式的元数据包括：

方式一，根据待处理数据的格式，确定适配于待处理数据的一个或多个解析函数；创建待处理数据对应的解析器，在该解析器中动态注册所述一个或多个解析函数；通过调用所创建的解析器将待处理数据中符合解析条件的字段解析为指定格式的元数据。

其中，解析函数包括如下一种或多种：Base64decode函数、base64encode函数、urldecode函数、urlencode函数、isNum函数、isVer函数、getDay函数、getHour函数、getMin函数，其中，Base64decode函数用于对Base64编码的数据进行解码，base64encode函数用于对数据进行Base64编码，urldecode函数用于还原url编码字符串，urlencode函数用于对字符串进行url编码，isNum函数用于判断是否是数字，isVer函数用于判断是否是版本，getDay函数用于获取时间的日期信息，getHour函数用于获取时间的小时信息，getMin函数用于获取时间的分钟信息。本实施例通过在创建的解析器中动态注册解析待处理数据所需的解析函数，实现了对解析器的动态定制，可以动态地适配待处理数据的形式的多样化。

方式二，预存多个基本解析器，每个基本解析器适配于一种基本数据格式。具体地，基本解析器包括如下一种或多种：Apache日志解析器、Nginx日志解析器、数组日志解析器、Json日志解析器、分割符解析器，Apache日志解析器适配于Apache日志的数据格式，Nginx日志解析器适配于Nginx日志的数据格式，数组日志解析器适配于数组日志的数据格式，Json日志解析器适配于Json日志的数据格式，分割符解析器适配于以指定分割符进行字段分割的数据格式。

当待处理数据的格式为单一基本数据格式时，从预存的多个基本解析器中查找适配于该基本数据格式的基本解析器，通过调用查找到的基本解析器将待处理数据中符合解析条件的字段解析为指定格式的元数据。

当待处理数据的格式为多种基本数据格式的组合时，对于每种基本数据格式，从预存的多个基本解析器中查找适配于该基本数据格式的基本解析器，通过调用查找到的多个基本解析器的组合将待处理数据中符合解析条件的字段解析为指定格式的元数据。

例如，接收到的待处理数据是Apache日志，对应于Apache日志的数据格式，是单一基本数据格式，则对接收到的待处理数据进行解析的过程是：从预存的多个基本解析器中查找到Apache日志解析器，通过调用该Apache日志解析器将待处理数据中的字段解析为指定格式的元数据。或者，接收到的待处理数据是由分割符进行字段分割的，如“字段1&字段2”，其中“&”是分割符，字段1是数组格式，字段2是Json格式，则在对接收到的待处理数据进行解析时，需要调用分割符解析器、数组日志解析器和Json日志解析器的组合将待处理数据中的字段解析为指定格式的元数据，数组日志解析器和Json日志解析器是并列式组合，分割符解析器与该并列式组合形成层级式组合，具体地，先通过调用分隔符解析器分别解析出字段1和字段2，再通过调用数组日志解析器对字段1进行解析，以及通过调用Json日志解析器对字段2进行解析。

进一步地，在通过调用该条待处理数据对应的解析器将该条待处理数据中符合所述解析条件的字段解析为指定格式的元数据之后，上述方法进一步包括：将所调用的解析器放入指定全局变量数据库中。则通过调用该条待处理数据对应的解析器将该条待处理数据中符合解析条件的字段解析为指定格式的元数据包括：根据该条待处理数据的格式，从所述指定全局变量数据库中查找该条待处理数据对应的解析器；如果查找到，直接通过调用查找到的解析器将该条待处理数据中符合解析条件的字段解析为指定格式的元数据；如果未查找到，创建该条待处理数据对应的解析器，通过调用所创建的解析器将该条待处理数据中符合解析条件的字段解析为指定格式的元数据。

例如，从同一数据源接收到待处理数据1和待处理数据2，待处理数据1和待处理数据2具有相同的数据格式，先对待处理数据1进行解析，创建待处理数据1对应的解析器1，将待处理数据1中的字段解析为指定格式的元数据，在解析之后，将解析器1放入指定全局变量数据库中，使得该解析器1作为全局变量存在可以被方便地调用，则在对待处理数据2进行解析时，先从指定全局变量数据库中查找是否有待处理数据2对应的解析器，由于待处理数据2与待处理数据1的数据格式相同，解析器1同样适配于待处理数据2，因此，直接通过调用指定全局变量数据库中的解析器1对待处理数据2进行解析，避免了适配于相同数据格式的解析器的重复创建，避免不必要的***资源的使用，且直接全局地找解析器的过程比重新创建解析器的过程快得多，加快了解析过程，保证日志处理过程的实时性。

在本发明的一个实施例中，上述根据配置信息中的存储规则，对待处理数据的计算结果进行保存包括：根据存储规则，将计算结果存储到相应的存储介质中，供用户对计算结果进行查询。其中，所述存储介质包括如下一种或多种：Redis数据库，大存储Redis数据库，Mysql数据库，HBase数据库，HDFS数据库，GreenPlum数据库。不同的存储介质具有不同的特性，可以根据存储需求选择合适的存储介质，如Redis数据库是基于key-value形式在内存中进行存储的，但当数据量达到一定程度时，可以采用基于磁盘进行存储的大存储Redis数据库来分担存储压力，或者也可以采用分布式存储的GreenPlum数据库来分担存储压力，使得往存储介质中写数据以及从存储介质中读取数据的过程较为快捷，保证实时计算平台的实时性、有效性和稳定性。

在一个具体的例子中，在将统计处理结果保存到存储介质中之前，还可以对统计处理结果进行聚合处理，以减轻存储介质的压力，或者，在实时程度要求范围之内，设定触发存储的条件，在得到统计处理结果后，不直接进行存储，而是在满足触发存储的条件后进行存储，同样可以减轻存储压力。

图2示出了根据本发明一个实施例的一种任务运行状态的监控***的示意图。如图2所示，该任务运行状态的监控***200包括：任务运行状态的监控前端210和服务器220。

任务运行状态的前端210包括：

前端展示单元211，适于展示指定页面，供用户通过该指定页面创建指定任务。

任务提交单元212，适于将指定任务提交到服务器220，由服务器220运行指定任务。

状态监控单元213，适于每隔预设时间间隔，从服务器220获取指定任务的运行状态信息；在指定页面的指定区域显示获取到的运行状态信息。

可见，图2所示的***通过在前端展示的指定页面获取用户创建的指定任务，将该指定任务提交到服务器中运行，与现有技术中等待指定任务在服务器运行结束后再将运行结果反馈至前端进行展示的方式不同，本方案在指定任务运行的过程中，前端周期性地从服务器获取指定任务当前的运行状态信息，并将指定任务当前的运行状态信息显示在前端指定页面的指定区域内，形成了前端指定页面的指定区域内显示的信息动态更新的效果，使得用户在指定任务运行过程中便可以动态地了解到各阶段的运行状态，无需等到任务运行结束，能够及时发现任务运行过程中出现的问题，符合对于任务运行状态的监控需求。

在本发明的一个实施例中，所述状态监控单元，适于利用AJAX机制向服务器发送任务状态请求消息，接收服务器返回的所述指定任务的运行状态信息。

在本发明的一个实施例中，状态监控单元213，进一步适于在每次获取到运行状态信息后，判断本次获取到的运行状态信息中是否包含指示任务运行过程出现异常的信息；是则，向用户发送报警信息。

在本发明的一个实施例中，状态监控单元213，进一步适于在每次获取到运行状态信息后，判断本次获取到的运行状态信息中是否包含指示网址信息的字符串；是则，将该指示网址信息的字符串转换为超链接；在在指定页面的指定区域显示获取到的运行状态信息时，一并对超链接进行展示；响应于用户点击超链接的操作，跳转到超链接对应的页面。

在本发明的一个实施例中，状态监控单元213，适于从服务器获取从指定任务开始运行到当前已产生的指定任务的运行状态信息。

进一步地，状态监控单元213，适于将本次获取到的运行状态信息代替前一次获取到的运行状态信息显示在指定页面的指定区域；或者，适于将本次获取到的运行状态信息与前一次获取到的运行状态信息进行比较，将变化的部分显示在指定页面的指定区域。

在本发明的一个实施例中，状态监控单元213，适于从服务器获取从前一次获取指定任务的运行状态信息的时间到当前产生的指定任务的运行状态信息。

进一步地，状态监控单元213，适于将本次获取到的运行状态信息代替前一次获取到的运行状态信息显示在指定页面的指定区域；或者，适于将本次获取到的运行状态信息与之前已获取到的运行状态信息共同显示在指定页面的指定区域。

在本发明的一个实施例中，服务器220，适于接收任务运行状态的监控前端210提交的指定任务，运行指定任务，将指定任务在运行过程中产生的运行状态信息保存到指定数据库中；响应于任务运行状态的监控前端210周期性发送的任务状态请求消息，将每次请求时间对应的指定任务的运行状态信息返回至前端，供任务运行状态的监控前端210在指定页面的指定区域进行动态显示。

具体地，服务器220，适于将指定数据库中保存的指定任务从开始运行到本次请求时间已产生的运行状态信息返回至任务运行状态的监控前端210；或者，适于将指定数据库中保存的指定任务从前一次请求时间到本次请求时间产生的运行状态信息返回至任务运行状态的监控前端210。

进一步地，服务器220，适于读取该指定任务的配置信息；根据配置信息中的数据源信息，从相应的数据源获取待处理数据；根据配置信息中的计算规则，对待处理数据进行计算；根据配置信息中的存储规则，对待处理数据的计算结果进行保存。其中，指定任务的配置信息是用户通过指定页面输入设置的。

需要说明的是，图2所示***的各实施例与图1所示方法的各实施例对应相同，上文中已有详细说明，在此不再赘述。

综上所述，本发明提供的技术方案通过在前端展示的指定页面获取用户创建的指定任务，将该指定任务提交到服务器中运行，与现有技术中等待指定任务在服务器运行结束后再将运行结果反馈至前端进行展示的方式不同，本方案在指定任务运行的过程中，前端周期性地从服务器获取指定任务当前的运行状态信息，并将指定任务当前的运行状态信息显示在前端指定页面的指定区域内，形成了前端指定页面的指定区域内显示的信息动态更新的效果，使得用户在指定任务运行过程中便可以动态地了解到各阶段的运行状态，无需等到任务运行结束，能够及时发现任务运行过程中出现的问题，符合对于任务运行状态的监控需求。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一种任务运行状态的监控***中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明公开了A1、一种任务运行状态的监控方法，其中，该方法包括：

展示指定页面，供用户通过该指定页面创建指定任务；

将指定任务提交到服务器，由服务器运行所述指定任务；

每隔预设时间间隔，从服务器获取所述指定任务的运行状态信息；

在指定页面的指定区域显示获取到的运行状态信息。

A2、如A1所述的方法，其中，所述从服务器获取所述指定任务的运行状态信息包括：

利用AJAX机制向服务器发送任务状态请求消息，接收服务器返回的所述指定任务的运行状态信息。

A3、如A1所述的方法，其中，该方法进一步包括：

在每次获取到运行状态信息后，判断本次获取到的运行状态信息中是否包含指示任务运行过程出现异常的信息；是则，向用户发送报警信息。

A4、如A1所述的方法，其中，该方法进一步包括：

在每次获取到运行状态信息后，判断本次获取到的运行状态信息中是否包含指示网址信息的字符串；

是则，将该指示网址信息的字符串转换为超链接；

在所述在指定页面的指定区域显示获取到的运行状态信息时，一并对所述超链接进行展示；

响应于用户点击所述超链接的操作，跳转到所述超链接对应的页面。

A5、如A1所述的方法，其中，所述从服务器获取所述指定任务的运行状态信息包括：

从服务器获取从所述指定任务开始运行到当前已产生的所述指定任务的运行状态信息。

A6、如A5所述的方法，其中，所述在指定页面的指定区域显示获取到的运行状态信息包括：

将本次获取到的运行状态信息代替前一次获取到的运行状态信息显示在指定页面的指定区域；

或者，

将本次获取到的运行状态信息与前一次获取到的运行状态信息进行比较，将变化的部分显示在指定页面的指定区域。

A7、如A1所述的方法，其中，所述从服务器获取所述指定任务的运行状态信息包括：

从服务器获取从前一次获取所述指定任务的运行状态信息的时间到当前产生的所述指定任务的运行状态信息。

A8、如A7所述的方法，其中，所述在指定页面的指定区域显示获取到的运行状态信息包括：

将本次获取到的运行状态信息代替前一次获取到的运行状态信息显示在指定页面的指定区域；

或者，

将本次获取到的运行状态信息与之前已获取到的运行状态信息共同显示在指定页面的指定区域。

A9、如A1所述的方法，其中，

服务器接收前端提交的指定任务，运行所述指定任务，将所述指定任务在运行过程中产生的运行状态信息保存到指定数据库中；

服务器响应于前端周期性发送的任务状态请求消息，将每次请求时间对应的指定任务的运行状态信息返回至前端，供前端在指定页面的指定区域进行动态显示。

A10、如A9所述的方法，其中，所述将每次请求时间对应的指定任务的运行状态信息返回至前端包括：

将指定数据库中保存的所述指定任务从开始运行到本次请求时间已产生的运行状态信息返回至前端；

或者，

将指定数据库中保存的所述指定任务从前一次请求时间到本次请求时间产生的运行状态信息返回至前端。

A11、如A9所述的方法，其中，所述运行所述指定任务包括：

读取该指定任务的配置信息；

根据所述配置信息中的数据源信息，从相应的数据源获取待处理数据；

根据所述配置信息中的计算规则，对待处理数据进行计算；

根据所述配置信息中的存储规则，对待处理数据的计算结果进行保存。

A12、如A11所述的方法，其中，所述指定任务的配置信息是用户通过指定页面输入设置的。

本发明还公开了B13、一种任务运行状态的监控***，其中，该***包括：任务运行状态的监控前端和服务器；

任务运行状态的前端包括：

前端展示单元，适于展示指定页面，供用户通过该指定页面创建指定任务；

任务提交单元，适于将指定任务提交到服务器，由服务器运行所述指定任务；

状态监控单元，适于每隔预设时间间隔，从服务器获取所述指定任务的运行状态信息；在指定页面的指定区域显示获取到的运行状态信息。

B14、如B13所述的***，其中，

所述状态监控单元，适于利用AJAX机制向服务器发送任务状态请求消息，接收服务器返回的所述指定任务的运行状态信息。

B15、如B13所述的***，其中，

所述状态监控单元，进一步适于在每次获取到运行状态信息后，判断本次获取到的运行状态信息中是否包含指示任务运行过程出现异常的信息；是则，向用户发送报警信息。

B16、如B13所述的***，其中，

所述状态监控单元，进一步适于在每次获取到运行状态信息后，判断本次获取到的运行状态信息中是否包含指示网址信息的字符串；是则，将该指示网址信息的字符串转换为超链接；在所述在指定页面的指定区域显示获取到的运行状态信息时，一并对所述超链接进行展示；响应于用户点击所述超链接的操作，跳转到所述超链接对应的页面。

B17、如B13所述的***，其中，

所述状态监控单元，适于从服务器获取从所述指定任务开始运行到当前已产生的所述指定任务的运行状态信息。

B18、如B17所述的***，其中，

所述状态监控单元，适于将本次获取到的运行状态信息代替前一次获取到的运行状态信息显示在指定页面的指定区域；或者，适于将本次获取到的运行状态信息与前一次获取到的运行状态信息进行比较，将变化的部分显示在指定页面的指定区域。

B19、如B13所述的***，其中，

所述状态监控单元，适于从服务器获取从前一次获取所述指定任务的运行状态信息的时间到当前产生的所述指定任务的运行状态信息。

B20、如B19所述的***，其中，

所述状态监控单元，适于将本次获取到的运行状态信息代替前一次获取到的运行状态信息显示在指定页面的指定区域；或者，适于将本次获取到的运行状态信息与之前已获取到的运行状态信息共同显示在指定页面的指定区域。

B21、如B13所述的***，其中，

服务器，适于接收前端提交的指定任务，运行所述指定任务，将所述指定任务在运行过程中产生的运行状态信息保存到指定数据库中；响应于前端周期性发送的任务状态请求消息，将每次请求时间对应的指定任务的运行状态信息返回至前端，供前端在指定页面的指定区域进行动态显示。

B22、如B21所述的***，其中，

服务器，适于将指定数据库中保存的所述指定任务从开始运行到本次请求时间已产生的运行状态信息返回至前端；或者，适于将指定数据库中保存的所述指定任务从前一次请求时间到本次请求时间产生的运行状态信息返回至前端。

B23、如B22所述的***，其中，

服务器，适于读取该指定任务的配置信息；根据所述配置信息中的数据源信息，从相应的数据源获取待处理数据；根据所述配置信息中的计算规则，对待处理数据进行计算；根据所述配置信息中的存储规则，对待处理数据的计算结果进行保存。

B24、如B23所述的***，其中，所述指定任务的配置信息是用户通过指定页面输入设置的。

Claims (10)

1.一种任务运行状态的监控方法，其中，该方法包括：

展示指定页面，供用户通过该指定页面创建指定任务；

将指定任务提交到服务器，由服务器运行所述指定任务；

每隔预设时间间隔，从服务器获取所述指定任务的运行状态信息；

在指定页面的指定区域显示获取到的运行状态信息。

2.如权利要求1所述的方法，其中，所述从服务器获取所述指定任务的运行状态信息包括：

利用AJAX机制向服务器发送任务状态请求消息，接收服务器返回的所述指定任务的运行状态信息。

3.如权利要求1所述的方法，其中，该方法进一步包括：

在每次获取到运行状态信息后，判断本次获取到的运行状态信息中是否包含指示任务运行过程出现异常的信息；是则，向用户发送报警信息。

4.如权利要求1所述的方法，其中，该方法进一步包括：

在每次获取到运行状态信息后，判断本次获取到的运行状态信息中是否包含指示网址信息的字符串；

是则，将该指示网址信息的字符串转换为超链接；

在所述在指定页面的指定区域显示获取到的运行状态信息时，一并对所述超链接进行展示；

响应于用户点击所述超链接的操作，跳转到所述超链接对应的页面。

5.如权利要求1所述的方法，其中，所述从服务器获取所述指定任务的运行状态信息包括：

从服务器获取从所述指定任务开始运行到当前已产生的所述指定任务的运行状态信息。

6.一种任务运行状态的监控***，其中，该***包括：任务运行状态的监控前端和服务器；

任务运行状态的前端包括：

前端展示单元，适于展示指定页面，供用户通过该指定页面创建指定任务；

任务提交单元，适于将指定任务提交到服务器，由服务器运行所述指定任务；

状态监控单元，适于每隔预设时间间隔，从服务器获取所述指定任务的运行状态信息；在指定页面的指定区域显示获取到的运行状态信息。

7.如权利要求6所述的***，其中，

所述状态监控单元，适于利用AJAX机制向服务器发送任务状态请求消息，接收服务器返回的所述指定任务的运行状态信息。

8.如权利要求6所述的***，其中，

所述状态监控单元，进一步适于在每次获取到运行状态信息后，判断本次获取到的运行状态信息中是否包含指示任务运行过程出现异常的信息；是则，向用户发送报警信息。

9.如权利要求6所述的***，其中，

所述状态监控单元，进一步适于在每次获取到运行状态信息后，判断本次获取到的运行状态信息中是否包含指示网址信息的字符串；是则，将该指示网址信息的字符串转换为超链接；在所述在指定页面的指定区域显示获取到的运行状态信息时，一并对所述超链接进行展示；响应于用户点击所述超链接的操作，跳转到所述超链接对应的页面。

10.如权利要求6所述的***，其中，

所述状态监控单元，适于从服务器获取从所述指定任务开始运行到当前已产生的所述指定任务的运行状态信息。