CN108021450A - 基于yarn的作业分析方法和装置 - Google Patents

基于yarn的作业分析方法和装置 Download PDF

Info

Publication number
CN108021450A
CN108021450A CN201711262758.2A CN201711262758A CN108021450A CN 108021450 A CN108021450 A CN 108021450A CN 201711262758 A CN201711262758 A CN 201711262758A CN 108021450 A CN108021450 A CN 108021450A
Authority
CN
China
Prior art keywords
carrying
information
yarn
resource
resource occupation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711262758.2A
Other languages
English (en)
Inventor
刘志杰
徐俊劲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaodu Information Technology Co Ltd
Original Assignee
Beijing Xiaodu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaodu Information Technology Co Ltd filed Critical Beijing Xiaodu Information Technology Co Ltd
Priority to CN201711262758.2A priority Critical patent/CN108021450A/zh
Publication of CN108021450A publication Critical patent/CN108021450A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供了一种基于YARN的作业分析方法和装置，该方法包括：访问Hadoop集群YARN的表述性状态转移应用程序接口，获取Hadoop集群的总资源和正在执行的作业信息；遍历所有正在执行的作业，获取每项正在执行的作业的资源占用信息并根据总资源分析每项作业的资源占用率。提前预判出各项作业的资源占用是否出现异常或者存在出现异常的可能性，防止YARN在服务高峰期出现资源争用和异常。

Description

基于YARN的作业分析方法和装置
技术领域
本申请涉及互联网服务技术，具体涉及一种基于YARN的作业分析方法和装置。
背景技术
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。
另一种资源协调者(Yet Another Resource Negotiator，YARN)是一种Hadoop资源管理器，它是一个通用资源管理***，可为上层应用提供统一的资源管理和调度。它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
YARN的基本思想是在第一代分布式计算***(MapReduce)的基础上将作业***(JobTracker)的两个主要功能(资源管理和作业调度/监控)分离。主要方法是创建一个全局的资源管理程序(ResourceManager，RM)和若干个针对应用程序的应用程序管理器(Application Master，AM)。这里的应用程序是指传统的分布式计算(MapReduce)作业或作业的有向无环图(Directed Acyclic Graph，DAG)。目前通常使用MapReduce或开源集群计算环境Spark对任务进行处理，YARN在服务高峰期容易出现资源争用和异常。
发明内容
有鉴于此，本申请实施例提供了一种基于YARN的作业分析方法和装置，以解决YARN在服务高峰期容易出现资源争用的技术问题。
根据本申请实施例的一个方面，提供了一种基于YARN的作业分析方法，所述方法包括：访问Hadoop集群YARN的表述性状态转移应用程序接口，获取Hadoop集群的总资源和正在执行的作业信息；遍历所有正在执行的作业，获取每项正在执行的作业的资源占用信息并根据所述总资源分析每项作业的资源占用率。
在一个实施例中，所述基于YARN的作业分析方法还包括：根据所述总资源和正在执行的作业信息确定每项作业针对不同资源类别达到异常情形的标准。
在一个实施例中，所述基于YARN的作业分析方法还包括：将每项正在执行的作业的资源占用信息存储在MySQL数据库；控制所述MySQL数据库对作业的资源占用信息进行聚合，根据预设统计周期级别得到每项作业的资源占用信息。
优选的，控制所述MySQL数据库对作业的资源占用信息进行聚合，根据预设统计周期级别得到每项作业的资源占用信息包括：控制所述MySQL数据库对作业的资源占用信息进行聚合，以天作为统计周期级别得到每项作业资源占用出现异常的次数和每次出现异常的持续时间。
优选的，所述基于YARN的作业分析方法还包括：利用结构化查询语言查询所述MySQL数据库存储的资源占用信息，根据查询结果生成报表；将所述报表以邮件形式发送至预设电子邮件地址。
优选的，所述基于YARN的作业分析方法还包括：控制数据展示***定期从所述MySQL数据库拉取数据并将每次拉取的数据生成对应的报表并进行显示。
根据本申请实施例的另一个方面，提供了一种基于YARN的作业分析装置，所述装置包括：资源信息获取模块，用于访问Hadoop集群YARN的表述性状态转移应用程序接口，获取Hadoop集群的总资源和正在执行的作业信息；作业资源获取模块，用于遍历所有正在执行的作业，获取每项正在执行的作业的资源占用信息并根据总资源分析每项作业的资源占用率。
在一个实施例中，所述基于YARN的作业分析装置还包括：异常标准确定模块，用于根据所述总资源和正在执行的作业信息确定每项作业针对不同资源类别达到异常情形的标准。
在一个实施例中，所述基于YARN的作业分析装置还包括：信息存储模块，用于将每项正在执行的作业的资源占用信息存储在MySQL数据库；统计控制模块，用于控制所述MySQL数据库对作业的资源占用信息进行聚合，根据预设统计周期级别得到每项作业的资源占用信息。
优选的，统计控制模块进一步用于：控制所述MySQL数据库对作业的资源占用信息进行聚合，以天作为统计周期级别得到每项作业资源占用出现异常的次数和每次出现异常的持续时间。
优选的，所述基于YARN的作业分析装置还包括：查询模块，用于利用结构化查询语言查询所述MySQL数据库存储的资源占用信息，根据查询结果生成报表；报表发送模块，用于将所述报表以邮件形式发送至预设电子邮件地址。
优选的，所述基于YARN的作业分析装置还包括：展示***控制模块，用于控制数据展示***定期从所述MySQL数据库拉取数据，将每次拉取的数据生成对应的报表并进行显示。
根据本申请实施例的另一个方面，提供了一种电子设备，包括存储器和处理器；存储器用于存储一条或多条计算机指令，其中，一条或多条计算机被所述处理器执行以实现上述基于YARN的作业分析方法。
根据本申请实施例的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述基于YARN的作业分析方法。
本申请实施例的有益效果包括：获取Hadoop集群的总资源和正在执行的作业(Job)信息，遍历当前执行的作业分析每项作业的资源占用率，提前预判出各项作业的资源占用是否出现异常或者存在出现异常的可能性，防止YARN在服务高峰期出现资源争用和异常。
附图说明
通过以下参照附图对本申请实施例的描述，本申请的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1是本申请实施例基于YARN的集群作业分析***架构示意图；
图2是本申请实施例提供的基于YARN的作业分析方法的流程图；
图3是本申请实施例提供的基于YARN的作业分析装置的框图；
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下基于实施例对本申请进行描述，但是本申请并不仅仅限于这些实施例。在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。为了避免混淆本申请的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本申请实施例通过YARN页面服务的表述性状态转移(REpresentational StateTransfer，REST)应用程序编程接口(Application Programming Interface，API)获取Hadoop集群的总资源和正在执行的作业(Job)信息，遍历当前执行的作业分析每项作业的资源占用率，提前预判出各项作业的资源占用是否出现异常或者存在出现异常的可能性，防止YARN在服务高峰期出现资源争用和异常。
图1是本申请实施例基于YARN的集群作业分析***的架构示意图，包括Hadoop集群10，客户端11，MySQL数据库12和数据展示***13。其中，Hadoop集群10内部包括YARN 101和多个执行中的作业102，YARN 101对作业102进行统一的资源管理和调度。YARN 101运行于Hadoop集群10，满足RESTful的约束条件和原则并对外提供REST API。
REST指的是一组架构约束条件和原则，满足这些约束条件和原则的应用程序设计就是RESTful。REST使用统一资源标识符(Uniform Resource Identifier，URI)，加上超文本传输协议(HyperText Transfer Protocol，HTTP)请求方法从而达到对一个发布于互联网的资源唯一描述和操作。REST架构定义的页面服务实际上定义了一个接口规范，是一种面向资源的接口设计，所有的接口设计都是针对资源来设计的，将网络上的操作实体都作为资源来看待。
Hadoop YARN的页面服务REST API是一组面向集群、节点、应用程序和应用历史信息提供访问的URI资源，该URI资源被分组为基于API返回信息的类型。根据API返回信息的类型，这些URI资源会归类到不同的组，一些API返回收集器(collector)类型，有些返回单例模式(singleton)类型。页面服务REST API的语法如下：
http://{http address of service}/ws/{version}/{resourcepath}；
其中，{http address of service}代表需要获取信息的服务器地址，支持访问资源管理器(ResourceManager)，节点管理器(NodeManager)，分布式计算应用程序管理器(MapReduce application master)和历史服务器(history server)；{version}代表API的版本，目前支持v1；{resourcepath}定义singleton资源或者collector资源的路径。
如果要调用REST API，应用程序应执行与资源相关联的URI的HTTP操作(GET请求)，获得相应的资源。
客户端11调用YARN 101的页面服务REST API，获取Hadoop集群10的总资源信息，包括CPU占用、内存占用等；以及获取正在执行的作业信息，例如正在执行的作业“application_1388830974669_1540349”。
再通过REST API遍历所有正在执行的作业，获取每项正在执行的作业的资源占用信息，结合Hadoop集群10的总资源信息分析每项正在执行的作业的资源占用率，以便提前预判各项作业的资源占用是否出现异常或者是否存在出现异常的可能。
客户端11可以周期性的获取Hadoop集群10的总资源，并且Hadoop集群10的扩容、缩容对客户端11完全透明。客户端11根据获取到的总资源信息和正在执行的作业信息确定每项作业针对不同资源类别达到异常情形的标准，例如CPU占用阈值、内存占用阈值、作业执行时间阈值等等。如果Hadoop集群10扩容、缩容导致总资源信息发生变化，则不同资源类别达到异常情形的标准也相应随之变化。
客户端11可以将正在执行的作业的资源占用信息存储到MySQL数据库12，以结构化的数据形式保存。客户端11控制MySQL数据库12按照预设统计周期级别对作业的资源占用信息进行聚合，统计出该级别的每项作业的资源占用信息，例如，以“天”为统计周期级别的CPU占用、内存占用、出现异常情形的次数，每次异常情形的持续时间等等。
客户端11可利用结构化查询语言(SQL)对MySQL数据库12进行查询操作，根据MySQL数据库12返回的查询结果生成报表。客户端11将报表以电子邮件的方式发送到预设电子邮箱地址。例如，在客户端11预设研发人员的电子邮箱地址，研发人员在客户端11输入SQL查询语句后，客户端11将返回的查询结果生成报表并通过电子邮件的方式将报表发送到预设的电子邮箱地址，供研发人员查看，便于确定后续的优化方案。
客户端11还可以将获取到的每项作业的资源占用信息接入数据展示***13，控制数据展示***13定时或者周期性的从客户端11拉取数据。数据展示***13拉取数据的周期可以与客户端11访问REST API的周期同步或同频率。数据展示***13将每次拉取到的数据实时的生成报表并通过屏幕显示，便于研发和运维人员实时查看。
基于上述说明，本申请实施例提供了一种基于YARN的作业分析方法，适用于客户端11，如图2所示，该方法包括以下步骤。
S20，访问Hadoop集群YARN的表述性状态转移应用程序接口，获取Hadoop集群的总资源和正在执行的作业信息；
S21，遍历所有正在执行的作业，获取每项正在执行的作业的资源占用信息并根据总资源分析每项作业的资源占用率。
本实施例中，通过YARN的页面服务REST API获取每项正在执行的作业的资源占用信息并分析其资源占用率，以便查看每项作业是否出现资源占用异常或者***是否存在出现异常情形的可能性，防止YARN在服务高峰期出现资源争用和异常。
在一个实施例中，基于YARN的作业分析方法还包括：
S22，根据总资源和正在执行的作业信息确定每项作业针对不同资源类别达到异常情形的标准。
本实施例综合Hadoop集群的作业运行情况，可以动态的调整各项作业的资源占用达到异常情形的标准，既保证作业的高效运行，又防止出现资源争用。
在一个实施例中，基于YARN的作业分析方法还包括：
S23，将每项正在执行的作业的资源占用信息存储在MySQL数据库；
S24，控制MySQL数据库对作业的资源占用信息进行聚合，根据预设统计周期级别得到每项作业的资源占用信息。
优选的，S24进一步被配置为控制MySQL数据库对作业的资源占用信息进行聚合，以天作为统计周期级别得到每项作业资源占用出现异常的次数和每次出现异常的持续时间。
本实施例在MySQL数据库中对资源占用信息进行聚合，获得预设统计周期级别的资源占用情况，便于从各种时间维度对Hadoop集群的资源占用情况进行分析。
优选的，该基于YARN的作业分析方法进一步包括：
S25，利用结构化查询语言查询MySQL数据库存储的资源占用信息，根据查询结果生成报表；
S26，将报表以邮件形式发送至预设电子邮件地址。
将MySQL数据库返回的查询结果以邮件形式发送至研发人员的电子邮箱，便于其查看并确定后续的优化方案。
优选的，该基于YARN的作业分析方法还可以进一步包括：
控制数据展示***定期从MySQL数据库拉取数据并将每次拉取的数据生成对应的报表并进行显示。
将获取到的资源占用数据进行实时的显示，便于研发和运维人员实时观察Hadoop集群的资源使用情况。
对应上述基于YARN的作业分析方法，本申请实施例提供了一种基于YARN的作业分析装置，如图3所示，该装置包括：
资源信息获取模块30，用于访问Hadoop集群YARN的表述性状态转移应用程序接口，获取所述Hadoop集群的总资源和正在执行的作业信息；
作业资源获取模块31，用于遍历所有正在执行的作业，获取每项正在执行的作业的资源占用信息并根据总资源分析每项作业的资源占用率。
在一个实施例中，基于YARN的作业分析装置还包括：
异常标准确定模块，用于根据总资源和正在执行的作业信息确定每项作业针对不同资源类别达到异常情形的标准。
在一个实施例中，基于YARN的作业分析装置还包括：
信息存储模块，用于将每项正在执行的作业的资源占用信息存储在MySQL数据库；
统计控制模块，用于控制MySQL数据库对作业的资源占用信息进行聚合，根据预设统计周期级别得到每项作业的资源占用信息。
优选的，统计控制模块进一步用于：控制MySQL数据库对作业的资源占用信息进行聚合，以天作为统计周期级别得到每项作业资源占用出现异常的次数和每次出现异常的持续时间。
优选的，基于YARN的作业分析装置进一步还包括：
查询模块，用于利用结构化查询语言查询MySQL数据库存储的资源占用信息，根据查询结果生成报表；
报表发送模块，用于将报表以邮件形式发送至预设电子邮件地址。
优选的，基于YARN的作业分析装置进一步还包括：
展示***控制模块，用于控制数据展示***定期从MySQL数据库拉取数据，将每次拉取的数据生成对应的报表并进行显示。
此外，上述基于YARN的作业分析装置还可以通过硬件处理器(hardwareprocessor)来实现上述各个程序步骤。下面参考图4，其示出了适于用来实现本申请实施例的电子设备的计算机***600的结构示意图。图4示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，计算机***600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有***600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口606。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括资源信息获取模块和作业资源获取模块。
作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入电子设备中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当所存储的一个或者多个程序被一个设备执行时，使得所述设备：访问Hadoop集群YARN的表述性状态转移应用程序接口，获取Hadoop集群的总资源和正在执行的作业信息；遍历所有正在执行的作业，获取每项正在执行的作业的资源占用信息并根据总资源分析每项作业的资源占用率。
以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域技术人员而言，本申请可以有各种改动和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于YARN的作业分析方法，其特征在于，所述方法包括：
访问Hadoop集群YARN的表述性状态转移应用程序接口，获取所述Hadoop集群的总资源和正在执行的作业信息；
遍历所有正在执行的作业，获取每项正在执行的作业的资源占用信息并根据所述总资源分析每项作业的资源占用率。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述总资源和正在执行的作业信息确定每项作业针对不同资源类别达到异常情形的标准。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将每项正在执行的作业的资源占用信息存储在MySQL数据库；
控制所述MySQL数据库对作业的资源占用信息进行聚合，根据预设统计周期级别得到每项作业的资源占用信息。
4.根据权利要求3所述的方法，其特征在于，控制所述MySQL数据库对作业的资源占用信息进行聚合，根据预设统计周期级别得到每项作业的资源占用信息包括：
控制所述MySQL数据库对作业的资源占用信息进行聚合，以天作为统计周期级别得到每项作业资源占用出现异常的次数和每次出现异常的持续时间。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
利用结构化查询语言查询所述MySQL数据库存储的资源占用信息，根据查询结果生成报表；
将所述报表以邮件形式发送至预设电子邮件地址。
6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
控制数据展示***定期从所述MySQL数据库拉取数据并将每次拉取的数据生成对应的报表并进行显示。
7.一种基于YARN的作业分析装置，其特征在于，所述装置包括：
资源信息获取模块，用于访问Hadoop集群YARN的表述性状态转移应用程序接口，获取所述Hadoop集群的总资源和正在执行的作业信息；
作业资源获取模块，用于遍历所有正在执行的作业，获取每项正在执行的作业的资源占用信息并根据所述总资源分析每项作业的资源占用率。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
异常标准确定模块，用于根据所述总资源和正在执行的作业信息确定每项作业针对不同资源类别达到异常情形的标准。
9.一种电子设备，其特征在于，包括存储器和处理器；所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机被所述处理器执行以实现权利要求1至6任意一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1至6任意一项所述方法的步骤。
CN201711262758.2A 2017-12-04 2017-12-04 基于yarn的作业分析方法和装置 Pending CN108021450A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711262758.2A CN108021450A (zh) 2017-12-04 2017-12-04 基于yarn的作业分析方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711262758.2A CN108021450A (zh) 2017-12-04 2017-12-04 基于yarn的作业分析方法和装置

Publications (1)

Publication Number Publication Date
CN108021450A true CN108021450A (zh) 2018-05-11

Family

ID=62078335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711262758.2A Pending CN108021450A (zh) 2017-12-04 2017-12-04 基于yarn的作业分析方法和装置

Country Status (1)

Country Link
CN (1) CN108021450A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109769020A (zh) * 2019-01-09 2019-05-17 网宿科技股份有限公司 Cdn集群加速服务资源管理方法及装置、电子设备和存储介质
CN110597621A (zh) * 2019-08-09 2019-12-20 苏宁金融科技(南京)有限公司 集群资源的调度方法与***
CN110795301A (zh) * 2018-08-01 2020-02-14 马上消费金融股份有限公司 作业监测方法、装置、终端以及计算机存储介质
CN111290917A (zh) * 2020-02-26 2020-06-16 深圳市云智融科技有限公司 基于yarn的资源监控方法、装置及终端设备
CN111414381A (zh) * 2020-03-04 2020-07-14 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备及存储介质
CN111813545A (zh) * 2020-06-29 2020-10-23 北京字节跳动网络技术有限公司 一种资源配置方法、装置、介质和设备
CN111813587A (zh) * 2020-05-28 2020-10-23 国网山东省电力公司 一种软件接口评估及故障预警方法及***
CN112749055A (zh) * 2020-12-29 2021-05-04 拉卡拉支付股份有限公司 资源消耗计量方法、装置、电子设备及存储介质
WO2024000859A1 (zh) * 2022-06-28 2024-01-04 深圳前海微众银行股份有限公司 一种作业调度方法、作业调度装置、作业调度***及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246592A (zh) * 2013-05-13 2013-08-14 北京搜狐新媒体信息技术有限公司 一种监控采集***及方法
CN104915407A (zh) * 2015-06-03 2015-09-16 华中科技大学 一种基于Hadoop多作业环境下的资源调度方法
CN105868070A (zh) * 2015-12-25 2016-08-17 乐视网信息技术（北京）股份有限公司 确定任务消耗资源的方法及装置
WO2017079631A1 (en) * 2015-11-05 2017-05-11 Preventice Technologies, Inc. Securing resources with a representational state transfer application program interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246592A (zh) * 2013-05-13 2013-08-14 北京搜狐新媒体信息技术有限公司 一种监控采集***及方法
CN104915407A (zh) * 2015-06-03 2015-09-16 华中科技大学 一种基于Hadoop多作业环境下的资源调度方法
WO2017079631A1 (en) * 2015-11-05 2017-05-11 Preventice Technologies, Inc. Securing resources with a representational state transfer application program interface
CN105868070A (zh) * 2015-12-25 2016-08-17 乐视网信息技术（北京）股份有限公司 确定任务消耗资源的方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795301A (zh) * 2018-08-01 2020-02-14 马上消费金融股份有限公司 作业监测方法、装置、终端以及计算机存储介质
CN109769020A (zh) * 2019-01-09 2019-05-17 网宿科技股份有限公司 Cdn集群加速服务资源管理方法及装置、电子设备和存储介质
CN109769020B (zh) * 2019-01-09 2021-09-24 网宿科技股份有限公司 Cdn集群加速服务资源管理方法及装置、电子设备和存储介质
CN110597621A (zh) * 2019-08-09 2019-12-20 苏宁金融科技(南京)有限公司 集群资源的调度方法与***
CN111290917A (zh) * 2020-02-26 2020-06-16 深圳市云智融科技有限公司 基于yarn的资源监控方法、装置及终端设备
CN111414381A (zh) * 2020-03-04 2020-07-14 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备及存储介质
CN111813587A (zh) * 2020-05-28 2020-10-23 国网山东省电力公司 一种软件接口评估及故障预警方法及***
CN111813587B (zh) * 2020-05-28 2024-04-26 国网山东省电力公司 一种软件接口评估及故障预警方法及***
CN111813545A (zh) * 2020-06-29 2020-10-23 北京字节跳动网络技术有限公司 一种资源配置方法、装置、介质和设备
CN112749055A (zh) * 2020-12-29 2021-05-04 拉卡拉支付股份有限公司 资源消耗计量方法、装置、电子设备及存储介质
WO2024000859A1 (zh) * 2022-06-28 2024-01-04 深圳前海微众银行股份有限公司 一种作业调度方法、作业调度装置、作业调度***及存储介质

Similar Documents

Publication Publication Date Title
CN108021450A (zh) 基于yarn的作业分析方法和装置
CN107451109B (zh) 报表生成方法及***
US10713090B2 (en) Context aware prioritization in a distributed environment using tiered queue allocation
CN110096344A (zh) 任务管理方法、***、服务器集群和计算机可读介质
TW201820165A (zh) 用於雲端巨量資料運算架構之伺服器及其雲端運算資源最佳化方法
CN110019087A (zh) 数据处理方法及其***
CN110019080A (zh) 数据访问方法和装置
CN110795147A (zh) 一种接口协议文件管理方法和装置
CN109961331A (zh) 页面处理方法及其***、计算机***和可读存储介质
CN109726004A (zh) 一种数据处理方法及装置
US9141936B2 (en) Systems and methods for simulating a resource constrained process
CN110795315A (zh) 监控业务的方法和装置
CN108108986A (zh) 一种客户关系管理***的设计方法、装置及电子设备
CN111831503B (zh) 一种基于监控代理的监控方法和监控代理装置
CN107347093A (zh) 用于分布式服务器***的配置方法和装置
CN109582528A (zh) 状态监测方法、装置、电子设备及计算机可读存储介质
CN109413212A (zh) 用于处理请求的方法和装置
CN112990991B (zh) 合并开***的方法和装置
CN113761856A (zh) 一种数据处理方法和装置
CN109213743A (zh) 一种数据查询方法和装置
CN109933484A (zh) 大数据集群准实时container资源分配监控分析方法
CN111008767A (zh) 互联网金融技术架构评估方法、装置、电子设备和介质
US20200133748A1 (en) Messaging in a multi-cloud computing environment
CN106851189A (zh) 视频信息处理方法、***和装置
US20140122135A1 (en) Systems and methods for ranking and selecting eligibility vendors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180511