CN110879753A - 基于自动化集群资源管理的gpu加速性能优化方法和*** - Google Patents
基于自动化集群资源管理的gpu加速性能优化方法和*** Download PDFInfo
- Publication number
- CN110879753A CN110879753A CN201911135767.4A CN201911135767A CN110879753A CN 110879753 A CN110879753 A CN 110879753A CN 201911135767 A CN201911135767 A CN 201911135767A CN 110879753 A CN110879753 A CN 110879753A
- Authority
- CN
- China
- Prior art keywords
- gpu
- data
- cluster
- dns
- spark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000005457 optimization Methods 0.000 title claims abstract description 24
- 230000001133 acceleration Effects 0.000 title claims abstract description 16
- 238000007726 management method Methods 0.000 claims abstract description 32
- 238000004458 analytical method Methods 0.000 claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 230000004044 response Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 17
- 238000005192 partition Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 4
- 238000013468 resource allocation Methods 0.000 abstract description 4
- 238000011161 development Methods 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008275 binding mechanism Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5012—Processor sets
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于自动化集群资源管理的GPU加速性能优化方法和***,方法包括S1:搭建多节点GPU环境、Spark集群和Hadoop集群;S2:利用移动运营商的家宽DNS xdr数据集,从外部Kafka推送,借助内部Flume接收,并入库到HDFS分布式文件***;S3:读取HDFS数据;S4:GPU+Spark集群计算分析实现包括mapPartitions算子的操作,分析家宽DNS xdr数据中的指定业务逻辑;S5:把Spark程序提交到yarn集群上运行,将得到的分析结果存入HDFS;S6:利用指标监控工具监控CPU或GPU的指标。本发明1.自动化配置集群资源,无需在资源申请、资源分配、DAG生成、stage划分与任务执行等阶段引入对GPU资源的标识,继承了所有yarn和Spark的优点,避免单机HadoopHadoop/spark,Hadoop/spark开发的局限性。
Description
技术领域
本发明涉及移动数据业务和分布式并行计算领域,更具体地,涉及一种基于自动化集群资源管理的GPU加速性能优化和***。
背景技术
随着移动业务的不断发展,智能终端迅速普及、移动数据流量迅猛增长。当前每日产生的234G信令详单数据已超过300TB/天,当前海量信令数据处理主要基于X86服务器集群方式,受限于X86服务器CPU核数及集群规模的扩展可能性(投资受限、机房空间不足等因素),为了提高移动业务数据的计算能力,研究基于自动化集群资源管理的GPU分布式并行计算性能优化的方法刻不容缓。
目前业界已知的解决方案有:
1.中国专利CN201710270400.8,一种基于Spark与GPU的并行计算***该发明公开了一种基于Spark与GPU的并行计算框架***。所述***包括:(1)改进的资源管理平台,使其支持对GPU、CPU与内存等多维资源进行调度与管理;(2)改进的Spark分布式计算框架,使其支持对GPU型任务的调度与执行。该发明利用改进的资源管理平台和改进的Spark分布式计算框架实现了将Spark与GPU进行整合,使其能够有效的处理数据密集型与计算密集型作业,极大提高了作业处理效率。但是,该发明中的***也存在一定的缺陷:其一,改进实施点较多,对于资源管理平台,包括了资源表示模型、资源调度模型、资源抢占模型、资源隔离机制及GPU设备的动态绑定机制的改进,对于Spark分布式计算框架,在资源申请、资源分配、DAG生成、stage划分与任务执行等阶段引入对GPU资源的标识,这些部分的改动比较复杂,需要耗费大量的人力成本;其二,***改变了Yarn的资源管理平台和Spark的内核机制,扩展性较差。
2.中国专利CN201610942935.02,基于GPU、Hadoop/Spark混合计算框架的网络流量分析方法
该发明公开了一种基于GPU、Hadoop/Spark混合计算框架的网络流量分析方法。该方法主要包括:构建GPU计算分析框架和Hadoop/Spark计算分析框架,选择GPU或者Hadoop/Spark计算分析框架来处理实时或者离线的网络流量。该发明构建GPU计算分析框架和Hadoop/Spark计算分析框架,选择GPU或者Hadoop/Spark计算分析框架来处理实时或者离线的网络流量,可以有效地应对高速网络流量的实时或者离线统计分析处理,便于运营、维护、管理人员回溯分析数据。但是,该发明所述的GPU计算分析框架部署在装有GPU的单机节点上,并没有实现分布式的功能,导致当GPU的可用内存的大小小于或者等于两倍的网络流量数据的大小时,则必须采用Hadoop/Spark计算框架的分布式处理***,具有很大的局限性。
发明内容
本发明的首要目的是提供一种基于自动化集群资源管理的GPU加速性能优化方法,使得GPU对分布式并行计算任务进行加速。
本发明的进一步目的是提供一种基于自动化集群资源管理的GPU加速性能优化***。
为解决上述技术问题,本发明的技术方案如下:
一种基于自动化集群资源管理的GPU加速性能优化方法,包括以下步骤:
S1:搭建多节点GPU环境、Spark集群和Hadoop集群;
S2:利用移动运营商的家宽DNS xdr数据集,从外部Kafka推送,借助内部Flume接收,并入库到HDFS分布式文件***;
S3:读取HDFS数据;
S4:GPU+Spark集群计算分析实现包括mapPartitions算子的操作,分析家宽DNSxdr数据中的指定业务逻辑;
S5:把Spark程序提交到yarn集群上运行,将得到的分析结果存入HDFS;
S6:利用指标监控工具监控CPU或GPU的指标。
优选地,步骤S1中多节点GPU环境的搭建包括NVIDIA驱动、cuda的安装及相应的环境配置。
优选地,步骤S3中HDFS数据指HDFS中的家宽DNS xdr数据。
优选地,步骤S3中读取HDFS数据的主要字段有TCP/UDP流结束时间Procedure_End_Time、上行流量UL_Data、下行流量DL_Data、DNS响应码RCode、DNS请求重传次数DNSReq_Num、DNS请求响应时延Response_Time。
优选地,读取后的HDFS数据类型为RDD数据类型。
优选地,步骤S4中mapPartitions算子表示先将需要处理的RDD数据随机分为多个Partition,再对每个Partiton进行map函数操作,这样有助于提高算法的效率。
优选地,map函数具体过程为:
(1)将Partition里的RDD数据转化为Numpy类型数据,作为输入数据集;
(2)从host将数据拷贝到device上,其中host为CPU及其内存,而用device为GPU及其内存;
(3)为GPU核函数设置grid、block,GPU核函数在device上执行时启动多线程,一个GPU核函数所启动的所有线程称为一个grid,而grid又可以分为若干block,一个block里面包含若干线程;
(4)结合指定的业务逻辑编写GPU核函数,并在device上完成计算;
(5)从device将结果拷贝到host上。
优选地,block设置为256。
优选地,步骤S4中家宽DNS xdr数据中的常用业务逻辑有以下几种:
(1)上行流量;
(2)下行流量;
(3)DNS请求次数;
(4)DNS响应次数;
(5)DNS响应总时延;
(6)DNS成功总时延;
(7)DNS记录数。
一种基于自动化集群资源管理的GPU加速性能优化***,权利要求1至9任一项所述的基于自动化集群资源管理的GPU加速性能优化方法应用于该GPU加速性能优化******上,包括:
环境部署模块,环境部署模块包括GPU环境、Spark集群和Hadoop集群的搭建,并搭建多节点GPU环境;
数据集入库模块,数据集入库模块利用移动运营商的家宽DNS xdr数据集,从外部Kafka推送,借助内部Flume接收,并入库到HDFS分布式文件***;
数据集提取模块,数据集提取模块完成读取HDFS数据;
GPU+Spark集群计算分析框架模块,GPU+Spark集群计算分析框架模块完成包括mapPartitions算子的操作,分析家宽DNS xdr数据中的指定业务逻辑;
结果入库模块,结果入库模块是把Spark程序提交到yarn集群上运行,将得到的分析结果存入HDFS分布式文件***;
指标监控模块,指标监控模块利用指标监控工具监控CPU或GPU的指标。
与现有技术相比,本发明技术方案的有益效果是:
1.自动化配置集群资源,无需在资源申请、资源分配、DAG生成、stage划分与任务执行等阶段引入对GPU资源的标识
本发明所使用的GPU与Spark结合的方法是使用的一种外在的框架,这个GPU框架通过计算编译机制(JIT)优化python代码,可以针对本机的硬件环境进行优化,同时支持GPU的优化,只需要在函数上方加上相关的指令标记,并且编写相应的内核函数,无需在资源申请、资源分配、DAG生成、stage划分与任务执行等阶段引入对GPU资源的标识,并且也无需改变Yarn的资源管理平台和Spark的内核机制,继承Spark的原生优点,降低GPU与Spark结合的技术研究,释放人力去计算更深层次的业务,实现在不影响原生集群性能情况下,自动化配置集群资源。
2.利用yarn作为统一的资源管理,使用Spark作为底层的计算框架,继承了所有yarn和Spark的优点
本发明所使用的基于GPU对Spark进行加速的方法无需改变Yarn的资源管理平台和Spark的内核机制,利用yarn作为统一的资源管理,使用Spark作为底层的计算框架,继承了所有yarn和Spark的优点。
3.GPU计算分析框架部署在装有GPU的集群节点上,避免单机Hadoop/spark开发的局限性
本发明使用的GPU计算分析框架能够部署在装有GPU的集群节点上,并且能与Spark结合使用,Spark机制能自动识别GPU计算分析框架中的GPU算子计算,把Spark程序提交到yarn集群上运行,便间接实现了GPU的分布式集群计算。
附图说明
图1为本发明的方法流程示意图。
图2为本发明的***连接示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供一种基于自动化集群资源管理的GPU加速性能优化方法,如图1,包括以下步骤:
S1:搭建多节点GPU环境、Spark集群和Hadoop集群;
S2:利用移动运营商的家宽DNS xdr数据集,从外部Kafka推送,借助内部Flume接收,并入库到HDFS分布式文件***;
S3:读取HDFS数据;
S4:GPU+Spark集群计算分析实现包括mapPartitions算子的操作,分析家宽DNSxdr数据中的指定业务逻辑;
S5:把Spark程序提交到yarn集群上运行,将得到的分析结果存入HDFS;
S6:利用指标监控工具监控CPU或GPU的指标。
步骤S1中多节点GPU环境的搭建包括NVIDIA驱动、cuda的安装及相应的环境配置。
步骤S3中HDFS数据指HDFS中的家宽DNS xdr数据。
步骤S3中读取HDFS数据的主要字段有TCP/UDP流结束时间Procedure_End_Time、上行流量UL_Data、下行流量DL_Data、DNS响应码RCode、DNS请求重传次数DNSReq_Num、DNS请求响应时延Response_Time。
读取后的HDFS数据类型为RDD数据类型。
步骤S4中mapPartitions算子表示先将需要处理的RDD数据随机分为多个Partition,再对每个Partiton进行map函数操作。
map函数具体过程为:
(1)将Partition里的RDD数据转化为Numpy类型数据,作为输入数据集;
(2)从host将数据拷贝到device上,其中host为CPU及其内存,而用device为GPU及其内存;
(3)为GPU核函数设置grid、block,GPU核函数在device上执行时启动多线程,一个GPU核函数所启动的所有线程称为一个grid,而grid又可以分为若干block,一个block里面包含若干线程;
(4)结合指定的业务逻辑编写GPU核函数,并在device上完成计算;
(5)从device将结果拷贝到host上。
block设置为256。
步骤S4中家宽DNS xdr数据中的常用业务逻辑有以下几种:
(1)上行流量;
(2)下行流量;
(3)DNS请求次数;
(4)DNS响应次数;
(5)DNS响应总时延;
(6)DNS成功总时延;
(7)DNS记录数。
在具体实施过程中:
S1:在3台装有GTX GeForce1080Ti的服务器上进行环境部署,包括GPU环境、Spark集群和Hadoop集群的搭建,并将GPU计算分析框架搭建在装有GPU环境的多节点上。GPU环境的搭建包括NVIDIA驱动、cuda的安装及相应的环境配置。
S2:利用移动运营商的家宽DNS xdr数据集,从外部Kafka推送,借助内部Flume接收,并入库到HDFS分布式文件***。
S3:读取HDFS中的家宽DNS xdr数据,并进行数据提取,提取的主要数据字段有TCP/UDP流结束时间Procedure_End_Time、上行流量UL_Data、下行流量DL_Data、DNS响应码RCode、DNS请求重传次数DNSReq_Num、DNS请求响应时延Response_Time。经提取后的数据类型为RDD数据类型。表1为提取数据字段的定义表。
表1提取数据字段定义表
S4:对S3中的RDD数据进行基于GPU的mapPartitions算子操作,mapPartitions算子是指先将需要处理的RDD数据随机分为多个Partition,再对每个Partiton进行map函数操作,这样有助于提高算法的效率。这里的map函数具体过程分为5步:
将Partition里的RDD数据转化为Numpy类型数据,作为输入数据集inp。
从host将数据拷贝到device上,其中在CUDA中,host和device是两个重要的概念,用host指代CPU及其内存,而用device指代GPU及其内存。
为GPU核函数设置grid、block,GPU核函数在device上执行时实际上是启动很多线程,一个GPU核函数所启动的所有线程称为一个grid,而grid又可以分为很多block,一个block里面包含很多线程。其中block设置为256,grid=int((len(inp)+block-1)/block)。
结合指定的业务逻辑编写GPU核函数,并在device上完成计算。其中,指定的业务逻辑有:上行流量;下行流量;DNS请求次数;DNS响应次数;DNS响应总时延;DNS成功总时延;DNS记录数。
从device将结果拷贝到host上。
S5:把Spark程序提交到yarn集群上运行,将得到的分析结果存入HDFS分布式文件***。
S6:指标监控工具监控CPU或GPU的指标。结果表明:使用GPU计算框架下的峰值GPU使用率达到66%,为Spark大数据计算的执行时间带来了20%~50%的提速。并且GPU框架计算的时间占主程序运行时间的1%,绝大部分时间浪费在线程内部通信(CPU与GPU交替)和数据的类型转化上面。
实施例2
本实施例提供一种基于自动化集群资源管理的GPU加速性能优化***,其特征在于,实施例1所述的基于自动化集群资源管理的GPU加速性能优化方法应用于实施例2所述的GPU加速性能优化******上,如图2,包括:
环境部署模块,环境部署模块包括GPU环境、Spark集群和Hadoop集群的搭建,并搭建多节点GPU环境;
数据集入库模块,数据集入库模块利用移动运营商的家宽DNS xdr数据集,从外部Kafka推送,借助内部Flume接收,并入库到HDFS分布式文件***;
数据集提取模块,数据集提取模块完成读取HDFS数据;
GPU+Spark集群计算分析框架模块,GPU+Spark集群计算分析框架模块完成包括mapPartitions算子的操作,分析家宽DNS xdr数据中的指定业务逻辑;
结果入库模块,结果入库模块是把Spark程序提交到yarn集群上运行,将得到的分析结果存入HDFS分布式文件***;
指标监控模块,指标监控模块利用指标监控工具监控CPU或GPU的指标。
相同或相似的标号对应相同或相似的部件;
附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于自动化集群资源管理的GPU加速性能优化方法,其特征在于,包括以下步骤:
S1:搭建多节点GPU环境、Spark集群和Hadoop集群;
S2:利用移动运营商的家宽DNS xdr数据集,从外部Kafka推送,借助内部Flume接收,并入库到HDFS分布式文件***;
S3:读取HDFS数据;
S4:GPU+Spark集群计算分析实现包括mapPartitions算子的操作,分析家宽DNS xdr数据中的指定业务逻辑;
S5:把Spark程序提交到yarn集群上运行,将得到的分析结果存入HDFS;
S6:利用指标监控工具监控CPU或GPU的指标。
2.根据权利要求1所述的基于自动化集群资源管理的GPU加速性能优化方法,其特征在于,步骤S1中多节点GPU环境的搭建包括NVIDIA驱动、cuda的安装及相应的环境配置。
3.根据权利要求1所述的基于自动化集群资源管理的GPU加速性能优化方法,其特征在于,步骤S3中HDFS数据指HDFS中的家宽DNS xdr数据。
4.根据权利要求1所述的基于自动化集群资源管理的GPU加速性能优化方法,其特征在于,步骤S3中读取HDFS数据的主要字段有TCP/UDP流结束时间Procedure_End_Time、上行流量UL_Data、下行流量DL_Data、DNS响应码RCode、DNS请求重传次数DNSReq_Num、DNS请求响应时延Response_Time。
5.根据权利要求3或4所述的基于自动化集群资源管理的GPU加速性能优化方法,其特征在于,读取后的HDFS数据类型为RDD数据类型。
6.根据权利要求5所述的基于自动化集群资源管理的GPU加速性能优化方法,其特征在于,步骤S4中mapPartitions算子表示先将需要处理的RDD数据随机分为多个Partition,再对每个Partiton进行map函数操作。
7.根据权利要求6所述的基于自动化集群资源管理的GPU加速性能优化方法,其特征在于,map函数具体过程为:
(1)将Partition里的RDD数据转化为Numpy类型数据,作为输入数据集;
(2)从host将数据拷贝到device上,其中host为CPU及其内存,而用device为GPU及其内存;
(3)为GPU核函数设置grid、block,GPU核函数在device上执行时启动多线程,一个GPU核函数所启动的所有线程称为一个grid,而grid又可以分为若干block,一个block里面包含若干线程;
(4)结合指定的业务逻辑编写GPU核函数,并在device上完成计算;
(5)从device将结果拷贝到host上。
8.根据权利要求7所述的基于自动化集群资源管理的GPU加速性能优化方法,其特征在于,block设置为256。
9.根据权利要求1所述的基于自动化集群资源管理的GPU加速性能优化方法,其特征在于,步骤S4中家宽DNS xdr数据中的常用业务逻辑有以下几种:
(1)上行流量;
(2)下行流量;
(3)DNS请求次数;
(4)DNS响应次数;
(5)DNS响应总时延;
(6)DNS成功总时延;
(7)DNS记录数。
10.一种基于自动化集群资源管理的GPU加速性能优化***,其特征在于,权利要求1至9任一项所述的基于自动化集群资源管理的GPU加速性能优化方法应用于该GPU加速性能优化******上,包括:
环境部署模块,环境部署模块包括GPU环境、Spark集群和Hadoop集群的搭建,并搭建多节点GPU环境;
数据集入库模块,数据集入库模块利用移动运营商的家宽DNS xdr数据集,从外部Kafka推送,借助内部Flume接收,并入库到HDFS分布式文件***;
数据集提取模块,数据集提取模块完成读取HDFS数据;
GPU+Spark集群计算分析框架模块,GPU+Spark集群计算分析框架模块完成包括mapPartitions算子的操作,分析家宽DNS xdr数据中的指定业务逻辑;
结果入库模块,结果入库模块是把Spark程序提交到yarn集群上运行,将得到的分析结果存入HDFS分布式文件***;
指标监控模块,指标监控模块利用指标监控工具监控CPU或GPU的指标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911135767.4A CN110879753B (zh) | 2019-11-19 | 2019-11-19 | 基于自动化集群资源管理的gpu加速性能优化方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911135767.4A CN110879753B (zh) | 2019-11-19 | 2019-11-19 | 基于自动化集群资源管理的gpu加速性能优化方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110879753A true CN110879753A (zh) | 2020-03-13 |
CN110879753B CN110879753B (zh) | 2024-04-05 |
Family
ID=69728963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911135767.4A Active CN110879753B (zh) | 2019-11-19 | 2019-11-19 | 基于自动化集群资源管理的gpu加速性能优化方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110879753B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111698178A (zh) * | 2020-04-14 | 2020-09-22 | 新华三技术有限公司 | 一种流量分析方法及装置 |
CN113515365A (zh) * | 2021-01-18 | 2021-10-19 | 中山大学 | 一种利用MPI的NumPy优化方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106919442A (zh) * | 2015-12-24 | 2017-07-04 | 中国电信股份有限公司 | 多gpu调度装置和分布式计算***以及多gpu调度方法 |
CN107168782A (zh) * | 2017-04-24 | 2017-09-15 | 复旦大学 | 一种基于Spark与GPU的并行计算*** |
US20180373540A1 (en) * | 2017-06-21 | 2018-12-27 | International Business Machines Corporation | Cluster graphical processing unit (gpu) resource sharing efficiency by directed acyclic graph (dag) generation |
-
2019
- 2019-11-19 CN CN201911135767.4A patent/CN110879753B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106919442A (zh) * | 2015-12-24 | 2017-07-04 | 中国电信股份有限公司 | 多gpu调度装置和分布式计算***以及多gpu调度方法 |
CN107168782A (zh) * | 2017-04-24 | 2017-09-15 | 复旦大学 | 一种基于Spark与GPU的并行计算*** |
US20180373540A1 (en) * | 2017-06-21 | 2018-12-27 | International Business Machines Corporation | Cluster graphical processing unit (gpu) resource sharing efficiency by directed acyclic graph (dag) generation |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111698178A (zh) * | 2020-04-14 | 2020-09-22 | 新华三技术有限公司 | 一种流量分析方法及装置 |
CN111698178B (zh) * | 2020-04-14 | 2022-08-30 | 新华三技术有限公司 | 一种流量分析方法及装置 |
CN113515365A (zh) * | 2021-01-18 | 2021-10-19 | 中山大学 | 一种利用MPI的NumPy优化方法及*** |
CN113515365B (zh) * | 2021-01-18 | 2023-10-03 | 中山大学 | 一种利用MPI的NumPy优化方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN110879753B (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104239144A (zh) | 一种多级分布式任务处理*** | |
CN102880503B (zh) | 数据分析***及数据分析方法 | |
CN101799773B (zh) | 并行计算的内存访问方法 | |
CN102611622A (zh) | 一种弹性云计算平台下工作负载的调度方法 | |
CN105447088A (zh) | 一种基于志愿者计算的多租户专业云爬虫 | |
CN110569312B (zh) | 一种基于gpu的大数据快速检索***及其使用方法 | |
CN106354729A (zh) | 一种图数据处理方法、装置和*** | |
CN110659278A (zh) | 基于cpu-gpu异构架构的图数据分布式处理*** | |
CN103581336A (zh) | 基于云计算平台的业务流程调度方法及*** | |
CN110879753B (zh) | 基于自动化集群资源管理的gpu加速性能优化方法和*** | |
CN109522138A (zh) | 一种分布式流数据的处理方法及*** | |
CN115827256B (zh) | 用于多核存算一体加速器网络的任务传输调度管理*** | |
CN115408152A (zh) | 一种自适应资源匹配获取方法及*** | |
CN115202836A (zh) | 一种提高gpu利用效率的算力池化*** | |
CN116450355A (zh) | 一种多集群模型训练方法、装置、设备及介质 | |
CN102855157A (zh) | 一种综合性调度服务器负载的方法 | |
CN113806606A (zh) | 基于三维场景的电力大数据快速可视化分析方法及*** | |
CN116974994A (zh) | 一种基于集群的高效能文件协作*** | |
CN115982230A (zh) | 数据库的跨数据源查询方法、***、设备及存储介质 | |
CN113360576A (zh) | 一种基于Flink Streaming的电网海量数据实时处理方法及装置 | |
CN114186693A (zh) | 一种量子操作***的调度方法、***、装置及计算机介质 | |
Wang et al. | OPTAS: Optimal data placement in MapReduce | |
CN113515355A (zh) | 资源调度方法、装置、服务器及计算机可读存储介质 | |
CN113065848A (zh) | 一种支持多类集群后端的深度学习调度***及调度方法 | |
CN117234694B (zh) | 基于seda线程调度的数据治理方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |