CN110879753A - 基于自动化集群资源管理的gpu加速性能优化方法和*** - Google Patents
基于自动化集群资源管理的gpu加速性能优化方法和*** Download PDFInfo
- Publication number
- CN110879753A CN110879753A CN201911135767.4A CN201911135767A CN110879753A CN 110879753 A CN110879753 A CN 110879753A CN 201911135767 A CN201911135767 A CN 201911135767A CN 110879753 A CN110879753 A CN 110879753A
- Authority
- CN
- China
- Prior art keywords
- gpu
- data
- cluster
- dns
- spark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000005457 optimization Methods 0.000 title claims abstract description 24
- 230000001133 acceleration Effects 0.000 title claims abstract description 16
- 238000007726 management method Methods 0.000 claims abstract description 32
- 238000004458 analytical method Methods 0.000 claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 230000004044 response Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 17
- 238000005192 partition Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 4
- 238000013468 resource allocation Methods 0.000 abstract description 4
- 238000011161 development Methods 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008275 binding mechanism Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5012—Processor sets
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于自动化集群资源管理的GPU加速性能优化方法和***，方法包括S1：搭建多节点GPU环境、Spark集群和Hadoop集群；S2：利用移动运营商的家宽DNS xdr数据集，从外部Kafka推送，借助内部Flume接收，并入库到HDFS分布式文件***；S3：读取HDFS数据；S4：GPU+Spark集群计算分析实现包括mapPartitions算子的操作，分析家宽DNS xdr数据中的指定业务逻辑；S5：把Spark程序提交到yarn集群上运行，将得到的分析结果存入HDFS；S6：利用指标监控工具监控CPU或GPU的指标。本发明1.自动化配置集群资源，无需在资源申请、资源分配、DAG生成、stage划分与任务执行等阶段引入对GPU资源的标识，继承了所有yarn和Spark的优点，避免单机HadoopHadoop/spark，Hadoop/spark开发的局限性。
Description
技术领域
本发明涉及移动数据业务和分布式并行计算领域，更具体地，涉及一种基于自动化集群资源管理的GPU加速性能优化和***。
背景技术
随着移动业务的不断发展，智能终端迅速普及、移动数据流量迅猛增长。当前每日产生的234G信令详单数据已超过300TB/天，当前海量信令数据处理主要基于X86服务器集群方式，受限于X86服务器CPU核数及集群规模的扩展可能性(投资受限、机房空间不足等因素)，为了提高移动业务数据的计算能力，研究基于自动化集群资源管理的GPU分布式并行计算性能优化的方法刻不容缓。
目前业界已知的解决方案有：
1.中国专利CN201710270400.8，一种基于Spark与GPU的并行计算***该发明公开了一种基于Spark与GPU的并行计算框架***。所述***包括：(1)改进的资源管理平台，使其支持对GPU、CPU与内存等多维资源进行调度与管理；(2)改进的Spark分布式计算框架，使其支持对GPU型任务的调度与执行。该发明利用改进的资源管理平台和改进的Spark分布式计算框架实现了将Spark与GPU进行整合，使其能够有效的处理数据密集型与计算密集型作业，极大提高了作业处理效率。但是，该发明中的***也存在一定的缺陷：其一，改进实施点较多，对于资源管理平台，包括了资源表示模型、资源调度模型、资源抢占模型、资源隔离机制及GPU设备的动态绑定机制的改进，对于Spark分布式计算框架，在资源申请、资源分配、DAG生成、stage划分与任务执行等阶段引入对GPU资源的标识，这些部分的改动比较复杂，需要耗费大量的人力成本；其二，***改变了Yarn的资源管理平台和Spark的内核机制，扩展性较差。
2.中国专利CN201610942935.02，基于GPU、Hadoop/Spark混合计算框架的网络流量分析方法
该发明公开了一种基于GPU、Hadoop/Spark混合计算框架的网络流量分析方法。该方法主要包括：构建GPU计算分析框架和Hadoop/Spark计算分析框架，选择GPU或者Hadoop/Spark计算分析框架来处理实时或者离线的网络流量。该发明构建GPU计算分析框架和Hadoop/Spark计算分析框架，选择GPU或者Hadoop/Spark计算分析框架来处理实时或者离线的网络流量，可以有效地应对高速网络流量的实时或者离线统计分析处理，便于运营、维护、管理人员回溯分析数据。但是，该发明所述的GPU计算分析框架部署在装有GPU的单机节点上，并没有实现分布式的功能，导致当GPU的可用内存的大小小于或者等于两倍的网络流量数据的大小时，则必须采用Hadoop/Spark计算框架的分布式处理***，具有很大的局限性。
发明内容
本发明的首要目的是提供一种基于自动化集群资源管理的GPU加速性能优化方法，使得GPU对分布式并行计算任务进行加速。
本发明的进一步目的是提供一种基于自动化集群资源管理的GPU加速性能优化***。
为解决上述技术问题，本发明的技术方案如下：
一种基于自动化集群资源管理的GPU加速性能优化方法，包括以下步骤：
S1：搭建多节点GPU环境、Spark集群和Hadoop集群；
S2：利用移动运营商的家宽DNS xdr数据集，从外部Kafka推送，借助内部Flume接收，并入库到HDFS分布式文件***；
S3：读取HDFS数据；
S4：GPU+Spark集群计算分析实现包括mapPartitions算子的操作，分析家宽DNSxdr数据中的指定业务逻辑；
S5：把Spark程序提交到yarn集群上运行，将得到的分析结果存入HDFS；
S6：利用指标监控工具监控CPU或GPU的指标。
优选地，步骤S1中多节点GPU环境的搭建包括NVIDIA驱动、cuda的安装及相应的环境配置。
优选地，步骤S3中HDFS数据指HDFS中的家宽DNS xdr数据。
优选地，步骤S3中读取HDFS数据的主要字段有TCP/UDP流结束时间Procedure_End_Time、上行流量UL_Data、下行流量DL_Data、DNS响应码RCode、DNS请求重传次数DNSReq_Num、DNS请求响应时延Response_Time。
优选地，读取后的HDFS数据类型为RDD数据类型。
优选地，步骤S4中mapPartitions算子表示先将需要处理的RDD数据随机分为多个Partition，再对每个Partiton进行map函数操作，这样有助于提高算法的效率。
优选地，map函数具体过程为：
(1)将Partition里的RDD数据转化为Numpy类型数据，作为输入数据集；
(2)从host将数据拷贝到device上，其中host为CPU及其内存，而用device为GPU及其内存；
(3)为GPU核函数设置grid、block，GPU核函数在device上执行时启动多线程，一个GPU核函数所启动的所有线程称为一个grid，而grid又可以分为若干block，一个block里面包含若干线程；
(4)结合指定的业务逻辑编写GPU核函数，并在device上完成计算；
(5)从device将结果拷贝到host上。
优选地，block设置为256。
优选地，步骤S4中家宽DNS xdr数据中的常用业务逻辑有以下几种：
(1)上行流量；
(2)下行流量；
(3)DNS请求次数；
(4)DNS响应次数；
(5)DNS响应总时延；
(6)DNS成功总时延；
(7)DNS记录数。
一种基于自动化集群资源管理的GPU加速性能优化***，权利要求1至9任一项所述的基于自动化集群资源管理的GPU加速性能优化方法应用于该GPU加速性能优化******上，包括：
环境部署模块，环境部署模块包括GPU环境、Spark集群和Hadoop集群的搭建，并搭建多节点GPU环境；
数据集入库模块，数据集入库模块利用移动运营商的家宽DNS xdr数据集，从外部Kafka推送，借助内部Flume接收，并入库到HDFS分布式文件***；
数据集提取模块，数据集提取模块完成读取HDFS数据；
GPU+Spark集群计算分析框架模块，GPU+Spark集群计算分析框架模块完成包括mapPartitions算子的操作，分析家宽DNS xdr数据中的指定业务逻辑；
结果入库模块，结果入库模块是把Spark程序提交到yarn集群上运行，将得到的分析结果存入HDFS分布式文件***；
指标监控模块，指标监控模块利用指标监控工具监控CPU或GPU的指标。
与现有技术相比，本发明技术方案的有益效果是：
1.自动化配置集群资源，无需在资源申请、资源分配、DAG生成、stage划分与任务执行等阶段引入对GPU资源的标识
本发明所使用的GPU与Spark结合的方法是使用的一种外在的框架，这个GPU框架通过计算编译机制(JIT)优化python代码，可以针对本机的硬件环境进行优化，同时支持GPU的优化，只需要在函数上方加上相关的指令标记，并且编写相应的内核函数，无需在资源申请、资源分配、DAG生成、stage划分与任务执行等阶段引入对GPU资源的标识，并且也无需改变Yarn的资源管理平台和Spark的内核机制，继承Spark的原生优点，降低GPU与Spark结合的技术研究，释放人力去计算更深层次的业务，实现在不影响原生集群性能情况下，自动化配置集群资源。
2.利用yarn作为统一的资源管理，使用Spark作为底层的计算框架，继承了所有yarn和Spark的优点
本发明所使用的基于GPU对Spark进行加速的方法无需改变Yarn的资源管理平台和Spark的内核机制，利用yarn作为统一的资源管理，使用Spark作为底层的计算框架，继承了所有yarn和Spark的优点。
3.GPU计算分析框架部署在装有GPU的集群节点上，避免单机Hadoop/spark开发的局限性
本发明使用的GPU计算分析框架能够部署在装有GPU的集群节点上，并且能与Spark结合使用，Spark机制能自动识别GPU计算分析框架中的GPU算子计算，把Spark程序提交到yarn集群上运行，便间接实现了GPU的分布式集群计算。
附图说明
图1为本发明的方法流程示意图。
图2为本发明的***连接示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供一种基于自动化集群资源管理的GPU加速性能优化方法，如图1，包括以下步骤：
S1：搭建多节点GPU环境、Spark集群和Hadoop集群；
S2：利用移动运营商的家宽DNS xdr数据集，从外部Kafka推送，借助内部Flume接收，并入库到HDFS分布式文件***；
S3：读取HDFS数据；
S4：GPU+Spark集群计算分析实现包括mapPartitions算子的操作，分析家宽DNSxdr数据中的指定业务逻辑；
S5：把Spark程序提交到yarn集群上运行，将得到的分析结果存入HDFS；
S6：利用指标监控工具监控CPU或GPU的指标。
步骤S1中多节点GPU环境的搭建包括NVIDIA驱动、cuda的安装及相应的环境配置。
步骤S3中HDFS数据指HDFS中的家宽DNS xdr数据。
步骤S3中读取HDFS数据的主要字段有TCP/UDP流结束时间Procedure_End_Time、上行流量UL_Data、下行流量DL_Data、DNS响应码RCode、DNS请求重传次数DNSReq_Num、DNS请求响应时延Response_Time。
读取后的HDFS数据类型为RDD数据类型。
步骤S4中mapPartitions算子表示先将需要处理的RDD数据随机分为多个Partition，再对每个Partiton进行map函数操作。
map函数具体过程为：
(1)将Partition里的RDD数据转化为Numpy类型数据，作为输入数据集；
(2)从host将数据拷贝到device上，其中host为CPU及其内存，而用device为GPU及其内存；
(3)为GPU核函数设置grid、block，GPU核函数在device上执行时启动多线程，一个GPU核函数所启动的所有线程称为一个grid，而grid又可以分为若干block，一个block里面包含若干线程；
(4)结合指定的业务逻辑编写GPU核函数，并在device上完成计算；
(5)从device将结果拷贝到host上。
block设置为256。
步骤S4中家宽DNS xdr数据中的常用业务逻辑有以下几种：
(1)上行流量；
(2)下行流量；
(3)DNS请求次数；
(4)DNS响应次数；
(5)DNS响应总时延；
(6)DNS成功总时延；
(7)DNS记录数。
在具体实施过程中：
S1：在3台装有GTX GeForce1080Ti的服务器上进行环境部署，包括GPU环境、Spark集群和Hadoop集群的搭建，并将GPU计算分析框架搭建在装有GPU环境的多节点上。GPU环境的搭建包括NVIDIA驱动、cuda的安装及相应的环境配置。
S2：利用移动运营商的家宽DNS xdr数据集，从外部Kafka推送，借助内部Flume接收，并入库到HDFS分布式文件***。
S3：读取HDFS中的家宽DNS xdr数据，并进行数据提取，提取的主要数据字段有TCP/UDP流结束时间Procedure_End_Time、上行流量UL_Data、下行流量DL_Data、DNS响应码RCode、DNS请求重传次数DNSReq_Num、DNS请求响应时延Response_Time。经提取后的数据类型为RDD数据类型。表1为提取数据字段的定义表。
表1提取数据字段定义表
S4：对S3中的RDD数据进行基于GPU的mapPartitions算子操作，mapPartitions算子是指先将需要处理的RDD数据随机分为多个Partition，再对每个Partiton进行map函数操作，这样有助于提高算法的效率。这里的map函数具体过程分为5步：
将Partition里的RDD数据转化为Numpy类型数据，作为输入数据集inp。
从host将数据拷贝到device上，其中在CUDA中，host和device是两个重要的概念，用host指代CPU及其内存，而用device指代GPU及其内存。
为GPU核函数设置grid、block，GPU核函数在device上执行时实际上是启动很多线程，一个GPU核函数所启动的所有线程称为一个grid，而grid又可以分为很多block，一个block里面包含很多线程。其中block设置为256，grid＝int((len(inp)+block-1)/block)。
结合指定的业务逻辑编写GPU核函数，并在device上完成计算。其中，指定的业务逻辑有：上行流量；下行流量；DNS请求次数；DNS响应次数；DNS响应总时延；DNS成功总时延；DNS记录数。
从device将结果拷贝到host上。
S5：把Spark程序提交到yarn集群上运行，将得到的分析结果存入HDFS分布式文件***。
S6：指标监控工具监控CPU或GPU的指标。结果表明：使用GPU计算框架下的峰值GPU使用率达到66％，为Spark大数据计算的执行时间带来了20％～50％的提速。并且GPU框架计算的时间占主程序运行时间的1％，绝大部分时间浪费在线程内部通信(CPU与GPU交替)和数据的类型转化上面。
实施例2
本实施例提供一种基于自动化集群资源管理的GPU加速性能优化***，其特征在于，实施例1所述的基于自动化集群资源管理的GPU加速性能优化方法应用于实施例2所述的GPU加速性能优化******上，如图2，包括：
环境部署模块，环境部署模块包括GPU环境、Spark集群和Hadoop集群的搭建，并搭建多节点GPU环境；
数据集入库模块，数据集入库模块利用移动运营商的家宽DNS xdr数据集，从外部Kafka推送，借助内部Flume接收，并入库到HDFS分布式文件***；
数据集提取模块，数据集提取模块完成读取HDFS数据；
GPU+Spark集群计算分析框架模块，GPU+Spark集群计算分析框架模块完成包括mapPartitions算子的操作，分析家宽DNS xdr数据中的指定业务逻辑；
结果入库模块，结果入库模块是把Spark程序提交到yarn集群上运行，将得到的分析结果存入HDFS分布式文件***；
指标监控模块，指标监控模块利用指标监控工具监控CPU或GPU的指标。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于自动化集群资源管理的GPU加速性能优化方法，其特征在于，包括以下步骤：
S1：搭建多节点GPU环境、Spark集群和Hadoop集群；
S2：利用移动运营商的家宽DNS xdr数据集，从外部Kafka推送，借助内部Flume接收，并入库到HDFS分布式文件***；
S3：读取HDFS数据；
S4：GPU+Spark集群计算分析实现包括mapPartitions算子的操作，分析家宽DNS xdr数据中的指定业务逻辑；
S5：把Spark程序提交到yarn集群上运行，将得到的分析结果存入HDFS；
S6：利用指标监控工具监控CPU或GPU的指标。
2.根据权利要求1所述的基于自动化集群资源管理的GPU加速性能优化方法，其特征在于，步骤S1中多节点GPU环境的搭建包括NVIDIA驱动、cuda的安装及相应的环境配置。
3.根据权利要求1所述的基于自动化集群资源管理的GPU加速性能优化方法，其特征在于，步骤S3中HDFS数据指HDFS中的家宽DNS xdr数据。
4.根据权利要求1所述的基于自动化集群资源管理的GPU加速性能优化方法，其特征在于，步骤S3中读取HDFS数据的主要字段有TCP/UDP流结束时间Procedure_End_Time、上行流量UL_Data、下行流量DL_Data、DNS响应码RCode、DNS请求重传次数DNSReq_Num、DNS请求响应时延Response_Time。
5.根据权利要求3或4所述的基于自动化集群资源管理的GPU加速性能优化方法，其特征在于，读取后的HDFS数据类型为RDD数据类型。
6.根据权利要求5所述的基于自动化集群资源管理的GPU加速性能优化方法，其特征在于，步骤S4中mapPartitions算子表示先将需要处理的RDD数据随机分为多个Partition，再对每个Partiton进行map函数操作。
7.根据权利要求6所述的基于自动化集群资源管理的GPU加速性能优化方法，其特征在于，map函数具体过程为：
(1)将Partition里的RDD数据转化为Numpy类型数据，作为输入数据集；
(2)从host将数据拷贝到device上，其中host为CPU及其内存，而用device为GPU及其内存；
(3)为GPU核函数设置grid、block，GPU核函数在device上执行时启动多线程，一个GPU核函数所启动的所有线程称为一个grid，而grid又可以分为若干block，一个block里面包含若干线程；
(4)结合指定的业务逻辑编写GPU核函数，并在device上完成计算；
(5)从device将结果拷贝到host上。
8.根据权利要求7所述的基于自动化集群资源管理的GPU加速性能优化方法，其特征在于，block设置为256。
9.根据权利要求1所述的基于自动化集群资源管理的GPU加速性能优化方法，其特征在于，步骤S4中家宽DNS xdr数据中的常用业务逻辑有以下几种：
(1)上行流量；
(2)下行流量；
(3)DNS请求次数；
(4)DNS响应次数；
(5)DNS响应总时延；
(6)DNS成功总时延；
(7)DNS记录数。
10.一种基于自动化集群资源管理的GPU加速性能优化***，其特征在于，权利要求1至9任一项所述的基于自动化集群资源管理的GPU加速性能优化方法应用于该GPU加速性能优化******上，包括：
环境部署模块，环境部署模块包括GPU环境、Spark集群和Hadoop集群的搭建，并搭建多节点GPU环境；
数据集入库模块，数据集入库模块利用移动运营商的家宽DNS xdr数据集，从外部Kafka推送，借助内部Flume接收，并入库到HDFS分布式文件***；
数据集提取模块，数据集提取模块完成读取HDFS数据；
GPU+Spark集群计算分析框架模块，GPU+Spark集群计算分析框架模块完成包括mapPartitions算子的操作，分析家宽DNS xdr数据中的指定业务逻辑；
结果入库模块，结果入库模块是把Spark程序提交到yarn集群上运行，将得到的分析结果存入HDFS分布式文件***；
指标监控模块，指标监控模块利用指标监控工具监控CPU或GPU的指标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911135767.4A CN110879753B (zh) | 2019-11-19 | 2019-11-19 | 基于自动化集群资源管理的gpu加速性能优化方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911135767.4A CN110879753B (zh) | 2019-11-19 | 2019-11-19 | 基于自动化集群资源管理的gpu加速性能优化方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110879753A true CN110879753A (zh) | 2020-03-13 |
| CN110879753B CN110879753B (zh) | 2024-04-05 |
Family
ID=69728963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911135767.4A Active CN110879753B (zh) | 2019-11-19 | 2019-11-19 | 基于自动化集群资源管理的gpu加速性能优化方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110879753B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111698178A (zh) * | 2020-04-14 | 2020-09-22 | 新华三技术有限公司 | 一种流量分析方法及装置 |
| CN113515365A (zh) * | 2021-01-18 | 2021-10-19 | 中山大学 | 一种利用MPI的NumPy优化方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106919442A (zh) * | 2015-12-24 | 2017-07-04 | 中国电信股份有限公司 | 多gpu调度装置和分布式计算***以及多gpu调度方法 |
| CN107168782A (zh) * | 2017-04-24 | 2017-09-15 | 复旦大学 | 一种基于Spark与GPU的并行计算*** |
| US20180373540A1 (en) * | 2017-06-21 | 2018-12-27 | International Business Machines Corporation | Cluster graphical processing unit (gpu) resource sharing efficiency by directed acyclic graph (dag) generation |
-
2019
- 2019-11-19 CN CN201911135767.4A patent/CN110879753B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106919442A (zh) * | 2015-12-24 | 2017-07-04 | 中国电信股份有限公司 | 多gpu调度装置和分布式计算***以及多gpu调度方法 |
| CN107168782A (zh) * | 2017-04-24 | 2017-09-15 | 复旦大学 | 一种基于Spark与GPU的并行计算*** |
| US20180373540A1 (en) * | 2017-06-21 | 2018-12-27 | International Business Machines Corporation | Cluster graphical processing unit (gpu) resource sharing efficiency by directed acyclic graph (dag) generation |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111698178A (zh) * | 2020-04-14 | 2020-09-22 | 新华三技术有限公司 | 一种流量分析方法及装置 |
| CN111698178B (zh) * | 2020-04-14 | 2022-08-30 | 新华三技术有限公司 | 一种流量分析方法及装置 |
| CN113515365A (zh) * | 2021-01-18 | 2021-10-19 | 中山大学 | 一种利用MPI的NumPy优化方法及*** |
| CN113515365B (zh) * | 2021-01-18 | 2023-10-03 | 中山大学 | 一种利用MPI的NumPy优化方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110879753B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104239144A (zh) | 一种多级分布式任务处理*** | |
| CN102880503B (zh) | 数据分析***及数据分析方法 | |
| CN101799773B (zh) | 并行计算的内存访问方法 | |
| CN102611622A (zh) | 一种弹性云计算平台下工作负载的调度方法 | |
| CN105447088A (zh) | 一种基于志愿者计算的多租户专业云爬虫 | |
| CN110569312B (zh) | 一种基于gpu的大数据快速检索***及其使用方法 | |
| CN106354729A (zh) | 一种图数据处理方法、装置和*** | |
| CN110659278A (zh) | 基于cpu-gpu异构架构的图数据分布式处理*** | |
| CN103581336A (zh) | 基于云计算平台的业务流程调度方法及*** | |
| CN110879753B (zh) | 基于自动化集群资源管理的gpu加速性能优化方法和*** | |
| CN109522138A (zh) | 一种分布式流数据的处理方法及*** | |
| CN115827256B (zh) | 用于多核存算一体加速器网络的任务传输调度管理*** | |
| CN115408152A (zh) | 一种自适应资源匹配获取方法及*** | |
| CN115202836A (zh) | 一种提高gpu利用效率的算力池化*** | |
| CN116450355A (zh) | 一种多集群模型训练方法、装置、设备及介质 | |
| CN102855157A (zh) | 一种综合性调度服务器负载的方法 | |
| CN113806606A (zh) | 基于三维场景的电力大数据快速可视化分析方法及*** | |
| CN116974994A (zh) | 一种基于集群的高效能文件协作*** | |
| CN115982230A (zh) | 数据库的跨数据源查询方法、***、设备及存储介质 | |
| CN113360576A (zh) | 一种基于Flink Streaming的电网海量数据实时处理方法及装置 | |
| CN114186693A (zh) | 一种量子操作***的调度方法、***、装置及计算机介质 | |
| Wang et al. | OPTAS: Optimal data placement in MapReduce | |
| CN113515355A (zh) | 资源调度方法、装置、服务器及计算机可读存储介质 | |
| CN113065848A (zh) | 一种支持多类集群后端的深度学习调度***及调度方法 | |
| CN117234694B (zh) | 基于seda线程调度的数据治理方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |