CN113238928B - 一种音视频大数据任务的端云协同评测*** - Google Patents
一种音视频大数据任务的端云协同评测*** Download PDFInfo
- Publication number
- CN113238928B CN113238928B CN202110441589.9A CN202110441589A CN113238928B CN 113238928 B CN113238928 B CN 113238928B CN 202110441589 A CN202110441589 A CN 202110441589A CN 113238928 B CN113238928 B CN 113238928B
- Authority
- CN
- China
- Prior art keywords
- module
- evaluation
- program
- service
- management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3604—Software analysis for verifying properties of programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种音视频大数据任务的端云协同评测***,包括存储模块,通信模块,管理模块,运行模块,评测模块,以及云端计算资源模块。管理模块通过通信模块将存储模块中的文件程序传输到云端计算资源模块,通过运行模块和评测模块完成音视频任务的运行评测,管理模块通过集群管理服务,通过资源的监控调度,能够提高云端计算资源的利用效率,同时通过建立容器的方式,各个运行程序环境之间互不冲突。
Description
技术领域
本发明涉及的人工智能领域,具体地说是涉及一种音视频大数据任务的端云协同评测***
背景技术
数据就是可以被我们进行定量分析的信息和记录,这个世界上最多的就是信息,人们每时每刻见到的接触到的都是信息,生活中绝大多数的信息都流失了,只有很少的一部分记录了下来,成为了数据,但即使记录的知识很少的一部分,日积月累也就形成了大数据。
我们现在处于大数据时代,数据的总量***性增长,大数据作为人工智能的发展的重要因素,基于大数据技术的发展,人工智能技术得到了诸多突破。其中,机器学习、深度学习的发展也推动着大数据技术快速发展。但是机器学习、深度学习的程序运行以及效果评测在一定程度上依托于算力,尤其是针对音视频的任务往往离不开显卡服务器,不同的任务有不同的运行环境以及不同评测方式。
发明内容
针对机器学习、深度学习中的音视频任务有着不同的运行环境以及评测方式,本发明提出一种音视频大数据任务的端云协同评测***,具体包括存储模块,通信模块,云端计算资源模块,运行模块,评测模块以及管理模块。
一种音视频大数据任务的端云协同评测***,包括以下存储模块,通信模块,云端计算资源模块,运行模块,评测模块以及管理模块:
存储模块:存储模块主要用于存储音视频大数据任务的评测样本、评测程序、对应评测程序的配置文件,用户上传的运行程序以及对应的配置文件,程序运行的结果以及样本与运行结果的评测结果,存储模块通过管理模块与通信模块实现计算机集群之间的任务文件交换与存储。
通信模块:通信模块通过不同通信协议完成各个模块之间数据信息的交换。
云端计算资源模块:包括云端计算机集群,通过管理模块合理调度资源满足运行模块、评测模块的任务需求。
运行模块:通过管理模块生成容器,并通过配置文件,在对应容器安装相应的运行环境,运行程序,管理模块调度资源得到程序的运行结果,通过通信模块保存到存储模块中。
评测模块:通过管理模块生成容器,并通过评测配置文件在对应文件安装环境,调用评测程序,将存储模块中的样本,以及保存到存储模块中的运行程序的结果传送到云端计算资源模块中进行评测,生成评测结果,保存到存储模块中。
管理模块:通过集群管理服务将存储模块以及云端计算资源连接起来,并通过传输模块传输存储模块中的文件和程序,通过资源监控与调度,满足运行模块与评测模块的需求,最终完成音视频任务。
本发明的有益效果如下:
本发明提出一种音视频大数据任务的端云协同评测***,包括存储模块,通信模块,管理模块,运行模块,评测模块,以及云端计算资源模块。管理模块通过通信模块将存储模块中的文件程序传输到云端计算资源模块,通过运行模块和评测模块完成音视频任务的运行评测,管理模块通过集群管理服务,通过资源的监控调度,能够提高云端计算资源的利用效率,同时通过建立容器的方式,各个运行程序环境之间互不冲突。
附图说明
图1是本发明的***框架图。
具体实施方式
下面根据附图详细说明本发明,本发明的目的和效果将变得更加明显。其具体模块的实施步骤如下:
存储模块:如图1所示,存储模块建立在本地主机上,其中,存储服务通过Gitlab服务提供,通过Gitlab搭建一个项目仓库,用于保存音视频大数据任务的评测样本、评测程序、对应评测程序的配置文件,用户上传的运行程序以及对应的配置文件,程序运行的结果以及样本与运行结果的评测结果。
通信模块:用户上传程序以及配置文件通过git协议传到存储模块种,计算资源运行程序以及评测程序,通过节点与节点以及节点与主机之间的ssh协议通信来完成。
云端计算资源模块:包括云端计算机集群,包括N台GPU服务器提供计算资源,同时这些服务器可以同过集群服务云端访问。
运行模块:管理模块生成容器,运行模块远程通过通信模块调用Gitlab中伴随程序上传的配置文件(shell脚本),在对应容器运行脚本安装相应的运行环境,环境安装完成后运行程序,管理模块调度资源得到程序的运行结果,通过通信模块保存到存储模块中。
评测模块:管理模块生成容器,评测模块同样调用评测配置文件在对应文件安装环境,调用评测程序,将存储模块中的样本,以及保存到存储模块中的运行程序的结果传送到云端计算资源模块中进行评测,生成评测结果,通过通信模块保存到存储模块中。
管理模块:通过容器集群管理***来实现管理功能,采用Kubernetes服务,Kubernetes是容器集群管理***,是一个开源的平台,可以实现容器集群的自动化部署、自动扩缩容、维护等功能。通过Kubernetes将主机与云端计算资源模块的云端计算资源集群连接,这里将主机作为Master,其中云端计算资源模块中的每台服务可以作为节点(Node)。该服务在Master以及Node上分别有一些组件,用于容器资源监控以及调度。其中Master包括API Service,ETCD,Scheduler以及Controller Manager,其中ETCD,Scheduler以及Controller Manager资源/调用操作通过API Service提供接口进行。ETCD是Kubernetes默认存储***,将集群中的运行结果以及评测结果先保存,在备份到Gitlab中,Scheduler监听集群中的容器分配情况,将容器分配到尚未使用的节点中,Controller Manager用来管理各个线程。节点组件kubelet是节点代理,监视已经分配给节点的容器运行,kube-proxy监听API Server中服务和已分配容器节点的变化,并通过IP表配置服务的负载均衡,最后是Pod,Pod是云端计算资源集群上运行的一个进程,每个Pod中可以对应一个或多个容器。
一种音视频大数据任务的端云协同评测***的使用方法:
步骤一:在本地主机搭建存储模块,通过Gitlab服务搭建项目仓库,预先存储音视频大数据任务的评测样本、对应评测样本的评测程序、以及调用评测程序的配置文件。用户通过通信模块的git协议上传程序以及配置文件到Gitlab中,为运行模块以及评测模块的运行做准备。
步骤二:完成管理模块的搭建,并通过管理模块管理运行模块,评测模块以及云端计算资源
管理模块通过容器集群管理***来实现管理功能,采用Kubernetes服务。Kubernetes是一个开源的平台,可以实现容器集群的自动化部署、自动扩缩容、维护等功能。通过Kubernetes将主机与云端计算资源模块连接,这里将主机作为Master,其中云端计算资源模块中的每台服务作为节点Node。
Kubernetes服务通过一系列组件完成容器资源监控以及调度,实现运行模块与评测模块功能。Kubernetes服务在Master以及Node上各有一些组件,其中Master包括APIService,ETCD,Scheduler以及ControllerManager,其中ETCD,Scheduler以及ControllerManager资源/调用操作通过API Service提供接口进行。ETCD是Kubernetes默认存储***,将集群中的运行结果以及评测结果先保存,再通过通信模块备份到Gitlab中,Scheduler监听集群中的容器分配情况,将容器分配到尚未使用的节点中,Controller Manager用来管理各个线程;节点组件kubelet是节点代理,监视已经分配给节点的容器运行,kube-proxy监听API Server中服务和已分配容器节点的变化,并通过IP表配置服务的负载均衡,最后是Pod,Pod是云端计算资源集群上运行的一个进程,每个Pod中可以对应一个或多个容器。
步骤三:运行模块以及评测模块运行,运行模块和评测模块是运行在云端计算资源模块上的脚本文件,当用户上传文件到Gitlab项目仓库中结束,主机通过通信模块的ssh协议发送信号到运行模块并通过管理模块生成多个Pod进程,每个Pod对应一个任务的多个容器,运行模块通过管理模块将配置文件以及运行程序通过ssh协议调用到对应任务Pod中的容器,解析配置文件,完成环境的安装,运行程序并通过管理模块完成容器资源监控以及调度生成最终的结果,当结果生成时发送信号给评测模块,通过管理模块将对应样本以及评测程序通过ssh协议传输到对应评测任务的Pod中,运行评测程序,产生结果,传输到Gitlab项目仓库中,用户能够通过git协议查看保存在Gitlab中的结果。
Claims (2)
1.一种音视频大数据任务的端云协同评测***,其特征在于,包括以下存储模块,通信模块,云端计算资源模块,运行模块,评测模块以及管理模块:
存储模块:存储模块主要用于存储音视频大数据任务的评测样本、评测程序、对应评测程序的配置文件,用户上传的运行程序以及对应的配置文件,程序运行的结果以及样本与运行结果的评测结果,存储模块通过管理模块与通信模块实现计算机集群之间的任务文件交换与存储;
通信模块:通信模块通过不同通信协议完成各个模块之间数据信息的交换;
云端计算资源模块:包括云端计算机集群,通过管理模块合理调度资源满足运行模块、评测模块的任务需求;
运行模块:通过管理模块生成容器,并通过配置文件,在对应容器安装相应的运行环境,运行程序,管理模块调度资源得到程序的运行结果,通过通信模块保存到存储模块中;
评测模块:通过管理模块生成容器,并通过评测配置文件在对应文件安装环境,调用评测程序,将存储模块中的样本,以及保存到存储模块中的运行程序的结果传送到云端计算资源模块中进行评测,生成评测结果,保存到存储模块中;
管理模块:通过集群管理服务将存储模块以及云端计算资源连接起来,并通过传输模块传输存储模块中的文件和程序,通过资源监控与调度,满足运行模块与评测模块的需求,最终完成音视频任务;
所述的存储模块建立在本地主机上,其中,存储服务通过Gitlab服务提供,通过Gitlab搭建一个项目仓库,用于保存音视频大数据任务的评测样本、评测程序、对应评测程序的配置文件,用户上传的运行程序以及对应的配置文件,程序运行的结果以及样本与运行结果的评测结果;
所述的通信模块:用户上传程序以及配置文件通过git协议传到存储模块种,计算资源运行程序以及评测程序,通过节点与节点以及节点与主机之间的ssh协议通信来完成;
所述的管理模块通过容器集群管理***来实现管理功能,采用Kubernetes服务,通过Kubernetes将主机与云端计算资源模块的云端计算资源集群连接,将主机作为Master,其中云端计算资源模块中的每台服务可以作为节点Node;该服务在Master以及Node上分别有一些组件,用于容器资源监控以及调度;其中Master包括API Service,ETCD,Scheduler以及ControllerManager,其中ETCD,Scheduler以及Controller Manager资源/调用操作通过API Service提供接口进行;ETCD是Kubernetes默认存储***,将集群中的运行结果以及评测结果先保存,在备份到Gitlab中,Scheduler监听集群中的容器分配情况,将容器分配到尚未使用的节点中,ControllerManager用来管理各个线程;节点组件kubelet是节点代理,监视已经分配给节点的容器运行,kube-proxy监听API Server中服务和已分配容器节点的变化,并通过IP表配置服务的负载均衡,最后是Pod,Pod是云端计算资源集群上运行的一个进程,每个Pod中可以对应一个或多个容器。
2.根据权利要求1所述的一种音视频大数据任务的端云协同评测***的使用方法,其特征在于,步骤如下:
步骤一:在本地主机搭建存储模块,通过Gitlab服务搭建项目仓库,预先存储音视频大数据任务的评测样本、对应评测样本的评测程序、以及调用评测程序的配置文件;用户通过通信模块的git协议上传程序以及配置文件到Gitlab中;
步骤二:完成管理模块的搭建,并通过管理模块管理运行模块,评测模块以及云端计算资源
管理模块通过容器集群管理***来实现管理功能,采用Kubernetes服务;通过Kubernetes将主机与云端计算资源模块连接,将主机作为Master,其中云端计算资源模块中的每台服务作为节点Node;
Kubernetes服务通过一系列组件完成容器资源监控以及调度,实现运行模块与评测模块功能;Kubernetes服务在Master以及Node上各有一些组件,其中Master包括APIService,ETCD,Scheduler以及Controller Manager,其中ETCD,Scheduler以及ControllerManager资源/调用操作通过API Service提供接口进行;ETCD是Kubernetes默认存储***,将集群中的运行结果以及评测结果先保存,再通过通信模块备份到Gitlab中,Scheduler监听集群中的容器分配情况,将容器分配到尚未使用的节点中,ControllerManager用来管理各个线程;节点组件kubelet是节点代理,监视已经分配给节点的容器运行,kube-proxy监听API Server中服务和已分配容器节点的变化,并通过IP表配置服务的负载均衡,最后是Pod,Pod是云端计算资源集群上运行的一个进程,每个Pod中可以对应一个或多个容器;
步骤三:运行模块以及评测模块运行,运行模块和评测模块是运行在云端计算资源模块上的脚本文件,当用户上传文件到Gitlab项目仓库中结束,主机通过通信模块的ssh协议发送信号到运行模块并通过管理模块生成多个Pod进程,每个Pod对应一个任务的多个容器,运行模块通过管理模块将配置文件以及运行程序通过ssh协议调用到对应任务Pod中的容器,解析配置文件,完成环境的安装,运行程序并通过管理模块完成容器资源监控以及调度生成最终的结果,当结果生成时发送信号给评测模块,通过管理模块将对应样本以及评测程序通过ssh协议传输到对应评测任务的Pod中,运行评测程序,产生结果,传输到Gitlab项目仓库中,用户能够通过git协议查看保存在Gitlab中的结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110441589.9A CN113238928B (zh) | 2021-04-23 | 2021-04-23 | 一种音视频大数据任务的端云协同评测*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110441589.9A CN113238928B (zh) | 2021-04-23 | 2021-04-23 | 一种音视频大数据任务的端云协同评测*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113238928A CN113238928A (zh) | 2021-08-10 |
CN113238928B true CN113238928B (zh) | 2022-05-06 |
Family
ID=77129075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110441589.9A Active CN113238928B (zh) | 2021-04-23 | 2021-04-23 | 一种音视频大数据任务的端云协同评测*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113238928B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114996117B (zh) * | 2022-03-28 | 2024-02-06 | 湖南智擎科技有限公司 | 面向SaaS模式的客户端GPU应用评测***及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109542791A (zh) * | 2018-11-27 | 2019-03-29 | 长沙智擎信息技术有限公司 | 一种基于容器技术的程序大规模并发评测方法 |
CN109981351A (zh) * | 2019-03-06 | 2019-07-05 | 浪潮通用软件有限公司 | 一种私有云部署方法 |
WO2019153524A1 (zh) * | 2018-02-07 | 2019-08-15 | 平安科技(深圳)有限公司 | 监控***的部署方法、装置、计算机设备及存储介质 |
CN110764786A (zh) * | 2019-12-27 | 2020-02-07 | 凯泰铭科技(北京)有限公司 | 一种云计算环境下优化部署资源与软件交付平台 |
CN111327681A (zh) * | 2020-01-21 | 2020-06-23 | 北京工业大学 | 一种基于Kubernetes的云计算数据平台构建方法 |
CN111984373A (zh) * | 2020-08-19 | 2020-11-24 | 上海翘腾科技有限公司 | 一种Kubernetes容器环境下保证环境一致性的方法及*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11438413B2 (en) * | 2019-04-29 | 2022-09-06 | EMC IP Holding Company LLC | Intelligent data storage and management for cloud computing |
-
2021
- 2021-04-23 CN CN202110441589.9A patent/CN113238928B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019153524A1 (zh) * | 2018-02-07 | 2019-08-15 | 平安科技(深圳)有限公司 | 监控***的部署方法、装置、计算机设备及存储介质 |
CN109542791A (zh) * | 2018-11-27 | 2019-03-29 | 长沙智擎信息技术有限公司 | 一种基于容器技术的程序大规模并发评测方法 |
CN109981351A (zh) * | 2019-03-06 | 2019-07-05 | 浪潮通用软件有限公司 | 一种私有云部署方法 |
CN110764786A (zh) * | 2019-12-27 | 2020-02-07 | 凯泰铭科技(北京)有限公司 | 一种云计算环境下优化部署资源与软件交付平台 |
CN111327681A (zh) * | 2020-01-21 | 2020-06-23 | 北京工业大学 | 一种基于Kubernetes的云计算数据平台构建方法 |
CN111984373A (zh) * | 2020-08-19 | 2020-11-24 | 上海翘腾科技有限公司 | 一种Kubernetes容器环境下保证环境一致性的方法及*** |
Non-Patent Citations (3)
Title |
---|
Kubernetes for Big Data Workloads;Abhishek Tiwari;《https://www.abhishek-tiwari.com/kubernetes-for-big-data-workloads/》;20171227;全文 * |
基于Docker的大数据课程教学平台架构研究;樊雷;《信息技术与信息化》;20191225(第12期);全文 * |
基于Kubernetes的气象私有云自动化部署与优化;关兴民等;《信息技术》;20190522(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113238928A (zh) | 2021-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106844198B (zh) | 一种分布式调度自动化测试平台及方法 | |
CN108400992B (zh) | 一种流式通信数据协议解析软件框架实现***及方法 | |
CN102739452A (zh) | 资源监控方法和*** | |
CN113742031A (zh) | 节点状态信息获取方法、装置、电子设备及可读存储介质 | |
CN104699736A (zh) | 一种分布式的基于可移动设备的大规模数据采集***及方法 | |
US20100211680A1 (en) | Apparatus and method to allocate limited resources | |
CN113238928B (zh) | 一种音视频大数据任务的端云协同评测*** | |
CN111324460B (zh) | 一种基于云计算平台的电力监测控制***及方法 | |
CN114666335B (zh) | 一种基于数据分发服务dds的分布式***负载均衡装置 | |
CN115981871B (zh) | 一种gpu资源调度方法、装置、设备及存储介质 | |
CN111190731A (zh) | 基于权重的集群任务调度*** | |
CN110188258B (zh) | 使用爬虫获取外部数据的方法及装置 | |
CN114900558B (zh) | 一种通用的设备管理协议控制方法及装置 | |
CN113515356B (zh) | 一种轻量级分布式资源管理与任务调度器及方法 | |
CN114745377B (zh) | 边缘云集群服务***及实现方法 | |
CN116010065A (zh) | 分布式任务调度方法、装置以及设备 | |
CN113065848B (zh) | 一种支持多类集群后端的深度学习调度***及调度方法 | |
CN113190341B (zh) | 一种服务器资源调度方法及*** | |
CN113055126B (zh) | 一种飞行数据译码方法、装置及终端设备 | |
CN114546647A (zh) | 调度方法和调度装置 | |
CN114443293A (zh) | 一种大数据平台的部署***及方法 | |
CN109671140B (zh) | 一种采用微服务的云渲染服务处理方法 | |
CN114090201A (zh) | 资源调度方法、装置、设备及存储介质 | |
CN113296913A (zh) | 基于单集群的数据处理方法、装置、设备及存储介质 | |
CN111008116A (zh) | 一种定时快照特性测试方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |