CN117635083A - 一种群智场景的智能硬件芯片模型集成开发***及方法 - Google Patents
一种群智场景的智能硬件芯片模型集成开发***及方法 Download PDFInfo
- Publication number
- CN117635083A CN117635083A CN202410110225.6A CN202410110225A CN117635083A CN 117635083 A CN117635083 A CN 117635083A CN 202410110225 A CN202410110225 A CN 202410110225A CN 117635083 A CN117635083 A CN 117635083A
- Authority
- CN
- China
- Prior art keywords
- model
- module
- development
- training
- hardware chip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011161 development Methods 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 66
- 230000006870 function Effects 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000003993 interaction Effects 0.000 claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 238000012800 visualization Methods 0.000 claims abstract description 13
- 230000002452 interceptive effect Effects 0.000 claims abstract description 5
- 238000007726 management method Methods 0.000 claims description 65
- 238000004088 simulation Methods 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 23
- 230000000875 corresponding effect Effects 0.000 claims description 18
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012358 sourcing Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000002688 persistence Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 3
- 230000006378 damage Effects 0.000 claims description 3
- 238000013515 script Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000009960 carding Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011165 process development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Stored Programmes (AREA)
Abstract
本发明公开了一种群智场景的智能硬件芯片模型集成开发***及方法,该***包括:模型管理模块用于管理模型的整个生命周期的增、删、改、查的处理;角色管理模块用于管理开发***中不同类型的角色的权限和交互功能;模型集成开发模块用于实现模型的集成开发和训练;多角色并发交互模块用于实现多个角色同时对模型进行并发交互开发;文件存储模块用于对接分布式文件***,提供模型开发所需的文件;可视化模块用于实时展现模型的性能分析结果和报告化训练结果。本发明能够实现多角色并发开发的硬件芯片模型开发,实现芯片开发领域的全生命周期内的同端开发,提升硬件芯片模型开发的效率和灵活性,满足不同应用场景的需求,具有良好的推广应用前景。
Description
技术领域
本发明涉及硬件芯片模型开发领域,尤其涉及一种群智场景的智能硬件芯片模型集成开发***及方法。
背景技术
随着物联网、人工智能和大数据等新兴技术的发展,硬件芯片模型的需求正在不断增长,其中基于群智协作场景的硬件芯片模型开发在嵌入式设备、智能家居、工业控制等领域都具有很好的应用前景。基于群智协作的硬件芯片模型开发可以为开发者提供更加便利、高效的同端开发环境,减少开发者跨端工作;与此同时,开发者可以通过共享资源、共同协作,快速准确地开发出符合市场需求的硬件芯片模型,从而大大减少了开发周期和成本,这种群智协作的模式能够更好地发挥各方的智慧和资源,提高模型开发的效率和质量。在硬件芯片模型开发过程中,通常需要进行模型创建、数据集导入、集成开发环境(Integrated Development Environment,IDE)编辑、模型训练和模型训练结果展示等步骤。传统的开发过程通常需要多个独立工具和平台进行操作,操作繁琐、效率低下且工程师之间无法协同。因此,需要一种集成化的***和方法来简化硬件芯片模型开发的流程,促进工程师间的群体协作,提高开发效率和便利性,最终实现芯片开发领域的群智共创。
发明内容
本发明的目的在于针对现有技术的不足,提供一种群智场景的智能硬件芯片模型集成开发***及方法。
本发明的目的是通过以下技术方案来实现的:本发明实施例第一方面提供了一种群智场景的智能硬件芯片模型集成开发***,包括:
模型管理模块,用于全量模型的管理和单个模型的管理,用于管理硬件芯片模型的整个生命周期的增、删、改、查的处理,具体包括模型搭建、模型删除、版本管理、模型批量处理、数据集处理和模型整体管理相关的功能;
角色管理模块,用于管理开发***中不同类型的角色的权限和交互功能;
模型集成开发模块,包括模型开发与训练模块、模型编译模块和模型模拟模块,所述模型集成开发模块用于实现硬件芯片模型的集成开发和训练,具体包括模型创建、模型开发与训练、模型编译和模型模拟功能;
多角色并发交互模块,用于实现多个角色同时对硬件芯片模型进行并发交互开发;
文件存储模块,用于对接分布式文件***,提供文件管理服务以及代码编辑中所需的文件;和
可视化模块,用于实时展现模型的训练过程中的性能分析结果和报告化训练结果。
进一步地,所述全量模型的管理包括:模型概览和批量处理,所述模型概览包括模型存储空间、模型梳理和类型分布概览图,所述批量处理包括删除和下载;
所述单个模型的管理包括:修改关联数据集、版本历史记录管理和开发人员权限管理。
进一步地,所述模型管理模块的实现具体包括:根据用户输入的模型名称、类型、任务和标签动态生成对应的模型结构或选择预定义的模型模板;设计用于模型创建、基本信息编辑和删除的自动化和用户友好交互的界面;导入数据集并对数据集进行预处理,将数据集中的数据进行自动化格式转换,以满足模型输入的要求;以对所有模型开发任务进行全生命周期管理。
进一步地,所述角色的类型包括管理员、开发人员和测试人员;
所述权限包括创建、训练、编译和模拟编辑处理权限。
进一步地,所述模型集成开发模块用于模型的详细编辑、调试和优化,具体包括代码编辑器、调试器、性能分析器和优化工具;
所述代码编辑器基于开源的集成开发环境jupyter lab实现模型代码的编辑,具体包括语法高亮、自动补全、代码导航和代码重构功能,同时定期检查每个用户id下的每个项目状态,以将大于1天不使用的项目进行数据持久化后进行资源回收;
所述调试器用于帮助开发人员和测试人员在模型开发过程中找到并解决模型代码中的问题,所述调试器具体包括断点设置、步进执行和变量监视功能;
所述性能分析器用于帮助开发人员分析模型代码的性能瓶颈,找到并优化模型代码中的性能问题,所述性能分析器具体包括代码执行时间分析和内存使用情况分析功能;
所述优化工具用于根据调试器的调试结果和性能分析器的分析结果对模型进行优化。
进一步地,所述多角色并发交互模块的实现具体包括:通过网络传输将用户对模型的处理措施实时同步到云端,再通过云端实时同步到各个关联用户的终端配合版本管理,以实现多角色同步进行模型开发。
进一步地,所述文件存储模块使用共享存储的网络文件***作为文件存储的实现方案,并在容器启动前同步文件管理服务以及代码编辑中所需的文件,以及容器销毁后同步到分布式文件***或其它备份存储位置;
所述文件存储模块的使用过程具体包括:
使用共享存储的网络文件***:将所有模型代码和数据集存放在网络文件***上,网络文件***通过网络在在多台服务器之间共享存储空间;
为每个项目设置其大小阈值:通过在网络文件***上为每个项目创建独立的文件夹,对每个项目的大小进行限制,为其设置大小阈值,并实时监控文件夹的大小;
容器启动前同步到网络文件***:在启动容器之前,使用文件同步工具将文件管理服务以及代码编辑中所需的文件从本地或其它存储位置同步到网络文件***上对应的项目文件夹中;其中,所述文件管理服务以及代码编辑中所需的文件包括所有模型代码和数据集中的数据;
容器销毁后同步到分布式文件***:在容器销毁后,通过编写脚本或使用文件同步工具将文件管理服务以及代码编辑中所需的文件同步到分布式文件***或其它备份存储位置。
进一步地,所述开发***还包括日志模块,所述日志模块用于管理模型训练的日志。
本发明实施例第二方面提供了一种基于上述的群智场景的智能硬件芯片模型集成开发***的开发方法,包括:
模型创建阶段:通过角色管理模块为不同类型的角色赋予对应的创建、训练、编译和模拟权限;有创建权限的人员在模型管理模块中创建模型,并对模型的基础信息和模型所需的数据集进行编辑,以初始化一个可编辑的代码项目;其中,代码和数据集存储在文件存储模块中;
模型开发与训练阶段:有训练权限的人员在模型集成开发模块的模型开发与训练模块中对模型代码进行编辑,以完成模型的开发;对训练环境、模型训练参数进行编辑,再对开发完成的模型进行训练,获取训练报告,并通过可视化模块实时展现;根据训练报告中的训练结果对模型进行优化;
模型编译阶段:有编译权限的人员在模型集成开发模块的模型编译模块中,对模型编译环境所需要的参数进行配置,以对训练优化后的模型进行编译,并输出编译后的模型机器码;
模型模拟阶段:有模型模拟权限的人员在模型集成开发模块的模型模拟模块中,编辑模拟环境,通过调整模拟参数对编译后的模型进行模拟,并生成对应的模拟报告,同时通过可视化模块实时展现;其中,模拟参数包括硬件芯片的硬件参数。
进一步地,所述模型的基础信息包括模型的名称、任务类型和标签;
所述数据集具体包括:本地上传模型所需的数据集或从数据集列表中关联模型所需的数据集。
本发明的有益效果是,本发明将原本跨平台、跨工具开发的芯片模型开发流程集成进一个***,实现硬件芯片模型开发的全生命周期的管理和开发;本发明能够实现多角色并发开发的模型开发,促进开发者之间的群体协作,提高硬件芯片模型开发的效率和灵活性,满足不同应用场景的需求。
附图说明
图1是本发明一实施例提供的群智场景的智能硬件芯片模型集成开发***的功能框架图;
图2是本发明一实施例提供的群智场景的智能硬件芯片模型集成开发方法的流程示意图;
图3是本发明一实施例提供的数据集管理流程示意图;
图4是本发明一实施例提供的角色管理模块的设计示意图;
图5是本发明一实施例提供的文件存储模块的设计示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。显而易见地,下面描述中使用的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面结合附图,对本发明进行详细说明。在不冲突的情况下,下述的实施例及实施方式中的特征可以相互组合。
为了实现对整个硬件芯片模型的生命全周期管理和全流程开发,本发明提供了一种群智场景的智能硬件芯片模型集成开发***,其主要特征是模块组成和标准化的开发流程。
参见图1,本发明的群智场景的智能硬件芯片模型集成开发***,具体包括模型管理模块、角色管理模块、模型集成开发模块、多角色并发交互模块、文件存储模块和可视化模块。
本实施例中,模型管理模块用于全量模型的管理和单个模型的管理,用于管理硬件芯片模型的整个生命周期的增、删、改、查的处理,具体包括模型搭建、模型删除、版本管理、模型批量处理、数据集处理等其它和模型整体管理相关的功能。
进一步地,全量模型的管理包括:模型概览和批量处理等,模型概览包括模型存储空间、模型梳理和类型分布概览图等,批量处理包括删除、下载等。单个模型的管理包括:修改关联数据集、版本历史记录管理和开发人员权限管理等。
进一步地,模型管理模块的实现具体包括:根据用户输入的模型名称、类型、任务和标签动态生成对应的模型结构或选择预定义的模型模板;设计用于模型创建、基本信息编辑和删除的自动化和用户友好交互的界面;导入数据集并对数据集进行预处理,将数据集中的数据进行自动化格式转换,以满足模型输入的要求;等等,以对所有模型开发任务进行全生命周期管理。
应当理解的是,模型管理模块可以作为一套管理***,能够对所有模型开发任务进行全生命周期管理,具体包含模型具体任务的增、删、改、查的具体或者批量处理。
需要说明的是,数据集的预处理是格式处理,由程序员定制不同类型的数据转化算法,对数据集进行自动格式化,以满足模型输入的需求,具体如图3所示,显示了数据集的管理流程,先导入数据集,再进行参数配置,上传文件,判断数据集中的数据是否需要转换格式,若需要转换格式,采用对应类型的数据转化算法进行转换,转换之后保存数据集;若不需要转换格式,直接保存数据集,便于后续过程直接使用。
本实施例中,角色管理模块用于管理开发***中不同类型的角色的权限和交互功能。
进一步地,角色的类型包括管理员、开发人员和测试人员等多种角色。
进一步地,权限包括创建、训练、编译和模拟等编辑处理权限。
具体地,角色管理模块管理开发***中参与硬件芯片模型开发的不同类型的角色,如开发人员、测试人员和管理员等,并给不同类型的角色赋予对应的创建、训练、编译、模拟等编辑处理权限。应当理解的是,一个完整的流程包含模型的创建、训练、编译和模拟,角色管理模块会按照项目为不同类型的角色赋予权限,比如某个开发人员拥有A项目的开发权限,那么他也拥有该应用开发链路中的所有权限;测试人员也是一样的。
示例性地,如图4所示,角色管理模块的实现可包括:新增用户、删除用户和更新用户,每个用户(user)包括用户id、名称(name)、密码(passwd)、类型(type)和用户代码(usercode);如新增用户时,可以为用户添加上述信息。根据实际需要给用户分配角色,对不同的用户绑定不同类型的角色,针对不同类型的角色,给对应的用户绑定相关权限;例如给用户1绑定开发人员的角色类型,给用户2绑定测试人员的角色类型,给用户1绑定对应的创建、训练、编译、模拟等权限,给用户2绑定训练权限,在开发人员的角色(role)中添加用户1的用户id和名称,在测试人员的角色中添加用户2的用户id和名称,还可以添加用户3的用户id和名称,以完成角色的添加,同理,也可以删除角色。在给角色绑定权限时,可以给权限(permission)添加对应的用户id、名称和密钥(key),同理,也可以新增权限或删除权限。
本实施例中,模型集成开发模块包括模型开发与训练模块、模型编译模块和模型模拟模块,模型集成开发模块用于实现硬件芯片模型的集成开发和训练,具体包括模型创建、模型开发与训练、模型编译和模型模拟等功能。
进一步地,模型集成开发模块是一套集成开发环境,用于模型的详细编辑、调试和优化,具体包括代码编辑器、调试器、性能分析器和优化工具等。
其中,代码编辑器基于开源的集成开发环境jupyter lab实现模型代码的编辑,具体包括语法高亮、自动补全、代码导航和代码重构等功能,可以有效提高模型的开发效率,同时定期检查每个用户id下的每个项目状态,以将大于1天不使用的项目进行数据持久化后进行资源回收。另外,代码编辑器中还可集成模型开发环境,以方便开发人员进行模型的可视化编辑。应当理解的是,每个用户id下的每个项目为一个jupyter实例,为防止资源浪费,需要定期检查每个用户id下的每个项目状态,将大于1天不不使用的项目,进行资源回收,回收前保证数据持久化。
调试器用于帮助开发人员和测试人员在模型开发过程中找到并解决模型代码中的问题,调试器具体包括断点设置、步进执行和变量监视等功能,可以帮助开发人员和测试人员进行代码调试。
性能分析器用于帮助开发人员分析模型代码的性能瓶颈,找到并优化模型代码中的性能问题,性能分析器具体包括代码执行时间分析和内存使用情况分析等功能,有助于开发人员优化模型代码的性能。
优化工具用于根据调试器的调试结果和性能分析器的分析结果对模型进行优化,例如用数据可视化的方式展示训练报告、支持选择多份报告生成性能对比报告等,帮助开发人员进行模型优化,如自动调参、模型压缩等,提供优化算法自动调参,提高优化效率。
本实施例中,多角色并发交互模块用于实现多个角色同时对硬件芯片模型进行并发交互开发,有利于提高开发的效率和灵活性。
应当理解的是,模型集成开发模块包括的模型创建、训练、编译和模拟等步骤可由多角色并发交互模块的多个角色同时进行并发交互,可以有效提高硬件芯片模型的开发效率和灵活性。
进一步地,多角色并发交互模块的实现具体包括:通过网络传输将用户对模型的处理措施实时同步到云端,再通过云端实时同步到各个关联用户的终端配合版本管理,以实现多角色同步进行模型开发。
应当理解的是,不同的用户有不同的角色,不同角色的权限不同,不同的权限代表对模型的处理结果不同,通过网络传输将用户对模型的处理措施实时同步到云端,可以保存用户操作结果,比如创建、编辑、编译、训练和模拟等,同时也支持保存用户操作的历史记录。
本实施例中,文件存储模块用于对接分布式文件***(FastDFS),提供通用的文件管理服务以及代码编辑中所需的文件。
应当理解的是,FastDFS是一个开源的轻量级存储***,它对文件进行管理,其功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题;尤其适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
进一步地,文件存储模块使用共享存储的网络文件***(Network File System,NFS)作为文件存储的实现方案,并在容器启动前同步文件管理服务以及代码编辑中所需的文件,以及容器销毁后同步到FastDFS或其它备份存储位置,可以确保数据的可靠性和一致性,以及防止数据丢失。
应当理解的是,NFS允许网络中的计算机之间共享资源,在NFS的应用中,本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件,就像访问本地文件一样。容器指的是docker容器,容器可以被启动、开始、停止、删除,每个容器都是相互隔离的、保证安全的平台,可以把容器看做是一个简易版的 Linux 环境和运行在其中的应用程序。
具体地,如图5所示,文件存储模块的使用过程具体包括:
(a)使用共享存储的NFS:将所有模型代码和数据集存放在NFS上,NFS通过网络在在多台服务器之间共享存储空间,有利于确保数据一致性和可访问性。
(b)为每个项目设置其大小阈值:通过在NFS上为每个项目创建独立的文件夹,对每个项目的大小进行限制,为其设置大小阈值,例如,限制每个项目的大小阈值为1GB,并实时监控文件夹的大小,有助于控制存储空间的使用。
应当理解的是,每个项目的大小阈值可以根据设备资源和用户数量确定,将其设置为其它数值。
(c)容器启动前同步到NFS:在启动容器之前,使用文件同步工具将文件管理服务以及代码编辑中所需的文件从本地或其它存储位置同步到NFS上对应的项目文件夹中。其中,文件管理服务以及代码编辑中所需的文件包括但不限于:所有模型代码和数据集中的数据等。
进一步地,文件同步工具包括rsync工具和scp工具等。
(d)容器销毁后同步到FastDFS:在容器销毁后,通过编写脚本或使用文件同步工具将文件管理服务以及代码编辑中所需的文件同步到FastDFS或其它备份存储位置,可以确保在容器销毁后,相关数据被备份或移动到可靠的存储位置。
本实施例中,可视化模块用于实时展现模型的训练过程中的性能分析结果和报告化训练结果,如训练损失的动态变化、性能指标的实时监控等。
进一步地,可视化模块通过一套可视化方法实现,需要将性能分析结果和报告化训练结果整理成易于理解的报告形式,可视化模块的展现形式包括但不限于:图表展示形式、性能评估指标形式和关键统计数据形式等,同时还需要考虑报告的可扩展性和自定义性。
在另外一些实施例中,开发***中还包括日志模块,日志模块用于管理模型训练的日志。
值得一提的是,本发明实施例还提供了一种开发方法,基于上述实施例中的群智场景的智能硬件芯片模型集成开发***实现,可以实现硬件芯片模型的全流程、多角色、并发交互的开发。
参见图2,本发明的开发方法具体包括以下步骤:
(1)模型创建阶段:通过角色管理模块为不同类型的角色赋予对应的创建、训练、编译和模拟权限;有创建权限的人员在模型管理模块中创建模型,并对模型的基础信息和模型所需的数据集进行编辑,以初始化一个可编辑的代码项目;其中,代码和数据集存储在文件存储模块中。
进一步地,模型的基础信息包括模型的名称、任务类型和标签等。
进一步地,数据集具体包括:本地上传模型所需的数据集或从数据集列表中关联模型所需的数据集。需要说明的是,数据集本地上传以后会保存在数据集列表中。
(2)模型开发与训练阶段:有训练权限的人员在模型集成开发模块的模型开发与训练模块中对模型代码进行编辑,以完成模型的开发;对训练环境、模型训练参数进行编辑,再对开发完成的模型进行训练,获取训练报告,并通过可视化模块实时展现;根据训练报告中的训练结果对模型进行优化。
(3)模型编译阶段:有编译权限的人员在模型集成开发模块的模型编译模块中,对模型编译环境所需要的参数进行配置,以对训练优化后的模型进行编译,并输出编译后的模型机器码。
(4)模型模拟阶段:有模型模拟权限的人员在模型集成开发模块的模型模拟模块中,编辑模拟环境,通过调整模拟参数对编译后的模型进行模拟,并生成对应的模拟报告,同时通过可视化模块实时展现;其中,模拟参数包括硬件芯片的硬件参数等。
本发明将原本跨平台、跨工具开发的芯片模型开发流程集成进一个***,实现硬件芯片模型开发的全生命周期的管理和开发;本发明能够实现多角色并发开发的模型开发,促进开发者之间的群体协作,提高硬件芯片模型开发的效率和灵活性,满足不同应用场景的需求。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种群智场景的智能硬件芯片模型集成开发***,其特征在于,包括:
模型管理模块,用于全量模型的管理和单个模型的管理,用于管理硬件芯片模型的整个生命周期的增、删、改、查的处理,具体包括模型搭建、模型删除、版本管理、模型批量处理、数据集处理和模型整体管理相关的功能;
角色管理模块,用于管理开发***中不同类型的角色的权限和交互功能;
模型集成开发模块,包括模型开发与训练模块、模型编译模块和模型模拟模块,所述模型集成开发模块用于实现硬件芯片模型的集成开发和训练,具体包括模型创建、模型开发与训练、模型编译和模型模拟功能;
多角色并发交互模块,用于实现多个角色同时对硬件芯片模型进行并发交互开发;
文件存储模块,用于对接分布式文件***,提供文件管理服务以及代码编辑中所需的文件;和
可视化模块,用于实时展现模型的训练过程中的性能分析结果和报告化训练结果。
2.根据权利要求1所述的群智场景的智能硬件芯片模型集成开发***,其特征在于,所述全量模型的管理包括:模型概览和批量处理,所述模型概览包括模型存储空间、模型梳理和类型分布概览图,所述批量处理包括删除和下载;
所述单个模型的管理包括:修改关联数据集、版本历史记录管理和开发人员权限管理。
3.根据权利要求1所述的群智场景的智能硬件芯片模型集成开发***,其特征在于,所述模型管理模块的实现具体包括:根据用户输入的模型名称、类型、任务和标签动态生成对应的模型结构或选择预定义的模型模板;设计用于模型创建、基本信息编辑和删除的自动化和用户友好交互的界面;导入数据集并对数据集进行预处理,将数据集中的数据进行自动化格式转换,以满足模型输入的要求;以对所有模型开发任务进行全生命周期管理。
4.根据权利要求1所述的群智场景的智能硬件芯片模型集成开发***,其特征在于,所述角色的类型包括管理员、开发人员和测试人员;
所述权限包括创建、训练、编译和模拟编辑处理权限。
5.根据权利要求1所述的群智场景的智能硬件芯片模型集成开发***,其特征在于,所述模型集成开发模块用于模型的详细编辑、调试和优化,具体包括代码编辑器、调试器、性能分析器和优化工具;
所述代码编辑器基于开源的集成开发环境jupyter lab实现模型代码的编辑,具体包括语法高亮、自动补全、代码导航和代码重构功能,同时定期检查每个用户id下的每个项目状态,以将大于1天不使用的项目进行数据持久化后进行资源回收;
所述调试器用于帮助开发人员和测试人员在模型开发过程中找到并解决模型代码中的问题,所述调试器具体包括断点设置、步进执行和变量监视功能;
所述性能分析器用于帮助开发人员分析模型代码的性能瓶颈,找到并优化模型代码中的性能问题,所述性能分析器具体包括代码执行时间分析和内存使用情况分析功能;
所述优化工具用于根据调试器的调试结果和性能分析器的分析结果对模型进行优化。
6.根据权利要求1所述的群智场景的智能硬件芯片模型集成开发***,其特征在于,所述多角色并发交互模块的实现具体包括:通过网络传输将用户对模型的处理措施实时同步到云端,再通过云端实时同步到各个关联用户的终端配合版本管理,以实现多角色同步进行模型开发。
7.根据权利要求1所述的群智场景的智能硬件芯片模型集成开发***,其特征在于,所述文件存储模块使用共享存储的网络文件***作为文件存储的实现方案,并在容器启动前同步文件管理服务以及代码编辑中所需的文件,以及容器销毁后同步到分布式文件***或其它备份存储位置;
所述文件存储模块的使用过程具体包括:
使用共享存储的网络文件***:将所有模型代码和数据集存放在网络文件***上,网络文件***通过网络在在多台服务器之间共享存储空间;
为每个项目设置其大小阈值:通过在网络文件***上为每个项目创建独立的文件夹,对每个项目的大小进行限制,为其设置大小阈值,并实时监控文件夹的大小;
容器启动前同步到网络文件***:在启动容器之前,使用文件同步工具将文件管理服务以及代码编辑中所需的文件从本地或其它存储位置同步到网络文件***上对应的项目文件夹中;其中,所述文件管理服务以及代码编辑中所需的文件包括所有模型代码和数据集中的数据;
容器销毁后同步到分布式文件***:在容器销毁后,通过编写脚本或使用文件同步工具将文件管理服务以及代码编辑中所需的文件同步到分布式文件***或其它备份存储位置。
8.根据权利要求1所述的群智场景的智能硬件芯片模型集成开发***,其特征在于,所述开发***还包括日志模块,所述日志模块用于管理模型训练的日志。
9.一种基于权利要求1-8中任一项所述的群智场景的智能硬件芯片模型集成开发***的开发方法,其特征在于,包括:
模型创建阶段:通过角色管理模块为不同类型的角色赋予对应的创建、训练、编译和模拟权限;有创建权限的人员在模型管理模块中创建模型,并对模型的基础信息和模型所需的数据集进行编辑,以初始化一个可编辑的代码项目;其中,代码和数据集存储在文件存储模块中;
模型开发与训练阶段:有训练权限的人员在模型集成开发模块的模型开发与训练模块中对模型代码进行编辑,以完成模型的开发;对训练环境、模型训练参数进行编辑,再对开发完成的模型进行训练,获取训练报告,并通过可视化模块实时展现;根据训练报告中的训练结果对模型进行优化;
模型编译阶段:有编译权限的人员在模型集成开发模块的模型编译模块中,对模型编译环境所需要的参数进行配置,以对训练优化后的模型进行编译,并输出编译后的模型机器码;
模型模拟阶段:有模型模拟权限的人员在模型集成开发模块的模型模拟模块中,编辑模拟环境,通过调整模拟参数对编译后的模型进行模拟,并生成对应的模拟报告,同时通过可视化模块实时展现;其中,模拟参数包括硬件芯片的硬件参数。
10.根据权利要求9所述的开发方法,其特征在于,所述模型的基础信息包括模型的名称、任务类型和标签;
所述数据集具体包括:本地上传模型所需的数据集或从数据集列表中关联模型所需的数据集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410110225.6A CN117635083A (zh) | 2024-01-26 | 2024-01-26 | 一种群智场景的智能硬件芯片模型集成开发***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410110225.6A CN117635083A (zh) | 2024-01-26 | 2024-01-26 | 一种群智场景的智能硬件芯片模型集成开发***及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117635083A true CN117635083A (zh) | 2024-03-01 |
Family
ID=90036310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410110225.6A Pending CN117635083A (zh) | 2024-01-26 | 2024-01-26 | 一种群智场景的智能硬件芯片模型集成开发***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117635083A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112394907A (zh) * | 2020-10-15 | 2021-02-23 | 北京仿真中心 | 基于容器的交付***构建方法、应用交付方法和交付*** |
CN112529023A (zh) * | 2019-09-18 | 2021-03-19 | 上海钛空猫智能科技有限公司 | 一种配置化的人工智能场景应用研发方法和*** |
CN113760464A (zh) * | 2021-09-14 | 2021-12-07 | 中化现代农业有限公司 | 一种基于深度学***台 |
CN114781635A (zh) * | 2022-06-22 | 2022-07-22 | 国汽智控(北京)科技有限公司 | 模型部署方法、装置、设备和介质 |
CN116339752A (zh) * | 2022-12-01 | 2023-06-27 | 航天时代飞鸿技术有限公司 | 基于多级中间表示的自主可控芯片模型自动部署方法及*** |
-
2024
- 2024-01-26 CN CN202410110225.6A patent/CN117635083A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112529023A (zh) * | 2019-09-18 | 2021-03-19 | 上海钛空猫智能科技有限公司 | 一种配置化的人工智能场景应用研发方法和*** |
CN112394907A (zh) * | 2020-10-15 | 2021-02-23 | 北京仿真中心 | 基于容器的交付***构建方法、应用交付方法和交付*** |
CN113760464A (zh) * | 2021-09-14 | 2021-12-07 | 中化现代农业有限公司 | 一种基于深度学***台 |
CN114781635A (zh) * | 2022-06-22 | 2022-07-22 | 国汽智控(北京)科技有限公司 | 模型部署方法、装置、设备和介质 |
CN116339752A (zh) * | 2022-12-01 | 2023-06-27 | 航天时代飞鸿技术有限公司 | 基于多级中间表示的自主可控芯片模型自动部署方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10540335B2 (en) | Solution to generate a scriptset for an automated database migration | |
US10579638B2 (en) | Automating extract, transform, and load job testing | |
US20210311858A1 (en) | System and method for providing a test manager for use with a mainframe rehosting platform | |
US10089103B2 (en) | Systems and methods for transformation of reporting schema | |
US10366112B2 (en) | Compiling extract, transform, and load job test data cases | |
CN112395196B (zh) | 数据作业开发测试方法、装置、设备、***及存储介质 | |
US20080010535A1 (en) | Automated and configurable system for tests to be picked up and executed | |
US11151025B1 (en) | Generating software test plans based at least in part on monitored traffic of a production application | |
Frampton | Big Data made easy: A working guide to the complete Hadoop toolset | |
CN114912255A (zh) | 在线仿真实验***及方法 | |
CN114546563A (zh) | 一种多租户页面访问控制方法和*** | |
US11200052B1 (en) | Documentation enforcement during compilation | |
US11416382B2 (en) | Change list-based snapshots of applications for development and testing | |
CN117635083A (zh) | 一种群智场景的智能硬件芯片模型集成开发***及方法 | |
Wannipurage et al. | A Framework to capture and reproduce the Absolute State of Jupyter Notebooks | |
CN115757090A (zh) | 软件测试***、方法、设备及介质 | |
CN111935249A (zh) | 同步校验方法及装置、计算机存储介质和电子设备 | |
CN113220592A (zh) | 自动化测试资源的处理方法、装置、服务器及存储介质 | |
Riahi et al. | Using Hadoop File System and MapReduce in a small/medium Grid site | |
Shih | MASS HDFS: multi-agent spatial simulation hadoop distributed file system | |
Stonozhenko et al. | Automated object storage management approach with operator SDK and custom resource definition | |
Zhang et al. | Intelligent Grid Operation and Maintenance Management and Command Platform Based on Computer Distributed Network | |
Aven | Hadoop in 24 Hours, Sams Teach Yourself | |
Bemm | Extending the Kubernetes operator Kubegres to handle database restoration from dump files | |
Correia | Entrega Contínua de Aplicações em Ambientes Híbridos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |