CN112269719B - 基于ai训练平台的文件操作队列控制方法、装置及介质 - Google Patents
基于ai训练平台的文件操作队列控制方法、装置及介质 Download PDFInfo
- Publication number
- CN112269719B CN112269719B CN202010973081.9A CN202010973081A CN112269719B CN 112269719 B CN112269719 B CN 112269719B CN 202010973081 A CN202010973081 A CN 202010973081A CN 112269719 B CN112269719 B CN 112269719B
- Authority
- CN
- China
- Prior art keywords
- file operation
- file
- execution
- training platform
- authorized user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000000903 blocking effect Effects 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 19
- 238000013473 artificial intelligence Methods 0.000 description 94
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种基于AI训练平台的文件操作队列的控制方法、装置及计算机可读存储介质。其中，方法包括当接收到登录AI训练平台的授权用户下发的文件操作指令，根据文件操作指令的文件操作类型和用户标识信息生成线程绑定标识，并将线程绑定标识与负责处理文件操作指令的执行线程进行绑定。若存在与线程绑定标识相同的已有线程绑定标识，将执行线程放入已有线程绑定标识对应的阻塞队列中；若不存在与线程绑定标识相同的已有线程绑定标识，将执行线程放入新构建的阻塞队列；依次按序执行同一队列的各执行线程，并发执行不同队列的执行线程。本申请可有效降低AI训练平台的文件操作过程中的服务资源消耗，提升AI训练平台性能，还可提升用户使用体验。
Description
技术领域
本申请涉及人工智能技术领域，特别是涉及一种基于AI训练平台的文件操作队列的控制方法、装置及计算机可读存储介质。
背景技术
随着AI（Artificial Intelligence，人工智能）技术的快速发展以及广泛应用，越来越多的研究机构、企业对用户的体验和服务的性能以及稳定性要求越来越高，与此同时，如何高效提升企业机构里算法研究人员的资源使用效率，提高人员工作效率以及提升操作体验，是目前所有AI训练平台追求的目标。
AI训练平台用于管理并调度cpu（Central Processing Unit ，中央处理器）、gpu（Graphics Processing Unit，图形处理器）等资源、模型训练及任务管理等。目前的AI训练平台为一个基础模块，会涉及大量文件操作，就是属于AI训练平台的文件管理模块。此模块一般是对算法人员的模型、训练数据集脚本和数据集等文件的操作管理。对于现有的文件管理模块，针对大文件复制、删除、上传、移动、解压缩等文件操作非常耗时，让用户长久等待，用户使用体验不佳，而且非常消耗服务资源，AI训练平台支持文件操作的***性能较低。
鉴于此，如何降低AI训练平台的文件操作过程中的服务资源消耗，提升用户使用体验，是所属领域技术人员需要解决的技术问题。
发明内容
本申请提供了一种基于AI训练平台的文件操作队列的控制方法、装置及计算机可读存储介质，不仅可有效降低AI训练平台的文件操作过程中的服务资源消耗，提升AI训练平台性能，还可提升用户使用体验。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例一方面提供了一种基于AI训练平台的文件操作队列的控制方法，包括：
当接收到登录AI训练平台的授权用户下发的文件操作指令，为所述文件操作指令分配执行线程，同时根据所述文件操作指令的文件操作类型和用户标识信息生成线程绑定标识，并将所述执行线程与所述线程绑定标识进行绑定；
若存在与所述线程绑定标识相同的已有线程绑定标识，将所述执行线程放入所述已有线程绑定标识对应的阻塞队列中；若不存在与所述线程绑定标识相同的已有线程绑定标识，将所述执行线程放入构建的新阻塞队列；
依次按序执行同一队列的各执行线程，并发执行不同队列的执行线程。
可选的，所述接收到登录AI训练平台的授权用户下发的文件操作指令之后，还包括：
向所述授权用户反馈文件请求标识，所述文件请求标识用于唯一标识所述文件操作指令对应的文件操作；
当接收到所述授权用户下发的携带所述文件请求标识的进度查询请求，反馈所述文件请求标识对应的文件操作的任务完成状态信息。
可选的，所述依次按序执行同一队列的各执行线程，并发执行不同队列的执行线程之后，还包括：
当检测到所述授权用户重新登录所述AI训练平台，自动清除上一次登录过程中所有已完成的文件操作信息；
向所述授权用户展示上一次登录过程中未成功完成的文件操作信息。
可选的，所述依次按序执行同一队列的各执行线程，并发执行不同队列的执行线程之后，还包括：
预先在所述AI训练平台的操作界面中设置执行进度展示选项；所述执行进度展示选项包括默认状态和自定义状态；
若所述执行进度展示选项为所述默认状态，在所述操作界面以列表形式显示所述授权用户的所有文件操作的任务完成状态信息；
若所述执行进度展示选项为自定义状态，当接收到所述授权用户通过所述操作界面下发执行进度展示指令，在所述操作界面中显示所述授权用户的各文件操作的任务完成状态信息。
可选的，所述依次按序执行同一队列的各执行线程，并发执行不同队列的执行线程之后，还包括：
预先在所述执行进度展示选项中设置文件操作类型选择项和授权用户选择项；
当接收到所述授权用户通过所述文件操作类型选择项下发目标文件操作执行进度展示指令，在所述操作界面中显示所述目标文件操作的任务完成状态信息；
当接收到所述授权用户通过所述授权用户选择项下发目标授权用户的操作执行进度展示指令，在所述操作界面中显示所述目标授权用户的所有文件操作的任务完成状态信息；
当接收到所述授权用户通过所述授权用户选择项和所述文件操作类型选择项下发目标授权用户的目标文件操作的执行进度展示指令，在所述操作界面中显示所述目标授权用户的目标文件操作的任务完成状态信息。
可选的，所述在所述操作界面中显示所述授权用户的各文件操作的任务完成状态信息包括：
当检测到当前文件操作的任务完成状态为已完成，主动在所述操作界面中清空所述当前文件操作的任务完成状态展示信息。
本发明实施例另一方面提供了一种基于AI训练平台的文件操作队列的控制装置，包括：
线程分配模块，用于当接收到登录AI训练平台的授权用户下发的文件操作指令，为所述文件操作指令分配执行线程；
标识生成模块，用于根据所述文件操作指令的文件操作类型和用户标识信息生成线程绑定标识；
绑定模块，用于将所述执行线程与所述线程绑定标识进行绑定；
线程入队模块，用于若存在与所述线程绑定标识相同的已有线程绑定标识，将所述执行线程放入所述已有线程绑定标识对应的阻塞队列中；若不存在与所述线程绑定标识相同的已有线程绑定标识，将所述执行线程放入构建的新阻塞队列；
线程执行模块，用于依次按序执行同一队列的各执行线程，并发执行不同队列的执行线程。
可选的，还包括进度查询模块，所述进度查询模块包括：
标识反馈子模块，用于向所述授权用户反馈文件请求标识，所述文件请求标识用于唯一标识所述文件操作指令对应的文件操作；
进度信息反馈子模块，用于当接收到所述授权用户下发的携带所述文件请求标识的进度查询请求，反馈所述文件请求标识对应的文件操作的任务完成状态信息。
本发明实施例还提供了一种基于AI训练平台的文件操作队列的控制装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述基于AI训练平台的文件操作队列的控制方法的步骤。
本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有基于AI训练平台的文件操作队列的控制程序，所述基于AI训练平台的文件操作队列的控制程序被处理器执行时实现如前任一项所述基于AI训练平台的文件操作队列的控制方法的步骤。
本申请提供的技术方案的优点在于，标识用户信息和标识文件操作类型的两种标识信息作为标识同一个线程的标识信息，线程和队列相对应，从而可将同一用户的同一类型的文件操作任务放在同一个队列中，对同一个队列的不同线程按照顺序处理，在一定程度降低了资源的消耗和使用，使得AI训练平台的文件管理服务占用更少的资源，由于文件操作本来是很耗资源的***，这样也防止占用过多资源影响AI训练平台使用体验。将同一用户的不同文件操作和不同用户的文件操作放在不同的队列中，不同队列的线程并发执行，有效提升AI训练平台的处理效率，节省了服务器资源，使更多的资源为算法人员使用，提升用户使用体验，不仅实现了对AI训练平台的文件***的保护，还有效节省了AI训练平台的文件操作过程中的服务资源，提高了AI训练平台的性能，保护了AI训练平台的文件***的稳定性，增强AI训练平台的竞争力；同时又满足了用户的需求，节省了工作时间，提高了工作效率。
此外，本发明实施例还针对基于AI训练平台的文件操作队列的控制方法提供了相应的实现装置及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置及计算机可读存储介质具有相应的优点。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于AI训练平台的文件操作队列的控制方法的流程示意图；
图2为本发明实施例提供的一个示例性应用场景的文件操作示意图；
图3为本发明实施例提供的一个示例性应用场景的用户和AI训练平台的交互示意图；
图4为本发明实施例提供的另一个示例性应用场景的文件操作示意图；
图5为本发明实施例提供的一个示例性应用场景的文件操作进度查询示意图；
图6为本发明实施例提供的另一个示例性应用场景的文件操作进度查询示意图；
图7为本发明实施例提供的基于AI训练平台的文件操作队列的控制装置的一种具体实施方式结构图；
图8为本发明实施例提供的基于AI训练平台的文件操作队列的控制装置的另一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
首先参见图1，图1为本发明实施例提供的一种基于AI训练平台的文件操作队列的控制方法的流程示意图，本发明实施例可包括以下内容：
S101：当接收到登录AI训练平台的授权用户下发的文件操作指令，为文件操作指令分配执行线程，同时根据文件操作指令的文件操作类型和用户标识信息生成线程绑定标识，并将执行线程与线程绑定标识进行绑定。
在本步骤中，授权用户是指成功登录AI训练平台的用户，也即在AI训练平台中预先注册的用户例如基于准确的用户名和登录密码登录AI训练平台上的用户。AI训练平台具有操作界面，授权用户可通过操作界面下发文件操作指令，文件操作例如可为但并不限制为复制、移动、删除、解压缩等。每个文件操作指令需要相应的线程去执行该指令，当检测AI训练平台中有文件操作指令，为该文件操作指令分配一个用于执行该指令的执行线程。每个执行线程具有一个唯一标识，该标识由文件操作指令的文件操作类型和用户标识信息共同生成，用户登录之后形成的唯一标识如toke。举例来说，文件操作指令下发的授权用户的用户标识信息为U1，文件操作指令中的文件操作类型为复制，则文件操作类型可使用C代替，文件操作指令对应的执行线程的标识可为U1*C。文件操作指令下发的授权用户的用户标识信息为U1，文件操作指令中的文件操作类型为剪贴，则文件操作类型可使用X代替，文件操作指令对应的执行线程的标识可为U1*X。文件操作指令下发的授权用户的用户标识信息为U2，文件操作指令中的文件操作类型为复制，则文件操作类型可使用C代替，文件操作指令对应的执行线程的标识可为U2*C。可见，同一个用户的同一个文件操作的执行线程对应的线程绑定标识相同，不同用户的同一个文件操作的执行线程对应的线程绑定标识不相同，同一个用户的不同文件操作的执行线程对应的线程绑定标识不相同。故可用线程绑定标识将同一用户的同一类型的文件操作与其他文件操作区别开来。
S102：若存在与线程绑定标识相同的已有线程绑定标识，将执行线程放入已有线程绑定标识对应的阻塞队列中；若不存在与线程绑定标识相同的已有线程绑定标识，将执行线程放入构建的新阻塞队列。
本申请的每个线程对应一个队列，一个队列中可包含一个线程，也可包括多个线程。可以理解的是，同一个用户在同一时间一般只执行一类文件操作，而在同一时间可执行不同类的文件操作，为了提升用户使用体验，根据S101步骤可知，同一个用户的同一个文件操作的执行线程对应的线程绑定标识相同，在授权用户下发一个文件操作请求后，可先判断AI训练平台中是否已存在同用户的同类型的文件操作请求，将同一用户的同类型的文件操作放在一个队列中，将不同用户的文件操作放在不同队列中，同一用户的不同类型操作也放在不同队列中。
S103：依次按序执行同一队列的各执行线程，并发执行不同队列的执行线程。
为了满足了用户的操作***台，提高算法人员的使用体验，提高模型训练的效率，缩减时间成本，增加了AI训练平台的性能点和竞争力，节省了服务器资源，使更多的资源为算法人员使用。在同一用户同一操作的时候，会进行排队执行，比如，用户a执行了两次复制，那这两个操作就是排队的，顺序执行。如果用户a执行了复制和删除，那么这两个操作是并发执行的。还有一种并发情况，是不同用户之间的任何文件操作都是并发的。将传统的队列的同步处理改进为异步处理，这样提高了用户的体验，提升请求处理效率。对于同一个队列的各执行线程，可基于入队时间顺序进行依次处理，也可按照入队的优先级进行依次处理，这均不影响本申请的实现。
在本发明实施例提供的技术方案中，标识用户信息和标识文件操作类型的两种标识信息作为标识同一个线程的标识信息，线程和队列相对应，从而可将同一用户的同一类型的文件操作任务放在同一个队列中，对同一个队列的不同线程按照顺序处理，在一定程度降低了资源的消耗和使用，使得AI训练平台的文件管理服务占用更少的资源，由于文件操作本来是很耗资源的***，这样也防止占用过多资源影响AI训练平台使用体验。将同一用户的不同文件操作和不同用户的文件操作放在不同的队列中，不同队列的线程并发执行，有效提升AI训练平台的处理效率，节省了服务器资源，使更多的资源为算法人员使用，提升用户使用体验，不仅实现了对AI训练平台的文件***的保护，还有效节省了AI训练平台的文件操作过程中的服务资源，提高了AI训练平台的性能，保护了AI训练平台的文件***的稳定性，增强AI训练平台的竞争力；同时又满足了用户的需求，节省了工作时间，提高了工作效率。
上述实施例对AI训练平台的文件队列设置了文件队列排队操作和文件队列并发操作，也即同一用户登录后，对文件相同操作进行排队，不同的文件操作进行并发操作。文件队列排队操作，是指同一用户同一操作进行排队如解压缩，如图2所示，用户登录之后，对文件的解压缩操作有多个，需要这些操作排队。文件队列并发操作，是指不同用户之间的任何操作或者同一用户的不同操作进行并发如用户a进行复制和用户b进行复制是并发的；用户c的复制和删除是并发的，提升了平台性能，提升用户使用体验。为了进一步提升提高工作人员的工作效率，减少用户等待时间，在用户提交文件操作任务后，还可实时把文件的处理结果反馈给用户，让用户及时的能看到结果，任务完成状态可以为***自动返回，也可在接收到用户查询请求后反馈。基于此，本申请在S103之后，还可包括：
向授权用户反馈文件请求标识，文件请求标识用于唯一标识文件操作指令对应的文件操作；当接收到授权用户下发的携带文件请求标识的进度查询请求，反馈文件请求标识对应的文件操作的任务完成状态信息。
用户通过AI训练平台下发文件操作请求，AI训练平台在REST API生成文件请求标识，并通过REST API将文件请求标识反馈给用户，如图3所示的UUID，其中REST为前端访问后端接口的形式，API（Application Program Interface）为应用程序接口。用户在获取文件请求标识后，可将携带文件请求标识的查询请求下发给AI训练平台，平台基于文件请求标识在用户操作线程池以及保存的处理进度中查询得到请求中的文件操作的进度信息。举例来说，当用户进行文件的复制操作时，用户提交文件复制任务后会返回一个操作标识，如下图4所示，用户根据返回的文件操作标识，进行相应的操作进度查询，在界面可以看到文件的进度状态，***可将复制进度如复制进度条反馈给用户，例如，完成38%或复制失败，同时反馈失败原因，如图5所示和图6所示。
可作为与上述实施例并列的另外一种可选的实施方式，也可作为一种独立的实施方式，在S103依次按序执行同一队列的各执行线程，并发执行不同队列的执行线程之后还可包括：
预先在AI训练平台的操作界面中设置执行进度展示选项；执行进度展示选项包括默认状态和自定义状态。AI训练平台的文件管理界面可提供界面进行文件操作，也即在操作界面中例如可包含上传、复制、移动、删除、解压缩等功能，方便用户在web页面进行文件操作。这些操作都是异步执行，真正处理是在线程中，如上图3线程的作用就是控制队列的并发和排队。
若执行进度展示选项为默认状态，在操作界面以列表形式显示授权用户的所有文件操作的任务完成状态信息。
若执行进度展示选项为自定义状态，当接收到授权用户通过操作界面下发执行进度展示指令，在操作界面中显示授权用户的各文件操作的任务完成状态信息。
在本实施例的一些其他实施方式中，为了提升用户的使用体验，还可预先在执行进度展示选项中设置文件操作类型选择项和授权用户选择项，这样可通过下拉页面形式或者输入框形式输入所需查询的文件操作，还可支持查询其他用户的文件操作的执行状态，还可查询其他用户的某些特定的文件操作的执行状态，可包括下述内容：
当接收到授权用户通过文件操作类型选择项下发目标文件操作执行进度展示指令，在操作界面中显示目标文件操作的任务完成状态信息；
当接收到授权用户通过授权用户选择项下发目标授权用户的操作执行进度展示指令，在操作界面中显示目标授权用户的所有文件操作的任务完成状态信息；
当接收到授权用户通过授权用户选择项和文件操作类型选择项下发目标授权用户的目标文件操作的执行进度展示指令，在操作界面中显示目标授权用户的目标文件操作的任务完成状态信息。
可以理解的是，用一个用户可能有多个文件操作，而显示文件操作的界面有限，为了更加方便用户了解各文件操作的执行状态，可在当检测到当前文件操作的任务完成状态为已完成，主动在操作界面中清空当前文件操作的任务完成状态展示信息。
用户在一次登录过程中可能会由于网络原因或者是其他原因导致当前登录过程失效，或者是运行其他业务被迫停止AI训练平台的业务运行，作为一种可选的实施方式，当检测到授权用户重新登录AI训练平台，自动清除上一次登录过程中所有已完成的文件操作信息；向授权用户展示上一次登录过程中未成功完成的文件操作信息。
本发明实施例在操作界面中展示文件操作的队列，包括排队以及进度信息。同时进度还可分为：完成、失败、实际进度值等多种进度表现形式。进度信息可以以列表的形式进行显示，列表可以为弹出框，且弹出框支持最小化，也可以关闭。关闭后，再次弹出的页面会把已经完成的文件操作清空。在用户重新登陆***，已经完成的也会自动清除，只留下失败的或者是未完成的，通过更加多元、丰富地向用户展示文件操作的执行状态，更加方便用户使用，提升用户使用体验。
需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1-图6只是一种示意方式，并不代表只能是这样的执行顺序。
本发明实施例还针对基于AI训练平台的文件操作队列的控制方法提供了相应的装置，进一步使得所述方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的基于AI训练平台的文件操作队列的控制装置进行介绍，下文描述的基于AI训练平台的文件操作队列的控制装置与上文描述的基于AI训练平台的文件操作队列的控制方法可相互对应参照。
基于功能模块的角度，参见图7，图7为本发明实施例提供的基于AI训练平台的文件操作队列的控制装置在一种具体实施方式下的结构图，该装置可包括：
线程分配模块701，用于当接收到登录AI训练平台的授权用户下发的文件操作指令，为文件操作指令分配执行线程。
标识生成模块702，用于根据文件操作指令的文件操作类型和用户标识信息生成线程绑定标识。
绑定模块703，用于将执行线程与线程绑定标识进行绑定。
线程入队模块704，用于若存在与线程绑定标识相同的已有线程绑定标识，将执行线程放入已有线程绑定标识对应的阻塞队列中；若不存在与线程绑定标识相同的已有线程绑定标识，将执行线程放入构建的新阻塞队列。
线程执行模块705，用于依次按序执行同一队列的各执行线程，并发执行不同队列的执行线程。
可选的，在本实施例的一些实施方式中，所述装置还可以包括进度查询模块，进度查询模块包括：
标识反馈子模块，用于向授权用户反馈文件请求标识，文件请求标识用于唯一标识文件操作指令对应的文件操作；
进度信息反馈子模块，用于当接收到授权用户下发的携带文件请求标识的进度查询请求，反馈文件请求标识对应的文件操作的任务完成状态信息。
作为本申请的另外一些实施方式，所述装置还可包括再登陆文件处理模块，用于当检测到授权用户重新登录AI训练平台，自动清除上一次登录过程中所有已完成的文件操作信息；向授权用户展示上一次登录过程中未成功完成的文件操作信息。
可选的，在本申请实施例的一些其他实施方式中，所述装置例如还可包括进度自显示模块，所述进度自显示模块可包括：
预设置子模块，用于预先在AI训练平台的操作界面中设置执行进度展示选项；执行进度展示选项包括默认状态和自定义状态；
默认显示子模块，用于若执行进度展示选项为默认状态，在操作界面以列表形式显示授权用户的所有文件操作的任务完成状态信息；
自定义显示子模块，用于若执行进度展示选项为自定义状态，当接收到授权用户通过操作界面下发执行进度展示指令，在操作界面中显示授权用户的各文件操作的任务完成状态信息。
在本实施例的一些实施方式中，所述自定义显示子模块还可包括：
选项预设置单元，用于预先在执行进度展示选项中设置文件操作类型选择项和授权用户选择项；
目标文件操作显示单元，用于当接收到授权用户通过文件操作类型选择项下发目标文件操作执行进度展示指令，在操作界面中显示目标文件操作的任务完成状态信息；
其他用户操作显示单元，用于当接收到授权用户通过授权用户选择项下发目标授权用户的操作执行进度展示指令，在操作界面中显示目标授权用户的所有文件操作的任务完成状态信息；
目标用户目标操作显示单元，当接收到授权用户通过授权用户选择项和文件操作类型选择项下发目标授权用户的目标文件操作的执行进度展示指令，在操作界面中显示目标授权用户的目标文件操作的任务完成状态信息。
在本实施例的另外一些实施方式中，所述进度自显示模块还可包括显示信息自清除子模块，用于当检测到当前文件操作的任务完成状态为已完成，主动在操作界面中清空当前文件操作的任务完成状态展示信息。
本发明实施例所述基于AI训练平台的文件操作队列的控制装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例不仅可有效降低AI训练平台的文件操作过程中的服务资源消耗，提升AI训练平台性能，还可提升用户使用体验。
上文中提到的基于AI训练平台的文件操作队列的控制装置是从功能模块的角度描述，进一步的，本申请还提供一种基于AI训练平台的文件操作队列的控制装置，是从硬件角度描述。图8为本申请实施例提供的另一种基于AI训练平台的文件操作队列的控制装置的结构图。如图8所示，该装置包括存储器80，用于存储计算机程序；
处理器81，用于执行计算机程序时实现如上述任一实施例提到的基于AI训练平台的文件操作队列的控制方法的步骤。
其中，处理器81可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器81可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器81也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器81可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器81还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器80可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器80还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器80至少用于存储以下计算机程序801，其中，该计算机程序被处理器81加载并执行之后，能够实现前述任一实施例公开的基于AI训练平台的文件操作队列的控制方法的相关步骤。另外，存储器80所存储的资源还可以包括操作***802和数据803等，存储方式可以是短暂存储或者永久存储。其中，操作***802可以包括Windows、Unix、Linux等。数据803可以包括但不限于测试结果对应的数据等。
在一些实施例中，基于AI训练平台的文件操作队列的控制装置还可包括有显示屏82、输入输出接口83、通信接口84、电源85以及通信总线86。
本领域技术人员可以理解，图8中示出的结构并不构成对基于AI训练平台的文件操作队列的控制装置的限定，可以包括比图示更多或更少的组件，例如还可包括传感器87。
本发明实施例所述基于AI训练平台的文件操作队列的控制装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例不仅可有效降低AI训练平台的文件操作过程中的服务资源消耗，提升AI训练平台性能，还可提升用户使用体验。
可以理解的是，如果上述实施例中的基于AI训练平台的文件操作队列的控制方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此，本发明实施例还提供了一种计算机可读存储介质，存储有基于AI训练平台的文件操作队列的控制程序，所述基于AI训练平台的文件操作队列的控制程序被处理器执行时如上任意一实施例所述基于AI训练平台的文件操作队列的控制方法的步骤。
本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例不仅可有效降低AI训练平台的文件操作过程中的服务资源消耗，提升AI训练平台性能，还可提升用户使用体验。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上对本申请所提供的一种基于AI训练平台的文件操作队列的控制方法、装置及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (9)
1.一种基于AI训练平台的文件操作队列的控制方法，其特征在于，包括：
预先在AI训练平台的操作界面中设置执行进度展示选项；所述执行进度展示选项包括默认状态和自定义状态；
当接收到登录AI训练平台的授权用户下发的文件操作指令，为所述文件操作指令分配执行线程，同时根据所述文件操作指令的文件操作类型和用户标识信息生成线程绑定标识，并将所述执行线程与所述线程绑定标识进行绑定；
若存在与所述线程绑定标识相同的已有线程绑定标识，将所述执行线程放入所述已有线程绑定标识对应的阻塞队列中；若不存在与所述线程绑定标识相同的已有线程绑定标识，将所述执行线程放入构建的新阻塞队列；
依次按序执行同一队列的各执行线程，并发执行不同队列的执行线程；
若所述执行进度展示选项为所述默认状态，在所述操作界面以列表形式显示所述授权用户的所有文件操作的任务完成状态信息；
若所述执行进度展示选项为所述自定义状态，当接收到所述授权用户通过所述操作界面下发执行进度展示指令，在所述操作界面中显示所述授权用户的各文件操作的任务完成状态信息。
2.根据权利要求1所述的基于AI训练平台的文件操作队列的控制方法，其特征在于，所述接收到登录AI训练平台的授权用户下发的文件操作指令之后，还包括：
向所述授权用户反馈文件请求标识，所述文件请求标识用于唯一标识所述文件操作指令对应的文件操作；
当接收到所述授权用户下发的携带所述文件请求标识的进度查询请求，反馈所述文件请求标识对应的文件操作的任务完成状态信息。
3.根据权利要求2所述的基于AI训练平台的文件操作队列的控制方法，其特征在于，所述依次按序执行同一队列的各执行线程，并发执行不同队列的执行线程之后，还包括：
当检测到所述授权用户重新登录所述AI训练平台，自动清除上一次登录过程中所有已完成的文件操作信息；
向所述授权用户展示上一次登录过程中未成功完成的文件操作信息。
4.根据权利要求1所述的基于AI训练平台的文件操作队列的控制方法，其特征在于，所述依次按序执行同一队列的各执行线程，并发执行不同队列的执行线程之后，还包括：
预先在所述执行进度展示选项中设置文件操作类型选择项和授权用户选择项；
当接收到所述授权用户通过所述文件操作类型选择项下发目标文件操作执行进度展示指令，在所述操作界面中显示所述目标文件操作的任务完成状态信息；
当接收到所述授权用户通过所述授权用户选择项下发目标授权用户的操作执行进度展示指令，在所述操作界面中显示所述目标授权用户的所有文件操作的任务完成状态信息；
当接收到所述授权用户通过所述授权用户选择项和所述文件操作类型选择项下发目标授权用户的目标文件操作的执行进度展示指令，在所述操作界面中显示所述目标授权用户的目标文件操作的任务完成状态信息。
5.根据权利要求1所述的基于AI训练平台的文件操作队列的控制方法，其特征在于，所述在所述操作界面中显示所述授权用户的各文件操作的任务完成状态信息包括：
当检测到当前文件操作的任务完成状态为已完成，主动在所述操作界面中清空所述当前文件操作的任务完成状态展示信息。
6.一种基于AI训练平台的文件操作队列的控制装置，其特征在于，包括：
线程分配模块，用于当接收到登录AI训练平台的授权用户下发的文件操作指令，为所述文件操作指令分配执行线程；
标识生成模块，用于根据所述文件操作指令的文件操作类型和用户标识信息生成线程绑定标识；
绑定模块，用于将所述执行线程与所述线程绑定标识进行绑定；
线程入队模块，用于若存在与所述线程绑定标识相同的已有线程绑定标识，将所述执行线程放入所述已有线程绑定标识对应的阻塞队列中；若不存在与所述线程绑定标识相同的已有线程绑定标识，将所述执行线程放入构建的新阻塞队列；
线程执行模块，用于依次按序执行同一队列的各执行线程，并发执行不同队列的执行线程；
进度自显示模块，所述进度自显示模块包括：
预设置子模块，用于预先在所述AI训练平台的操作界面中设置执行进度展示选项；所述执行进度展示选项包括默认状态和自定义状态；
默认显示子模块，用于若所述执行进度展示选项为所述默认状态，在所述操作界面以列表形式显示所述授权用户的所有文件操作的任务完成状态信息；
自定义显示子模块，用于若所述执行进度展示选项为自定义状态，当接收到所述授权用户通过所述操作界面下发执行进度展示指令，在所述操作界面中显示所述授权用户的各文件操作的任务完成状态信息。
7.根据权利要求6所述的基于AI训练平台的文件操作队列的控制装置，其特征在于，还包括进度查询模块，所述进度查询模块包括：
标识反馈子模块，用于向所述授权用户反馈文件请求标识，所述文件请求标识用于唯一标识所述文件操作指令对应的文件操作；
进度信息反馈子模块，用于当接收到所述授权用户下发的携带所述文件请求标识的进度查询请求，反馈所述文件请求标识对应的文件操作的任务完成状态信息。
8.一种基于AI训练平台的文件操作队列的控制装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5任一项所述基于AI训练平台的文件操作队列的控制方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于AI训练平台的文件操作队列的控制程序，所述基于AI训练平台的文件操作队列的控制程序被处理器执行时实现如权利要求1至5任一项所述基于AI训练平台的文件操作队列的控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010973081.9A CN112269719B (zh) | 2020-09-16 | 2020-09-16 | 基于ai训练平台的文件操作队列控制方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010973081.9A CN112269719B (zh) | 2020-09-16 | 2020-09-16 | 基于ai训练平台的文件操作队列控制方法、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112269719A CN112269719A (zh) | 2021-01-26 |
| CN112269719B true CN112269719B (zh) | 2022-12-02 |
Family
ID=74348786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010973081.9A Active CN112269719B (zh) | 2020-09-16 | 2020-09-16 | 基于ai训练平台的文件操作队列控制方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112269719B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113657467B (zh) * | 2021-07-29 | 2023-04-07 | 北京百度网讯科技有限公司 | 模型预训练方法、装置、电子设备和存储介质 |
| CN114168314B (zh) * | 2021-10-27 | 2022-09-20 | 厦门国际银行股份有限公司 | 一种多线程并发的数据指标批量处理方法、装置及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014071478A (ja) * | 2012-09-27 | 2014-04-21 | Toshiba Corp | 情報処理装置および命令のオフローディング方法 |
| CN108509260A (zh) * | 2018-01-31 | 2018-09-07 | 深圳市万普拉斯科技有限公司 | 线程识别处理方法、装置、计算机设备和存储介质 |
| CN109446173A (zh) * | 2018-09-18 | 2019-03-08 | 平安科技（深圳）有限公司 | 日志数据处理方法、装置、计算机设备和存储介质 |
| WO2019089816A2 (en) * | 2017-10-31 | 2019-05-09 | Micron Technology, Inc. | System having a hybrid threading processor, a hybrid threading fabric having configurable computing elements, and a hybrid interconnection network |
-
2020
- 2020-09-16 CN CN202010973081.9A patent/CN112269719B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014071478A (ja) * | 2012-09-27 | 2014-04-21 | Toshiba Corp | 情報処理装置および命令のオフローディング方法 |
| WO2019089816A2 (en) * | 2017-10-31 | 2019-05-09 | Micron Technology, Inc. | System having a hybrid threading processor, a hybrid threading fabric having configurable computing elements, and a hybrid interconnection network |
| CN108509260A (zh) * | 2018-01-31 | 2018-09-07 | 深圳市万普拉斯科技有限公司 | 线程识别处理方法、装置、计算机设备和存储介质 |
| CN109446173A (zh) * | 2018-09-18 | 2019-03-08 | 平安科技（深圳）有限公司 | 日志数据处理方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112269719A (zh) | 2021-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11204793B2 (en) | Determining an optimal computing environment for running an image | |
| US20230138736A1 (en) | Cluster file system-based data backup method and apparatus, and readable storage medium | |
| CN109582433B (zh) | 一种资源调度方法、装置、云计算***及存储介质 | |
| CN106371894B (zh) | 一种配置方法、装置和数据处理服务器 | |
| US9218196B2 (en) | Performing pre-stage replication of data associated with virtual machines prior to migration of virtual machines based on resource usage | |
| US8793377B2 (en) | Identifying optimal virtual machine images in a networked computing environment | |
| US8996647B2 (en) | Optimizing storage between mobile devices and cloud storage providers | |
| CN103064746B (zh) | 基于当前credit进行预测调度的处理器资源精确分配方法 | |
| US10402227B1 (en) | Task-level optimization with compute environments | |
| US20150169412A1 (en) | Saving program execution state | |
| US9372880B2 (en) | Reclamation of empty pages in database tables | |
| CN112269719B (zh) | 基于ai训练平台的文件操作队列控制方法、装置及介质 | |
| US9253048B2 (en) | Releasing computing infrastructure components in a networked computing environment | |
| CN110198243A (zh) | 一种虚拟机的网络接入方法及相关设备 | |
| US8767241B2 (en) | Print services selection in a networked computing environment | |
| US11182217B2 (en) | Multilayered resource scheduling | |
| US9507636B2 (en) | Resource management and allocation using history information stored in application's commit signature log | |
| US11074134B2 (en) | Space management for snapshots of execution images | |
| CN104011680A (zh) | 在物理处理单元中调度虚拟机的虚拟中央处理单元 | |
| US20170093966A1 (en) | Managing a shared pool of configurable computing resources having an arrangement of a set of dynamically-assigned resources | |
| CN115292014A (zh) | 图像渲染方法、装置和服务器 | |
| JP7487498B2 (ja) | グルーピングシステム、第１グルーピング装置、第２グルーピング装置、グルーピング管理装置、及びグルーピング管理プログラム | |
| US9933832B2 (en) | Systems and methods for modifying power states in a virtual environment | |
| CN112748880B (zh) | 存储***中的io通道均衡控制方法、装置及可读存储介质 | |
| CN114153592A (zh) | 云平台的物理主机负载调度方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |