CN111782185A - 人工智能开发平台的管理方法及设备、介质 - Google Patents
人工智能开发平台的管理方法及设备、介质 Download PDFInfo
- Publication number
- CN111782185A CN111782185A CN202010624194.8A CN202010624194A CN111782185A CN 111782185 A CN111782185 A CN 111782185A CN 202010624194 A CN202010624194 A CN 202010624194A CN 111782185 A CN111782185 A CN 111782185A
- Authority
- CN
- China
- Prior art keywords
- model service
- instances
- model
- service
- artificial intelligence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 67
- 238000011161 development Methods 0.000 title claims abstract description 59
- 238000007726 management method Methods 0.000 title claims abstract description 34
- 230000000694 effects Effects 0.000 claims abstract description 37
- 230000004044 response Effects 0.000 claims abstract description 30
- 230000015654 memory Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 4
- 238000007493 shaping process Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003936 working memory Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/35—Creation or generation of source code model driven
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/10—Requirements analysis; Specification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/20—Software design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/36—Software reuse
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44594—Unloading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/547—Remote procedure calls [RPC]; Web services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0866—Checking the configuration
- H04L41/0873—Checking configuration conflicts between network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
- H04L41/5054—Automatic deployment of services triggered by the service manager, e.g. service implementation by automatic configuration of network components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/2895—Intermediate processing functionally located close to the data provider application, e.g. reverse proxies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Stored Programmes (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供一种人工智能开发平台的管理方法及设备、介质,涉及人工智能技术领域。所述人工智能开发平台上部署有多个模型服务的实例,并且每一个模型服务具有一个或多个实例。所述管理方法包括:获取至少一个模型服务的调用信息;根据所述调用信息,确定所述至少一个模型服务的活跃程度;以及响应于所确定的活跃程度满足第一条件,至少删除所述至少一个模型服务的所有实例。
Description
技术领域
本公开涉及人工智能技术领域,特别涉及一种人工智能开发平台的管理方法及设备、介质。
背景技术
随着人工智能(artificial intelligence,简称“AI”)技术在各行业的应用落地,具有AI技术能力的公司通过AI开发平台为用户定制化模型提供自动化部署与服务方案。海量的AI模型服务对AI开发平台的模型部署和在线推理提出了挑战。
发明内容
根据本公开的一方面,提供一种人工智能开发平台的管理方法,所述人工智能开发平台上部署有多个模型服务的实例,并且每一个模型服务具有一个或多个实例,其中,所述管理方法包括:获取至少一个模型服务的调用信息;根据所述调用信息,确定所述至少一个模型服务的活跃程度;以及响应于所确定的活跃程度满足第一条件,至少删除所述至少一个模型服务的所有实例。
根据本公开的另一方面,还提供一种人工智能开发平台***,包括:云端服务器,被配置用于部署有多个模型服务的实例,并且每一个模型服务具有一个或多个实例;调用信息收集模块,被配置用于获取至少一个模型服务的调用信息;检测模块,被配置用于根据所述调用信息,确定所述至少一个模型服务的活跃程度;执行模块,被配置用于响应于所确定的活跃程度满足第一条件,至少删除所述至少一个模型服务的所有实例。
根据本公开的另一方面,还提供一种电子设备,包括:处理器;以及存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据上述的管理方法。
根据本公开的另一方面,还提供一种存储程序的计算机可读存储介质,所述程序包括指令,所述指令在由电子设备的处理器执行时,致使所述电子设备执行根据上述的管理方法。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分,与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的,并不限制权利要求的范围。在所有附图中,相同的附图标记指代类似但不一定相同的要素。
图1是示出根据示例性实施例的人工智能开发平台的管理方法的流程图;
图2是示出根据示例性实施例的至少删除模型服务的所有实例的流程图;
图3是示出根据示例性实施例的人工智能开发平台的管理方法的流程图;
图4是示出根据示例性实施例的人工智能开发平台***的示意性组成框图;
图5是示出能够应用于示例性实施例的示例性计算设备的结构框图。
具体实施方式
在本公开中,除非另有说明,否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系,这种术语只是用于将一个元件与另一元件区分开。在一些示例中,第一要素和第二要素可以指向该要素的同一实例,而在某些情况下,基于上下文的描述,它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的,而并非旨在进行限制。除非上下文另外明确地表明,如果不特意限定要素的数量,则该要素可以是一个也可以是多个。此外,本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
对于AI开发平台,AI模型尤其是深度学***台须要支撑数以万计的模型服务,需要提供海量的内存资源,机器成本很高,并且存在大量模型服务长时间无调用的情况,资源利用率较低。另外,大量服务接入对AI开发平台的接入层造成压力,例如,海量的流量路由规则配置、频繁的路由规则变动,易造成接入层性能问题,从而引发在线推理服务整体的性能下降。
相关技术中,解决海量的AI模型服务引发的上述问题,主要有以下两种方案:
第一种、基于多集群方案,拆分单个大集群为多个中等规模的集群,通过制定分层路由规则减轻单个集群的路由负载;
第二种、基于serverless(无服务器)方案,根据流量特征自动调整服务实例数。
但是,第一种方案没有从根本上解决海量模型占用内存资源的问题,扩容仍需大量机器资源。另外,还会引入集群间协同的问题,网络拓扑复杂,网络问题容易造成多个集群之间状态不同步。第二种方案在AI开发平台上不部署任何模型服务实例,根据流量特征自动调整服务实例数,AI模型服务初始化所需耗时较高,复杂模型可高达分钟级别。因此,serverless方案通过保持流量并转发的自动唤醒机制无法起效,易造成在线推理请求超时。serverless方案还需引入服务网格框架,存量服务的迁移过程较繁琐,增加了平台改造成本。因此,亟需一种有效的技术来解决AI模型服务引发的上述问题。
基于此,本公开提供一种人工智能开发平台的管理方法,通过获取模型服务的调用信息,基于调用信息来确定模型服务的活跃程度。可以设定策略规则,响应于确定模型服务的活跃程度满足第一条件,删除模型服务在开发平台上部署的所有实例,释放机器CPU和内存等资源。从而能够提高资源利用率,降低对AI开发平台的机器资源要求。另外,基于模型服务的调用活跃程度来删除模型服务实例,能够克服serverless自动唤醒机制易造成在线推理请求超时的问题,并且不需要引入服务网格框架,对AI开发平台的改造成本很低。
本公开中响应于接收到模型服务的模型推理流量,由模型服务的一个实例执行在线推理。模型服务的调用信息实际上是模型服务的所有实例的调用信息。
以下将结合附图对本公开的人工智能开发平台的管理方法进行进一步描述。
AI开发平台为用户提供自动化部署与服务方案。AI开发平台上可部署有多个模型服务的实例。模型服务实例可响应于接收到模型服务的模型推理流量执行在线推理,实现一定的功能,例如,图像分类、物体检测、文本识别、语音识别、自然语言处理等等。每一个模型服务可具有一个或多个实例,每一个实例即是该模型服务的一个副本,所述一个或多个实例执行在线推理能够实现相同功能。用户可以根据各自的实际需求来选择模型服务实例的部署数量。
需要说明的是,除特殊声明外,本公开中的模型服务均是指用户在AI开发平台上部署了实例的模型,能够实现一定的功能。用户可以调用自己部署在AI开发平台上的模型服务实例,也可以调用其它用户部署在AI开发平台上的模型服务实例。
图1是示出根据本公开示例性实施例的人工智能开发平台的管理方法的流程图。如图1所示,所述管理方法可以包括:步骤S101、获取至少一个模型服务的调用信息;步骤S102、根据所述调用信息,确定所述至少一个模型服务的活跃程度;以及步骤S103、响应于所确定的活跃程度满足第一条件,至少删除所述至少一个模型服务的所有实例。从而能够提高机器资源利用率。
根据一些实施例,可以确定部署在AI平台上的所有存量模型服务的活跃程度,对活跃程度满足所述第一条件的至少一个模型服务执行删除其所有实例。
所述调用信息例如可以包括模型服务的创建时间,以及以下信息中的至少其中之一:最近调用时间、预定时间窗口内调用次数和预定时间窗口内的调用时刻分布。从而能够基于所述调用信息确定模型服务的活跃程度(即调用活跃程度)。
根据一些实施例,可以但不限于将模型服务的活跃程度划分为两个等级:活跃和低活跃。在这种情况下,可以响应于所确定的活跃程度为低活跃级别,至少删除所述至少一个模型服务的所有实例。
在一些示例性实施例中,基于模型服务的调用信息,若确定该模型服务近期具有稳定的调用,则可确定该模型服务不满足第一条件,不删除该模型服务的实例,从而能够保证该模型服务在线推理请求的时效性。若确定该模型服务近期未被调用,但是在长期时间尺度(例如,自模型服务的创建时间至当前时间这一时间尺度)上具有稳定的调用,则可确定该模型服务满足第一条件,删除该模型服务的所有实例。
根据一些实施例,对于已删除实例的至少一个模型服务,可以响应于确定已删除实例的所述至少一个模型服务在预定的时期内未被调用,删除所述至少一个模型服务在所述平台接入层中的路由配置。即,针对已删除实例的模型服务,进一步判断其在预设的时间窗口内是否未被调用,若是,则对已删除实例的模型服务进一步删除对应的路由规则。从而能够减轻流量路由规则配置和频繁的路由规则变动对平台接入层造成的压力,提升在线推理服务的性能。
在上述的策略规则中,基于调用信息来确定模型服务近期是否被调用并且是否具有稳定的调用,从而将模型服务划分为活跃服务和低活跃服务。响应于确定模型服务的活跃程度为低活跃级别(即满足第一条件),删除模型服务的所有实例。然后确定已删除实例的模型服务在预设的时间窗口内是否被调用,若未被调用,则继续删除已删除实例的模型服务对应的路由规则。从而能够在实现资源利用率提升的同时,减轻过多的路由规则对业务服务带来的性能损耗。
可以理解的是,也可以按照其它策略规则来设定不同于上述的第一条件,并响应于确定模型服务的活跃程度满足设定的第一条件,至少删除模型服务的所有实例。例如,也可以基于调用信息将模型服务划分为活跃服务、低活跃服务和不活跃服务。响应于确定模型服务的活跃程度为活跃,不执行删除模型服务的实例;响应于确定模型服务的活跃程度为低活跃,仅删除模型服务的所有实例;响应于确定模型服务的活跃程度为不活跃,删除模型服务的所有实例和路由规则。也就是说,所述第一条件还可以包括不同的子条件,根据不同的子条件执行至少删除模型服务的所有实施例。该示例性实施例中,活跃服务例如可以为自模型服务的创建时间至当前时间这一时间尺度上均具有稳定调用的服务;低活跃服务例如可以为近期未被调用,但在较长的时间窗口内具有稳定调用的服务;不活跃服务例如可以为在较长的时间窗口内未被调用的服务。
根据一些实施例,如图2所示,步骤S103、所述至少删除所述至少一个模型服务的所有实例可以包括:步骤S1031、确定所述至少一个模型服务是否存在于所述人工智能开发平台的集群中;以及步骤S1032、响应于确定所述至少一个模型服务存在于所述集群中,将所述至少一个模型服务的后端切换至流量承接模块。其中,所述流量承接模块用于接收针对已删除实例的模型服务的模型推理流量。从而能够实现仅是至少删除模型服务在AI开发平台上部署的所有实施例(即所有副本),而不删除模型服务本身,以便于后续能够恢复模型服务的实例部署。
用户在AI开发平台创建模型服务之后,模型服务可以存储在专有的存储***(例如云存储***)中,并且可以根据用户的需求部署一定数量的实例,用以执行在线推理。
根据一些实施例,步骤S103还可以包括:步骤S1033、将所述至少一个模型服务的原始数据信息继续存储在所述集群中。其中,所述原始数据信息至少包括所述至少一个模型服务在被删除实例之前部署在所述开发平台上的实例的第一数量。从而能够在已删除实例的模型服务被调用时能够恢复模型服务的所有实例,不影响用户的在线推理需求。
所述原始数据信息例如还可以包括已删除实例的模型服务所需的计算资源(例如,处理器的类别和型号等),从而在恢复已删除模型服务的所有实例后,能够保证模型服务的在线推理性能。
所述人工智能开发平台可以但不限于为单集群。从而能够保证在删除模型服务的实例后,模型服务的原始数据信息存在于并且可仍继续存储在所述集群中,以便于后续能够恢复模型服务的实例部署。
在AI开发平台为单集群的情况下,可以响应于删除模型服务的所有实例,直接执行将已删除实例的模型服务的后端切换至流量承接模块,所述流量承接模块用于接收针对已删除实例的模型服务的模型推理流量。
根据一些实施例,如图3所示,所述管理方法还可以包括:步骤S104、响应于所述流量承接模块接收到针对已删除实例的所述至少一个模型服务的模型推理流量,触发对所述至少一个模型服务的唤醒操作。所述唤醒操作可以包括:在所述人工智能开发平台上恢复所述至少一个模型服务的所述第一数量的实例,并且轮询已恢复的实例的状态直到所述第一数量的实例全部启动完成;以及将所述至少一个模型服务的后端切换回已恢复的第一数量的实例。从而能够在用户调用已删除实例的模型服务时,在AI开发平台上恢复模型服务的所有实例,并执行在线推理。另外,在恢复已删除模型服务的所有实例后,将模型服务的后端切换回模型服务实例,便于后续对该模型服务的调用,避免出现对该模型服务的在线推理请求延时的问题。
在所述至少一个模型服务在所述平台接入层中的路由配置已被删除的情况下,所述唤醒操作还可以包括:重新配置所述至少一个模型服务对应的路由规则。从而接入层在接收到已恢复实例的所述至少一个模型服务的模型推理流量时,能够根据路由规则建立用户端与模型服务实例之间的连接。
在一个示例性实施例中,所述流量承接模块可以具有多个实例,并且其中,当所述流量承接模块的多个实例中的第一实例首先接收到对已删除实例的所述至少一个模型服务的模型推理流量时,所述第一实例获得分布式锁资源并触发所述唤醒操。其中,所述第一实例在持有所述分布式锁资源时能够阻止所述流量承接模块的多个实例中的其他实例触发所述唤醒操作。由此,通过设置分布式锁资源能够避免重复唤醒已删除实例的模型服务,避免不必要地占用机器资源。
本公开的技术方案基于模型服务的调用信息来确定模型服务的调用活跃程度,通过设定策略规则,可以响应于模型服务的活跃程度满足预设的第一条件,至少删除模型服务的所有实施例,从而能够提高机器资源的利用效率,降低对平台的机器资源要求,还能够提升在线推理的性能。
上面内容中已经给出能够表征模型服务被调用的活跃程度的调用信息可以包括模型服务的创建时间,以及模型服务的以下信息中的至少其中之一:最近调用时间、预定时间窗口内调用次数和预定时间窗口内的调用时刻分布。从而能够基于所述调用信息确定模型服务的调用活跃程度。
也就是说,步骤S101、获取所述至少一个模型服务的调用信息可以包括:获取所述至少一个模型服务的创建时间,以及获取所述至少一个模型服务的以下信息中的至少其中之一:最近调用时间、预定时间窗口内调用次数和预定时间窗口内的调用时刻分布。
根据一些实施例,可以通过分析与所述至少一个模型服务的所有实例有关的流量日志,获取所述至少一个模型服务的以下信息中的至少其中之一:最近调用时间、预定时间窗口内调用次数和预定时间窗口内的调用时刻分布。例如,可以通过平台接入层获取与所述至少一个模型服务的所有实例有关的流量日志,通过分析流量日志获取所述至少一个模型服务的上述信息。可以定时执行获取与所述至少一个模型服务的所有实例有关的流量日志,例如,当天获取前一天所述至少一个模型服务的所有实例有关的流量日志。可以汇聚平台接入层所有实施例的流量日志,解析日志中的每一条推理流量请求,获取每一个模型服务的调用信息。通过平台接入层的流量日志可以获取AI开发平台的所有存量模型服务的所有实例的调用信息,从而能够通过解析流量日志获取每一个存量模型服务的调用信息,并基于调用信息确定每一个存量模型服务的调用活跃程度。
本公开的另一方面,还提供一种人工智能开发平台***。如图4所示,人工智能开发平台***100可以包括:云端服务器1001,被配置用于部署有多个模型服务的实例,并且每一个模型服务具有一个或多个实例;调用信息收集模块101,被配置用于获取至少一个模型服务的调用信息;检测模块102,被配置用于根据所述调用信息,确定所述至少一个模型服务的活跃程度;执行模块103,被配置用于响应于所确定的活跃程度满足第一条件,至少删除所述至少一个模型服务的所有实例。从而能够提高机器资源利用率。
根据一些实施例,调用信息收集模块101可被配置用于获取所述至少一个模型服务的创建时间,以及通过分析与所述至少一个模型服务的所有实例有关的流量日志,获取所述至少一个模型服务的以下信息中的至少其中之一:最近调用时间、预定时间窗口内调用次数和预定时间窗口内的调用时刻分布。可以理解的是,所述调用信息还可以包括其它信息,只要能够表征所述至少一个模型服务的调用活跃程度即可,在此不作限定。
根据一些实施例,执行模块103还可被配置用于响应于确定已删除实例的所述至少一个模型服务在预定的时期内未被调用,删除所述至少一个模型服务在平台接入层105中的路由配置。从而能够减轻流量路由规则配置和频繁的路由规则变动对平台接入层造成的压力,提升在线推理服务的性能。
根据一些实施例,人工智能开发平台***100还可以包括流量承接模块104,并且其中,响应于所确定的活跃程度满足第一条件,执行模块103还可被配置为:确定所述至少一个模型服务是否存在于所述人工智能开发平台***的集群中;以及响应于确定所述至少一个模型服务存在于所述集群中,将所述至少一个模型服务的后端切换至流量承接模块104,其中,流量承接模块104用于接收针对已删除实例的模型服务的模型推理流量。
根据一些实施例,执行模块103还可被配置为:将所述至少一个模型服务的原始数据信息继续存储在所述集群中,其中,所述原始数据信息至少包括所述至少一个模型服务在被删除实例之前部署在云端服务器1001上的实例的第一数量。从而能够在已删除实例的模型服务被调用时能够恢复模型服务的所有实例,不影响用户的在线推理需求。
所述人工智能开发平台***可以但不限于为单集群,从而能够保证在删除模型服务的实例后,模型服务的原始数据信息存在于并且可仍继续存储在所述集群中,以便于后续能够恢复模型服务的实例部署。
根据一些实施例,人工智能开发平台***100还可以包括服务唤醒模块106,服务唤醒模块106可被配置用于:响应于流量承接模块104接收到针对已删除实例的所述至少一个模型服务的模型推理流量,在云端服务器1001上恢复所述至少一个模型服务的所述第一数量的实例,并且轮询已恢复的实例的状态直到所述第一数量的实例全部启动完成;以及将所述至少一个模型服务的后端切换回已恢复的第一数量的实例。从而能够在用户调用已删除实例的模型服务时,在AI开发平台***的云端服务器上恢复模型服务的所有实例,并执行在线推理。另外,在恢复已删除模型服务的所有实例后,将模型服务的后端切换回模型服务实例,便于后续对该模型服务的调用,避免出现对该模型服务的在线推理请求延时的问题。
在所述至少一个模型服务在所述平台接入层中的路由配置已被删除的情况下,服务唤醒模块106还可被配置用于重新配置所述至少一个模型服务对应的路由规则。从而接入层在接收到所述至少一个模型服务的模型推理流量时,能够根据路由规则建立用户端与模型服务实例之间的连接。
在一个示例性实施例中,流量承接模块104可以具有多个实例,并且其中,当流量承接模块104的多个实例中的第一实例首先接收到对已删除实例的所述至少一个模型服务的模型推理流量时,所述第一实例获得分布式锁资源并触发所述唤醒操作,其中,所述第一实例在持有所述分布式锁资源时能够阻止所述流量承接模块的多个实例中的其他实例触发所述唤醒操作。由此,通过设置分布式锁资源能够避免重复唤醒已删除实例的模型服务,避免不必要地占用机器资源。
根据本公开的另一方面,还提供一种电子设备,包括:处理器;以及存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据上述的管理方法。
根据本公开的另一方面,还提供一种存储程序的计算机可读存储介质,所述程序包括指令,所述指令在由电子设备的处理器执行时,致使所述电子设备执行根据上述的管理方法。
参见图5所示,现将描述计算设备2000,其是可以应用于本公开的各方面的硬件设备(电子设备)的示例。计算设备2000可以是被配置为执行处理和/或计算的任何机器,可以是但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数字助理、机器人、智能电话、车载计算机或其任何组合。上述管理方法可以全部或至少部分地由计算设备2000或类似设备或***实现。
计算设备2000可以包括(可能经由一个或多个接口)与总线2002连接或与总线2002通信的元件。例如,计算设备2000可以包括总线2002、一个或多个处理器2004、一个或多个输入设备2006以及一个或多个输出设备2008。一个或多个处理器2004可以是任何类型的处理器,并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如特殊处理芯片)。输入设备2006可以是能向计算设备2000输入信息的任何类型的设备,并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或遥控器。输出设备2008可以是能呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算设备2000还可以包括非暂时性存储设备2010或者与非暂时性存储设备2010连接,非暂时性存储设备可以是非暂时性的并且可以实现数据存储的任何存储设备,并且可以包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁介质,光盘或任何其他光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何其他存储器芯片或盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。非暂时性存储设备2010可以从接口拆卸。非暂时性存储设备2010可以具有用于实现上述方法和步骤的数据/程序(包括指令)/代码。计算设备2000还可以包括通信设备2012。通信设备2012可以是使得能够与外部设备和/或与网络通信的任何类型的设备或***,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组,例如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算设备2000还可以包括工作存储器2014,其可以是可以存储对处理器2004的工作有用的程序(包括指令)和/或数据的任何类型的工作存储器,并且可以包括但不限于随机存取存储器和/或只读存储器设备。
软件要素(程序)可以位于工作存储器2014中,包括但不限于操作***2016、一个或多个应用程序2018、驱动程序和/或其他数据和代码。用于执行上述方法和步骤的指令可以被包括在一个或多个应用程序2018中,并且上述管理方法可以通过由处理器2004读取和执行一个或多个应用程序2018的指令来实现。更具体地,上述管理方法中,步骤S101-步骤S103可以例如通过处理器2004执行具有步骤S101-步骤S103的指令的应用程序2018而实现。此外,上述管理方法中的其它步骤可以例如通过处理器2004执行具有执行相应步骤中的指令的应用程序2018而实现。软件要素(程序)的指令的可执行代码或源代码可以存储在非暂时性计算机可读存储介质(例如上述存储设备2010)中,并且在执行时可以被存入工作存储器2014中(可能被编译和/或安装)。软件要素(程序)的指令的可执行代码或源代码也可以从远程位置下载。
还应该理解,可以根据具体要求而进行各种变型。例如,也可以使用定制硬件,和/或可以用硬件、软件、固件、中间件、微代码,硬件描述语言或其任何组合来实现特定元件。例如,所公开的方法和设备中的一些或全部可以通过使用根据本公开的逻辑和算法,用汇编语言或硬件编程语言(诸如VERILOG,VHDL,C++)对硬件(例如,包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)进行编程来实现。
还应该理解,前述方法可以通过服务器-客户端模式来实现。例如,客户端可以接收用户输入的数据并将所述数据发送到服务器。客户端也可以接收用户输入的数据,进行前述方法中的一部分处理,并将处理所得到的数据发送到服务器。服务器可以接收来自客户端的数据,并且执行前述方法或前述方法中的另一部分,并将执行结果返回给客户端。客户端可以从服务器接收到方法的执行结果,并例如可以通过输出设备呈现给用户。
还应该理解,计算设备2000的组件可以分布在网络上。例如,可以使用一个处理器执行一些处理,而同时可以由远离该一个处理器的另一个处理器执行其他处理。计算***2000的其他组件也可以类似地分布。这样,计算设备2000可以被解释为在多个位置执行处理的分布式计算***。
虽然已经参照附图描述了本公开的实施例或示例,但应理解,上述的方法、***和设备仅仅是示例性的实施例或示例,本发明的范围并不由这些实施例或示例限制,而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外,可以通过不同于本公开中描述的次序来执行各步骤。进一步地,可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进,在此描述的很多要素可以由本公开之后出现的等同要素进行替换。
Claims (19)
1.一种人工智能开发平台的管理方法,所述人工智能开发平台上部署有多个模型服务的实例,并且每一个模型服务具有一个或多个实例,其中,所述管理方法包括:
获取至少一个模型服务的调用信息;
根据所述调用信息,确定所述至少一个模型服务的活跃程度;以及
响应于所确定的活跃程度满足第一条件,至少删除所述至少一个模型服务的所有实例。
2.如权利要求1所述的管理方法,还包括:
响应于确定已删除实例的所述至少一个模型服务在预定的时期内未被调用,删除所述至少一个模型服务在平台接入层中的路由配置。
3.如权利要求1或2所述的管理方法,其中,所述至少删除所述至少一个模型服务的所有实例包括:
确定所述至少一个模型服务是否存在于所述人工智能开发平台的集群中;以及
响应于确定所述至少一个模型服务存在于所述集群中,将所述至少一个模型服务的后端切换至流量承接模块,其中,所述流量承接模块用于接收针对已删除实例的模型服务的模型推理流量。
4.如权利要求3所述的管理方法,其中,所述至少删除所述至少一个模型服务的所有实例还包括:
将所述至少一个模型服务的原始数据信息继续存储在所述集群中,其中,所述原始数据信息至少包括所述至少一个模型服务在被删除实例之前部署在所述人工智能开发平台上的实例的第一数量。
5.如权利要求4所述的管理方法,还包括:
响应于所述流量承接模块接收到针对已删除实例的所述至少一个模型服务的模型推理流量,触发对所述至少一个模型服务的唤醒操作,所述唤醒操作包括:
在所述人工智能开发平台上恢复所述至少一个模型服务的所述第一数量的实例,并且轮询已恢复的实例的状态直到所述第一数量的实例全部启动完成;以及
将所述至少一个模型服务的后端切换回已恢复的第一数量的实例。
6.如权利要求5所述的管理方法,其中,在所述至少一个模型服务在所述平台接入层中的路由配置已被删除的情况下,所述唤醒操作还包括:
重新配置所述至少一个模型服务对应的路由规则。
7.如权利要求5或6中所述的管理方法,其中,所述流量承接模块具有多个实例,并且其中,
当所述流量承接模块的多个实例中的第一实例首先接收到对已删除实例的所述至少一个模型服务的模型推理流量时,所述第一实例获得分布式锁资源并触发所述唤醒操作,其中,所述第一实例在持有所述分布式锁资源时能够阻止所述流量承接模块的多个实例中的其他实例触发所述唤醒操作。
8.如权利要求1所述的管理方法,其中,获取所述至少一个模型服务的调用信息包括:
获取所述至少一个模型服务的创建时间;
通过分析与所述至少一个模型服务的所有实例有关的流量日志,获取所述至少一个模型服务的以下信息中的至少其中之一:最近调用时间、预定时间窗口内调用次数和预定时间窗口内的调用时刻分布。
9.如权利要求1所述的管理方法,其中,所述人工智能开发平台为单集群。
10.一种人工智能开发平台***,包括:
云端服务器,被配置用于部署有多个模型服务的实例,并且每一个模型服务具有一个或多个实例;
调用信息收集模块,被配置用于获取至少一个模型服务的调用信息;
检测模块,被配置用于根据所述调用信息,确定所述至少一个模型服务的活跃程度;
执行模块,被配置用于响应于所确定的活跃程度满足第一条件,至少删除所述至少一个模型服务的所有实例。
11.如权利要求10所述的人工智能开发平台***,其中,所述执行模块还被配置用于响应于确定已删除实例的所述至少一个模型服务在预定的时期内未被调用,删除所述至少一个模型服务在平台接入层中的路由配置。
12.如权利要求10或11所述的人工智能开发平台***,其中,所述人工智能开发平台***还包括流量承接模块,并且其中,
响应于所确定的活跃程度满足第一条件,所述执行模块还被配置为:
确定所述至少一个模型服务是否存在于所述人工智能开发平台***的集群中;以及
响应于确定所述至少一个模型服务存在于所述集群中,将所述至少一个模型服务的后端切换至所述流量承接模块,其中,所述流量承接模块用于接收针对已删除实例的模型服务的模型推理流量。
13.如权利要求12所述的人工智能开发平台***,其中,所述执行模块还被配置为:
将所述至少一个模型服务的原始数据信息继续存储在所述集群中,其中,所述原始数据信息至少包括所述至少一个模型服务在被删除实例之前部署在所述云端服务器上的实例的第一数量。
14.如权利要求13所述的人工智能开发平台***,其中,所述人工智能开发平台***还包括服务唤醒模块,所述服务唤醒模块被配置用于:
响应于所述流量承接模块接收到针对已删除实例的所述至少一个模型服务的模型推理流量,在所述云端服务器上恢复所述至少一个模型服务的所述第一数量的实例,并且轮询已恢复的实例的状态直到所述第一数量的实例全部启动完成;以及将所述至少一个模型服务的后端切换回已恢复的第一数量的实例。
15.如权利要求14所述的人工智能开发平台***,其中,在所述至少一个模型服务在所述平台接入层中的路由配置已被删除的情况下,所述服务唤醒模块还被配置用于重新配置所述至少一个模型服务对应的路由规则。
16.如权利要求14或15中所述的人工智能开发平台***,其中,所述流量承接模块具有多个实例,并且其中,
当所述流量承接模块的多个实例中的第一实例首先接收到对已删除实例的所述至少一个模型服务的模型推理流量时,所述第一实例获得分布式锁资源并触发所述唤醒操作,其中,所述第一实例在持有所述分布式锁资源时能够阻止所述流量承接模块的多个实例中的其他实例触发所述唤醒操作。
17.如权利要求10所述的人工智能开发平台***,其中,所述调用信息收集模块被配置用于获取所述至少一个模型服务的创建时间,以及通过分析与所述至少一个模型服务的所有实例有关的流量日志,获取所述至少一个模型服务的以下信息中的至少其中之一:最近调用时间、预定时间窗口内调用次数和预定时间窗口内的调用时刻分布。
18.一种电子设备,包括:
处理器;以及
存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-9中任一项所述的管理方法。
19.一种存储程序的计算机可读存储介质,所述程序包括指令,所述指令在由电子设备的处理器执行时,致使所述电子设备执行根据权利要求1-9中任一项所述的管理方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010624194.8A CN111782185B (zh) | 2020-06-30 | 2020-06-30 | 人工智能开发平台的管理方法及设备、介质 |
KR1020210031313A KR102556186B1 (ko) | 2020-06-30 | 2021-03-10 | 인공 지능 개발 플랫폼의 관리 방법 및 장치, 매체 |
EP21163519.8A EP3817339B1 (en) | 2020-06-30 | 2021-03-18 | Method and system for management of an artificial intelligence development platform |
JP2021045551A JP7161560B2 (ja) | 2020-06-30 | 2021-03-19 | 人工知能開発プラットフォームの管理方法及び装置、媒体 |
US17/207,268 US11455173B2 (en) | 2020-06-30 | 2021-03-19 | Management of artificial intelligence development platform |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010624194.8A CN111782185B (zh) | 2020-06-30 | 2020-06-30 | 人工智能开发平台的管理方法及设备、介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111782185A true CN111782185A (zh) | 2020-10-16 |
CN111782185B CN111782185B (zh) | 2024-01-09 |
Family
ID=72760076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010624194.8A Active CN111782185B (zh) | 2020-06-30 | 2020-06-30 | 人工智能开发平台的管理方法及设备、介质 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11455173B2 (zh) |
EP (1) | EP3817339B1 (zh) |
JP (1) | JP7161560B2 (zh) |
KR (1) | KR102556186B1 (zh) |
CN (1) | CN111782185B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113608751A (zh) * | 2021-08-04 | 2021-11-05 | 北京百度网讯科技有限公司 | 推理服务平台的运行方法、装置、设备及存储介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114844843B (zh) * | 2022-03-24 | 2024-06-25 | 清华大学 | 应用实例数量的调整方法及装置 |
CN115437781B (zh) * | 2022-06-30 | 2023-10-31 | 北京九章云极科技有限公司 | 一种gpu资源管理方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012160567A1 (en) * | 2011-05-20 | 2012-11-29 | Yogesh Chunilal Rathod | A system and method for providing unified active search engine based on search result item specific identified, dynamic, contextual & accessible active links. |
CN104331492A (zh) * | 2014-11-14 | 2015-02-04 | 北京国双科技有限公司 | 一种缓存多实例数据的方法及装置 |
CN106257888A (zh) * | 2015-06-16 | 2016-12-28 | 金士顿数位股份有限公司 | 用于私有通信架构的私有云端路由服务器连接机制 |
US20190014015A1 (en) * | 2017-07-04 | 2019-01-10 | Vmware, Inc. | Smart service catalogs based deployment of applications |
CN109286653A (zh) * | 2017-07-21 | 2019-01-29 | 埃森哲环球解决方案有限公司 | 智能云工程平台 |
CN110442369A (zh) * | 2019-07-15 | 2019-11-12 | 上海易点时空网络有限公司 | 适用于git的代码清理方法及装置、存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3688586A1 (en) * | 2017-09-30 | 2020-08-05 | Oracle International Corporation | Leveraging microservice containers to provide tenant isolation in a multi-tenant api gateway |
US11977958B2 (en) | 2017-11-22 | 2024-05-07 | Amazon Technologies, Inc. | Network-accessible machine learning model training and hosting system |
KR102146602B1 (ko) * | 2017-12-22 | 2020-08-20 | 건국대학교 산학협력단 | 도커를 이용한 컨테이너 기반 딥러닝 개발 플랫폼 제공 방법 및 장치 |
US11029947B2 (en) * | 2019-08-30 | 2021-06-08 | Accenture Global Solutions Limited | Utilizing artificial intelligence to improve productivity of software development and information technology operations (DevOps) |
-
2020
- 2020-06-30 CN CN202010624194.8A patent/CN111782185B/zh active Active
-
2021
- 2021-03-10 KR KR1020210031313A patent/KR102556186B1/ko active IP Right Grant
- 2021-03-18 EP EP21163519.8A patent/EP3817339B1/en active Active
- 2021-03-19 JP JP2021045551A patent/JP7161560B2/ja active Active
- 2021-03-19 US US17/207,268 patent/US11455173B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012160567A1 (en) * | 2011-05-20 | 2012-11-29 | Yogesh Chunilal Rathod | A system and method for providing unified active search engine based on search result item specific identified, dynamic, contextual & accessible active links. |
CN104331492A (zh) * | 2014-11-14 | 2015-02-04 | 北京国双科技有限公司 | 一种缓存多实例数据的方法及装置 |
CN106257888A (zh) * | 2015-06-16 | 2016-12-28 | 金士顿数位股份有限公司 | 用于私有通信架构的私有云端路由服务器连接机制 |
US20190014015A1 (en) * | 2017-07-04 | 2019-01-10 | Vmware, Inc. | Smart service catalogs based deployment of applications |
CN109286653A (zh) * | 2017-07-21 | 2019-01-29 | 埃森哲环球解决方案有限公司 | 智能云工程平台 |
CN110442369A (zh) * | 2019-07-15 | 2019-11-12 | 上海易点时空网络有限公司 | 适用于git的代码清理方法及装置、存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113608751A (zh) * | 2021-08-04 | 2021-11-05 | 北京百度网讯科技有限公司 | 推理服务平台的运行方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20210211361A1 (en) | 2021-07-08 |
CN111782185B (zh) | 2024-01-09 |
US11455173B2 (en) | 2022-09-27 |
KR20210034558A (ko) | 2021-03-30 |
EP3817339A3 (en) | 2021-05-19 |
EP3817339A2 (en) | 2021-05-05 |
EP3817339B1 (en) | 2023-10-18 |
KR102556186B1 (ko) | 2023-07-14 |
JP2021121921A (ja) | 2021-08-26 |
JP7161560B2 (ja) | 2022-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10938678B2 (en) | Automation plan generation and ticket classification for automated ticket resolution | |
CN111782185B (zh) | 人工智能开发平台的管理方法及设备、介质 | |
CN108089921B (zh) | 用于云端大数据运算架构的服务器及其运算资源最佳化方法 | |
RU2544777C2 (ru) | Динамическое размещение данных точных копий | |
US20060277257A1 (en) | Minimizing data transfer from POP3 servers | |
US10725818B2 (en) | Agent-based configuration co-management to selectively migrate workloads | |
US20190138375A1 (en) | Optimization of message oriented middleware monitoring in heterogenenous computing environments | |
WO2021104132A1 (zh) | 一种基于云虚拟机的数据访问方法及设备 | |
US9258187B2 (en) | System and method for optimizing and digitally correcting errors on a computer system | |
US20230010781A1 (en) | Reducing time to test cycle first fail | |
CN109710401A (zh) | 一种云计算资源成本优化方法 | |
CN103685359A (zh) | 数据处理方法及装置 | |
CN113377500B (zh) | 一种资源调度方法、装置、设备及介质 | |
US11687116B2 (en) | Intelligent user equipment central processing unit core clock adjustment | |
CN117909083B (zh) | 一种分布式云容器资源调度方法及*** | |
US20230315522A1 (en) | Systems and methods for implementing distributed scheduling capabilities for computing clusters | |
US20240177179A1 (en) | System and method for management of inference models of varying complexity | |
CN117278572A (zh) | 一种数据传输方法、装置、电子设备及可读存储介质 | |
JP2023039924A (ja) | 機器に搭載された多数の連合学習モデルを管理する方法、システム、およびコンピュータプログラム | |
CN117992072A (zh) | 3d打印策略部署方法、***及相关产品 | |
CN114816696A (zh) | 一种自动化执行Kubernetes任务的方法、***及设备 | |
CN117971398A (zh) | 一种带宽调整方法、装置、计算机设备及存储介质 | |
CN116932312A (zh) | 应用数据处理方法、装置、计算机设备和存储介质 | |
CN113297268A (zh) | 数据处理方法及装置 | |
CN117956038A (zh) | 一种服务混合部署方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |