CN117439958A - 一种ai网络模型交互方法、装置和通信设备 - Google Patents
一种ai网络模型交互方法、装置和通信设备 Download PDFInfo
- Publication number
- CN117439958A CN117439958A CN202210822781.7A CN202210822781A CN117439958A CN 117439958 A CN117439958 A CN 117439958A CN 202210822781 A CN202210822781 A CN 202210822781A CN 117439958 A CN117439958 A CN 117439958A
- Authority
- CN
- China
- Prior art keywords
- network model
- information
- target
- model
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 165
- 230000003993 interaction Effects 0.000 title claims abstract description 76
- 238000004891 communication Methods 0.000 title claims abstract description 46
- 238000007906 compression Methods 0.000 claims abstract description 123
- 230000006835 compression Effects 0.000 claims abstract description 120
- 238000012545 processing Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 26
- 238000013473 artificial intelligence Methods 0.000 claims description 13
- 230000011664 signaling Effects 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000000354 decomposition reaction Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013140 knowledge distillation Methods 0.000 description 4
- 238000013138 pruning Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/38—Flow control; Congestion control by adapting coding or compression rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本申请公开了一种AI网络模型交互方法、装置和通信设备,属于通信技术领域,本申请实施例的AI网络模型交互方法包括:第一设备向第二设备发送第一信息,所述第一信息包括所述第一设备对AI网络模型进行压缩和/或模型推理相关的信息;所述第一设备获取目标AI网络模型的相关信息,所述目标AI网络模型与所述第一信息对应。
Description
技术领域
本申请属于通信技术领域,具体涉及一种AI网络模型交互方法、装置和通信设备。
背景技术
在相关技术中,对借助人工智能(Artificial Intelligence,AI)网络模型来提升第5代(5th Generation,5G)通信***网络性能的方法进行了研究。
该AI网络模型可以借助已有的AI工具,来实现网络模型的搭建、训练与验证工作。并通过在无线通信***中对AI网络模型进行交互,以将训练得到的AI网络模型部署在需要使用该AI网络模型的目标设备,这就涉及AI网络模型的传输问题。
在相关技术中,存在由于AI网络模型的尺寸较大或复杂度较高而造成传输开销大,推理时占用大量的计算资源,推理时延高等问题。
发明内容
本申请实施例提供一种AI网络模型交互方法、装置和通信设备,能够降低传输开销和/或降低推理时占用的计算资源和推理时延。
第一方面,提供了一种人工智能AI网络模型交互方法,该方法包括:
第一设备向第二设备发送第一信息,所述第一信息包括所述第一设备需要的AI网络模型的压缩和/或模型推理相关的信息;
所述第一设备获取目标AI网络模型的相关信息,所述目标AI网络模型与所述第一信息对应。
第二方面,提供了一种人工智能AI网络模型交互装置,应用于第一设备,该装置包括:
第一发送模块,用于向第二设备发送第一信息,所述第一信息包括所述第一设备需要的AI网络模型的压缩和/或模型推理相关的信息;
第一获取模块,用于获取目标AI网络模型的相关信息,所述目标AI网络模型与所述第一信息对应。
第三方面,提供了一种人工智能AI网络模型交互方法,包括:
第二设备接收来自第一设备的第一信息,所述第一信息包括所述第一设备需要的AI网络模型的压缩和/或模型推理相关的信息;
所述第二设备向所述第一设备发送目标AI网络模型的相关信息,所述目标AI网络模型与所述第一信息对应,或者,所述第二设备根据所述第一信息发送第一AI网络模型的相关信息,其中,所述第一AI网络模型用于进行压缩处理得到第二AI网络模型,所述第二AI网络模型与所述第一信息对应。
第四方面,提供了一种人工智能AI网络模型交互装置,应用于第二设备,该装置包括:
第一接收模块,用于接收来自第一设备的第一信息,所述第一信息包括所述第一设备需要的AI网络模型的压缩和/或模型推理相关的信息;
第二发送模块,用于向所述第一设备发送目标AI网络模型的相关信息,所述目标AI网络模型与所述第一信息对应,或者,根据所述第一信息发送第一AI网络模型的相关信息,其中,所述第一AI网络模型用于进行压缩处理得到第二AI网络模型,所述第二AI网络模型与所述第一信息对应。
第五方面,提供了一种通信设备,该通信设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面或第三方面所述的方法的步骤。
第六方面,提供了一种通信设备,包括处理器及通信接口,其中,所述通信接口用于向第二设备发送第一信息,所述第一信息包括所述第一设备需要的AI网络模型的压缩和/或模型推理相关的信息;所述通信接口或者所述处理器用于获取目标AI网络模型的相关信息,所述目标AI网络模型与所述第一信息对应;或者,
所述通信接口用于接收来自第一设备的第一信息,以及向所述第一设备发送目标AI网络模型的相关信息或者根据所述第一信息发送第一AI网络模型的相关信息,其中,所述第一信息包括所述第一设备需要的AI网络模型的压缩和/或模型推理相关的信息,所述目标AI网络模型与所述第一信息对应,所述第一AI网络模型用于进行压缩处理得到第二AI网络模型,所述第二AI网络模型与所述第一信息对应。
第七方面,提供了一种通信***,包括:第一设备及第二设备,所述第一设备可用于执行如第一方面所述的AI网络模型交互方法的步骤,所述第二设备可用于执行如第三方面所述的AI网络模型交互方法的步骤。
第八方面,提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤,或者实现如第三方面所述的方法的步骤。
第九方面,提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法,或实现如第三方面所述的方法。
第十方面,提供了一种计算机程序/程序产品,所述计算机程序/程序产品被存储在存储介质中,所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的AI网络模型交互方法的步骤,或者所述计算机程序/程序产品被至少一个处理器执行以实现如第三方面所述的AI网络模型交互方法的步骤。
在本申请实施例中,第一设备向第二设备发送第一信息,所述第一信息包括所述第一设备需要的AI网络模型的压缩和/或模型推理相关的信息;所述第一设备获取目标AI网络模型的相关信息,所述目标AI网络模型与所述第一信息对应。这样,在第二设备预先存储或者训练得到AI网络模型的情况下,第一设备在从第二设备获取AI网络模型的过程中,第一设备可以向第二设备发送该第一设备所需要的AI网络模型的压缩和/或模型推理相关的信息,以使第二设备能够按照第一设备的需求来确定以下至少一项:第一设备需要的AI网络模型的类型、尺寸、功能、复杂程度,以及对确定的AI网络模型进行压缩处理时的参数、压缩方法、压缩节点等,这样,能够使第二设备按照第一设备的需求对AI网络模型进行压缩,并对压缩后的AI网络模型进行传输,能够降低AI网络模型的传输开销;此外,还可以是第二设备按照第一设备的需求选择与第一设备的模型推理过程相匹配的AI网络模型,能够降低第一设备对目标AI网络模型进行推理时占用的计算资源和推理时延。
附图说明
图1是本申请实施例能够应用的一种无线通信***的结构示意图;
图2是本申请实施例提供的一种AI网络模型交互方法的流程图;
图3是本申请实施例应用于CSI反馈的示意图;
图4是本申请实施例中第一设备与第二设备之间的交互过程示意图之一;
图5是本申请实施例中第一设备与第二设备之间的交互过程示意图之二;
图6是本申请实施例中第一设备、第二设备和第三设备之间的交互过程示意图;
图7是本申请实施例提供的另一种AI网络模型交互方法的流程图;
图8是本申请实施例提供的一种AI网络模型交互装置的结构示意图;
图9是本申请实施例提供的另一种AI网络模型交互装置的结构示意图;
图10是本申请实施例提供的一种通信设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”所区别的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”一般表示前后关联对象是一种“或”的关系。
值得指出的是,本申请实施例所描述的技术不限于长期演进型(Long TermEvolution,LTE)/LTE的演进(LTE-Advanced,LTE-A)***,还可用于其他无线通信***,诸如码分多址(Code Division Multiple Access,CDMA)、时分多址(Time DivisionMultiple Access,TDMA)、频分多址(Frequency Division Multiple Access,FDMA)、正交频分多址(Orthogonal Frequency Division Multiple Access,OFDMA)、单载波频分多址(Single-carrier Frequency Division Multiple Access,SC-FDMA)和其他***。本申请实施例中的术语“***”和“网络”常被可互换地使用,所描述的技术既可用于以上提及的***和无线电技术,也可用于其他***和无线电技术。以下描述出于示例目的描述了新空口(New Radio,NR)***,并且在以下大部分描述中使用NR术语,但是这些技术也可应用于NR***应用以外的应用,如第6代(6th Generation,6G)通信***。
图1示出本申请实施例可应用的一种无线通信***的框图。无线通信***包括终端11和网络侧设备12。其中,终端11可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)或称为笔记本电脑、个人数字助理(Personal DigitalAssistant,PDA)、掌上电脑、上网本、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、移动上网装置(Mobile Internet Device,MID)、增强现实(augmentedreality,AR)/虚拟现实(virtual reality,VR)设备、机器人、可穿戴式设备(WearableDevice)、车载设备(VUE)、行人终端(PUE)、智能家居(具有无线通信功能的家居设备,如冰箱、电视、洗衣机或者家具等)、游戏机、个人计算机(personal computer,PC)、柜员机或者自助机等终端侧设备,可穿戴式设备包括:智能手表、智能手环、智能耳机、智能眼镜、智能首饰(智能手镯、智能手链、智能戒指、智能项链、智能脚镯、智能脚链等)、智能腕带、智能服装等。需要说明的是,在本申请实施例并不限定终端11的具体类型。网络侧设备12可以包括接入网设备或核心网设备,其中,接入网设备12也可以称为无线接入网设备、无线接入网(Radio Access Network,RAN)、无线接入网功能或无线接入网单元。接入网设备12可以包括基站、WLAN接入点或WiFi节点等,基站可被称为节点B、演进节点B(eNB)、接入点、基收发机站(Base Transceiver Station,BTS)、无线电基站、无线电收发机、基本服务集(BasicService Set,BSS)、扩展服务集(Extended Service Set,ESS)、家用B节点、家用演进型B节点、发送接收点(Transmitting Receiving Point,TRP)或所述领域中其他某个合适的术语,只要达到相同的技术效果,所述基站不限于特定技术词汇,需要说明的是,在本申请实施例中仅以NR***中的基站为例进行介绍,并不限定基站的具体类型。
人工智能目前在各个领域获得了广泛的应用。AI网络模型有多种实现方式,例如神经网络、决策树、支持向量机、贝叶斯分类器等。本申请以神经网络为例进行说明,但是并不限定AI网络模型的具体类型。
一般而言,根据需要解决的问题的不同类型,所选取的AI算法和采用的网络模型也有所差别。借助AI网络模型提升5G网络性能的主要方法是通过基于神经网络的算法和模型增强或者替代目前已有的算法或处理模块。在特定场景下,基于神经网络的算法和模型可以取得比基于确定性算法更好的性能。比较常用的神经网络包括深度神经网络、卷积神经网络和循环神经网络等。借助已有AI工具,可以实现神经网络的搭建、训练与验证工作。
在应用中,AI网络模型的大小和复杂度是其部署应用的一个关键问题。在无线通信***中应用AI方案时还会涉及AI网络模型的传输问题,也会受到AI网络模型的大小和复杂度的影响。大的AI网络模型的传输开销大,推理时占用的计算资源多,且推理时延也高。
本申请实施例中,第一设备在获取AI网络模型之前,向第二设备发送需求信息,以通知第二设备该第一设备需要的AI网络模型的尺寸、压缩方案、模型复杂程度等,从而使第一设备能够获取与其需求信息更加匹配的AI网络模型,且在第一设备接收压缩后的AI网络模型的情况下,可以降低传输AI网络模型的资源开销;在第一设备获取到与其需要的模型复杂程度相匹配的AI网络模型的情况下,可以降低第一设备对该AI网络模型进行模型推理时的计算资源和时延。
下面结合附图,通过一些实施例及其应用场景对本申请实施例提供的AI网络模型交互方法、AI网络模型交互装置及通信设备等进行详细地说明。
请参阅图2,本申请实施例提供的一种AI网络模型交互方法,其执行主体是第一设备,如图2所示,该第一设备执行的AI网络模型交互方法可以包括以下步骤:
步骤201、第一设备向第二设备发送第一信息,所述第一信息包括所述第一设备需要的AI网络模型进行压缩和/或模型推理相关的信息。
其中,第一设备可以是AI网络模型的需求方,第二设备可以是AI网络模型的发送方,例如:第二设备训练得到AI网络模型,并向第一设备发送训练好的AI网络模型的相关信息,该AI网络模型的相关信息可以是AI网络模型的参数或模型文件等,能够供第一设备进行AI网络模型推理(即应用该AI网络模型)的数据。可以理解的,以下实施例中的“传输AI网络模型”,可以解释为“传输AI网络模型的参数或模型文件”。在实施中,上述第一设备可以是终端,例如:如图1中列举的各种类型的终端11,或者该第一设备也可以是网络侧设备,例如:如图1所示实施例中列举的网络侧设备12或者是核心网设备,上述第二设备也可以是终端或者网络侧设备,如:接入网设备或核心网设备。为了便于说明,以下实施例中,通常以第一设备是终端,第二设备是基站为例进行举例说明,在此不构成具体限定。
需要说明的是,本申请实施例中,第一设备、第二设备以及第三设备之间的信息交互,可以使用新的信令或信息,或者复用相关技术中现有的信令或信息。
具体的,第一设备、第二设备和第三设备分别可以是终端或网络侧设备,可以基于第一设备、第二设备以及第三设备之间的信息交互,所涉及的信号发送端以及信号接收端是终端还是网络侧设备,分为以下4种情况来复用相关技术中的信令或信息:
情况1)假设第一设备与第二设备或第三设备之间的信息交互过程中,信息发送端为终端,且信息接收端为网络侧设备,则该交互过程中的信息(如:上述第一信息、上述匹配结果、上述第一请求信息、第一设备接收的AI网络模型的相关信息以及上述第三信息中的至少一项)可以承载于以下信令或信息中的至少一项:
物理上行控制信道(Physical Uplink Control Channel,PUCCH)的层(layer)1信令;
物理随机接入信道(Physical Random Access Channel,PRACH)的MSG 1;
PRACH的MSG 3;
PRACH的MSG A;
物理上行共享信道(Physical Uplink Shared Channel,PUSCH)的信息。
情况2)假设第一设备与第二设备或第三设备之间的信息交互过程中,信息发送端为网络侧设备,且信息接收端为终端,则该交互过程中的信息(如:上述第一信息、上述匹配结果、上述第一请求信息、第一设备接收的AI网络模型的相关信息以及上述第三信息中的至少一项)可以承载于以下信令或信息中的至少一项:
媒体接入控制控制元素(Medium Access Control Control Element,MAC CE);
无线资源控制(Radio Resource Control,RRC)消息;
非接入层(Non-Access Stratum,NAS)消息;
管理编排消息;
用户面数据;
下行控制信息(Downlink Control Information,DCI)信息;
***信息块(System Information Block,SIB);
物理下行控制信道(Physical Downlink Control Channel,PDCCH)的层1信令;
物理下行共享信道(Physical Downlink Shared Channel,PDSCH)的信息;
PRACH的MSG 2;
PRACH的MSG 4;
PRACH的MSG B。
情况3)假设第一设备与第二设备或第三设备之间的信息交互过程中,信息发送端和信息接收端为不同终端,则该交互过程中的信息(如:上述第一信息、上述匹配结果、上述第一请求信息、第一设备接收的AI网络模型的相关信息以及上述第三信息中的至少一项)可以承载于以下信令或信息中的至少一项:
Xn接口信令;
PC5接口信令;
物理旁路控制信道(Pysical Sidelink Control Channel,PSCCH)的信息;
物理旁路共享信道(Physical Sidelink Shared Channel,PSSCH)的信息;
物理直通链路广播信道(Physical Sidelink Broadcast Channel,PSBCH)的信息;
物理直通链路发现信道(Physical Sidelink Discovery Channel,PSDCH)的信息;
物理旁路反馈信道(Physical Sidelink Feedback Channel,PSFCH)的信息。
情况4)假设第一设备与第二设备或第三设备之间的信息交互过程中,信息发送端和信息接收端为不同网络侧设备,则该交互过程中的信息(如:上述第一信息、上述匹配结果、上述第一请求信息、第一设备接收的AI网络模型的相关信息以及上述第三信息中的至少一项)可以承载于以下信令或信息中的至少一项:
S1接口信令;
Xn接口信令(如:X2接口信令)。
步骤202、所述第一设备获取目标AI网络模型的相关信息,所述目标AI网络模型与所述第一信息对应。
其中,上述步骤202中的获取目标AI网络模型,可以是接收目标AI网络模型,例如:接收来自第二设备或第三设备的目标AI网络模型;或者,上述步骤202中的获取目标AI网络模型,可以是根据第二设备对第一信号的反馈信息来进一步处理得到目标AI网络模型,例如:第二设备根据第一信息向第一设备发送第一AI网络模型,第一设备对该第一AI网络模型进行压缩处理,得到目标AI网络模型。
在应用中,第一设备在获取目标AI网络模型的相关信息之后,可以对AI网络模型进行模型推理,即应用该目标AI网络模型,例如:使用目标AI网络模型来替代现有通信***中的功能模块。在实施中,通过AI网络模型替代现有***中的模块能够有效提升***性能。
例如:在如图3所示,在信道状态信息(Channel State Information ReferenceSignal,CSI)反馈过程中,可以采用AI编码器(encoder)和AI解码器(decoder)替代常规的CSI计算,可以在相同开销的情况下大幅度提升相应的***性能。如下表1所示,采用AIencoder和AI decoder替代常规的CSI计算的AI方案,相较于相关技术中的NR指定方案(NRspecified solution)而言,能够将通信***的频谱效率提升30%左右。
表1
方案 | 频谱效率(bit/s/Hz) |
NR指定方案(NR specified solution) | 6.41 |
AI | 8.28 |
如上表1的仿真条件为:***级仿真(System Level Simulation,SLS),程序大小(Urban Micro,UMi)38.901,7小区(cells),每个小区3个扇区(3sectors for each cell),UE速度(UE speed)3km/h,载波频率(carrier frequency)3.5GHz,32个gNB天线(antenna)([Mg Ng M N P]=[1 1 2 8 2]),4个UE antenna([Mg Ng M N P]=[1 1 2 2 2]),52个无线承载(RBs),预编码矩阵指示(Precoding Matrix Indicator,PMI)的开销为58位(theoverhead of PMI is 58bits)。其中,[Mg Ng M N P]中的Mg表示天线面板阵列中的一列包含的天线面板数量;Ng表示天线面板阵列中的一行包含的天线面板数量;M表示一个面板上一列的天线数;N表示一个面板上一行的天线数;P表示天线的计划方向数。
其中,所述第一信息包括所述第一设备需要的AI网络模型进行压缩和/或模型推理相关的信息,可以是以下至少一项:
第一信息包括第一设备的需求信息,这样,第一设备将自身需要的AI网络模型的功能、种类、尺寸、复杂程度、是否压缩AI网络模型,以及压缩AI网络模型时采用压缩方法等告知第二设备,以使第二设备提供符合第一设备需求的目标AI网络模型;
第一信息包括第一设备的能力信息,这样,第一设备将自身的能力信息(如:第一设备支持的可用算力、可用于进行模型压缩的算力、模型压缩能力、模型压缩方法等)告知第二设备,以使第二设备给第一设备提供其支持的目标AI网络模型。
作为一种可选的实施方式,第一设备获取目标AI网络模型的相关信息,包括:
所述第一设备接收目标AI网络模型的相关信息,所述目标AI网络模型为压缩后的AI网络模型或未压缩的AI网络模型;或者,
所述第一设备接收来自所述第二设备的第一AI网络模型的相关信息,并对所述第一AI网络模型进行压缩处理,得到第二AI网络模型,所述目标AI网络模型包括所述第二AI网络模型。
在一种实施方式中,在所述第二设备具有与所述第一信息匹配的AI网络模型的情况下,所述第一设备获取目标AI网络模型的相关信息,包括:
所述第一设备接收来自所述第二设备的与所述第一信息匹配的AI网络模型的相关信息,其中,所述目标AI网络模型包括所述与所述第一信息匹配的AI网络模型。
其中,与所述第一信息匹配的AI网络模型,可以是满足第一设备的能力的AI网络模型,例如:对该AI网络模型进行模型推理所占用的资源(如电量、计算资源、存储资源等)小于等于第一设备可用的资源,或者对该AI网络模型进行模型推理时的模型复杂程度小于或者等于第一设备能够支持的最大复杂程度等。
例如:如图4、图5和图6所示,假设第一信息包括模型压缩相关的参数,第二设备根据第一信息可以确定第一设备需要的AI网络模型的第一模型大小,若在第一模型库中查找满足该第一模型大小需求的AI网络模型,则可以将该满足该第一模型大小需求的目标AI网络模型发送给第一设备。
本实施方式中,在第二设备具有与所述第一信息匹配的AI网络模型的情况下,第一设备可以从第二设备接收该与第一信息相匹配的AI网络模型。这样,第一设备获取与第一信息相匹配的AI网络模型,能够降低第一设备应用该AI网络模型时的算力和推理时延。
在另一种实施方式中,在第二设备不具有与第一信息相匹配的AI网络模型时,如第二设备具有的AI网络模型比第一信息中指示的AI网络模型尺寸大,可以通过对第二设备具有的AI网络模型进行压缩,得到与第一信息相匹配的AI网络模型。此时,对AI网络模型进行压缩的设备可以是第一设备、第二设备或第三设备。
1)在对AI网络模型进行压缩的设备是第二设备时,第二设备根据第一信息对具有的AI网络模型进行压缩,并向第一设备发送压缩后的AI网络模型。
例如:如图4所示,假设第一信息包括模型压缩相关的参数,第二设备根据第一信息可以确定第一设备需要的AI网络模型的第一模型大小,若在第一模型库中未查找满足该第一模型大小需求的AI网络模型,则可以对第一模型库中的第一AI网络模型进行压缩处理,得到满足该第一模型大小需求的第二AI网络模型后,再发送给第一设备。
这样,可以降低第二设备与第一设备之间传输AI网络模型时占用的资源,且第一设备获取的AI网络模型与第一信息相匹配,能够降低第一设备应用该AI网络模型时的算力和推理时延。
2)在对AI网络模型进行压缩的设备是第三设备时,第二设备根据第一信息选择自身具有的第一AI网络模型,并根据该第一AI网络模型与第一信息之间的差异确定模型压缩信息,并将该第一AI网络模型与模型压缩信息发送给第三设备,以使第三设备根据模型压缩信息对第一AI网络模型进行压缩处理,得到与第一信息对应的压缩后的AI网络模型,并将该压缩后的AI网络模型发送给第一设备。这样,可以降低第一设备接收AI网络模型时占用的资源,且第一设备获取的AI网络模型与第一信息相匹配,能够降低第一设备应用该AI网络模型时的算力和推理时延;
例如:如图5所示,假设第一信息包括模型压缩相关的参数,第二设备根据第一信息可以确定第一设备需要的AI网络模型的第一模型大小,若在第一模型库中未查找满足该第一模型大小需求的AI网络模型,则第二设备可以向第三设备发送第一模型库中的第一AI网络模型的相关信息和第三信息,以使第三设备按照第三信息对接收到的第一AI网络模型进行压缩处理,得到第二AI网络模型,并由第三设备将该第二AI网络模型发送给第一设备。
3)在对AI网络模型进行压缩的设备是第一设备时,第二设备根据第一信息选择自身具有的第一AI网络模型,并根据该第一AI网络模型与第一信息之间的差异确定模型压缩信息,并将该第一AI网络模型与模型压缩信息发送给第一设备,以使第一设备根据模型压缩信息对第一AI网络模型进行压缩处理,得到与第一信息对应的压缩后的AI网络模型。这样,虽然没有降低第一设备接收AI网络模型时占用的资源,但是,第一设备获取的AI网络模型与第一信息相匹配,能够降低第一设备应用该AI网络模型时的算力和推理时延。
例如:如图6所示,假设第一信息包括模型压缩相关的参数,第二设备根据第一信息可以确定第一设备需要的AI网络模型的第一模型大小,若在第一模型库中未查找满足该第一模型大小需求的AI网络模型,则第二设备可以向第一设备发送第一模型库中的第一AI网络模型的相关信息和第三信息,以使第一设备按照第三信息对接收到的第一AI网络模型进行压缩处理,得到第二AI网络模型。
作为一种可选的实施方式,所述第一信息包括以下至少一项:
第一能力信息,所述第一能力信息指示所述第一设备对AI网络模型的压缩能力和/或所述第一设备支持的AI网络模型压缩方法;
第一要求信息,所述第一要求信息指示所述第一设备需要的AI网络模型的尺寸信息;
第一应用信息,所述第一应用信息指示所述第一设备需要的AI网络模型的功能信息;
第二信息,所述第二信息包括所述第一设备的资源使用率相关的信息;
第一指示信息,所述第一指示信息指示对AI网络模型进行压缩的设备。
选项一,第一能力信息可以反映第一设备对AI网络模型的压缩能力和/或所述第一设备支持的AI网络模型压缩方法,其中,所述模型压缩能力或模型压缩方法可以包括以下至少一项:知识蒸馏法、剪枝法、低秩分解法、张量分解法等,在此并不穷举。在实施中,第一能力可以是一个字段,例如:若第一能力为0000表示第一设备支持知识蒸馏法,若第一能力为0001表示第一设备支持剪枝法,若第一能力为0020表示第一设备支持低秩分解法,若第一能力为0011表示第一设备支持张量分解法。第二设备在获知第一设备的压缩能力和/或所述第一设备支持的AI网络模型压缩方法后,可以决定是否由第一设备来压缩AI网络模型。
选项二,所述第一要求信息可以反映第一设备需要的AI网络模型的尺寸信息(即第一设备对目标AI网络模型的模型大小的要求),该尺寸信息可以包括以下至少一项:目标AI网络模型的模型大小的上限、目标AI网络模型的模型大小的下限、目标AI网络模型的模型大小等级、目标AI网络模型的参数量的上限、目标AI网络模型的参数量下限、目标AI网络模型的参数量等级、目标AI网络模型的复杂度的上限、目标AI网络模型的复杂度的下限或目标AI网络模型的复杂度等级、目标AI网络模型的性能的上限、目标AI网络模型的性能的下限、目标AI网络模型的性能等级。
在实施中,第二设备在获知第一设备的第一要求信息时,可以在自身具备的AI网络模型中选择与该第一要求信息匹配的目标AI网络模型,例如:从自身具备的AI网络模型中选择的目标AI网络模型小于或者等于第一设备要求的模型大小的上限。
或者,在第二设备不具有与该第一要求信息匹配的目标AI网络模型的情况下,可以基于第一信息对自身具备的AI网络模型进行压缩处理,得到与该第一要求信息匹配的目标AI网络模型,例如:假设第二设备具有的AI网络模型的大小大于第一设备要求的AI网络模型的模型大小的上限,则可以根据第二设备具有的AI网络模型与第一设备要求的AI网络模型的模型大小之间的差异,来决定对第二设备具有的AI网络模型进行怎样的压缩处理,以使压缩后的AI网络模型小于或等于第一设备要求的AI网络模型的模型大小的上限。
选项三,上述第一应用信息可以反映第一设备需要的AI网络模型的功能信息,例如:用于实现CSI预测、CSI压缩、波束预测、流量预测等功能中至少一项的AI网络模型。
在实施中,第二设备在获知第一设备需要的AI网络模型的功能时,可以在自身具备的AI网络模型中选择与该第一应用信息匹配的目标AI网络模型,例如:从自身具备的AI网络模型中选择的目标AI网络模型的功能与第一应用信息的功能信息对应,然后,第二设备可以直接或者间接地向该第一设备提供能够实现该功能的AI网络模型。
选项四,上述第二信息能够反映第一设备的资源使用率,该资源使用率可以包括:电量使用率、存储资源使用率、计算资源使用率、传输资源使用率等。例如:第二信息可以包括以下至少一项:第一设备的可用算力、第一设备的可用算力占比、第一设备的可用算力等级、第一设备的可用电量、第一设备的可用电量占比、第一设备的可用电量等级、第一设备的可用存储、第一设备的可用存储占比、第一设备的可用存储等级。
在实施中,第二设备在获知第一设备的资源使用率时,可以在自身具备的AI网络模型中选择与第一设备的资源使用率匹配的目标AI网络模型,例如:选择的目标AI网络模型的资源占用量小于等于第一设备的可用资源或可用于进行AI网络模型压缩或推理的资源,然后第二设备可以根据向第一设备直接或者间接地提供选择出的AI网络模型,这样,可以降低AI网络模型的资源占用量大于第一设备的实际可用资源的风险,提升了第一设备在模型推理过程中的资源利用率,并减少模型推理过程的时延。
选项五,上述第一指示信息指示对AI网络模型进行压缩的设备,可以是在第二设备不具有与第一设备需要的模型大小的AI网络模型,从而需要对第二设备具有的AI网络模型进行压缩处理的情况下,指定一个或多个设备执行模型压缩处理,其中,指定的设备可包括第一设备、第二设备和第三设备中的至少一个,第三设备可以是除了第一设备和第二设备之外的任意设备,例如:可以是通信网络内的实体(如终端、基站、核心网设备或其他网络层实体),也可以是通信网络外的第三方设备,其功能至少包括模型压缩功能。
在实施中,第二设备在获知对AI网络模型进行压缩的设备的情况下,可以将待压缩的AI网络模型和模型压缩信息发送至该设备,从而通过该设备对AI网络模型进行压缩处理,得到符合第一设备需要的模型大小的AI网络模型。
需要说明的是,上述第一信息可以包括以上选项一至选项五中的一项或者至少两项,例如:假设第一信息包括第一能力信息、第一要求信息、第一应用信息,则第二设备可以从自身具备的AI网络模型中先选择与第一应用信息匹配的至少一个AI网络模型,若判断该至少一个AI网络模型全部都与第一要求信息对应的模型大小不匹配,且第一能力信息表示第一设备支持进行知识蒸馏法,则第二设备可以从至少一个AI网络模型中选择与第一要求信息对应的模型大小最接近的一个发送给第一设备,且还可以向第一设备发送第三信息,该第三信息可以包括将发送至第一设备的AI网络模型压缩成与第一要求信息对应的模型大小匹配时需要的参数信息,如压缩方法,压缩等级等。
在第一种可选的实施方中,在所述第二设备不具有与所述第一信息匹配的AI网络模型,且所述第一指示信息指示所述第一设备对AI网络模型进行压缩的情况下,所述第一设备获取目标AI网络模型的相关信息,包括:
所述第一设备接收来自所述第二设备的第一AI网络模型的相关信息和第三信息,其中,所述第三信息用于将所述第一AI网络模型压缩处理成第二AI网络模型;
所述第一设备根据所述第三信息对所述第一AI网络模型进行压缩处理,得到所述第二AI网络模型,其中,所述目标AI网络模型包括所述第二AI网络模型。
其中,上述第二设备不具有与所述第一信息匹配的AI网络模型,可以是第二设备具有的满足第一信息的第一部分的AI网络模型都不满足第一要求信息,其中,第一信息的第一部分可以包括第一信息中除了第一要求信息之外的信息,如:第一能力信息、第一应用信息、第二信息中的至少一项。
上述第三信息可以包括将第一AI网络模型压缩处理成与第一信息对应的第二AI网络模型所需的信息。
可选地,所述第三信息包括以下至少一项:对所述第一AI网络模型进行压缩处理时采用的AI网络模型压缩方法和AI网络模型压缩相关的限制信息。
其中,所述压缩方法可以包括以下至少一项:知识蒸馏法、剪枝法、低秩分解法、张量分解法等。
所述AI网络模型压缩相关的限制信息可以包括以下至少一项:最大可压缩限制(如压缩比例,压缩等级),压缩后的参数量的上限、压缩后的参数量的下限,压缩后模型大小的上限、压缩后的模型大小的下限等。
在实施中,第三信息可以根据第一信息所要求的AI网络模型与第一AI网络模型之间的差异确定。
当然,该第三信息可以包括第一信息的至少部分,例如:第一要求信息等,这样,接收到第三信息的设备可以根据第三信息所对应的AI网络模型与第一AI网络模型之间的差异,来确定对第一AI网络模型进行怎样的压缩处理。
本实施方式中,第二设备根据第一信息选择已经训练或存储的第一AI网络模型(例如:选择与第一信息最接近的一个作为第一AI网络模型,或者选择进模型尺寸与第一信息所要求的模型尺寸不匹配的一个作为第一AI网络模型),并根据该第一AI网络模型与第一信息中要求的模型尺寸的差异,以及第一设备支持的模型压缩能力等信息来确定第三信息,并将第三信息和第一AI网络模型发送给第一设备,这样,目标AI网络模型可以由第一设备根据第三信息对第一AI网络模型进行压缩处理得到。
在第二种可选的实施方中,在所述第二设备不具有与所述第一信息匹配的AI网络模型,且所述第一指示信息指示所述第二设备对AI网络模型进行压缩的情况下,所述第一设备获取目标AI网络模型的相关信息,包括:
所述第一设备接收来自所述第二设备的第二AI网络模型的相关信息,其中,所述目标AI网络模型包括所述第二AI网络模型,所述第二AI网络模型为根据所述第一信息对所述第二设备具有的第一AI网络模型进行压缩处理后得到的AI网络模型。
其中,上述第二设备不具有与所述第一信息匹配的AI网络模型的含义与第一种可选的实施方相同,在此不再赘述。
本实施方式中,第二设备根据第一信息选择已经训练或存储的第一AI网络模型,并根据该第一AI网络模型与第一信息中要求的模型尺寸的差异,以及第二设备支持的模型压缩能力等信息来对第一AI网络模型进行压缩处理得到第二AI网络模型,然后再将该第二AI网络模型转发给第一设备。
在第三种可选的实施方中,在所述第二设备不具有与所述第一信息匹配的AI网络模型,且所述第一指示信息指示所述第三设备对AI网络模型进行压缩的情况下,所述第一设备获取目标AI网络模型的相关信息,包括:
所述第一设备接收来自所述第三设备的第二AI网络模型的相关信息,其中,所述目标AI网络模型包括所述第二AI网络模型,所述第二AI网络模型为对来自所述第二设备的第一AI网络模型进行压缩处理后得到的AI网络模型。
其中,上述第二设备不具有与所述第一信息匹配的AI网络模型的含义,以及第三信息的含义和作用与第一种可选的实施方相同,在此不再赘述。
本实施方式中,第二设备根据第一信息选择已经训练或存储的第一AI网络模型,并根据该第一AI网络模型与第一信息中要求的模型尺寸的差异,以及第三设备支持的模型压缩能力等信息来确定第三信息,并将第三信息和第一AI网络模型发送给第三设备,这样,目标AI网络模型可以由第三设备根据第三信息对第一AI网络模型进行压缩处理得到,并转发给第一设备。
需要说明的是,在由第三设备根据第三信息对第一AI网络模型进行压缩处理得到第二AI网络模型的情况,第一设备还可以向第三设备发送第一信息,或者该第一信息中与模型压缩相关的部分,这样,第三设备还可以根据该第一信息或者该第一信息中与模型压缩相关的部分来决定对第一AI网络模型进行怎样的压缩处理。
作为一种可选的实施方式,在所述第一设备根据所述第三信息对所述第一AI网络模型进行压缩处理,得到所述第二AI网络模型之后,所述方法还包括:
所述第一设备向所述第二设备发送所述第二AI网络模型的相关信息。
本实施方式中,第一设备在根据第三信息对所述第一AI网络模型进行压缩处理,得到第二AI网络模型之后,将该第二AI网络模型发送给第二设备,这样,在后续的模型传输过程中,第二AI网络模型具有的AI网络模型将包括该第二AI网络模型,从而可以直接传输该第二AI网络模型,而无需再次对第一AI网络模型进行压缩处理。
与之相似的,在由第三设备根据所述第三信息对所述第一AI网络模型进行压缩处理,得到所述第二AI网络模型的情况下,第二设备也可以从第三设备获取该第二AI网络模型。
在实施中,如图5和图6所示,对于根据第三信息对第一AI网络模型进行压缩得到的第二AI网络模型,第一设备还可以进一步判断该第二AI网络模型是否满足第一信息的要求,如:第二AI网络模型满足第一信息中的模型大小要求,这样,第一设备可以在判断该第二AI网络模型确实满足第一信息的要求的情况下,第二设备才会从第一设备和第三设备中的至少一个获取第二AI网络模型的相关信息。
作为一种可选的实施方式,在所述第一设备获取到由所述第一设备或第三设备压缩得到的第二AI网络模型的情况下,所述方法还包括:
所述第一设备获取所述第二AI网络模型与所述第一信息的匹配结果;
所述第一设备向所述第二设备发送所述匹配结果。
本实施方式中,在目标AI网络模型由第一设备或第三设备进行压缩处理得到的情况下,第一设备还获取目标AI网络模型与第一信息的匹配结果,例如:目标AI网络模型与第一设备要求的模型大小是否一致,且向第二设备反馈该匹配结果。这样,若该匹配结果表示目标AI网络模型与第一信息不匹配,则可以进行以下处理中的任一项:
1)第一设备改变第一信息,重新向第二设备请求AI网络模型。该过程与本申请实施例提供的AI网络模型交互方法的过程相似,在此不再赘述。
2)第一设备发送第一请求信息,此时第一信息不变,且可以不向第二设备发送该第一信息,第二设备可以根据该第一请求信息采用不同的第三信息进行压缩处理,或者对不同的第一AI网络模型进行压缩处理。例如:第一请求信息可以携带不要压缩发前面已压缩过的第一AI网络模型的建议信息和/或携带第二设备改变第三信息的建议信息。或者,该第一请求信息也可以是不携带上述建议,而是由第二设备决定重新压缩哪一个第一AI网络模型,以及是否修改第三信息。
3)放弃第一设备的AI网络模型请求。
在一种可选的实施方式中,在所述匹配结果表示所述第二AI网络模型与所述第一信息不匹配的情况下,所述AI网络模型交互方法还包括:
所述第一设备向所述第二设备发送第一请求信息,所述第一请求信息用于请求所述第二设备更新所述第三信息和所述第一AI网络模型中的至少一项。
本实施方式中,第一设备在获取到不符合需要的模型大小的AI网络模型时,可以向第二设备发送第一请求信息,以使第二设备根据该第一请求信息更新以下至少一项:压缩的第一AI网络模型和压缩过程中使用的第三信息,直至第一设备获取到符合需要的模型大小的AI网络模型。
在另一种可选的实施方式中,在所述匹配结果表示所述第二AI网络模型与所述第一信息不匹配的情况下,所述AI网络模型交互方法还包括:
所述第一设备更新所述第一信息,并向所述第二设备发送更新后的第一信息;
所述第一设备获取与所述更新后的第一信息对应的目标AI网络模型。
本实施方式中,第一设备在获取到不符合需要的模型大小的AI网络模型时,可以更新第一信息中的至少一项,例如:更新第一指示信息、第一要求信息、第一能力信息和第二信息中的至少一项,以使第二设备根据更新后的第一信息更新第一AI网络模型和第三信息中的至少一项,以使根据更新后的第三信息对第一AI网络模型进行压缩能够得到与更新后的第一信息相匹配的目标AI网络模型。
值得提出的是,如图5所示,在由第三设备根据第三信息对第一AI网络模型进行压缩处理得到第二AI网络模型的情况下,第一设备还可以向第三设备发送上述匹配结果,以使第三设备据在确定第二AI网络模型与第一信息匹配的情况下,向第二设备发送压缩后的第二AI网络模型;在确定第二AI网络模型与第一信息不匹配的情况下,不向第二设备发送压缩后的第二AI网络模型,这样,可以减少第二AI网络模型与第一信息不匹配时传输第二AI网络模型所造成的的资源浪费。
需要说明的是,如图5所示,在由第三设备根据第三信息对第一AI网络模型进行压缩处理得到第二AI网络模型的情况下,也可以由第一设备根据匹配结果来决定是否向第二设备发送第二AI网络模型,此时,第一设备可以不向第三设备发送匹配结果,且第三设备也不需要根据匹配结果来决定是否向第二设备发送第二AI网络模型。
在本申请实施例中,第一设备向第二设备发送第一信息,所述第一信息包括所述第一设备需要的AI网络模型的压缩和/或模型推理相关的信息;所述第一设备获取目标AI网络模型的相关信息,所述目标AI网络模型与所述第一信息对应。这样,在第二设备预先存储或者训练得到AI网络模型的情况下,第一设备在从第二设备获取AI网络模型的过程中,第一设备可以向第二设备发送该第一设备所需要的AI网络模型的压缩和/或模型推理相关的信息,以使第二设备能够按照第一设备的需求来确定以下至少一项:第一设备需要的AI网络模型的类型、尺寸、功能、复杂程度,以及对确定的AI网络模型进行压缩处理时的参数、压缩方法、压缩节点等,这样,能够使第二设备按照第一设备的需求对AI网络模型进行压缩,并对压缩后的AI网络模型进行传输,能够降低AI网络模型的传输开销;此外,第二设备还按照第一设备的需求选择与第一设备的模型推理过程相匹配的AI网络模型,能够降低第一设备对目标AI网络模型进行推理时占用的计算资源和推理时延。
请参阅图7,本申请实施例提供的另一种AI网络模型交互方法,其执行主体是第二设备,如图7所示,该第二设备执行的AI网络模型交互方法可以包括以下步骤:
步骤701、第二设备接收来自第一设备的第一信息,所述第一信息包括所述第一设备需要的AI网络模型的压缩和/或模型推理相关的信息。
步骤702、所述第二设备向所述第一设备发送目标AI网络模型的相关信息,所述目标AI网络模型与所述第一信息对应,或者,所述第二设备根据所述第一信息发送第一AI网络模型的相关信息,其中,所述第一AI网络模型用于进行压缩处理得到第二AI网络模型,所述第二AI网络模型与所述第一信息对应。
本申请实施例中,上述第一设备、第二设备、第一信息、第一AI网络模型的相关信息、第二AI网络模型的含义和作用同如图2所示方法实施例中的第一设备、第二设备、第一信息、第一AI网络模型的相关信息、第二AI网络模型的含义和作用,在此不再赘述。
可选地,所述目标AI网络模型为压缩后的AI网络模型或未压缩的AI网络模型。
可选地,所述第一信息包括以下至少一项:
第一能力信息,所述第一能力信息指示所述第一设备对AI网络模型的压缩能力和/或所述第一设备支持的AI网络模型压缩方法;
第一要求信息,所述第一要求信息指示所述第一设备需要的AI网络模型的尺寸信息;
第一应用信息,所述第一应用信息指示所述第一设备需要的AI网络模型的功能信息;
第二信息,所述第二信息包括所述第一设备的资源使用率相关的信息;
第一指示信息,所述第一指示信息指示对AI网络模型进行压缩的设备。
可选地,所述第一指示信息指示所述第一设备、所述第二设备或第三设备对AI网络模型进行压缩。
可选地,所述第二设备发送目标AI网络模型的相关信息,包括:
所述第二设备在具有与所述第一信息匹配的AI网络模型的情况下,向所述第一设备发送所述与所述第一信息匹配的AI网络模型,所述目标AI网络模型包括所述与所述第一信息匹配的AI网络模型。
可选地,在所述第二设备不具有与所述第一信息匹配的AI网络模型,且所述第一指示信息指示所述第二设备对AI网络模型进行压缩的情况下,所述方法还包括:
所述第二设备根据所述第一信息对第一AI网络模型进行压缩处理,得到第二AI网络模型;
所述第二设备发送目标AI网络模型的相关信息,包括:
所述第二设备向所述第一设备发送所述第二AI网络模型的相关信息,所述目标AI网络模型包括所述第二AI网络模型。
可选地,所述第二设备根据所述第一信息发送第一AI网络模型的相关参数,包括:
所述第二设备在不具有与所述第一信息匹配的AI网络模型,且所述第一指示信息指示所述第一设备对AI网络模型进行压缩的情况下,向所述第一设备发送第一AI网络模型的相关信息和第三信息,其中,所述第三信息用于将所述第一AI网络模型压缩处理成第二AI网络模型,所述第二AI网络模型与所述第一信息对应;和/或,
所述第二设备在不具有与所述第一信息匹配的AI网络模型,且所述第一指示信息指示所述第三设备对AI网络模型进行压缩的情况下,向所述第三设备发送所述第一AI网络模型的相关信息和所述第三信息。
可选地,所述第三信息包括以下至少一项:对所述第一AI网络模型进行压缩时使用的AI网络模型压缩方法和AI网络模型压缩相关的限制信息。
可选地,在所述第二设备向所述第一设备或所述第三设备发送所述第一AI网络模型的相关信息和所述第三信息之后,所述方法还包括:
所述第二设备接收所述第二AI网络模型的相关信息。
可选地,在所述第二设备向所述第一设备或所述第三设备发送所述第一AI网络模型的相关信息和所述第三信息之后,所述方法还包括:
所述第二设备接收来自所述第一设备的判断结果,所述判断结果用于表示所述第二AI网络模型与所述第一信息的匹配结果。
可选地,在所述匹配结果表示所述第二AI网络模型与所述第一信息不匹配的情况下,所述方法还包括:
所述第二设备接收来自所述第一设备的第一请求信息,并根据所述第一请求信息更新所述第三信息和所述第一AI网络模型中的至少一项;
所述第二设备发送更新后的所述第三信息和/或更新后的所述第一AI网络模型的相关信息。
可选地,在所述匹配结果表示所述第二AI网络模型与所述第一信息不匹配的情况下,所述方法还包括:
所述第二设备接收来自所述第一设备的更新后的第一信息;
所述第二设备向所述第一设备发送与所述更新后的第一信息匹配的目标AI网络模型的相关信息,或者,所述第二设备根据所述更新后的第一信息发送第三AI网络模型的相关信息,所述第三AI网络模型用于进行压缩处理得到与所述更新后的第一信息对应的第四AI网络模型。
其中,上述第三AI网络模型与如图2所示方法实施例中的第一AI网络模型相似,都可以是第二设备的模型库中的AI网络模型,区别在于:第一AI网络模型与更新前的第一信息对应,第三AI网络模型与更新后的第一信息对应。
上述第四AI网络模型与如图2所示方法实施例中的第二AI网络模型相似,都可以是对第二设备的模型库中的AI网络模型进行压缩处理得到的AI网络模型,区别在于:第二AI网络模型是对第一AI网络模型进行压缩处理得到的,且与更新前的第一信息对应的AI网络模型,第四AI网络模型是对第三AI网络模型进行压缩处理得到的,且与更新后的第一信息对应的AI网络模型。
本申请实施例提供的第二设备执行的AI网络模型交互方法,与第一设备执行的AI网络模型交互方法相对应,且第一设备和第二设备分别执行各自的AI网络模型交互方法中的步骤,能够降低AI网络模型的传输开销,以及降低第一设备对目标AI网络模型进行推理时占用的计算资源和推理时延。
本申请实施例提供的AI网络模型交互方法,执行主体可以为AI网络模型交互装置。本申请实施例中以AI网络模型交互装置执行AI网络模型交互方法为例,说明本申请实施例提供的AI网络模型交互装置。
请参阅图8,本申请实施例提供的一种AI网络模型交互装置,可以是第一设备内的装置,如图8所示,该AI网络模型交互装置800可以包括以下模块:
第一发送模块801,用于向第二设备发送第一信息,所述第一信息包括所述第一设备需要的AI网络模型的压缩和/或模型推理相关的信息;
第一获取模块802,用于获取目标AI网络模型的相关信息,所述目标AI网络模型与所述第一信息对应。
可选的,第一获取模块802,包括:
第一接收单元,用于接收目标AI网络模型的相关信息,所述目标AI网络模型为压缩后的AI网络模型或未压缩的AI网络模型;
或者,
第二接收单元,用于接收来自所述第二设备的第一AI网络模型的相关信息;
第一处理单元,用于对所述第一AI网络模型进行压缩处理,得到第二AI网络模型,所述目标AI网络模型包括所述第二AI网络模型。
可选的,所述第一信息包括以下至少一项:
第一能力信息,所述第一能力信息指示所述第一设备对AI网络模型的压缩能力和/或所述第一设备支持的AI网络模型压缩方法;
第一要求信息,所述第一要求信息表示所述第一设备需要的AI网络模型的尺寸信息;
第一应用信息,所述第一应用信息表示所述第一设备需要的AI网络模型的功能信息;
第二信息,所述第二信息包括所述第一设备的资源使用率相关的信息;
第一指示信息,所述第一指示信息指示对AI网络模型进行压缩的设备。
可选的,所述第一指示信息指示所述第一设备、所述第二设备或第三设备对AI网络模型进行压缩。
可选的,在所述第二设备不具有与所述第一信息匹配的AI网络模型,且所述第一指示信息指示所述第一设备对AI网络模型进行压缩的情况下,第一获取模块802,包括:
第三接收单元,用于接收来自所述第二设备的第一AI网络模型的相关信息和第三信息,其中,所述第三信息用于将所述第一AI网络模型压缩处理成第二AI网络模型;
第二处理单元,用于根据所述第三信息对所述第一AI网络模型进行压缩处理,得到所述第二AI网络模型,其中,所述目标AI网络模型包括所述第二AI网络模型;
和/或,
在所述第二设备不具有与所述第一信息匹配的AI网络模型,且所述第一指示信息指示所述第二设备对AI网络模型进行压缩的情况下,第一获取模块802,具体用于:
接收来自所述第二设备的第二AI网络模型的相关信息,其中,所述目标AI网络模型包括所述第二AI网络模型,所述第二AI网络模型为根据所述第一信息对所述第二设备具有的第一AI网络模型进行压缩处理后得到的AI网络模型;
和/或,
在所述第二设备不具有与所述第一信息匹配的AI网络模型,且所述第一指示信息指示所述第三设备对AI网络模型进行压缩的情况下,第一获取模块802,具体用于:
接收来自所述第三设备的第二AI网络模型的相关信息,其中,所述目标AI网络模型包括所述第二AI网络模型,所述第二AI网络模型为对来自所述第二设备的第一AI网络模型进行压缩处理后得到的AI网络模型。
可选的,所述第三信息包括以下至少一项:对所述第一AI网络模型进行压缩处理时采用的AI网络模型压缩方法和AI网络模型压缩相关的限制信息。
可选的,AI网络模型交互装置800还包括:
第三发送模块,用于向所述第二设备发送所述第二AI网络模型的相关信息。
可选的,在所述第二设备具有与所述第一信息匹配的AI网络模型的情况下,第一获取模块802,具体用于:
接收来自所述第二设备的与所述第一信息匹配的AI网络模型的相关信息,其中,所述目标AI网络模型包括所述与所述第一信息匹配的AI网络模型。
可选的,在所述第一设备获取到由所述第一设备或第三设备压缩得到的第二AI网络模型的情况下,AI网络模型交互装置800还包括:
第二获取模块,用于获取所述第二AI网络模型与所述第一信息的匹配结果;
第四发送模块,用于向所述第二设备发送所述匹配结果。
可选的,在所述匹配结果表示所述第二AI网络模型与所述第一信息不匹配的情况下,AI网络模型交互装置800还包括:
第五发送模块,用于向所述第二设备发送第一请求信息,所述第一请求信息用于请求所述第二设备更新所述第三信息和所述第一AI网络模型中的至少一项。
可选的,在所述匹配结果表示所述第二AI网络模型与所述第一信息不匹配的情况下,AI网络模型交互装置800还包括:
更新模块,用于更新所述第一信息,并向所述第二设备发送更新后的第一信息;
第三获取模块,用于获取与所述更新后的第一信息对应的目标AI网络模型。
本申请实施例提供的AI网络模型交互装置800,能够实现如图2所示方法实施例中第一设备实现的各个过程,且能够取得相同的有益效果,为避免重复,在此不再赘述。
请参阅图9,本申请实施例提供的另一种AI网络模型交互装置,可以是第二设备内的装置,如图9所示,该AI网络模型交互装置900可以包括以下模块:
第一接收模块901,用于接收来自第一设备的第一信息,所述第一信息包括所述第一设备需要的AI网络模型的压缩和/或模型推理相关的信息;
第二发送模块902,用于向所述第一设备发送目标AI网络模型的相关信息,所述目标AI网络模型与所述第一信息对应,或者,根据所述第一信息发送第一AI网络模型的相关信息,其中,所述第一AI网络模型用于进行压缩处理得到第二AI网络模型,所述第二AI网络模型与所述第一信息对应。
可选的,所述目标AI网络模型为压缩后的AI网络模型或未压缩的AI网络模型。
可选的,所述第一信息包括以下至少一项:
第一能力信息,所述第一能力信息指示所述第一设备对AI网络模型的压缩能力和/或所述第一设备支持的AI网络模型压缩方法;
第一要求信息,所述第一要求信息指示所述第一设备需要的AI网络模型的尺寸信息;
第一应用信息,所述第一应用信息指示所述第一设备需要的AI网络模型的功能信息;
第二信息,所述第二信息包括所述第一设备的资源使用率相关的信息;
第一指示信息,所述第一指示信息指示对AI网络模型进行压缩的设备。
可选的,所述第一指示信息指示所述第一设备、所述第二设备或第三设备对AI网络模型进行压缩。
可选的,第二发送模块902,具体用于:
在所述第二设备具有与所述第一信息匹配的AI网络模型的情况下,向所述第一设备发送所述与所述第一信息匹配的AI网络模型,所述目标AI网络模型包括所述与所述第一信息匹配的AI网络模型。
可选的,在所述第二设备不具有与所述第一信息匹配的AI网络模型,且所述第一指示信息指示所述第二设备对AI网络模型进行压缩的情况下,AI网络模型交互装置900还包括:
第一处理模块,用于根据所述第一信息对第一AI网络模型进行压缩处理,得到第二AI网络模型;
第二发送模块902,具体用于:
向所述第一设备发送所述第二AI网络模型的相关信息,所述目标AI网络模型包括所述第二AI网络模型。
可选的,第二发送模块902,具体用于:
在所述第二设备不具有与所述第一信息匹配的AI网络模型,且所述第一指示信息指示所述第一设备对AI网络模型进行压缩的情况下,向所述第一设备发送第一AI网络模型的相关信息和第三信息,其中,所述第三信息用于将所述第一AI网络模型压缩处理成第二AI网络模型,所述第二AI网络模型与所述第一信息对应;和/或,
在所述第二设备不具有与所述第一信息匹配的AI网络模型,且所述第一指示信息指示所述第三设备对AI网络模型进行压缩的情况下,向所述第三设备发送所述第一AI网络模型的相关信息和所述第三信息。
可选的,所述第三信息包括以下至少一项:对所述第一AI网络模型进行压缩时使用的AI网络模型压缩方法和AI网络模型压缩相关的限制信息。
可选的,AI网络模型交互装置900还包括:
第二接收模块,用于接收所述第二AI网络模型的相关信息。
可选的,AI网络模型交互装置900还包括:
第三接收模块,用于接收来自所述第一设备的判断结果,所述判断结果用于表示所述第二AI网络模型与所述第一信息的匹配结果。
可选的,在所述匹配结果表示所述第二AI网络模型与所述第一信息不匹配的情况下,AI网络模型交互装置900还包括:
第四接收模块,用于接收来自所述第一设备的第一请求信息,并根据所述第一请求信息更新所述第三信息和所述第一AI网络模型中的至少一项;
第六发送模块,用于发送更新后的所述第三信息和/或更新后的所述第一AI网络模型的相关信息。
可选的,在所述匹配结果表示所述第二AI网络模型与所述第一信息不匹配的情况下,AI网络模型交互装置900还包括:
第五接收模块,用于接收来自所述第一设备的更新后的第一信息;
第七发送模块,用于向所述第一设备发送与所述更新后的第一信息匹配的目标AI网络模型的相关信息,或者,所述第二设备根据所述更新后的第一信息发送第三AI网络模型的相关信息,所述第三AI网络模型用于进行压缩处理得到与所述更新后的第一信息对应的第四AI网络模型。
本申请实施例提供的AI网络模型交互装置900,能够实现如图7所示方法实施例中第二设备实现的各个过程,且能够取得相同的有益效果,为避免重复,在此不再赘述。
本申请实施例中的AI网络模型交互装置可以是电子设备,例如具有操作***的电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,终端可以包括但不限于上述所列举的终端11的类型,其他设备可以为服务器、网络附属存储器(Network Attached Storage,NAS)等,本申请实施例不作具体限定。
本申请实施例提供的AI网络模型交互装置能够实现图2或图7所示方法实施例实现的各个过程,并达到相同的技术效果,为避免重复,这里不再赘述。
可选的,如图10所示,本申请实施例还提供一种通信设备1000,包括处理器1001和存储器1002,存储器1002上存储有可在所述处理器1001上运行的程序或指令,例如,该通信设备1000作为第一设备时,该程序或指令被处理器1001执行时实现如图2所示方法实施例的各个步骤,且能达到相同的技术效果。该通信设备1000作为第二设备时,该程序或指令被处理器1001执行时实现如图7所示方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例还提供一种通信设备,包括处理器和通信接口,在该通信设备作为第一设备时,通信接口用于向第二设备发送第一信息,所述第一信息包括所述第一设备需要的AI网络模型的压缩和/或模型推理相关的信息;所述通信接口或者所述处理器用于获取目标AI网络模型的相关信息,所述目标AI网络模型与所述第一信息对应。在该通信设备作为第二设备时,通信接口用于接收来自第一设备的第一信息,以及向所述第一设备发送目标AI网络模型的相关信息或者根据所述第一信息发送第一AI网络模型的相关信息,其中,所述第一信息包括所述第一设备需要的AI网络模型的压缩和/或模型推理相关的信息,所述目标AI网络模型与所述第一信息对应,所述第一AI网络模型用于进行压缩处理得到第二AI网络模型,所述第二AI网络模型与所述第一信息对应。
该终端实施例与如图2或图7所示方法实施例对应,图2或图7所示方法实施例的各个实施过程和实现方式均可适用于该通信设备实施例中,且能达到相同的技术效果。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现如图2或图7所示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的终端中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如图2或图7所示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为***级芯片,***芯片,芯片***或片上***芯片等。
本申请实施例另提供了一种计算机程序/程序产品,所述计算机程序/程序产品被存储在存储介质中,所述计算机程序/程序产品被至少一个处理器执行以实现如图2或图7所示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例还提供了一种通信***,包括:第一设备及第二设备,所述第一设备可用于执行如图2所示的AI网络模型交互方法的步骤,所述第二设备可用于执行如图7所示的AI网络模型交互方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (27)
1.一种人工智能AI网络模型交互方法,其特征在于,包括:
第一设备向第二设备发送第一信息,所述第一信息包括所述第一设备需要的AI网络模型进行压缩和/或模型推理相关的信息;
所述第一设备获取目标AI网络模型的相关信息,所述目标AI网络模型与所述第一信息对应。
2.根据权利要求1所述的方法,其特征在于,所述第一设备获取目标AI网络模型的相关信息,包括:
所述第一设备接收目标AI网络模型的相关信息,所述目标AI网络模型为压缩后的AI网络模型或未压缩的AI网络模型;或者,
所述第一设备接收来自所述第二设备的第一AI网络模型的相关信息,并对所述第一AI网络模型进行压缩处理,得到第二AI网络模型,所述目标AI网络模型包括所述第二AI网络模型。
3.根据权利要求1所述的方法,其特征在于,所述第一信息包括以下至少一项:
第一能力信息,所述第一能力信息指示所述第一设备对AI网络模型的压缩能力和/或所述第一设备支持的AI网络模型压缩方法;
第一要求信息,所述第一要求信息指示所述第一设备需要的AI网络模型的尺寸信息;
第一应用信息,所述第一应用信息指示所述第一设备需要的AI网络模型的功能信息;
第二信息,所述第二信息包括所述第一设备的资源使用率相关的信息;
第一指示信息,所述第一指示信息指示对AI网络模型进行压缩的设备。
4.根据权利要求3所述的方法,其特征在于,所述第一指示信息指示所述第一设备、所述第二设备或第三设备对AI网络模型进行压缩。
5.根据权利要求4所述的方法,其特征在于,在所述第二设备不具有与所述第一信息匹配的AI网络模型,且所述第一指示信息指示所述第一设备对AI网络模型进行压缩的情况下,所述第一设备获取目标AI网络模型的相关信息,包括:
所述第一设备接收来自所述第二设备的第一AI网络模型的相关信息和第三信息,其中,所述第三信息用于将所述第一AI网络模型压缩处理成第二AI网络模型;
所述第一设备根据所述第三信息对所述第一AI网络模型进行压缩处理,得到所述第二AI网络模型,其中,所述目标AI网络模型包括所述第二AI网络模型;
和/或,
在所述第二设备不具有与所述第一信息匹配的AI网络模型,且所述第一指示信息指示所述第二设备对AI网络模型进行压缩的情况下,所述第一设备获取目标AI网络模型的相关信息,包括:
所述第一设备接收来自所述第二设备的第二AI网络模型的相关信息,其中,所述目标AI网络模型包括所述第二AI网络模型,所述第二AI网络模型为根据所述第一信息对所述第二设备具有的第一AI网络模型进行压缩处理后得到的AI网络模型;
和/或,
在所述第二设备不具有与所述第一信息匹配的AI网络模型,且所述第一指示信息指示所述第三设备对AI网络模型进行压缩的情况下,所述第一设备获取目标AI网络模型的相关信息,包括:
所述第一设备接收来自所述第三设备的第二AI网络模型的相关信息,其中,所述目标AI网络模型包括所述第二AI网络模型,所述第二AI网络模型为对来自所述第二设备的第一AI网络模型进行压缩处理后得到的AI网络模型。
6.根据权利要求5所述的方法,其特征在于,所述第三信息包括以下至少一项:对所述第一AI网络模型进行压缩处理时采用的AI网络模型压缩方法和AI网络模型压缩相关的限制信息。
7.根据权利要求5所述的方法,其特征在于,在所述第一设备根据所述第三信息对所述第一AI网络模型进行压缩处理,得到所述第二AI网络模型之后,所述方法还包括:
所述第一设备向所述第二设备发送所述第二AI网络模型的相关信息。
8.根据权利要求3所述的方法,其特征在于,在所述第二设备具有与所述第一信息匹配的AI网络模型的情况下,所述第一设备获取目标AI网络模型的相关信息,包括:
所述第一设备接收来自所述第二设备的与所述第一信息匹配的AI网络模型的相关信息,其中,所述目标AI网络模型包括所述与所述第一信息匹配的AI网络模型。
9.根据权利要求5所述的方法,其特征在于,在所述第一设备获取到由所述第一设备或第三设备压缩得到的第二AI网络模型的情况下,所述方法还包括:
所述第一设备获取所述第二AI网络模型与所述第一信息的匹配结果;
所述第一设备向所述第二设备发送所述匹配结果。
10.根据权利要求9所述的方法,其特征在于,在所述匹配结果表示所述第二AI网络模型与所述第一信息不匹配的情况下,所述方法还包括:
所述第一设备向所述第二设备发送第一请求信息,所述第一请求信息用于请求所述第二设备更新所述第三信息和所述第一AI网络模型中的至少一项。
11.根据权利要求9所述的方法,其特征在于,在所述匹配结果表示所述第二AI网络模型与所述第一信息不匹配的情况下,所述方法还包括:
所述第一设备更新所述第一信息,并向所述第二设备发送更新后的第一信息;
所述第一设备获取与所述更新后的第一信息对应的目标AI网络模型。
12.一种人工智能AI网络模型交互方法,其特征在于,包括:
第二设备接收来自第一设备的第一信息,所述第一信息包括所述第一设备需要的AI网络模型的压缩和/或模型推理相关的信息;
所述第二设备向所述第一设备发送目标AI网络模型的相关信息,所述目标AI网络模型与所述第一信息对应,或者,所述第二设备根据所述第一信息发送第一AI网络模型的相关信息,其中,所述第一AI网络模型用于进行压缩处理得到第二AI网络模型,所述第二AI网络模型与所述第一信息对应。
13.根据权利要求12所述的方法,其特征在于,所述目标AI网络模型为压缩后的AI网络模型或未压缩的AI网络模型。
14.根据权利要求12所述的方法,其特征在于,所述第一信息包括以下至少一项:
第一能力信息,所述第一能力信息指示所述第一设备对AI网络模型的压缩能力和/或所述第一设备支持的AI网络模型压缩方法;
第一要求信息,所述第一要求信息指示所述第一设备需要的AI网络模型的尺寸信息;
第一应用信息,所述第一应用信息指示所述第一设备需要的AI网络模型的功能信息;
第二信息,所述第二信息包括所述第一设备的资源使用率相关的信息;
第一指示信息,所述第一指示信息指示对AI网络模型进行压缩的设备。
15.根据权利要求14所述的方法,其特征在于,所述第一指示信息指示所述第一设备、所述第二设备或第三设备对AI网络模型进行压缩。
16.根据权利要求14所述的方法,其特征在于,所述第二设备发送目标AI网络模型的相关信息,包括:
所述第二设备在具有与所述第一信息匹配的AI网络模型的情况下,向所述第一设备发送所述与所述第一信息匹配的AI网络模型的相关信息,所述目标AI网络模型包括所述与所述第一信息匹配的AI网络模型。
17.根据权利要求15所述的方法,其特征在于,在所述第二设备不具有与所述第一信息匹配的AI网络模型,且所述第一指示信息指示所述第二设备对AI网络模型进行压缩的情况下,所述方法还包括:
所述第二设备根据所述第一信息对第一AI网络模型进行压缩处理,得到第二AI网络模型;
所述第二设备发送目标AI网络模型的相关信息,包括:
所述第二设备向所述第一设备发送所述第二AI网络模型的相关信息,所述目标AI网络模型包括所述第二AI网络模型。
18.根据权利要求15所述的方法,其特征在于,所述第二设备根据所述第一信息发送第一AI网络模型的相关参数,包括:
所述第二设备在不具有与所述第一信息匹配的AI网络模型,且所述第一指示信息指示所述第一设备对AI网络模型进行压缩的情况下,向所述第一设备发送第一AI网络模型的相关信息和第三信息,其中,所述第三信息用于将所述第一AI网络模型压缩处理成第二AI网络模型,所述第二AI网络模型与所述第一信息对应;和/或,
所述第二设备在不具有与所述第一信息匹配的AI网络模型,且所述第一指示信息指示所述第三设备对AI网络模型进行压缩的情况下,向所述第三设备发送所述第一AI网络模型的相关信息和所述第三信息。
19.根据权利要求18所述的方法,其特征在于,所述第三信息包括以下至少一项:对所述第一AI网络模型进行压缩时使用的AI网络模型压缩方法和AI网络模型压缩相关的限制信息。
20.根据权利要求18所述的方法,其特征在于,在所述第二设备向所述第一设备或所述第三设备发送所述第一AI网络模型的相关信息和所述第三信息之后,所述方法还包括:
所述第二设备接收所述第二AI网络模型的相关信息。
21.根据权利要求18所述的方法,其特征在于,在所述第二设备向所述第一设备或所述第三设备发送所述第一AI网络模型的相关信息和所述第三信息之后,所述方法还包括:
所述第二设备接收来自所述第一设备的判断结果,所述判断结果用于表示所述第二AI网络模型与所述第一信息的匹配结果。
22.根据权利要求21所述的方法,其特征在于,在所述匹配结果表示所述第二AI网络模型与所述第一信息不匹配的情况下,所述方法还包括:
所述第二设备接收来自所述第一设备的第一请求信息,并根据所述第一请求信息更新所述第三信息和所述第一AI网络模型中的至少一项;
所述第二设备发送更新后的所述第三信息和/或更新后的所述第一AI网络模型的相关信息。
23.根据权利要求21所述的方法,其特征在于,在所述匹配结果表示所述第二AI网络模型与所述第一信息不匹配的情况下,所述方法还包括:
所述第二设备接收来自所述第一设备的更新后的第一信息;
所述第二设备向所述第一设备发送与所述更新后的第一信息匹配的目标AI网络模型的相关信息,或者,所述第二设备根据所述更新后的第一信息发送第三AI网络模型的相关信息,所述第三AI网络模型用于进行压缩处理得到与所述更新后的第一信息对应的第四AI网络模型。
24.一种人工智能AI网络模型交互装置,其特征在于,应用于第一设备,所述装置包括:
第一发送模块,用于向第二设备发送第一信息,所述第一信息包括所述第一设备需要的AI网络模型的压缩和/或模型推理相关的信息;
第一获取模块,用于获取目标AI网络模型的相关信息,所述目标AI网络模型与所述第一信息对应。
25.一种人工智能AI网络模型交互装置,其特征在于,应用于第二设备,所述装置包括:
第一接收模块,用于接收来自第一设备的第一信息,所述第一信息包括所述第一设备需要的AI网络模型的压缩和/或模型推理相关的信息;
第二发送模块,用于向所述第一设备发送目标AI网络模型的相关信息,所述目标AI网络模型与所述第一信息对应,或者,根据所述第一信息发送第一AI网络模型的相关信息,其中,所述第一AI网络模型用于进行压缩处理得到第二AI网络模型,所述第二AI网络模型与所述第一信息对应。
26.一种通信设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至23中任一项所述的人工智能AI网络模型交互方法的步骤。
27.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至23中任一项所述的人工智能AI网络模型交互方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210822781.7A CN117439958A (zh) | 2022-07-12 | 2022-07-12 | 一种ai网络模型交互方法、装置和通信设备 |
PCT/CN2023/105408 WO2024012303A1 (zh) | 2022-07-12 | 2023-06-30 | 一种ai网络模型交互方法、装置和通信设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210822781.7A CN117439958A (zh) | 2022-07-12 | 2022-07-12 | 一种ai网络模型交互方法、装置和通信设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117439958A true CN117439958A (zh) | 2024-01-23 |
Family
ID=89535522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210822781.7A Pending CN117439958A (zh) | 2022-07-12 | 2022-07-12 | 一种ai网络模型交互方法、装置和通信设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117439958A (zh) |
WO (1) | WO2024012303A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020231049A1 (en) * | 2019-05-16 | 2020-11-19 | Samsung Electronics Co., Ltd. | Neural network model apparatus and compressing method of neural network model |
CN113472830B (zh) * | 2020-03-31 | 2023-03-10 | 华为技术有限公司 | 一种通信方法及装置 |
CN114418086B (zh) * | 2021-12-02 | 2023-02-28 | 北京百度网讯科技有限公司 | 压缩神经网络模型的方法、装置 |
CN114706518A (zh) * | 2022-03-30 | 2022-07-05 | 深存科技(无锡)有限公司 | Ai模型推理方法 |
-
2022
- 2022-07-12 CN CN202210822781.7A patent/CN117439958A/zh active Pending
-
2023
- 2023-06-30 WO PCT/CN2023/105408 patent/WO2024012303A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024012303A1 (zh) | 2024-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11758553B2 (en) | Signal transmission method, terminal device and network device for resource reservation | |
CN111163522A (zh) | 物理上行共享信道传输方法和终端设备 | |
EP4387316A1 (en) | Communication method and apparatus | |
US20240244419A1 (en) | Data subscription method and apparatus, and network element | |
CN117439958A (zh) | 一种ai网络模型交互方法、装置和通信设备 | |
CN117318774A (zh) | 信道矩阵处理方法、装置、终端及网络侧设备 | |
US20230353300A1 (en) | Information sending method, information receiving method, apparatus, device, and medium | |
US20230353283A1 (en) | Method for information transmission, second node, and first node | |
CN116847368A (zh) | 人工智能模型的输入处理方法、装置及设备 | |
CN113691472B (zh) | 一种pdcch估计方法及通信装置 | |
US20240251478A1 (en) | Method and apparatus for processing multicast service, and network device | |
CN116264712A (zh) | 数据收集方法及装置、第一设备、第二设备 | |
CN117411746A (zh) | Ai模型处理方法、装置、终端及网络侧设备 | |
CN108599829B (zh) | 一种实用化的干扰对齐与删除方法、终端设备 | |
CN117997484A (zh) | 信息传输方法、信息处理方法、装置和通信设备 | |
CN118158118A (zh) | Ai网络模型的确定方法、信息传输方法、装置和通信设备 | |
CN116437474A (zh) | 信道接收方法、信道接收装置和终端 | |
CN117938214A (zh) | 传输方法、装置、通信设备及可读存储介质 | |
CN117676852A (zh) | 信息传输方法、装置、终端及可读存储介质 | |
CN116827481A (zh) | 信道特征信息上报及恢复方法、终端和网络侧设备 | |
CN116208484A (zh) | 信息交互方法、装置及通信设备 | |
CN116886251A (zh) | 信息传输方法、装置、终端及网络侧设备 | |
CN117879737A (zh) | 信道预测方法、装置及通信设备 | |
CN118433670A (zh) | Ai业务建立方法、装置及网络侧 | |
CN116208492A (zh) | 信息交互方法、装置及通信设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |