CN111182239B - 一种ai视频处理方法与装置 - Google Patents

一种ai视频处理方法与装置 Download PDF

Info

Publication number
CN111182239B
CN111182239B CN202010029033.4A CN202010029033A CN111182239B CN 111182239 B CN111182239 B CN 111182239B CN 202010029033 A CN202010029033 A CN 202010029033A CN 111182239 B CN111182239 B CN 111182239B
Authority
CN
China
Prior art keywords
video
processing
board
resource pool
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010029033.4A
Other languages
English (en)
Other versions
CN111182239A (zh
Inventor
李拓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010029033.4A priority Critical patent/CN111182239B/zh
Publication of CN111182239A publication Critical patent/CN111182239A/zh
Priority to PCT/CN2020/111378 priority patent/WO2021139173A1/zh
Priority to US17/792,019 priority patent/US20230049578A1/en
Application granted granted Critical
Publication of CN111182239B publication Critical patent/CN111182239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5012—Processor sets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种AI视频处理方法与装置，方法包括：通过统一高速接口连接到AI处理资源池中的多个AI计算板卡和视频处理资源池中的多个视频编解码板卡；基于完成处理任务所需的资源和带宽从AI处理资源池和视频处理资源池中分别分配指定数量的AI计算板卡和视频编解码板卡构成基于处理任务的临时协作关系；响应于由处理任务变化导致的AI处理资源池或视频处理资源池中资源溢出或不足，而接入更多或停用多余的AI计算板卡或视频编解码板卡；基于被分配的AI计算板卡或视频编解码板卡来执行处理任务，并解除临时协作关系。本发明能够根据需要灵活分配和扩展AI处理能力和视频编解码能力，从而高效地适应不同应用场景算法。

Description

一种AI视频处理方法与装置
技术领域
本发明涉及计算机领域，更具体地，特别是指一种AI视频处理方法与装置。
背景技术
由于大数据产业的发展，数据量呈现***性增长态势，而传统的计算架构又无法支撑深度学***台的基础架构和发展生态。按照技术架构分类，现在主流的AI芯片有GPU(图形处理器)、全定制化(例如ASIC)芯片、半定制化(例如FPGA)芯片等。而除了GPU这样的通用计算芯片之外，按照性能和支持的算法应用来说，AI芯片的种类更是多种多样，不同的AI芯片在不同的应用算法和场景下，实际的性能表现也会差异很大。
目前的AI算法应用中，商业化前景最看好、实际应用算法最多的就是视频相关的AI应用，包括图像检测、图像识别、图像处理等等。相应的，不同的应用类型，需要进行的数据处理模式都会有所区别。比如，图像检测需要的视频分别率可以很低，可以对视频数据尽量压缩；又比如，图像处理往往需要将数据传回，对于数据通路有双向的带宽要求。在不同的应用场景下，对于AI处理要求的侧重点也有所不同，比如在自动驾驶与在线直播中，对于实时性要求都很高，但在线直播中对于数据处理的准确性，要求可能会比较低，而对在线视频的处理，往往对实时性没有要求。即便是在同一应用类型，同一应用场景下，由于采用的算法和实现方式不同，实际中对于数据的处理，比如矩阵计算的规模、缓存数据的频率都可能会有很大差别。
在现在的视频处理技术中，视频编解码是必不可少的技术。因为现在的视频流太多，单个视频流也太大(跟分辨率有关)，yuv是原始的视频流格式，一个1920x1080分辨率，yuv420格式，帧率50，帧数500的视频，只有10秒，其大小为：1920x1080x3/2x500≈1.45GB。可以想象，如果视频以原始格式传输的话，现有的各种接口带宽都无法满足海量视频的传输和处理。视频编解码本质上就是对视频的压缩和解压缩，现在主流的H.264编解码标准，能将数据传输最低压缩到1/150(最极端的情况，压缩率越高，视频解码出来的清晰度和准确地越低，以上面的例子来说，人眼观看的话，1.45GB的视频流压缩到6MB左右是合适的)，能极大地提高数据传输带宽的利用率，从而也使海量视频传输到云端统一处理成为可能。
对视频的AI处理进行芯片级的加速，一般有两种架构。一种是传统的，用已有的AI芯片和视频编解码芯片，放在一块或两块子板上，通过板级的连接，而一个AI芯片对应的数据处理能力，决定了要放多高性能，放多少个的视频编解码芯片。另一种就是最近一些互联网公司在研究的，将视频编解码模块放入到AI芯片中，形成专用的视频处理AI芯片，同样的，为了实现效率最高，AI计算能力与视频编解码能力也必须做匹配。无论是两种架构中的哪一种，都是将视频编解码和AI处理匹配到一起。在应用、场景和算法都比较单一或者相似的时候，这样的设计是最简单直接的。但在AI领域发展迅速，新的应用和算法层出不穷的现在，单一的架构往往会限制应用和算法的升级，造成性能的浪费。而无论是哪种架构，都无法在现有已经生产出来的产品上再做定制化的修改，只能重新设计生产或者忍受效率的降低。
针对现有技术中AI计算能力与视频编解码能力固定分配导致无法高效地适应不同应用场景算法的问题，目前尚无有效的解决方案。
发明内容
有鉴于此，本发明实施例的目的在于提出一种AI视频处理方法与装置，能够根据需要灵活分配和扩展AI处理能力和视频编解码能力，从而高效地适应不同应用场景算法。
基于上述目的，本发明实施例的第一方面提供了一种AI视频处理方法，包括由控制设备执行以下步骤：
通过统一高速接口连接到AI处理资源池中的多个AI计算板卡和视频处理资源池中的多个视频编解码板卡以调用AI处理资源和视频处理资源；
响应于接收到处理任务，而基于完成处理任务所需的资源和带宽从AI处理资源池和视频处理资源池中分别分配指定数量的AI计算板卡和视频编解码板卡构成基于处理任务的临时协作关系；
响应于由处理任务变化导致的AI处理资源池或视频处理资源池中资源溢出或不足，而引导AI处理资源池或视频处理资源池接入更多的AI计算板卡或视频编解码板卡、或停用多余的AI计算板卡或视频编解码板卡；
基于被分配的AI计算板卡或视频编解码板卡来执行处理任务，并响应于处理任务已完成而解除临时协作关系。
在一些实施方式中，每个AI计算板卡上均设置有型号相同的第一数量的AI计算芯片，每个视频编解码板卡均设置有型号相同的第二数量的视频编解码芯片；第一数量和第二数量配置为基于统一高速接口的带宽、以及AI计算板卡和视频编解码板卡的物理连线复杂度确定。
在一些实施方式中，视频编解码芯片支持的视频编解码包括以下至少之一：MPEG、H.264、H.265、AVS、AVS+。
在一些实施方式中，通过统一高速接口连接包括：控制设备通过主板上的PCIE物理接口直接连接、和/或经由具有PCIE切换芯片的交换板建立间接连接。
在一些实施方式中，控制设备包括设置在主板上的中央处理器、以及设置在交换板上的单片机和/或ARM处理器。
本发明实施例的第二方面提供了一种AI视频处理装置，包括：
AI处理资源池，包括用于执行AI处理的多个AI计算板卡；
视频处理资源池，包括用于执行视频处理的多个视频编解码板卡；
控制设备，通过统一高速接口连接到多个AI计算板卡和多个视频编解码板卡，包括处理器和存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实现以下步骤：
响应于接收到处理任务，而基于完成处理任务所需的资源和带宽从AI处理资源池和视频处理资源池中分别分配指定数量的AI计算板卡和视频编解码板卡构成基于处理任务的临时协作关系；
响应于由处理任务变化导致的AI处理资源池或视频处理资源池中资源溢出或不足，而引导AI处理资源池或视频处理资源池接入更多的AI计算板卡或视频编解码板卡、或停用多余的AI计算板卡或视频编解码板卡；
调用被分配的AI计算板卡或视频编解码板卡作为AI处理资源和视频处理资源来执行处理任务，并响应于处理任务已完成而解除临时协作关系。
在一些实施方式中，每个AI计算板卡上均设置有型号相同的第一数量的AI计算芯片，每个视频编解码板卡均设置有型号相同的第二数量的视频编解码芯片；第一数量和第二数量配置为基于统一高速接口的带宽、以及AI计算板卡和视频编解码板卡的物理连线复杂度确定。
在一些实施方式中，视频编解码芯片支持的视频编解码包括以下至少之一：MPEG、H.264、H.265、AVS、AVS+。
在一些实施方式中，控制设备通过主板上的PCIE物理接口直接连接多个AI计算板卡和多个视频编解码板卡；和/或装置还包括具有PCIE切换芯片的交换板，控制设备经由交换板间接连接多个AI计算板卡和多个视频编解码板卡。
在一些实施方式中，控制设备包括设置在主板上的中央处理器、以及设置在交换板上的单片机和/或ARM处理器。
本发明具有以下有益技术效果：本发明实施例提供的AI视频处理方法与装置，通过统一高速接口连接到AI处理资源池中的多个AI计算板卡和视频处理资源池中的多个视频编解码板卡以调用AI处理资源和视频处理资源；响应于接收到处理任务，而基于完成处理任务所需的资源和带宽从AI处理资源池和视频处理资源池中分别分配指定数量的AI计算板卡和视频编解码板卡构成基于处理任务的临时协作关系；响应于由处理任务变化导致的AI处理资源池或视频处理资源池中资源溢出或不足，而引导AI处理资源池或视频处理资源池接入更多的AI计算板卡或视频编解码板卡、或停用多余的AI计算板卡或视频编解码板卡；基于被分配的AI计算板卡或视频编解码板卡来执行处理任务，并响应于处理任务已完成而解除临时协作关系的技术方案，能够根据需要灵活分配和扩展AI处理能力和视频编解码能力，从而高效地适应不同应用场景算法。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的AI视频处理方法的流程示意图；
图2为本发明提供的AI视频处理装置的直接连接形式的结构示意图；
图3为本发明提供的AI视频处理装置的间接连接形式的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明实施例的第一个方面，提出了一种能够高效地适应不同应用场景算法的AI视频处理方法的一个实施例。图1示出的是本发明提供的AI视频处理方法的流程示意图。
所述AI视频处理方法，如图1所示，包括由控制设备执行以下步骤：
步骤S101：通过统一高速接口连接到AI处理资源池中的多个AI计算板卡和视频处理资源池中的多个视频编解码板卡以调用AI处理资源和视频处理资源；
步骤S103：响应于接收到处理任务，而基于完成处理任务所需的资源和带宽从AI处理资源池和视频处理资源池中分别分配指定数量的AI计算板卡和视频编解码板卡构成基于处理任务的临时协作关系；
步骤S105：响应于由处理任务变化导致的AI处理资源池或视频处理资源池中资源溢出或不足，而引导AI处理资源池或视频处理资源池接入更多的AI计算板卡或视频编解码板卡、或停用多余的AI计算板卡或视频编解码板卡；
步骤S107：基于被分配的AI计算板卡或视频编解码板卡来执行处理任务，并响应于处理任务已完成而解除临时协作关系。
本发明针对通用的AI视频处理加速需求，提出一种通用的AI芯片与视频解码芯片板级的架构和***形态，在完成AI视频处理加速功能的前提下，用资源池化的方式保持AI处理能力和视频编解码能力的灵活扩展性，从而实现在不同应用场景和算法下的使用和升级。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。所述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
在一些实施方式中，每个AI计算板卡上均设置有型号相同的第一数量的AI计算芯片，每个视频编解码板卡均设置有型号相同的第二数量的视频编解码芯片；第一数量和第二数量配置为基于统一高速接口的带宽、以及AI计算板卡和视频编解码板卡的物理连线复杂度确定。
在一些实施方式中，视频编解码芯片支持的视频编解码包括以下至少之一：MPEG、H.264、H.265、AVS、AVS+。
在一些实施方式中，通过统一高速接口连接包括：控制设备通过主板上的PCIE物理接口直接连接、和/或经由具有PCIE切换芯片的交换板建立间接连接。
在一些实施方式中，控制设备包括设置在主板上的中央处理器、以及设置在交换板上的单片机和/或ARM处理器。
根据本发明实施例公开的方法还可以被实现为由CPU(中央处理器)执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时，执行本发明实施例公开的方法中限定的上述功能。上述方法步骤以及***单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
下面根据具体实施例来进一步阐述本发明的具体实施方式。
首先对于选用的AI芯片和视频编解码芯片，要有统一的高速接口，在本发明中，考虑到兼容性，选用目前最主流的PCIE 3.0接口，目前市场上除了应用在设备端的低功耗芯片，绝大部分芯片都支持PCIE接口。并且PCIE接口具备向前兼容的特性，即便之后PCIE 4.0成为市场主流，现有芯片也能兼容使用。如果芯片不兼容PCIE 3.0，可以在板级设计中加入接口的转换模块。
为了最大限度地保持通用性，视频编解码芯片应支持尽可能多的视频标准，包括MPEG、H.264、H.265、AVS、AVS+等等。现有技术的部分产品不支持某些标准，无非是为了功耗和面积的考量，放弃了主要应用场景之外的视频标准，但本发明对单颗芯片的功耗面积没有那么敏感。
将AI芯片和视频编解码芯片分开放在不同的子板上，独立进行板级设计。一方面，单块板子上放置几颗芯片可以根据板级的功耗和物理连线的复杂度进行评估，另一方面，需要考虑AI芯片和视频编解码芯片之间数据传输量，如果放置芯片过多，可能接口带宽会成为整体性能的瓶颈。在本发明中，子板与主机端通过PCIE 3.0/4.0连接，以主流的PCIE卡半高半长的规格，一般是放置两颗或四颗芯片。相对于异构多核心芯片以及异构多颗芯片的板级设计，在同一块子板上只放置同一款芯片的方案，更容易布局和设计也更加稳定。
AI芯片子卡与视频编解码子卡，并不是一一对应的关系，而是各自构建资源池。也就是说，可以有多块子卡，如果子卡数量较少，可以直接使用主板的PCIE接口连接。如果数量较多，需要加入带有PCIE交换芯片的交换卡进行连接。
对于AI处理和视频编解码两个资源池之间的数据传输，需要一个控制器。在资源池较小的***中，可以直接由CPU控制，两个资源池用中断的方式和CPU通信，CPU根据规则发送控制信号完成传输。在资源池较大的***中，为了保证效率和减少对CPU时间的占用，可以在PCIE交换芯片的交换板上加入一个微控制器(嵌入式的单片机、ARM处理器都可以)，用于管理资源池数据传输。这两种情况分别如图2和图3所示。
单颗AI芯片与单颗或多颗视频编解码芯片不再是固定的对应的关系，而是两个资源池之间的交互。因此对于处理能力的匹配，只需要考虑整体资源池的处理能力大小，以及数据传输带宽的限制(如果单个交换板上接的子卡太多，子卡间通信又过于频繁，可能造成数据拥塞，在这种情况，需要采用更复杂的总线结构，不过一般对于整个***的设计不可能在单个服务器上放置如此大规模的资源池)。当应用场景和算法的切换造成对资源池处理能力需求之间比例关系的变换时，可以通过去除或增加子卡来解决。
从上述实施例可以看出，本发明实施例提供的AI视频处理方法，通过统一高速接口连接到AI处理资源池中的多个AI计算板卡和视频处理资源池中的多个视频编解码板卡以调用AI处理资源和视频处理资源；响应于接收到处理任务，而基于完成处理任务所需的资源和带宽从AI处理资源池和视频处理资源池中分别分配指定数量的AI计算板卡和视频编解码板卡构成基于处理任务的临时协作关系；响应于由处理任务变化导致的AI处理资源池或视频处理资源池中资源溢出或不足，而引导AI处理资源池或视频处理资源池接入更多的AI计算板卡或视频编解码板卡、或停用多余的AI计算板卡或视频编解码板卡；基于被分配的AI计算板卡或视频编解码板卡来执行处理任务，并响应于处理任务已完成而解除临时协作关系的技术方案，能够根据需要灵活分配和扩展AI处理能力和视频编解码能力，从而高效地适应不同应用场景算法。
需要特别指出的是，上述AI视频处理方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于AI视频处理方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在所述实施例之上。
基于上述目的，本发明实施例的第二个方面，提出了一种能够快速检查BIOS中生效的非默认选项的AI视频处理装置的一个实施例。AI视频处理装置包括：
AI处理资源池，包括用于执行AI处理的多个AI计算板卡；
视频处理资源池，包括用于执行视频处理的多个视频编解码板卡；
控制设备，通过统一高速接口连接到多个AI计算板卡和多个视频编解码板卡，包括处理器和存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实现以下步骤：
响应于接收到处理任务，而基于完成处理任务所需的资源和带宽从AI处理资源池和视频处理资源池中分别分配指定数量的AI计算板卡和视频编解码板卡构成基于处理任务的临时协作关系；
响应于由处理任务变化导致的AI处理资源池或视频处理资源池中资源溢出或不足，而引导AI处理资源池或视频处理资源池接入更多的AI计算板卡或视频编解码板卡、或停用多余的AI计算板卡或视频编解码板卡；
调用被分配的AI计算板卡或视频编解码板卡作为AI处理资源和视频处理资源来执行处理任务，并响应于处理任务已完成而解除临时协作关系。
在一些实施方式中，每个AI计算板卡上均设置有型号相同的第一数量的AI计算芯片，每个视频编解码板卡均设置有型号相同的第二数量的视频编解码芯片；第一数量和第二数量基于统一高速接口的带宽、以及AI计算板卡和视频编解码板卡的物理连线复杂度确定。
在一些实施方式中，视频编解码芯片支持的视频编解码包括以下至少之一：MPEG、H.264、H.265、AVS、AVS+。
在一些实施方式中，控制设备通过主板上的PCIE物理接口直接连接多个AI计算板卡和多个视频编解码板卡；和/或装置还包括具有PCIE切换芯片的交换板，控制设备经由交换板间接连接多个AI计算板卡和多个视频编解码板卡。
在一些实施方式中，控制设备包括设置在主板上的中央处理器、以及设置在交换板上的单片机和/或ARM处理器。
从上述实施例可以看出，本发明实施例提供的AI视频处理装置，通过统一高速接口连接到AI处理资源池中的多个AI计算板卡和视频处理资源池中的多个视频编解码板卡以调用AI处理资源和视频处理资源；响应于接收到处理任务，而基于完成处理任务所需的资源和带宽从AI处理资源池和视频处理资源池中分别分配指定数量的AI计算板卡和视频编解码板卡构成基于处理任务的临时协作关系；响应于由处理任务变化导致的AI处理资源池或视频处理资源池中资源溢出或不足，而引导AI处理资源池或视频处理资源池接入更多的AI计算板卡或视频编解码板卡、或停用多余的AI计算板卡或视频编解码板卡；基于被分配的AI计算板卡或视频编解码板卡来执行处理任务，并响应于处理任务已完成而解除临时协作关系的技术方案，能够根据需要灵活分配和扩展AI处理能力和视频编解码能力，从而高效地适应不同应用场景算法。
需要特别指出的是，上述AI视频处理装置的实施例采用了所述AI视频处理方法的实施例来具体说明各模块的工作过程，本领域技术人员能够很容易想到，将这些模块应用到所述AI视频处理方法的其他实施例中。当然，由于所述AI视频处理方法实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于所述AI视频处理装置也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在所述实施例之上。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种AI视频处理方法，其特征在于，包括由控制设备执行以下步骤：
通过统一高速接口连接到AI处理资源池中的多个AI计算板卡和视频处理资源池中的多个视频编解码板卡以调用AI处理资源和视频处理资源；
响应于接收到处理任务，而基于完成所述处理任务所需的资源和带宽从所述AI处理资源池和所述视频处理资源池中分别分配指定数量的所述AI计算板卡和所述视频编解码板卡构成基于所述处理任务的临时协作关系；
响应于由所述处理任务变化导致的所述AI处理资源池或所述视频处理资源池中资源溢出或不足，而引导所述AI处理资源池或所述视频处理资源池接入更多的所述AI计算板卡或所述视频编解码板卡、或停用多余的所述AI计算板卡或所述视频编解码板卡；
基于被分配的所述AI计算板卡和所述视频编解码板卡来执行所述处理任务，并响应于所述处理任务已完成而解除所述临时协作关系。
2.根据权利要求1所述的方法，其特征在于，每个所述AI计算板卡上均设置有型号相同的第一数量的AI计算芯片，每个所述视频编解码板卡均设置有型号相同的第二数量的视频编解码芯片；所述第一数量和所述第二数量配置为基于所述统一高速接口的带宽、以及所述AI计算板卡和所述视频编解码板卡的物理连线复杂度确定。
3.根据权利要求2所述的方法，其特征在于，所述视频编解码芯片支持的视频编解码包括以下至少之一：MPEG、H.264、H.265、AVS、AVS+。
4.根据权利要求1所述的方法，其特征在于，所述通过所述统一高速接口连接包括：所述控制设备通过主板上的PCIE物理接口直接连接、和/或经由具有PCIE切换芯片的交换板建立间接连接。
5.根据权利要求4所述的方法，其特征在于，所述控制设备包括设置在所述主板上的中央处理器、以及设置在所述交换板上的单片机和/或ARM处理器。
6.一种AI视频处理装置，其特征在于，包括：
AI处理资源池，包括用于执行AI处理的多个AI计算板卡；
视频处理资源池，包括用于执行视频处理的多个视频编解码板卡；
控制设备，通过统一高速接口连接到多个所述AI计算板卡和多个所述视频编解码板卡，包括处理器和存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现以下步骤：
响应于接收到处理任务，而基于完成所述处理任务所需的资源和带宽从所述AI处理资源池和所述视频处理资源池中分别分配指定数量的所述AI计算板卡和所述视频编解码板卡构成基于所述处理任务的临时协作关系；
响应于由所述处理任务变化导致的所述AI处理资源池或所述视频处理资源池中资源溢出或不足，而引导所述AI处理资源池或所述视频处理资源池接入更多的所述AI计算板卡或所述视频编解码板卡、或停用多余的所述AI计算板卡或所述视频编解码板卡；
调用被分配的所述AI计算板卡和所述视频编解码板卡作为AI处理资源和视频处理资源来执行所述处理任务，并响应于所述处理任务已完成而解除所述临时协作关系。
7.根据权利要求6所述的装置，其特征在于，每个所述AI计算板卡上均设置有型号相同的第一数量的AI计算芯片，每个所述视频编解码板卡均设置有型号相同的第二数量的视频编解码芯片；所述第一数量和所述第二数量配置为基于所述统一高速接口的带宽、以及所述AI计算板卡和所述视频编解码板卡的物理连线复杂度确定。
8.根据权利要求7所述的装置，其特征在于，所述视频编解码芯片支持的视频编解码包括以下至少之一：MPEG、H.264、H.265、AVS、AVS+。
9.根据权利要求6所述的装置，其特征在于，所述控制设备通过主板上的PCIE物理接口直接连接多个所述AI计算板卡和多个所述视频编解码板卡；和/或装置还包括具有PCIE切换芯片的交换板，所述控制设备经由所述交换板间接连接多个所述AI计算板卡和多个所述视频编解码板卡。
10.根据权利要求9所述的装置，其特征在于，所述控制设备包括设置在所述主板上的中央处理器、以及设置在所述交换板上的单片机和/或ARM处理器。
CN202010029033.4A 2020-01-12 2020-01-12 一种ai视频处理方法与装置 Active CN111182239B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010029033.4A CN111182239B (zh) 2020-01-12 2020-01-12 一种ai视频处理方法与装置
PCT/CN2020/111378 WO2021139173A1 (zh) 2020-01-12 2020-08-26 一种ai视频处理方法与装置
US17/792,019 US20230049578A1 (en) 2020-01-12 2020-08-26 Ai video processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010029033.4A CN111182239B (zh) 2020-01-12 2020-01-12 一种ai视频处理方法与装置

Publications (2)

Publication Number Publication Date
CN111182239A CN111182239A (zh) 2020-05-19
CN111182239B true CN111182239B (zh) 2021-07-06

Family

ID=70657989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010029033.4A Active CN111182239B (zh) 2020-01-12 2020-01-12 一种ai视频处理方法与装置

Country Status (3)

Country Link
US (1) US20230049578A1 (zh)
CN (1) CN111182239B (zh)
WO (1) WO2021139173A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111182239B (zh) * 2020-01-12 2021-07-06 苏州浪潮智能科技有限公司 一种ai视频处理方法与装置
CN112312202B (zh) * 2020-08-10 2023-02-28 浙江宇视科技有限公司 解码拼接处理设备
CN112153387A (zh) * 2020-08-28 2020-12-29 山东云海国创云计算装备产业创新中心有限公司 一种ai视频解码***
CN112672166B (zh) * 2020-12-24 2023-05-05 北京睿芯高通量科技有限公司 一种视频解码器的多码流解码加速***及方法
CN113766230B (zh) * 2021-11-04 2022-04-01 广州易方信息科技股份有限公司 媒体文件编码方法、装置、计算机设备和存储介质
CN115499665A (zh) * 2022-09-14 2022-12-20 北京睿芯高通量科技有限公司 一种多路视频高并发编解码***
CN115629876B (zh) * 2022-10-19 2023-07-28 慧之安信息技术股份有限公司 一种基于可扩展硬件加速的智能视频处理方法和***
CN115984675B (zh) * 2022-12-01 2023-10-13 扬州万方科技股份有限公司 一种用于实现多路视频解码及ai智能分析的***及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222669A (zh) * 2007-11-30 2008-07-16 东方通信股份有限公司 在通信***中提供融合媒体资源的***和方法
CN102932645A (zh) * 2012-11-29 2013-02-13 济南大学 一种图形处理器与视频编解码器融合的电路结构
CN103377091A (zh) * 2012-04-26 2013-10-30 国际商业机器公司 用于资源共享池中的作业的高效执行的方法和***
CN203827467U (zh) * 2014-03-03 2014-09-10 深圳市云朗网络科技有限公司 一种异构计算机***多路视频并行解码结构
CN109547531A (zh) * 2018-10-19 2019-03-29 华为技术有限公司 数据处理的方法、装置和计算设备
CN109996116A (zh) * 2019-03-27 2019-07-09 深圳创维－Rgb电子有限公司 提升视频分辨率的方法、终端及可读存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1127513A (ja) * 1997-07-07 1999-01-29 Toshiba Corp 画像処理装置及び画像処理方法
US9378065B2 (en) * 2013-03-15 2016-06-28 Advanced Elemental Technologies, Inc. Purposeful computing
US10762023B2 (en) * 2016-07-26 2020-09-01 Samsung Electronics Co., Ltd. System architecture for supporting active pass-through board for multi-mode NMVe over fabrics devices
KR102540111B1 (ko) * 2016-07-27 2023-06-07 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 방법
EP3422724B1 (en) * 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
CN208766660U (zh) * 2018-10-30 2019-04-19 北京旷视科技有限公司 处理板卡
CN109753359B (zh) * 2018-12-27 2021-06-29 郑州云海信息技术有限公司 一种用于构建资源池的fpga板卡、服务器和***
CN110134205B (zh) * 2019-06-06 2024-03-29 深圳云朵数据科技有限公司 一种ai计算服务器
CN110414457A (zh) * 2019-08-01 2019-11-05 深圳云朵数据技术有限公司 一种用于视频监控的算力***
CN115422284B (zh) * 2019-08-22 2023-11-10 华为技术有限公司 存储设备、分布式存储***以及数据处理方法
CN112511782B (zh) * 2019-09-16 2024-05-07 中兴通讯股份有限公司 视频会议方法、第一终端、mcu、***及存储介质
CN111182239B (zh) * 2020-01-12 2021-07-06 苏州浪潮智能科技有限公司 一种ai视频处理方法与装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222669A (zh) * 2007-11-30 2008-07-16 东方通信股份有限公司 在通信***中提供融合媒体资源的***和方法
CN103377091A (zh) * 2012-04-26 2013-10-30 国际商业机器公司 用于资源共享池中的作业的高效执行的方法和***
CN102932645A (zh) * 2012-11-29 2013-02-13 济南大学 一种图形处理器与视频编解码器融合的电路结构
CN203827467U (zh) * 2014-03-03 2014-09-10 深圳市云朗网络科技有限公司 一种异构计算机***多路视频并行解码结构
CN109547531A (zh) * 2018-10-19 2019-03-29 华为技术有限公司 数据处理的方法、装置和计算设备
CN109996116A (zh) * 2019-03-27 2019-07-09 深圳创维－Rgb电子有限公司 提升视频分辨率的方法、终端及可读存储介质

Also Published As

Publication number Publication date
US20230049578A1 (en) 2023-02-16
WO2021139173A1 (zh) 2021-07-15
CN111182239A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111182239B (zh) 一种ai视频处理方法与装置
TWI483213B (zh) 用於託付繪圖之整合式ｇｐｕ、ｎｉｃ及壓縮硬體
CN107704922A (zh) 人工神经网络处理装置
CN109542830B (zh) 一种数据处理***及数据处理方法
CN108989811B (zh) 云桌面***、及其图像序列压缩编码方法和介质
CN107679620A (zh) 人工神经网络处理装置
CN107679621A (zh) 人工神经网络处理装置
CN108710596A (zh) 一种基于dsp和fpga多协处理卡的桌面超算硬件平台
CN108345555B (zh) 基于高速串行通信的接口桥接电路及其方法
US11868297B2 (en) Far-end data migration device and method based on FPGA cloud platform
CN103076849B (zh) 可重构微服务器***
CN112631986B (zh) 大规模dsp并行计算装置
CN111831072A (zh) 一种边缘计算中心一体化服务器的设计方法
CN116132287A (zh) 基于dpu的高性能网络加速方法及***
CN116166434A (zh) 处理器分配方法及***、装置、存储介质、电子设备
CN115687229A (zh) 一种ai训练板卡及基于此的服务器、服务器集群、分布式训练方法
CN115080209A (zh) ***资源调度方法、装置、电子设备及存储介质
CN112769788B (zh) 计费业务数据处理方法、装置、电子设备及存储介质
CN112329919B (zh) 模型训练方法及装置
CN210466253U (zh) 一种具备高密度gpu扩展能力的服务器
CN110766600B (zh) 一种分布式架构的图像处理***
CN110837419B (zh) 基于弹性批处理的推理引擎***、方法及电子设备
CN115994115B (zh) 芯片控制方法、芯片组及电子设备
CN103020008B (zh) 计算能力增强的可重构微服务器
CN109918197B (zh) 数据处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant