CN112165623A - 软硬结合的音视频编解码装置 - Google Patents

软硬结合的音视频编解码装置 Download PDF

Info

Publication number
CN112165623A
CN112165623A CN202011056791.1A CN202011056791A CN112165623A CN 112165623 A CN112165623 A CN 112165623A CN 202011056791 A CN202011056791 A CN 202011056791A CN 112165623 A CN112165623 A CN 112165623A
Authority
CN
China
Prior art keywords
video
audio
decoding
coding
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011056791.1A
Other languages
English (en)
Inventor
林青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Guangzhuiyuan Information Technology Co ltd
Original Assignee
Guangzhou Guangzhuiyuan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Guangzhuiyuan Information Technology Co ltd filed Critical Guangzhou Guangzhuiyuan Information Technology Co ltd
Priority to CN202011056791.1A priority Critical patent/CN112165623A/zh
Publication of CN112165623A publication Critical patent/CN112165623A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8193—Monomedia components thereof involving executable data, e.g. software dedicated tools, e.g. video decoder software or IPMP tool

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种软硬结合的音视频编解码装置，包括解码性能均衡模块、视频硬解码模块、视频软解码模块、音频软解码模块、编码性能均衡模块、音视频硬编码模块和音视频软编码模块。本发明通过综合评估智能终端CPU和编解码DSP的动态性能，将手机的软编解码方式和硬编解码方式结合起来共同进行音视频的编解码处理，能够同时充分发挥手机CPU和编解码DSP部件的性能，因此可以提高音视频的编解码效率，即使在多音视频同时编辑的场景下，也有较高的编解码效率，为操作者带来良好的音视频编辑体验。

Description

软硬结合的音视频编解码装置
技术领域
本发明属于音视频编解码技术领域，具体涉及一种软硬结合的音视频编解码装置。
背景技术
随着移动端手机市场的飞速发展和移动网络的不断升级，以音视频为载体的娱乐内容呈***式增长，在安卓移动端有较多的音视频处理装置来满足人们对音视频编辑的需求。音视频编辑的核心基础是音视频编解码技术，目前市面上的音视频编解码方式基本分为两种：一种是以通用格式的编解码算法使用CPU部件计算处理的软编解码方式；另一种是采用手机装置级芯片上的编解码DSP硬件装置以硬编解码的方式进行处理。随着人们对视频分辨率的追求不断提高，编解码的处理数据量也在成倍的增长，如何提高编解码效率已经成为音视频处理的核心问题。
相关技术中，编解码方式都是单一的使用CPU进行软编解码或者单一的使用编解码DSP进行硬编解码，这样的实现方式导致在编解码过程中手机的一部分运算部件处于空闲状态，从而无法完全利用手机各部件的性能，有可能以CPU为运算核心的软编解码已经不堪重负了，而以编解码DSP为运算核心的硬编解码却空闲没有任务，或者以编解码DSP为核心的硬编解码已经任务饱和了，而以CPU为运算核心的软编解码却空闲等待，这样一来，严重浪费了设备现有的硬件资源，造成了编解码效率较低的问题，尤其是有多个音视频同时处理的时候，效率低下的问题尤其明显，给用户造成了不友好的音视频编辑体验。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种软硬结合的音视频编解码装置，以解决现有技术中多个音视频同时处理的时候效率低下，给用户造成了不友好的音视频编辑体验的问题。
为实现以上目的，本发明采用如下技术方案：一种软硬结合的音视频编解码装置，包括：
解码性能均衡模块，用于评估智能终端的解码能力，根据所述解码能力确定音视频解码的配置；
视频硬解码模块，用于使用视频硬解码部件采用解码算法对视频文件进行硬解码，得到可自定义显示和编辑的图像原始数据；
视频软解码模块，用于使用视频软解码部件采用解码算法对视频文件进行软解码，得到可自定义显示和编辑的图像原始数据；
音频软解码模块，用于使用音频软解码部件采用解码算法对视频文件的音频数据进行解码，得到可播放编辑的音频原始数据；
编码性能均衡模块，用于评估智能终端的编码能力，根据所述编码能力确定音视频编码的配置和处理路径；
音视频硬编码模块，用于使用音视频硬编码部件采用编码算法对所述图像原始数据、音频原始数据进行压缩编码，生成最终的视频文件；
音视频软编码模块，用于使用音视频软编码部件采用编码算法对所述图像原始数据、音频原始数据进行压缩编码，生成最终的视频文件。
进一步的，所述评估智能终端的解码能力，根据所述解码能力确定音视频解码的配置，包括：
载入解码算法数据并获取智能终端的CPU和编解码DSP的性能信息；
采用性能评估算法评估所述智能终端的编解码能力；
获取待处理音视频，计算所述待处理音视频的基本信息；
根据所述基本信息、正在解码的音视频的个数、CPU及编解码DSP动态调整所述待处理音视频的解码配置；
确定所述待处理音视频的解码方式。
进一步的，所述使用编解码DSP采用解码算法对视频文件进行硬解码，包括：
根据音视频解码的配置，初始化以解码DSP为核心的视频硬解码部件；
启动解码时钟控制器；
根据所述解码时钟控制器解析视频文件，得到视频轨道文件流，从所述视频轨道文件流中抽取视频数据包，将所述视频数据包输入到所述硬解码部件的数据输入区；
所述视频硬解码部件对数据输入区的视频数据包以解码算法进行解码，并将解码得到的图像原始数据输出到硬解码部件的数据输出区。
进一步的，所述使用视频软解码部件采用解码算法对视频文件进行软解码，包括：
根据音视频解码的配置，初始化以解码CPU为核心的视频软解码部件；
创建数据缓冲区；所述缓冲区包括待解码的数据缓冲区和解码后的图像原始数据缓冲区；
启动解码时钟控制器；
根据所述解码时钟控制器解析视频文件，得到视频轨道文件流，从所述视频轨道文件流中抽取视频数据包，将所述视频数据包输入到所述待解码的数据缓冲区；
所述视频软解码部件对所述待解码的数据缓冲区的视频数据包以解码算法进行解码，并将解码后的图像原始数据输出到图像原始数据缓冲区。
进一步的，所述使用音频软解码部件采用解码算法对视频文件的音频数据进行解码，包括：
获取视频文件中音频的基本信息；
根据音视频解码的配置，初始化以解码CPU为核心的音频软解码部件；
创建解码后的PCM音频原始数据缓冲区；
启动解码时钟控制器；
根据所述解码时钟控制器解析视频文件，得到音频轨道文件流，从所述音频轨道文件流中抽取音频数据包；
所述音频软解码部件对所述音频数据包以解码算法进行解码，并将解码后的音频原始数据输出到所述解码后的PCM音频原始数据缓冲区。
进一步的，所述评估智能终端的编码能力，根据所述编码能力确定音视频编码的配置和处理路径，包括：
载入解码算法数据并获取智能终端的CPU和编解码DSP的性能信息；
获取结果编码视频的基本信息；
根据所述基本信息、CPU及编解码DSP动态调整所述结果编码视频的编码配置；
确定所述结果编码视频的编码方式。
进一步的，所述使用音视频硬编码部件采用编码算法对所述图像原始数据、音频原始数据进行压缩编码，生成最终的视频文件，包括：
根据音视频编码的配置，初始化以编码DSP为核心的视频硬编码部件和音频硬编码部件；
创建硬编码结果数据缓冲区；所述硬编码结果数据缓冲区包括硬编码视频数据缓冲区和硬编码音频数据缓冲区；
启动编码时钟控制器，根据所述编码时钟控制器获取解码后的视频原始数据、音频原始数据，将所述视频原始数据、音频原始数据分别输入到所述视频硬编码部件和音频硬编码部件的数据输入区；
所述视频硬编码部件和音频硬编码部件分别对所述视频原始数据、音频原始数据进行压缩编码；
将压缩编码后的视频数据和音频数据分别输出到硬编码视频数据缓冲区和硬编码音频数据缓冲区；
合成所述视频数据和音频数据，得到最终的视频文件。
进一步的，所述使用音视频软编码部件采用编码算法对所述图像原始数据、音频原始数据进行压缩编码，包括：
根据音视频编码的配置，初始化以CPU为核心的视频软编码部件和音频软编码部件；
创建软编码结果数据缓冲区；所述软编码结果数据缓冲区包括软编码视频数据缓冲区和软编码音频数据缓冲区；
启动编码时钟控制器，根据所述编码时钟控制器获取解码后的视频原始数据、音频原始数据，将所述视频原始数据、音频原始数据分别输入到所述视频软编码部件和音频软编码部件的数据输入区；
所述视频软编码部件和音频软编码部件分别对所述视频原始数据、音频原始数据进行压缩编码；
将压缩编码后的视频数据和音频数据分别输出到软编码视频数据缓冲区和软编码音频数据缓冲区；
合成所述视频数据和音频数据，得到最终的视频文件。
进一步的，采用性能评估算法评估所述智能终端的编解码能力。
进一步的，所述基本信息包括：码率、分辨率、帧率以及视频时长。
本发明采用以上技术方案，能够达到的有益效果包括：
本发明提供一种软硬结合的音视频编解码装置，包括解码性能均衡模块、视频硬解码模块、视频软解码模块、音频软解码模块、编码性能均衡模块、音视频硬编码模块和音视频软编码模块。本发明通过综合评估智能终端CPU和编解码DSP的动态性能，将手机的软编解码方式和硬编解码方式结合起来共同进行音视频的编解码处理，能够同时充分发挥手机CPU和编解码DSP部件的性能，因此可以提高音视频的编解码效率，即使在多音视频同时编辑的场景下，也有较高的编解码效率，为操作者带来良好的音视频编辑体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明软硬结合的音视频编解码装置的结构示意图；
图2为本发明软硬结合的音视频编解码装置的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的软硬结合的音视频编解码装置。
如图1所示，本申请实施例中提供的软硬结合的音视频编解码装置包括：
解码性能均衡模块101，用于评估智能终端的解码能力，根据所述解码能力确定音视频解码的配置；
视频硬解码模块102，用于使用视频硬解码部件采用解码算法对视频文件进行硬解码，得到可自定义显示和编辑的图像原始数据；
视频软解码模块103，用于使用视频软解码部件采用解码算法对视频文件进行软解码，得到可自定义显示和编辑的图像原始数据；
音频软解码模块104，用于使用音频软解码部件采用解码算法对视频文件的音频数据进行解码，得到可播放编辑的音频原始数据；
编码性能均衡模块105，用于评估智能终端的编码能力，根据所述编码能力确定音视频编码的配置和处理路径；
音视频硬编码模块106，用于使用音视频硬编码部件采用编码算法对所述图像原始数据、音频原始数据进行压缩编码，生成最终的视频文件；
音视频软编码模块107，用于使用音视频软编码部件采用编码算法对所述图像原始数据、音频原始数据进行压缩编码，生成最终的视频文件。
软硬结合的音视频编解码装置的工作原理为：参见图2，本发明对音视频的编解码处理进行了改进，首先操作者选择了需要处理的视频导入本申请提供的装置，本装置首先会根据设备当前的性能状态以及导入视频的信息，综合评估当前最高效的解码配置和方式，然后决定使用硬解码还是软解码方式，这是一个动态调整的过程，因此流程可能走硬解码模块，也有可能走软解码模块。本发明综合考虑视频文件中的音频数据占数据总量的比例很小，所以单独将音频解码并行的使用软解码方式，这样可以让出更多的解码DSP性能，使用解码DSP硬解码视频数据效率更高，从而使得整体的解码效率提高。然后通过适合当前性能的视频解码模块对视频数据进行解码得到以YUV格式为主的图像原始数据。与此同时，本发明并行的进行视频文件中的音频数据的软解码，得到了PCM格式的音频原始数据。得到的视频和音频的原始数据，就是可以用于自定义显示和编辑的数据，操作者可自行根据需要定制编辑方式。而对处理后的音视频原始数据进行最终的编码前，会再次综合当前设备的整体性能和编码要求动态调整找到最佳的编码方式和编码配置，会根据设备的CPU和编码DSP性能情况，选取最高效、合适的编码方式，然后对编辑后的音视频原始数据执行编码操作，生成最终的视频文件。
可以理解的是，无论是硬解码还是软解码对视频文件解码到得到的都是可自定义显示和编辑的以YUV格式为主的图像原始数据，而对音频数据进行软解码后得到可用于播放编辑的PCM格式的原始数据，以便于后续编码。
综上，本发明会根据设备性能的变化动态调整编解码方式，使用了软硬编解码结合的方式来充分利用设备资源，提升了处理的速度。其中，设备指的是智能终端，本申请中智能终端包括智能手机、电脑、平板电脑等。
一些实施例中，所述评估智能终端的解码能力，根据所述解码能力确定音视频解码的配置，包括：
载入解码算法数据并获取智能终端的CPU和编解码DSP的性能信息；
采用性能评估算法评估所述智能终端的编解码能力；
获取待处理音视频，计算所述待处理音视频的基本信息；
根据所述基本信息、正在解码的音视频的个数、CPU及编解码DSP动态调整所述待处理音视频的解码配置；
确定所述待处理音视频的解码方式。
可以理解的是，以CPU为运算核心的软编解码方式和以编解码DSP为运算核心的硬编解码方式相结合进行音视频编解码，充分发挥了智能终端运算部件的性能，提高了音视频编解码效率；本申请中根据智能终端CPU和编解码DSP性能的变化，动态调整音视频的编解码方式，包括软硬编解码结合、优先硬编解码同时软编解码辅助、优先软编解码同时硬编解码辅助等灵活的组合式编解码方式。其中，基本信息包括码率、分辨率、帧率、视频时长等信息。
一些实施例中，所述使用编解码DSP采用解码算法对视频文件进行硬解码，包括：
根据音视频解码的配置，初始化以解码DSP为核心的视频硬解码部件；
启动解码时钟控制器；
根据所述解码时钟控制器解析视频文件，得到视频轨道文件流，从所述视频轨道文件流中抽取视频数据包，将所述视频数据包输入到所述硬解码部件的数据输入区；
所述视频硬解码部件对数据输入区的视频数据包以解码算法进行解码，并将解码得到的图像原始数据输出到硬解码部件的数据输出区。
最后从硬编码部件的数据输出区获取到解码后的图像原始数据，完成视频硬解码。
一些实施例中，所述使用视频软解码部件采用解码算法对视频文件进行软解码，包括：
根据音视频解码的配置，初始化以解码CPU为核心的视频软解码部件；
创建数据缓冲区；所述缓冲区包括待解码的数据缓冲区和解码后的图像原始数据缓冲区；
启动解码时钟控制器；
根据所述解码时钟控制器解析视频文件，得到视频轨道文件流，从所述视频轨道文件流中抽取视频数据包，将所述视频数据包输入到所述待解码的数据缓冲区；
所述视频软解码部件对所述待解码的数据缓冲区的视频数据包以解码算法进行解码，并将解码后的图像原始数据输出到图像原始数据缓冲区。
最后从解码后的图像原始数据缓冲区获取到解码后的原始图像数据，完成视频软解码。
一些实施例中，所述使用音频软解码部件采用解码算法对视频文件的音频数据进行解码，包括：
获取视频文件中音频的基本信息；
根据音视频解码的配置，初始化以解码CPU为核心的音频软解码部件；
创建解码后的PCM音频原始数据缓冲区；
启动解码时钟控制器；
根据所述解码时钟控制器解析视频文件，得到音频轨道文件流，从所述音频轨道文件流中抽取音频数据包；
所述音频软解码部件对所述音频数据包以解码算法进行解码，并将解码后的音频原始数据输出到所述解码后的PCM音频原始数据缓冲区。
最后，从PCM音频原始数据缓冲区获取解码后的音频原始数据，完成音频软解码。
一些实施例中，所述评估智能终端的编码能力，根据所述编码能力确定音视频编码的配置和处理路径，包括：
载入解码算法数据并获取智能终端的CPU和编解码DSP的性能信息；
获取结果编码视频的基本信息；
根据所述基本信息、CPU及编解码DSP动态调整所述结果编码视频的编码配置；
确定所述结果编码视频的编码方式。
所述基本信息包括：码率、帧率、分辨率、视频时长等信息。
一些实施例中，所述使用音视频硬编码部件采用编码算法对所述图像原始数据、音频原始数据进行压缩编码，生成最终的视频文件，包括：
根据音视频编码的配置，初始化以编码DSP为核心的视频硬编码部件和音频硬编码部件；
创建硬编码结果数据缓冲区；所述硬编码结果数据缓冲区包括硬编码视频数据缓冲区和硬编码音频数据缓冲区；
启动编码时钟控制器，根据所述编码时钟控制器获取解码后的视频原始数据、音频原始数据，将所述视频原始数据、音频原始数据分别输入到所述视频硬编码部件和音频硬编码部件的数据输入区；
所述视频硬编码部件和音频硬编码部件分别对所述视频原始数据、音频原始数据进行压缩编码；
将压缩编码后的视频数据和音频数据分别输出到硬编码视频数据缓冲区和硬编码音频数据缓冲区；
合成所述视频数据和音频数据，得到最终的视频文件。
一些实施例中，所述使用音视频软编码部件采用编码算法对所述图像原始数据、音频原始数据进行压缩编码，包括：
根据音视频编码的配置，初始化以CPU为核心的视频软编码部件和音频软编码部件；
创建软编码结果数据缓冲区；所述软编码结果数据缓冲区包括软编码视频数据缓冲区和软编码音频数据缓冲区；
启动编码时钟控制器，根据所述编码时钟控制器获取解码后的视频原始数据、音频原始数据，将所述视频原始数据、音频原始数据分别输入到所述视频软编码部件和音频软编码部件的数据输入区；
所述视频软编码部件和音频软编码部件分别对所述视频原始数据、音频原始数据进行压缩编码；
将压缩编码后的视频数据和音频数据分别输出到软编码视频数据缓冲区和软编码音频数据缓冲区；
合成所述视频数据和音频数据，得到最终的视频文件。
优选的，采用性能评估算法评估所述智能终端的编解码能力。
综上所述，本发明提供一种软硬结合的音视频编解码装置，包括解码性能均衡模块、视频硬解码模块、视频软解码模块、音频软解码模块、编码性能均衡模块、音视频硬编码模块和音视频软编码模块。本发明通过综合评估智能终端CPU和编解码DSP的动态性能，将手机的软编解码方式和硬编解码方式结合起来共同进行音视频的编解码处理，能够同时充分发挥手机CPU和编解码DSP部件的性能，因此可以提高音视频的编解码效率，即使在多音视频同时编辑的场景下，也有较高的编解码效率，为操作者带来良好的音视频编辑体验。
本领域内的技术人员应明白，本申请的实施例可提供为装置、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的装置、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种软硬结合的音视频编解码装置，其特征在于，包括：
解码性能均衡模块，用于评估智能终端的解码能力，根据所述解码能力确定音视频解码的配置；
视频硬解码模块，用于使用视频硬解码部件采用解码算法对视频文件进行硬解码，得到可自定义显示和编辑的图像原始数据；
视频软解码模块，用于使用视频软解码部件采用解码算法对视频文件进行软解码，得到可自定义显示和编辑的图像原始数据；
音频软解码模块，用于使用音频软解码部件采用解码算法对视频文件的音频数据进行解码，得到可播放编辑的音频原始数据；
编码性能均衡模块，用于评估智能终端的编码能力，根据所述编码能力确定音视频编码的配置和处理路径；
音视频硬编码模块，用于使用音视频硬编码部件采用编码算法对所述图像原始数据、音频原始数据进行压缩编码，生成最终的视频文件；
音视频软编码模块，用于使用音视频软编码部件采用编码算法对所述图像原始数据、音频原始数据进行压缩编码，生成最终的视频文件。
2.根据权利要求1所述的装置，其特征在于，所述评估智能终端的解码能力，根据所述解码能力确定音视频解码的配置，包括：
载入解码算法数据并获取智能终端的CPU和编解码DSP的性能信息；
采用性能评估算法评估所述智能终端的编解码能力；
获取待处理音视频，计算所述待处理音视频的基本信息；
根据所述基本信息、正在解码的音视频的个数、CPU及编解码DSP动态调整所述待处理音视频的解码配置；
确定所述待处理音视频的解码方式。
3.根据权利要求1所述的装置，其特征在于，所述使用编解码DSP采用解码算法对视频文件进行硬解码，包括：
根据音视频解码的配置，初始化以解码DSP为核心的视频硬解码部件；
启动解码时钟控制器；
根据所述解码时钟控制器解析视频文件，得到视频轨道文件流，从所述视频轨道文件流中抽取视频数据包，将所述视频数据包输入到所述硬解码部件的数据输入区；
所述视频硬解码部件对数据输入区的视频数据包以解码算法进行解码，并将解码得到的图像原始数据输出到硬解码部件的数据输出区。
4.根据权利要求1所述的装置，其特征在于，所述使用视频软解码部件采用解码算法对视频文件进行软解码，包括：
根据音视频解码的配置，初始化以解码CPU为核心的视频软解码部件；
创建数据缓冲区；所述缓冲区包括待解码的数据缓冲区和解码后的图像原始数据缓冲区；
启动解码时钟控制器；
根据所述解码时钟控制器解析视频文件，得到视频轨道文件流，从所述视频轨道文件流中抽取视频数据包，将所述视频数据包输入到所述待解码的数据缓冲区；
所述视频软解码部件对所述待解码的数据缓冲区的视频数据包以解码算法进行解码，并将解码后的图像原始数据输出到图像原始数据缓冲区。
5.根据权利要求1所述的装置，其特征在于，所述使用音频软解码部件采用解码算法对视频文件的音频数据进行解码，包括：
获取视频文件中音频的基本信息；
根据音视频解码的配置，初始化以解码CPU为核心的音频软解码部件；
创建解码后的PCM音频原始数据缓冲区；
启动解码时钟控制器；
根据所述解码时钟控制器解析视频文件，得到音频轨道文件流，从所述音频轨道文件流中抽取音频数据包；
所述音频软解码部件对所述音频数据包以解码算法进行解码，并将解码后的音频原始数据输出到所述解码后的PCM音频原始数据缓冲区。
6.根据权利要求1所述的装置，其特征在于，所述评估智能终端的编码能力，根据所述编码能力确定音视频编码的配置和处理路径，包括：
载入解码算法数据并获取智能终端的CPU和编解码DSP的性能信息；
获取结果编码视频的基本信息；
根据所述基本信息、CPU及编解码DSP动态调整所述结果编码视频的编码配置；
确定所述结果编码视频的编码方式。
7.根据权利要求1所述的装置，其特征在于，所述使用音视频硬编码部件采用编码算法对所述图像原始数据、音频原始数据进行压缩编码，生成最终的视频文件，包括：
根据音视频编码的配置，初始化以编码DSP为核心的视频硬编码部件和音频硬编码部件；
创建硬编码结果数据缓冲区；所述硬编码结果数据缓冲区包括硬编码视频数据缓冲区和硬编码音频数据缓冲区；
启动编码时钟控制器，根据所述编码时钟控制器获取解码后的视频原始数据、音频原始数据，将所述视频原始数据、音频原始数据分别输入到所述视频硬编码部件和音频硬编码部件的数据输入区；
所述视频硬编码部件和音频硬编码部件分别对所述视频原始数据、音频原始数据进行压缩编码；
将压缩编码后的视频数据和音频数据分别输出到硬编码视频数据缓冲区和硬编码音频数据缓冲区；
合成所述视频数据和音频数据，得到最终的视频文件。
8.根据权利要求1所述的装置，其特征在于，所述使用音视频软编码部件采用编码算法对所述图像原始数据、音频原始数据进行压缩编码，包括：
根据音视频编码的配置，初始化以CPU为核心的视频软编码部件和音频软编码部件；
创建软编码结果数据缓冲区；所述软编码结果数据缓冲区包括软编码视频数据缓冲区和软编码音频数据缓冲区；
启动编码时钟控制器，根据所述编码时钟控制器获取解码后的视频原始数据、音频原始数据，将所述视频原始数据、音频原始数据分别输入到所述视频软编码部件和音频软编码部件的数据输入区；
所述视频软编码部件和音频软编码部件分别对所述视频原始数据、音频原始数据进行压缩编码；
将压缩编码后的视频数据和音频数据分别输出到软编码视频数据缓冲区和软编码音频数据缓冲区；
合成所述视频数据和音频数据，得到最终的视频文件。
9.根据权利要求2所述的装置，其特征在于，
采用性能评估算法评估所述智能终端的编解码能力。
10.根据权利要求2或6所述的装置，其特征在于，
所述基本信息包括：码率、分辨率、帧率以及视频时长。
CN202011056791.1A 2020-09-30 2020-09-30 软硬结合的音视频编解码装置 Pending CN112165623A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011056791.1A CN112165623A (zh) 2020-09-30 2020-09-30 软硬结合的音视频编解码装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011056791.1A CN112165623A (zh) 2020-09-30 2020-09-30 软硬结合的音视频编解码装置

Publications (1)

Publication Number Publication Date
CN112165623A true CN112165623A (zh) 2021-01-01

Family

ID=73860832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011056791.1A Pending CN112165623A (zh) 2020-09-30 2020-09-30 软硬结合的音视频编解码装置

Country Status (1)

Country Link
CN (1) CN112165623A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596469A (zh) * 2021-06-23 2021-11-02 天津津航计算技术研究所 一种软硬结合且高效传输的视频解码方法
CN114071153A (zh) * 2021-10-21 2022-02-18 深圳创想电子技术有限公司 具有软硬件联合解码功能的多格式高清视频解码***
CN114390336A (zh) * 2021-12-13 2022-04-22 百度在线网络技术（北京）有限公司 视频的解码方法、装置、电子设备及可读存储介质
WO2022237427A1 (zh) * 2021-05-11 2022-11-17 北京字跳网络技术有限公司 视频处理方法、装置、设备及存储介质
CN116261008A (zh) * 2022-12-14 2023-06-13 海信视像科技股份有限公司 音频处理方法和音频处理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040177308A1 (en) * 2002-11-28 2004-09-09 Samsung Electronics Co. Encoding apparatus and method, and decoding apparatus and method for error correction
CN104768063A (zh) * 2015-04-07 2015-07-08 天脉聚源（北京）教育科技有限公司 一种视频编码方法及装置
CN108282164A (zh) * 2017-01-05 2018-07-13 腾讯科技（深圳）有限公司 一种数据编码及解码方法和装置
CN109819234A (zh) * 2019-02-01 2019-05-28 广州卓远虚拟现实科技有限公司 一种基于h.265的虚拟现实视频传输与播放方法、***
CN111447447A (zh) * 2020-04-03 2020-07-24 北京三体云联科技有限公司 直播编码方法、装置以及电子设备
CN111510766A (zh) * 2020-04-16 2020-08-07 中国航空无线电电子研究所 视频编码实时评估及播放工具

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040177308A1 (en) * 2002-11-28 2004-09-09 Samsung Electronics Co. Encoding apparatus and method, and decoding apparatus and method for error correction
CN104768063A (zh) * 2015-04-07 2015-07-08 天脉聚源（北京）教育科技有限公司 一种视频编码方法及装置
CN108282164A (zh) * 2017-01-05 2018-07-13 腾讯科技（深圳）有限公司 一种数据编码及解码方法和装置
CN109819234A (zh) * 2019-02-01 2019-05-28 广州卓远虚拟现实科技有限公司 一种基于h.265的虚拟现实视频传输与播放方法、***
CN111447447A (zh) * 2020-04-03 2020-07-24 北京三体云联科技有限公司 直播编码方法、装置以及电子设备
CN111510766A (zh) * 2020-04-16 2020-08-07 中国航空无线电电子研究所 视频编码实时评估及播放工具

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022237427A1 (zh) * 2021-05-11 2022-11-17 北京字跳网络技术有限公司 视频处理方法、装置、设备及存储介质
CN115412731A (zh) * 2021-05-11 2022-11-29 北京字跳网络技术有限公司 视频处理方法、装置、设备及存储介质
CN113596469A (zh) * 2021-06-23 2021-11-02 天津津航计算技术研究所 一种软硬结合且高效传输的视频解码方法
CN114071153A (zh) * 2021-10-21 2022-02-18 深圳创想电子技术有限公司 具有软硬件联合解码功能的多格式高清视频解码***
CN114390336A (zh) * 2021-12-13 2022-04-22 百度在线网络技术（北京）有限公司 视频的解码方法、装置、电子设备及可读存储介质
CN116261008A (zh) * 2022-12-14 2023-06-13 海信视像科技股份有限公司 音频处理方法和音频处理装置

Similar Documents

Publication Publication Date Title
CN112165623A (zh) 软硬结合的音视频编解码装置
US10224894B2 (en) Metadata for ducking control
US8989259B2 (en) Method and system for media file compression
CN104835520A (zh) 一种在移动设备上录音的方法及装置
CN108235052A (zh) 基于ios可选择多音频通道硬件混音、采集及播放的方法
WO2020215454A1 (zh) 一种屏幕录制的方法、客户端和终端设备
CN114333933B (zh) 一种Linux平台上安卓应用低延迟音频输出方法
CN112995730A (zh) 音画同步调整方法、装置、电子设备及介质
CN109495776B (zh) 一种音频发送、播放的方法及智能终端
CN112565923B (zh) 一种音视频流处理方法、装置、电子设备及存储介质
CN111352605A (zh) 一种音频播放、发送的方法及装置
CN110868610B (zh) 流媒体传输方法、装置、服务器及存储介质
WO2022262576A1 (zh) 三维音频信号编码方法、装置、编码器和***
CN105323652B (zh) 播放多媒体文件的方法和装置
CN113261300B (zh) 音频发送、播放的方法及智能电视
CN113259621A (zh) 一种云会议分步录制方法及***
JP2022506581A (ja) 空間メタデータを符号化するための装置、方法およびコンピュータプログラム
CN111355996A (zh) 一种音频播放方法及计算设备
TWI844036B (zh) 三維音訊訊號編碼方法、裝置、編碼器、系統、電腦程式和電腦可讀儲存介質
WO2023051367A1 (zh) 解码方法、装置、设备、存储介质及计算机程序产品
WO2023051368A1 (zh) 编解码方法、装置、设备、存储介质及计算机程序产品
CN116978389A (zh) 音频解码方法、音频编码方法、装置和存储介质
CN116582697A (zh) 音频传输方法、装置、终端、存储介质及程序产品
CN116170633A (zh) 解码方法、装置、终端、存储介质和程序产品
EP4158623A1 (en) Improved main-associated audio experience with efficient ducking gain application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210101

RJ01 Rejection of invention patent application after publication