CN105812914B

CN105812914B - 一种视频的混合多路解码方法及装置

Info

Publication number: CN105812914B
Application number: CN201410832502.0A
Authority: CN
Inventors: 康辉; 彭湃
Original assignee: TCL Corp
Current assignee: TCL Corp
Priority date: 2014-12-29
Filing date: 2014-12-29
Publication date: 2019-01-04
Anticipated expiration: 2034-12-29
Also published as: CN105812914A

Abstract

本发明公开了一种视频的混合多路解码方法及装置，混合多路解码方法包括：A、对各个视频进行解析获得对应的视频帧；B、对所有视频帧进行帧解码调度，选择一个帧数据最快播完的视频传输至解码器中进行优先解码；C、将解码后获得的帧数据存储到各个视频对应的缓冲器中，从缓冲器中输出对应的帧数据进行播放；本发明通过帧解码调度充分利用了解码器资源，解决了现有一个解码器不能同时解码两个或多个视频的问题；保证各个视频可以同时正常播放且不会出现卡帧。

Description

一种视频的混合多路解码方法及装置

技术领域

本发明涉及视频解码技术领域，特别涉及一种视频的混合多路解码方法及装置。

背景技术

硬件解码器的效率普遍高于相同条件下的软件解码效率。很多情况下，在实际解码平台中只有一个硬件解码器，即在同一时间内只可以解码一路视频，而一路视频的解码仅消耗部分的解码器资源。在实际应用中，经常会出现同时解码多路视频并呈现给用户的情况，在只有一个硬件解码器的情况下，两个以上的视频解码时需要启用软件解码。如图1所示，现有的硬件解码视频流程主要是：获取、解析、解码、输出。具体为：先由媒体播放器获取一个视频文件，接着分离器对视频文件进行解析以分离出音频数据和视频数据，音频解码器对音频数据解码后输出给喇叭播放，同时，视频解码器对视频数据解码后输出给显示屏显示。需要解码第二个视频文件时，需要停止第一个视频文件的解码，按照图1的流程解码第二个视频文件。

这种方式不可以同时硬件解码两个或多个视频，采用硬件解码和软件解码并用的方式解码多个视频，软件解码会消耗大量***资源，且由于***资源限制还无法解码高清的视频。

因而现有技术还有待改进和提高。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种视频的混合多路解码方法及装置，以解决现有一个解码器不能同时解码两个或多个视频的问题。

为了达到上述目的，本发明采取了以下技术方案：

一种视频的混合多路解码方法，其包括：

A、对各个视频进行解析获得对应的视频帧；

B、对所有视频帧进行帧解码调度，选择一个帧数据最快播完的视频传输至解码器中进行优先解码；

C、将解码后获得的帧数据存储到各个视频对应的缓冲器中，从缓冲器中输出对应的帧数据进行播放。

所述的视频的混合多路解码方法中，所述步骤C还包括：对缓冲器中的帧信息进行统计，获取作为帧解码调度依据的解码信息。

所述的视频的混合多路解码方法中，所述解码信息包括各视频解码后缓冲器的存储状态，当前视频帧的解码时间，各视频的帧率。

所述的视频的混合多路解码方法中，所述步骤B具体包括：

B1、将当前需要解码的视频帧默认为上次解码的视频帧；

B2、统计各个已解码帧的可播放时间，剔除播放时间最短的视频；

B3、根据解码信息判断需要解码的视频是否满足解码条件；是则执行步骤B4；否则返回步骤B2；

B4、将该视频的视频帧传输至解码器中进行解码；

B5、将视频集合恢复为包含了所有视频的视频集合，并将本次已经解码的视频作为上次解码的视频，返回步骤B1。

所述的视频的混合多路解码方法中，所述步骤B3具体包括：

B31、判断需要解码的视频帧对应的缓冲器中是否有空间存储新解码的帧数据：若有，执行步骤B32；否则，执行B33；

B32、判断需要解码的视频中是否有可供解码的视频帧：若有则执行步骤B34；否则，执行B33；

B33、将播放时间最短的视频作为需要解码的视频，返回步骤B2；

B34、判断需要解码的视频将要解码的一帧的平均解码时间是否小于已解码帧的可播放时间最小的视频：若是，则执行步骤B4；否则，执行B33。

所述的视频的混合多路解码方法中，在所述步骤B4具体包括：输出该视频的视频帧至解码器，判断需要解码的视频与上次解码的视频是否为同一个视频：若是，则解码；若不是，则根据需要解码的视频的格式更改解码器的设置后，再解码。

一种采用所述的视频的混合多路解码方法的装置，其包括：

解析模块，用于对各个视频进行解析获得对应的视频帧；

解码模块，用于对所有视频帧进行帧解码调度，选择一个帧数据最快播完的视频进行优先解码；

缓冲模块，用于存储解码后获得的帧数据，并输出对应的帧数据进行播放。

所述的装置中，所述解码模块包括：

初始化单元，用于将当前需要解码的视频帧默认为上次解码的视频帧；

统计单元，用于统计各个已解码帧的可播放时间，剔除播放时间最短的视频；

判断单元，用于根据解码信息判断需要解码的视频是否满足解码条件，在满足解码条件时将该视频的视频帧传输至解码器；

解码器，用于对视频帧进行解码，以及将视频集合恢复为包含了所有视频的视频集合，并将本次已经解码的视频作为上次解码的视频。

所述的装置中，所述解码器还用于对缓冲器中的帧信息进行统计，获取作为帧解码调度依据的解码信息。

所述的装置中，所述解析模块包括多个分离器，缓冲模块包括多个缓冲器；所述分离器、缓冲器的个数与视频的个数匹配。

相较于现有技术，本发明提供的视频的混合多路解码方法及装置，通过对各个视频进行解析获得对应的视频帧，对所有视频帧进行帧解码调度，选择一个帧数据最快播完的视频传输至解码器中进行优先解码，将解码后获得的帧数据存储到各个视频对应的缓冲器中，从缓冲器中输出对应的帧数据进行播放，通过帧解码调度充分利用了解码器资源，解决了现有一个解码器不能同时解码两个或多个视频的问题；保证各个视频可以同时正常播放且不会出现卡帧。

附图说明

图1为现有硬件解码视频流程图。

图2为本发明较佳实施例提供的视频的混合多路解码方法流程图。

图3为本发明较佳实施例提供的视频的混合多路解码方法示意图。

图4为图3中步骤S200的流程图。

图5为本发明较佳实施例提供的装置的结构框图。

具体实施方式

本发明提供一种视频的混合多路解码方法及装置，主要用于两个以上的视频同时解码，通过帧解码调度来选择当前优先解码的视频，解码后统计各个视频的解码信息作为下次帧解码调度的选择依据，充分利用解码器资源，保证各个视频可以同时正常播放且不会出现卡帧的问题。为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请参阅图2，其为本发明提供的视频的混合多路解码方法流程图；所述混合多路解码方法包括：

S100、对各个视频进行解析获得对应的视频帧；

S200、对所有视频帧进行帧解码调度，选择一个帧数据最快播完的视频进行优先解码；

S300、将解码后获得的帧数据存储到各个视频对应的缓冲器中，从缓冲器中输出对应的帧数据进行播放。

如图3所示，假设有n个视频、即video1~video n需要同时解码，每个视频分别设置有独立的demux模块来解析各个视频每一帧的视频数据，解析后的视频帧为video frame1~video frame n。各个视频的视频帧通过帧解码调度从中选择一个视频帧（仅一个）进行优先解码。解码后的帧数据存储到各个视频对应的缓冲器中，如video1的帧数据存储至缓冲器1中，videon的帧数据存储至缓冲器n中。最后从缓冲器中输出对应的帧数据进行视频播放。

基于需要播放的视频的格式（如RMVB、MKV、MP4）可能不同，解码器解码前，会根据输出的视频帧的格式来设置解码器，将解码器配置成该视频解码时所需要的解码器的类型，以解码出该种格式的视频。这样video1需要进行video1解码配置，videon进行videon解码配置。

需要理解的是，由于有多个视频同时播放，这些视频播放时都是从缓冲器中获取播放数据。若缓冲器中某个视频的帧数据将要播放结束，而此时又没有存储新的帧数据，则该视频会卡掉。因此，对于多个视频同时播放的情况，本实施例进行帧解码调度时，以已解码帧的可播放时间最短的一个视频（即帧数据最快播完）为基准来进行选择，也即是说，优先解码的视频是帧数据最快播完的视频，其他播放时间较长的视频可稍后解码，这样才能避免视频卡掉。

为此，本实施例进行帧解码调度时，根据解码器的解码信息来对送入解码器的各个视频帧进行选择。所述解码信息是在一个帧数据存储后，由解码器对缓冲器中的帧信息进行统计，其包括各视频解码后缓冲器的存储状态（即本次解码后存储的帧数量，以及缓冲器还可存储的帧数量），当前视频帧的解码时间，各视频的帧率等。

请同时参阅图4，所述帧解码调度包括：

S210、将当前需要解码的视频帧默认为上次解码的视频帧。

基于每次解码时都需要配置解码器，再次解码时先暂定对上次解码的视频进行解码，这样可减少解码器配置的切换频率，提高解码效率。后续再根据帧数据播放时间继续判断该视频是否为最佳的解码选择。

S220、统计各个已解码帧的可播放时间，剔除播放时间最短的视频。

S230、根据解码信息判断需要解码的视频是否满足解码条件；是则执行步骤S240；否则返回步骤S220。

本实施例中，所述解码条件包括：1、缓冲器中必须有足够的空间存储新解码的帧数据；2、该视频必须有可供解码的视频帧（也即是说还有未解码的帧数据）；3、该视频将要解码的一帧的平均解码时间必须小于已解码帧的可播放时间最小的一个视频。这三个条件必须均满足才执行步骤S240，其中任一个不满足均返回步骤S220。

S240、将该视频的视频帧传输至解码器中进行解码。

本实施例中，虽然在步骤S210优先选择解码的视频是上次解码的视频，但是通过上述步骤判断后，可能最终选择的不是上次解码的视频，则需要更改解码器的设置才能正确解码，为此，所述步骤 S240具体包括：输出该视频的视频帧至解码器，判断需要解码的视频与上次解码的视频是否为同一个视频：若是，则解码；若不是，则根据需要解码的视频的格式更改解码器的设置后，再解码。

S250、将视频集合恢复为包含了所有视频的视频集合，并将本次已经解码的视频作为上次解码的视频，返回步骤S210。

本次解码完成后，还需要继续对所有的视频进行再次判断，通过将视频集合恢复为包含了所有视频的视频集合，将本次已经解码的视频作为上次解码的视频，返回步骤S210再次从视频集合选出一下次需要解码的视频，直至所有视频都完成解码才结束整个混合多路解码方法。为此，在所述步骤S240之后，还包括：判断所有视频是否播放完毕，若是则结束，否则执行步骤S250。

本实施例中，所述步骤S230具体包括：

步骤2301、判断需要解码的视频帧对应的缓冲器中是否有空间存储新解码的帧数据：若有，执行步骤2302；否则，执行步骤2303。

该缓冲器中已输出了大部分的帧数据才会有空间存储新解码的帧数据，说明该视频将要播完，需要通过后续步骤判断该视频是否能解码。若无空间则说明该缓冲器中还有很多帧数据，足够下次解码前播放，可暂时不解码该视频。

步骤2302、判断需要解码的视频中是否有可供解码的视频帧：若有则执行步骤2303；否则，执行步骤2303。

随着视频的解码，其可供解码的视频帧数据会逐渐下降直至没有，则该视频解码完成。本步骤用于判断该视频是否已解码完成。

步骤2303、将播放时间最短的视频作为需要解码的视频，返回步骤S220。

步骤2304、判断需要解码的视频将要解码的一帧的平均解码时间是否小于已解码帧的可播放时间最小的视频：若是，则执行步骤S240；否则，执行步骤2303。

假设该应用实施例有三个视频：视频1，视频2，视频3；这三个视频的各参数分别定义如下：

Fn ：第n个视频帧率。假设F1=25, F2=30，F3=24。

Tn ：第n个视频已解码帧的可播放时间。Tn=第n个视频已解码尚未输出的视频帧个数/ Fn。假设T1=80毫秒，F2=99毫秒，F3=82毫秒。

Tnk ：第n个视频k帧解码所需平均时间；其中k为：I、B、P帧。Tnk=已经解码的k类型帧所需时间总和/已经解码的k类型帧个数。假设上述三个视频的B帧解码所需平均时间分别T1B= 10毫秒，T2B=15毫秒，T3B=13毫秒。

Nn ：第n个视频还可以缓存的解码帧个数；N1= 1，N2=3，N3=2。

n1 ：将要解码的一个视频。

n2 ：上一次解码的一个视频。

n3 ：已解码帧可以播放时间最短的一个视频。

假设视频1有可解码数据，视频2没有可解码数据，视频3有可解码数据。

所述步骤S200的应用实施例的步骤具体包括：

步骤1、解码器第一次解码时，将上一次解码的一个视频初始化为1。即n2=1。

步骤2、将要解码的一个视频默认为上一次解码的视频n1=n2。目的是优先解码上次解码的一个视频，以减少解码器配置的切换频率，提高解码效率。

步骤3、统计视频集合中各个已解码帧的可播放时间Tn最小的一个，标记为Tn3，视频为第n3个。即Tn3=80ms，n3=1。

步骤4、从各视频集合中剔除第n3（n3=1）个，下次统计时不计算第n3个。即剔除后视频集合为：视频2和视频3。

步骤5、判断第n1（n1=1）个视频已解码帧的缓冲器中是否有空间可以存放新解码的解码帧（帧数据），如果没有，令n1=n3，返回步骤3；如果有，则执行步骤6。本实施例中n1=1说明有可以存放新解码帧的空间。

步骤6、判断n1(n1=1)个视频是否有可供解码的视频帧数据；如果没有，令n1=n3，返回步骤3；如果有，执行步骤7。本实施例中视频1有可解码数据。

步骤7、判断第n1（n1=1）个视频将要解码的一帧的平均解码时间是否小于Tn3；如果不小于，令n1=n3，返回步骤3；如果小于，执行步骤8。本实施例中T1B=10ms小于T1的80ms；

步骤8、判断第n1（n1=2）个视频和上次解码器解码视频（n2=1）是否为同一个（此例中为同一个）；若是，执行步骤9；若不是，改变解码器配置为第n1个配置后执行步骤9。

步骤9、解码一帧第n1（n1=1）个视频，并计算解码一帧第n1个视频所需的时间，统计解码后各个视频缓冲器中已存放帧数量及还可存放帧数量，作为解码信息反馈。

步骤10、判断所有视频是否播放完毕，若是则结束，否则执行步骤11。

步骤11、将视频解码集合恢复为包含所有视频，并将n2=n1（此例中n1=1，故此处n2=1），供下一次解码判断使用；返回步骤2。

基于上述的视频的混合多路解码方法，本发明还相应提供一种实现视频的混合多路解码方法的装置，请一并参阅图5，所述装置包括解析模块10、解码模块20和缓冲器30，所述解析模块10、解码模块20、缓冲器30依次连接。解析模块10对各个视频进行解析获得对应的视频帧；解码模块20对所有视频帧进行帧解码调度，选择一个帧数据最快播完的视频进行优先解码；缓冲器30存储解码后获得的帧数据，并输出对应的帧数据进行播放。

所述解码模块20包括：

初始化单元210，用于将当前需要解码的视频帧默认为上次解码的视频帧；

统计单元220，用于统计各个已解码帧的可播放时间，剔除播放时间最短的视频；

判断单元230，用于根据解码信息判断需要解码的视频是否满足解码条件，在满足解码条件时将该视频的视频帧传输至解码器；具体实施例如上述步骤S230所示。

解码器240，用于对视频帧进行解码，以及将视频集合恢复为包含了所有视频的视频集合，并将本次已经解码的视频作为上次解码的视频；

所述初始化单元210、统计单元220、判断单元230、解码器240依次连接，所述初始化单元210连接解析模块10和解码器240，所述解码器240连接缓冲模块30。

本实施例中，所述解析模块10包括多个分离器（demux），缓冲模块30包括多个缓冲器；每个视频分别对应设置一个分离器和一个缓冲器。

综上所述，本发明通过对各个视频进行解析获得对应的视频帧；采用帧解码调度来选择当前优先解码的视频，将解码后获得的帧数据存储到各个视频对应的缓冲器中，从缓冲器中输出对应的帧数据进行播放即可；并且，在解码后统计各个视频的解码信息作为下次帧解码调度的选择依据；采用帧解码调度能充分利用解码器资源，解决了现有一个解码器不能同时解码两个或多个视频的问题；保证各个视频可以同时正常播放且不会出现卡帧。

可以理解的是，对本领域普通技术人员来说，可根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims

1.一种视频的混合多路解码方法，其特征在于，包括：

A、对各个视频进行解析获得对应的视频帧；

C、将解码后获得的帧数据存储到各个视频对应的缓冲器中，从缓冲器中输出对应的帧数据进行播放；

所述步骤B具体包括：

B1、将当前需要解码的视频帧默认为上次解码的视频帧，使得再次解码时优先对上次解码的视频进行解码；

B2、统计各个已解码帧的可播放时间，剔除可播放时间最短的视频；

B3、根据解码器的解码信息判断需要解码的视频是否满足解码条件；是则执行步骤B4；否则返回步骤B2；

B4、将该视频的视频帧传输至解码器中进行解码；

2.根据权利要求1所述的视频的混合多路解码方法，其特征在于，所述步骤C还包括：对缓冲器中的帧信息进行统计，获取作为帧解码调度依据的解码信息。

3.根据权利要求2所述的视频的混合多路解码方法，其特征在于，所述解码信息包括各视频解码后缓冲器的存储状态，当前视频帧的解码时间，各视频的帧率。

4.根据权利要求1所述的视频的混合多路解码方法，其特征在于，所述步骤B3具体包括：

B33、将可播放时间最短的视频作为需要解码的视频，返回步骤B2；

5.根据权利要求4所述的视频的混合多路解码方法，其特征在于，在所述步骤B4具体包括：输出该视频的视频帧至解码器，判断需要解码的视频与上次解码的视频是否为同一个视频：若是，则解码；若不是，则根据需要解码的视频的格式更改解码器的设置后，再解码。

6.一种采用权利要求1所述的视频的混合多路解码方法的装置，其特征在于，包括：

解析模块，用于对各个视频进行解析获得对应的视频帧；

缓冲模块，用于存储解码后获得的帧数据，并输出对应的帧数据进行播放；

所述解码模块包括：

初始化单元，用于将当前需要解码的视频帧默认为上次解码的视频帧，使得再次解码时优先对上次解码的视频进行解码；

统计单元，用于统计各个已解码帧的可播放时间，剔除可播放时间最短的视频；

判断单元，用于根据解码器的解码信息判断需要解码的视频是否满足解码条件，在满足解码条件时将该视频的视频帧传输至解码器；

7.根据权利要求6所述的装置，其特征在于，所述解码器还用于对缓冲器中的帧信息进行统计，获取作为帧解码调度依据的解码信息。

8.根据权利要求6所述的装置，其特征在于，所述解析模块包括多个分离器，缓冲模块包括多个缓冲器；所述分离器、缓冲器的个数与视频的个数匹配。