CN110602551A - 安卓框架层的媒体播放方法、播放器、设备及存储介质 - Google Patents

Abstract

本发明提供一种安卓框架层的媒体播放方法、播放器、设备及存储介质，其中，方法通过Ffmpeg模块解析媒体流的音视频格式信息，分解出音频流和视频流，把音频流送到音频队列，把视频流送到视频队列；音频模块读取音频队列里的音频包，使用Ffmpeg模块进行解码，并通过opensl模块播放音频；视频模块根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则使用MeidaCodec视频解码模块解码并渲染，否则，使用Ffmpeg模块解码并使用OpenGL模块渲染。本发明提供了全面的网络协议和音视频格式支持，同时提高了视频的解码显示效率。

Description

安卓框架层的媒体播放方法、播放器、设备及存储介质

技术领域

本发明涉及一种安卓框架层的媒体播放方法、播放器、设备及存储介质。

背景技术

现有的播放器存在网络协议支持或音视频格式的支持不全面、播放显示会有色差、移植性不好等问题，如android原生sdk(Software Development Kit，软件开发工具包)的网络协议只支持rtp(Real Time Protocol，实时传输协议)、rtsp(RealTimeStreamingProtocol，实时流协议)、http(HyperText Transfer Protocal，超文本传输协议)，视频格式只支持vp8、vp9、h264、h265、mpeg4、h263；

Ijkplayer是一种基于Ffmpeg(一种多媒体框架)的轻量级Android/iOS视频播放器，其底层使用Ffmpeg结合MediaRecorder(Android音视频中相当重要的一个API，操作***留给应用程序的一个调用接口)，ijkplayer的MediaRecorder没有和显示界面直接关联，是通过OpenGL(Open Graphics Library，开放图形库)模块显示，解码显示高清视频存在渲染色差问题，ijkplayer的软件和硬件解码没有自动适应；exoplayer(是***开源的应用级媒体播放器项目)是在java层实现播放效率和可移植性比较差。

发明内容

本发明要解决的技术问题，在于提供一种安卓框架层的媒体播放方法、播放器、设备及存储介质，提供了全面的网络协议和音视频格式支持，同时提高了视频的解码显示效率。

本发明方法是这样实现的：一种安卓框架层的媒体播放方法，

通过Ffmpeg模块解析媒体流的音视频格式信息，分解出音频流和视频流，把音频流送到音频队列，把视频流送到视频队列；

音频模块读取音频队列里的音频包，使用Ffmpeg模块进行解码，并通过opensl模块播放音频；

视频模块根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则使用MeidaCodec视频解码模块解码并渲染，否则，使用Ffmpeg模块解码并使用OpenGL模块渲染。

本发明播放器是这样实现的：一种安卓框架层的媒体播放器，包括：

Ffmpeg模块，用于解析媒体流的音视频格式信息，分解出音频流和视频流，把音频流送到音频队列，把视频流送到视频队列；

音频模块，用于读取音频队列里的音频包，使用Ffmpeg模块进行解码，并通过opensl模块播放音频；

视频模块，用于根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则使用MeidaCodec视频解码模块解码并渲染，否则，使用Ffmpeg模块解码并使用OpenGL模块渲染。

本发明设备是这样实现的：一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

通过Ffmpeg模块解析媒体流的音视频格式信息，分解出音频流和视频流，把音频流送到音频队列，把视频流送到视频队列；

音频模块读取音频队列里的音频包，使用Ffmpeg模块进行解码，并通过opensl模块播放音频；

视频模块根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则使用MeidaCodec视频解码模块解码并渲染，否则，使用Ffmpeg模块解码并使用OpenGL模块渲染。

本发明存储介质是这样实现的：一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

通过Ffmpeg模块解析媒体流的音视频格式信息，分解出音频流和视频流，把音频流送到音频队列，把视频流送到视频队列；

音频模块读取音频队列里的音频包，使用Ffmpeg模块进行解码，并通过opensl模块播放音频；

视频模块根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则使用MeidaCodec视频解码模块解码并渲染，否则，使用Ffmpeg模块解码并使用OpenGL模块渲染。

本发明具有如下优点：本发明通过Ffmpeg、OpenGL、opensl和MeidaCodec模块合理的组合应用，提供了全面的网络协议和音视频格式支持，根据视频的格式动态选择用Ffmpeg或MeidaCodec进行视频解码加强了视频格式的支持；视频使用MeidaCodec解码时，MeidaCodec在初始化阶段和显示界面绑定，实现直接渲染，提高了视频的解码显示效率。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明方法的执行流程图。

具体实施方式

实施例一

请参阅图1所示，为本发明的安卓框架层的媒体播放方法的实施例，包括如下步骤：

通过Ffmpeg模块解析媒体流的音视频格式信息，分解出音频流和视频流，把音频流送到音频队列，把视频流送到视频队列；

音频模块读取音频队列里的音频包，使用Ffmpeg模块进行解码，并通过opensl模块播放音频；

视频模块根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则使用MeidaCodec视频解码模块解码并渲染，否则，使用Ffmpeg模块解码并使用OpenGL模块渲染。

其中，所述Ffmpeg模块进一步包括音频解码器和视频解码器；

所述音频模块读取音频队列里的音频包后，具体是使用Ffmpeg模块中的音频解码器进行解码，并通过opensl模块播放音频；

所述视频模块具体是先根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则初始化MeidaCodec视频解码模块并关联到surface，开辟视频缓存队列，使用MeidaCodec视频解码模块解码并渲染；否则，初始化Ffmpeg模块中的视频解码器，开辟视频缓存队列，配置OpenGL模块并关联surface，然后使用Ffmpeg模块中的视频解码器解码并使用OpenGL模块渲染。

实施例二

为本发明安卓框架层的媒体播放器的实施例，本实施例包括：

Ffmpeg模块，用于解析媒体流的音视频格式信息，分解出音频流和视频流，把音频流送到音频队列，把视频流送到视频队列；

音频模块，用于读取音频队列里的音频包，使用Ffmpeg模块进行解码，并通过opensl模块播放音频；

视频模块，用于根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则使用MeidaCodec视频解码模块解码并渲染，否则，使用Ffmpeg模块解码并使用OpenGL模块渲染。具体的，

其中，

所述Ffmpeg模块，支持比较全面网络协议和音视频格式，且易于扩展；因此使用Ffmpeg模块负责媒体流的解析读取、解复用、音频解码和解码MeidaCodec模块所不支持的视频；所述Ffmpeg模块进一步包括音频解码器和视频解码器；

所述音频模块读取音频队列里的音频包后，具体是使用Ffmpeg模块中的音频解码器进行解码，并通过opensl模块播放音频；

所述视频模块具体是先根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则初始化MeidaCodec视频解码模块并关联到surface，开辟视频缓存队列，使用MeidaCodec视频解码模块解码并渲染；否则，初始化Ffmpeg模块中的视频解码器，开辟视频缓存队列，配置OpenGL模块并关联surface，然后使用Ffmpeg模块中的视频解码器解码并使用OpenGL模块渲染。

所述opensl模块，负责播放音频android的ndk层提供c语言实现的opensl es引擎；安卓中常使用AudioRecord、MediaRecorder对音频进行采集,使用SoundPool、MediaPlayer、AudioTrack进行音频播放，但是这些接口都是java层的，性能相对opensl要低；

所述OpenGL模块，也叫OpenGL ES模块，Android的framework层集成了OpenGL ES，使用OpenGL ES模块进行视频的渲染输出；

所述MeidaCodec视频解码模块，从Android4.4版本起，Framework集成了MeidaCodec音视频硬编解码模块，播放器使用MeidaCodec进行解码视频并绑定surface显示视频。

实施例三

为本发明计算机设备的实施例，本实施例包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

通过Ffmpeg模块解析媒体流的音视频格式信息，分解出音频流和视频流，把音频流送到音频队列，把视频流送到视频队列；

音频模块读取音频队列里的音频包，使用Ffmpeg模块进行解码，并通过opensl模块播放音频；

视频模块根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则使用MeidaCodec视频解码模块解码并渲染，否则，使用Ffmpeg模块解码并使用OpenGL模块渲染。

其中，所述Ffmpeg模块进一步包括音频解码器和视频解码器；

所述音频模块读取音频队列里的音频包后，具体是使用Ffmpeg模块中的音频解码器进行解码，并通过opensl模块播放音频；

所述视频模块具体是先根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则初始化MeidaCodec视频解码模块并关联到surface，开辟视频缓存队列，使用MeidaCodec视频解码模块解码并渲染；否则，初始化Ffmpeg模块中的视频解码器，开辟视频缓存队列，配置OpenGL模块并关联到surface，然后使用Ffmpeg模块中的视频解码器解码并使用OpenGL模块渲染。

实施例四

为本发明存储介质的实施例，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

通过Ffmpeg模块解析媒体流的音视频格式信息，分解出音频流和视频流，把音频流送到音频队列，把视频流送到视频队列；

音频模块读取音频队列里的音频包，使用Ffmpeg模块进行解码，并通过opensl模块播放音频；

视频模块根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则使用MeidaCodec视频解码模块解码并渲染，否则，使用Ffmpeg模块解码并使用OpenGL模块渲染。

其中，所述Ffmpeg模块进一步包括音频解码器和视频解码器；

所述音频模块读取音频队列里的音频包后，具体是使用Ffmpeg模块中的音频解码器进行解码，并通过opensl模块播放音频；

所述视频模块具体是先根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则初始化MeidaCodec视频解码模块并关联到surface，开辟视频缓存队列，使用MeidaCodec视频解码模块解码并渲染；否则，初始化Ffmpeg模块中的视频解码器，开辟视频缓存队列，配置OpenGL模块并关联到surface，然后使用Ffmpeg模块中的视频解码器解码并使用OpenGL模块渲染。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (8)

1.一种安卓框架层的媒体播放方法，其特征在于：

通过Ffmpeg模块解析媒体流的音视频格式信息，分解出音频流和视频流，把音频流送到音频队列，把视频流送到视频队列；

音频模块读取音频队列里的音频包，使用Ffmpeg模块进行解码，并通过opensl模块播放音频；

视频模块根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则使用MeidaCodec视频解码模块解码并渲染，否则，使用Ffmpeg模块解码并使用OpenGL模块渲染。

2.根据权利要求1所述的安卓框架层的媒体播放方法，其特征在于：

所述Ffmpeg模块进一步包括音频解码器和视频解码器；

所述音频模块读取音频队列里的音频包后，具体是使用Ffmpeg模块中的音频解码器进行解码，并通过opensl模块播放音频；

所述视频模块具体是先根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则初始化MeidaCodec视频解码模块并关联到surface，开辟视频缓存队列，使用MeidaCodec视频解码模块解码并渲染；否则，初始化Ffmpeg模块中的视频解码器，开辟视频缓存队列，配置OpenGL模块并关联surface，然后使用Ffmpeg模块中的视频解码器解码并使用OpenGL模块渲染。

3.一种安卓框架层的媒体播放器，其特征在于：包括：

Ffmpeg模块，用于解析媒体流的音视频格式信息，分解出音频流和视频流，把音频流送到音频队列，把视频流送到视频队列；

音频模块，用于读取音频队列里的音频包，使用Ffmpeg模块进行解码，并通过opensl模块播放音频；

视频模块，用于根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则使用MeidaCodec视频解码模块解码并渲染，否则，使用Ffmpeg模块解码并使用OpenGL模块渲染。

4.根据权利要求3所述的安卓框架层的媒体播放方法，其特征在于：

所述Ffmpeg模块进一步包括音频解码器和视频解码器；

所述音频模块读取音频队列里的音频包后，具体是使用Ffmpeg模块中的音频解码器进行解码，并通过opensl模块播放音频；

所述视频模块具体是先根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则初始化MeidaCodec视频解码模块并关联到surface，开辟视频缓存队列，使用MeidaCodec视频解码模块解码并渲染；否则，初始化Ffmpeg模块中的视频解码器，开辟视频缓存队列，配置OpenGL模块并关联surface，然后使用Ffmpeg模块中的视频解码器解码并使用OpenGL模块渲染。

5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现以下步骤：

通过Ffmpeg模块解析媒体流的音视频格式信息，分解出音频流和视频流，把音频流送到音频队列，把视频流送到视频队列；

音频模块读取音频队列里的音频包，使用Ffmpeg模块进行解码，并通过opensl模块播放音频；

视频模块根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则使用MeidaCodec视频解码模块解码并渲染，否则，使用Ffmpeg模块解码并使用OpenGL模块渲染。

6.根据权利要求5所述的计算机设备，其特征在于：

所述Ffmpeg模块进一步包括音频解码器和视频解码器；

所述音频模块读取音频队列里的音频包后，具体是使用Ffmpeg模块中的音频解码器进行解码，并通过opensl模块播放音频；

所述视频模块具体是先根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则初始化MeidaCodec视频解码模块并关联到surface，开辟视频缓存队列，使用MeidaCodec视频解码模块解码并渲染；否则，初始化Ffmpeg模块中的视频解码器，开辟视频缓存队列，配置OpenGL模块并关联surface，然后使用Ffmpeg模块中的视频解码器解码并使用OpenGL模块渲染。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现以下步骤：

通过Ffmpeg模块解析媒体流的音视频格式信息，分解出音频流和视频流，把音频流送到音频队列，把视频流送到视频队列；

音频模块读取音频队列里的音频包，使用Ffmpeg模块进行解码，并通过opensl模块播放音频；

视频模块根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则使用MeidaCodec视频解码模块解码并渲染，否则，使用Ffmpeg模块解码并使用OpenGL模块渲染。

8.根据权利要求7所述的计算机可读存储介质，其特征在于：

所述Ffmpeg模块进一步包括音频解码器和视频解码器；

所述音频模块读取音频队列里的音频包后，具体是使用Ffmpeg模块中的音频解码器进行解码，并通过opensl模块播放音频；

所述视频模块具体是先根据Ffmpeg模块解析出的视频格式信息判断是否可以用MeidaCodec视频解码模块解码，如果是，则初始化MeidaCodec视频解码模块并关联到surface，开辟视频缓存队列，使用MeidaCodec视频解码模块解码并渲染；否则，初始化Ffmpeg模块中的视频解码器，开辟视频缓存队列，配置OpenGL模块并关联surface，然后使用Ffmpeg模块中的视频解码器解码并使用OpenGL模块渲染。