CN103475896A - 基于QoS的交互视音频体验质量评测平台及方法 - Google Patents

Abstract

本发明提供一种基于QoS的交互视音频体验质量评测平台及评测方法。根据本发明的评测方法，首先，基于通信设备对视音频信号的编码方式来将待发送的视音频原始文件编码封装成视音频源文件，并基于所设置的相关网络参数来启动无损仿真网络及有损仿真网络；随后，将所述视音频源文件封装成数据包，并通过所启动的仿真网络予以发送；接着，接收来自无损仿真网络的视音频数据包及来自有损仿真网络的视音频数据包，并对接收的各视音频数据包分别进行解码后，再基于视音频质量比对算法来进行评测，并综合交互因素对与用户体验的损伤，来确定经过网络传输后受到网络损伤的视音频文件的用户体验质量。本发明的评测方法更具有真实性、稳定性、准确性和可重复性的优点。

Description

基于QoS的交互视音频体验质量评测平台及方法

技术领域

本发明涉及交互视音频体验质量评测领域，特别是涉及一种基于QoS的交互视音频体验质量评测平台及方法。

背景技术

随着互联网的发展，VoIP技术逐渐改变了人们通信的方式和习惯。与过去相比，人们越来越依赖于通过网络来进行通信。视频电话、视频会议等交互音频应用逐渐成为人们的主要通信方式，也渐渐成为工作中不可或缺的通信工具。在视频电话、视频会议通信过程中，不仅能听到对方的声音，而且还能看见对方的图像，给用户以面对面交流的体验。由于具有方便、快捷等特点，在日常生活及工作的各个领域，视频电话技术已被广泛应用，如公司办公、远程教学、医疗护理与诊断、商务活动、科学考察等不同行业，因此交互视音频应用有着广阔的市场前景。

然而，用户对交互视音频应用的体验很大程度上受到网络性能的影响，用户总是期望得到即时、平滑、清晰、连续的交互会话服务，但IP网络是一种尽力而为的传输网络，IP网络的性能优劣决定了用户对交互音频应用的体验质量。不过，互联网是一种尽力而为的传输（Best-effort）网络，在流媒体的传输过程中的带宽变化、丢包、抖动、时延等情况时有发生，它们会对用户体验产生不利的影响。通过研究QoS（QualityofService）与QoE（Qualityof Experience)的关系，将QoE通过与QoS的映射关系引入到网络监测与控制中，一方面可以对流媒体的QoE进行实时评估，另一方面也为网络规划、传输协议、路由算法等研究提供新的度量指标和依据，因此探索QoS与QoE的关系是一个十分重要的研究课题。

传统的交互视音频QoE评测方法以主观评价方法为主，由于其操作复杂、花费过高，导致其难以普及。然而交互视音频应用在互联网应用中的重要性日益显著，而目前却少有面向交互视音频应用的客观评测方法，所以有必要提出一种客观的不依赖与真实网络评测的交互视音频质量评测方法，以确保评测方法的可重复性及实用性。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种具有更好的真实性、稳定性、准确性和可重复性的基于QoS的交互视音频体验质量评测平台及评测方法。

为实现上述目的及其他相关目的，本发明提供一种基于QoS的交互视音频体验质量评测平台，其至少包括：

视音频编码模块，用于模拟通信设备对视音频信号的编码方式来将待发送的视音频原始文件编码封装成视音频源文件；

网络仿真模块，用于基于所设置的相关网络参数来构建无损仿真网络及有损仿真网络；

视音频发送模块，用于将所述视音频源文件封装成数据包，并通过仿真网络予以发送；

视音频接收模块，用于接收来自无损仿真网络的视音频数据包及来自有损仿真网络的视音频数据包；

视音频解码模块，用于将所述视音频接收模块提供的视音频数据包进行解码；

交互视音频质量评测模块，用于基于视音频质量比对算法来对解码后的视音频数据进行评测，并综合交互因素对用户体验的损伤，来确定经过网络传输后受到网络损伤的视音频文件的用户体验质量。

优选地，所述视音频编码模块基于ffmpeg软件来构建。

优选地，所述网络仿真模块基于NIST Net软件来构建。

优选地，所述视音频发送模块基于MP4BOX软件及Darwin Streaming Server软件来构建。

优选地，所述视音频接收模块基于Mplayer软件来构建。

优选地，所述交互视音频质量评测模块基于BVQM视频质量评价软件及PESQ语音质量评价软件来构建。

本发明还提供一种基于QoS的交互视音频体验质量评测方法，其至少包括：

基于通信设备对视音频信号的编码方式来将待发送的视音频原始文件编码封装成视音频源文件；

基于所设置的相关网络参数来启动无损仿真网络及有损仿真网络；

将所述视音频源文件封装成数据包，并通过所启动的仿真网络予以发送；

接收来自无损仿真网络的视音频数据包及来自有损仿真网络的视音频数据包；

A）对接收的各视音频数据包分别进行解码后，基于视音频质量比对算法来进行评测，并综合交互因素对与用户体验的损伤，来确定经过网络传输后受到网络损伤的视音频文件的用户体验质量。

优选地，所述步骤A）包括：

A1）BVQM视频质量评价软件基于解码后的来自无损仿真网络的视频数据及来自有损仿真网络的视频数据进行评测，以获得视频质量；

A2）PESQ语音质量评价软件基于解码后的来自无损仿真网络的音频数据及来自有损仿真网络的音频数据进行评测，以获得音频质量；

A3）基于所述视频质量、音频质量及时延对交互视音频的损伤来确定交互视音频质量。

如上所述，本发明的基于QoS的交互视音频体验质量评测平台及评测方法，具有以下有益效果：与现有的传统模拟***相比，本发明通过还原交互视音频应用的通信过程来确保模拟***的真实性，基于客观评价以确保其具有很好的稳定性及准确性、优秀的逻辑控制可确保模拟***的可重复性及稳定性。

附图说明

图1显示为本发明的基于QoS的交互视音频体验质量评测平台示意图。

图2显示为本发明的基于NIST Net软件模拟延迟为100ms、抖动为10ms的效果图。

图3显示为本发明的基于QoS的交互视音频体验质量评测方法的流程图。

图4显示为本发明的基于QoS的交互视音频体验质量评测平台所获得的视频客观评价值(VQM)和主观评价值(Subjective)之间的关系图。

图5显示为分辨率分别为QCIF、CIF、VGA、4CIF、视音频编码为H264/PCM时，抖动（Jitter）对视音频质量MOS值的影响示意图。

图6显示为分辨率分别为QCIF、CIF、VGA、4CIF、视音频编码为H264/PCM时，丢包（Drop）对视音频质量MOS值的影响示意图。

图7显示为分辨率分别为CIF、视音频编码为H264/PCM时，抖动（Jitter）、丢包（Drop）对语音质量MOS值的影响示意图。

图8显示为分辨率分别为CIF、视音频编码为H264/PCM时，抖动（Jitter）、时延（Delay）对语音质量MOS值的影响示意图。

图9显示为分辨率分别为CIF、视音频编码为H264/PCM时，丢包（Drop）、时延（Delay）对语音质量MOS值的影响示意图。

元件标号说明

1     交互视音频体验质量评测平台

11    视音频编码模块

12    网络仿真模块

13    视音频发送模块

14    视音频接收模块

15    视音频解码模块

16    交互视音频质量评测模块

S1-S9 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅图1至图9。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，本发明提供一种基于QoS的交互视音频体验质量评测平台。所述交互视音频体验质量评测平台1至少包括：视音频编码模块11、网络仿真模块12、视音频发送模块13、视音频接收模块14、视音频解码模块15、以及交互视音频质量评测模块16。

所述视音频编码模块11模拟通信设备对视音频信号的编码方式来将待发送的视音频原始文件编码封装成视音频源文件。

优选地，所述视音频编码模块11基于ffmpeg软件来构建，即ffmpeg软件将待发送的视音频原始文件编码成评测所需视频、音频编码格式以及视频分辨率的文件，并将编码后的文件封装为视音频源文件，以此模拟通信设备对视音频信号的编码过程。其中，ffmpeg软件是一个开源的跨平台免费视频、音频流方案，属于自由软件，根据所选择的组件不同，可采用LGPL或GPL许可证，其提供了录制、转换以及流化视音频的完整解决方案。

所述网络仿真模块12基于所设置的相关网络参数来构建无损仿真网络及有损仿真网络。

优选地，所述网络仿真模块12可基于NIST Net软件来构建。

具体地，在NIST Net软件中设定QoS参数后，启动NIST Net软件；通过调整NIST Net软件的各项参数，可实现对网络延迟、抖动和丢包特性变化情况的模拟；图2为在NIST Net软件中设置延迟为100ms、抖动为10ms后所获得的模拟效果图。其中，NIST Net软件是一款基于Linux***能够动态实时仿真IP网络环境的开源工具，可实现端到端网络中关键性能，例如延迟、抖动、丢包等多种复杂的网络环境的模拟。

所述视音频发送模块13将所述视音频源文件封装成数据包，并通过仿真网络予以发送。

优选地，所述视音频发送模块13基于MP4BOX软件及Darwin Streaming Server软件来构建，MP4BOX软件将所述视音频源文件封装成数据包，该Darwin Streaming Server软件将封装后的数据包传输至无损仿真网络或有损仿真网络，以此模拟通信终端在信令协商之后发送RTP流的过程。其中，Darwin Streaming Server软件是Apple公司提供的开源实时流媒体播放服务器程序。整个程序使用C++编写，在设计上遵循高性能，简单，模块化等程序设计原则，务求做到程序高效，可扩充性好，并且DSS是一个开放源代码的，基于标准的流媒体服务器，可以运行在Windows NT和Windows2000，以及各种UNIX类***上，包括Mac OSX，Linux，FreeBSD，和Solaris操作***。

所述视音频接收模块14接收来自无损仿真网络的视音频数据包及来自有损仿真网络的视音频数据包。

优选地，所述视音频接收模块14基于Mplayer软件来构建。

具体地，所述Mplayer软件保存接收到的来自无损网络的视频流和音频流数据，并保存成用于评测的视音频参考文件，同时保存接收到的来自有损网络的视频流及音频流数据包，并保存成用于评测的视音频目标文件。其中，Mplayer软件为开源代码自由软件，使用方法遵从GPLv2；MPlayer软件是一款能够播放大多数MPEG、VOB、AVI、OGG、VIVO、ASF/WMV、QT/MOV、FLI、RM、NuppelVideo、yuv4mpeg、FILM、RoQ等格式文件的播放器。

所述视音频解码模块15将所述视音频接收模块13提供的视音频数据包进行解码。

优选地，所述视音频解码模块15基于ffmpeg软件来构建；具体地，ffmpeg软件将视音频参考文件及视音频目标文件的视频轨及音频轨分离并分别解码为评测所需要的视频格式的视频文件和音频格式的音频文件。

所述交互视音频质量评测模块16基于视音频质量比对算法来对解码后的视音频数据进行评测，并综合交互因素对用户体验的损伤，来确定经过网络传输后受到网络损伤的视音频文件的用户体验质量。

优选地，所述交互视音频质量评测模块16基于BVQM视频质量评价软件及PESQ语音质量评价软件来构建。

如图3所示，上述交互视音频体验质量评测平台1的工作过程如下：

在步骤S1中，视音频编码模块11来将待发送的视音频原始文件编码成评测所需视频、音频编码格式以及视频分辨率的文件，并将编码后的文件封装为视音频源文件。

在步骤S2中，网络仿真模块12基于所设置的相关网络参数构建出无损仿真网络。

在步骤S3中，视音频发送模块13来将所述视音频源文件封装成数据包，并通过无损仿真网络来传输。

在步骤S4中，视音频接收模块14接收来自无损仿真网络的视音频数据包，并将其保存为视音频参考文件。

在步骤S5中，网络仿真模块12基于所设置的相关网络参数构建出有损仿真网络。

在步骤S6中，视音频发送模块13将所述视音频源文件封装成数据包，并通过有损仿真网络来传输。

在步骤S7中，视音频接收模块14接收来自有损仿真网络的视音频数据包，并将其保存为视音频目标文件。

在步骤S8中，视音频解码模块15将视音频参考文件及视音频目标文件的视频轨及音频轨分离并分别解码为评测所需要的视频格式的视频文件和音频格式的音频文件。

在步骤S9中，交互视音频质量评测模块16的BVQM视频质量评价软件先对视音频解码模块解码后的视频参考文件和视频目标文件进行评测，以获得视频质量VQMMOS,并通过VQM与MOS之间转换公式：MOSv=5-4*VQM得到视频质量(MOSv)，同时，交互视音频质量评测模块16的PESQ语音质量评价软件对视音频解码模块解码后的音频参考文件和音频目标文件进行评测，获得PESQMOS，再利用PESQMOS值与MOSa值之间的转化关系：

$y=\left\{\begin{array}{c}1.0,x\≤1.7\\ -0.157268x^3+1.386609x^2-2.504699x+2.023345,x>1.7\end{array}\right.$

将PESQMOS转换为音频质量(MOSa)，其中，x为PESQMOS值、y为MOSa值；接着，交互视音频质量评测模块16通过混合公式(MOSav)=f((MOSv),(MOSa))得到视音频体验质量(MOSav)，并基于时延对交互视音频的损伤，其中，时延对视频、音频的交互性及交互视音频质量的影响中，以时延对音频的损伤为主要衡量标准，故而可基于时延损伤模型来获得最终的交互视音频质量(MOS)。

例如，交互视音频质量评测模块16先根据；

R＝3.026MOSav³-25.314MOSav²+87.060MOSav-57.336，将MOSav转换为R；再根据R＝R₀-I_d-I_p-I_j，获得I_d=0时抖动及丢包造成的网络损伤I_p+I_j，其中R₀=93.2；接着再基于时延简化模型：

I_d＝0.024d+0.11(d-177.3)H(d-177.3)、

R＝R₀-I_d-I_p-I_j、以及

MOS=1+0.035R+R(R-60)(100-R)*7*10^-6

获得交互视音频体验质量MOS；其中，d为时延，当d>177.3时，H(d-177.3)=1，否则，H(d-177.3)=0；最后，可根据所得结果，分析不同的QoS参数设定情况下交互视音频MOS值的变化情况。

为更详尽了解应用本发明的基于QoS的交互视音频体验质量评测平台及评测方法，以下视频编码模块基于ffmpeg软件、视频解码模块基于ffmpeg软件、视频发送模块基于DarwinStreaming Server、视音频接收模块基于MPlayer、网络仿真模块将基于NIST Net软件、交互视音频质量评测模块基于BVQM及PESQ软件来构建为例，来说明应用本发明评测时延(Delay)、丢包率(Drop)、抖动(Jitter)以及不同视频分辨率对交互视音频质量的影响，具体评测步骤如下：

1)选取一个多媒体文件，ffmpeg软件对其进行编码，编码格式如下：

视频编码：H264，分辨率：QCIF、CIF、VGA、4CIF，帧率30fps；

音频编码：PCM，采样率：16000HZ，声道数：1；

容器：mp4。

2)在NIST Net软件中设置参数为：延迟：0ms；抖动：0ms；丢包率：0%，以得到无损仿真网络；

3)Darwin Streaming Server软件监听等待MPlayer软件发送的流媒体请求；

4)MPlayer软件发送流媒体请求；

5)将无损仿真网络环境下，MPlayer软件将接收到的视音频文件作为用于评测的视音频参考文件(Reference_record)；

6)在NIST Net软件中重新设置以下参数：

延迟：200ms；抖动：0ms、20ms、40ms、60ms、80ms、100ms；丢包率：0%、1%、3%、5%、7%、9%，以得到有损仿真网络；

重复步骤4)和步骤5)，MPlayer软件将接收到的视音频文件作为用于评测的视音频目标文件(Record_File)。

7)ffmpeg软件将视音频参考文件解码为YUV格式的视频参考文件(Reference_record.yuv)和WAV格式的音频参考文件(Reference_record.wav),且将将视音频目标文件解码为YUV格式的视频目标文件(Record_File.yuv)和WAV格式的音频目标文件(Record_File.wav)。

8)BVQM软件对Reference_record.yuv和Record_File.yuv进行评测，得到VQMMOS,通过VQM与MOS之间转换公式MOSv=5-4*VQM得到视频质量(MOSv)，如图4所示；PESQ软件对Reference_record.wav和Record_File.wav进行评测，获得PESQMOS，并根据PESQMOS与MOSa之间的转换公式，得到音频体验质量(MOSa)评测结果。通过混合公式(MOSav)=min((MOSv),(MOSa))得到视音频体验质量(MOSav)评测结果，再将时延损伤模型引入视音频体验质量MOSav，以获得最后交互视音频体验质量MOS。

9)根据不同QoS参数环境及不同分辨率情况下测得的评测结果如图5至图9所示。

综上所述，本发明主要通过视音频发送模块将视音频编码模块编码后的视音频源文件发送至仿真网络，而后将来自无损仿真网络的视音频流通过视音频接收模块保存成视音频参考文件、将来自有损仿真网络的视音频流保存为视音频目标文件，再通过时延模型引入时延损伤，由此模拟通信过程中，用户使用交互视音频应用进行通信时的整个呼叫建立、视音频流传输及视音频流接收以及用户感知的过程，并以此评测用户在该过程中的用户体验质量，该交互视音频质量评测平台及评测方法比起传统的模拟***具有更好的真实性、稳定性、准确性和可重复性。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种基于QoS的交互视音频体验质量评测平台，其特征在于，所述基于QoS的交互视音频体验质量评测平台至少包括：

视音频编码模块，用于模拟通信设备对视音频信号的编码方式来将待发送的视音频原始文件编码封装成视音频源文件；

网络仿真模块，用于基于所设置的相关网络参数来构建无损仿真网络及有损仿真网络；

视音频发送模块，用于将所述视音频源文件封装成数据包，并通过仿真网络予以发送；

视音频接收模块，用于接收来自无损仿真网络的视音频数据包及来自有损仿真网络的视音频数据包；

视音频解码模块，用于将所述视音频接收模块提供的视音频数据包进行解码；

交互视音频质量评测模块，用于基于视音频质量比对算法来对解码后的视音频数据进行评测，并综合交互因素对用户体验的损伤，来确定经过网络传输后受到网络损伤的视音频文件的用户体验质量。

2.根据权利要求1所述的基于QoS的交互视音频体验质量评测平台，其特征在于：所述视音频编码模块基于ffmpeg软件来构建。

3.根据权利要求1所述的基于QoS的交互视音频体验质量评测平台，其特征在于：所述网络仿真模块基于NIST Net软件来构建。

4.根据权利要求1所述的基于QoS的交互视音频体验质量评测平台，其特征在于：所述视音频发送模块基于MP4BOX软件及Darwin Streaming Server软件来构建。

5.根据权利要求1所述的基于QoS的交互视音频体验质量评测平台，其特征在于：所述视音频接收模块基于Mplayer软件来构建。

6.根据权利要求1所述的基于QoS的交互视音频体验质量评测平台，其特征在于：所述交互视音频质量评测模块基于BVQM视频质量评价软件及PESQ语音质量评价软件来构建。

7.一种基于QoS的交互视音频体验质量评测方法，其特征在于，所述基于QoS的交互视音频体验质量评测方法至少包括：

基于通信设备对视音频信号的编码方式来将待发送的视音频原始文件编码封装成视音频源文件；

基于所设置的相关网络参数来启动无损仿真网络及有损仿真网络；

将所述视音频源文件封装成数据包，并通过所启动的仿真网络予以发送；

接收来自无损仿真网络的视音频数据包及来自有损仿真网络的视音频数据包；

A)对接收的各视音频数据包分别进行解码后，基于视音频质量比对算法来进行评测，并综合交互因素对与用户体验的损伤，来确定经过网络传输后受到网络损伤的视音频文件的用户体验质量。

8.根据权利要求1所述的基于QoS的交互视音频体验质量评测方法，其特征在于，所述步骤A）还包括：

A1）BVQM视频质量评价软件基于解码后的来自无损仿真网络的视频数据及来自有损仿真网络的视频数据进行评测，以获得视频质量；

A2）PESQ语音质量评价软件基于解码后的来自无损仿真网络的音频数据及来自有损仿真网络的音频数据进行评测，以获得音频质量；

A3）基于所述视频质量、音频质量及时延对交互视音频的损伤来确定交互视音频质量。

Images