CN101266593A

CN101266593A - 一种基于网络收集意见的语音及音频质量主观评价方法

Info

Publication number: CN101266593A
Application number: CNA2008101008626A
Authority: CN
Inventors: 谢湘; 魏耀都; 阎娟
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2008-02-25
Filing date: 2008-02-25
Publication date: 2008-09-17

Abstract

本发明提供一种利用通信网络进行语音及音频质量主观评价的方法，包括语音及音频测试服务器，语音及音频测试客户端，包括以下步骤：管理员设计实验流程与待测语音及音频文件，通过网络上传至服务器。应征用户通过网络下载待测语音及音频文件并选择符合条件的环境进行测试。用户原始评分通过网络上传至服务器。服务器对用户原始评分进行处理，选择可用用户提交的数据进行统计。最后向管理员输出语音及音频质量的评价分数。

Description

一种基于网络收集意见的语音及音频质量主观评价方法

技术领域

本发明涉及到一种利用网络收集意见的语音及音频质量主观评价方法。

背景技术

随着近年来人们对涉及到语音及音频质量评价的家庭影院等设备的青睐，众多厂商为说明其器件产品的语音及音频质量，纷纷对其设备进行主观测听评价，足见当前主观评价的重要性和应用的广泛。

根据国际电信联盟ITU-T P.800标准规定，现有的语音质量的主观评价方法是选择一批非专家类型的受测者，在一个符合标准的语音及音频测试实验室中，连续听一系列测试序列大约60-90分钟，然后让受测者对语音及音频序列的质量进行评分，最后求得平均主观得分(Mean Opinion Score，MOS)，并对所得数据进行分析。受测者的选择应该能反映社会的平均职业、年龄构成以及性别比例。由于受测者自身的文化教育程度、艺术修养、教育水平和欣赏水平、兴趣爱好等存在差异，对声音质量进行主观评价后会得到一堆呈现离散性的评价意见(评分)。但是只要参与人员的构成结构满足一定的约束条件，在这些离散的评价意见中，一定会包含有统计意义下的“倾向性”，这正是声音质量主观评价的意义和价值所在。

现有的评价方法由于必须在特定的时间和地点集中进行测试，对受测者的时间安排和所在地理位置上都做出了一定限制，选择的受测者不能够覆盖应有的构成成分。同时由于整个实验持续时间不可过长，受测总人数有较大限制，使得主观评价不能够得到足够的可用数据。目前对受测者的资格认证需要人工进行，可能出现偏差导致无资格受测者参加测试产生不可用数据。实验过程需要大量工作人员进行全程监督和操作，耗费大量人力物力。原始测试数据需要人工录入电脑，存在录入错误的可能性。

发明内容

本发明考虑上述已有问题做出，其目的是提供在不对测试时间和地点进行严格限制的情况下，只须少量工作人员预先进行简单设定操作就可通过网络准确广泛收集意见并自动进行初步数据分析的语音及音频质量主观评价方法和***。

本发明的语音及音频质量主观评价***包括：语音及音频测试服务器，用于为用户提供测试资料存储、界面交互和评分存储功能；语音及音频测试客户端，通过通信网络与所述测试服务器相连，用于下载所述语音及音频文件、语音及音频播放程序和评分程序。

用来实现本发明目的的语音及音频测试服务器包括：数据库模块、统计处理模块、网络用户管理模块、操作人员模块、语音及音频网络服务模块、***管理员模块。

语音及音频测试服务器中的数据库模块包括：原始语料库存放原始测试语料，在其上定义对语料的操作，使语料符合主观测听的基本要求；原始得分库直接存放受测者原始评分数据，数据分析中若出现问题可以在原始得分库中查到异常数据，进而结合数据分析的结果查找问题产生的原因；统计分数处理结果库存放通过各种有效的统计分析对原始数据进行加工处理得到的特征参数，以便直观展现语音及音频质量的差异；用户资料库，存放受测用户以及操作人员用户的属性日志等资料。

语音及音频测试服务器中的统计处理模块包括：对原始得分库中数据进行统计分析的功能；对用户数据进行筛选，滤除自相关性较差用户的数据的功能；对用户资格认证数据进行处理，评价用户诚信程度的功能；对用户预测听结果进行分析的功能。

语音及音频测试服务器中的网络用户管理模块与用户数据库相连，包括三个子模块：注册资格认证模块，注册模块，用户资料模块。注册资格认证模块通过统计处理模块结果判断用户是否有足够硬件条件以及听觉判断能力；通过注册资格认证后进入注册模块，需要用户需要提交姓名，年龄，性别，职业，使用听音设备，联系方式，银行帐号。用户资料模块记录用户访问日志，用户诚信度。

语音及音频测试服务器中的操作人员模块与用户数据库相连，提供操作人员交互界面，提供实验过程设计功能，包括试验规模，试验方法选择与设计，试验起止时间的设定，参加测试的受测者资格设定，提供语料上传功能以及语料随机化排列功能；同时具有对数据库模块、统计处理模块、网络用户管理模块进行部分操作的功能。

语音及音频测试服务器中的语音及音频网络服务模块为受测用户提供各种用户界面的交互功能，其中包括语料无损压缩功能，语料自动下载功能。

语音及音频测试服务器中的***管理员模块对操作人员和受测者的用户属性及其提交的语音及音频，分数等进行管理。***管理员具有最高操作权限，具有增加、删除用户数据以及帐户的权限。

用来实现本发明目的的语音及音频测试客户端包括：客户网络模块、语音及音频播放模块、评分模块。

语音及音频测试客户端中的客户网络模块具有传送数据的能力，语料解压缩功能，提供用户各种数据上传和设定功能。

语音及音频测试客户端中的语音及音频播放模块具有播放解压缩后语料的功能。

语音及音频测试客户端中的评分模块存储用户一个测试单元的原始评分数据功能，并联合语音及音频客户网络模块提供原始评分的上传。

该评价方法的流程为：

建立数据库，其中包括原始语料库，原始得分库，统计结果库以及用户资料库。

操作人员登陆网站进行实验设定，设定本次实验的所有信息；

受测用户进行会员注册，通过注册中的测试模块测试用户是否具有足够的听音条件；

在成功注册的受测用户中选择符合实验规定的受测用户进行预测试，从预测试结果中判断用户是否具有正常听音能力以及是否认真评分；

预测试合格的用户进入正式测试，提交正式测试评分至服务器；

服务器对用户数据进行分析并统计测试结果。

***管理员可对语料库进行各种操作，包括及时地更新和删除等，另外对得到的原始分数通过统计处理模块对数据做必要的分析处理。

具体的进行测试的步骤为：第一步，通过语音及音频测试服务器，生成按照某种随机化顺序排列的可用测试语料，并按照实验要求划分为数个会话单元；第二步，当用户通过所述通信网络试图登录以进行测试时，执行用户验证过程；第三步，如果根据所述第二步的结果用户获得授权，在语音及音频测试服务器中通过网络将所述测试语料和评分程序提供给客户端；第四步，获得授权的用户进行语音及音频主观测试，并通过评分模块记录原始评分；第五步，完成测试的用户通过网络将评分数据上传给语音及音频服务器。

附图说明

图1为本发明的一个实施实例示意图；

图2为语音及音频测试服务器结构图；

图3为语音及音频测试客户端结构图；

图4为本发明实施实例流程图。

具体实施方式

由图1可以看出，本发明所述***包括：至少一台语音及音频测试服务器1，提供用户管理、数据分析处理和数据存储功能，其中具有四种数据库2-5，提供各种数据存放和操作；操作人员7通过通信网络与上述服务器相连。进行试验方案设计和测试语料的上传，并在语音及音频测试服务器1上合成最终测试语料；多个受测用户6通过通信网络与语音及音频测试服务器相连，通过通信网络下载语料，使用语音及音频播放模块播放语料，评分模块记录评分，进行语音及音频质量评价，评分结束后上传得分数据；***管理员8对***各个模块进行维护，进行数据的更新和删除等。

图2是语音及音频测试服务器的结构图。操作人员模块9通过通信网络与操作人员7相连，设定实验规模、流程并上传测试语料至原始语料库14；在原始语料库上进行操作得到可用语料；操作人员模块9还要通过网络用户管理模块10设定受测者要求或者直接从用户资料库13中选择合适的受测者参加测试；符合要求的受测者通过网络用户管理模块10登录或者注册后其访问日至被记录在用户资料库13中，同时通过语音及音频测试网络模块11进行测试语料下载以及原始品分上传；原始评分被存储在原始得分库15中；实验结束后操作人员模块9通知数据处理模块12对原始得分库15中的数据进行统计分析，得出的结果存储在原始结果库16中并通过操作人员模块9返回给操作人员。

图3是语音及音频测试客户端结构图。受测用户通过客户网络模块17从语音及音频测试服务器中语音及音频测试网络模块11下载语料后使用语音及音频播放模块18播放测试语料，同时使用评分模块19对语音及音频进行评分；评分结束后再通过客户网络模块将原始评分数据上传至语音及音频测试服务器。

图4描述根据本发明进行一次基于网络收集意见的语音及音频质量测试的方法和流程图。操作人员通过网页访问***，注册登陆后首先进行实验设计，实验设计包括测试规模、测试方法、测试语料上传以及测试截止时间。语料上传至原始语料库后需要进行顺序随机化的处理，然后重组得到符合主观测听要求的语料。此后的测试过程无需操作人员参与。受测用户通过登陆网站访问***进行用户注册，注册中需要经过一个预测试以确认受测用户具有足够的硬件支持能力。会员的注册需要填写一些必要的个人信息，包括：姓名，性别，年龄，身份证号，职业，使用耳机的型号，联系电话，通信地址，银行***。符合本次实验受测用户条件的用户注册登陆后通过网页界面自动开始下载预测听语料，同时用户界面中出现本次测试使用的测试方法说明。下载完成后自动进入测听界面进行预测听实验，预测听实验结果上传至服务器进行分析判断，预测听中测听者听到的语料经过特殊处理，其打分结果能够判断用户是否理解打分规则并认真打分。如果打分不符合常规则返回测试说明界面重新进行预测听。通过预测听的用户可以开始进行正式测听。正式测听的语料以会话(session)为单位自动下载和测试，每个会话结束后提交一次评分数据，数据存储在原始评分数据库中。受测用户可以自行决定会话间隔时间。受测用户必须在测试截止时间之内完成所有会话的测试，否则其评分将为无效评分。受测用户原始数据经过分析判断用户是否认真打分，评价出用户诚信度分数记录在用户资料库中。测试截止后操作人员通过对原始评分数据的操作求得评分均值、方差、95％置信区间等常用统计结果，结果存储在统计结果数据库中。进一步的数据分析可以通过下载原始评分库中的评分数据，利用专业统计软件进行。

Claims

1.一种利用计算机网络对语音及音频质量进行主观评价的方法，包括语音及音频测试服务器，用于为用户提供测试资料存储、界面交互和评分存储功能；语音及音频测试客户端，通过通信网络与所述测试服务器相连，用于下载所述语音及音频文件、语音及音频播放程序和评分程序；其特征在于：所述方法包括如下步骤：

(1)在服务器上建立数据库，其中包括原始语料库，原始得分库，统计结果库以及用户资料库；

(2)操作人员登陆网站进行实验设定，设定本次实验的所有信息；

(3)受测用户进行会员注册，通过注册中的测试模块测试用户是否具有足够的听音条件；

(4)在成功注册的受测用户中选择符合实验规定的受测用户进行预测试，从预测试结果中判断用户是否具有正常听音能力以及是否认真评分；

(5)预测试合格的用户进入正式测试；

(6)服务器对用户数据进行分析并统计测试结果。

2.根据权利要求1所述的评价方法，其特征在于：所述的测试包括以下步骤：

第一步，通过语音及音频测试服务器，生成按照某种随机化顺序排列的可用测试语料，并按照实验要求划分为数个会话单元；

第二步，当用户通过所述通信网络试图登录以进行测试时，执行用户验证过程；

第三步，如果根据所述第二步的结果用户获得授权，在语音及音频测试服务器中通过网络将所述测试语料和评分程序提供给客户端；

第四步，获得授权的用户进行语音及音频主观测试，并通过评分模块记录原始评分；

第五步，完成测试的用户通过网络将评分数据上传给语音及音频服务器。

3.根据权利要求2所述的评价方法，其特征在于：所述语音及音频测试服务器包括：数据库模块，包括原始语料库、原始得分库、统计分数处理结果库以及用户资料库；统计处理模块，对原始得分库中数据进行统计分析，对用户数据进行筛选，滤除自相关性较差用户的数据，对用户资格认证数据进行处理，评价用户诚信程度，对用户预测听结果进行分析；网络用户管理模块，通过注册资格认证、注册、用户资料三个子模块管理用户；操作人员模块，提供操作人员交互界面，提供实验过程设计功能、语料上传功能以及语料随机化排列功能；语音及音频网络服务模块，为受测用户提供各种用户界面的交互功能；***管理员模块，对操作人员和受测者的用户属性及其提交的语音及音频，分数等进行管理。

4.根据权利要求2所述的评价方法，其特征在于：语音及音频测试客户端包括：客户网络模块，具有传送数据的能力，语料解压缩功能，提供用户各种数据上传和设定功能；语音及音频播放模块；评分模块，存储用户一个测试单元的原始评分数据功能，并联合语音及音频客户网络模块提供原始评分的上传。