CN109785698A - 用于口语水平评测的方法、装置、电子设备以及介质 - Google Patents

Abstract

本发明的实施方式提供了一种用于口语水平评测的方法，该方法包括：从题库随机抽取待测题目；采集针对所述待测题目的待评语音数据；根据所述待评语音数据获取对应的待评文本数据以及待评发音特征；获取所述待评文本数据和所述待测题目之间的第一语义相关度；根据所述第一语义相关度以及所述待评发音特征获取评分结果。解决了现有技术中根据题目文本与语音数据无法直接计算语义相关度的问题，本发明的方法可以使用户在互联网上进行口语测试或者考试，极大地增加了测试和考试效率，提高了用户体验。此外，本发明实施方式还提供了一种介质、用于口语水平评测的装置及电子设备。

Description

用于口语水平评测的方法、装置、电子设备以及介质

技术领域

本发明的实施方式涉及计算机辅助教育领域，更具体地，本发明的实施方式涉及用于口语水平评测的方法、装置、电子设备以及介质。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或者上下文。此处的描述不因为包括在本部分中就承认是现有技术。

目前大多使用人工进行口语测评，但是人工评测具有以下缺点：

1、打分较为主观：分数主要根据考官个人意愿评判，受个体差异较大。

2、人力成本高：大部分人工口语测评均需要预约和集中进行，受时间、地域、人数和金钱成本等限制较大。

3、专业性低：测试机构的评委和导师的专业资质及水平难以确保。

4、效率低、重复性差：人工测评多为一对多或者少量评委面对大量考生，真正测评时间所占比例较低，同时考生并不能反复回顾自己的考题来对比评价结果。

现在还有一种通过程序对用户语音进行评价分析的方法。

发明内容

但是，现有的程序测评具有以下特点或者不足：

1、准确性不足：市面上的程序测评受到录音设备、环境、用户口音等的影响，对用户语音的识别成功率即准确率很低；大部分口音模考软件甚至仅依靠用户点赞来筛选优质回答(如图8所示)而不提供任何评价。

2、评分维度单一：评分维度大部分仅针对语音长度和流利度做出评价，对用户发音、语法、停顿、词汇以及语义相关性等无法做出评价。

3、评分效率低：评分过程效率低，从开始评分到生成评价报告的过程时间较长。

4、分析内容匮乏：仅提供口语打分，而缺乏整体水平评价、口语水平横向对比评价、口语各维度评价、错题分析、标准读音以及提高方向等内容。

另一方面，现有技术中的方法主要针对的是有标准参***的测试或者考试题目进行评分的，但在口语考试(例如雅思)中存在大量的主观性考题，这些主观性考题并没有标准参***，此时如何通过机器来实现打分就是一个亟待解决的技术难题。

因此在现有技术中，针对没有标准参***的主观性口语试题如何实现机器评分以及如何从多个不同的评分维度实现对考生口语的综合评分和评价，这是非常令人烦恼的技术问题。

为此，非常需要一种改进的用于口语水平评测的技术方案，本发明实施方式通过从题库随机抽取待测题目；采集针对所述待测题目的待评语音数据；根据所述待评语音数据获取对应的待评文本数据；获取所述待评文本数据和所述待测题目之间的第一语义相关度，从而根据所述第一语义相关度获取评分结果。

在本上下文中，本发明实施方式期望提供一种用于口语水平评测的方法、介质、装置以及电子设备。

在本发明实施方式的第一方面中，提供了一种用于口语水平评测的方法，包括：从题库随机抽取待测题目；采集针对所述待测题目的待评语音数据；根据所述待评语音数据获取对应的待评文本数据以及待评发音特征；获取所述待评文本数据和所述待测题目之间的第一语义相关度；根据所述第一语义相关度以及所述待评发音特征获取评分结果。

在本发明的一个实施例中，所述方法还包括：根据所述待测题目的类型获取相应的评测维度和评分标准。

在本发明的再一个实施例中，所述评测维度包括语法评测维度和/或词汇量评测维度和/或发音评测维度和/或流利度评测维度，相应的所述评分标准包括语法评分标准和/或词汇量评分标准和/或发音评分标准和/或流利度评分标准，所述方法还包括：根据所述待评文本数据和所述语法评分标准获取语法评分；和/或根据所述待评文本数据和所述词汇量评分标准获取词汇量评分；和/或根据所述待评发音特征和所述发音评分标准获取发音评分；和/或根据所述待评发音特征和所述流利度评分标准获取流利度评分。

在本发明的再一个实施例中，所述方法还包括：根据所述语法评分和/或所述词汇量评分和/或所述发音评分和/或所述流利度评分获取所述评分结果。

在本发明的再一个实施例中，所述方法还包括：获取所述待评文本数据和所述待测题目的标准答案之间的第二语义相关度；根据所述第二语义相关度获取所述评分结果。

在本发明的再一个实施例中，还包括：对所述评分结果进行分析获取分析结果；根据所述评分结果和所述分析结果生成综合评测报告。

在本发明实施方式的第二方面中，提供了一种介质，其上存储有程序，该程序被处理器执行时实现上述方法实施方式中的各步骤，例如，从题库随机抽取待测题目；采集针对所述待测题目的待评语音数据；根据所述待评语音数据获取对应的待评文本数据以及待评发音特征；获取所述待评文本数据和所述待测题目之间的第一语义相关度；根据所述第一语义相关度以及所述待评发音特征获取评分结果。

在本发明实施方式的第三方面中，提供一种用于口语水平评测的装置，包括：题目抽取模块，用于从题库随机抽取待测题目；语音采集模块，用于采集针对所述待测题目的待评语音数据；语音识别模块，用于根据所述待评语音数据获取对应的待评文本数据以及待评发音特征；第一相关度计算模块，用于获取所述待评文本数据和所述待测题目之间的第一语义相关度；评分模块，用于根据所述第一语义相关度以及所述待评发音特征获取评分结果。

在本发明的一个实施例中，所述装置还包括：维度标准获取模块，其用于根据所述待测题目的类型获取相应的评测维度和评分标准。

在本发明的又一个实施例中，所述评测维度包括语法评测维度和/或词汇量评测维度和/或发音评测维度和/或流利度评测维度，相应的所述评分标准包括语法评分标准和/或词汇量评分标准和/或发音评分标准和/或流利度评分标准。其中，所述评分模块还包括语法评分单元和/或词汇量评分单元和/或发音评分单元和/或流利度评分单元。

其中，所述语法评分单元用于根据所述待评文本数据和所述语法评分标准获取语法评分。

所述词汇量评分单元用于根据所述待评文本数据和所述词汇量评分标准获取词汇量评分。

所述发音评分单元用于根据所述待评发音特征和所述发音评分标准获取发音评分。

所述流利度评分单元用于根据所述待评发音特征和所述流利度评分标准获取流利度评分。

在本发明的再一个实施例中，所述评分模块还包括总评单元。其中，所述总评单元用于根据所述语法评分和/或所述词汇量评分和/或所述发音评分和/或所述流利度评分获取所述评分结果。

在本发明的再一个实施例中，所述装置还包括第二相关度计算模块。其中所述第二相关度技术模块用于获取所述待评文本数据和所述待测题目的标准答案之间的第二语义相关度。其中所述评分模块还用于根据所述第二语义相关度获取所述评分结果。

在本发明的再一个实施例中，所述装置还包括分析模块以及报告生成模块。其中，所述分析模块用于对所述评分结果进行分析获取分析结果。所述报告生成模块用于根据所述评分结果和所述分析结果生成综合评测报告。

在本发明实施方式的第四方面中，提供一种电子设备，主要包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，下述指令被运行：从题库随机抽取待测题目；采集针对所述待测题目的待评语音数据；根据所述待评语音数据获取对应的待评文本数据以及待评发音特征；获取所述待评文本数据和所述待测题目之间的第一语义相关度；根据所述第一语义相关度以及所述待评发音特征获取评分结果。

根据本发明实施方式提供的用于口语水平评测的方法、介质、装置以及电子设备，通过从题库随机抽取待测题目；采集针对所述待测题目的待评语音数据；根据所述待评语音数据获取对应的待评文本数据以及待评发音特征；获取所述待评文本数据和所述待测题目之间的第一语义相关度，这样，本发明实施方式可以利用该第一语义相关度以及所述待评发音特征获取用户的评分结果，从而本发明实施方式可以使用户在互联网上进行口语考试，极大地增加了考试效率，提高了用户体验。

另外，根据本发明某些发明实施例，该用于口语水平评测的方法通过计算待测题目和待评语音数据之间的第一语义相关度以及待评发音特征来获得用户的评分，解决了现有技术中根据题目文本与语音数据无法直接计算语义相关度的问题，可以使得该口语水平评测的方法应用于没有标准参***的主观性试题的机器评分，提高机器评分的应用广泛度和准确度，有利于机器评分在各类口语考试或者测评中的推广。同时，根据本发明的另一些实施例，该方法还通过发音、流利度、语法和词汇等几个维度对用户语音进行综合评价打分，解决了一直以来口语水平测试的几大难题：标准模糊、评价主观性强、智能化自动化程度低、打分算法科学性差等，是口语测评的领域的重要突破。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了根据本发明实施方式的可以在其中实现的应用场景示意图；

图2示意性地示出了根据本发明一实施例的一种用于口语水平评测的方法流程图；

图3示意性地示出了根据本发明又一实施例的一种用于口语水平评测的方法流程图；

图4示意性地示出了根据本发明一实施例的用于口语水平评测的架构示意图；

图5示意性地示出了根据本发明一实施例的一种用于口语水平评测的装置的结构示意图；

图6示意性地示出了根据本发明一实施例的电子设备的结构示意图；

图7示意性地示出了根据本发明一实施例的介质的示意图；

图8为现有技术中一种用于口语水平评测的界面示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件或者完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种用于口语水平评测的方法、装置、设备以及介质。

在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。下面参考本发明的若干代表性的实施方式，详细阐释本发明的原理和精神。

发明概述

本发明人发现，现有技术中针对口语考试例如英语口语考试主要是通过将考生的答题录音转换成文本内容，然后将该转换后的文本内容与预先提供的标准参***的文本进行比对，一般会从该标准参***中预先提取出一些关键词，通过将这些关键词与该转换后的文本内容进行匹配，通常，匹配的数量越多则得分越高，但是，这样的方法至少存在以下这些问题，一方面，很多口语考试例如雅思考试中存在大量主观性试题，这些主观性试题并不存在标准参***，这样就无法采用上述现有技术中的方案进行机器打分；另一方面，即使针对存在标准参***的考试试题，由于其一般是通过关键词匹配的方法来进行打分，那极有可能考生通过预先背诵一些通用段落，里面包含了标准参***的关键词，但是其回答实际并不符合考题的设置情景，但是这样通过背题的考生也有可能获得高分，背离了口语考试设置主观性试题的初衷。同时，现有技术中的机器评价维度和打分标准过于单一，无法从多个维度进行评价以及打分。

因此针对现有技术中存在的打分不准确的技术问题，本发明提供了用于口语水平评测的方法、介质、装置以及电子设备，通过从题库随机抽取待测题目；采集针对所述待测题目的待评语音数据；根据所述待评语音数据获取对应的待评文本数据以及待评发音特征；获取所述待评文本数据和所述待测题目之间的第一语义相关度，这样，本发明实施方式可以利用该第一语义相关度以及该待评发音特征可以获得评分结果，从而可以使用户在互联网上进行口语考试，极大地增加了考试效率，提高了用户体验。同时，可以使得该口语水平评测的方法应用于没有标准参***的主观性试题的机器评分，提高机器评分的应用广泛度和准确度，有利于机器评分在各类口语考试或者测评中的推广。此外，根据本发明的另一些实施例，该方法还通过发音、流利度、语法和词汇等几个维度对用户语音进行综合评价打分

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

首先参考图1，示意性地示出了根据本发明实施方式的可以在其中实现的应用场景。

图1中，终端设备1、终端设备2、……终端设备n中均安装有能够访问在线口语水平评测提供商(例如，英语流利说)所提供的页面的应用程序，例如，在终端设备1表现为台式计算机或者笔记型计算机的情况下，终端设备1中安装有能够访问在线口语水平评测提供商所提供的页面的应用客户端或者浏览器等应用程序，再例如，在终端设备2表现为智能移动电话或者平板电脑的情况下，终端设备2中安装有能够访问在线口语水平评测提供商所提供的页面的APP(Application，应用程序)或者浏览器等应用程序；不同用户均可以利用其终端设备中安装的相应应用程序访问相应服务器中在线口语水平评测提供商所提供的页面，从而用户可以查看该在线口语水平评测提供商所提供的从题库随机抽取待测题目、采集针对所述待测题目的待平语音数据以及根据所述待评语音数据获取对应的待评文本数据以及待评发音特征等信息；进一步的，不同用户可以根据其实际需求以及其了解到的相应口语考试的信息，基于该在线口语水平评测提供商所提供的相应页面执行相应的口语水平评测流程操作，以获得该在线口语水平评测提供商所提供的相应评分结果。然而，本领域技术人员完全可以理解，本发明实施方式的适用场景不受到该框架任何方面的限制。

本发明实施例中的应用该用于口语水平评测的方法的场景，其可以包括通信(无线和/或有线)连接的客户端(例如图1所示中的终端设备1、终端设备2、……终端设备n)以及服务器。

其中，电脑、平板电脑、高端智能手机等均可以作为本发明的客户端，客户端必须具备独立的音频视频播放功能和独立的音频输入设备。所述客户端主要负责用户与***的交互，实现语音信息的采集(例如可以通过网页调用录音插件进行录音，并生成wav格式的音频文件)、播放分别存放于客户端本地和服务器的测试语音和标准语音、传输wav格式的音频文件到服务器和语料文本、评分结果、综合评价报告例如发音反馈指导意见等的显示功能。客户端可以用于考生进行口语水平评测，包括试题发布、评测、收卷等，并处理和传输考生作答音频至服务器，对于考生作答音频，还可以对考生作答音频的格式转换与特征提取。评测结束后，考生的评测成绩即评分结果(或者还可以包括综合评价报告)也可以发布在客户端上。客户端上传的考生作答结果可以包括朗读题(客观性试题)的口语测评结果以及自发性口语表述题(主观性试题)的口语测评结果中的一种或者两种。

其中，服务器主要负责评测结果的整理、收集以及试卷的分发、机器自动评分，通过通讯模块将评测信息输出给客户端，其在特定时间提供试卷给客户端并控制评测时间，从客户端收集考生作答音频，对考生答卷进行识别、解码、评分，评分完成后将评测结果通过通讯模块及时反馈回客户端。服务器具有语料收集、语音信号预处理、语音识别和发音质量评分等功能。根据考生规模和计算任务量，服务器可以选择多台高性能计算机组建计算机集群的形式，以便加快评分与解码的速度。评测结束后对考生作答信息以及其得分情况做集中的分析与处理，将考生总分、单项得分与排名等信息统计出来，还可以让老师和学生们随时查询考生总分、单项得分与排名等信息。

***可以包含三种不同权限的角色：考生、教师和管理员，考生主要负责评测与作答；教师主要负责制卷、发布评测、管理评测以及检查评测结果；管理员主要负责评测的管理、试卷分发的时间掌控以及整体评测***的维护。

示例性方法

下面结合图1所示的应用场景，参考图2-4来描述根据本发明示例性实施方式的用于口语水平评测的方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

本发明实施方式的方法可以包括：步骤S200、步骤S210、步骤S220、步骤S230以及步骤S240；可选的，本发明实施方式的方法还可以包括：步骤S300、步骤S310以及步骤S320。

参见图2，示意性地示出了根据本发明一实施例的用于口语水平评测的方法的流程图，该方法通常在可以运行计算机程序的设备中执行，例如，在台式计算机或者服务器等设备中执行，当然，也可以在笔记型计算机甚至平板电脑等设备中执行。

在步骤S200中，从题库随机抽取待测题目。

作为示例，本发明实施方式的口语水平评测可以是任意一种语言，例如英语、中文、法语、德语、俄语等的口语水平评测，该口语水平评测可以是通过在线网站或者应用程序进行口语水平模拟测试，也可以是正式的口语水平考试。下面的实施例中均以英语口语水平评测例如雅思考试为例进行举例说明，但本公开并不限定于此。相应的，针对不同语言以及不同口语考试类型，可以具有不同的考试题库，例如，雅思考试具有雅思的考试题库，当考生或者用户登录***时，随机的从该考试题库中选择所述待测题目。

在步骤S210中，采集针对所述待测题目的待评语音数据。

本发明实施例中，还是以雅思考试为例，当***从相应题库中随机选择了该当前考生或者用户本次测试或者考试的待测题目之后，考生或者用户开始作答，通过客户端录制该考生或者用户针对各个待测题目的待评语音数据并可以上传至服务器。

在一个优选的实施方式中，所述方法还可以包括：对采集的针对所述待测题目的所述待评语音数据进行预处理，把所述待评语音数据加工成符合机器评分***要求的数据格式。

在步骤S220中，根据所述待评语音数据获取对应的待评文本数据以及待评发音特征。

本发明实施例中，可以采用自动语音识别技术将所述待评语音数据转换成对应的所述待评文本数据以及所述待评发音特征。具体的自动语音识别技术可以参考现有技术中的内容，在此不对其进行展开说明。

在步骤S230中，获取所述待评文本数据和所述待测题目之间的第一语义相关度。

作为示例，本发明实施方式的所述方法还可以包括：将所述待测题目按照题目类型划分成主观性试题和客观性试题。其中，所述客观性试题是指具有标准参***的考试试题，即用户或者考生作答时的所述待评文本数据与其对应的标准参***需要完全一致才能得满分或者高分，例如口语考试中的朗读题，即给定一段英文材料，考生将其朗诵出来。而所述主观性试题是指没有标准参***的考试试题，其可以由各个考生或者用户进行自由发挥表述的试题，或者提供一份或者多份参***，但是考生的作答并不需要和一致，例如口语考试中要求考生用英语陈述一件自己认为很成功的事情。

在一个优选的实施方式中，所述方法包括：针对所述主观性试题，获取所述主观性试题的待评文本数据；计算所述主观性试题的待评文本数据和其对应的待测题目之间的第一语义相关度。

作为示例，所述第一语义相关度可以通过以下方法获得：计算所述主观性试题的待评文本数据中的每一个单词和相应的待测题目中每一个单词的语义相关度得分；计算所述主观性试题的待评文本数据中的每一个单词和相应的待测题目中每一个句子的语义相关度得分；计算所述主观性试题的待评文本数据中每一个单词和相应的待测题目中每一个句子中的语义相关度得分最大值/平均值作为单词与句子之间的语义相关度；计算所述主观性试题的待评文本数据与相应的待测题目之间的第一语义相关度得分。

在步骤S240中，根据所述第一语义相关度以及所述待评发音特征获取评分结果。

作为示例，本发明实施方式中可以设置为所述第一语义相关度越高，则相应的评分越高；反之，所述第一语义相关度越低，则相应的评分越低。但本公开对此不作限定。

本发明实施方式所提供的用于口语水平评测的方法，通过计算待测题目和考生作答的语音数据之间的相关度得分情况，可以获得考生相应的口语评分，从而使得本发明可以应用于没有标准参***的主观性考试试题的机器测评中，使得用户可以通过互联网进行在线模拟评测或者考试，大大提高了口语水平评测的效率和正确度，避免了现有技术中考生通过死记硬背方式记住一些穿插各种关键词或者关键字的文本应付考试的现象。

需要说明的是，虽然上述实施例中以主观性考试试题为例进行说明，但实际上，本发明实施例所述的方法也可以应用于客观性考试试题。这样，即使考生的作答虽然部分内容与评卷标准中所给的关键词吻合，但整体的回答与情节不符，依然不能得分或者得高分。

作为示例，所述待评发音特征可以包括考生的发音准确度、发音流利度等，本公开对此不作限定。

进一步的，所述待评发音特征可以包括：基频特征、共振峰、语速、平均能量等。

在本发明的另一个实施例中，所述方法还可以包括：根据所述待测题目的类型获取相应的评测维度和评分标准。

例如，可以将各个待测题目划分为语法测试题、词汇量测试题、发音测试题以及流利度测试题等类型。相应的，根据不同的待测题目的类型设置不同的评测维度和评分标准。

在本发明的再一个实施例中，所述评测维度可以包括语法评测维度和/或词汇量评测维度和/或发音评测维度和/或流利度评测维度，相应的所述评分标准可以包括语法评分标准和/或词汇量评分标准和/或发音评分标准和/或流利度评分标准。

在一个优选的实施方式中，所述方法还可以包括：根据所述待评文本数据和所述语法评分标准获取语法评分；和/或根据所述待评文本数据和所述词汇量评分标准获取词汇量评分；和/或根据所述待评发音特征和所述发音评分标准获取发音评分；和/或根据所述待评发音特征和所述流利度评分标准获取流利度评分。

例如，所述语法评分可以根据所述待评文本数据中的时态的种类多少、各种时态的运用是否正确等进行评分，在上面要求考生用英语陈述一件自己认为很成功的事情这个考题中，主要使用的应该是过去时。再例如，所述词汇量评分可以根据所述待评文本数据中的词汇丰富度、词汇表述是否贴切等进行评分。一般来说，词汇越丰富，词汇量评分越高，但本公开并不受其限制。

其中，发音评分主要考查发音句子的内容信息是否完整准确，发音是否清晰流利，是否有发音错误。具体的，所述发音评分可以通过计算发音准确度来获得，发音准确度的方法可以参考现有技术，在此不作详述。例如可以采用深度学习算法对语段音准度进行评测，得到所述待评语音数据的发音评分。

具体的，所述流利度评分可以通过语速特征以及短时停顿时长特征等获得。其中，所述语速特征可以通过以下步骤获得：根据所述待评发音特征统计出所述待评语音数据中每个音素对应的帧数；利用音素总个数与所有音素的持续时间的比值得到语速特征。其中，所述短时停顿时长特征可以通过以下步骤获得：利用所述待评发音特征统计出所述待评语音数据中每个音素对应的帧数和音频总的帧数；利用所有音频短时停顿的时长的综合与总的发音时长的比值得到所述短时停顿时长特征。

在本发明的再一个实施例中，所述方法还可以包括：根据所述语法评分和/或所述词汇量评分和/或所述发音评分和/或所述流利度评分获取所述评分结果。

在本发明的再一个实施例中，所述方法还可以包括：获取所述待评文本数据和所述待测题目的标准答案之间的第二语义相关度；根据所述第二语义相关度获取所述评分结果。

作为示例，所述第二语义相关度可以包括语义相似度以及语法结构相似度。

具体的，所述语义相似度可以通过以下步骤获得：计算所述待评文本数据中的每一个单词和标准参***中每一个单词的语义相似度得分；计算所述待评文本数据中的每一个单词和标准参***中每一个句子的语义相似度得分；计算所述待评文本数据中每一个单词和标准参***中每一个句子中的语义相似度得分最大值/平均值作为单词与句子之间的相似度得分；计算所述待评文本数据与标准参***之间的相似度得分。

具体的，所述语法结构相似度可以通过以下方法获得：分别为所述待评文本数据的每一个句子建立语法顺序矢量；分别求出所述待评文本数据中的每一个句子和标准参***中的每一个句子的语法结构相似度得分，取所述待评文本数据中每一个句子语法结构相似度得分最大值作为这个句子的语法结构相似度得分；通过对所述待评文本数据中每一个句子语法结构相似度得分加权平均计算考生答案和标准参***之间的语法结构相似度特征。

相对于传统朗读题口语测评，本发明实施方式所述用于口语水平评测的方法不但能够进行朗读题的口语测评，还可以进行自发性口语表述题的口语测评；评分更加全面公正，可以在考生自发性表述的情况下考察考生的发音准确度与流利度，更能反映考生实际的口语水平；考生作答文本不再受到限制，自动评分评测题型也将不再仅限于朗读题，这样就可以考察考生在自发性口语表述的情况下对语言的理解、运用与表达能力；这样既能考察考生口语运用的语义相关性，又能考察考生口语的语法水平，能够保证评测高效运行，同时充分利用了整个***的资源，大大提升了组织口语评测效率，节约了大量的人力物力。同时，本发明实施方式所述方法的评分维度科学多样化，评分流程效率高。

在本发明的再一个实施例中，所述方法还可以包括：对所述评分结果进行分析获取分析结果；根据所述评分结果和所述分析结果生成综合评测报告。

作为示例，本发明实施方式中所述综合评测报告可以包括基于大数据的总体水平评价和横向对比并加入了具体问题的详细分析(错题与范例语音对比，原因分析和提高建议等内容)。

本发明实施方式所述用于口语水平评测的方法的一个具体例子如下述针对图3和图4的描述。

在步骤S300中，录音处理及资源配置阶段。参考图4，该录音处理及资源配置阶段可以包括以下步骤。

S301、在收集到用户录音之后获得用户输入语音数据，可以通过ASR(AutomaticSpeech Recognition，自动语音识别)技术，快速识别用户语音内容并输出语音对应的文本例如TEXT回答文字和用户发音特征。

S302、在题目抽取后，根据不同题目类别和评分标准生成对应的配置文件。配置文件决定所需要的分析器(Analyzer)数量，每个分析器(Analyzer)或者说评分维度所对应的特征(Feature)数量以及反馈(Feedback)内容。

作为示例，本发明实施方式中的所述配置文件是根据题型来的，事先会把所有题型需要反馈的维度，比如专门针对语法练习的题目，就不反馈发音维度的得分。所述配置文件中有各种题型关于提取哪些特征的说明。

S303、配置资源管理程序(resource manager)：内容可以包括Model(打分模型+其他算法模型)，Data(测评过程用到的外部资源比如词典)，Question Database(题库)和Other Resources(其他资源)四个部分。

其中，所述打分模型是个统计模型，里面包含了大量的参数，比如线性回归方法、基于事例推理的学习、关联规则学习、神经网络或者支持向量机等中的任意一种或者多种。其他算法模型例如可以包括音频质量检测。其他资源比如雅思词表，题库等。

具体，可以通过以下方法获得所述打分模型：选取若干考生进行如下五个步骤所述的过程，然后将所述特征与老师评分结合进行自动打分模型训练，形成评分模型；收集考生作答音频；提取考生作答音频的声学特征得到声学模型，并根据题目信息及训练文本得到语言模型；根据建立的声学模型和语言模型对考生作答音频进行解码得到识别结果；提取识别结果中的特征；根据提取的特征训练所述评分模型。之后可以利用该训练获得的打分模型进行自动评分。

在步骤S310中，分析处理阶段。该分析处理阶段可以包括以下步骤。

S311、将步骤S300中产生的语音对应文本和用户发音特征进行预处理(PreProcess)，将信息进行整理筛选，并将筛选结果提交分析器(Analyzer)进行分析。例如对识别的文字进行加标点，句法分析等。

其中，所述预处理可以包括：将待评测的英语口语音频文件随机分割为等长度切片例如5秒；再对所有的音频切片进行预加重、语音分帧、加窗和端点检测，针对所有音频切片，依次完成时域分析(分析和提取音频切片中的时域特征参数，可以包括短时能量和短时平均幅度、短时平均过零率、短时自相关系数和短时平均幅度差)、频域分析(可以通过带通滤波器组法、短时傅里叶变换法、频域基音检测法、时-频表示方法，提取音频切片的频谱、功率谱、倒频谱、频谱包络)和倒谱域分析(通过同态处理分析和提取音频切片的倒谱域特征参数，进一步将声门激励信息和声道响应信息有效地分开；声门激励信息用于判断清浊音、求基音周期，声道响应信息用于求共振峰，用于语音的编码、合成、识别)；对音频切片的声学参数进行分析和计算，声学参数包括MEL频率倒谱系数、线性预测倒谱系数和线谱对系数。

S312、根据步骤S300中的资源管理程序和根据题型生成的配置文件，生成对应的分析器和需要的分析特征。

参考图4，例如，分析器1(analyzer 1)的特征实例1(feature instance 1)，特征实例2(feature instance 2)，…特征实例n(feature instance n)；分析器2(analyzer 2)的特征实例1(feature instance 1)，特征实例2(feature instance 2)，…特征实例n(feature instance n)；…；分析器m(analyzer m)的特征实例1(feature instance 1)，特征实例2(feature instance 2)，…特征实例n(feature instance n))。其中，m和n均为大于等于1的正整数。

S313、将经过预处理之后的语音文件和特征投入算法分析***进行特征分析，同时并行(多线程)对多个题目的不同特征进行分析处理；处理完成后将所得出的反馈特征放入特征管理器(Feature Manager)中进行整理。

其中，特征分析就是经过算法模型打分的过程。所述特征管理器可以按照反馈的类型整理，比如属于哪一类语法错误。

例如，如图4所示，特征1(Feature 1)：name(名称)，value(值)，info(信息)；特征2(Feature 2)：name，value，info；…特征n(Feature n)：name，value，info。

在步骤S320中，打分和评价反馈阶段。该打分和评价反馈阶段可以包括以下步骤。

S321、根据步骤S300中的配置文件和步骤S310中的特征管理器进行打分，并根据各评分维度分数按照对应算法对用户回答进行总体打分(Scoring)；

具体的，打分都是基于步骤S310提取出的特征进行的。

例如，针对雅思的每一个维度把相应的特征值送入对应的打分模型计算得到每个维度的结果。打分模型就是一堆参数，可以是人工神经网络或者是其他统计学***均。比如，Fluency&Coherence 5分，Lexical Resource 6分，Grammar 6分，Pronunciation 4分，Overall就是5.0分。

S322、反馈管理器(Feedback Manager)根据配置文件，特征管理器以及用户各项分数根据评价反馈表进行评价抽取，并根据分数和特征管理器进行抽取总体评价和对应分析.

S323、根据配置文件和分数，评价生成最终评价报告即最终反馈(feedbacks)。

本发明实施方式所述方法可以对所应用产品(例如雅思流利说，中考流利说等)带来如下帮助：

1、提供专业详尽的口语评测报告：

通过本发明实施方式中所述方法在相关产品测评流程中的应用，可以针对每一个用户形成独一无二的专有测评报告，针对每一个用户的发音总体评价和横向对比、各维度分数和评价、具体错误录音重现和标准答案对比、错误类型分析及提高建议等内容进行科学完整的评价，让所有用户充分了解自己口语能力的方方面面。

2、大幅度提高口语测评效率：

A、极短时间内完成对大篇幅语音数据的各维度测评：

本发明实施方式中所述方法的流程中，测评引擎可以同时运行对多个评分维度进行分析的特征分析器，达到了同时完成多个评分维度的测评，打分和评价反馈。面对雅思模考的整个考试录音和中高考任意套题的所有录音等大篇幅录音，均可以做到在30分钟内完成测评并展示分析报告。

B、测评流程兼容性和迭代性高：

本发明实施方式中所述方法可以兼容各种不同类型的口语题型和各长度的口语答题录音，并且在评分模型和打分标准的迭代更新时可以随时更新，避免了因为题型和评分标准的不同需要更换评分流程和算法所造成的低效和成本增加。

C、提升用户体验并形成产品核心竞争力：

本发明实施方式中所述方法所应用的产品提供的测评、练习、模拟考试等内容的专业性、高效性和操作简便性大幅度提升了用户的使用体验，显著区别于市面产品，成为产品核心竞争力的重要组成部分。

示例性装置

在介绍了本发明示例性实施方式的方法之后，接下来，参考图5对本发明示例性实施方式的用于口语水平评测的装置进行说明。

参见图5，示意性地示出了根据本发明一实施例的用于口语水平评测的装置的结构示意图，该装置通常设置于可以运行计算机程序的设备中，例如，本发明实施例中的该装置可以设置于台式计算机或者服务器等设备中，当然，该装置也可以设置于笔记型计算机甚至平板电脑等设备中。

本发明实施方式的装置主要包括：题目抽取模块500、语音采集模块510、语音识别模块520、第一相关度计算模块530以及评分模块540。下面对该装置所包括的各个模块分别进行说明。

题目抽取模块500可以用于从题库随机抽取待测题目。

语音采集模块510可以用于采集针对所述待测题目的待评语音数据。

语音识别模块520可以用于根据所述待评语音数据获取对应的待评文本数据以及待评发音特征。

第一相关度计算模块530可以用于获取所述待评文本数据和所述待测题目之间的第一语义相关度。

评分模块540可以用于根据所述第一语义相关度以及所述待评发音特征获取评分结果。

在本发明的一个优选实施方式中，所述装置还可以包括：维度标准获取模块，其用于根据所述待测题目的类型获取相应的评测维度和评分标准。

在本发明的又一个优选实施方式中，所述评测维度可以包括语法评测维度和/或词汇量评测维度和/或发音评测维度和/或流利度评测维度，相应的所述评分标准包括语法评分标准和/或词汇量评分标准和/或发音评分标准和/或流利度评分标准。其中，所述评分模块540还可以包括语法评分单元和/或词汇量评分单元和/或发音评分单元和/或流利度评分单元。

其中，所述语法评分单元可以用于根据所述待评文本数据和所述语法评分标准获取语法评分。

所述词汇量评分单元可以用于根据所述待评文本数据和所述词汇量评分标准获取词汇量评分。

所述发音评分单元可以用于根据所述待评发音特征和所述发音评分标准获取发音评分。

所述流利度评分单元可以用于根据所述待评发音特征和所述流利度评分标准获取流利度评分。

在本发明的再一个优选实施方式中，所述评分模块540还可以包括总评单元。其中，所述总评单元可以用于根据所述语法评分和/或所述词汇量评分和/或所述发音评分和/或所述流利度评分获取所述评分结果。

在本发明的再一个优选实施方式中，所述装置还可以包括第二相关度计算模块。其中所述第二相关度技术模块可以用于获取所述待评文本数据和所述待测题目的标准答案之间的第二语义相关度。其中所述评分模块540还可以用于根据所述第二语义相关度获取所述评分结果。

在本发明的再一个优选实施方式中，所述装置还可以包括分析模块以及报告生成模块。其中，所述分析模块可以用于对所述评分结果进行分析获取分析结果。所述报告生成模块可以用于根据所述评分结果和所述分析结果生成综合评测报告。

其中，各个模块和/或单元所执行的具体操作可以参见上述方法实施方式中的各步骤的描述，在此不再重复说明。

图6示出了适于用来实现本发明实施方式的示例性计算机***/服务器60的框图。图6显示的计算机***/服务器60仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机***/服务器60以通用电子设备的形式表现。计算机***/服务器60的组件可以包括但不限于：一个或者多个处理器或者处理单元601，***存储器602，连接不同***组件(包括***存储器602和处理单元601)的总线603。

计算机***/服务器60典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机***/服务器60访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

***存储器602可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)6021和/或高速缓存存储器6022。计算机***/服务器60可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，ROM 6023可以用于读写不可移动的、非易失性磁介质(图6中未显示，通常称为“硬盘驱动器”)。尽管未在图6中示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线603相连。***存储器602中可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块6024的程序/实用工具6025，可以存储在例如***存储器602中，且这样的程序模块6024包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块6024通常执行本发明所描述的实施例中的功能和/或方法。

计算机***/服务器60也可以与一个或多个外部设备604(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口605进行。并且，计算机***/服务器60还可以通过网络适配器606与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或者公共网络，例如因特网)通信。如图6所示，网络适配器606通过总线603与计算机***/服务器60的其它模块(如处理单元601等)通信。应当明白，尽管图6中未示出，可以结合计算机***/服务器60使用其它硬件和/或软件模块。

处理单元601通过运行存储在***存储器602中的计算机程序，从而执行各种功能应用以及数据处理，例如，执行用于实现上述方法实施例中的各步骤的指令；具体而言，处理单元601可以执行***存储器602中存储的计算机程序，且该计算机程序被执行时，下述指令被运行：从题库随机抽取待测题目；采集针对所述待测题目的待评语音数据；根据所述待评语音数据获取对应的待评文本数据以及待评发音特征；获取所述待评文本数据和所述待测题目之间的第一语义相关度；根据所述第一语义相关度以及所述待评发音特征获取评分结果。

各指令所执行的具体操作可以参见上述方法实施方式中针对各步骤的描述，在此不再重复说明。

本发明实施方式的介质一个具体例子如图7所示。

图7的介质为光盘700，其上存储有计算机程序(即程序产品)，该程序被处理器执行时，会实现上述方法实施方式中所记载的各步骤，例如，从题库随机抽取待测题目；采集针对所述待测题目的待评语音数据；根据所述待评语音数据获取对应的待评文本数据以及待评发音特征；获取所述待评文本数据和所述待测题目之间的第一语义相关度；根据所述第一语义相关度以及所述待评发音特征获取评分结果；各步骤的具体实现方式在此不再重复说明。

应当注意，尽管在上文详细描述中提及了用于口语水平评测的装置的若干模块和/或单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块和/或单元的特征和功能可以在一个模块和/或单元中具体化。反之，上文描述的一个模块和/或单元的特征和功能可以进一步划分为由多个模块和/或单元来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (9)

1.一种用于口语水平评测的方法，包括：

从题库随机抽取待测题目；

采集针对所述待测题目的待评语音数据；

根据所述待评语音数据获取对应的待评文本数据以及待评发音特征；

获取所述待评文本数据和所述待测题目之间的第一语义相关度；

根据所述第一语义相关度以及所述待评发音特征获取评分结果。

2.如权利要求1所述的方法，其中，还包括：根据所述待测题目的类型获取相应的评测维度和评分标准。

3.如权利要求2所述的方法，其中，所述评测维度包括语法评测维度和/或词汇量评测维度和/或发音评测维度和/或流利度评测维度，相应的所述评分标准包括语法评分标准和/或词汇量评分标准和/或发音评分标准和/或流利度评分标准，所述方法还包括：

根据所述待评文本数据和所述语法评分标准获取语法评分；和/或

根据所述待评文本数据和所述词汇量评分标准获取词汇量评分；和/或

根据所述待评发音特征和所述发音评分标准获取发音评分；和/或

根据所述待评发音特征和所述流利度评分标准获取流利度评分。

4.如权利要求3所述的方法，其中，还包括：根据所述语法评分和/或所述词汇量评分和/或所述发音评分和/或所述流利度评分获取所述评分结果。

5.如权利要求1至4任一项所述的方法，其中，还包括：

获取所述待评文本数据和所述待测题目的标准答案之间的第二语义相关度；

根据所述第二语义相关度获取所述评分结果。

6.如权利要求1所述的方法，其中，还包括：

对所述评分结果进行分析获取分析结果；

根据所述评分结果和所述分析结果生成综合评测报告。

7.一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述权利要求1-6中任一项所述的方法。

8.一种用于口语水平评测的装置，包括：

题目抽取模块，用于从题库随机抽取待测题目；

语音采集模块，用于采集针对所述待测题目的待评语音数据；

语音识别模块，用于根据所述待评语音数据获取对应的待评文本数据以及待评发音特征；

第一相关度计算模块，用于获取所述待评文本数据和所述待测题目之间的第一语义相关度；

评分模块，用于根据所述第一语义相关度以及所述待评发音特征获取评分结果。

9.一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，下述指令被运行：

从题库随机抽取待测题目；

采集针对所述待测题目的待评语音数据；

根据所述待评语音数据获取对应的待评文本数据以及待评发音特征；

获取所述待评文本数据和所述待测题目之间的第一语义相关度；

根据所述第一语义相关度以及所述待评发音特征获取评分结果。