CN111179907A - 语音识别测试方法、装置、设备及计算机可读存储介质 - Google Patents
语音识别测试方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111179907A CN111179907A CN201911425641.0A CN201911425641A CN111179907A CN 111179907 A CN111179907 A CN 111179907A CN 201911425641 A CN201911425641 A CN 201911425641A CN 111179907 A CN111179907 A CN 111179907A
- Authority
- CN
- China
- Prior art keywords
- target
- voice
- recognition
- test
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010998 test method Methods 0.000 title claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 120
- 238000000034 method Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 7
- 238000013095 identification testing Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种语音识别测试方法,该语音识别测试方法包括:当接收到测试指令时,获取所述测试指令对应的目标语音集合,根据所述目标语音集合,确定目标噪音;播放所述目标噪音后,依次播放所述目标语音集合中的目标语音,获取所述目标语音的识别结果;根据所述目标语音集合中所有目标语音的识别结果,生成识别数据,并输出所述识别数据。本发明还公开了一种语音识别测试装置、设备及可读存储介质。本发明通过依次播放待测试的目标语音集合中的目标语音,并获取目标语音的识别结果,进而根据获取到的所有目标语音的识别结果,生成识别数据,并输出识别数据,实现了测试周期短,测试准确且节省人力的语音识别测试。
Description
技术领域
本发明涉及语音测试领域,尤其涉及语音识别测试方法、装置、设备及计算机可读存储介质。
背景技术
随着语音识别和人工智能的快速发展,越来越多的智能产品(例如,智能电视,智能手机和智能音箱等)支持人机语音交互,但由于智能产品厂商在生产这些产品时,要对产品的语音识别模块进行调试,所以需要对这些智能产品的语音识别功能进行测试,以根据测试结果对语音识别模块进行调试。现有的语音识别测试方法是,通过人工依次播放音频文件中内存的各种激活词和命令语句,然后人工记录激活词或命令语句的识别结果,并最终统计识别数据,由于语音识别需要测试的次数多,周期长,在现有的语音识别测试方法下需要大量的人力,也存在人工检测不准确的问题。
发明内容
本发明的主要目的在于提供一种语音识别测试方法,旨在解决当前的语音识别测试中存在的浪费人力、测试周期长且测试不准确的技术问题。
此外,为实现上述目的,本发明还提供一种语音识别测试方法,所述语音识别测试方法包括以下步骤:
当接收到测试指令时,获取所述测试指令对应的目标语音集合,根据所述目标语音集合,确定目标噪音;
播放所述目标噪音后,依次播放所述目标语音集合中的目标语音,获取所述目标语音的识别结果;
根据所述目标语音集合中所有目标语音的识别结果,生成识别数据,并输出所述识别数据。
可选地,所述当接收到测试指令时,获取所述测试指令对应的目标语音集合,根据所述目标语音集合,确定目标噪音的步骤,之前包括:
当接收到测试请求时,获取基于所述测试请求确定的目标设备和音频播放设备;
根据所述测试请求中的测试角度和测试距离,确定所述目标设备和所述音频播放设备的安放位置;
当所述测试请求对应的环境噪音值小于预设阈值时,生成测试指令。
可选地,所述根据所述目标语音集合,确定目标噪音的步骤包括:
获取所述目标语音集合中目标语音的语音类型,其中,所述语音类型包括唤醒语音和命令语音;
若所述目标语音的语音类型为所述唤醒语音,则确定目标噪音为外部噪音;
若所述目标语音的语音类型为所述命令语音,则确定所述目标噪音包括所述外部噪音和内部噪音。
可选地,所述播放所述目标噪音后,依次播放所述目标语音集合中的目标语音,获取所述目标语音的识别结果的步骤包括:
播放所述目标噪音后,依次播放所述目标语音集合中的目标语音,通过目标设备上的串口获取打印值和运行日志;
根据所述打印值和所述运行日志,确定所述目标语音的识别结果。
可选地,所述根据所述打印值和所述运行日志,确定所述目标语音的识别结果的步骤包括:
若所述目标语音的语音类型为唤醒语音,则判断运行日志中的关键字与所述目标语音是否匹配;
若所述关键字与所述目标语音匹配,则确定所述目标语音的识别结果为识别成功;
若所述目标语音的语音类型为命令语音,则获取与所述目标语音对应的目标文字,并判断打印值与所述目标文字是否匹配;
若所述打印值与所述目标文字匹配,则确定所述目标语音的识别结果为识别成功。
可选地,所述播放所述目标噪音,依次播放所述目标语音集合中的目标语音,获取所述目标语音的识别结果的步骤之后,包括:
若所述目标语音的识别结果为识别成功,则将所述目标语音计入识别成功语音集合,并输出所述识别成功语音集合;
若所述目标语音的识别结果为识别失败,则将所述目标语音计入识别失败语音集合,并输出所述识别失败语音集合;
若所述目标语音的识别结果为识别错误,则将所述目标语音计入误识别语音集合,并输出所述误识别语音集合。
可选地,所述根据所述目标语音集合中所有目标语音的识别结果,生成识别数据,并输出所述识别数据的步骤包括:
统计识别结果为识别成功的目标语音个数,计算目标语音集合的识别成功率;
统计识别结果为识别失败的目标语音个数,计算所述目标语音集合的识别失败率,统计识别结果为识别错误的目标语音个数,计算所述目标语音集合的误识别率;
将所述识别成功率、所述识别失败率和所述误识别率作为识别数据,输出所述识别数据。
此外,为实现上述目的,本发明还提供一种语音识别测试装置,所述语音识别测试装置包括:
获取模块,用于当接收到测试指令时,获取所述测试指令对应的目标语音集合,根据所述目标语音集合,确定目标噪音;
播放模块,用于播放所述目标噪音后,依次播放所述目标语音集合中的目标语音,获取所述目标语音的识别结果;
输出模块,用于根据所述目标语音集合中所有目标语音的识别结果,生成识别数据,并输出所述识别数据。
此外,为实现上述目的,本发明还提供一种语音识别测试设备,所述语音识别测试设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的语音识别测试程序,所述语音识别测试程序被所述处理器执行时实现如上述的语音识别测试方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有语音识别测试程序,所述语音识别测试程序被处理器执行时实现如上述的语音识别测试方法的步骤。
本发明实施例提出一种语音识别测试方法、装置、设备及可读存储介质。本发明实施例中当语音识别测试程序接收到测试指令时,将获取测试指令中附带的目标语音集合,其中,目标语音集合包含用于测试的激活词或命令语句,进而根据目标语音集合,确定目标噪音,其中,目标噪音用于模拟人机语音交互场景中的环境噪音,在播放目标噪音的环境下,依次播放目标语音集合中所有的激活词或者命令语句,每播放一个激活词或者命令语句,语音识别测试程序都将获取这个激活词或者命令语句的识别结果,其中,识别结果包括识别成功、识别失败和识别错误,目标语音集合中的激活词或者命令语句全部播放完毕后,根据获取的所有激活词或者命令语句的识别结果,生成识别数据并输出,其中,识别数据包括识别成功率、识别失败率和误识别率,因为整个语音识别测试过程都是语音识别测试程序控制的自动过程,所以节省了人力,整个语音识别测试过程可连续进行,相比人力也缩短了测试周期,且语音识别测试程序会将所有的测试结果整理成识别数据并输出,相较于人力可能出现的漏记等问题来说,语音识别测试更准确。
附图说明
图1为本发明实施例提供的语音识别测试设备一种实施方式的硬件结构示意图;
图2为本发明语音识别测试方法第一实施例的流程示意图;
图3为本发明语音识别测试方法第二实施例的流程示意图;
图4为本发明语音识别测试方法第三实施例的流程示意图;
图5为本发明语音识别测试方法第四实施例的流程示意图;
图6为本发明语音识别测试方法第五实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
本发明实施例语音识别测试终端(又叫终端、设备或者终端设备)可以是智能电视,也可以是智能手机、智能音箱、个人电脑和智能机器人等具有人机语音交互功能的终端设备。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,终端还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及语音识别测试程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的语音识别测试程序,所述语音识别测试程序被处理器执行时实现下述实施例提供的语音识别测试方法中的操作。
基于上述设备硬件结构,提出了本发明语音识别测试方法的实施例。
参照图2,在本发明语音识别测试方法的第一实施例中,所述语音识别测试方法包括:
步骤S10,当接收到测试指令时,获取所述测试指令对应的目标语音集合,根据所述目标语音集合,确定目标噪音。
本实施例中语音识别测试方法应用于语音识别测试设备,其中,语音识别设备包括:智能电视、智能手机、和智能机器人等具有语音识别功能的目标设备,还包括计算机、声卡和音响等具有语音播放功能或者数据处理功能的辅助测试设备。本实施例中测试指令是指,所有语音测试设备就绪后,语音识别测试程序生成的指令。目标语音集合是指,一段包含很多条目标语音的音频文件,其中,目标语音是用来做识别测试的语音,包括命令词或命令语句。本实施例中目标噪音是指,为了使语音识别测试更加符合实际应用中处于噪音环境的场景而设的必要噪音干扰。其中,目标噪音包括外部噪音和内部噪音两种,外部噪音由语音识别测试设备中的音响发出,内部噪音由待测试的具有语音识别功能的设备发出。可知地,本实施例中待测试的具有语音识别功能的设备以智能电视举例说明,在实际应用场景中,对电视发出命令语句时,电视处于使用状态,电视内播放的声音便成了影响语音识别的内部噪音,为使语音识别测试更符合实际应用,这里引入内部噪音,通过在做语音测试时电视播放预设音乐来模拟电视的使用状态,来使语音识别测试更符合实际应用场景。
步骤S20,播放所述目标噪音后,依次播放所述目标语音集合中的目标语音,获取所述目标语音的识别结果。
本实施例中目标语音是指,用来做语音识别测试的语音样本,包括命令词和命令语句,例如,“开机”,“查看今日天气”等。本实施例中的识别结果包括识别成功、识别失败和识别错误三种,本实施例以智能电视举例说明,假如,播放的目标语音是“查看今日天气”,若智能电视在接收到目标语音后,显示出今日天气界面,则该目标语音的识别结果为识别成功;若智能电视在接收到目标语音后,没有执行任何操作(即没有反应),则该目标语音的识别结果为识别失败;若智能电视在接收到目标语音后,显示出其他的不是今日天气的信息,则该目标语音的识别结果为识别错误。通过依次播放目标语音集合中所有的目标语音,并在每个目标语音播放完毕后,获取该目标语音的识别结果,进而在目标语音集合播放完毕后,统计所有的识别结果。
步骤S30,根据所述目标语音集合中所有目标语音的识别结果,生成识别数据,并输出所述识别数据。
本实施例中识别数据是指,反映目标语音集合的识别情况的数据,包括识别成功率、识别失败率和误识别率等数据,负责语音识别测试的相关人员可根据识别数据对设备的语音识别模块进行调试和改进。由于语音识别测试过程为语音识别测试程序控制的自动过程,且在语音识别测试完成后输出识别数据,这节省了测试人员的工作量,且与人工测试相比,测试结果更加准确,识别数据更可靠。
具体地,步骤S10之前的步骤,包括:
步骤a1,当接收到测试请求时,获取基于所述测试请求确定的目标设备和音频播放设备。
步骤a2,根据所述测试请求中的测试角度和测试距离,确定所述目标设备和所述音频播放设备的安放位置。
步骤a3,当所述测试请求对应的环境噪音值小于预设阈值时,生成测试指令。
本实施例中测试请求是指,用于测试的设备准备完毕后,生成的用于确定测试可以进行的请求,目标设备是指,需要测试语音识别功能的设备,包括智能电视和智能音箱等,本实施例以智能电视举例说明。本实施例中音频播放设备是指用于播放目标噪音的设备,可以为音箱。环境噪音是指,不是由本实施例中的设备产生的自然噪音。
当目标设备和音频播放设备准备就绪后,语音识别测试程序将接收到测试请求,进而通过获取测试请求中的测试角度和测试距离,来确定目标设备和音频播放设备的安放位置,可知地,语音识别测试中所用的目标语音为模拟人声,根据实际应用场景,用户可在离目标设备一定距离,且面向方向与待测设备朝向之间有一定夹角时说出激活词或者命令语句。所以,本实施例中的测试角度即是指,音频播放设备的发音朝向与目标设备的收音朝向之间的夹角,测试角度可为任意角度,本实施例不做限制。本实施例中的测试距离即是指,音频播放设备与目标设备之间的距离,测试距离理论上可为任意角度,但考虑实际情况,这里的测试距离不应太长,本实施例不做限制。
目标设备和音频播放设备的安放位置被确定,且安放完成后,在测试开始前,还需要对环境噪音进行检测。可知地,对语音识别的测试应保持无关因素(即环境噪音)在没有影响的范围内,即环境噪音值小于预设阈值,当环境噪音小于预设阈值时,语音识别测试就可以开始了。
在本发明实施例中当语音识别测试程序接收到测试指令时,将获取测试指令中附带的目标语音集合,其中,目标语音集合包含用于测试的激活词或命令语句,进而根据目标语音集合,确定目标噪音,其中,目标噪音用于模拟人机语音交互场景中的环境噪音,在播放噪音的环境下,依次播放目标语音集合中所有的激活词或者命令语句,每播放一个激活词或者命令语句,语音识别测试程序都将获取这个激活词或者命令语句的识别结果,其中,识别结果包括识别成功、识别失败和识别错误,目标语音集合中的激活词或者命令语句全部播放完毕后,根据获取的所有激活词或者命令语句的识别结果,生成识别数据并输出,其中,识别数据包括识别成功率、识别失败率和误识别率,因为整个语音识别测试过程都是语音识别测试程序控制的自动过程,所以节省了人力,整个语音识别测试过程可连续进行,相比人力也缩短了测试周期,且语音识别测试程序会将所有的测试结果整理成识别数据并输出,相较于人力可能出现的漏记等问题来说,语音识别测试更准确。
进一步地,参照图3,在本发明上述实施例的基础上,提出了本发明语音识别测试方法的第二实施例。
本实施例是第一实施例中步骤S10细化的步骤,本实施例与本发明上述实施例的区别在于:
步骤S11,获取所述目标语音集合中目标语音的语音类型,其中,所述语音类型包括唤醒语音和命令语音。
步骤S12,若所述目标语音的语音类型为所述唤醒语音,则确定目标噪音为外部噪音。
步骤S13,若所述目标语音的语音类型为所述命令语音,则确定所述目标噪音包括所述外部噪音和内部噪音。
本实施例中具有语音识别功能的目标设备以智能电视举例说明。本实施例中语音类型是指,从语音识别测试的实际情况对目标语音进行的分类,包括唤醒语音,例如,“开机”和“打开电视”等命令词(又可以叫唤醒词),还包括命令语音,例如,“播放湖南卫视”和“下午三点关机”等命令语句。本实施例中外部噪音是指,模拟实际应用时可能出现的外部噪音干扰而在语音识别测试时用外部音响播放的噪音,而内部噪音是指,模拟实际应用时智能电视内部噪音干扰而在语音识别测试时用智能电视播放的噪音。本实施例中唤醒语音是指,可以使智能电视从待机状态到开机状态的语音,命令语音是指,可以使电视做出相关操作的语音,可知地,用户对智能电视说出“开机”等唤醒语音时,智能电视应是处于待机状态的,即,不存在电视播放其他声音的情况,也就是说不存在内部噪音,通过获取目标语音集合中目标语音的语音类型,可确定目标噪音是外部噪音,还是包括外部噪音和内部噪音。
在本实施例中通过获取目标语音集合中目标语音的语音类型,确定目标噪音是外部噪音,还是包括外部噪音和内部噪音,更加符合语音识别时的实际应用场景。
进一步地,参照图4,在本发明上述实施例的基础上,提出了本发明语音识别测试方法的第三实施例。
本实施例是第一实施例中步骤S20细化的步骤,本实施例与本发明上述实施例的区别在于:
步骤S21,播放所述目标噪音后,依次播放所述目标语音集合中的目标语音,通过目标设备上的串口获取打印值和运行日志。
步骤S22,根据所述打印值和所述运行日志,确定所述目标语音的识别结果。
本实施例中具有语音识别功能的目标设备以智能电视举例说明。本实施例中串口是指,智能电视上的串口,该串口可与电脑连接,且电脑可通过预设程序从预设串口获取智能电视的运行数据,其中,运行数据包括打印值和运行日志。本实施例中打印值是指,智能电视在接收到语音后将语音转换成的文字,而运行日志是指,记录智能电视在运行时产生的各种信息,包括错误信息(发生错误的时间和错误类型等)和状态信息(开机、待机和外部通信等)等。与智能电视预设串口相连的电脑通过预设串口获取智能电视在接收到目标语音后产生的打印值和运行日志,进而根据打印值和运行日志,确定目标语音的识别结果。具体地,怎么根据打印值和运行日志确定目标语音的识别结果,以下步骤将详述。
具体地,步骤S25细化的步骤,包括:
步骤b1,若所述目标语音的语音类型为唤醒语音,则判断运行日志中的关键字与所述目标语音是否匹配。
步骤b2,若所述关键字与所述目标语音匹配,则确定所述目标语音的识别结果为识别成功。
步骤b3,若所述目标语音的语音类型为命令语音,则获取与所述目标语音对应的目标文字,并判断打印值与所述目标文字是否匹配。
步骤b4,若所述打印值与所述目标文字匹配,则确定所述目标语音的识别结果为识别成功。
本实施例中关键字是指,运行日志中可以用来判断语音识别结果的信息,例如智能电视状态信息中的“turn on”或“turn off”。本实施例中目标文字是指,目标语音对应的文字信息,例如,目标语音“打开电视”对应的目标文字为打开电视。可知地,若播放的目标语音为唤醒语音,因为唤醒语音为命令词,只需要通过获取智能电视的运行日志即可确定识别结果,所以当目标语音为唤醒语音时,只需要判断运行日志中的关键字与目标语音是否匹配。若播放的目标语音为命令语音,因为唤醒语音为命令语句,只需要通过获取智能电视的打印值和目标语音对应的目标文字即可确定识别结果,所以当目标语音为命令语音时,只需要判断打印值与目标文字是否匹配。
本实施例给出一种具体应用场景,若播放的目标语音为“开机”,即播放的目标语音为唤醒语音,这时,与智能电视相连的电脑获取目标语音播放后智能电视的运行日志,并查找状态信息中的关键字,若查找到的关键字为turn on(开机)等表示开机状态的字段,则确定关键字turn on与目标语音“开机”匹配,若查找到的关键字不是turn on等表示开机状态的字段,则确定查找到的关键字与目标语音“开机”不匹配。若播放的目标语音为“下午三点关机”,即播放的目标语音为命令语音,该目标语音对应的目标文字为下午三点关机,这时,与智能电视相连的电脑获取目标语音播放后智能电视的打印值,若获取的打印值为下午三点关机,则确定打印值下午三点关机与目标文字下午三点关机匹配,若获取的打印值为下午四点关机或者上午三点关机等,则确定打印值与目标文字不匹配。可知地,匹配对应的识别结果为识别成功,不匹配对应的识别结果为识别失败或识别错误,具体地,可通过获取打印值和目标文字,并判断打印值与目标文字的是否匹配,来确定识别失败或识别错误。
在本实施例中通过获取打印值和运行日志,并判断运行日志中的关键字与目标语音是否匹配,打印值与目标文字是否匹配,来确定目标语音的识别结果,给出了确定目标语音识别结果的方法。
进一步地,参照图5,在本发明上述实施例的基础上,提出了本发明语音识别测试方法的第四实施例。
本实施例是第一实施例中步骤S20之后的步骤,本实施例与本发明上述实施例的区别在于:
步骤S40,若所述目标语音的识别结果为识别成功,则将所述目标语音计入识别成功语音集合,并输出所述识别成功语音集合。
步骤S50,若所述目标语音的识别结果为识别失败,则将所述目标语音计入识别失败语音集合,并输出所述识别失败语音集合。
步骤S60,若所述目标语音的识别结果为识别错误,则将所述目标语音计入误识别语音集合,并输出所述误识别语音集合。
本实施例中可识别语音集合是指,用于存放识别结果为识别成功的目标语音的集合,该集合为预设集合,作用为方便测试人员查看识别数据,与可识别语音集合相同的是,不可识别语音集合和误识别语音集合均为预设集合,且作用也均为方便测试人员查看识别数据,与可识别语音集合不同的是,不可识别语音集合用于存放识别结果为识别失败的目标语音的集合,误识别语音集合用于存放识别结果为识别错误的目标语音的集合。可以将这些语音集合以文件的形式输出,以方便测试人员查看。
在本实施例中当目标语音集合中的目标语音播放完毕,且获取了所有目标语音的识别结果后,将目标语音以识别结果来区分存放并输出,更方便相关测试人员查看。
进一步地,参照图6,在本发明上述实施例的基础上,提出了本发明语音识别测试方法的第五实施例。
本实施例是第一实施例中步骤S30细化的步骤,本实施例与本发明上述实施例的区别在于:
步骤S31,统计识别结果为识别成功的目标语音个数,计算目标语音集合的识别成功率。
步骤S32,统计识别结果为识别失败的目标语音个数,计算所述目标语音集合的识别失败率,统计识别结果为识别错误的目标语音个数,计算所述目标语音集合的误识别率。
步骤S33,将所述识别成功率、所述识别失败率和所述误识别率作为识别数据,输出所述识别数据。
本实施例给出一种具体应用场景,若目标语音集合内有1000条目标语音,经统计每条目标语音的识别结果后,确定识别成功的目标语音为887条,而识别失败的目标语音为60条,识别错误的目标语音为53条,则可计算目标语音集合的识别成功率为88.7%,识别失败率为6%,误识别率为5.3%。可知地,通过这些识别数据可以得知具有语音识别功能的测试设备(例如,电视)的语音识别效果,并在这些数据不达标时,调试测试设备的语音识别模块,还可输出识别失败的目标语音和识别错误的目标语音,以供相关测试人员分析。
在本实施例中通过获取每条目标语音的识别结果,进而计算识别数据,并输出识别数据,以供相关测试人员分析。
本发明实施例还提出一种语音识别测试装置,所述语音识别测试装置包括:
获取模块,用于当接收到测试指令时,获取所述测试指令对应的目标语音集合,根据所述目标语音集合,确定目标噪音;
播放模块,用于播放所述目标噪音后,依次播放所述目标语音集合中的目标语音,获取所述目标语音的识别结果;
输出模块,用于根据所述目标语音集合中所有目标语音的识别结果,生成识别数据,并输出所述识别数据。
可选地,所述语音识别测试装置,还包括:
第一获取单元,用于当接收到测试请求时,获取基于所述测试请求确定的目标设备和音频播放设备;
定位单元,用于根据所述测试请求中的测试角度和测试距离,确定所述目标设备和所述音频播放设备的安放位置;
生成单元,用于当所述测试请求对应的环境噪音值小于预设阈值时,生成测试指令。
可选地,所述获取模块包括:
第二获取单元,用于获取所述目标语音集合中目标语音的语音类型,其中,所述语音类型包括唤醒语音和命令语音;
第一确定单元,用于若所述目标语音的语音类型为所述唤醒语音,则确定目标噪音为外部噪音;
第二确定单元,用于若所述目标语音的语音类型为所述命令语音,则确定所述目标噪音包括所述外部噪音和内部噪音。
可选地,所述播放模块包括:
播放单元,用于播放所述目标噪音后,依次播放所述目标语音集合中的目标语音,通过目标设备上的串口获取打印值和运行日志;
第三确定单元,用于根据所述打印值和所述运行日志,确定所述目标语音的识别结果。
可选地,所述第三确定单元包括:
第一判断单元,用于若所述目标语音的语音类型为唤醒语音,则判断运行日志中的关键字与所述目标语音是否匹配;
第四确定单元,用于若所述关键字与所述目标语音匹配,则确定所述目标语音的识别结果为识别成功;
第二判断单元,用于若所述目标语音的语音类型为命令语音,则获取与所述目标语音对应的目标文字,并判断打印值与所述目标文字是否匹配;
第五确定单元,用于若所述打印值与所述目标文字匹配,则确定所述目标语音的识别结果为识别成功。
可选地,所述语音识别测试装置,还包括:
第一计算单元,用于若所述目标语音的识别结果为识别成功,则将所述目标语音计入识别成功语音集合,并输出所述识别成功语音集合;
第一输出单元,用于若所述目标语音的识别结果为识别失败,则将所述目标语音计入识别失败语音集合,并输出所述识别失败语音集合;
第二输出单元,用于若所述目标语音的识别结果为识别错误,则将所述目标语音计入误识别语音集合,并输出所述误识别语音集合。
可选地,所述输出模块包括:
第二计算单元,用于统计识别结果为识别成功的目标语音个数,计算目标语音集合的识别成功率;
第三计算单元,用于统计识别结果为识别失败的目标语音个数,计算所述目标语音集合的识别失败率,统计识别结果为识别错误的目标语音个数,计算所述目标语音集合的误识别率;
第三输出单元,用于将所述识别成功率、所述识别失败率和所述误识别率作为识别数据,输出所述识别数据。
上述各程序模块所执行的方法可参照本发明方法各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件商品的形式体现出来,该计算机软件商品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机和平板电脑等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种语音识别测试方法,其特征在于,所述语音识别测试方法包括以下步骤:
当接收到测试指令时,获取所述测试指令对应的目标语音集合,根据所述目标语音集合,确定目标噪音;
播放所述目标噪音后,依次播放所述目标语音集合中的目标语音,获取所述目标语音的识别结果;
根据所述目标语音集合中所有目标语音的识别结果,生成识别数据,并输出所述识别数据。
2.如权利要求1所述的语音识别测试方法,其特征在于,所述当接收到测试指令时,获取所述测试指令对应的目标语音集合,根据所述目标语音集合,确定目标噪音的步骤,之前包括:
当接收到测试请求时,获取基于所述测试请求确定的目标设备和音频播放设备;
根据所述测试请求中的测试角度和测试距离,确定所述目标设备和所述音频播放设备的安放位置;
当所述测试请求对应的环境噪音值小于预设阈值时,生成测试指令。
3.如权利要求1所述的语音识别测试方法,其特征在于,所述根据所述目标语音集合,确定目标噪音的步骤包括:
获取所述目标语音集合中目标语音的语音类型,其中,所述语音类型包括唤醒语音和命令语音;
若所述目标语音的语音类型为所述唤醒语音,则确定目标噪音为外部噪音;
若所述目标语音的语音类型为所述命令语音,则确定所述目标噪音包括所述外部噪音和内部噪音。
4.如权利要求1所述的语音识别测试方法,其特征在于,所述播放所述目标噪音后,依次播放所述目标语音集合中的目标语音,获取所述目标语音的识别结果的步骤包括:
播放所述目标噪音后,依次播放所述目标语音集合中的目标语音,通过目标设备上的串口获取打印值和运行日志;
根据所述打印值和所述运行日志,确定所述目标语音的识别结果。
5.如权利要求4所述的语音识别测试方法,其特征在于,所述根据所述打印值和所述运行日志,确定所述目标语音的识别结果的步骤包括:
若所述目标语音的语音类型为唤醒语音,则判断运行日志中的关键字与所述目标语音是否匹配;
若所述关键字与所述目标语音匹配,则确定所述目标语音的识别结果为识别成功;
若所述目标语音的语音类型为命令语音,则获取与所述目标语音对应的目标文字,并判断打印值与所述目标文字是否匹配;
若所述打印值与所述目标文字匹配,则确定所述目标语音的识别结果为识别成功。
6.如权利要求1所述的语音识别测试方法,其特征在于,所述播放所述目标噪音,依次播放所述目标语音集合中的目标语音,获取所述目标语音的识别结果的步骤之后,包括:
若所述目标语音的识别结果为识别成功,则将所述目标语音计入识别成功语音集合,并输出所述识别成功语音集合;
若所述目标语音的识别结果为识别失败,则将所述目标语音计入识别失败语音集合,并输出所述识别失败语音集合;
若所述目标语音的识别结果为识别错误,则将所述目标语音计入误识别语音集合,并输出所述误识别语音集合。
7.如权利要求1所述的语音识别测试方法,其特征在于,所述根据所述目标语音集合中所有目标语音的识别结果,生成识别数据,并输出所述识别数据的步骤包括:
统计识别结果为识别成功的目标语音个数,计算目标语音集合的识别成功率;
统计识别结果为识别失败的目标语音个数,计算所述目标语音集合的识别失败率,统计识别结果为识别错误的目标语音个数,计算所述目标语音集合的误识别率;
将所述识别成功率、所述识别失败率和所述误识别率作为识别数据,输出所述识别数据。
8.一种语音识别测试装置,其特征在于,所述语音识别测试装置包括:
获取模块,用于当接收到测试指令时,获取所述测试指令对应的目标语音集合,根据所述目标语音集合,确定目标噪音;
播放模块,用于播放所述目标噪音后,依次播放所述目标语音集合中的目标语音,获取所述目标语音的识别结果;
输出模块,用于根据所述目标语音集合中所有目标语音的识别结果,生成识别数据,并输出所述识别数据。
9.一种语音识别测试设备,其特征在于,所述语音识别测试设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的语音识别测试程序,所述语音识别测试程序被所述处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有语音识别测试程序,所述语音识别测试程序被处理器执行时实现如权利要求1至7中任一项所述的语音识别测试方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911425641.0A CN111179907A (zh) | 2019-12-31 | 2019-12-31 | 语音识别测试方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911425641.0A CN111179907A (zh) | 2019-12-31 | 2019-12-31 | 语音识别测试方法、装置、设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111179907A true CN111179907A (zh) | 2020-05-19 |
Family
ID=70650715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911425641.0A Pending CN111179907A (zh) | 2019-12-31 | 2019-12-31 | 语音识别测试方法、装置、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111179907A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113140217A (zh) * | 2021-04-08 | 2021-07-20 | 青岛歌尔智能传感器有限公司 | 语音指令测试方法、测试装置及可读存储介质 |
WO2021232710A1 (zh) * | 2020-05-20 | 2021-11-25 | 思必驰科技股份有限公司 | 用于全双工语音交互***的测试方法及装置 |
CN114024872A (zh) * | 2020-07-17 | 2022-02-08 | 北京奇虎科技有限公司 | 语音语义平台异常报警方法、设备、存储介质及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101354887A (zh) * | 2007-07-25 | 2009-01-28 | 通用汽车公司 | 用在语音识别中的环境噪声注入 |
CN108597494A (zh) * | 2018-03-07 | 2018-09-28 | 珠海格力电器股份有限公司 | 语音测试方法及装置 |
CN108806688A (zh) * | 2018-07-16 | 2018-11-13 | 深圳Tcl数字技术有限公司 | 智能电视的语音控制方法、智能电视、***及存储介质 |
KR20180127100A (ko) * | 2017-05-19 | 2018-11-28 | 엘지전자 주식회사 | 홈 어플라이언스 및 음성 인식 서버 시스템의 동작 방법 |
US20180342236A1 (en) * | 2016-10-11 | 2018-11-29 | Mediazen, Inc. | Automatic multi-performance evaluation system for hybrid speech recognition |
CN109192193A (zh) * | 2018-08-14 | 2019-01-11 | 四川虹美智能科技有限公司 | 一种语音识别产品测试方法和测试装置 |
CN109410975A (zh) * | 2018-10-31 | 2019-03-01 | 歌尔科技有限公司 | 一种语音降噪方法、设备及存储介质 |
US20190371322A1 (en) * | 2018-05-31 | 2019-12-05 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus and system for testing intelligent voice device |
-
2019
- 2019-12-31 CN CN201911425641.0A patent/CN111179907A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101354887A (zh) * | 2007-07-25 | 2009-01-28 | 通用汽车公司 | 用在语音识别中的环境噪声注入 |
US20180342236A1 (en) * | 2016-10-11 | 2018-11-29 | Mediazen, Inc. | Automatic multi-performance evaluation system for hybrid speech recognition |
KR20180127100A (ko) * | 2017-05-19 | 2018-11-28 | 엘지전자 주식회사 | 홈 어플라이언스 및 음성 인식 서버 시스템의 동작 방법 |
CN108597494A (zh) * | 2018-03-07 | 2018-09-28 | 珠海格力电器股份有限公司 | 语音测试方法及装置 |
US20190371322A1 (en) * | 2018-05-31 | 2019-12-05 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus and system for testing intelligent voice device |
CN108806688A (zh) * | 2018-07-16 | 2018-11-13 | 深圳Tcl数字技术有限公司 | 智能电视的语音控制方法、智能电视、***及存储介质 |
CN109192193A (zh) * | 2018-08-14 | 2019-01-11 | 四川虹美智能科技有限公司 | 一种语音识别产品测试方法和测试装置 |
CN109410975A (zh) * | 2018-10-31 | 2019-03-01 | 歌尔科技有限公司 | 一种语音降噪方法、设备及存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021232710A1 (zh) * | 2020-05-20 | 2021-11-25 | 思必驰科技股份有限公司 | 用于全双工语音交互***的测试方法及装置 |
EP4156175A4 (en) * | 2020-05-20 | 2023-10-18 | Ai Speech Co., Ltd. | TESTING METHOD AND APPARATUS FOR FULL DUPLEX VOICE INTERACTION SYSTEM |
CN114024872A (zh) * | 2020-07-17 | 2022-02-08 | 北京奇虎科技有限公司 | 语音语义平台异常报警方法、设备、存储介质及装置 |
CN113140217A (zh) * | 2021-04-08 | 2021-07-20 | 青岛歌尔智能传感器有限公司 | 语音指令测试方法、测试装置及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109003602B (zh) | 语音产品的测试方法、装置、设备及计算机可读介质 | |
US9841826B2 (en) | Automatic test system and test method for computer, record medium, and program product | |
CN111179907A (zh) | 语音识别测试方法、装置、设备及计算机可读存储介质 | |
CN110188044B (zh) | 软件错误的处理方法、装置、存储介质以及设备 | |
CN109326305B (zh) | 一种批量测试语音识别和文本合成的方法和测试*** | |
CN108073495B (zh) | 应用程序崩溃原因的定位方法及装置 | |
CN111724782A (zh) | 一种车载语音交互***的响应时间测试***、方法及设备 | |
CN109637536B (zh) | 一种自动化识别语义准确性的方法及装置 | |
CN109885490B (zh) | 一种图片对比方法和装置 | |
CN111081241B (zh) | 设备误唤醒的数据检测方法、装置、移动终端和存储介质 | |
CN111724781B (zh) | 音频数据的存储方法、装置、终端及存储介质 | |
CN109215640B (zh) | 语音识别方法、智能终端及计算机可读存储介质 | |
CN110942768A (zh) | 设备唤醒的测试方法、装置、移动终端和存储介质 | |
CN110827825A (zh) | 语音识别文本的标点预测方法、***、终端及存储介质 | |
CN111326154B (zh) | 语音交互的方法、装置、存储介质及电子设备 | |
CN110320378B (zh) | 质控测试申请方法、装置、设备及计算机可读存储介质 | |
CN109616106A (zh) | 车载控制屏语音识别过程测试方法、电子设备、*** | |
CN106776301B (zh) | 子元素测试方法及装置 | |
CN109726121B (zh) | 一种验证码获取方法和终端设备 | |
CN110830791A (zh) | 一种电视整机软件功能的自动测试方法、装置及*** | |
CN112416775B (zh) | 基于人工智能的软件自动化测试方法、装置及电子设备 | |
CN110069407B (zh) | 一种应用程序的功能测试方法和装置 | |
CN109857646A (zh) | 一种自动化测试方法和装置 | |
CN113220590A (zh) | 语音交互应用的自动化测试方法、装置、设备及介质 | |
CN110825637A (zh) | 一种机器人测试方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |