CN106205604A - 一种应用端语音识别评测***及评测方法 - Google Patents
一种应用端语音识别评测***及评测方法 Download PDFInfo
- Publication number
- CN106205604A CN106205604A CN201610524978.7A CN201610524978A CN106205604A CN 106205604 A CN106205604 A CN 106205604A CN 201610524978 A CN201610524978 A CN 201610524978A CN 106205604 A CN106205604 A CN 106205604A
- Authority
- CN
- China
- Prior art keywords
- speech recognition
- application end
- evaluation result
- data base
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000011156 evaluation Methods 0.000 claims abstract description 79
- 238000012360 testing method Methods 0.000 claims abstract description 29
- 238000013461 design Methods 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Stored Programmes (AREA)
- Electrically Operated Instructional Devices (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种应用端语音识别评测***及评测方法,其中评测***包括数据库模块,评测模块,评测结果分析模块;数据库模块包括根据语音识别引擎及应用端的设计要求建立的语音识别文本段数据库,用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库;通过将预先建立的语音识别文本段数据库内容导入应用端被测软件,并将应用端被测软件输出结果与预先建立的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库内容进行比对得到评测结果,减少了评测人员的工作量,克服了外部环境及评测人员口音等因素对评测结果的影响,提高了评测结果的可靠性。
Description
技术领域
本发明涉及语音识别技术领域,具体涉及一种应用端语音识别评测***及评测方法。
背景技术
随着语音识别技术的发展,越来越多的软件集成了语音识别功能,为用户提供了非常人性化的软件体验,利用语音识别技术控制的功能需求也越来越多样化,使语音识别应用端的评测工作量增大,评测难度增加,现有技术中语音识别应用端的评测方法主要由以下步骤组成:
①评测人员通过麦克风向应用端被测软件输入具体的语音指令;
②评测人员通过观察应用端被测软件显示的图像或听软件输出的声音等,判断应用端被测软件针对该具体语音指令的表现是否符合被测软件既定的需求;
③将被测软件表现及评测结果记录到评测报告中。
在以上的评测方法中,存在以下影响应用端被测软件验证的因素:
①评测人员通过麦克风输入具体语音指令,容易受到周围环境及评测人员口音等因素的影响,导致应用端被测软件接收到的语音指令具有不稳定性;
②大量语音指令通过人工方式输入应用端被测软件,容易造成评测人员工作量大,从而使评测质量降低;
③评测人员通过麦克风输入的具体语音指令须经过语音识别引擎的识别处理,再到应用端被测软件,使该语音指令不全由应用端被测软件处理,容易使应用端被测软件的评测结果产生一定误差。
以上因素都会使应用端被测软件的语音识别评测结果造成不同程度的影响,另外,还存在其他各种外部因素也可能影响评测结果的可靠性,造成无法把握被测软件利用语音识别技术控制的相关功能的质量。
发明内容
本发明提供一种应用端语音识别评测***及评测方法,极大的减少了评测人员的工作量,提高了应用端被测软件语音识别评测结果的可靠性。
为了解决上述技术问题,本发明所采取的技术方案为:
本发明一方面提供一种应用端语音识别评测***,包括数据库模块,评测模块,评测结果分析模块;
数据库模块:包括根据语音识别引擎及应用端的设计要求建立的语音识别文本段数据库,用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库;
评测模块:用于将需要评测的语音识别文本段从语音识别文本段数据库中导入应用端的被测软件中;
评测结果分析模块:利用语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库评测应用端输出的文字和语音提示文本段,并得到评测结果。
进一步地,所述数据库模块中的语音识别文本段、语音识别输出文本结果特征、语音识别输出语音结果特征按相应格式存入相应数据库中。
又进一步地,所述评测结果可以是应用端被测软件的自动截图或录制的视频。
本发明另一方面提供一种应用端语音识别评测方法,包括
S1:根据语音识别引擎及应用端的设计要求建立语音识别文本段数据库,建立用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库;
S2:将需要评测的语音识别文本段从语音识别文本段数据库中导入应用端的被测软件中;
S3:应用端的被测软件根据导入的需要评测的语音识别文本段生成有效应用指令;
S4:应用端的被测软件根据生成的有效应用指令执行相应的软件功能动作;
S5:利用S1建立的用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库的内容评测应用端的被测软件输出的文字和语音提示文本段,并自动生成截图或录制视频,得到各有效应用指令的评测结果;
S6:人工抽查评测结果;
S7:输出最终评测结果。
进一步地,步骤S6中所述的人工抽查评测结果,评测人员须观察应用端被测软件输出的实际功能画面特征,评判评测结果是否符合被测软件既定的需求,所述评测结果如不符合评测标准,需进行修正,并输出最终评测结果。
本发明提供的一种应用端语音识别评测***及评测方法,通过将预先建立的语音识别文本段数据库内容导入应用端被测软件,并将应用端被测软件输出结果与预先建立的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库内容进行比对得到评测结果,减少了评测人员的工作量,克服了外部环境及评测人员口音等因素对评测结果的影响,提高了评测结果的可靠性。
附图说明
图1是本发明一种应用端语音识别评测***结构示意图;
图2是本发明一种应用端语音识别评测方法流程示意图;
图3是本发明语音识别文本段数据库格式示例图;
图4是本发明语音识别输出文本结果特征数据库格式示例图;
图5是本发明语音识别输出语音结果特征数据库格式示例图。
具体实施方式
下面结合附图具体阐明本发明的实施方式,附图仅供参考和说明使用,不构成对本发明专利保护范围的限制。
如图1所示,本实施例提供一种应用端语音识别评测***,包括数据库模块,评测模块,评测结果分析模块;
数据库模块:包括根据语音识别引擎及应用端的设计要求建立的语音识别文本段数据库,用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库;
评测模块:用于将需要评测的语音识别文本段从语音识别文本段数据库中导入应用端的被测软件中;
评测结果分析模块:利用语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库评测应用端输出的文字和语音提示文本段,并得到评测结果。
本实施例中,所述数据库模块中的语音识别文本段、语音识别输出文本结果特征、语音识别输出语音结果特征按相应格式存入相应数据库中。
本实施例中,所述评测结果可以是应用端被测软件的自动截图或录制的视频。
如图2所示,本实施例另一方面提供一种应用端语音识别评测方法,包括
S1:根据语音识别引擎及应用端的设计要求建立语音识别文本段数据库,建立用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库;
其中,语音识别文本段数据库由命令词及其相关字段内容组成。例如“打开FM”语音指令中,命令词为“打开FM”,包含但不仅限于下述字段如“action:launch”、“objectname→fm”等;格式示例如图3所示;语音识别输出文本结果特征数据库格式示例如图4所示;语音识别输出语音结果特征数据库格式示例如图5所示;
S2:将需要评测的语音识别文本段从语音识别文本段数据库中导入应用端的被测软件中;
S3:应用端的被测软件根据导入的需要评测的语音识别文本段生成有效应用指令;
S4:应用端的被测软件根据生成的有效应用指令执行相应的软件功能动作;
S5:利用S1建立的用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库的内容评测应用端的被测软件输出的文字和语音提示文本段,并自动生成截图或录制视频,得到各有效应用指令的评测结果;
S6:人工抽查评测结果:评测人员须观察应用端被测软件输出的实际功能画面特征,评判评测结果是否符合被测软件既定的需求,所述评测结果如不符合评测标准,需进行修正;
S7:修正完成后,输出最终评测结果。
本发明提供的一种应用端语音识别评测***及评测方法,通过将预先建立的语音识别文本段数据库内容导入应用端被测软件,并将应用端被测软件输出结果与预先建立的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库内容进行比对得到评测结果,只需评测人员对该评测结果进行抽查并修正即可得到最终的评测结果,极大的减少了评测人员的工作量,减少了评测人员因工作量大而产生的评测失误,克服了外部环境因素及评测人员口音等因素对评测结果的影响,还降低了现有技术中评测人员通过麦克风输入具体语音指令须经过语音识别引擎的识别处理,再到应用端被测软件,使该语音指令不全由应用端被测软件处理,造成的使应用端被测软件评测结果产生误差,提高了评测结果的可靠性。
以上所揭露的仅为本发明的较佳实施例,不能以此来限定本发明的权利保护范围,因此依本发明申请专利范围所作的等同变化,仍属本发明所涵盖的范围。
Claims (5)
1.一种应用端语音识别评测***,其特征在于:包括数据库模块,评测模块,评测结果分析模块;
数据库模块:包括根据语音识别引擎及应用端的设计要求建立的语音识别文本段数据库,用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库;
评测模块:用于将需要评测的语音识别文本段从语音识别文本段数据库中导入应用端的被测软件中;
评测结果分析模块:利用语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库评测应用端输出的文字和语音提示文本段,并得到评测结果。
2.如权利要求1所述的一种应用端语音识别评测***,其特征在于:所述数据库模块中的语音识别文本段、语音识别输出文本结果特征、音识别输出语音结果特征按相应格式存入相应数据库中。
3.如权利要求1所述的一种应用端语音识别评测***,其特征在于:所述评测结果可以是应用端被测软件的自动截图或录制的视频。
4.一种应用端语音识别评测方法,其特征在于:包括
S1:根据语音识别引擎及应用端的设计要求建立语音识别文本段数据库,建立用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库;
S2:将需要评测的语音识别文本段从语音识别文本段数据库中导入应用端的被测软件中;
S3:应用端的被测软件根据导入的需要评测的语音识别文本段生成有效应用指令;
S4:应用端的被测软件根据生成的有效应用指令执行相应的软件功能动作;
S5:利用S1建立的用于比对评测结果的语音识别输出文本结果特征数据库和语音识别输出语音结果特征数据库的内容评测应用端的被测软件输出的文字和语音提示文本段,并自动生成截图或录制视频,得到各有效应用指令的评测结果;
S6:人工抽查评测结果;
S7:输出最终评测结果。
5.如权利要求4所述的一种应用端语音识别评测方法,其特征在于:
步骤S6中所述的人工抽查评测结果,评测人员须观察应用端被测软件输出的实际功能画面特征,评判评测结果是否符合被测软件既定的需求,所述评测结果如不符合评测标准,需进行修正,并输出最终评测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610524978.7A CN106205604B (zh) | 2016-07-05 | 2016-07-05 | 一种应用端语音识别评测***及评测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610524978.7A CN106205604B (zh) | 2016-07-05 | 2016-07-05 | 一种应用端语音识别评测***及评测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106205604A true CN106205604A (zh) | 2016-12-07 |
CN106205604B CN106205604B (zh) | 2020-07-07 |
Family
ID=57464884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610524978.7A Active CN106205604B (zh) | 2016-07-05 | 2016-07-05 | 一种应用端语音识别评测***及评测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106205604B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108899012A (zh) * | 2018-07-27 | 2018-11-27 | 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) | 语音交互设备评测方法、***、计算机设备和存储介质 |
CN108986786A (zh) * | 2018-07-27 | 2018-12-11 | 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) | 语音交互设备评级方法、***、计算机设备和存储介质 |
CN109119065A (zh) * | 2018-09-10 | 2019-01-01 | 四川长虹电器股份有限公司 | 用于智能语音产品的服务智商测试评分***及方法 |
CN110600006A (zh) * | 2019-10-29 | 2019-12-20 | 福建天晴数码有限公司 | 一种语音识别的评测方法及*** |
CN111242455A (zh) * | 2020-01-07 | 2020-06-05 | 北京百度网讯科技有限公司 | 电子地图语音功能的评测方法、装置、电子设备及存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101262681A (zh) * | 2008-04-16 | 2008-09-10 | 青岛海信移动通信技术股份有限公司 | 自动测试的移动终端及实现方法 |
CN101778307A (zh) * | 2010-02-05 | 2010-07-14 | 广东九联科技股份有限公司 | 机顶盒功能测试装置 |
CN102291595A (zh) * | 2011-07-08 | 2011-12-21 | 深圳创维数字技术股份有限公司 | 一种测试方法及装置 |
CN102421132A (zh) * | 2011-07-29 | 2012-04-18 | 展讯通信(上海)有限公司 | 移动终端的测试***、测试设备及测试方法 |
CN202385232U (zh) * | 2011-12-27 | 2012-08-15 | 上海全景数字技术有限公司 | 机顶盒自动化测试装置 |
US20120245919A1 (en) * | 2009-09-23 | 2012-09-27 | Nuance Communications, Inc. | Probabilistic Representation of Acoustic Segments |
CN102723080A (zh) * | 2012-06-25 | 2012-10-10 | 惠州市德赛西威汽车电子有限公司 | 一种语音识别测试***及方法 |
CN104135661A (zh) * | 2014-08-21 | 2014-11-05 | 太仓市同维电子有限公司 | 一种ott机顶盒的产品测试方法 |
CN104240700A (zh) * | 2014-08-26 | 2014-12-24 | 智歌科技(北京)有限公司 | 一种面向车载终端设备的全局语音交互方法及*** |
CN104538042A (zh) * | 2014-12-22 | 2015-04-22 | 南京声准科技有限公司 | 终端智能语音测试***和方法 |
CN105336342A (zh) * | 2015-11-17 | 2016-02-17 | 科大讯飞股份有限公司 | 语音识别结果评价方法及*** |
CN105593936A (zh) * | 2013-10-24 | 2016-05-18 | 宝马股份公司 | 用于文本转语音性能评价的***和方法 |
-
2016
- 2016-07-05 CN CN201610524978.7A patent/CN106205604B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101262681A (zh) * | 2008-04-16 | 2008-09-10 | 青岛海信移动通信技术股份有限公司 | 自动测试的移动终端及实现方法 |
US20120245919A1 (en) * | 2009-09-23 | 2012-09-27 | Nuance Communications, Inc. | Probabilistic Representation of Acoustic Segments |
CN101778307A (zh) * | 2010-02-05 | 2010-07-14 | 广东九联科技股份有限公司 | 机顶盒功能测试装置 |
CN102291595A (zh) * | 2011-07-08 | 2011-12-21 | 深圳创维数字技术股份有限公司 | 一种测试方法及装置 |
CN102421132A (zh) * | 2011-07-29 | 2012-04-18 | 展讯通信(上海)有限公司 | 移动终端的测试***、测试设备及测试方法 |
CN202385232U (zh) * | 2011-12-27 | 2012-08-15 | 上海全景数字技术有限公司 | 机顶盒自动化测试装置 |
CN102723080A (zh) * | 2012-06-25 | 2012-10-10 | 惠州市德赛西威汽车电子有限公司 | 一种语音识别测试***及方法 |
CN105593936A (zh) * | 2013-10-24 | 2016-05-18 | 宝马股份公司 | 用于文本转语音性能评价的***和方法 |
CN104135661A (zh) * | 2014-08-21 | 2014-11-05 | 太仓市同维电子有限公司 | 一种ott机顶盒的产品测试方法 |
CN104240700A (zh) * | 2014-08-26 | 2014-12-24 | 智歌科技(北京)有限公司 | 一种面向车载终端设备的全局语音交互方法及*** |
CN104538042A (zh) * | 2014-12-22 | 2015-04-22 | 南京声准科技有限公司 | 终端智能语音测试***和方法 |
CN105336342A (zh) * | 2015-11-17 | 2016-02-17 | 科大讯飞股份有限公司 | 语音识别结果评价方法及*** |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108899012A (zh) * | 2018-07-27 | 2018-11-27 | 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) | 语音交互设备评测方法、***、计算机设备和存储介质 |
CN108986786A (zh) * | 2018-07-27 | 2018-12-11 | 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) | 语音交互设备评级方法、***、计算机设备和存储介质 |
CN108899012B (zh) * | 2018-07-27 | 2021-04-20 | 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) | 语音交互设备评测方法、***、计算机设备和存储介质 |
CN109119065A (zh) * | 2018-09-10 | 2019-01-01 | 四川长虹电器股份有限公司 | 用于智能语音产品的服务智商测试评分***及方法 |
CN110600006A (zh) * | 2019-10-29 | 2019-12-20 | 福建天晴数码有限公司 | 一种语音识别的评测方法及*** |
CN110600006B (zh) * | 2019-10-29 | 2022-02-11 | 福建天晴数码有限公司 | 一种语音识别的评测方法及*** |
CN111242455A (zh) * | 2020-01-07 | 2020-06-05 | 北京百度网讯科技有限公司 | 电子地图语音功能的评测方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106205604B (zh) | 2020-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106205604A (zh) | 一种应用端语音识别评测***及评测方法 | |
CN108962282B (zh) | 语音检测分析方法、装置、计算机设备及存储介质 | |
KR20190026641A (ko) | 클레임 서류의 문자 인식 방법, 장치, 서버 및 저장매체 | |
JP6826205B2 (ja) | ハイブリッド音声認識複合性能自動評価システム | |
US9786277B2 (en) | System and method for eliciting open-ended natural language responses to questions to train natural language processors | |
CN112532897B (zh) | 视频剪辑方法、装置、设备及计算机可读存储介质 | |
US20130117855A1 (en) | Apparatus for automatically inspecting security of applications and method thereof | |
CN109360550A (zh) | 语音交互***的测试方法、装置、设备和存储介质 | |
WO2020155750A1 (zh) | 基于人工智能的语料收集方法、装置、设备及存储介质 | |
KR20160122452A (ko) | 비주얼 콘텐츠기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법 | |
CN110379410A (zh) | 语音响应速度自动分析方法及*** | |
CN111949255A (zh) | 基于语音的脚本编写方法、装置、设备及存储介质 | |
CN109947651B (zh) | 人工智能引擎优化方法和装置 | |
CN112671985A (zh) | 基于深度学习的坐席质检方法、装置、设备及存储介质 | |
CN109637536B (zh) | 一种自动化识别语义准确性的方法及装置 | |
Sapra et al. | Emotion recognition from speech | |
CN114186019A (zh) | 结合rpa和ai的企业项目的审核方法及装置 | |
CN110556098B (zh) | 语音识别结果测试方法、装置、计算机设备和介质 | |
CN111798838A (zh) | 一种提高语音识别准确率的方法、***、设备及存储介质 | |
KR20190065194A (ko) | 회의록 열람 문서 생성 방법 및 그 장치 | |
CN116975206B (zh) | 一种基于aigc大模型的垂直领域训练方法、装置及电子设备 | |
CN113705224A (zh) | 一种语音识别的调度业务语音交互方法及*** | |
CN114065720A (zh) | 会议纪要生成方法、装置、存储介质及电子设备 | |
Oliveira et al. | An Extensible Framework to Implement Test Oracle for Non-Testable Programs. | |
CN111627462A (zh) | 一种基于语义分析的情绪识别方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |