CN109448701A - 一种智能语音识别到语义理解的结果统计***及方法 - Google Patents
一种智能语音识别到语义理解的结果统计***及方法 Download PDFInfo
- Publication number
- CN109448701A CN109448701A CN201811090843.XA CN201811090843A CN109448701A CN 109448701 A CN109448701 A CN 109448701A CN 201811090843 A CN201811090843 A CN 201811090843A CN 109448701 A CN109448701 A CN 109448701A
- Authority
- CN
- China
- Prior art keywords
- result
- test
- text
- voice
- tested
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 104
- 230000004044 response Effects 0.000 claims abstract description 17
- 238000012986 modification Methods 0.000 claims description 21
- 230000004048 modification Effects 0.000 claims description 21
- 238000011156 evaluation Methods 0.000 claims description 14
- 238000007619 statistical method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 5
- 230000000052 comparative effect Effects 0.000 claims description 4
- 238000013095 identification testing Methods 0.000 claims description 4
- SBNFWQZLDJGRLK-UHFFFAOYSA-N phenothrin Chemical group CC1(C)C(C=C(C)C)C1C(=O)OCC1=CC=CC(OC=2C=CC=CC=2)=C1 SBNFWQZLDJGRLK-UHFFFAOYSA-N 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000002618 waking effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000004321 preservation Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种智能语音识别到语义理解的结果统计***和方法，***包括运行状态获取单元、测试语音选取单元、响应结果获取单元、测试语义获取单元和测试单元。采用本发明所述方案能够得出一个更贴近与语音内容的识别文本，进行对比后计算出语义服务的精准率，方便快捷且能够自动看到报告，大大提高了效率，把割裂的语音语义测试活动串在了一起。
Description
技术领域
本发明涉及计算机应用技术，具体涉及一种智能语音识别到语义理解的结果统计***及方法。
背景技术
随着语音识别技术的日益成熟，市场中正出现越来越多的智能家电、智能家居设备，这些智能设备基于语音识别技术，目前对这些语音智能设备的测试比较麻烦，主要问题在于，语音识别的准确率测试和语义理解的能力测试无法清晰的分离开，最终结果出现问题时，无法快速准确的归结到是语音识别问题还是语义理解的问题。
一句话从用户说出到得到回复，如果回答不满意，不知道中间莫名其妙的哪里出现了问题。比如问青蛙和蝌蚪，回答唱起来了一首小蝌蚪找妈妈；或者问你叫什么，机器回答小白最美丽。下划线这类问题时，却是无法知道是究竟是语音识别出了问题还是语义理解出了问题。
一旦语音识别出现和标准文本或标准答案不能匹配的情况时，测试语义理解没有意义，如上面的例子。
现有的语音识别和后处理技术没有一个可以“纠正”语音识别的过程，把人为判断的过程割裂开了。并且没有办法在一个测试工具内直接可视化的查看和修改，也没有修改后的自我学习，下次面对同样的语音还会识别错。
传统的语音识别到语义理解的测试对于中间结果不可感知，想知道哪些字识别错误或者正确不可见，而语义理解这一步想知道上下文的细节很难。
发明内容
本发明的目的在于提供一种智能语音识别到语义理解的结果统计***及方法，解决现有的智能语音识别测试过程中，无法区分开语音识别的准确率测试结果和语义理解的能力测试结果的问题。
为解决上述的技术问题，本发明采用以下技术方案：
一种智能语音识别到语义理解的结果统计***，
包括用于获取被测试设备的当前运行状态的运行状态获取单元；
包括用于根据被测试设备的当前运行状态从语音库中选取要播放的测试语音的测试语音选取单元；
包括用于向所述被测试设备播放选取的测试语音并获取所述被测试设备对所述测试语音的响应结果的响应结果获取单元；
包括根据识别的文本进行语义测试，选择已经被识别后文本的测试语义获取单元；
包括用于依据所述响应结果得到语音和语义测试结果，将所述响应结果与预期响应结果进行对比，得到最终的识别测试结果和语义测试结果汇总的测试单元。
进一步的，所述运行状态获取单元具体是通过被测试设备的唯一标识向测试服务器发送查询请求，获取被测试设备上报到测试服务器的当前运行状态。
进一步的，所述响应结果获取单元在选取要播放的测试语音时，若被测试设备的当前运行状态为待唤醒状态，则从语音库中调用唤醒音频；若被测试设备的当前运行状态为待识别状态，则从语音库中调用识别音频。
一种智能语音识别到语义理解的结果统计方法，包括以下方法：
测试单元选取待测试语音和语音识别服务API，对语音识别服务API输入待测试语音，
智能识别待测试语音，并编辑成文字文本作为识别结果，将识别结果与待测试语音中的标注文本进行识别对比；
如果识别结果经过对比后与测试文本一致，则该待测试语音作为语义测试文本；
将语义测试文本输入到语义理解服务API，进行语义理解测试，对比语义检查点，得出语义理解结果；
计算并统计语音识别率和语义精准率的结果。
进一步的技术方案是，如果语音识别的识别结果与测试文本不一致，则进行以下处理方式：
人工听取待测试语音，如果人工听取后赞同智能识别待测试语音的结果，则选取智能识别的结果；
如果人工听取后不赞同智能识别待测试语音的结果，则修改标注文本，并对修改后的标注文本进行评价；
如果修改后的标注文本评价高于修改前的标注文本，则待测试语音确定为修改后的标注文本；
如果修改后的标注文本评价低于修改前的标注文本，则待测试语音确定为修改前的标注文本。
将确定的标注文本作为语义测试文本。
进一步的技术方案是，待测试语音的识别结果设定10分满分诶为满分；
如果人工听取后赞同智能识别待测试语音的结果，则智能测试语音的识别结果记为10分；
如果人工听取后不赞同智能识别待测试语音的结果，则智能测试语音记为8分，当人工修改后的标注文本评价高于9分以上，则使用修改后的标注文本，当人工修改后的标注文本评价低于7分以下，则使用修改前的标注文本。
进一步的技术方案是，所述语义理解测试具体是：
根据集成的SDK来设计好文本的输入情况，通过语义理解服务API直接送入文本文件，得出结果；
根据结果对比准备的语义检查点的书写方式、字段、字段对应的返回值；
根据字段名相同后的结果判断，得出语义理解测试的精准率。
与现有技术相比，本发明的有益效果是：采用本发明所述方案能够帮助分析出“不清晰”的语音到底识别成了什么内容，人工打分和机器打分进行加权计算，得出一个更贴近与语音内容的识别文本，并且帮助机器做语音识别的训练。解决机器语音识别易错的问题，进行重新训练后的测试。并且能够依据待测试语音直接输出识别结果和语义返回结果，得出语义理解的检查点，进行对比后计算出语义服务的精准率，方便快捷且能够自动看到报告，大大提高了效率，把割裂的语音语义测试活动串在了一起。
附图说明
图1为本发明的是***框图。
图2为本发明的流程示意图。
图3为本发明中语音识别结果和标注文本的一种对比方式示意图。
图4为本发明中语音识别结果和语音标注文本不一样时的处理流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1示出了本发明的以下实施例：
一种智能语音识别到语义理解的结果统计装置，
包括用于获取被测试设备的当前运行状态的运行状态获取单元；
包括用于根据被测试设备的当前运行状态从语音库中选取要播放的测试语音的测试语音选取单元；
包括用于向所述被测试设备播放选取的测试语音并获取所述被测试设备对所述测试语音的响应结果的响应结果获取单元；
包括根据识别的文本进行语义测试，选择已经被识别后文本的测试语义获取单元；
包括用于依据所述响应结果得到语音和语义测试结果，将所述响应结果与预期响应结果进行对比，得到最终的识别测试结果和语义测试结果汇总的测试单元。
根据上述实施例1，作为优选方案，所述运行状态获取单元具体是通过被测试设备的唯一标识向测试服务器发送查询请求，获取被测试设备上报到测试服务器的当前运行状态。
根据上述实施例1，作为优选方案，所述响应结果获取单元在选取要播放的测试语音时，若被测试设备的当前运行状态为待唤醒状态，则从语音库中调用唤醒音频；若被测试设备的当前运行状态为待识别状态，则从语音库中调用识别音频。
实施例2：
如图2所示，一种智能语音识别到语义理解的结果统计方法，包括以下方法：
测试单元选取待测试语音和语音识别服务API，对语音识别服务API输入待测试语音，
智能识别待测试语音，并编辑成文字文本作为识别结果，将识别结果与待测试语音中的标注文本进行识别对比，如图3所示的对比方式；
如果识别结果经过对比后与测试文本一致，则该待测试语音作为语义测试文本；
将语义测试文本输入到语义理解服务API，进行语义理解测试，对比语义检查点，得出语义理解结果；
计算并统计语音识别率和语义精准率的结果。
实施例3：
一种智能语音识别到语义理解的结果统计方法，包括以下方法：
选待测试语音和语音识别服务API，对语音识别服务API输入待测试语音，
智能识别待测试语音，并编辑成文字文本作为识别结果，将识别结果与待测试语音中的标注文本进行识别对比；
如果识别结果经过对比后与测试文本一致，则该待测试语音作为语义测试文本(图2中为语义测试文本1)；
如果语音识别的识别结果与测试文本不一致，则进行以下处理方式：人工听取待测试语音，如果人工听取后赞同智能识别待测试语音的结果，则选取智能识别的结果；如果人工听取后不赞同智能识别待测试语音的结果，则修改标注文本，并对修改后的标注文本进行评价；如果修改后的标注文本评价高于修改前的标注文本，则待测试语音确定为修改后的标注文本；如果修改后的标注文本评价低于修改前的标注文本，则待测试语音确定为修改前的标注文本；将确定的标注文本作为语义测试文本(图2中为语义测试文本2)；
将语义测试文本输入到语义理解服务API，进行语义理解测试，对比语义检查点，得出语义理解结果；
计算并统计语音识别率和语义精准率的结果。
如图4所示，首先人工听一下4.wav，人工判断下到底此语音文件说的是什么(如果听到说的是张三说，则按照听到的结果保存；如果是其他结果则要修改机器答案，此按钮只是听取判断正确答)；点击“点赞”则赞同机器识别的结果(机器打分自动设为10分)，把“张三说”作为这句的结果保存；点击“保存”(机器打分自动设为8分)则进入下一个界面：可以编辑新的结果(如标注文本写错了，或者是人工帮助把识别错的语音可以继续测试语义)，报错后输入文本保存，点击保存后打分，弹出两个选项(9分以上，6分以下)，选择任意一个；综合机器的8分算出平均分，如果平均分大于8分则采用人工结果，如果小于7分则采用机器结果；这样就根据最像我们听到的语音文件的文本保存，作为语义测试文本。
实施例4：
一种智能语音识别到语义理解的结果统计方法，包括以下方法：
选待测试语音和语音识别服务API，对语音识别服务API输入待测试语音，
智能识别待测试语音，并编辑成文字文本作为识别结果，将识别结果与待测试语音中的标注文本进行识别对比；
如果识别结果经过对比后与测试文本一致，则该待测试语音作为语义测试文本；
如果语音识别的识别结果与测试文本不一致，则进行以下处理方式：人工听取待测试语音，如果人工听取后赞同智能识别待测试语音的结果，则选取智能识别的结果；如果人工听取后不赞同智能识别待测试语音的结果，则修改标注文本，并对修改后的标注文本进行评价；如果修改后的标注文本评价高于修改前的标注文本，则待测试语音确定为修改后的标注文本；如果修改后的标注文本评价低于修改前的标注文本，则待测试语音确定为修改前的标注文本；将确定的标注文本作为语义测试文本。例如：待测试语音的识别结果设定10分为满分；如果人工听取后赞同智能识别待测试语音的结果，则智能测试语音的识别结果记为10分；如果人工听取后不赞同智能识别待测试语音的结果，则智能测试语音记为8分，当人工修改后的标注文本评价高于9分以上，则使用修改后的标注文本，当人工修改后的标注文本评价低于7分以下，则使用修改前的标注文本；
将语义测试文本输入到语义理解服务API，进行语义理解测试，对比语义检查点，得出语义理解结果；
计算并统计语音识别率和语义精准率的结果。
实施例4：
一种智能语音识别到语义理解的结果统计方法，包括以下方法：
选待测试语音和语音识别服务API，对语音识别服务API输入待测试语音，
智能识别待测试语音，并编辑成文字文本作为识别结果，将识别结果与待测试语音中的标注文本进行识别对比；
如果识别结果经过对比后与测试文本一致，则该待测试语音作为语义测试文本；
将语义测试文本输入到语义理解服务API，进行语义理解测试，对比语义检查点，得出语义理解结果；具体测试方法如下：根据集成的SDK来设计好文本的输入情况，通过语义理解服务API直接送入文本文件，得出结果；根据结果对比准备的语义检查点的书写方式、字段、字段对应的返回值；根据字段名相同后的结果判断，得出语义理解测试的精准率；
计算并统计语音识别率和语义精准率的结果。
作为上述实施例的优选：
本地工具集成了网上公开的语义理解服务API(如百度，讯飞等SDK)，根据集成的SDK来优先设计好文本的输入情况，可以通过接口API直接送入文本文件，得出结果，如一句话的解析格式。送的文本比如“北京今天天气”；返回结果如下
根据结果对比准备的语义检查点是如何书写的，是否字段相同，是否字段对应的返回值相同
如准备的文本结果预期如下
根据字段名相同后的结果判断，得出语义理解测试的精准率；
输出测试报告。
本申请中的特征名称解释：
待识别的语音：要测试语音识别率的语音文件。
语音标注文本：与待识别的语音一一对应的标注好的文本文件，标注了待识别的语音到底说了什么。
待测试语义文本：要测试语义理解的待测试物，纯文本文件，可以是语音标注文本直接作为语义测试文本。
语义检查点：与待测试语义文本一一对应的，标注好的文本文件。一个文本有多个检查点，要检测测试后是否检查点是否都有覆盖/覆盖率多少。
语音识别服务API：接入的语音识别服务接口，输入语音文件，得到识别结果，识别结果是文字。
计算语音识别率：用语音识别API输出，即识别出来的文本结果和语音标注文本进行对比后算出识别率。
语义理解服务API：接入的语义理解服务接口，输入文本文件，得到文本多个检查点结果。
计算语义理解的精准率：用语义服务API输出结果，对比语义检查点，计算出精准率。
尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变形和改进外，对于本领域技术人员来说，其他的用途也将是明显的。
Claims (7)
1.一种智能语音识别到语义理解的结果统计***，其特征在于：
包括用于获取被测试设备的当前运行状态的运行状态获取单元；
包括用于根据被测试设备的当前运行状态从语音库中选取要播放的测试语音的测试语音选取单元；
包括用于向所述被测试设备播放选取的测试语音并获取所述被测试设备对所述测试语音的响应结果的响应结果获取单元；
包括根据识别的文本进行语义测试，选择已经被识别后文本的测试语义获取单元；
包括用于依据所述响应结果得到语音和语义测试结果，将所述响应结果与预期响应结果进行对比，得到最终的识别测试结果和语义测试结果汇总的测试单元。
2.根据权利要求1所述的一种智能语音识别到语义理解的结果统计***，其特征在于：所述运行状态获取单元具体是通过被测试设备的唯一标识向测试服务器发送查询请求，获取被测试设备上报到测试服务器的当前运行状态。
3.根据权利要求1所述的一种智能语音识别到语义理解的结果统计***，其特征在于：所述响应结果获取单元在选取要播放的测试语音时，若被测试设备的当前运行状态为待唤醒状态，则从语音库中调用唤醒音频；若被测试设备的当前运行状态为待识别状态，则从语音库中调用识别音频。
4.一种智能语音识别到语义理解的结果统计方法，其特征在于包括以下方法：
测试单元选取待测试语音和语音识别服务API，对语音识别服务API输入待测试语音，
智能识别待测试语音，并编辑成文字文本作为识别结果，将识别结果与待测试语音中的标注文本进行识别对比；
如果识别结果经过对比后与测试文本一致，则该待测试语音作为语义测试文本；
将语义测试文本输入到语义理解服务API，进行语义理解测试，对比语义检查点，得出语义理解结果；
计算并统计语音识别率和语义精准率的结果。
5.根据权利要求4所述的一种智能语音识别到语义理解的结果统计方法，其特征在于：如果语音识别的识别结果与测试文本不一致，则进行以下处理方式：
人工听取待测试语音，如果人工听取后赞同智能识别待测试语音的结果，则选取智能识别的结果；
如果人工听取后不赞同智能识别待测试语音的结果，则修改标注文本，并对修改后的标注文本进行评价；
如果修改后的标注文本评价高于修改前的标注文本，则待测试语音确定为修改后的标注文本；
如果修改后的标注文本评价低于修改前的标注文本，则待测试语音确定为修改前的标注文本；
将确定的标注文本作为语义测试文本。
6.根据权利要求5所述的一种智能语音识别到语义理解的结果统计方法，其特征在于：
待测试语音的识别结果设定10分为满分；
如果人工听取后赞同智能识别待测试语音的结果，则智能测试语音的识别结果记为10分；
如果人工听取后不赞同智能识别待测试语音的结果，则智能测试语音记为8分，当人工修改后的标注文本评价高于9分以上，则使用修改后的标注文本，当人工修改后的标注文本评价低于7分以下，则使用修改前的标注文本。
7.根据权利要求4所述的一种智能语音识别到语义理解的结果统计方法，其特征在于：所述语义理解测试具体是：
根据集成的SDK来设计好文本的输入情况，通过语义理解服务API直接送入文本文件，得出结果；
根据结果对比准备的语义检查点的书写方式、字段、字段对应的返回值；
根据字段名相同后的结果判断，得出语义理解测试的精准率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811090843.XA CN109448701A (zh) | 2018-09-19 | 2018-09-19 | 一种智能语音识别到语义理解的结果统计***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811090843.XA CN109448701A (zh) | 2018-09-19 | 2018-09-19 | 一种智能语音识别到语义理解的结果统计***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109448701A true CN109448701A (zh) | 2019-03-08 |
Family
ID=65530533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811090843.XA Pending CN109448701A (zh) | 2018-09-19 | 2018-09-19 | 一种智能语音识别到语义理解的结果统计***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109448701A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110417589A (zh) * | 2019-07-23 | 2019-11-05 | 徐州工程学院 | 一种车载语音云用户体验质量路测方法 |
| CN111681642A (zh) * | 2020-06-03 | 2020-09-18 | 北京字节跳动网络技术有限公司 | 语音识别评估方法、装置、存储介质及设备 |
| CN111696523A (zh) * | 2019-03-12 | 2020-09-22 | 大众问问(北京)信息科技有限公司 | 一种语音识别引擎的准确度测试方法、装置、电子设备 |
| CN111797368A (zh) * | 2020-07-03 | 2020-10-20 | 全球能源互联网研究院有限公司 | 一种数据水印识别分析方法及*** |
| CN112417109A (zh) * | 2020-10-26 | 2021-02-26 | 出门问问(苏州)信息科技有限公司 | 一种人机对话***的测试方法及装置 |
| CN110164474B (zh) * | 2019-05-08 | 2021-09-14 | 北京百度网讯科技有限公司 | 语音唤醒自动化测试方法及*** |
| CN113836010A (zh) * | 2021-09-14 | 2021-12-24 | 招商银行股份有限公司 | 语音智能客服自动化测试方法、***及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005227510A (ja) * | 2004-02-12 | 2005-08-25 | Ntt Docomo Inc | 音声認識装置及び音声認識方法 |
| US7440895B1 (en) * | 2003-12-01 | 2008-10-21 | Lumenvox, Llc. | System and method for tuning and testing in a speech recognition system |
| CN104290097A (zh) * | 2014-08-19 | 2015-01-21 | 白劲实 | 一种学习型智能家庭社交机器人***和方法 |
| CN104347081A (zh) * | 2013-08-07 | 2015-02-11 | 腾讯科技（深圳）有限公司 | 一种测试场景说法覆盖度的方法和装置 |
| CN104538031A (zh) * | 2014-12-15 | 2015-04-22 | 北京云知声信息技术有限公司 | 智能语音服务开发云平台及方法 |
| CN104750779A (zh) * | 2015-03-04 | 2015-07-01 | 华东师范大学 | 一种基于条件随机场的中文兼类词识别方法 |
| CN106228986A (zh) * | 2016-07-26 | 2016-12-14 | 北京奇虎科技有限公司 | 一种语音识别引擎的自动化测试方法、装置和*** |
| CN107516510A (zh) * | 2017-07-05 | 2017-12-26 | 百度在线网络技术（北京）有限公司 | 一种智能设备自动化语音测试方法及装置 |
| CN107665708A (zh) * | 2016-07-29 | 2018-02-06 | 科大讯飞股份有限公司 | 智能语音交互方法及*** |
-
2018
- 2018-09-19 CN CN201811090843.XA patent/CN109448701A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7440895B1 (en) * | 2003-12-01 | 2008-10-21 | Lumenvox, Llc. | System and method for tuning and testing in a speech recognition system |
| JP2005227510A (ja) * | 2004-02-12 | 2005-08-25 | Ntt Docomo Inc | 音声認識装置及び音声認識方法 |
| CN104347081A (zh) * | 2013-08-07 | 2015-02-11 | 腾讯科技（深圳）有限公司 | 一种测试场景说法覆盖度的方法和装置 |
| CN104290097A (zh) * | 2014-08-19 | 2015-01-21 | 白劲实 | 一种学习型智能家庭社交机器人***和方法 |
| CN104538031A (zh) * | 2014-12-15 | 2015-04-22 | 北京云知声信息技术有限公司 | 智能语音服务开发云平台及方法 |
| CN104750779A (zh) * | 2015-03-04 | 2015-07-01 | 华东师范大学 | 一种基于条件随机场的中文兼类词识别方法 |
| CN106228986A (zh) * | 2016-07-26 | 2016-12-14 | 北京奇虎科技有限公司 | 一种语音识别引擎的自动化测试方法、装置和*** |
| CN107665708A (zh) * | 2016-07-29 | 2018-02-06 | 科大讯飞股份有限公司 | 智能语音交互方法及*** |
| CN107516510A (zh) * | 2017-07-05 | 2017-12-26 | 百度在线网络技术（北京）有限公司 | 一种智能设备自动化语音测试方法及装置 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111696523A (zh) * | 2019-03-12 | 2020-09-22 | 大众问问(北京)信息科技有限公司 | 一种语音识别引擎的准确度测试方法、装置、电子设备 |
| CN111696523B (zh) * | 2019-03-12 | 2024-03-01 | 大众问问(北京)信息科技有限公司 | 一种语音识别引擎的准确度测试方法、装置、电子设备 |
| CN110164474B (zh) * | 2019-05-08 | 2021-09-14 | 北京百度网讯科技有限公司 | 语音唤醒自动化测试方法及*** |
| CN110417589A (zh) * | 2019-07-23 | 2019-11-05 | 徐州工程学院 | 一种车载语音云用户体验质量路测方法 |
| CN110417589B (zh) * | 2019-07-23 | 2022-11-29 | 徐州工程学院 | 一种车载语音云用户体验质量路测方法 |
| CN111681642A (zh) * | 2020-06-03 | 2020-09-18 | 北京字节跳动网络技术有限公司 | 语音识别评估方法、装置、存储介质及设备 |
| CN111797368A (zh) * | 2020-07-03 | 2020-10-20 | 全球能源互联网研究院有限公司 | 一种数据水印识别分析方法及*** |
| CN111797368B (zh) * | 2020-07-03 | 2024-04-09 | 国网智能电网研究院有限公司 | 一种数据水印识别分析方法及*** |
| CN112417109A (zh) * | 2020-10-26 | 2021-02-26 | 出门问问(苏州)信息科技有限公司 | 一种人机对话***的测试方法及装置 |
| CN112417109B (zh) * | 2020-10-26 | 2023-08-01 | 问问智能信息科技有限公司 | 一种人机对话***的测试方法及装置 |
| CN113836010A (zh) * | 2021-09-14 | 2021-12-24 | 招商银行股份有限公司 | 语音智能客服自动化测试方法、***及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109448701A (zh) | 一种智能语音识别到语义理解的结果统计***及方法 | |
| US11276407B2 (en) | Metadata-based diarization of teleconferences | |
| CN107818798B (zh) | 客服服务质量评价方法、装置、设备及存储介质 | |
| CN108962282B (zh) | 语音检测分析方法、装置、计算机设备及存储介质 | |
| US10699702B2 (en) | System and method for personalization of acoustic models for automatic speech recognition | |
| CN105405439B (zh) | 语音播放方法及装置 | |
| CN106294774A (zh) | 基于对话服务的用户个性化数据处理方法及装置 | |
| CN106328166A (zh) | 人机对话异常检测***及方法 | |
| US10217457B2 (en) | Learning from interactions for a spoken dialog system | |
| CN108428448A (zh) | 一种语音端点检测方法及语音识别方法 | |
| CN107767861A (zh) | 语音唤醒方法、***及智能终端 | |
| CN105654949A (zh) | 一种语音唤醒方法及装置 | |
| CN108694940A (zh) | 一种语音识别方法、装置及电子设备 | |
| CN108766441A (zh) | 一种基于离线声纹识别和语音识别的语音控制方法及装置 | |
| CN108664269A (zh) | 一种基于深度学习的特征依恋代码异味检测方法 | |
| CN103077720A (zh) | 一种说话人识别方法及*** | |
| CN108648765A (zh) | 一种语音异常检测的方法、装置及终端 | |
| CN109708256B (zh) | 一种语音确定方法、装置、存储介质及空调 | |
| Moritz et al. | All-in-one transformer: Unifying speech recognition, audio tagging, and event detection. | |
| CN110176228A (zh) | 一种小语料语音识别方法及*** | |
| Cheng et al. | BIC-based speaker segmentation using divide-and-conquer strategies with application to speaker diarization | |
| CN109460558B (zh) | 一种语音翻译***的效果评判方法 | |
| CN110442700A (zh) | 用于人机交互的人机多轮对话方法及***、智能设备 | |
| Sapru et al. | Automatic speaker role labeling in AMI meetings: recognition of formal and social roles | |
| CN101510423A (zh) | 发音检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Liao Zhiliang Inventor after: Tao Liang Inventor after: Wang Daoning Inventor after: Zhang Yadong Inventor after: Ma Limin Inventor before: Ma Yongfei Inventor before: Wang Daoning Inventor before: Ma Limin |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190308 |