CN112116908A - 唤醒音频确定方法、装置、设备及存储介质 - Google Patents

唤醒音频确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112116908A
CN112116908A CN202011293307.7A CN202011293307A CN112116908A CN 112116908 A CN112116908 A CN 112116908A CN 202011293307 A CN202011293307 A CN 202011293307A CN 112116908 A CN112116908 A CN 112116908A
Authority
CN
China
Prior art keywords
audio
wake
matching degree
awakening
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011293307.7A
Other languages
English (en)
Other versions
CN112116908B (zh
Inventor
陈孝良
冯大航
陈天峰
常乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing SoundAI Technology Co Ltd
Original Assignee
Beijing SoundAI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing SoundAI Technology Co Ltd filed Critical Beijing SoundAI Technology Co Ltd
Priority to CN202011293307.7A priority Critical patent/CN112116908B/zh
Publication of CN112116908A publication Critical patent/CN112116908A/zh
Application granted granted Critical
Publication of CN112116908B publication Critical patent/CN112116908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0631—Creating reference templates; Clustering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种唤醒音频确定方法、装置、设备及存储介质，属于语音技术领域。本申请实施例分别将唤醒音频和非唤醒音频进行建模，各自对应有多个语句状态，形成语句状态序列，这样对音频的音频特征进行分类时，则能够分别确定出该音频更像是唤醒音频还是更像是非唤醒音频。该过程中，直接针对唤醒音频和非唤醒音频建模，且二者彼此独立，而不是针对每个音素进行建模，也就不需要针对每个帧级别的标注数据训练得到的模型，识别过程中也不需要针对每个音素确定出对应的识别结果，能够大大减小计算量，提高识别效率。

Description

唤醒音频确定方法、装置、设备及存储介质
技术领域
本申请涉及语音技术领域，特别涉及一种唤醒音频确定方法、装置、设备及存储介质。
背景技术
近年来，随着音频处理技术的不断发展，智能音箱、车载语音交互***等智能语音交互***不断普及，为了减少用户操作，提供了一种语音唤醒功能，通过对采集到的语音进行识别，确定是否为唤醒语音，进而能够实现对设备的语音唤醒。
相关技术中，唤醒语音确定方法通常是：对待处理语音进行特征提取，得到固定长度的语音特征，将其输入唤醒声学模型中进行分类。该唤醒声学模型的训练所需的样本数据需要具备帧级别的标注数据，而帧级别的标注数据通常需要由一个预先训练较好的声学模型对语音数据进行对齐获得。
上述通过训练好的声学模型对其得到标注数据的方式中，对齐的结果会极大的影响后续模型的性能。例如，如果对齐模型性能较差，对齐结果准确度较低，基于准确度低的对齐结果作为标注数据，训练得到的模型的性能就会较差。如果想要得到准确度高的标注数据，则需要使用大规模的样本数据对声学模型进行重新训练，这样成本较大，效率很低。
发明内容
本申请实施例提供了一种唤醒音频确定方法、装置、设备及存储介质，能够减小计算量，提高识别效率。下面对本申请的技术方案进行介绍。
一方面，提供了一种唤醒音频确定方法，所述方法包括：
对音频进行特征提取，得到所述音频的音频特征；
对所述音频的音频特征进行分类，得到所述音频与多种语句状态序列的匹配程度，所述多种语句状态序列分别至少包括唤醒音频和非唤醒音频包括的多种语句状态；
根据所述音频与多种语句状态序列的匹配程度，确定所述音频是否为唤醒音频。
在一些实施例中，所述对音频进行特征提取，得到所述音频的音频特征，包括：
对音频中每个音频帧进行特征提取，得到所述每个音频帧的音频特征；
所述对所述音频的音频特征进行分类，得到所述音频与多种语句状态序列的匹配程度，包括：
对所述每个音频帧的音频特征进行分类，得到所述每个音频帧与多种语句状态的匹配程度；
根据所述每个音频帧与多种语句状态的匹配程度，获取所述音频与所述多种语句状态序列的匹配程度。
在一些实施例中，所述对所述每个音频帧的音频特征进行分类，得到所述每个音频帧与多种语句状态的匹配程度，包括：
对所述每个音频帧的音频特征进行分类，得到所述每个音频帧对应所述多种语句状态的概率分布；
所述根据所述每个音频帧与多种语句状态的匹配程度，获取所述音频与所述多种语句状态序列的匹配程度，包括：
根据所述每个音频帧对应所述多种语句状态的概率分布，以及包括所述多种语句状态的词图，获取所述音频与所述多种语句状态序列对应路径的匹配程度。
在一些实施例中，所述根据所述音频与多种语句状态序列的匹配程度，确定所述音频是否为唤醒音频，包括：
获取所述音频与唤醒音频的语句状态序列的第一匹配程度与第二匹配程度的差值；
响应于所述差值大于目标阈值，确定所述音频为唤醒音频；
响应于所述差值小于所述目标阈值，确定所述音频为非唤醒音频。
在一些实施例中，所述非唤醒音频包括非唤醒语音和非语音；所述多种语句状态序列中包括唤醒音频、非唤醒语音和非语音包括的多种语句状态。
在一些实施例中，所述音频特征的分类步骤基于音频处理模型执行；
所述音频处理模型基于下述步骤训练得到：
获取多个样本音频，每个样本音频对应有目标分类结果，所述目标分类结果用于指示所述样本音频对应的目标语句状态序列；
对所述多个样本音频进行特征提取，得到所述多个样本音频的音频特征；
将所述多个样本音频的音频特征输入初始音频处理模型中，由所述初始音频处理模型对每个样本音频的音频特征进行分类，得到所述每个样本音频的分类结果；
根据所述每个样本音频的分类结果以及所述目标分类结果，获取所述每个样本音频对应的互信息；
根据所述互信息，调整所述初始音频处理模型的模型参数，直至符合目标条件时停止，得到所述音频处理模型。
在一些实施例中，所述目标语句状态序列中每种语句状态与多个连续的音频帧对应。
在一些实施例中，所述目标条件为所述互信息达到最大值或者迭代次数达到目标次数。
一方面，提供了一种唤醒音频确定装置，所述装置包括多个功能模块，所述多个功能模块用于执行上述唤醒音频确定方法的各种可选实现方式。在一些实施例中，该多个功能模块可以包括提取模块、分类模块和确定模块。
一方面，提供了一种唤醒音频确定装置，所述装置包括：
提取模块，用于对音频进行特征提取，得到所述音频的音频特征；
分类模块，用于对所述音频的音频特征进行分类，得到所述音频与多种语句状态序列的匹配程度，所述多种语句状态序列分别至少包括唤醒音频和非唤醒音频包括的多种语句状态；
确定模块，用于根据所述音频与多种语句状态序列的匹配程度，确定所述音频是否为唤醒音频。
在一些实施例中，所述提取模块用于对音频中每个音频帧进行特征提取，得到所述每个音频帧的音频特征；
所述分类模块包括分类单元和获取单元；
所述分类单元用于对所述每个音频帧的音频特征进行分类，得到所述每个音频帧与多种语句状态的匹配程度；
所述获取单元用于根据所述每个音频帧与多种语句状态的匹配程度，获取所述音频与所述多种语句状态序列的匹配程度。
在一些实施例中，所述分类单元用于对所述每个音频帧的音频特征进行分类，得到所述每个音频帧对应所述多种语句状态的概率分布；
所述获取单元用于根据所述每个音频帧对应所述多种语句状态的概率分布，以及包括所述多种语句状态的词图，获取所述音频与所述多种语句状态序列对应路径的匹配程度。
在一些实施例中，所述确定模块用于：
获取所述音频与唤醒音频的语句状态序列的第一匹配程度与第二匹配程度的差值；
响应于所述差值大于目标阈值，确定所述音频为唤醒音频；
响应于所述差值小于所述目标阈值，确定所述音频为非唤醒音频。
在一些实施例中，所述非唤醒音频包括非唤醒语音和非语音；所述多种语句状态序列中包括唤醒音频、非唤醒语音和非语音包括的多种语句状态。
在一些实施例中，所述音频特征的分类步骤基于音频处理模型执行；
所述音频处理模型基于下述步骤训练得到：
获取多个样本音频，每个样本音频对应有目标分类结果，所述目标分类结果用于指示所述样本音频对应的目标语句状态序列；
对所述多个样本音频进行特征提取，得到所述多个样本音频的音频特征；
将所述多个样本音频的音频特征输入初始音频处理模型中，由所述初始音频处理模型对每个样本音频的音频特征进行分类，得到所述每个样本音频的分类结果；
根据所述每个样本音频的分类结果以及所述目标分类结果，获取所述每个样本音频对应的互信息；
根据所述互信息，调整所述初始音频处理模型的模型参数，直至符合目标条件时停止，得到所述音频处理模型。
在一些实施例中，所述目标语句状态序列中每种语句状态与多个连续的音频帧对应。
在一些实施例中，所述目标条件为所述互信息达到最大值或者迭代次数达到目标次数。
一方面，提供了一种电子设备，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述一个或多个处理器加载并执行以实现上述唤醒音频确定方法的各种可选实现方式。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现上述唤醒音频确定方法的各种可选实现方式。
一个方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括一条或多条程序代码，所述一条或多条程序代码存储在计算机可读存储介质中。电子设备的一个或多个处理器能够从计算机可读存储介质中读取所述一条或多条程序代码，所述一个或多个处理器执行所述一条或多条程序代码，使得电子设备能够执行上述任一种可能实施方式的唤醒音频确定方法。
本申请实施例分别将唤醒音频和非唤醒音频进行建模，各自对应有多个语句状态，形成语句状态序列，这样对音频的音频特征进行分类时，则能够分别确定出该音频更像是唤醒音频还是更像是非唤醒音频。该过程中，直接针对唤醒音频和非唤醒音频建模，且二者彼此独立，而不是针对每个音素进行建模，也就不需要针对每个帧级别的标注数据训练得到的模型，识别过程中也不需要针对每个音素确定出对应的识别结果，能够大大减小计算量，提高识别效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还能够根据这些附图获得其他的附图。
图1是本申请实施例提供的一种唤醒音频确定方法的实施环境的示意图；
图2是本申请实施例提供的一种唤醒音频确定方法的流程图；
图3是本申请实施例提供的一种唤醒音频确定方法的流程图；
图4是本申请实施例提供的一种唤醒音频确定方法的流程图；
图5是本申请实施例提供的一种FST解码图的示意图；
图6是本申请实施例提供的一种唤醒音频确定装置的结构示意图；
图7是本申请实施例提供的一种电子设备的结构示意图；
图8是本申请实施例提供的一种终端的结构框图；
图9是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。还应理解，尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区别分开。例如，在不脱离各种示例的范围的情况下，第一图像能够被称为第二图像，并且类似地，第二图像能够被称为第一图像。第一图像和第二图像都能够是图像，并且在某些情况下，能够是单独且不同的图像。
本申请中术语“至少一个”的含义是指一个或多个，本申请中术语“多个”的含义是指两个或两个以上，例如，多个数据包是指两个或两个以上的数据包。
应理解，在本文中对各种示例的描述中所使用的术语只是为了描述特定示例，而并非旨在进行限制。如在对各种示例的描述和所附权利要求书中所使用的那样，单数形式“一个(“a”\“an”)”和“该”旨在也包括复数形式，除非上下文另外明确地指示。
还应理解，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。术语“和/或”，是一种描述关联对象的关联关系，表示能够存在三种关系，例如，A和/或B，能够表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中的字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，在本申请的各个实施例中，各个过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
还应理解，根据A确定B并不意味着仅仅根据A确定B，还能够根据A和/或其它信息确定B。
还应理解，术语“包括”(也称“includes”、“including”、“comprises”和/或“comprising”)当在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、元素、和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件、和/或其分组。
还应理解，术语“如果”可被解释为意指“当...时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定...”或“如果检测到[所陈述的条件或事件]”可被解释为意指“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
下面对本申请的实施环境进行说明。
图1是本申请实施例提供的一种唤醒音频确定方法的实施环境的示意图。该实施环境包括终端101，或者该实施环境包括终端101和唤醒音频确定平台102。终端101通过无线网络或有线网络与唤醒音频确定平台102相连。
终端101能够是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP3（Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3）播放器或MP4（Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4）播放器，膝上型便携计算机，智能机器人，自助支付设备中的至少一种。终端101安装和运行有支持唤醒音频确定的应用程序，例如，该应用程序能够是***应用、即时通讯应用、新闻推送应用、购物应用、在线视频应用、社交应用。
示例性地，该终端101能够独立完成该工作，也能够通过唤醒音频确定平台102为其提供数据服务。本申请实施例对此不作限定。
唤醒音频确定平台102包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。唤醒音频确定平台102用于为支唤醒音频确定的应用程序提供后台服务。可选地，唤醒音频确定平台102承担主要处理工作，终端101承担次要处理工作；或者，唤醒音频确定平台102承担次要处理工作，终端101承担主要处理工作；或者，唤醒音频确定平台102或终端101分别能够单独承担处理工作。或者，唤醒音频确定平台102和终端101两者之间采用分布式计算架构进行协同计算。
可选地，该唤醒音频确定平台102包括至少一台服务器1021以及数据库1022，该数据库1022用于存储数据，在本申请实施例中，该数据库1022中能够存储有样本音频或音频处理模型，为至少一台服务器1021提供数据服务。
服务器能够是独立的物理服务器，也能够是多个物理服务器构成的服务器集群或者分布式***，还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端能够是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。
本领域技术人员能够知晓，上述终端101、服务器1021的数量能够更多或更少。比如上述终端101、服务器1021能够仅为一个，或者上述终端101、服务器1021为几十个或几百个，或者更多数量，本申请实施例对终端或服务器的数量和设备类型不加以限定。
图2是本申请实施例提供的一种唤醒音频确定方法的流程图，该方法应用于电子设备中，该电子设备为终端或服务器，参见图2，该方法包括以下步骤。
201、电子设备对音频进行特征提取，得到该音频的音频特征。
202、电子设备对该音频的音频特征进行分类，得到该音频与多种语句状态序列的匹配程度，该多种语句状态序列分别至少包括唤醒音频和非唤醒音频包括的多种语句状态。
203、电子设备根据该音频与多种语句状态序列的匹配程度，确定该音频是否为唤醒音频。
本申请实施例分别将唤醒音频和非唤醒音频进行建模，各自对应有多个语句状态，形成语句状态序列，这样对音频的音频特征进行分类时，则能够分别确定出该音频更像是唤醒音频还是更像是非唤醒音频。该过程中，直接针对唤醒音频和非唤醒音频建模，且二者彼此独立，而不是针对每个音素进行建模，也就不需要针对每个帧级别的标注数据训练得到的模型，识别过程中也不需要针对每个音素确定出对应的识别结果，能够大大减小计算量，提高识别效率。
在一些实施例中，该对音频进行特征提取，得到该音频的音频特征，包括：
对音频中每个音频帧进行特征提取，得到该每个音频帧的音频特征；
该对该音频的音频特征进行分类，得到该音频与多种语句状态序列的匹配程度，包括：
对该每个音频帧的音频特征进行分类，得到该每个音频帧与多种语句状态的匹配程度；
根据该每个音频帧与多种语句状态的匹配程度，获取该音频与该多种语句状态序列的匹配程度。
在一些实施例中，该对该每个音频帧的音频特征进行分类，得到该每个音频帧与多种语句状态的匹配程度，包括：
对该每个音频帧的音频特征进行分类，得到该每个音频帧对应该多种语句状态的概率分布；
该根据该每个音频帧与多种语句状态的匹配程度，获取该音频与该多种语句状态序列的匹配程度，包括：
根据该每个音频帧对应该多种语句状态的概率分布，以及包括该多种语句状态的词图，获取该音频与该多种语句状态序列对应路径的匹配程度。
在一些实施例中，该根据该音频与多种语句状态序列的匹配程度，确定该音频是否为唤醒音频，包括：
获取该音频与唤醒音频的语句状态序列的第一匹配程度与第二匹配程度的差值；
响应于该差值大于目标阈值，确定该音频为唤醒音频；
响应于该差值小于该目标阈值，确定该音频为非唤醒音频。
在一些实施例中，该非唤醒音频包括非唤醒语音和非语音；该多种语句状态序列中包括唤醒音频、非唤醒语音和非语音包括的多种语句状态。
在一些实施例中，该音频特征的分类步骤基于音频处理模型执行；
该音频处理模型基于下述步骤训练得到：
获取多个样本音频，每个样本音频对应有目标分类结果，该目标分类结果用于指示该样本音频对应的目标语句状态序列；
对该多个样本音频进行特征提取，得到该多个样本音频的音频特征；
将该多个样本音频的音频特征输入初始音频处理模型中，由该初始音频处理模型对每个样本音频的音频特征进行分类，得到该每个样本音频的分类结果；
根据该每个样本音频的分类结果以及该目标分类结果，获取该每个样本音频对应的互信息；
根据该互信息，调整该初始音频处理模型的模型参数，直至符合目标条件时停止，得到该音频处理模型。
在一些实施例中，该目标语句状态序列中每种语句状态与多个连续的音频帧对应。
在一些实施例中，该目标条件为该互信息达到最大值或者迭代次数达到目标次数。
图3是本申请实施例提供的一种音频处理模型训练方法的流程图，参见图3，该方法包括以下步骤。
301、电子设备获取多个样本音频，每个样本音频对应有目标分类结果，该目标分类结果用于指示该样本音频对应的目标语句状态序列。
电子设备可以基于多个样本音频训练初始音频处理模型，提高初始音频处理模型处理音频的准确性，使得训练得到的音频处理模型能够准确对音频进行处理，确定出该音频与多个语句状态序列的匹配程度，进而能够确定出音频是否为唤醒音频。
其中，多种语句状态序列分别至少包括唤醒音频和非唤醒音频包括的多种语句状态。在这里，分别为唤醒音频和非唤醒音频构建语句状态，二者独立，针对所有唤醒音频统一建模，针对所有非唤醒音频进行统一建模，而不是针对每个音素进行建模，也就不需要针对每个帧级别的标注数据训练得到的模型，识别过程中也不需要针对每个音素确定出对应的识别结果，能够大大减小计算量，提高识别效率。
在一些实施例中，该非唤醒音频可以包括非唤醒语音和非语音，则多种语句状态序列中包括唤醒音频、非唤醒语音和非语音包括的多种语句状态。也即是，分别针对唤醒音频、非唤醒语音和非语音三种音频进行建模，为每种音频构建出多种语句状态，这样以语句级的状态构建，而不是为每个音素构建状态，自然也就不需要帧级别的标注数据，能够解决相关技术中标注数据难以获得或者不够准确的问题。
在一些实施例中，上述语句状态可以采用HMM（Hidden Markov Model，隐含马尔柯夫模型）的形式，上述建模过程也即是针对三种音频分别构建HMM的过程。该三种音频的HMM连接起来能够构建得到FST(Finite State Transducers, 有限状态转换器)。
例如，针对唤醒音频构建三个状态：0，1，2。针对非唤醒语音构建两个状态：3，4。针对非语音构建两种状态：5，6。这样能够得到包含7种状态的FST，通过该FST能够为音频的分类结果进行解码，确定出对应路径以及该路径上的匹配程度。
在一些实施例中，该目标语句状态序列中每种语句状态与多个连续的音频帧对应。也即是，该目标语句状态序列中每种语句状态持续多个音频帧。这样多帧音频帧对应一个语句状态，语句状态是语句级别的，而不是帧级别的音素状态。例如，每种语句状态与三个连续的音频帧对应，每种语句状态持续三个音频帧。对于一个唤醒音频，其对应的目标状态序列可以为000111222。又例如，该目标语句状态序列中每种语句状态持续至少三个音频帧。
该每个语句状态序列包括的语句状态数量以及每种语句状态对应音频帧的数量均可以由相关技术人员根据需求进行设置，本申请实施例对此不作限定。
302、电子设备对该多个样本音频进行特征提取，得到该多个样本音频的音频特征。
电子设备获取到样本音频后，能够对其进行特征提取，以音频特征作为后续处理分析的数据依据。该音频特征能够更突出音频的特点，进而能够得到更准确的处理结果。
具体的，考虑到音频的短时平稳性，计算机设备可以对待处理语音进行分帧处理，对分帧后的音频片段进行特征提取，得到音频特征。
在一种可能实现方式中，对语音进行处理时，将其转换到频域进行计算，能够有效减少计算难度和计算速度，进而更有效地表征音频特征，提高唤醒识别的准确率。因而，电子设备可以对分帧后的音频片段进行傅里叶变换，得到音频的频谱，对频谱进行特征提取，得到音频特征。其中，该音频特征可以为FBank（FilterBank，滤波器组）特征，也可以为MFCC（Mel Frequency Cepstral Coefficent，梅尔倒谱系数）特征，本申请实施例对此不作限定。
在一些实施例中，电子设备可以逐帧提取特征，得到该样本音频中每个音频帧的音频特征，以此对每个音频帧进行分析。具体地，该步骤302中，电子设备可以对样本音频中每个音频帧进行特征提取，得到该每个音频帧的音频特征。
303、电子设备将该多个样本音频的音频特征输入初始音频处理模型中，由该初始音频处理模型对每个样本音频的音频特征进行分类，得到该每个样本音频的分类结果。
电子设备得到音频特征后，能够根据音频特征，来分析该音频是否为唤醒音频。其中，对于每个样本音频，确定该音频是否为唤醒音频的过程可以理解为分类过程，用于确定将该音频分类为唤醒音频，还是分类为非唤醒音频。
在一些实施例中，电子设备可以对音频进行分帧，针对每个音频帧进行分析。在上述步骤302中，提取到每个音频帧的音频特征后，该步骤303中，电子设备可以对该每个音频帧的音频特征进行分类，得到该每个音频帧与多种语句状态的匹配程度，然后电子设备可以根据该每个音频帧与多种语句状态的匹配程度，获取该音频与该多种语句状态序列的匹配程度。
通过分析音频与语句状态序列的匹配程度，能够衡量该音频更接近于唤醒音频还是非唤醒音频。如果音频更接近于唤醒音频，则该音频与唤醒音频的语句状态序列的匹配程度更高。如果音频更接近于非唤醒音频，则该音频与非唤醒音频的语句状态序列的匹配程度更高。
在一些实施例中，在分类时，电子设备能够分类得到每个音频帧对应的概率分布，基于概率分布解词图，进而得到音频与语句状态序列的匹配程度。具体地，电子设备可以对该每个音频帧的音频特征进行分类，得到该每个音频帧对应该多种语句状态的概率分布。然后电子设备可以根据该每个音频帧对应该多种语句状态的概率分布，以及包括该多种语句状态的词图，获取该音频与该多种语句状态序列对应路径的匹配程度。
在一种可能实现方式中，该电子设备根据概率分布和词图获取该音频与多种语句状态序列对应路径的匹配程度时，可以通过解码实现。具体地，电子设备可以将上述概率分布输出解码器中，由解码器根据该概率分布和词图进行解码，得到该音频与该多种语句状态序列对应路径的匹配程度。
对于解码，该解码过程可以为维特比解码过程，当然也可以采用其他解码方式，本申请实施例对此不限定。
对于匹配程度，该匹配程度可以为概率，例如，该概率可以为0-1之间的数值。该匹配程度也可以为得分，例如，该得分可以为0-100之间的数值，该匹配程度的形式可以由相关技术人员根据需求进行设置，本申请实施例对该匹配程度的具体形式不作限定。
以该匹配程度为得分为例，该电子设备在解码时，能够根据词图和概率分布进行解码，得到该音频的对应任一种语句状态序列的最佳路径，并得到该最佳路径的得分。比如，电子设备根据词图和概率分布，解码得到最佳的唤醒音频序列的路径。例如，以唤醒音频对应0，1，2三种状态为例，电子设备根据词图和概率分布，解码得到了该音频对应唤醒音频的最佳路径为：00000111222，并得到其对应的得分0.8。同理地，电子设备也可以解码得到对应非唤醒音频的最佳路径以及得分，在此不多做赘述。
在一些实施例中，在分类时，能够根据该音频的观测序列与该音频的音频特征进行分类，确定在已知观测序列的前提下，该音频为各种识别结果的概率，将多种概率称为概率分布，以此能够分析出识别结果与观测序列的相似度。
304、电子设备根据该每个样本音频的分类结果以及该目标分类结果，获取该每个样本音频对应的互信息。
电子设备在确定了每个样本音频的分类结果后，由于其对应有目标分类结果，该目标分类结果为真实的、正确的结果，因而，电子设备能够获取到每个样本音频对应的互信息，以互信息为模型优化的目标，这样不需要通过损失函数获取识别误差，也就不需要根据帧级别的标注数据，来确定识别结果以识别误差。
对于互信息，互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。在观测序列给定的前提下，在确定音频是唤醒音频的概率和为非唤醒音频的概率后，二者越不相关，说明分类结果越准确。
例如，该互信息可以通过下述公式一确定，该互信息可以为最大互信息(Lattice-Free Maximum Mutual Information，LF-MMI)。
Figure 733441DEST_PATH_IMAGE001
，公式一
其中，
Figure 968025DEST_PATH_IMAGE002
为观测序列，也即是目标分类结果。
Figure 75658DEST_PATH_IMAGE003
为该样本音频与唤醒音频的匹配程度。
Figure 283917DEST_PATH_IMAGE004
为该样本音频与唤醒音频的匹配程度与该样本音频与非唤醒音频的匹配程度之和。N为音频帧的总数量，为正整数。
Figure 363868DEST_PATH_IMAGE005
为最大互信息。
305、电子设备根据该互信息，调整该初始音频处理模型的模型参数，直至符合目标条件时停止，得到该音频处理模型。
电子设备获取得到互信息后，能够根据互信息调整模型参数，以使得该互信息更大，这样对该音频的分类结果也就更准确，得到的音频处理模型的性能更好。
对于该音频处理模型，该音频处理模型的模型结构可以由相关技术人员根据需求设置，例如，模型结构可以是深度神经网络(Deep Neural Networks，DNN)，卷积神经网络（Convolutional Neural Network，CNN），循环神经网络（Recurrent Neural Network,RNN），时延神经网络（Time-Delay Neural Network，TDNN）等，本申请实施例对此不作限定。
在一些实施例中，该目标条件为该互信息达到最大值或者迭代次数达到目标次数。本申请实施例对该训练过程的结束条件不作具体限定。
上述对模型训练过程进行了说明，下面针对该模型使用过程进行说明。
图4是本申请实施例提供的一种唤醒音频确定方法的流程图，参见图4，该方法包括以下步骤。
401、电子设备获取音频。
本申请实施例中，电子设备具有音频处理功能。电子设备可以获取音频，对音频进行处理，确定该音频是否为唤醒音频。
其中，该电子设备可以为终端或者服务器。本申请实施例对此不作限定。
在一些实施例中，该电子设备具有音频采集功能和语音唤醒功能，通过采集音频采，确定音频是否为唤醒语音，进而确定是否唤醒设备。其中，唤醒音频是指用于唤醒设备的音频。例如，唤醒音频可以包含唤醒词，该唤醒词用于唤醒设备。
在另一些实施例中，该电子设备可以具有音频采集功能，可以采集到音频后，自行确定音频是否为唤醒音频。该电子设备也可以采集到音频后，将其发送至其他电子设备，由其他电子设备确定音频是否为唤醒音频，进而将确定结果反馈至该电子设备。
在另一些实施例中，该电子设备也可以不具有语音采集功能。该电子设备可以接收或下载其他电子设备采集的音频，确定该音频是否为唤醒音频，进而基于确定结果进行分析，或者将确定结果反馈至该其他电子设备。
对应上述电子设备在唤醒音频确定方法中所执行的功能不同，相应地，该电子设备获取音频的方式可以包括以下几种方式，本申请实施例对此不作具体限定。
电子设备获取该音频的方式可以有多种，该获取过程可以包括下述方式一至方式三中的任一种。
方式一、电子设备采集音频。
电子设备可以具有音频采集功能，电子设备可以直接采集声音，得到该音频。
方式二、电子设备接收音频采集设备采集的该音频。
电子设备可以通过网络或数据线与音频采集设备连接，获取由该音频采集设备采集的该音频，为该音频采集设备提供后台服务。该音频采集设备可以是任意种类的具有音频采集功能的设备，例如智能音箱、智能手机等，本申请实施例对此不进行限定。
方式三、电子设备可以从数据库中提取该音频。
在该方式三中，可以通过数据库来存储该音频，在电子设备需要对该音频进行处理时，再从该数据库中提取。
该电子设备可以获取得到音频后，能够对其进行特征提取和分类步骤，确定是否为唤醒音频，具体参见下述步骤402至404。
402、电子设备对音频进行特征提取，得到该音频的音频特征。
该步骤402与上述步骤302同理，在此不多做赘述。
同理地，在一些实施例中，电子设备可以逐帧提取特征，得到该音频中每个音频帧的音频特征，以此对每个音频帧进行分析。具体地，该步骤402中，电子设备可以对音频中每个音频帧进行特征提取，得到该每个音频帧的音频特征。
403、电子设备将该音频的音频特征输入音频处理模型中，由该音频处理模型对该音频的音频特征进行分类，得到该音频与多种语句状态序列的匹配程度。
该多种语句状态序列分别至少包括唤醒音频和非唤醒音频包括的多种语句状态。
该步骤403与上述步骤303同理，在此不多做赘述。
同理地，电子设备可以对音频进行分帧，针对每个音频帧进行分析。在上述步骤402中，提取到每个音频帧的音频特征后，该步骤403中，电子设备可以对该每个音频帧的音频特征进行分类，得到该每个音频帧与多种语句状态的匹配程度，然后电子设备可以根据该每个音频帧与多种语句状态的匹配程度，获取该音频与该多种语句状态序列的匹配程度。
同理地，在一些实施例中，在分类时，电子设备能够分类得到每个音频帧对应的概率分布，基于概率分布解词图，进而得到音频与语句状态序列的匹配程度。具体地，电子设备可以对该每个音频帧的音频特征进行分类，得到该每个音频帧对应该多种语句状态的概率分布。然后电子设备可以根据该每个音频帧对应该多种语句状态的概率分布，以及包括该多种语句状态的词图，获取该音频与该多种语句状态序列对应路径的匹配程度。
该步骤403为对该音频的音频特征进行分类，得到该音频与多种语句状态序列的匹配程度的过程，上述仅以该分类步骤基于音频处理模型执行为例进行了说明，在一些实施例中，电子设备也可以不将其输出音频处理模型中，而是直接对音频特征进行处理，本申请实施例对具体采用那种方式不作限定。
404、电子设备根据该音频与多种语句状态序列的匹配程度，确定该音频是否为唤醒音频。
电子设备确定出该音频与多种语句状态序列的匹配程度，从该匹配程度即可看的出该音频更像是唤醒音频，还是非唤醒音频。可以理解地，该音频与唤醒音频的语句状态序列的匹配程度越高，该音频为唤醒音频的可能性越高。反之同理。
在一些实施例中，电子设备可以综合考虑该音频与多种语句状态序列的匹配程度，以它们之间的差值来作为一种衡量标准，确定该音频是否为唤醒音频。具体地，电子设备可以获取该音频与唤醒音频的语句状态序列的第一匹配程度与第二匹配程度的差值，以该差值与目标阈值的大小关系，来确定该音频是否为唤醒音频。
在一些实施例中，电子设备可以响应于该差值大于目标阈值，确定该音频为唤醒音频。在另一些实施例中，电子设备可以响应于该差值小于该目标阈值，确定该音频为非唤醒音频。该目标阈值可以由相关技术人员根据需求进行设置，本申请实施例对此不作限定。
在此将上述匹配程度理解为音频分别为唤醒音频、非唤醒音频的得分，电子设备用该音频为唤醒音频的得分减去该音频为非唤醒音频的得分，以此来衡量该音频的音频内容是否更接近唤醒词。可以理解地，该差值越大，该音频为唤醒音频的可能性越大。以差值作为衡量标准，更综合考虑到了该音频是否是唤醒音频以及该音频是否为非唤醒音频，以此得到的结果更准确。
在上述基于概率分布解词图的方式中，该步骤404中，音频与语句状态序列的匹配程度可以理解为唤醒音频路径和非唤醒音频路径的得分，根据两个得分的差值D与目标阈值H的大小关系，来确定音频是否为唤醒音频。
例如，针对上述分类结果，能够在如图5所示的FST的解码图中进行解码，以确定音频的唤醒音频路径和非唤醒音频路径，以上述概率分布还能够从解码图中解码得到相应的得分。该解码图中以word来表示唤醒词，SIL表示非唤醒词，freetext表示非语音。
在另一些实施例中，电子设备可以响应于该音频与唤醒音频的语句状态序列的匹配程度大于匹配度阈值，则确定该音频为唤醒音频。又或者，电子设备可以将多个匹配程度中最大的匹配程度对应的语句状态序列对应种类确定为该音频的种类，例如，非唤醒音频对应的匹配程度最大，则确定该音频为非唤醒音频。这样电子设备无需再次计算，能够减小计算量，提高确定效率。
上述提供了几种根据匹配程度确定音频是否为唤醒音频的可选方式，本申请实施例对具体采用哪种不作限定。
在一些实施例中，电子设备确定该音频为唤醒音频后，该唤醒音频用于唤醒目标设备，因而，电子设备还可以唤醒目标设备。该目标设备可以为该电子设备，也可以不是该电子设备。在一种可能实现方式中，该目标设备为该电子设备，电子设备可以采集到音频，然后对音频进行处理，确定该音频为唤醒音频，则唤醒自身，比如该电子设备可以亮屏。在另一种可能实现方式中，该目标设备不是该电子设备，该目标设备采集到音频后，能够由该电子设备为其分析是否为唤醒音频。如果是，则该电子设备可以唤醒该目标设备，例如，指示该目标设备亮屏等。
本申请实施例分别将唤醒音频和非唤醒音频进行建模，各自对应有多个语句状态，形成语句状态序列，这样对音频的音频特征进行分类时，则能够分别确定出该音频更像是唤醒音频还是更像是非唤醒音频。该过程中，直接针对唤醒音频和非唤醒音频建模，且二者彼此独立，而不是针对每个音素进行建模，也就不需要针对每个帧级别的标注数据训练得到的模型，识别过程中也不需要针对每个音素确定出对应的识别结果，能够大大减小计算量，提高识别效率。
上述所有可选技术方案，能够采用任意结合形成本申请的可选实施例，在此不再一一赘述。
图6是本申请实施例提供的一种唤醒音频确定装置的结构示意图，参见图6，该装置包括：
提取模块601，用于对音频进行特征提取，得到该音频的音频特征；
分类模块602，用于对该音频的音频特征进行分类，得到该音频与多种语句状态序列的匹配程度，该多种语句状态序列分别至少包括唤醒音频和非唤醒音频包括的多种语句状态；
确定模块603，用于根据该音频与多种语句状态序列的匹配程度，确定该音频是否为唤醒音频。
在一些实施例中，该提取模块601用于对音频中每个音频帧进行特征提取，得到该每个音频帧的音频特征；
该分类模块602包括分类单元和获取单元；
该分类单元用于对该每个音频帧的音频特征进行分类，得到该每个音频帧与多种语句状态的匹配程度；
该获取单元用于根据该每个音频帧与多种语句状态的匹配程度，获取该音频与该多种语句状态序列的匹配程度。
在一些实施例中，该分类单元用于对该每个音频帧的音频特征进行分类，得到该每个音频帧对应该多种语句状态的概率分布；
该获取单元用于根据该每个音频帧对应该多种语句状态的概率分布，以及包括该多种语句状态的词图，获取该音频与该多种语句状态序列对应路径的匹配程度。
在一些实施例中，该确定模块603用于：
获取该音频与唤醒音频的语句状态序列的第一匹配程度与第二匹配程度的差值；
响应于该差值大于目标阈值，确定该音频为唤醒音频；
响应于该差值小于该目标阈值，确定该音频为非唤醒音频。
在一些实施例中，该非唤醒音频包括非唤醒语音和非语音；该多种语句状态序列中包括唤醒音频、非唤醒语音和非语音包括的多种语句状态。
在一些实施例中，该音频特征的分类步骤基于音频处理模型执行；
该音频处理模型基于下述步骤训练得到：
获取多个样本音频，每个样本音频对应有目标分类结果，该目标分类结果用于指示该样本音频对应的目标语句状态序列；
对该多个样本音频进行特征提取，得到该多个样本音频的音频特征；
将该多个样本音频的音频特征输入初始音频处理模型中，由该初始音频处理模型对每个样本音频的音频特征进行分类，得到该每个样本音频的分类结果；
根据该每个样本音频的分类结果以及该目标分类结果，获取该每个样本音频对应的互信息；
根据该互信息，调整该初始音频处理模型的模型参数，直至符合目标条件时停止，得到该音频处理模型。
在一些实施例中，该目标语句状态序列中每种语句状态与多个连续的音频帧对应。
在一些实施例中，该目标条件为该互信息达到最大值或者迭代次数达到目标次数。
本申请实施例提供的装置，分别将唤醒音频和非唤醒音频进行建模，各自对应有多个语句状态，形成语句状态序列，这样对音频的音频特征进行分类时，则能够分别确定出该音频更像是唤醒音频还是更像是非唤醒音频。该过程中，直接针对唤醒音频和非唤醒音频建模，且二者彼此独立，而不是针对每个音素进行建模，也就不需要针对每个帧级别的标注数据训练得到的模型，识别过程中也不需要针对每个音素确定出对应的识别结果，能够大大减小计算量，提高识别效率。
需要说明的是：上述实施例提供的唤醒音频确定装置在确定音频是否为唤醒音频时，仅以上述各功能模块的划分进行举例说明，实际应用中，能够根据需要而将上述功能分配由不同的功能模块完成，即将唤醒音频确定装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的唤醒音频确定装置与唤醒音频确定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图7是本申请实施例提供的一种电子设备的结构示意图，该电子设备700可因配置或性能不同而产生比较大的差异，能够包括一个或一个以上处理器（Central ProcessingUnits，CPU）701和一个或一个以上的存储器702，其中，该存储器702中存储有至少一条计算机程序，该至少一条计算机程序由该处理器701加载并执行以实现上述各个方法实施例提供的唤醒音频确定方法。该电子设备还能够包括其他用于实现设备功能的部件，例如，该电子设备还能够具有有线或无线网络接口以及输入输出接口等部件，以便进行输入输出。本申请实施例在此不做赘述。
上述方法实施例中的电子设备能够实现为终端。例如，图8是本申请实施例提供的一种终端的结构框图。该终端800可以是便携式移动终端，比如：智能手机、平板电脑、MP3（Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3）播放器、MP4（Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4）播放器、笔记本电脑或台式电脑。终端800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端800包括有：处理器801和存储器802。
处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用DSP（Digital Signal Processing，数字信号处理）、FPGA（Field－Programmable Gate Array，现场可编程门阵列）、PLA（Programmable Logic Array，可编程逻辑阵列）中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU（Central ProcessingUnit，中央处理器）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以集成有GPU（Graphics Processing Unit，图像处理器），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括AI（Artificial Intelligence，人工智能）处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本申请中方法实施例提供的唤醒音频确定方法。
在一些实施例中，终端800还可选包括有：***设备接口803和至少一个***设备。处理器801、存储器802和***设备接口803之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口803相连。具体地，***设备包括：射频电路804、显示屏805、摄像头组件806、音频电路807、定位组件808和电源809中的至少一种。
***设备接口803可被用于将I/O（Input/ Output，输入/输出）相关的至少一个***设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和***设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和***设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路804用于接收和发射RF（Radio Frequency，射频）信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络（2G、3G、4G及5G）、无线局域网和/或WiFi(Wireless Fidelity，无线保真）网络。在一些实施例中，射频电路804还可以包括NFC（Near Field Communication，近距离无线通信）有关的电路，本申请对此不加以限定。
显示屏805用于显示UI（User Interface，用户界面）。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置在终端800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在终端800的不同表面或呈折叠设计；在另一些实施例中，显示屏805可以是柔性显示屏，设置在终端800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR（Virtual Reality，虚拟现实）拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。
定位组件808用于定位终端800的当前地理位置，以实现导航或LBS（LocationBased Service，基于位置的服务）。定位组件808可以是基于美国的GPS（GlobalPositioning System，全球定位***）、中国的北斗***或俄罗斯的伽利略***的定位组件。
电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测终端800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应（比如根据用户的倾斜操作来改变UI）、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在终端800的侧边框和/或显示屏805的下层。当压力传感器813设置在终端800的侧边框时，可以检测用户对终端800的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时，由处理器801根据用户对显示屏805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹，由处理器801根据指纹传感器814采集到的指纹识别用户的身份，或者，由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置在终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商Logo时，指纹传感器814可以与物理按键或厂商Logo集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制显示屏805的显示亮度。具体地，当环境光强度较高时，调高显示屏805的显示亮度；当环境光强度较低时，调低显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。
接近传感器816，也称距离传感器，通常设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时，由处理器801控制显示屏805从亮屏状态切换为息屏状态；当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时，由处理器801控制显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图8中示出的结构并不构成对终端800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
上述方法实施例中的电子设备能够实现为服务器。例如，图9是本申请实施例提供的一种服务器的结构示意图，该服务器900可因配置或性能不同而产生比较大的差异，能够包括一个或一个以上处理器（Central Processing Units，CPU）901和一个或一个以上的存储器902，其中，该存储器902中存储有至少一条计算机程序，该至少一条计算机程序由该处理器901加载并执行以实现上述各个方法实施例提供的唤醒音频确定方法。当然，该服务器还能够具有有线或无线网络接口以及输入输出接口等部件，以便进行输入输出，该服务器还能够包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条计算机程序的存储器，上述至少一条计算机程序由可由处理器执行以完成上述实施例中的唤醒音频确定方法。例如，计算机可读存储介质能够是只读存储器（Read-Only Memory，简称：ROM）、随机存取存储器（Random Access Memory，简称：RAM）、只读光盘（Compact DiscRead-Only Memory，简称：CD-ROM）、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或该计算机程序包括一条或多条程序代码，该一条或多条程序代码存储在计算机可读存储介质中。电子设备的一个或多个处理器能够从计算机可读存储介质中读取该一条或多条程序代码，该一个或多个处理器执行该一条或多条程序代码，使得电子设备能够执行上述唤醒音频确定方法。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
应理解，根据A确定B并不意味着仅仅根据A确定B，还能够根据A和/或其它信息确定B。
本领域普通技术人员能够理解实现上述实施例的全部或部分步骤能够通过硬件来完成，也能够通过程序来指令相关的硬件完成，该程序能够存储于一种计算机可读存储介质中，上述提到的存储介质能够是只读存储器，磁盘或光盘等。
以上描述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种唤醒音频确定方法，其特征在于，所述方法包括：
对音频进行特征提取，得到所述音频的音频特征；
对所述音频的音频特征进行分类，得到所述音频与多种语句状态序列的匹配程度，所述多种语句状态序列分别至少包括唤醒音频和非唤醒音频包括的多种语句状态；
根据所述音频与多种语句状态序列的匹配程度，确定所述音频是否为唤醒音频。
2.根据权利要求1所述的方法，其特征在于，所述对音频进行特征提取，得到所述音频的音频特征，包括：
对音频中每个音频帧进行特征提取，得到所述每个音频帧的音频特征；
所述对所述音频的音频特征进行分类，得到所述音频与多种语句状态序列的匹配程度，包括：
对所述每个音频帧的音频特征进行分类，得到所述每个音频帧与多种语句状态的匹配程度；
根据所述每个音频帧与多种语句状态的匹配程度，获取所述音频与所述多种语句状态序列的匹配程度。
3.根据权利要求2所述的方法，其特征在于，所述对所述每个音频帧的音频特征进行分类，得到所述每个音频帧与多种语句状态的匹配程度，包括：
对所述每个音频帧的音频特征进行分类，得到所述每个音频帧对应所述多种语句状态的概率分布；
所述根据所述每个音频帧与多种语句状态的匹配程度，获取所述音频与所述多种语句状态序列的匹配程度，包括：
根据所述每个音频帧对应所述多种语句状态的概率分布，以及包括所述多种语句状态的词图，获取所述音频与所述多种语句状态序列对应路径的匹配程度。
4.根据权利要求2所述的方法，其特征在于，所述根据所述音频与多种语句状态序列的匹配程度，确定所述音频是否为唤醒音频，包括：
获取所述音频与唤醒音频的语句状态序列的第一匹配程度与第二匹配程度的差值；
响应于所述差值大于目标阈值，确定所述音频为唤醒音频；
响应于所述差值小于所述目标阈值，确定所述音频为非唤醒音频。
5.根据权利要求1所述的方法，其特征在于，所述非唤醒音频包括非唤醒语音和非语音；所述多种语句状态序列中包括唤醒音频、非唤醒语音和非语音包括的多种语句状态。
6.根据权利要求1所述的方法，其特征在于，所述音频特征的分类步骤基于音频处理模型执行；
所述音频处理模型基于下述步骤训练得到：
获取多个样本音频，每个样本音频对应有目标分类结果，所述目标分类结果用于指示所述样本音频对应的目标语句状态序列；
对所述多个样本音频进行特征提取，得到所述多个样本音频的音频特征；
将所述多个样本音频的音频特征输入初始音频处理模型中，由所述初始音频处理模型对每个样本音频的音频特征进行分类，得到所述每个样本音频的分类结果；
根据所述每个样本音频的分类结果以及所述目标分类结果，获取所述每个样本音频对应的互信息；
根据所述互信息，调整所述初始音频处理模型的模型参数，直至符合目标条件时停止，得到所述音频处理模型。
7.根据权利要求6所述的方法，其特征在于，所述目标语句状态序列中每种语句状态与多个连续的音频帧对应。
8.根据权利要求6所述的方法，其特征在于，所述目标条件为所述互信息达到最大值或者迭代次数达到目标次数。
9.一种唤醒音频确定装置，其特征在于，所述装置包括多个功能模块，所述多个功能模块用于执行权利要求1至权利要求8任一项所述的唤醒音频确定方法。
10.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求8任一项所述的唤醒音频确定方法。
11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求8任一项所述的唤醒音频确定方法。
CN202011293307.7A 2020-11-18 2020-11-18 唤醒音频确定方法、装置、设备及存储介质 Active CN112116908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011293307.7A CN112116908B (zh) 2020-11-18 2020-11-18 唤醒音频确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011293307.7A CN112116908B (zh) 2020-11-18 2020-11-18 唤醒音频确定方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112116908A true CN112116908A (zh) 2020-12-22
CN112116908B CN112116908B (zh) 2021-02-23

Family

ID=73795014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011293307.7A Active CN112116908B (zh) 2020-11-18 2020-11-18 唤醒音频确定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112116908B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160802A (zh) * 2021-03-12 2021-07-23 北京声智科技有限公司 语音处理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766139A (zh) * 2018-12-13 2019-05-17 平安普惠企业管理有限公司 配置文件的配置方法及装置
WO2020001458A1 (zh) * 2018-06-26 2020-01-02 华为技术有限公司 语音识别方法、装置及***
US10553205B2 (en) * 2017-03-09 2020-02-04 Kabushiki Kaisha Toshiba Speech recognition device, speech recognition method, and computer program product
CN110808050A (zh) * 2018-08-03 2020-02-18 蔚来汽车有限公司 语音识别方法及智能设备
CN111968648A (zh) * 2020-08-27 2020-11-20 北京字节跳动网络技术有限公司 语音识别方法、装置、可读介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10553205B2 (en) * 2017-03-09 2020-02-04 Kabushiki Kaisha Toshiba Speech recognition device, speech recognition method, and computer program product
WO2020001458A1 (zh) * 2018-06-26 2020-01-02 华为技术有限公司 语音识别方法、装置及***
CN110808050A (zh) * 2018-08-03 2020-02-18 蔚来汽车有限公司 语音识别方法及智能设备
CN109766139A (zh) * 2018-12-13 2019-05-17 平安普惠企业管理有限公司 配置文件的配置方法及装置
CN111968648A (zh) * 2020-08-27 2020-11-20 北京字节跳动网络技术有限公司 语音识别方法、装置、可读介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160802A (zh) * 2021-03-12 2021-07-23 北京声智科技有限公司 语音处理方法、装置、设备及存储介质
CN113160802B (zh) * 2021-03-12 2023-09-26 北京声智科技有限公司 语音处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112116908B (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN111933112B (zh) 唤醒语音确定方法、装置、设备及介质
US20200294488A1 (en) Method, device and storage medium for speech recognition
CN111063342B (zh) 语音识别方法、装置、计算机设备及存储介质
CN110322760B (zh) 语音数据生成方法、装置、终端及存储介质
CN110047468B (zh) 语音识别方法、装置及存储介质
WO2021052306A1 (zh) 声纹特征注册
CN111105788B (zh) 敏感词分数检测方法、装置、电子设备及存储介质
CN112735429B (zh) 确定歌词时间戳信息的方法和声学模型的训练方法
CN111696532A (zh) 语音识别方法、装置、电子设备以及存储介质
CN112116904B (zh) 语音转换方法、装置、设备及存储介质
CN111370025A (zh) 音频识别方法、装置及计算机存储介质
CN112233689B (zh) 音频降噪方法、装置、设备及介质
CN111341307A (zh) 语音识别方法、装置、电子设备及存储介质
CN113220590A (zh) 语音交互应用的自动化测试方法、装置、设备及介质
CN112116908B (zh) 唤醒音频确定方法、装置、设备及存储介质
CN110337030B (zh) 视频播放方法、装置、终端和计算机可读存储介质
CN112614507A (zh) 检测噪声的方法和装置
CN109829067B (zh) 音频数据处理方法、装置、电子设备及存储介质
CN113343709B (zh) 意图识别模型的训练方法、意图识别方法、装置及设备
CN113362836B (zh) 训练声码器方法、终端及存储介质
CN114360494A (zh) 韵律标注方法、装置、计算机设备及存储介质
CN112786025B (zh) 确定歌词时间戳信息的方法和声学模型的训练方法
CN111028846B (zh) 免唤醒词注册的方法和装置
CN114333821A (zh) 电梯控制方法、装置、电子设备、存储介质及产品
CN113744736A (zh) 命令词识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant