CN113393833B - 音视频唤醒方法、***、设备及存储介质 - Google Patents

音视频唤醒方法、***、设备及存储介质 Download PDF

Info

Publication number
CN113393833B
CN113393833B CN202110665499.8A CN202110665499A CN113393833B CN 113393833 B CN113393833 B CN 113393833B CN 202110665499 A CN202110665499 A CN 202110665499A CN 113393833 B CN113393833 B CN 113393833B
Authority
CN
China
Prior art keywords
audio
video
model
wake
awakening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110665499.8A
Other languages
English (en)
Other versions
CN113393833A (zh
Inventor
周恒顺
杜俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202110665499.8A priority Critical patent/CN113393833B/zh
Publication of CN113393833A publication Critical patent/CN113393833A/zh
Application granted granted Critical
Publication of CN113393833B publication Critical patent/CN113393833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种音视频唤醒方法、***、设备及存储介质，引入视频模态来改善和提高唤醒***性能，能够适应真实复杂场景下的唤醒任务，提高唤醒率，提升交互体验；而且，也针对音视频多模态唤醒数据量相对较少的特点，提出使用基于跨模态的师生模型，迁移并利用丰富的大数据量单模态声学数据训练得到的有效信息，改善因多模态音视频唤醒训练数据量较少带来的***性能损失，提高唤醒率。

Description

音视频唤醒方法、***、设备及存储介质
技术领域
本发明涉及语音信号处理与视频信号处理技术领域，尤其涉及一种音视频唤醒方法、***、设备及存储介质。
背景技术
语音唤醒，也可以称为唤醒词识别技术，是一项特别的语音识别技术，它旨在连续语流中实时检测出说话人特定片段，在智能车载、服务机器人和智能家居等场景中已经被广泛应用。音视频唤醒旨在利用与语音同步的视频信号作为辅助输入，进一步提升唤醒模型的性能。基于深度学习的语音唤醒技术是目前学术界和工业界研究的热点和主流方法，其研究主要可分为两类：基于HMM-GMM的语音唤醒和基于深度学习的语音唤醒。
一、基于HMM-GMM的语音唤醒。
文献(V.Wake-up-word speech recognition[M].Speech Technologies.IntechOpen,2011.)的研究者们提出了先基于隐马尔科夫模型(Hidden Markov Model，HMM)训练声学模型，再使用支持向量机(Support Vector Machine，SVM)将语音信号分类为唤醒词或者非唤醒词。
随着语音识别技术的发展，基于HMM-GMM模型的keyword/filler语音唤醒框架得到关注，它与语音识别类似，通过维特比算法解码预训练的声学模型获取到最优路径。但与语音识别***的区别在于解码网络的具体构建，语音识别中的解码网络包含所有词典中的词汇，而语音唤醒的解码网络只包含了唤醒词(keyword)和其它(filler)的路径，除了唤醒词以外的词汇都包含在filler路径当中，因此语音唤醒的解码网络相对于语音识别会小很多。当解码得分超过预设的阈值，***触发唤醒。
二、基于深度学习的语音唤醒。
基于深度学习的语音唤醒又可细分为如下几类。
第一类仍归属于keyword-filler方法，不同之处在于声学模型建模从高斯混合模型(Gaussian Mixed Model，GMM)转换为神经网络。
第二类融入神经网络的模板匹配方法，采用神经网络作为特征提取器。文献(HouJ,Xie L,Fu Z.Investigating neural networkbased query-by-example keywordspotting approach for personalized wake-up word detection in mandarin chinese[C].2016 10th International Symposium on Chinese Spoken Language Processing(ISCSLP).IEEE,Tianjin,China,Oct.17-20,2016:1-5.)的研究者提出一种基于模板匹配的唤醒词识别方法，该方法使用长短时记忆神经网络(Long Short Term Memory Network，LSTM)提取特征，将唤醒词语音和测试的语音转换成固定长度的模板和测试特征向量，根据评估模板和测试向量之间的差异做出判决。
第三类是基于端到端的方案，输入语音，输出唤醒的后验概率，将此概率与预设的阈值进行比较，进行判决。在文献(Chen G,Parada C,Heigold G.Small-footprintkeyword spotting using deep neural Networks[C].IEEE International Conferenceon Acoustics,Speech and Signal Processing(ICASSP).IEEE,Florence,Italy,May.4-9,2014:4087-4091.)中，通过对提取到的语音特征通过深度神经网络(Deep NeuralNetworks，DNN)进行训练，再使用后处理方法得到最终的置信度得分，并与预设阈值进行比较来判断是否为唤醒词。该方法的提出在基于深度学***滑后的帧的后验概率进行判决。
目前，随着端到端和序列到序列训练的模型在语音识别中越来越流行，很多学者将其引入到唤醒词识别领域。文献(Zhang S,Liu W,Qin Y.Wake-up-word spotting usingend-to-end deep neural network system[C].2016 23rd International Conferenceon Pattern Recognition(ICPR).IEEE,Cancun,Mexico,Dec.4-6,2016:2878-2883.)提出了一种基于端到端的LSTM轻量级唤醒词定位***，该方法在定位的过程中引入了时序分类算法细化了唤醒词模型训练的步骤。针对语音唤醒在实用中遇到的问题，文献(Yu,M.,Ji,X.,Gao,Y.,Chen,L.,Chen,J.,Zheng,J.,Su,D.,Yu,D.(2018)Text-Dependent SpeechEnhancement for Small-Footprint Robust Keyword Detection.Proc.Interspeech2018,2613-2617,2018.)和(E.Ceolini,J.Anumula,S.Braun and S.Liu,"Event-drivenPipeline for Low-latency Low-compute Keyword Spotting and SpeakerVerification System,"ICASSP 2019-2019 IEEE International Conference onAcoustics,Speech and Signal Processing(ICASSP),Brighton,UK,2019,pp.7953-7957,2019.)分别结合语音增强和说话人验证任务针对语音唤醒的噪声鲁棒性和个性化唤醒***开展了研究。这些基于端到端的唤醒词识别方法需要很大的语料库，训练时也需要很长的时间。
综合来说，现有的基于HMM-GMM的语音唤醒和基于深度学习的语音唤醒方案，在真实复杂环境中语音唤醒***性能会急剧下降，尤其在嘈杂的噪声和远场环境下唤醒率仍然较低。
发明内容
本发明的目的是提供一种音视频唤醒方法、***、设备及存储介质，综合了音频单模态的外部丰富声学数据优势和视频模态在高噪声等复杂环境中的辅助优势，有助于改善和提升复杂场景下的唤醒性能。
本发明的目的是通过以下技术方案实现的：
一种基于师生跨模态学习的音视频唤醒方法，包括：
构造音频数据集、以及包含音频数据与视频数据的音视频多模态唤醒数据集；
利用音频数据集以及音视频多模态唤醒数据集中的音频数据训练一个神经网络模型，将其作为教师语音唤醒模型；
构建输入包含音频特征与视频特征的神经网络模型，将其作为学生音视频唤醒模型；
将从音视频多模态唤醒数据集中提取的音频特征与视频特征拼接后输入至学生音视频唤醒模型，并将相应的音频特征同步输入至教师语音唤醒模型，将学生音视频唤醒模型与教师语音唤醒模型的输出结果之间的损失、以及利用学生音视频唤醒模型输出结果计算出的损失作为联合训练阶段的总损失，固定教师语音唤醒模型的网络参数，优化所述学生音视频唤醒模型的网络参数；
使用优化后的学生音视频唤醒模型进行解码测试，输出是否唤醒的判别结果。
一种基于师生跨模态学习的音视频唤醒***，用于实现前述的方法，该***包括：
数据集构造模块，用于构造音频数据集、以及包含音频数据与视频数据的音视频多模态唤醒数据集；
教师语音唤醒模型训练模块，用于利用音频数据集以及音视频多模态唤醒数据集中的音频数据训练一个神经网络模型，将其作为教师语音唤醒模型；
学生音视频唤醒模块，用于构建输入包含音频特征与视频特征的神经网络模型，将其作为学生音视频唤醒模型；
联合训练模块，用于将从音视频多模态唤醒数据集中提取的音频特征与视频特征拼接后输入至学生音视频唤醒模型，并将相应的音频特征同步输入至教师语音唤醒模型，将学生音视频唤醒模型与教师语音唤醒模型的输出结果之间的损失、以及利用学生音视频唤醒模型输出结果计算出的损失作为联合训练阶段的总损失，固定教师语音唤醒模型的网络参数，优化所述学生音视频唤醒模型的网络参数；
解码测试模块，用于使用优化后的学生音视频唤醒模型进行解码测试，输出是否唤醒的判别结果。
一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
由上述本发明提供的技术方案可以看出，引入视频模态来改善和提高唤醒***性能，能够适应真实复杂场景下的唤醒任务，提高唤醒率，提升交互体验；而且，也针对音视频多模态唤醒数据量相对较少的特点，提出使用基于跨模态的师生模型，迁移并利用丰富的大数据量单模态声学数据训练得到的有效信息，改善因多模态音视频唤醒训练数据量较少带来的***性能损失，提高唤醒率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种基于师生跨模态学习的音视频唤醒方法的流程图；
图2为本发明实施例提供的KWS-Net结构示意图；
图3为本发明实施例提供的一种基于师生跨模态学习的音视频唤醒***的示意图；
图4为本发明实施例提供的一种处理设备示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种基于师生跨模态学习的音视频唤醒方法，该方法相比单模态语音唤醒模型的***性能在高噪声等复杂环境中更加优越，同时相比只使用多模态音视频唤醒数据随机初始化训练得到的音视频唤醒模型***性能更优，该方法主要包括：
1、构造音频数据集、以及包含音频数据与视频数据的音视频多模态唤醒数据集。
2、利用音频数据集以及音视频多模态唤醒数据集中的音频数据训练一个神经网络模型，将其作为教师语音唤醒模型。
本发明实施例中，使用了大量丰富的音频数据训练一个单模态语音唤醒模型(神经网络模型)。考虑到单模态语音数据的获取成本相对较低，可以使用尽可能多的音频数据在较成熟的语音唤醒框架下完成单模态语音唤醒模型训练，使得到的单模态语音唤醒模型可以实现尽可能好的性能，即将语音唤醒性能增益在数据驱动方面的潜力最大化。而且，教师语音唤醒模型的训练数据包括外部丰富的音频数据和音视频多模态唤醒数据中的音频部分。
3、构建输入包含音频特征与视频特征的神经网络模型，将其作为学生音视频唤醒模型。
为了充分利用视频模态在高噪声等复杂场景下的优势，本发明实施例提出将视频模态引入唤醒模型，即设计一个音视频唤醒模型，并将此模型作为学生音视频唤醒模型。
本发明实施例中，采用视频数据的早期特征拼接实施音视频模态融合，以充分利用音视频模态之间的交互作用，之所以采用早期特征拼接作为音视频融合策略，是因为对于唤醒任务，音视频的信息融合发生在早期可以尽可能保留两个模态各自的丰富原始信息，这样在融合前可以获得较小的信息破坏和损失，有利于两种模态的信息充分融合交互。
由于学生音视频唤醒模型与教师语音唤醒模型的网络输入特征的维度不同，此时可以后接一个全连接层(FC)来处理，其它部分(隐藏层)和教师语音唤醒模型保持一致。学生音视频唤醒模型的训练数据只有有限的音视频唤醒数据可供使用。
4、将从音视频多模态唤醒数据集中提取的音频特征与视频特征拼接后输入至学生音视频唤醒模型，并将相应的音频特征同步输入至教师语音唤醒模型，将学生音视频唤醒模型与教师语音唤醒模型的输出结果之间的损失、以及利用学生音视频唤醒模型输出结果计算出的损失作为联合训练阶段的总损失，固定教师语音唤醒模型的网络参数，优化所述学生音视频唤醒模型的网络参数。
为了将大量纯音频数据训练的教师语音唤醒模型中丰富的信息，转化到相对有限的多模态唤醒数据建立学生音视频唤醒模型中。
本发明实施例中，提出一种基于交叉熵损失和KL(Kullback-Leibler)散度的跨模态师生音视频唤醒模型。将音视频唤醒训练数据中的音频部分和视频部分作为学生音视频唤醒模型的输入，并对输出计算交叉熵(Cross Entropy，CE)损失；同时将音视频唤醒训练数据中的音频部分并行输入教师语音唤醒模型，此时不计算CE损失，而是与学生音视频唤醒模型的输出计算KL散度。
本发明实施例中，联合训练阶段固定已经训练好的教师语音唤醒模型的网络参数，而对前述步骤3所构建的学生音视频唤醒模型的网络参数实施随机初始化，使用学生音视频唤醒模型输出得到的CE损失和教师与学生两个模型输出的KL散度的和作为整个模型框架的损失进行网络优化并更新学生音视频唤醒模型网络参数，实施联合训练。
5、使用优化后的学生音视频唤醒模型进行解码测试，输出是否唤醒的判别结果。
在解码测试时，只使用学生音视频唤醒模型进行测试解码，即输入音视频的特征，对学生音视频唤醒模型的输出的后验概率与预设的阈值进行比较并判决是否唤醒。
如图1所示，为本发明实施例上述方法的主要流程。单独来看，虚线右侧部分是教师语音唤醒模型训练流程，左侧部分是学生音视频唤醒模型训练流程；联合训练则是综合左右两部分实现。
对于教师语音唤醒模型，FBank表示音频特征，KWS-Net为一种神经网络模型，KWS-Net的输出经过一层最大池化层(Max Pool)输出一个后验概率，将此后验概率与预设的阈值进行比较，判断是否唤醒。训练过程中所涉及的音频特征来自音频数据集与音视频多模态唤醒数据集，首先，利用音频数据集中音频数据的音频特征进行模型训练，训练完毕后，再利用音视频多模态唤醒数据集中音频数据的音频特征进行模型参数的微调。
对于学生音视频唤醒模型，输入为固定窗长的同步的音视频特征，音频特征与教师语音唤醒部分相同(FBank)，视频特征为每帧视频中检测到的人的唇部区域的特征，将视频帧特征与音频帧特征进行拼接，再经过一个全连接层(fully connected layers，FC)层，学生音视频唤醒模型后端网络层与教师语音唤醒模型相同。对于学生音视频唤醒模型，只有有限的音视频多模态唤醒数据可用于训练。
联合训练时，之前的部分与单独训练类似，但是，教师语音唤醒模型不计算CE损失，而是计算与学生语音唤醒模型输出之间的损失，具体为计算KL散度，同时，计算学生语音唤醒模型的CE损失，两类损失加权和即为联合训练的总损失；并且，联合训练时固定教师语音唤醒模型，单独优化学生音视频唤醒模型的参数。
下面针对教师语音唤醒模型、学生音视频唤醒模型、以及联合训练的过程做详细的介绍。
一、训练教师语音唤醒模型。
输入使用大量音频数据提取的音频特征。进行训练时的反例按照语音唤醒成熟框架下的比例挑选即可，经过KWS-Net模块，后接一个最大池化层进行分类输出该固定窗长音频对应的后验概率，将该后验概率与设置的阈值进行比较，判断是否唤醒。训练时，使用交叉熵作为损失函数计算梯度和更新网络参数。
本发明实施例中，音频数据包括大数据量丰富的唤醒词音频数据和通用音频数据(非唤醒音频数据)，这两种数据均可采用声学仿真技术进行数据扩增至上万小时。训练完毕(正常情况下，当模型的交叉熵损失不再下降，可以认为任务训练完毕)，使用音视频多模态唤醒数据中的音频数据(通常有几百小时)继续微调该教师语音唤醒模型的网络参数，目的是使训练好教师语音唤醒模型的性能得到进一步提升。
本领域技术人员可以理解，音频数据中的通用音频数据(非唤醒音频数据)即为反例，唤醒词音频数据即为正例。
此外，本发明实施例中，采用流式输入方式，即设定固定长度的窗口(包含N语音帧长)，提取窗口内语音特征作为模型的输入，输出该窗口对应的判决结果。如果唤醒，则设备触发，进行下游任务的处理；如果没有唤醒，窗口继续在时间轴上实施帧移，每次往后移动一帧，继续同上面窗口的唤醒判决流程，对当前帧进行相同流程处理和判决。
二、构建学生音视频唤醒模型。
对于学生音视频唤醒模型的训练，由于音视频唤醒数据量有限，因此，学生音视频唤醒模型可用的训练数据远少于教师语音唤醒模型，在本发明实施例中，学生音视频唤醒模型不做单独训练，而是结合训练好的教师语音唤醒模型做联合训练。
学生音视频唤醒模型的输入为时间同步的音频特征与视频特征。
对于学生音视频唤醒模型的视频流输入的特征提取可以参照常规技术。例如：首先对视频中的每一帧进行人脸检测，进而可以得到每个检测到的人脸的固定尺寸的唇部，将得到的唇部送入训练好的唇读模型(例如，MobilenetV2)，通过移除该预训唇读模型的最后一层并使用其倒数第二层全连接层提取嵌入(Embedding)，并将此嵌入作为视频流中每一帧的视频特征。学生音视频唤醒模型中音频流特征提取与单模态教师语音唤醒模型中的输入特征保持一致。
对于音视频流时间同步问题的处理可以采用两种策略：第一种是对视频帧按照原始音频帧的速率进行等比例复制，第二种是对音频流输入特征做下采样处理，两种策略都可以保证处理后的音视频帧速率一致，从而解决音视频同步问题。示例性的，可以采用上述第一种策略，即对视频帧进行复制，具体可以在特征拼接(Concat)时实施。
实施早期特征融合(Concat)后的特征维度相对音频每一帧特征维度会变大(多了唇部特征的Embedding维度)，如图1所示，可以后接一个FC层将其维度降低到与教师语音唤醒模型中对应的隐藏层部分的输入维度一致，相当于多了一层隐藏层，学生音视频模型的其它网络层与教师语音唤醒模型中保持一致；经过FC层后输入至神经网络模型(即图1中的KWS-Net)，神经网络模型的输出经过池化层输出一个后验概率，将此后验概率与预设的阈值进行比较，判断是否唤醒。
如之前给出的示例，本发明实施例中所述教师语音唤醒模型与学生音视频唤醒模型使用相同结构的神经网络模型(即KWS-Net)；如图2所示，KWS-Net包括依次设置的：第一卷积层(Conv-1)、第二卷积层(Conv-2)、最大池化层(Max Pool)、第三卷积层(Conv-3)、全局池化层(Avg Pool)、以及末端的三层全连接层(即依次连接的三个FC)。
三、联合训练。
联合训练时，学生音视频唤醒模型的输入与其单独训练时的特征是相同的，即音频特征和视频特征，并计算CE损失；同时，将输入至学生音视频唤醒模型的音频特征并行输入至教师语音唤醒模型，此时不计算CE损失，而是与学生音视频唤醒模型的输出计算KL散度。
本发明实施例中，在联合训练时需要固定教师语音唤醒模型的网络参数，随机初始化学生音视频唤醒模型的网络参数，使用学生音视频唤醒模型输出得到的CE损失、以及教师与学生模型的KL散度的加权求和作为联合训练的总损失，使用λ和1-λ作为CE损失和KL散度的乘法因子，λ为预设值(可根据经验自行设定)，联合优化并更新学生音视频模型的网络参数，右侧教师语音唤醒模型参数保持不变，实施模型训练。
训练完毕解码测试时，只需要使用优化后的学生音视频唤醒模型进行测试解码，即流式输入时间上同步的音频特征和视频特征，使用优化后的学生音视频唤醒模型输出判决结果。
本发明实施例上述方案，主要具有如下优点：
1)更适合在真实复杂场景下的唤醒任务，针对传统单模态语音唤醒在复杂场景性能急剧下降的特点，引入视频模态可以改善和提高唤醒***性能，提高唤醒率，提升交互体验。
2)针对音视频多模态唤醒数据量相对较少的特点，提出使用基于跨模态的师生模型，迁移并利用丰富的大数据量单模态声学数据训练得到的有效信息，改善因多模态音视频唤醒训练数据量较少带来的***性能损失，提高唤醒率。
3)结合以上1)和2)两方面，针对师生唤醒模型架构，提出使用早期特征融合，尽可能保留两个模态各自的原始信息，完成跨模态信息交互。实验也证明，在这种基于师生的跨模态音视频唤醒模型框架下，早期特征融合方式***性能优于后期(编码器端)融合方式。
本发明另一实施例还提供一种基于师生跨模态学习的音视频唤醒***，用于实现前述实施例提供的方法，如图3所示，该***主要包括：
数据集构造模块，用于构造音频数据集、以及包含音频数据与视频数据的音视频多模态唤醒数据集；
教师语音唤醒模型训练模块，用于利用音频数据集以及音视频多模态唤醒数据集中的音频数据训练一个神经网络模型，将其作为教师语音唤醒模型；
学生音视频唤醒模块，用于构建输入包含音频特征与视频特征的神经网络模型，将其作为学生音视频唤醒模型；
联合训练模块，用于将从音视频多模态唤醒数据集中提取的音频特征与视频特征拼接后输入至学生音视频唤醒模型，并将相应的音频特征同步输入至教师语音唤醒模型，将学生音视频唤醒模型与教师语音唤醒模型的输出结果之间的损失、以及学生音视频唤醒模型输出结果计算交叉熵损失作为联合训练阶段的总损失，固定教师语音唤醒模型的网络参数，优化所述学生音视频唤醒模型的网络参数；
解码测试模块，用于使用优化后的学生音视频唤醒模型进行解码测试，输出是否唤醒的判别结果。
本发明另一实施例还提供一种电子设备，如图4所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
进一步的，所述电子设备还包括至少一个输入设备与至少一个输出设备；在所述电子设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
输出设备可以为显示终端；
存储器可以为随机存取存储器(Random Access Memory，RAM)，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。
本发明另一实施例还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述电子设备中，例如，作为电子设备中的存储器。此外，所述可读存储介质也可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于师生跨模态学习的音视频唤醒方法，其特征在于，包括：
构造音频数据集、以及包含音频数据与视频数据的音视频多模态唤醒数据集；
利用音频数据集以及音视频多模态唤醒数据集中的音频数据训练一个神经网络模型，将其作为教师语音唤醒模型；
构建输入包含音频特征与视频特征的神经网络模型，将其作为学生音视频唤醒模型；
将从音视频多模态唤醒数据集中提取的音频特征与视频特征拼接后输入至学生音视频唤醒模型，并将相应的音频特征同步输入至教师语音唤醒模型，将学生音视频唤醒模型与教师语音唤醒模型的输出结果之间的损失、以及利用学生音视频唤醒模型输出结果计算出的损失作为联合训练阶段的总损失，固定教师语音唤醒模型的网络参数，优化所述学生音视频唤醒模型的网络参数；
使用优化后的学生音视频唤醒模型进行解码测试，输出是否唤醒的判别结果。
2.根据权利要求1所述的一种基于师生跨模态学习的音视频唤醒方法，其特征在于，所述利用音频数据集以及音视频多模态唤醒数据集中的音频数据训练一个神经网络模型的步骤包括：
将音频数据集中的音频数据的音频特征输入至神经网络模型进行模型训练，训练完毕后，再将音视频多模态唤醒数据集中的音频数据的音频特征输入至神经网络模型进行模型训练；训练过程中，神经网络模型的输出经过池化层输出一个后验概率，将此后验概率与预设的阈值进行比较，判断是否唤醒；并使用交叉熵作为损失函数计算梯度和更新网络参数。
3.根据权利要求2所述的一种基于师生跨模态学习的音视频唤醒方法，其特征在于，训练时音频数据采用流式输入方式，即设定固定长度的窗口，提取窗口内的音频特征作为神经网络模型的输入，输出窗口内音频特征对应的是否唤醒的判决结果。
4.根据权利要求1所述的一种基于师生跨模态学习的音视频唤醒方法，其特征在于，所述将从音视频多模态唤醒数据集中提取的音频特征与视频特征拼接后输入至学生音视频唤醒模型包括：
对于视频数据的每一帧进行唇部特征提取，作为视频特征；对于音频数据进行音频特征提取；
对视频特征与音频特征进行时间同步与拼接，再经全连接层降维后输入至学生音视频唤醒模型。
5.根据权利要求4所述的一种基于师生跨模态学习的音视频唤醒方法，其特征在于，对视频特征与音频特征进行时间同步的方式为：
对视频帧按照音频帧的速率进行等比例复制；或者，对音频特征做下采样处理。
6.根据权利要求4所述的一种基于师生跨模态学习的音视频唤醒方法，其特征在于，联合训练阶段的总损失为学生音视频唤醒模型输出结果计算交叉熵损失、以及学生音视频唤醒模型与教师语音唤醒模型的输出结果之间的KL散度的加权和；使用λ和1-λ作为交叉熵损失和KL散度的乘法因子，λ为预设值。
7.根据权利要求1～6任一项所述的一种基于师生跨模态学习的音视频唤醒方法，其特征在于，所述教师语音唤醒模型与学生音视频唤醒模型使用相同结构的神经网络模型；所述神经网络模型包括依次设置的：第一卷积层、第二卷积层、最大池化层、第三卷积层、全局池化层、以及末端的三层全连接层。
8.一种基于师生跨模态学习的音视频唤醒***，其特征在于，用于实现权利要求1～7任一项所述的方法，该***包括：
数据集构造模块，用于构造音频数据集、以及包含音频数据与视频数据的音视频多模态唤醒数据集；
教师语音唤醒模型训练模块，用于利用音频数据集以及音视频多模态唤醒数据集中的音频数据训练一个神经网络模型，将其作为教师语音唤醒模型；
学生音视频唤醒模块，用于构建输入包含音频特征与视频特征的神经网络模型，将其作为学生音视频唤醒模型；
联合训练模块，用于将从音视频多模态唤醒数据集中提取的音频特征与视频特征拼接后输入至学生音视频唤醒模型，并将相应的音频特征同步输入至教师语音唤醒模型，将学生音视频唤醒模型与教师语音唤醒模型的输出结果之间的损失、以及利用学生音视频唤醒模型输出结果计算出的损失作为联合训练阶段的总损失，固定教师语音唤醒模型的网络参数，优化所述学生音视频唤醒模型的网络参数；
解码测试模块，用于使用优化后的学生音视频唤醒模型进行解码测试，输出是否唤醒的判别结果。
9.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1～7任一项所述的方法。
10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1～7任一项所述的方法。
CN202110665499.8A 2021-06-16 2021-06-16 音视频唤醒方法、***、设备及存储介质 Active CN113393833B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110665499.8A CN113393833B (zh) 2021-06-16 2021-06-16 音视频唤醒方法、***、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110665499.8A CN113393833B (zh) 2021-06-16 2021-06-16 音视频唤醒方法、***、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113393833A CN113393833A (zh) 2021-09-14
CN113393833B true CN113393833B (zh) 2024-04-02

Family

ID=77621305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110665499.8A Active CN113393833B (zh) 2021-06-16 2021-06-16 音视频唤醒方法、***、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113393833B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116631380B (zh) * 2023-07-24 2023-11-07 之江实验室 一种音视频多模态的关键词唤醒方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761329A (en) * 1995-12-15 1998-06-02 Chen; Tsuhan Method and apparatus employing audio and video data from an individual for authentication purposes
KR20140014812A (ko) * 2012-07-26 2014-02-06 삼성전자주식회사 영상 인식을 이용하여 음성 인식을 하는 방법 및 장치
KR20170098573A (ko) * 2016-02-22 2017-08-30 에스케이텔레콤 주식회사 멀티모달학습장치 및 멀티모달 학습 방법
CN107679506A (zh) * 2017-10-12 2018-02-09 Tcl通力电子（惠州）有限公司 智能产品的唤醒方法、智能产品及计算机可读存储介质
KR20190001067A (ko) * 2017-06-26 2019-01-04 에스케이텔레콤 주식회사 음성 인식 방법 및 장치
CN110046656A (zh) * 2019-03-28 2019-07-23 南京邮电大学 基于深度学习的多模态场景识别方法
CN110750152A (zh) * 2019-09-11 2020-02-04 云知声智能科技股份有限公司 一种基于唇部动作的人机交互方法和***
CN111461203A (zh) * 2020-03-30 2020-07-28 北京百度网讯科技有限公司 跨模态处理方法、装置、电子设备和计算机存储介质
US10820131B1 (en) * 2019-10-02 2020-10-27 Turku University of Applied Sciences Ltd Method and system for creating binaural immersive audio for an audiovisual content
CN112329431A (zh) * 2019-08-01 2021-02-05 ***通信集团上海有限公司 音视频数据处理方法、设备及存储介质
WO2021097494A2 (en) * 2020-05-30 2021-05-20 Futurewei Technologies, Inc. Distributed training of multi-modal machine learning models

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7209883B2 (en) * 2002-05-09 2007-04-24 Intel Corporation Factorial hidden markov model for audiovisual speech recognition
US7269560B2 (en) * 2003-06-27 2007-09-11 Microsoft Corporation Speech detection and enhancement using audio/video fusion
US9697833B2 (en) * 2015-08-25 2017-07-04 Nuance Communications, Inc. Audio-visual speech recognition with scattering operators
US9916832B2 (en) * 2016-02-18 2018-03-13 Sensory, Incorporated Using combined audio and vision-based cues for voice command-and-control
JP7417634B2 (ja) * 2019-05-10 2024-01-18 グーグル エルエルシー 音声認識のためのエンドツーエンドモデルでコンテキスト情報を使用すること

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761329A (en) * 1995-12-15 1998-06-02 Chen; Tsuhan Method and apparatus employing audio and video data from an individual for authentication purposes
KR20140014812A (ko) * 2012-07-26 2014-02-06 삼성전자주식회사 영상 인식을 이용하여 음성 인식을 하는 방법 및 장치
KR20170098573A (ko) * 2016-02-22 2017-08-30 에스케이텔레콤 주식회사 멀티모달학습장치 및 멀티모달 학습 방법
KR20190001067A (ko) * 2017-06-26 2019-01-04 에스케이텔레콤 주식회사 음성 인식 방법 및 장치
CN107679506A (zh) * 2017-10-12 2018-02-09 Tcl通力电子（惠州）有限公司 智能产品的唤醒方法、智能产品及计算机可读存储介质
CN110046656A (zh) * 2019-03-28 2019-07-23 南京邮电大学 基于深度学习的多模态场景识别方法
CN112329431A (zh) * 2019-08-01 2021-02-05 ***通信集团上海有限公司 音视频数据处理方法、设备及存储介质
CN110750152A (zh) * 2019-09-11 2020-02-04 云知声智能科技股份有限公司 一种基于唇部动作的人机交互方法和***
US10820131B1 (en) * 2019-10-02 2020-10-27 Turku University of Applied Sciences Ltd Method and system for creating binaural immersive audio for an audiovisual content
CN111461203A (zh) * 2020-03-30 2020-07-28 北京百度网讯科技有限公司 跨模态处理方法、装置、电子设备和计算机存储介质
WO2021097494A2 (en) * 2020-05-30 2021-05-20 Futurewei Technologies, Inc. Distributed training of multi-modal machine learning models

Also Published As

Publication number Publication date
CN113393833A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
Tao et al. Gating neural network for large vocabulary audiovisual speech recognition
US20190266998A1 (en) Speech recognition method and device, computer device and storage medium
US20150325240A1 (en) Method and system for speech input
CN111754992B (zh) 一种噪声鲁棒的音视频双模态语音识别方法及***
Meng et al. Adversarial Feature-Mapping for Speech Enhancement.
Wand et al. Investigations on end-to-end audiovisual fusion
Moine et al. Speaker attentive speech emotion recognition
Thanda et al. Multi-task learning of deep neural networks for audio visual automatic speech recognition
Pan et al. A fused hidden Markov model with application to bimodal speech processing
CN113393833B (zh) 音视频唤醒方法、***、设备及存储介质
Qu et al. Lipsound2: Self-supervised pre-training for lip-to-speech reconstruction and lip reading
Xiong et al. Look&listen: Multi-modal correlation learning for active speaker detection and speech enhancement
CN113450771A (zh) 唤醒方法、模型训练方法和装置
Bellagha et al. Speaker naming in tv programs based on speaker role recognition
CN111862956A (zh) 一种数据处理方法、装置、设备及存储介质
Srinivasan et al. Multimodal speech recognition with unstructured audio masking
Su et al. Multimodal learning using 3D audio-visual data for audio-visual speech recognition
Rajavel et al. Adaptive reliability measure and optimum integration weight for decision fusion audio-visual speech recognition
Park et al. OLKAVS: an open large-scale Korean audio-visual speech dataset
Zoric et al. A real-time lip sync system using a genetic algorithm for automatic neural network configuration
Shashidhar et al. Audio visual speech recognition using feed forward neural network architecture
Saenko et al. An asynchronous DBN for audio-visual speech recognition
Chen et al. End-to-end recognition of streaming Japanese speech using CTC and local attention
CN114495946A (zh) 声纹聚类方法、电子设备和存储介质
Brahme et al. Effect of various visual speech units on language identification using visual speech recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant