CN111768763A - 声学模型训练方法、装置、电子设备及存储介质 - Google Patents
声学模型训练方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111768763A CN111768763A CN202010537885.4A CN202010537885A CN111768763A CN 111768763 A CN111768763 A CN 111768763A CN 202010537885 A CN202010537885 A CN 202010537885A CN 111768763 A CN111768763 A CN 111768763A
- Authority
- CN
- China
- Prior art keywords
- sample
- text
- training
- mute
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000002372 labelling Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 6
- 230000003796 beauty Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L2013/083—Special characters, e.g. punctuation marks
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本申请实施例提供了一种声学模型训练方法、装置、电子设备及存储介质，该方法包括：对声学模型的训练样本中的样本文本进行标注形成样本文本对应的标注文本；利用将样本文本对应的标注文本和训练样本中的样本音频进行强制对齐而得到的训练样本的对齐信息，对声学模型进行训练。避免了样本音频开头和结尾的静音段因为未与静音单元对齐并且错误地与发音单元对齐而导致的难以对声学模型进行准确地训练的问题，提升训练的准确性。确保样本音频的开头和结尾的静音段参与声学模型的训练，避免了用于训练的静音段的数量少的问题，确保一定数量的静音段参与声学模型的训练，提升训练的准确性。
Description
技术领域
本申请涉及语音识别领域，具体涉及声学模型训练方法、装置、电子设备及存储介质。
背景技术
在对声学模型进行训练之前，需要将样本文本对应的标注文本与样本音频进行强制对齐，以将发音单元与样本音频中的相应的语音段进行对齐、将保留的静音单元与样本音频中的相应的静音段进行对齐。
目前，通常采用的方式为：在样本文本的第一个文字之前、每两个相邻的文字之间、最后一个文字之后均加入可选静音单元，得到样本文本对应的标注文本。然后，由强制对齐算法例如维特比算法(Viterbi Algorithm)将样本文本对应的标注文本与样本音频进行强制对齐，得到对齐信息，利用对齐信息，对声学模型进行训练。对于样本文本对应的标注文本中的每一个可选静音单元，由强制对齐算法确定是否保留该可选静音单元，当通过强制对齐算法确定保留该可选静音单元时，样本音频中的与该可选静音单元对齐的静音段用于声学模型的训练。
然而，强制对齐算法自身是存在对齐误差的，在通过强制对齐算法确定不保留在样本文本对应的标注文本的第一个文字之前的可选静音单元和/或不保留在样本文本的最后一个文字之后的结尾静音单元的情况下，导致应该与静音单元对齐的样本音频开头的静音段不会与静音单元对齐，只能与第一个文字的发音单元对齐和/或应该与静音单元对齐的样本音频结尾的静音段不会与静音单元对齐，只能与最后一个文字的发音单元对齐。
一方面，若通过强制对齐算法确定不保留在样本文本对应的标注文本的第一个文字之前的可选静音单元和/或在样本文本对应的标注文本的最后一个文字之后的可选静音单元，导致样本音频开头的静音段中的静音帧和/或样本音频结尾的静音段中的静音帧被错误地作为与发音单元对齐的语音段中的语音帧参与声学模型的训练，从而，导致难以对声学模型进行准确地训练。
另一方面，对声学模型的训练是利用海量的训练样本进行迭代地训练。可能出现大量的训练样本中的样本音频开头的静音段和/或样本音频结尾的静音段被错误地与相应的发音单元进行对齐，导致大量应该参与声学模型的训练的静音段没有被作为静音段参与声学模型的训练，出现静音吸收问题，用于对声学模型进行训练的静音段的数量少，难以对声学模型进行准确地训练。
发明内容
为克服现有技术中存在的问题，本申请提供一种声学模型训练方法、装置、电子设备及存储介质。
根据本申请实施例的第一方面，提供一种声学模型训练方法，包括：
获取声学模型的多个训练样本，训练样本包括：样本音频和与所述样本音频对应的样本文本；
对于所述多个训练样本中的每一个训练样本，对所述训练样本中的样本文本进行标注形成标注文本；其中，所述对所述训练样本中的样本文本进行标注，包括：在所述样本文本中的第一个文字之前加入开头静音单元；在所述样本文本中的最后一个文字之后加入结尾静音单元；在所述样本文本中的相邻的文字之间加入可选静音单元；将所述样本音频和所述标注文本进行强制对齐，得到所述训练样本的对齐信息；
利用每一个训练样本的对齐信息，对所述声学模型进行训练。
根据本申请实施例的第二方面，提供一种声学模型训练装置，包括：
获取单元，被配置为获取声学模型的多个训练样本，训练样本包括：样本音频和与所述样本音频对应的样本文本；
对齐单元，被配置为对于所述多个训练样本中的每一个训练样本，对所述训练样本中的样本文本进行标注形成标注文本；其中，所述对所述训练样本中的样本文本进行标注，包括：在所述样本文本中的第一个文字之前加入开头静音单元；在所述样本文本中的最后一个文字之后加入结尾静音单元；在所述样本文本中的相邻的文字之间加入可选静音单元；将所述样本音频和所述标注文本进行强制对齐，得到所述训练样本的对齐信息；
训练单元，被配置为利用每一个训练样本的对齐信息，对所述声学模型进行训练。
本申请实施例提供的技术方案可以包括以下有益效果：
由于样本文本对应的标注文本包括开头静音单元和结尾静音单元，样本文本对应的标注文本可以指示开头静音单元和结尾静音单元均为必须保留的静音单元，开头静音单元和结尾静音单元均不是可选静音单元，因此，当将样本文本对应的标注文本和样本文本对应的样本音频进行强制对齐时，可以确保样本文本对应的样本音频的开头的静音段必须与该开头静音单元进行对齐、样本文本对应的样本音频的结尾的静音段必须与结尾静音单元进行对齐，确保与开头静音单元对齐的样本音频开头的静音段与开头静音单元一起参与声学模型的训练、与结尾静音单元对齐的样本音频结尾的静音段与结尾静音单元一起参与声学模型的训练。
一方面，避免了样本音频开头的静音段和/或样本音频结尾的静音段因未与静音单元对齐，样本音频开头的静音段中的静音帧和/或样本音频结尾的静音段中的静音帧被错误地作为与发音单元对齐的语音段中的语音帧参与声学模型的训练而导致的难以对声学模型进行准确地训练的问题，提升对声学模型的训练的准确性。
另一方面，确保样本音频开头的静音段与开头静音单元一起参与声学模型的训练、样本音频结尾的静音段与结尾静音单元一起参与声学模型的训练，避免了用于对声学模型进行训练的静音段的数量少的问题，确保一定数量的静音段参与声学模型的训练，提升对声学模型的训练的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1示出了本申请实施例提供的声学模型训练方法的一个的流程图；
图2示出了现有技术中对样本文本和样本音频进行强制对齐的一个效果示意图；
图3示出了本申请中的对样本文本和样本音频进行强制对齐的一个效果示意图；
图4示出了本申请实施例提供的声学模型训练装置的一个结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1是本申请实施例提供的声学模型训练方法的一个的流程图。该方法包括以下步骤：
步骤101，获取声学模型的多个训练样本。
在本申请中，声学模型的训练样本包括：样本音频、样本文本。每一个训练样本中的样本文本不同。每一个训练样本中的样本音频不同。
对于每一个训练样本，可以将该训练样本中的样本文本称之为与该训练样本中的样本视频对应的样本文本。相应的，对于每一个训练样本，可以将该训练样本中的样本音频称之为该训练样本中的样本文本对应的样本音频。
在本申请中，对于声学模型的多个训练样本中的每一个训练样本，该训练样本中的样本音频为参与生成训练样本的人员读该训练样本中的样本文本的音频。
例如，对于一个样本文本“美团点评”，参与生成训练样本的人员读样本文本“美团点评”，在参与生成训练样本的人员读样本文本“美团点评”的期间采集参与生成训练样本的人员读样本文本“美团点评”的音频，采集到的参与生成训练样本的人员读样本文本“美团点评”的音频作为样本文本“美团点评”对应的样本音频，样本文本“美团点评”和样本文本“美团点评”对应的样本音频构成一个训练样本。
步骤102，对每一个训练样本中的样本文本进行标注，形成标注文本，将样本音频和标注文本进行强制对齐，得到训练样本的对齐信息。
在本申请中，对于多个训练样本中的每一个训练样本，对该训练样本中的样本文本进行标注，形成该样本文本对应的标注文本。相应的，对于多个训练样本中的每一个训练样本，该训练样本中的样本文本对应的标注文本包括：该样本文本中的每一个文字、开头静音单元、结尾静音单元、至少一个可选静音单元，该开头静音单元位于该样本文本对应的标注文本中的第一个文字之前，该结尾静音单元位于该样本文本对应的标注文本中的最后一个文字之后，可选静音单元位于该样本文本对应的标注文本中的两个相邻的文字之间。
在本申请中，对于每一个样本文本，该样本文本对应的标注文本中的文字的顺序与该样本文本中的文字的顺序一致。
静音单元与样本音频中的静音段对齐，静音段为样本音频中的不发音或没有效语音的音频段。
对于每一个样本文本，在对该样本文本进行标注以形成该样本文本对应的标注文本时，可以在该样本文本的第一个文字之前加入开头静音单元、可以在该样本文本的最后一个文字之后加入结尾静音单元、可以在该样本文本中的两个相邻的文字之间加入可选静音单元。
对于可选静音单元，在进行强制对齐时，由预设强制对齐算法例如维特比算法确定可选静音单元是否保留。
对于每一个可选静音单元，当利用预设强制对齐算法确定出保留该可选静音单元，则与该可选静音单元对齐的静音段参与声学模型的训练。
对于开头静音单元和结尾静音单元，开头静音单元和结尾静音单元必须保留，在通过预设强制对齐算法进行初步对齐之后确定不保留开头静音单元和/或结尾静音单元的情况下，可以确定通过预设强制对齐算法进行初步对齐出现错误，进一步确定样本音频中的与开头静音单元对齐的静音段和/或与结尾静音单元对齐的静音段。
在本申请中，对于每一个训练样本，可以将该训练样本中的样本文本对应的标注文本和该训练样本中的样本音频进行强制对齐，得到该训练样本的对齐信息。
在本申请中，由于样本文本对应的标注文本包括开头静音单元和结尾静音单元，因此，样本文本对应的标注文本可以指示开头静音单元和结尾静音单元均为必须保留的静音单元，开头静音单元和结尾静音单元均不是可选静音单元。
因此，当将样本文本对应的标注文本和该样本文本对应的样本音频进行强制对齐时，可以确保该样本文本对应的样本音频的开头的静音段必须与该样本文本对应的标注文本中的开头静音单元进行对齐、该样本文本对应的样本音频的结尾的静音段必须与该样本文本对应的标注文本中的结尾静音单元进行对齐，确保与开头静音单元对齐的样本音频的开头的静音段与开头静音单元一起参与声学模型的训练、与结尾静音单元对齐的样本音频的结尾的静音段与结尾静音单元一起参与声学模型的训练。
本申请中的训练样本中的样本文本对应的标注文本包括开头静音单元、结尾静音单元，样本文本对应的标注文本的标注准确性高。因为，对于正常录制的音频，音频的开头和音频的结尾均会存在一定时长的静音段。
在本申请中，对于每一个训练样本，当将该训练样本中的样本文本对应的标注文本和训练样本中的该样本文本对应的样本音频进行强制对齐，得到该训练样本的对齐信息时，可以首先利用预设强制对齐算法例如维特比算法，将该训练样本中的样本文本对应的标注文本和该训练样本中的该样本文本对应的样本音频进行初步对齐，得到该训练样本的对齐参考信息。然后，基于该训练样本的对齐参考信息，得到该训练样本的对齐信息。
对于一个训练样本，在通过预设强制对齐算法将该训练样本中的样本文本对应的标注文本和该样本文本对应的样本音频进行初步对齐之后，可以确定与该样本文本对应的标注文本中的文字的发音单元对齐的语音段在该样本文本对应的样本音频中的参考位置。
通过预设强制对齐算法得到的该训练样本的对齐参考信息包括：与该训练样本中的样本文本对应的标注文本中的文字的发音单元对齐的语音段的参考位置信息。
对于每一个该训练样本中的样本文本对应的标注文本中的文字的发音单元，与该发音单元对齐的语音段的参考位置信息包括：与该发音单元对齐的语音段的第一帧在该样本文本对应的样本音频中的参考位置、与该发音单元对齐的语音段的最后一帧在该样本文本对应的样本音频中的参考位置。
与该发音单元对齐的语音段的第一帧在该样本文本对应的样本音频中的参考位置指示与该发音单元对齐的语音段的第一帧为该样本文本对应的样本音频中的第几帧。与该文字发音单元的语音段的最后一帧在该样本文本对应的样本音频中的参考位置指示与该发音单元对齐的语音段的最后一帧为该样本文本对应的样本音频中的第几帧。
对于每一个发音单元，可以直接将与该发音单元对齐的语音段的第一帧在该样本文本对应的样本音频中的参考位置作为与该发音单元对齐的语音段的第一帧在该样本文本对应的样本音频中的最终位置，直接将与该发音单元对齐的语音段的最后一帧在该样本文本对应的样本音频中的参考位置作为与该发音单元对齐的语音段的最后一帧在该样本文本对应的样本音频中的最终位置。
该训练样本的对齐信息包括：每一个该训练样本中的样本文本对应的标注文本中的文字的发音单元的第一帧和最后一帧在该样本文本对应的样本音频中的最终位置。
对于一个训练样本，在通过预设强制对齐算法将该训练样本中的样本文本对应的标注文本和该样本文本对应的样本音频进行初步对齐之后，若确定保留该训练样本中的样本文本对应的标注文本中的第一个文字之前的开头静音单元，通过预设强制对齐算法得到的该训练样本的对齐参考信息包括：与该开头静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的参考位置、与该开头静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的参考位置。
与该开头静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的参考位置指示与该开头静音单元对齐的静音段的第一帧为该样本文本对应的样本音频的第一帧。
与该开头静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的参考位置指示与开头静音单元对齐的静音段的最后一帧为该样本文本对应的样本音频中的第几帧。
可以直接将与该开头静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的参考位置作为与该开头静音单元对齐的静音段在该样本文本对应的样本音频中的最终位置，直接将与该开头静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的参考位置作为与该开头静音单元对齐的静音段在该样本文本对应的样本音频中的最终位置。
该训练样本的对齐信息包括：与该开头静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的最终位置、与该开头静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的最终位置。
对于一个训练样本，在通过预设强制对齐算法将训练样本中的样本文本对应的标注文本和该样本文本对应的样本音频进行初步对齐之后，若通过预设强制对齐算法确定不保留该训练样本中的样本文本对应的标注文本中的第一个文字之前的开头静音单元时，则可以确定与该样本文本对应的标注文本中的开头静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的最终位置。由于与开头静音单元对齐的静音段的第一帧为该样本文本对应的样本音频中的第一帧，因此，可以直接得到与开头静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的最终位置。与开头静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的最终位置指示与开头静音单元对齐的静音段的第一帧为该样本文本对应的样本音频中的第一帧。
当确定与该开头静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的最终位置时，可以根据静音帧和语音帧之间的具有区分度的声学特征，确定与该样本文本对应的样本音频的第一帧的距离最近的语音帧的位置，位于该语音帧之前的一帧为与该开头静音单元对齐的静音段的最后一帧，从而，确定与该开头静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的最终位置。
对于一个训练样本，在通过预设强制对齐算法将训练样本中的样本文本对应的标注文本和该样本文本对应的样本音频进行初步对齐之后，若确定保留该训练样本中的样本文本对应的标注文本中的最后一个文字之后的结尾静音单元，通过预设强制对齐算法得到的该训练样本的对齐参考信息包括：与该结尾静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的参考位置、与该结尾静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的参考位置。
与该结尾静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的参考位置指示与该结尾静音单元对齐的静音段的第一帧为该样本文本对应的样本音频的第几帧。
与该结尾静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的参考位置指示与结尾静音单元对齐的静音段的最后一帧为该样本文本对应的样本音频中的最后一帧。
可以直接将与该结尾静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的参考位置作为与该结尾静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的最终位置，直接将与该结尾静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的参考位置作为与该结尾静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的最终位置。
该训练样本的对齐信息包括：与该结尾静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的最终位置、与该结尾静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的最终位置。
对于一个训练样本，在通过预设强制对齐算法将该训练样本中的样本文本对应的标注文本和该样本文本对应的样本音频进行初步对齐之后，若通过预设强制对齐算法确定不保留该训练样本中的样本文本对应的标注文本中的最后一个文字之后的结尾静音单元，则可以确定与该样本文本对应的标注文本中的结尾静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的最终位置。由于与结尾静音单元对齐的静音段的最后一帧为该样本文本对应的样本音频中的最后一帧，因此，可以直接得到与结尾静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的最终位置。与结尾静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的最终位置指示与结尾静音单元对齐的静音段的最后一帧为该样本文本对应的样本音频中的最后一帧。
当确定与该结尾静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的最终位置时，可以根据静音帧和语音帧之间的具有区分度的声学特征，确定与该样本文本对应的样本音频的最后一帧的距离最近的语音帧的位置，位于该语音帧之后的一帧为与该结尾静音单元对齐的静音段的第一帧，从而，确定与该结尾静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的最终位置。
对于一个训练样本，该训练样本中的样本音频中的除了与开头静音单元对齐的静音段和与结尾静音单元对齐的静音段之外的静音段可以称之为其他静音段。
对于该样本音频中的每一个其他静音段，该其他静音段与该训练样本中的样本文本对应的标注文本中的一个被确定为保留的可选静音单元对齐。
对于一个训练样本，在通过预设强制对齐算法将该训练样本中的样本文本对应的标注文本和该样本文本对应的样本音频进行初步对齐之后，可以确定每一个保留的可选静音单元。
通过预设强制对齐算法得到的该训练样本的对齐参考信息包括：每一个其他静音段的第一帧和最后一帧在该样本文本对应的样本音频中的参考位置。
对于每一个其他静音段，可以直接将其他静音段的第一帧在该样本文本对应的样本音频中的参考位置作为其他静音段的第一帧在样本音频中的最终位置，直接将其他静音段的最后一帧在该样本文本对应的样本音频中的参考位置作为其他静音段的最后一帧在该样本文本对应的样本音频中的最终位置。
该训练样本的对齐信息包括：每一个其他静音段的第一帧和最后一帧在该样本文本对应的样本音频中的最终位置。
以下结合附图说明本申请与现有技术的区别：
请参考图2，其示出了现有技术中对样本文本和样本音频进行强制对齐的一个效果示意图。
一个训练样本包括：样本文本“美团点评”、样本文本“美团点评”的样本音频。样本文本“美团点评”包括：“美”、“团”、“点”、“评”等文字。
图2中示出的弧线表示可能存在静音单元，在现有技术中，样本文本对应的标注文本中的每一个静音单元均为可选静音单元。
在图2中，示出了可选静音单元201、可选静音单元202、可选静音单元203、可选静音单元204、可选静音单元205。
在现有技术中，样本文本“美团点评”对应的标注文本包括：可选静音单元201、文字“美”、可选静音单元202、文字“团”、可选静音单元203、文字“点”、可选静音单元204、文字“评”、可选静音单元205。
在图2中，仅示例性地示出了样本文本“美团点评”的样本音频中的与文字的发音单元对齐的语音段，即以文字为起点的箭头指向的语音段。在进行对齐时，对于每一个文字，该文字的发音单元与相应的语音段进行对齐。具体根据声学模型的发音单元是音素还是音节确定。当发音单元为音节时，文字的发音单元为文字自身，当发音单元为音素时，每一个文字的发音单元的数量为多个。
在现有技术中，对于每一个可选静音单元，采用强制对齐算法确定是否保留可选静音单元。
采用强制对齐算法确定保留可选静音单元203、可选静音单元204、文字“评”、可选静音单元205。
采用强制对齐算法确定不保留可选静音单元201、不保留可选静音单元202。
而样本文本“美团点评”对应的样本音频的开头的音频段为静音段。由于采用强制对齐算法确定不保留可选静音单元201，导致样本文本“美团点评”对应的样本音频的开头的音频段无法与应该对齐的可选静音单元201进行对齐，而是与属于第一个文字“美”的发音单元对齐。
在现有技术中，样本文本“美团点评”对应的样本音频的开头的音频段与属于第一个文字“美”的发音单元对齐，导致在对声学模型进行训练时，样本文本“美团点评”对应的样本音频的开头的音频段即开头的静音段中的静音帧被错误地作为与第一个文字“美”的发音单元对齐的语音段中的语音帧参与声学模型的训练，从而，导致难以对声学模型进行准确地训练。
对声学模型的训练是利用海量的训练样本进行迭代地训练。上述情况可能在大量的训练样本中出现，导致大量应该参与声学模型的训练的静音段没有被作为静音段参与声学模型的训练，导致出现静音吸收问题，导致用于对声学模型进行训练的静音段数量很少，难以对声学模型进行充分地训练。
请参考图3，其示出了本申请中的对样本文本和样本音频进行强制对齐的一个效果示意图。
在图3中，示出了样本文本“美团点评”、样本文本“美团点评”的样本音频。
在对样本文本“美团点评”进行标注时，在样本文本“美团点评”中的第一个文字“美”之前加入开头静音单元301，在样本文本“美团点评”中的最后一个文字“团”之前加入结尾静音单元305。
在本申请中，样本文本“美团点评”对应的标注文本包括：开头静音单元301、文字“美”、可选静音单元302、文字“团”、可选静音单元303、文字“点”、可选静音单元304、文字“评”、结尾静音单元305。
图3中示出的弧线表示可能存在静音单元，开头静音单元301、结尾静音单元305为必须保留的静音单元，相比于现有技术，与开头静音单元301相关的弧线被强制移除，与结尾静音单元305相关的弧线被强制移除。
在图3中，仅示例性地示出了样本文本“美团点评”的样本音频中的与文字的发音单元对齐的语音段，即以文字为起点的箭头指向的语音段。在进行对齐时，对于每一个文字，该文字的发音单元与相应的语音段进行对齐。具体根据声学模型的发音单元是音素还是音节确定。当发音单元为音节时，文字的发音单元为文字自身，当发音单元为音素时，每一个文字的发音单元的数量为多个。
在本申请中，由于样本文本“美团点评”对应的标注文本包括开头静音单元301和结尾静音单元305，样本文本“美团点评”的标注文本可以指示开头静音单元和结尾静音单元均为必须保留的静音单元，因此，当将样本文本“美团点评”对应的标注文本和“美团点评”对应的样本音频进行强制对齐时，可以确保样本文本“美团点评”对应的样本音频的开头的静音段必须与样本文本“美团点评”对应的标注文本中的开头静音单元301进行对齐、样本文本“美团点评”对应的样本音频的结尾的静音段必须与样本文本“美团点评”对应的标注文本中的结尾静音单305进行对齐，确保与开头静音单元对齐的样本音频开头的静音段与开头静音单元一起参与声学模型的训练、与结尾静音单元对齐的样本音频的结尾的静音段与结尾静音单元一起参与声学模型的训练。
在一些实施例中，对于每一个训练样本，可以基于与该训练样本中的样本文本对应的标注文本中的开头静音单元对齐的静音段在该样本文本对应的样本音频中的参考位置，确定与该开头静音单元对齐的静音段在该样本文本对应的样本音频中的最终位置；基于与该训练样本中的样本文本对应的标注文本中的结尾静音单元对齐的静音段在该该样本文本对应的样本音频中的参考位置，确定与该结尾静音单元对齐的静音段在该样本文本对应的样本音频中的最终位置。
对于一个训练样本，在通过预设强制对齐算法将该训练样本中的样本文本和该样本文本对应的样本音频进行初步对齐之后，若通过预设强制对齐算法确定保留该训练样本中的样本文本对应的标注文本中的第一个文字之前的开头静音单元，则通过预设强制对齐算法得到的该训练样本的对齐参考信息包括：与该开头静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的参考位置、与该开头静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的参考位置。
与该开头静音单元对齐的静音段的第一帧为该样本文本对应的样本音频的第一帧，可以直接将与该开头静音单元对齐的静音段的第一帧在与该样本文本对应的样本音频中的参考位置作为与该开头静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的最终位置。
对于与该开头静音单元对齐的静音段的最后一帧，可以选取与该开头静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的参考位置附近的多帧，分别判断选取的多帧中的每一帧是否为静音帧，从而，确定与该开头静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的最终位置。
在确定与该开头静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的最终位置和与该开头静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的最终位置之后，可以确定与该开头静音单元对齐的静音段在该样本文本对应的样本音频中的最终位置。
该训练样本的对齐信息包括：与该开头静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的最终位置、与该开头静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的最终位置。
对于一个训练样本，在通过预设强制对齐算法将训练样本中的样本文本和该样本文本对应的样本音频进行初步对齐之后，若确定保留该训练样本中的样本文本对应的标注文本中的最后一个文字之后的结尾静音单元，则通过预设强制对齐算法得到的该训练样本的对齐参考信息包括：与该结尾静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的参考位置、与该结尾静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的参考位置。
与该结尾静音单元对齐的静音段的最后一帧为该样本文本对应的样本音频的最后一帧，可以将与该结尾静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的参考位置直接作为与该结尾静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的最终位置。
对于与该结尾静音单元对齐的静音段的最后一帧，可以选取与该结尾静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的参考位置附近的多帧，分别判断选取的多帧中的每一帧是否为静音帧，从而，确定与该结尾静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的最终位置。
在确定与该结尾静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的最终位置和与该结尾静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的最终位置之后，可以确定与该结尾静音单元对齐的静音段在该样本文本对应的样本音频中的最终位置。
该训练样本的对齐信息包括：与该结尾静音单元对齐的静音段的第一帧在该样本文本对应的样本音频中的最终位置、与该结尾静音单元对齐的静音段的最后一帧在该样本文本对应的样本音频中的最终位置。
在一些实施例中，对于每一个训练样本，可以对于该训练样本中的样本文本对应的样本音频中的每一个其他静音段，基于该其他静音段的第一帧在该样本文本对应的样本音频中的参考位置，确定其他静音段的第一帧在该样本文本对应的样本音频中的最终位置；基于其他静音段的最后一帧在该样本文本对应的样本音频中的参考位置，确定其他静音段的最后一帧在该样本文本对应的样本音频中的最终位置。
对于一个训练样本，该训练样本中的样本文本对应的样本音频中的除了与开头静音单元对齐的静音段和与结尾静音单元对齐的静音段之外的静音段可以称之为其他静音段。
对于该样本文本对应的样本音频中的每一个其他静音段，该其他静音段与该样本文本对应的标注文本中的一个被确定为保留的可选静音单元对齐。
对于一个训练样本，在通过预设强制对齐算法将该训练样本中的样本文本对应的标注文本和该样本文本对应的样本音频进行初步对齐之后，可以确定每一个保留的可选静音单元。
通过预设强制对齐算法得到的该训练样本的对齐参考信息包括：该样本文本对应的样本音频中的每一个其他静音段在该样本文本对应的样本音频中的参考位置。
对于该样本文本对应的样本音频中的每一个其他静音段，可以选取该其他静音段的第一帧在该样本文本对应的样本音频中的参考位置附近的多帧，分别判断选取的多帧中的每一帧是否为静音帧，从而，确定该其他静音段的第一帧在在该样本文本对应的样本音频中的最终位置。
对于该样本文本对应的样本音频中的每一个其他静音段，可以选取该其他静音段的最后一帧在该样本文本对应的样本音频中的参考位置附近的多帧，分别判断选取的多帧中的每一帧是否为静音帧，从而，确定该其他静音段的最后一帧在在该样本文本对应的样本音频中的最终位置。
对于该样本文本对应的样本音频中的每一个其他静音段，在确定该其他静音段的第一帧在样本音频中在样本音频中的最终位置和该其他静音段的最后一帧在该样本文本对应的样本音频中的最终位置之后，可以确定该其他静音段在该样本文本对应的样本音频中的最终位置，同时，确定与该其他静音段相邻的、与发音单元对齐的语音段的第一帧或最后一帧在在该样本文本对应的样本音频中的最终位置，确定与该其他静音段相邻的、与发音单元对齐的语音段在该样本文本对应的样本音频中的最终位置。
步骤103，利用每一个训练样本的对齐信息，对声学模型进行训练。
在本申请中，在得到每一个训练样本的对齐信息之后，可以利用每一个训练样本的对齐信息，对声学模型进行训练。
在本申请中，由于训练样本中的样本文本对应的标注文本包括开头静音单元和结尾静音单元，因此，训练样本中的样本文本对应的标注文本可以指示开头静音单元和结尾静音单元均为必须保留的静音单元，开头静音单元和结尾静音单元均不是可选静音单元。
因此，当将样本文本对应的标注文本和样本文本对应的样本音频进行强制对齐时，可以确保样本文本对应的样本音频的开头的静音段必须与该开头静音单元进行对齐、样本文本对应的样本音频的结尾的静音段必须与结尾静音单元进行对齐，确保与开头静音单元对齐的样本音频开头的静音段与开头静音单元一起参与声学模型的训练、与结尾静音单元对齐的样本音频结尾的静音段与结尾静音单元一起参与声学模型的训练。
对于每一个训练样本，该训练样本的对齐信息包括：与该训练样本中的样本文本对应的标注文本中的开头静音单元对齐的静音段的第一帧和最后一帧在该样本文本对应的样本音频中的最终位置、与该训练样本中的样本文本对应的标注文本中的结尾静音单元对齐的静音段的第一帧和最后一帧在该样本文本对应的样本音频中的最终位置
例如，一个训练样本包括：样本文本“美团点评”、样本文本“美团点评”对应的样本音频。
该训练样本的对齐信息包括：与样本文本“美团点评”对应的标注文本中的第一个文字“美”之前的开头静音单元对齐的音频段的第一帧和最后一帧在样本文本“美团点评”对应的样本音频中的最终位置、与样本文本“美团点评”对应的标注文本中的最后一个文字“评”之后的结尾静音单元对齐的音频段的第一帧和最后一帧在样本文本“美团点评”对应的样本音频中的最终位置。
训练样本的对齐信息还包括：与样本文本“美团点评”对应的标注文本中的文字“美”的发音单元对齐的音频段的第一帧和最后一帧在样本文本“美团点评”对应的样本音频中的最终位置、与样本文本“美团点评”对应的标注文本中的文字“团”的发音单元对齐的音频段的第一帧和最后一帧在样本文本“美团点评”对应的样本音频中的最终位置、与样本文本“美团点评”对应的标注文本中的文字“点”的发音单元对齐的音频段的第一帧和最后一帧在样本文本“美团点评”对应的样本音频中的最终位置、与样本文本“美团点评”对应的标注文本中的文字“评”的发音单元的音频段的第一帧和最后一帧在样本文本“美团点评”对应的样本音频中的最终位置。
假设在通过预设强制对齐算法进行初步强制对齐之后，确定不保留文字“美”和文字“团”之间的可选静音单元，确定保留位于文字“团”和文字“点”之间的可选静音单元、保留位于文字“点”和文字“评”之间的可选静音单元。
训练样本的对齐信息还包括：与文字“团”和文字“点”之间的可选静音单元对齐的静音段的第一帧和最后一帧在样本文本“美团点评”对应的样本音频中的最终位置、与文字“点”和文字“评”之间的可选静音单元对齐的静音段的第一帧和最后一帧在样本文本“美团点评”对应的样本音频中的最终位置。
在本申请中，对于每一个训练样本，可以根据该训练样本的对齐信息，确定与开头静音单元对齐的、该训练样本中的样本音频的开头的静音段在该训练样本中的样本音频中的最终位置、确定与结尾静音单元对齐的、该训练样本中的样本音频结尾的静音段在该训练样本中的样本音频中的最终位置、确定该训练样本中的样本音频中的与发音单元对齐的语音段在该训练样本中的样本音频中的最终位置、确定该训练样本中的样本音频中的与保留的静音单元对齐的静音段在该训练样本中的样本音频中的最终位置，从而，可以对声学模型进行训练，在利用对声学模型进行训练时，一端为由该训练样本中的样本文本中的文字的发音单元和所有静音单元组成的序列，另一端为由该训练样本中的样本音频的每一帧的声学特征向量组成的声学特征向量序列。
在一些实施例中，当利用每一个训练样本的对齐信息，对声学模型进行训练时，可以利用每一个训练样本的对齐信息，采用交叉熵(Cross Entropy)损失函数或连接时序分类(Connectionist Temporal Classification，CTC)准则对声学模型进行训练。
在一些实施例中，声学模型的发音单元为以下之一：音素、音节、单个文字。
在本申请中，声学模型的建模单元可以为音素。音素可以为声母、韵母，英文音素等。在利用每一个训练样本的对齐信息，对声学模型进行训练时，首先对于训练样本中的样本文本对应的标注文本中的每一个文字，确定该文字的音素，生成包括每一个文字的音素的音素序列，同时，生成训练样本中的样本音频中的每一帧的声学特征向量，得到声学特征向量序列。然后，基于训练样本的对齐信息，利用声学特征向量序列和音素序列，对声学模型进行训练。
在本申请中，声学模型的建模单元可以为音节。在利用每一个训练样本的对齐信息，对声学模型进行训练时，首先对于训练样本中的样本文本对应的标注文本中的每一个文字，确定该文字的音节，生成包括每一个文字的音节的音节序列，同时，生成训练样本中的样本音频中的每一帧的声学特征向量，得到声学特征向量序列。然后，基于训练样本的对齐信息，利用声学特征向量序列和音节序列，对声学模型进行训练。
请参考图4，其示出本申请实施例提供的声学模型训练装置的一个结构示意图。本申请实施例提供的声学模型训练装置中的各个单元被配置为完成的操作的具体实现方式可以参考方法实施例中描述的相应的操作的具体实现方式。
如图4所示，声学模型训练装置包括：获取单元401，对齐单元402，训练单元403。
获取单元401被配置为获取声学模型的多个训练样本，训练样本包括：样本音频和与所述样本音频对应的样本文本；
对齐单元402被配置对于所述多个训练样本中的每一个训练样本，对所述训练样本中的样本文本进行标注形成标注文本；其中，所述对所述训练样本中的样本文本进行标注，包括：在所述样本文本中的第一个文字之前加入开头静音单元；在所述样本文本中的最后一个文字之后加入结尾静音单元；在所述样本文本中的相邻的文字之间加入可选静音单元；将所述训练样本中的样本音频和所述标注文本进行强制对齐，得到所述训练样本的对齐信息；
训练单元403被配置为利用每一个训练样本的对齐信息，对所述声学模型进行训练。
在一些实施例中，声学模型训练装置还包括：
第一位置确定单元，被配置为基于与开头静音单元对齐的静音段在所述样本音频中的参考位置，确定与开头静音单元对齐的静音段在所述样本音频中的最终位置；基于与结尾静音单元对齐的静音段在所述样本音频中的参考位置，确定与结尾静音单元对齐的静音段在所述样本音频中的最终位置，其中，与开头静音单元对齐的静音段在所述样本音频中的参考位置和与结尾静音单元对齐的静音段在所述样本音频中的参考位置通过利用预设强制对齐算法将所述标注文本和所述样本音频进行初步对齐确定。
在一些实施例中，声学模型训练装置还包括：
第二位置确定单元，被配置为对于所述样本音频中的每一个其他静音段，基于所述其他静音段在所述样本音频中的参考位置，确定所述其他静音段在所述样本音频中的最终位置，其中，其他静音段与被确定为保留的可选静音单元对齐，其他静音段在所述样本音频中的参考位置通过利用预设强制对齐算法将所述标注文本和所述样本音频进行初步对齐确定。
在一些实施例中，所述声学模型的发音单元为以下之一：音素、音节。
在一些实施例中，利用每一个训练样本的对齐信息，对所述声学模型进行训练包括：
利用每一个训练样本的对齐信息，采用连接时序分类准则对声学模型进行训练。
本申请还提供了一种电子设备，该电子设备可以配置有一个或多个处理器；存储器，用于存储一个或多个程序，一个或多个程序中可以包括用以执行上述实施例中描述的操作的指令。当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述实施例中描述的操作的指令。
本申请还提供了一种计算机可读介质，该计算机可读介质可以是电子设备中所包括的；也可以是单独存在，未装配入电子设备中。上述计算机可读介质承载有一个或者多个程序，当一个或者多个程序被电子设备执行时，使得电子设备执行上述实施例中描述的操作。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包括或存储程序的有形介质，该程序可以被消息执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多方面形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由消息执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包括的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行消息。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机消息的组合来实现。
以上描述仅为本请求的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术实施例，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术实施例。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术实施例。
Claims (10)
1.一种声学模型训练方法，其特征在于，所述方法包括：
获取声学模型的多个训练样本，训练样本包括：样本音频和与所述样本音频对应的样本文本；
对于所述多个训练样本中的每一个训练样本，对所述训练样本中的样本文本进行标注形成所述样本文本对应的标注文本；其中，所述对所述训练样本中的样本文本进行标注，包括：在所述样本文本中的第一个文字之前加入开头静音单元；在所述样本文本中的最后一个文字之后加入结尾静音单元；在所述样本文本中的相邻的文字之间加入可选静音单元；将所述训练样本中的样本音频和所述标注文本进行强制对齐，得到所述训练样本的对齐信息；
利用每一个训练样本的对齐信息，对所述声学模型进行训练。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于与所述开头静音单元对齐的静音段在所述样本音频中的参考位置，确定与所述开头静音单元对齐的静音段在所述样本音频中的最终位置；
基于与所述结尾静音单元对齐的静音段在所述样本音频中的参考位置，确定与所述结尾静音单元对齐的静音段在所述样本音频中的最终位置，其中，与所述开头静音单元对齐的静音段在所述样本音频中的参考位置和与所述结尾静音单元对齐的静音段在所述样本音频中的参考位置通过利用预设强制对齐算法将所述标注文本和所述样本音频进行初步对齐确定。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
对于所述样本音频中的每一个其他静音段，基于所述其他静音段在所述样本音频中的参考位置，确定所述其他静音段在所述样本音频中的最终位置，其中，其他静音段与被确定为保留的可选静音单元对齐，其他静音段在所述样本音频中的参考位置通过利用预设强制对齐算法将所述标注文本和所述样本音频进行初步对齐确定。
4.根据权利要求1-3之一所述的方法，其特征在于，所述声学模型的发音单元为以下之一：音素、音节。
5.根据权利要求4所述的方法，其特征在于，利用每一个训练样本的对齐信息，对所述声学模型进行训练包括：
利用每一个训练样本的对齐信息，采用交叉熵损失函数或连接时序分类准则对所述声学模型进行训练。
6.一种声学模型训练装置，其特征在于，所述装置包括：
获取单元，被配置为获取声学模型的多个训练样本，训练样本包括：样本音频和与所述样本音频对应的样本文本；
对齐单元，被配置为对于所述多个训练样本中的每一个训练样本，对所述训练样本中的样本文本进行标注，得到所述样本文本对应的标注文本，其中，所述对所述训练样本中的样本文本进行标注，包括：在所述样本文本中的第一个文字之前加入开头静音单元；在所述样本文本中的最后一个文字之后加入结尾静音单元；在所述样本文本中的相邻的文字之间加入可选静音单元；将所述训练样本中的样本音频和所述标注文本进行强制对齐，得到所述训练样本的对齐信息；
训练单元，被配置为利用每一个训练样本的对齐信息，对所述声学模型进行训练。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第一位置确定单元，被配置为基于与所述开头静音单元对齐的静音段在所述样本音频中的参考位置，确定与所述开头静音单元对齐的静音段在所述样本音频中的最终位置；基于与所述结尾静音单元对齐的静音段在所述样本音频中的参考位置，确定与所述结尾静音单元对齐的静音段在所述样本音频中的最终位置，其中，与所述开头静音单元对齐的静音段在所述样本音频中的参考位置和与所述结尾静音单元对齐的静音段在所述样本音频中的参考位置通过利用预设强制对齐算法将所述标注文本和所述样本音频进行初步对齐确定。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第二位置确定单元，被配置为对于所述样本音频中的每一个其他静音段，基于所述其他静音段在所述样本音频中的参考位置，确定所述其他静音段在所述样本音频中的最终位置，其中，其他静音段与被确定为保留的可选静音单元对齐，其他静音段在所述样本音频中的参考位置通过利用预设强制对齐算法将所述标注文本和所述样本音频进行初步对齐确定。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的方法。
10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010537885.4A CN111768763A (zh) | 2020-06-12 | 2020-06-12 | 声学模型训练方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010537885.4A CN111768763A (zh) | 2020-06-12 | 2020-06-12 | 声学模型训练方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111768763A true CN111768763A (zh) | 2020-10-13 |
Family
ID=72720887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010537885.4A Withdrawn CN111768763A (zh) | 2020-06-12 | 2020-06-12 | 声学模型训练方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111768763A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112241467A (zh) * | 2020-12-18 | 2021-01-19 | 北京爱数智慧科技有限公司 | 一种音频查重的方法和装置 |
| CN112542159A (zh) * | 2020-12-01 | 2021-03-23 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种数据处理方法以及设备 |
| CN113011127A (zh) * | 2021-02-08 | 2021-06-22 | 杭州网易云音乐科技有限公司 | 文本注音方法及装置、存储介质和电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6263308B1 (en) * | 2000-03-20 | 2001-07-17 | Microsoft Corporation | Methods and apparatus for performing speech recognition using acoustic models which are improved through an interactive process |
| CN102937972A (zh) * | 2012-10-15 | 2013-02-20 | 上海外教社信息技术有限公司 | 一种视听字幕制作***及方法 |
| CN103985392A (zh) * | 2014-04-16 | 2014-08-13 | 柳超 | 音素级的低功耗的口语评价与缺陷诊断方法 |
| CN105632484A (zh) * | 2016-02-19 | 2016-06-01 | 上海语知义信息技术有限公司 | 语音合成数据库停顿信息自动标注方法及*** |
| CN107039034A (zh) * | 2016-02-04 | 2017-08-11 | 科大讯飞股份有限公司 | 一种韵律预测方法及*** |
| CN108711421A (zh) * | 2017-04-10 | 2018-10-26 | 北京猎户星空科技有限公司 | 一种语音识别声学模型建立方法及装置和电子设备 |
| CN110197658A (zh) * | 2019-05-30 | 2019-09-03 | 百度在线网络技术（北京）有限公司 | 语音处理方法、装置以及电子设备 |
-
2020
- 2020-06-12 CN CN202010537885.4A patent/CN111768763A/zh not_active Withdrawn
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6263308B1 (en) * | 2000-03-20 | 2001-07-17 | Microsoft Corporation | Methods and apparatus for performing speech recognition using acoustic models which are improved through an interactive process |
| CN102937972A (zh) * | 2012-10-15 | 2013-02-20 | 上海外教社信息技术有限公司 | 一种视听字幕制作***及方法 |
| CN103985392A (zh) * | 2014-04-16 | 2014-08-13 | 柳超 | 音素级的低功耗的口语评价与缺陷诊断方法 |
| CN107039034A (zh) * | 2016-02-04 | 2017-08-11 | 科大讯飞股份有限公司 | 一种韵律预测方法及*** |
| CN105632484A (zh) * | 2016-02-19 | 2016-06-01 | 上海语知义信息技术有限公司 | 语音合成数据库停顿信息自动标注方法及*** |
| CN108711421A (zh) * | 2017-04-10 | 2018-10-26 | 北京猎户星空科技有限公司 | 一种语音识别声学模型建立方法及装置和电子设备 |
| CN110197658A (zh) * | 2019-05-30 | 2019-09-03 | 百度在线网络技术（北京）有限公司 | 语音处理方法、装置以及电子设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112542159A (zh) * | 2020-12-01 | 2021-03-23 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种数据处理方法以及设备 |
| CN112542159B (zh) * | 2020-12-01 | 2024-04-09 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种数据处理方法以及设备 |
| CN112241467A (zh) * | 2020-12-18 | 2021-01-19 | 北京爱数智慧科技有限公司 | 一种音频查重的方法和装置 |
| CN113011127A (zh) * | 2021-02-08 | 2021-06-22 | 杭州网易云音乐科技有限公司 | 文本注音方法及装置、存储介质和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107195295B (zh) | 基于中英文混合词典的语音识别方法及装置 | |
| CN107657947B (zh) | 基于人工智能的语音处理方法及其装置 | |
| CN111768763A (zh) | 声学模型训练方法、装置、电子设备及存储介质 | |
| CN109754783B (zh) | 用于确定音频语句的边界的方法和装置 | |
| CN108711420B (zh) | 多语言混杂模型建立、数据获取方法及装置、电子设备 | |
| Dreuw et al. | Benchmark databases for video-based automatic sign language recognition | |
| CN107039034B (zh) | 一种韵律预测方法及*** | |
| CN111681642B (zh) | 语音识别评估方法、装置、存储介质及设备 | |
| US20160019816A1 (en) | Language Learning Tool | |
| CN109326281B (zh) | 韵律标注方法、装置和设备 | |
| CN110265028B (zh) | 语音合成语料库的构建方法、装置及设备 | |
| CN112365878B (zh) | 语音合成方法、装置、设备及计算机可读存储介质 | |
| CN111369974B (zh) | 一种方言发音标注方法、语言识别方法及相关装置 | |
| CN109448704A (zh) | 语音解码图的构建方法、装置、服务器和存储介质 | |
| CN109102824B (zh) | 基于人机交互的语音纠错方法和装置 | |
| CN104464751A (zh) | 发音韵律问题的检测方法及装置 | |
| CN113053390B (zh) | 基于语音识别的文本处理方法、装置、电子设备及介质 | |
| CN110691258A (zh) | 一种节目素材制作方法、装置及计算机存储介质、电子设备 | |
| Pons et al. | Score-informed syllable segmentation for a cappella singing voice with convolutional neural networks | |
| CN110853627B (zh) | 用于语音标注的方法及*** | |
| CN115269884A (zh) | 生成视频语料的方法、装置及相关设备 | |
| CN113921011A (zh) | 音频处理方法、装置及设备 | |
| Hassan et al. | Improvement in automatic speech recognition of south asian accent using transfer learning of deepspeech2 | |
| CN113593522A (zh) | 一种语音数据标注方法和装置 | |
| CN114783405B (zh) | 一种语音合成方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201013 |
|
| WW01 | Invention patent application withdrawn after publication |