JP7218803B2 - モデル学習装置、方法及びプログラム - Google Patents
モデル学習装置、方法及びプログラム Download PDFInfo
- Publication number
- JP7218803B2 JP7218803B2 JP2021525420A JP2021525420A JP7218803B2 JP 7218803 B2 JP7218803 B2 JP 7218803B2 JP 2021525420 A JP2021525420 A JP 2021525420A JP 2021525420 A JP2021525420 A JP 2021525420A JP 7218803 B2 JP7218803 B2 JP 7218803B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- model
- string
- probability distribution
- output probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 14
- 238000009826 distribution Methods 0.000 claims description 73
- 239000012634 fragment Substances 0.000 claims description 40
- 238000012821 model calculation Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 26
- 238000003062 neural network model Methods 0.000 description 12
- 239000013598 vector Substances 0.000 description 11
- 125000000174 L-prolyl group Chemical group [H]N1C([H])([H])C([H])([H])C([H])([H])[C@@]1([H])C(*)=O 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 101150039208 KCNK3 gene Proteins 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/025—Phonemes, fenemes or fenones being the recognition units
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
第一モデル計算部1は、音響特徴量を第一モデルに入力した場合の第一情報の出力確率分布を計算し、最も大きな出力確率を有する第一情報を出力する(ステップS1)。
中間特徴量計算部11には、音響特徴量が入力される。
出力確率分布計算部12には、中間特徴量計算部11が計算した中間特徴量が入力される。
特徴量抽出部2には、第一モデル計算部1が出力した第一情報の列が入力される。また、後述するように、新たに学習しようとする第一情報の列がある場合には、その新たに学習しようとする第一情報の列が入力される。
また各断片の書記素の組み合わせが複数ある場合、例えば第一情報の列"Theseissuedprograms."の文法を考慮せずに書記素に分解したいずれかとなる。
"The/the", "SE/SE", "issued/issued", "programs/programs", "./."
"The/the", "SE/SE", "issued/issued", "pro/pro", "grams/grams", "./."
"The/the", "SE/SE", "is/is", "sued/sued", "programs/programs", "./."
"The/the", "SE/SE", "is/is", "sued/sued", "pro/pro", "grams/grams", "./."
"These/these", "issued/issued", "programs/programs", "./."
"These/these", "issued/issued", "pro/pro", "grams/grams", "./."
"These/these", "is/is", "sued/sued", "programs/programs", "./."
"These/these", "is/is", "sued/sued", "pro/pro", "grams/grams", "./."
また、例えば、第一モデル計算部1が出力した第一情報の列が"キョウワヨイテンキデス"という音節で表現された音節の列であったとする。
第二モデル計算部3には、特徴量抽出部2により抽出された特徴量が入力される。
中間特徴量計算部31には、音響特徴量が入力される。
出力確率分布計算部32には、中間特徴量計算部31が計算した中間特徴量が入力される。
モデル更新部4には、第一モデル計算部1により計算された第一情報の出力確率分布及び音響特徴量に対応する正解ユニット番号が入力される。また、モデル更新部4には、第二モデル計算部3により計算された第二情報の出力確率分布及び第一情報の列に対応する正解ユニット番号が入力される。
例えば、第一モデルと第二モデルを同時に最適化させることで、より良い認識精度のモデルが学習可能であることが実験により確認されている。例えば、第一モデルと第二モデルを別々に最適化した場合には、所定のTask1及びTask2における単語誤り率はそれぞれ16.4%と14.6%であった。これに対して、第一モデルと第二モデルを同時に最適化した場合には、所定のTask1及びTask2における単語誤り率はそれぞれ15.7%と13.2%であった。このように、Task1及びTask2のそれぞれにおいて、第一モデルと第二モデルを同時に最適化した場合の方が、単語誤り率が低くなっている。
以上、本発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、本発明に含まれることはいうまでもない。
上記説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。例えば、上述の各種の処理は、図4に示すコンピュータの記録部2020に、実行させるプログラムを読み込ませ、制御部2010、入力部2030、出力部2040などに動作させることで実施できる。
11 中間特徴量計算部
12 出力確率分布計算部
2 特徴量抽出部
3 第二モデル計算部
31 中間特徴量計算部
32 出力確率分布計算部
4 モデル更新部
5 第一情報列生成部
Claims (6)
- 第一の表現形式で表現された情報を第一情報とし、第二の表現形式で表現された情報を第二情報とし、
音響特徴量を入力とし、音響特徴量に対応する第一情報の出力確率分布を出力するモデルを第一モデルとし、
第一情報の列を所定の単位で区切った各断片に対応する特徴量を入力とし、第一情報の列における前記各断片の次の断片に対応する第二情報の出力確率分布を出力するモデルを第二モデルとして、
音響特徴量を前記第一モデルに入力した場合の第一情報の出力確率分布を計算し、最も大きな出力確率を有する第一情報を出力する第一モデル計算部と、
前記出力された第一情報の列を所定の単位で区切った各断片に対応する特徴量を抽出する特徴量抽出部と、
前記抽出された特徴量を、前記第二モデルに入力した場合の第二情報の出力確率分布を計算する第二モデル計算部と、
前記第一モデル計算部で計算された第一情報の出力確率分布と前記音響特徴量に対応する正解ユニット番号とに基づく第一モデルの更新と、前記第二モデル計算部で計算された第二情報の出力確率分布と前記第一情報の列に対応する正解ユニット番号とに基づく前記第二モデルの更新との少なくとも一方を行うモデル更新部と、を含み、
対応する音響特徴量がない新たに学習しようとする第一情報の列がある場合には、
前記特徴量抽出部及び前記第二モデル計算部は、前記出力された第一情報の列に代えて、前記新たに学習しようとする第一情報の列に対して前記と同様の処理を行い、前記新たに学習しようとする第一情報の列に対応する、第二情報の出力確率分布を計算し、
前記モデル更新部は、前記第二モデル計算部で計算された、前記新たに学習しようとする第一情報の列に対応する、第二情報の列の出力確率分布と前記新たに学習しようとする第一情報の列に対応する正解ユニット番号とに基づく前記第二モデルの更新を行う、
モデル学習装置。 - 請求項1のモデル学習装置であって、
前記モデル学習部は、前記第一モデル計算部で計算された第一情報の出力確率分布と前記音響特徴量に対応する正解ユニット番号とに基づく第一モデルの更新と、前記第二モデル計算部で計算された第二情報の出力確率分布と前記第一情報の列に対応する正解ユニット番号とに基づく前記第二モデルの更新との両方を行う、
モデル学習装置。 - 請求項1又は2のモデル学習装置であって、
前記第一情報は、音素又は書記素であり、
前記所定の単位は、音節又は書記素であり、
前記第二情報は、単語である、
モデル学習装置。 - 請求項1から3の何れかのモデル学習装置であって、
入力された情報の列を第一情報の列に変換し、前記新たに学習しようとする第一情報の列とする第一情報列生成部を更に含む、
モデル学習装置。 - 第一の表現形式で表現された情報を第一情報とし、第二の表現形式で表現された情報を第二情報とし、
音響特徴量を入力とし、音響特徴量に対応する第一情報の出力確率分布を出力するモデルを第一モデルとし、
第一情報の列を所定の単位で区切った各断片に対応する特徴量を入力とし、第一情報の列における前記各断片の次の断片に対応する第二情報の出力確率分布を出力するモデルを第二モデルとして、
第一モデル計算部が、音響特徴量を前記第一モデルに入力した場合の第一情報の出力確率分布を計算し、最も大きな出力確率を有する第一情報を出力する第一モデル計算ステップと、
特徴量抽出部が、前記出力された第一情報の列を所定の単位で区切った各断片に対応する特徴量を抽出する特徴量抽出ステップと、
第二モデル計算部が、前記抽出された特徴量を、前記第二モデルに入力した場合の第二情報の出力確率分布を計算する第二モデル計算ステップと、
モデル更新部が、前記第一モデル計算部で計算された第一情報の出力確率分布と前記音響特徴量に対応する正解ユニット番号とに基づく第一モデルの更新と、前記第二モデル計算部で計算された第二情報の出力確率分布と前記第一情報の列に対応する正解ユニット番号とに基づく前記第二モデルの更新との少なくとも一方を行うモデル更新ステップと、を含み、
対応する音響特徴量がない新たに学習しようとする第一情報の列がある場合には、
前記特徴量抽出ステップ及び前記第二モデル計算ステップは、前記出力された第一情報の列に代えて、前記新たに学習しようとする第一情報の列に対して前記と同様の処理を行い、前記新たに学習しようとする第一情報の列に対応する、第二情報の出力確率分布を計算し、
前記モデル更新ステップは、前記第二モデル計算部で計算された、前記新たに学習しようとする第一情報の列に対応する、第二情報の列の出力確率分布と前記新たに学習しようとする第一情報の列に対応する正解ユニット番号とに基づく前記第二モデルの更新を行う、
モデル学習方法。 - 請求項1から4の何れかのモデル学習装置の各部としてコンピュータを機能させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/022953 WO2020250279A1 (ja) | 2019-06-10 | 2019-06-10 | モデル学習装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020250279A1 JPWO2020250279A1 (ja) | 2020-12-17 |
JP7218803B2 true JP7218803B2 (ja) | 2023-02-07 |
Family
ID=73780737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021525420A Active JP7218803B2 (ja) | 2019-06-10 | 2019-06-10 | モデル学習装置、方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220230630A1 (ja) |
JP (1) | JP7218803B2 (ja) |
WO (1) | WO2020250279A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222121B (zh) * | 2021-05-31 | 2023-08-29 | 杭州海康威视数字技术股份有限公司 | 一种数据处理方法、装置及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014134640A (ja) | 2013-01-09 | 2014-07-24 | Nippon Hoso Kyokai <Nhk> | 文字起こし装置およびプログラム |
JP2015040908A (ja) | 2013-08-20 | 2015-03-02 | 株式会社リコー | 情報処理装置、情報更新プログラム及び情報更新方法 |
WO2017159207A1 (ja) | 2016-03-14 | 2017-09-21 | シャープ株式会社 | 処理実行装置、処理実行装置の制御方法、および制御プログラム |
WO2018051841A1 (ja) | 2016-09-16 | 2018-03-22 | 日本電信電話株式会社 | モデル学習装置、その方法、及びプログラム |
JP2018128574A (ja) | 2017-02-08 | 2018-08-16 | 日本電信電話株式会社 | 中間特徴量計算装置、音響モデル学習装置、音声認識装置、中間特徴量計算方法、音響モデル学習方法、音声認識方法、プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9177550B2 (en) * | 2013-03-06 | 2015-11-03 | Microsoft Technology Licensing, Llc | Conservatively adapting a deep neural network in a recognition system |
US11443169B2 (en) * | 2016-02-19 | 2022-09-13 | International Business Machines Corporation | Adaptation of model for recognition processing |
CN107680597B (zh) * | 2017-10-23 | 2019-07-09 | 平安科技(深圳)有限公司 | 语音识别方法、装置、设备以及计算机可读存储介质 |
US12008987B2 (en) * | 2018-04-30 | 2024-06-11 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for decoding intended speech from neuronal activity |
JP2019211627A (ja) * | 2018-06-05 | 2019-12-12 | 日本電信電話株式会社 | モデル学習装置、方法及びプログラム |
-
2019
- 2019-06-10 WO PCT/JP2019/022953 patent/WO2020250279A1/ja active Application Filing
- 2019-06-10 JP JP2021525420A patent/JP7218803B2/ja active Active
- 2019-06-10 US US17/617,556 patent/US20220230630A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014134640A (ja) | 2013-01-09 | 2014-07-24 | Nippon Hoso Kyokai <Nhk> | 文字起こし装置およびプログラム |
JP2015040908A (ja) | 2013-08-20 | 2015-03-02 | 株式会社リコー | 情報処理装置、情報更新プログラム及び情報更新方法 |
WO2017159207A1 (ja) | 2016-03-14 | 2017-09-21 | シャープ株式会社 | 処理実行装置、処理実行装置の制御方法、および制御プログラム |
WO2018051841A1 (ja) | 2016-09-16 | 2018-03-22 | 日本電信電話株式会社 | モデル学習装置、その方法、及びプログラム |
JP2018128574A (ja) | 2017-02-08 | 2018-08-16 | 日本電信電話株式会社 | 中間特徴量計算装置、音響モデル学習装置、音声認識装置、中間特徴量計算方法、音響モデル学習方法、音声認識方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020250279A1 (ja) | 2020-12-17 |
WO2020250279A1 (ja) | 2020-12-17 |
US20220230630A1 (en) | 2022-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113811946B (zh) | 数字序列的端到端自动语音识别 | |
Abandah et al. | Automatic diacritization of Arabic text using recurrent neural networks | |
JP3768205B2 (ja) | 形態素解析装置、形態素解析方法及び形態素解析プログラム | |
JP2020505650A (ja) | 音声認識システム及び音声認識の方法 | |
KR102375115B1 (ko) | 엔드-투-엔드 모델들에서 교차-언어 음성 인식을 위한 음소-기반 컨텍스트화 | |
CN111557029A (zh) | 用于训练多语言语音识别网络的方法和***以及用于执行多语言语音识别的语音识别*** | |
US20210035556A1 (en) | Fine-tuning language models for supervised learning tasks via dataset preprocessing | |
CN103854643B (zh) | 用于合成语音的方法和装置 | |
JP2019159654A (ja) | 時系列情報の学習システム、方法およびニューラルネットワークモデル | |
CN113642316B (zh) | 中文文本纠错方法、装置、电子设备及存储介质 | |
CN112397056B (zh) | 语音评测方法及计算机存储介质 | |
CN115293138A (zh) | 一种文本纠错方法及计算机设备 | |
CN118043885A (zh) | 用于半监督语音识别的对比孪生网络 | |
JP2006338261A (ja) | 翻訳装置、翻訳方法及び翻訳プログラム | |
Tian et al. | Integrating lattice-free MMI into end-to-end speech recognition | |
JP7218803B2 (ja) | モデル学習装置、方法及びプログラム | |
JP6605997B2 (ja) | 学習装置、学習方法及びプログラム | |
Bai et al. | Integrating knowledge into end-to-end speech recognition from external text-only data | |
Route et al. | Multimodal, multilingual grapheme-to-phoneme conversion for low-resource languages | |
CN115906854A (zh) | 一种基于多级对抗的跨语言命名实体识别模型训练方法 | |
JP6545633B2 (ja) | 単語スコア計算装置、単語スコア計算方法及びプログラム | |
CN114444492A (zh) | 一种非标准词类判别方法及计算机可读存储介质 | |
Bang et al. | Pronunciation variants prediction method to detect mispronunciations by Korean learners of English | |
Matsushima | Dutch dysarthric speech recognition: Applying self-supervised learning to overcome the data scarcity issue | |
Azim et al. | Using Character-Level Sequence-to-Sequence Model for Word Level Text Generation to Enhance Arabic Speech Recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7218803 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |