JP2020086437A - 音声認識方法及び音声認識装置 - Google Patents
音声認識方法及び音声認識装置 Download PDFInfo
- Publication number
- JP2020086437A JP2020086437A JP2019183896A JP2019183896A JP2020086437A JP 2020086437 A JP2020086437 A JP 2020086437A JP 2019183896 A JP2019183896 A JP 2019183896A JP 2019183896 A JP2019183896 A JP 2019183896A JP 2020086437 A JP2020086437 A JP 2020086437A
- Authority
- JP
- Japan
- Prior art keywords
- score
- weight value
- voice
- language model
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013528 artificial neural network Methods 0.000 claims description 27
- 239000000284 extract Substances 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 16
- 230000014509 gene expression Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/005—Language recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
- G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
- G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
- G10L15/197—Probabilistic grammars, e.g. word n-grams
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
p(s)=De(s)+wa×LMa(s)+wb×LMb(s)+wc×LMc(s)
数式(1)において、p(s)は特定の候補テキストsに対する最終スコアであり、De(s)はデコーダ330から出力された候補テキストsに対する第1スコアを示す。LMa(s)、LMb(s)及びLMc(s)は、それぞれ候補テキストsに対する第1言語モデル362、第2言語モデル364、及び第3言語モデル366の第2、第3及び第4スコアを示す。wa、wb及びwcは、加重値決定器340によって決定された第1、第2、及び第3加重値を示す。音声入力310のタイプ、音声入力310が行われる環境及び/又は音声認識が実行される機器の種類などにより、wa、wb及びwcの値が調整される。例えば、音声入力310のタイプと関連度の高い言語モデルに適用される加重値が、関連度の低い異なる言語モデルに適用される加重値よりも大きく設定される。音声認識装置は、各候補テキストに対するp(s)のうち、最も大きいp(s)を示す候補テキストをターゲット候補テキストとして選択する。
110、1100:音声認識装置
130、1140:言語モデルデータベース
320、520、620、1020:エンコーダ
330、530、640、1030:デコーダ
340、540、640、820、1040:加重値決定器
362:第1言語モデル
364:第2言語モデル
366:第3言語モデル
560、650、1050:言語モデル
570:ターゲットテキスト決定器
1110:プロセッサ
1120:メモリ
1130:入出力インタフェース
Claims (30)
- 音声入力に基づいて候補テキストに対する第1スコアを決定するステップと、
前記音声入力に基づいて言語モデルの出力に適用される加重値を決定するステップと、
加重値が適用された第2スコアを取得するために、前記言語モデルから出力された前記候補テキストに対する第2スコアに前記決定された加重値を適用するステップと、
前記第1スコアと前記加重値が適用された第2スコアとに基づいて、前記候補テキストのうちターゲット候補テキストを選択するステップと、
前記選択されたターゲット候補テキストを前記音声入力の少なくとも一部に対応するターゲットテキストとして決定するステップと、
を含む音声認識方法。 - 前記加重値を決定するステップは、前記音声入力と以前時点で決定されたターゲットテキストに基づいて、現在時点で前記言語モデルの出力に適用される加重値を決定するステップを含む、請求項1に記載の音声認識方法。
- 前記以前時点で決定されたターゲットテキストは、音声認識の開始時点から前記現在時点のすぐ以前時点まで決定された1つ以上のターゲットテキストのうちの1つ又はいずれかの組合せを含む、請求項2に記載の音声認識方法。
- 前記加重値を決定するステップは、前記音声入力及びコンテキスト情報に基づいて前記加重値を決定するステップを含む、請求項1に記載の音声認識方法。
- 前記コンテキスト情報は、前記音声入力を入力するユーザに対するユーザ情報、時間情報、位置情報、言語情報、音声認識ヒストリー情報、及び現在動作中であるアプリケーション情報のうち1つ又はいずれかの組合せを含む、請求項4に記載の音声認識方法。
- 前記加重値を決定するステップは、前記音声入力、以前時点で決定されたターゲットテキスト及びコンテキスト情報に基づいて、現在時点で前記言語モデルの出力に適用される加重値を決定するステップを含む、請求項1に記載の音声認識方法。
- 前記ターゲット候補テキストを選択するステップは、前記候補テキストのうち前記第1スコアと前記加重値が適用された第2スコアの合計が最も大きい候補テキストを前記ターゲット候補テキストとして選択するステップを含む、請求項1−6のうちの何れか1項に記載の音声認識方法。
- 前記加重値を決定するステップは、
前記音声入力から特徴値を抽出するステップと、
前記加重値を決定するためにニューラルネットワーク基盤の加重値決定器に前記特徴値を提供するステップと、
を含む、請求項1に記載の音声認識方法。 - 前記第1スコアを決定するステップは、
ニューラルネットワーク基盤のエンコーダを用いて前記音声入力から特徴値を抽出するステップと、
ニューラルネットワーク基盤のデコーダを用いて前記抽出された特徴値から前記候補テキストそれぞれに対する第1スコアを決定するステップと、
を含む、請求項1−8のうちの何れか1項に記載の音声認識方法。 - 前記言語モデルは、複数の言語モデルを含み、
前記加重値を決定するステップは、前記複数の言語モデルそれぞれの出力に適用される加重値を決定する、請求項1−8のうちの何れか1項に記載の音声認識方法。 - 前記複数の言語モデルは、第1言語モデル及び第2言語モデルを含み、
前記第1言語モデルは、前記候補テキストに対する第2スコアを出力し、
前記第2言語モデルは、前記候補テキストに対する第3スコアを出力し、
前記加重値を決定するステップは、前記第2スコアに適用される第1加重値と前記第3スコアに適用される第2加重値とを決定し、
前記ターゲット候補テキストを選択するステップは、前記第1スコア、前記第1加重値が適用された第2スコア及び前記第2加重値が適用された第3スコアに基づいて、前記候補テキストのうち前記ターゲット候補テキストを選択するステップを含む、請求項10に記載の音声認識方法。 - 前記言語モデルは、複数の言語モデルを含み、
前記加重値を決定するステップは、
前記複数の言語モデルのうち前記加重値が適用される1つ以上の言語モデルを選択するステップと、
前記選択された1つ以上の言語モデルの出力に適用される加重値を決定するステップと、
を含む、請求項1−9のうちの何れか1項に記載の音声認識方法。 - 前記言語モデルは、以前時点で決定されたターゲットテキストに基づいて前記以前時点で決定されたターゲットテキストに続く次のターゲットテキストを決定するための各候補テキストに対応する第2スコアを出力する、請求項1−9のうちの何れか1項に記載の音声認識方法。
- 前記候補テキストそれぞれは、単語、部分単語、句、及び文章のいずれか1つである、請求項1−13のうちの何れか1項に記載の音声認識方法。
- 前記第1スコアを決定するステップは、以前の時間区間におけるニューラルネットワーク基盤のデコーダの出力及び前記音声入力に基づいて前記第1スコアを決定するステップを含む、請求項1−8のうちの何れか1項に記載の音声認識方法。
- 前記言語モデルは、複数の言語モデルを含み、
前記言語モデルそれぞれの加重値は、前記音声入力のタイプに基づいて動的に調整される、請求項1−9のうちの何れか1項に記載の音声認識方法。 - 前記音声入力のタイプは、前記音声入力のコンテキスト、音声認識が実行される環境、前記音声入力に含まれた単語のタイプ、前記音声認識が実行される装置のタイプ、及び前記音声入力が実行される音声のタイプのいずれか1つ又はいずれかの組合せある、請求項16に記載の音声認識方法。
- 請求項1−17のうちの何れか1項に記載の音声認識方法を音声認識装置のコンピュータに実行させるコンピュータプログラム。
- ユーザから音声入力を受信する音声インタフェースと、
前記音声入力に基づいて音声認識を行うプロセッサと、を含み、
前記プロセッサは、
前記音声入力に基づいて候補テキストに対する第1スコアを決定し、
前記音声入力に基づいて言語モデルの出力に適用される加重値を決定し、
加重値が適用された第2スコアを取得するために、前記言語モデルから出力された前記候補テキストに対する第2スコアに前記決定された加重値を適用し、
前記第1スコアと前記加重値が適用された第2スコアとに基づいて、前記候補テキストのうちターゲット候補テキストを選択し、
前記選択されたターゲット候補テキストを前記音声入力の少なくとも一部に対応するターゲットテキストとして決定する、
音声認識装置。 - 前記プロセッサは、前記音声入力と以前時点で決定されたターゲットテキストに基づいて、現在時点で前記言語モデルの出力に適用される加重値を決定する、請求項19に記載の音声認識装置。
- 前記プロセッサは、前記音声入力及びコンテキスト情報に基づいて前記加重値を決定する、請求項19に記載の音声認識装置。
- 前記プロセッサは、
前記音声入力から特徴値を抽出し、
前記抽出された特徴値に対応する加重値を出力するニューラルネットワーク基盤の加重値決定器を用いて前記加重値を決定する、請求項19に記載の音声認識装置。 - 前記言語モデルは、前記候補テキストに対する第2スコアを出力する第1言語モデル及び前記候補テキストに対する第3スコアを出力する第2言語モデルを含み、
前記プロセッサは、
前記第2スコアに適用される第1加重値と前記第3スコアに適用される第2加重値とを決定し、
前記第1スコア、前記第1加重値が適用された第2スコア、及び前記第2加重値が適用された第3スコアに基づいて、前記候補テキストのうち前記ターゲット候補テキストを選択する、請求項19に記載の音声認識装置。 - 前記言語モデルは、複数の言語モデルを含み、
前記プロセッサは、
前記複数の言語モデルのうち前記加重値が適用される1つ以上の言語モデルを選択し、
前記選択された1つ以上の言語モデルの出力に適用される加重値を決定する、請求項19に記載の音声認識装置。 - 音声を受信するセンサと、
言語モデル及び命令を格納するメモリと、
前記命令を実行するプロセッサと、を含み、
前記プロセッサは、前記命令を行うことによって、
前記音声を符号化することをエンコーダに実行させ、
前記符号化された音声に基づいて候補テキストの第1スコアを決定することをデコーダに実行させ、
前記エンコーダの出力に基づいて前記言語モデルそれぞれに対応する加重値を決定することを加重値決定器に実行させ、
前記言語モデルそれぞれに基づいて前記候補テキストに対応する第2スコアを決定し、
加重値が適用された第2スコアを取得するために、前記言語モデルそれぞれから出力された前記候補テキストに対する第2スコアに前記決定された加重値を適用し、
前記候補テキストのうち、前記第1スコアの合計及び前記候補テキストに対応する加重値が適用された第2スコアに基づいて前記音声の一部に対応するターゲット候補テキストを認識する、音声認識装置。 - 前記エンコーダは前記音声から特徴値を抽出し、
前記デコーダは、前記特徴値に基づいて前記第1スコアと前記候補テキストを出力する、請求項25に記載の音声認識装置。 - 前記加重値決定器は、前記音声のうちユーザ名が検出されたことに応答して、前記音声認識装置を実行する装置に格納された連絡先情報に対応する言語モデルの加重値を増加させる、請求項25又は26に記載の音声認識装置。
- 前記加重値決定器は、以前に決定されたターゲットテキスト及び前記エンコーダの出力に基づいて前記加重値を決定する、請求項25又は26に記載の音声認識装置。
- 前記加重値決定器は、前記エンコーダの出力及びコンテキスト情報に基づいて前記加重値を決定し、
前記コンテキスト情報は、前記音声を入力するユーザに対するユーザ情報、時間情報、位置情報、言語情報、音声認識ヒストリー情報、及び現在動作中であるアプリケーション情報のいずれか1つ又はいずれかの組合せを含む、請求項25又は26に記載の音声認識装置。 - 前記エンコーダ、前記デコーダ、及び前記加重値決定器のそれぞれは、ニューラルネットワークに基づいて実行される、請求項25−29のうち何れか1項に記載の音声認識装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180144753A KR20200059703A (ko) | 2018-11-21 | 2018-11-21 | 음성 인식 방법 및 음성 인식 장치 |
KR10-2018-0144753 | 2018-11-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020086437A true JP2020086437A (ja) | 2020-06-04 |
JP7452968B2 JP7452968B2 (ja) | 2024-03-19 |
Family
ID=66826927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019183896A Active JP7452968B2 (ja) | 2018-11-21 | 2019-10-04 | 音声認識方法及び音声認識装置 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11100916B2 (ja) |
EP (1) | EP3657501B1 (ja) |
JP (1) | JP7452968B2 (ja) |
KR (1) | KR20200059703A (ja) |
CN (1) | CN111292728B (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6820632B1 (ja) * | 2020-10-05 | 2021-01-27 | 株式会社グルーパー | 情報処理装置、及びプログラム |
JPWO2022038692A1 (ja) * | 2020-08-19 | 2022-02-24 | ||
WO2022269760A1 (ja) * | 2021-06-22 | 2022-12-29 | ファナック株式会社 | 音声認識装置 |
JP2023077365A (ja) * | 2021-11-24 | 2023-06-05 | インハ インダストリー パートナーシップ インスティテュート | メタバースプラットフォームを利用した複合現実における複雑な機械類の訓練、教育、および広告システム |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
CN104969289B (zh) | 2013-02-07 | 2021-05-28 | 苹果公司 | 数字助理的语音触发器 |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11043214B1 (en) * | 2018-11-29 | 2021-06-22 | Amazon Technologies, Inc. | Speech recognition using dialog history |
US11599773B2 (en) * | 2018-12-27 | 2023-03-07 | Micron Technology, Inc. | Neural networks and systems for decoding encoded data |
US11158307B1 (en) * | 2019-03-25 | 2021-10-26 | Amazon Technologies, Inc. | Alternate utterance generation |
US11475884B2 (en) * | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11107475B2 (en) * | 2019-05-09 | 2021-08-31 | Rovi Guides, Inc. | Word correction using automatic speech recognition (ASR) incremental response |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
KR20210014949A (ko) * | 2019-07-31 | 2021-02-10 | 삼성전자주식회사 | 음성 인식을 위한 인공신경망에서의 디코딩 방법 및 장치 |
US11295732B2 (en) * | 2019-08-01 | 2022-04-05 | Soundhound, Inc. | Dynamic interpolation for hybrid language models |
KR20210016767A (ko) * | 2019-08-05 | 2021-02-17 | 삼성전자주식회사 | 음성 인식 방법 및 음성 인식 장치 |
KR102281602B1 (ko) * | 2019-08-21 | 2021-07-29 | 엘지전자 주식회사 | 사용자의 발화 음성을 인식하는 인공 지능 장치 및 그 방법 |
KR20190118539A (ko) * | 2019-09-30 | 2019-10-18 | 엘지전자 주식회사 | 발화 스타일을 고려하여 음성을 인식하는 인공 지능 장치 및 그 방법 |
KR20210042707A (ko) * | 2019-10-10 | 2021-04-20 | 삼성전자주식회사 | 음성 처리 방법 및 장치 |
US11424764B2 (en) | 2019-11-13 | 2022-08-23 | Micron Technology, Inc. | Recurrent neural networks and systems for decoding encoded data |
US11482214B1 (en) * | 2019-12-12 | 2022-10-25 | Amazon Technologies, Inc. | Hypothesis generation and selection for inverse text normalization for search |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
CN113763943A (zh) * | 2020-06-04 | 2021-12-07 | 微软技术许可有限责任公司 | 在语音识别结果中实时地提供提示 |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
KR20220020723A (ko) | 2020-08-12 | 2022-02-21 | 삼성전자주식회사 | 사용자의 음성 입력을 인식하는 디바이스 및 그 동작 방법 |
CN111951807A (zh) * | 2020-08-21 | 2020-11-17 | 上海依图网络科技有限公司 | 语音内容检测方法及其装置、介质和*** |
CN112349289B (zh) * | 2020-09-28 | 2023-12-29 | 北京捷通华声科技股份有限公司 | 一种语音识别方法、装置、设备以及存储介质 |
CN112185363B (zh) * | 2020-10-21 | 2024-02-13 | 北京猿力未来科技有限公司 | 音频处理方法及装置 |
CN112102815B (zh) * | 2020-11-13 | 2021-07-13 | 深圳追一科技有限公司 | 语音识别方法、装置、计算机设备和存储介质 |
CN113421551B (zh) * | 2020-11-16 | 2023-12-19 | 腾讯科技(深圳)有限公司 | 语音识别方法、装置、计算机可读介质及电子设备 |
CN112102812B (zh) * | 2020-11-19 | 2021-02-05 | 成都启英泰伦科技有限公司 | 一种基于多声学模型的防误唤醒方法 |
KR20220125611A (ko) * | 2021-03-05 | 2022-09-14 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US12020710B2 (en) | 2021-03-05 | 2024-06-25 | Samsung Electronics Co., Ltd. | Electronic apparatus and controlling method thereof |
CN117378005A (zh) * | 2021-03-26 | 2024-01-09 | 谷歌有限责任公司 | 用于自动语音识别的多语言重新评分模型 |
CN113051400A (zh) * | 2021-03-31 | 2021-06-29 | 北京字节跳动网络技术有限公司 | 标注数据确定方法、装置、可读介质及电子设备 |
US11563449B2 (en) * | 2021-04-27 | 2023-01-24 | Micron Technology, Inc. | Systems for error reduction of encoded data using neural networks |
US11973513B2 (en) | 2021-04-27 | 2024-04-30 | Micron Technology, Inc. | Decoders and systems for decoding encoded data using neural networks |
CN113160820B (zh) * | 2021-04-28 | 2024-02-27 | 百度在线网络技术(北京)有限公司 | 语音识别的方法、语音识别模型的训练方法、装置及设备 |
US20220383877A1 (en) * | 2021-05-25 | 2022-12-01 | Samsung Electronics Co., Ltd. | Electronic device and operation method thereof |
US20220398474A1 (en) * | 2021-06-04 | 2022-12-15 | Nuance Communications, Inc. | System and Method for Contextual Density Ratio-based Biasing of Sequence-to-Sequence Processing Systems |
US11755408B2 (en) | 2021-10-07 | 2023-09-12 | Micron Technology, Inc. | Systems for estimating bit error rate (BER) of encoded data using neural networks |
CN115116437B (zh) * | 2022-04-07 | 2024-02-09 | 腾讯科技(深圳)有限公司 | 语音识别方法、装置、计算机设备、存储介质及产品 |
KR20240069296A (ko) * | 2022-11-11 | 2024-05-20 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
CN117912456B (zh) * | 2023-11-28 | 2024-07-19 | 广州视声智能科技有限公司 | 基于数据预测的语音识别方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008070805A (ja) * | 2006-09-15 | 2008-03-27 | Honda Motor Co Ltd | 音声認識装置、音声認識方法、及び音声認識プログラム |
JP2013125144A (ja) * | 2011-12-14 | 2013-06-24 | Nippon Hoso Kyokai <Nhk> | 音声認識装置およびそのプログラム |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7395205B2 (en) * | 2001-02-13 | 2008-07-01 | International Business Machines Corporation | Dynamic language model mixtures with history-based buckets |
US6879954B2 (en) | 2002-04-22 | 2005-04-12 | Matsushita Electric Industrial Co., Ltd. | Pattern matching for large vocabulary speech recognition systems |
JP2004198831A (ja) | 2002-12-19 | 2004-07-15 | Sony Corp | 音声認識装置および方法、プログラム、並びに記録媒体 |
JP4836076B2 (ja) | 2006-02-23 | 2011-12-14 | 株式会社国際電気通信基礎技術研究所 | 音声認識システム及びコンピュータプログラム |
US8069032B2 (en) | 2006-07-27 | 2011-11-29 | Microsoft Corporation | Lightweight windowing method for screening harvested data for novelty |
US8447608B1 (en) | 2008-12-10 | 2013-05-21 | Adobe Systems Incorporated | Custom language models for audio content |
KR101597289B1 (ko) | 2009-07-31 | 2016-03-08 | 삼성전자주식회사 | 동적 화면에 따라 음성을 인식하는 장치 및 방법 |
CN102280106A (zh) * | 2010-06-12 | 2011-12-14 | 三星电子株式会社 | 用于移动通信终端的语音网络搜索方法及其装置 |
KR101739531B1 (ko) * | 2010-10-13 | 2017-05-25 | 삼성전자주식회사 | 음성 인식 장치 및 방법 |
KR20120066530A (ko) | 2010-12-14 | 2012-06-22 | 한국전자통신연구원 | 언어 모델 가중치 추정 방법 및 이를 위한 장치 |
US8352245B1 (en) | 2010-12-30 | 2013-01-08 | Google Inc. | Adjusting language models |
US8296142B2 (en) * | 2011-01-21 | 2012-10-23 | Google Inc. | Speech recognition using dock context |
US9324323B1 (en) * | 2012-01-13 | 2016-04-26 | Google Inc. | Speech recognition using topic-specific language models |
US9043205B2 (en) | 2012-06-21 | 2015-05-26 | Google Inc. | Dynamic language model |
US9697821B2 (en) | 2013-01-29 | 2017-07-04 | Tencent Technology (Shenzhen) Company Limited | Method and system for building a topic specific language model for use in automatic speech recognition |
US9208779B2 (en) | 2013-09-06 | 2015-12-08 | Google Inc. | Mixture of n-gram language models |
US20160336007A1 (en) * | 2014-02-06 | 2016-11-17 | Mitsubishi Electric Corporation | Speech search device and speech search method |
CN103915092B (zh) * | 2014-04-01 | 2019-01-25 | 百度在线网络技术(北京)有限公司 | 语音识别方法和装置 |
US20150370787A1 (en) * | 2014-06-18 | 2015-12-24 | Microsoft Corporation | Session Context Modeling For Conversational Understanding Systems |
KR102292546B1 (ko) * | 2014-07-21 | 2021-08-23 | 삼성전자주식회사 | 컨텍스트 정보를 이용하는 음성 인식 방법 및 장치 |
JP6052814B2 (ja) * | 2014-09-24 | 2016-12-27 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 音声認識モデルの構築方法、音声認識方法、コンピュータ・システム、音声認識装置、プログラムおよび記録媒体 |
US9502032B2 (en) * | 2014-10-08 | 2016-11-22 | Google Inc. | Dynamically biasing language models |
KR102380833B1 (ko) | 2014-12-02 | 2022-03-31 | 삼성전자주식회사 | 음성 인식 방법 및 음성 인식 장치 |
JP6518142B2 (ja) * | 2015-06-18 | 2019-05-22 | 日本放送協会 | 言語モデル生成装置およびそのプログラム |
KR102386854B1 (ko) * | 2015-08-20 | 2022-04-13 | 삼성전자주식회사 | 통합 모델 기반의 음성 인식 장치 및 방법 |
KR102386863B1 (ko) * | 2015-09-09 | 2022-04-13 | 삼성전자주식회사 | 사용자 기반 언어 모델 생성 장치, 방법 및 음성 인식 장치 |
KR102450853B1 (ko) | 2015-11-30 | 2022-10-04 | 삼성전자주식회사 | 음성 인식 장치 및 방법 |
US20170229124A1 (en) | 2016-02-05 | 2017-08-10 | Google Inc. | Re-recognizing speech with external data sources |
CN106297797B (zh) * | 2016-07-26 | 2019-05-31 | 百度在线网络技术(北京)有限公司 | 语音识别结果纠错方法和装置 |
US10832664B2 (en) | 2016-08-19 | 2020-11-10 | Google Llc | Automated speech recognition using language models that selectively use domain-specific model components |
CN106328147B (zh) * | 2016-08-31 | 2022-02-01 | 中国科学技术大学 | 语音识别方法和装置 |
KR20180038707A (ko) | 2016-10-07 | 2018-04-17 | 한국전자통신연구원 | 동적 가중치 값과 토픽 정보를 이용하는 음성인식 방법 |
KR20180074210A (ko) * | 2016-12-23 | 2018-07-03 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 음성 인식 방법 |
KR20180080446A (ko) * | 2017-01-04 | 2018-07-12 | 삼성전자주식회사 | 음성 인식 방법 및 음성 인식 장치 |
KR20180087942A (ko) * | 2017-01-26 | 2018-08-03 | 삼성전자주식회사 | 음성 인식 방법 및 장치 |
US10811000B2 (en) * | 2018-04-13 | 2020-10-20 | Mitsubishi Electric Research Laboratories, Inc. | Methods and systems for recognizing simultaneous speech by multiple speakers |
-
2018
- 2018-11-21 KR KR1020180144753A patent/KR20200059703A/ko active Search and Examination
-
2019
- 2019-04-30 US US16/398,482 patent/US11100916B2/en active Active
- 2019-05-20 CN CN201910417694.1A patent/CN111292728B/zh active Active
- 2019-06-12 EP EP19179693.7A patent/EP3657501B1/en active Active
- 2019-10-04 JP JP2019183896A patent/JP7452968B2/ja active Active
-
2021
- 2021-07-20 US US17/380,217 patent/US11935516B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008070805A (ja) * | 2006-09-15 | 2008-03-27 | Honda Motor Co Ltd | 音声認識装置、音声認識方法、及び音声認識プログラム |
JP2013125144A (ja) * | 2011-12-14 | 2013-06-24 | Nippon Hoso Kyokai <Nhk> | 音声認識装置およびそのプログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2022038692A1 (ja) * | 2020-08-19 | 2022-02-24 | ||
WO2022038692A1 (ja) * | 2020-08-19 | 2022-02-24 | 日本電信電話株式会社 | 変換装置、変換方法、およびプログラム |
JP6820632B1 (ja) * | 2020-10-05 | 2021-01-27 | 株式会社グルーパー | 情報処理装置、及びプログラム |
JP2022060632A (ja) * | 2020-10-05 | 2022-04-15 | 株式会社グルーパー | 情報処理装置、及びプログラム |
WO2022269760A1 (ja) * | 2021-06-22 | 2022-12-29 | ファナック株式会社 | 音声認識装置 |
JP2023077365A (ja) * | 2021-11-24 | 2023-06-05 | インハ インダストリー パートナーシップ インスティテュート | メタバースプラットフォームを利用した複合現実における複雑な機械類の訓練、教育、および広告システム |
JP7350376B2 (ja) | 2021-11-24 | 2023-09-26 | インハ インダストリー パートナーシップ インスティテュート | メタバースプラットフォームを利用した複合現実における複雑な機械類の訓練、教育、および広告システム |
Also Published As
Publication number | Publication date |
---|---|
US11935516B2 (en) | 2024-03-19 |
EP3657501A1 (en) | 2020-05-27 |
US20200160838A1 (en) | 2020-05-21 |
EP3657501B1 (en) | 2022-02-09 |
CN111292728A (zh) | 2020-06-16 |
JP7452968B2 (ja) | 2024-03-19 |
CN111292728B (zh) | 2024-05-28 |
US20210350792A1 (en) | 2021-11-11 |
US11100916B2 (en) | 2021-08-24 |
KR20200059703A (ko) | 2020-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7452968B2 (ja) | 音声認識方法及び音声認識装置 | |
US10719507B2 (en) | System and method for natural language processing | |
JP6923332B2 (ja) | 自動通訳方法及び装置 | |
US10726830B1 (en) | Deep multi-channel acoustic modeling | |
CN106816148B (zh) | 语音识别设备和方法 | |
US20210210100A1 (en) | Voice command processing for locked devices | |
US11508378B2 (en) | Electronic device and method for controlling the same | |
JP2018026127A (ja) | 翻訳方法、翻訳装置及びコンピュータプログラム | |
US11574637B1 (en) | Spoken language understanding models | |
US11579841B1 (en) | Task resumption in a natural understanding system | |
US11532301B1 (en) | Natural language processing | |
KR20210047709A (ko) | 음성 인식 방법 및 음성 인식 장치 | |
US11810556B2 (en) | Interactive content output | |
US11605387B1 (en) | Assistant determination in a skill | |
US11830502B2 (en) | Electronic device and method for controlling the same | |
US11955112B1 (en) | Cross-assistant command processing | |
US11646035B1 (en) | Dialog management system | |
US11544504B1 (en) | Dialog management system | |
KR20210042523A (ko) | 전자 장치 및 이의 제어 방법 | |
US20240185846A1 (en) | Multi-session context | |
CN110874402B (zh) | 基于个性化信息的回复生成方法、设备和计算机可读介质 | |
US11626107B1 (en) | Natural language processing | |
US20230317066A1 (en) | Shared encoder for natural language understanding processing | |
US11328713B1 (en) | On-device contextual understanding | |
US11481188B1 (en) | Application launch delay and notification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7452968 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |