JP6734233B2 - 信号処理装置、事例モデル生成装置、照合装置、信号処理方法及び信号処理プログラム - Google Patents
信号処理装置、事例モデル生成装置、照合装置、信号処理方法及び信号処理プログラム Download PDFInfo
- Publication number
- JP6734233B2 JP6734233B2 JP2017150755A JP2017150755A JP6734233B2 JP 6734233 B2 JP6734233 B2 JP 6734233B2 JP 2017150755 A JP2017150755 A JP 2017150755A JP 2017150755 A JP2017150755 A JP 2017150755A JP 6734233 B2 JP6734233 B2 JP 6734233B2
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- hmm
- signal processing
- dnn
- acoustic model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Circuit For Audible Band Transducer (AREA)
Description
まず、実施の形態に係る信号処理装置について説明する。この信号処理装置は、雑音及び残響(音響歪み)を含む入力信号から音響歪みを除去し、明瞭な強調音声信号を出力する処理を行う装置である。
図1は、実施の形態に係る信号処理装置の機能構成の一例を示す図である。実施の形態1に係る信号処理装置100は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、CPU(Central Processing Unit)等を含むコンピュータ等に所定のプログラムが読み込まれて、CPUが所定のプログラムを実行することで実現される。
次に、マッチング部104の処理について詳細に説明する。図3は、図1に示すマッチング部104の処理を説明する図である。
次に、信号処理装置100における信号処理方法について説明する。図4は、図1に示す信号処理装置100が実行する信号処理方法の処理手順を示すフローチャートである。
次に、信号処理装置100の事例モデル記憶部101に記憶される事例モデルMsを生成する事例モデル生成装置200について説明する。この事例モデル生成装置200においても、例えば、学習用の音声信号から生成されたメル周波数ケプストラム係数等の特徴量ytに対し、高い耐雑音性を持つDNN−HMM音響モデルを用いて学習を行い、事例モデルMsの生成を行っている。
次に、事例モデル生成処理について説明する。図6は、図5に示す事例モデル生成装置200による事例モデル生成処理の処理手順を示すフローチャートである。
本実施の形態に係る信号処理装置100では、DNN−HMM音響モデルを用いて信号処理を行っている。このDNN−HMM音響モデルは、高い耐雑音性を持つ。具体的には、信号処理装置100では、入力信号の特徴量をDNN−HMM音響モデルに入力し、DNN−HMM音響モデルによる出力結果と、事例モデル記憶部101に記憶された事例モデルMsとを照合して、入力信号に対応するクリーン音声特徴量を求めている。
本実施の形態では、DNN−HMM音響モデルを用いた場合を説明した。このDNN−HMM音響モデルは、いわゆるfully-connected feed forward neural networkに基づくものであるが、本実施の形態では、その他の構造のNeural Networkに基づく音響モデルを用いることも可能である。例えば、本実施の形態では、例えば、Convolutional Neural Network(CNN:畳み込みニューラルネットワーク)に基づく音響モデル、Recurrent Neural Network(RNN:再帰的ニューラルネットワーク)に基づく音響モデル、LSTM(Long Short-Term Memory)に基づくRNNの音響モデルであってもよい。
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、信号処理装置100及び事例モデル生成装置200は、一体の装置であってもよい。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
図7は、プログラムが実行されることにより、信号処理装置100或いは事例モデル生成装置200が実現されるコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
101,101P 事例モデル記憶部
102,102P フーリエ変換部
103,103P 特徴量生成部
104,104P マッチング部
105,105P 音声強調フィルタリング部
200,200P 事例モデル生成装置
Claims (8)
- 雑音又は音響歪みを含む音声或いはクリーン音声を入力とし、Neural Networkに基づく音響モデルを用いて出力された事例モデルを記憶する記憶部と、
入力信号から特徴量を生成する特徴量生成部と、
前記特徴量を入力とし、前記Neural Networkに基づく音響モデルを用いて出力された出力結果と、前記記憶部に記憶された事例モデルとを照合し、前記入力信号に対応するクリーン音声特徴量を求める照合部と、
前記照合部によって求められたクリーン音声特徴量から構成されるフィルタを前記入力信号に乗算した強調音声を出力する出力部と、
を有することを特徴とする信号処理装置。 - 前記記憶部及び前記照合部は、雑音又は音響歪みを含む音声或いはクリーン音声を入力とし、DNN(Deep Neural Network)に基づくHMM(Hidden Markov Model)音響モデルを用いることを特徴とする請求項1に記載の信号処理装置。
- 前記記憶部及び前記照合部は、CNN(Convolutional Neural Network)に基づく音響モデル、RNN(Recurrent Neural Network)に基づく音響モデル、または、LSTM(Long Short-Term Memory)に基づくRNN音響モデルのいずれか一つを用いることを特徴とする請求項1に記載の信号処理装置。
- 学習用の入力信号から特徴量を生成する特徴量生成部と、
前記特徴量を用いてDNNに基づくHMM音響モデルを学習する学習部と、
前記DNNに基づくHMM音響モデルが出力したHMM状態の尤度を基に、時間フレームごとの特徴量に対して最大の尤度を与えるHMM状態のインデックスの系列を事例モデルとして計算する最尤HMM状態計算部と、
を有することを特徴とする事例モデル生成装置。 - 入力信号の特徴量をDNNに基づくHMM音響モデルに入力し、前記DNNに基づくHMM音響モデルによる出力結果と、雑音又は音響歪みを含む音声或いはクリーン音声をDNNに基づくHMM音響モデルを用いて学習した事例モデルとを照合し、前記入力信号に対応するクリーン音声特徴量を求める照合部
を有することを特徴とする照合装置。 - 信号処理装置で実行される信号処理装置であって、
前記信号処理装置は、雑音又は音響歪みを含む音声或いはクリーン音声を入力とし、DNNに基づくHMM音響モデルを用いて出力された事例モデルを記憶する記憶部を有し、
入力信号から特徴量を生成する特徴量生成工程と、
前記特徴量をDNNに基づくHMM音響モデルに入力し、前記DNNに基づくHMM音響モデルによる出力結果と、前記記憶部に記憶された事例モデルとを照合し、前記入力信号に対応するクリーン音声特徴量を求める照合工程と、
前記照合工程において求められたクリーン音声特徴量から構成されるフィルタを前記入力信号に乗算した強調音声を出力する出力工程と、
を含んだことを特徴とする信号処理方法。 - 事例モデル生成装置によって実行される信号処理方法であって、
学習用の入力信号から特徴量を生成する特徴量生成工程と、
前記特徴量を用いてDNNに基づくHMM音響モデルを学習する学習工程と、
前記DNNに基づくHMM音響モデルが出力したHMM状態の尤度を基に、時間フレームごとの特徴量に対して最大の尤度を与えるHMM状態のインデックスの系列を事例モデルとして計算する最尤HMM状態計算工程と、
を含んだことを特徴とする信号処理方法。 - コンピュータを、請求項1〜3のいずれか一つに記載の信号処理装置、請求項4に記載の事例モデル生成装置、及び、請求項5に記載の照合装置のいずれかとして機能させるための信号処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017150755A JP6734233B2 (ja) | 2017-08-03 | 2017-08-03 | 信号処理装置、事例モデル生成装置、照合装置、信号処理方法及び信号処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017150755A JP6734233B2 (ja) | 2017-08-03 | 2017-08-03 | 信号処理装置、事例モデル生成装置、照合装置、信号処理方法及び信号処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019028390A JP2019028390A (ja) | 2019-02-21 |
JP6734233B2 true JP6734233B2 (ja) | 2020-08-05 |
Family
ID=65476298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017150755A Active JP6734233B2 (ja) | 2017-08-03 | 2017-08-03 | 信号処理装置、事例モデル生成装置、照合装置、信号処理方法及び信号処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6734233B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10748551B2 (en) * | 2014-07-16 | 2020-08-18 | Nec Corporation | Noise suppression system, noise suppression method, and recording medium storing program |
JP6499095B2 (ja) * | 2016-01-29 | 2019-04-10 | 日本電信電話株式会社 | 信号処理方法、信号処理装置及び信号処理プログラム |
-
2017
- 2017-08-03 JP JP2017150755A patent/JP6734233B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019028390A (ja) | 2019-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10176811B2 (en) | Neural network-based voiceprint information extraction method and apparatus | |
Hossain et al. | Implementation of back-propagation neural network for isolated Bangla speech recognition | |
JP6235938B2 (ja) | 音響イベント識別モデル学習装置、音響イベント検出装置、音響イベント識別モデル学習方法、音響イベント検出方法及びプログラム | |
JP6437581B2 (ja) | 話者適応型の音声認識 | |
JP3627299B2 (ja) | 音声認識方法及び装置 | |
JP2019514046A (ja) | 雑音の多い未知のチャネル条件における音声認識のためのシステムおよび方法 | |
US20080082323A1 (en) | Intelligent classification system of sound signals and method thereof | |
JP4586577B2 (ja) | 外乱成分抑圧装置、コンピュータプログラム、及び音声認識システム | |
KR102406512B1 (ko) | 음성인식 방법 및 그 장치 | |
JP6622681B2 (ja) | 音素崩れ検出モデル学習装置、音素崩れ区間検出装置、音素崩れ検出モデル学習方法、音素崩れ区間検出方法、プログラム | |
CN111292763B (zh) | 重音检测方法及装置、非瞬时性存储介质 | |
Kundu et al. | Joint acoustic factor learning for robust deep neural network based automatic speech recognition | |
JP2020020872A (ja) | 識別器、学習済モデル、学習方法 | |
JP6499095B2 (ja) | 信号処理方法、信号処理装置及び信号処理プログラム | |
Sivanagaraja et al. | End-to-end speech emotion recognition using multi-scale convolution networks | |
McInnes et al. | Unsupervised extraction of recurring words from infant-directed speech | |
Chang et al. | On the importance of modeling and robustness for deep neural network feature | |
Gupta et al. | An efficient noise-robust automatic speech recognition system using artificial neural networks | |
Tanweer et al. | Analysis of combined use of nn and mfcc for speech recognition | |
JP6734233B2 (ja) | 信号処理装置、事例モデル生成装置、照合装置、信号処理方法及び信号処理プログラム | |
JP6158105B2 (ja) | 言語モデル作成装置、音声認識装置、その方法及びプログラム | |
Habeeb et al. | An ensemble technique for speech recognition in noisy environments | |
JP6784255B2 (ja) | 音声処理装置、音声処理システム、音声処理方法、およびプログラム | |
JP6367773B2 (ja) | 音声強調装置、音声強調方法及び音声強調プログラム | |
Harvianto et al. | Analysis and voice recognition In Indonesian language using MFCC and SVM method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200603 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200709 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6734233 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |