JP2012042664A - 音源パラメータ推定装置と音源分離装置とそれらの方法と、プログラムと記憶媒体 - Google Patents
音源パラメータ推定装置と音源分離装置とそれらの方法と、プログラムと記憶媒体 Download PDFInfo
- Publication number
- JP2012042664A JP2012042664A JP2010183130A JP2010183130A JP2012042664A JP 2012042664 A JP2012042664 A JP 2012042664A JP 2010183130 A JP2010183130 A JP 2010183130A JP 2010183130 A JP2010183130 A JP 2010183130A JP 2012042664 A JP2012042664 A JP 2012042664A
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- parameter
- feature amount
- power
- probability density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Abstract
【解決手段】音源モデル記憶部は、複数の音源パワーパラメータの事前確率密度関数と、その音源パワーパラメータが与えられた場合の各音源信号の各時間周波数点における事後確率密度関数とを記憶する。音源パワーパラメータ更新部は、音源パワー特徴量と観測信号が得られた下での占有的な音源の事後確率密度関数である音源占有度を入力として、音源パワーパラメータの事前確率密度関数と各音源信号の事後確率密度関数に基づいて複数の音源の各音源の音源パワーパラメータを更新する。音源位置パラメータ更新部は、音源位置特徴量と音源占有度を入力として、各音源の音源位置パラメータを更新する。音源占有度更新部は、各音源の更新された音源パワーパラメータと音源位置パラメータを元に各音源の音源占有度を更新する。
【選択図】図1
Description
同じ参照符号を付し、説明は繰り返さない。実施例の説明の前にこの発明の基本的な考えについて説明する。
この発明は、観測信号の音源位置特徴量と音源パワー特徴量の両者を考慮しながら最適な音源パラメータを推定する点で新しい。最初に説明に用いる記号について説明する。観測信号には、Ns個の音源信号が重畳しており、その音源信号をNm本のマイクロホンで収音する。m番目のマイクロホンからの収音した収音信号を短時間フーリエ変換等を用いて周波数領域の信号に変換した観測信号をx(m) n,kと表記する。nはn番目の時間つまりフレーム番号、kはk番目の周波数つまりビン番号であり、n番目の時間及びk番目の周波数に対応する時間周波数点を参照する場合に、時間周波数点(n,k)と表記する。なお、記号^の位置や添え字の表記とその位置は、式中の表記が正しい。
この仮定に従うと、音源位置パラメータの概算値はAnをクラスタリングすることにより得られることになる。従って、例えば次のようにすることで、音源占有度M^(l) n,kの初期化を行うことが出来る。
図3にこの発明の音源分離装置200の機能構成例を示す。その動作フローを図4に示す。音源分離装置200は、上記した音源パラメータ推定装置100と、音源分離部60と、を具備する。音源分離部60は、音源パラメータ推定装置100が出力する更新した音源占有度M^(l) n,kと、音源パワー特徴量Xn,kと、更新した音源パワーパラメータq^(l) nと、上記各音源信号の各時間周波数点における事後確率密度関数βq(l),n,k(S)と、を入力として複数の音源のそれぞれの音源分離信号S^(l) n,kを、最小自乗誤差推定により求める。
この発明の音源分離性能を評価する目的で確認実験を行った。10組の観測信号から成る3つのテストデータセットを用意した。観測信号は合計30組であり、全ての観測信号において、音源数はNs=2とした。3つのデータセットは、それぞれ、2人の男性の発話、2人の女性の発話、1名の女性と1名の男性の発話の混合音で構成されている。
なお、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
Claims (10)
- 複数の音源信号それぞれの音源パワー時系列全体の状態を表す音源パワーパラメータの事前確率密度関数と、その音源パワーパラメータが与えられた場合の各音源信号の各時間周波数点における事後確率密度関数とを記憶した音源モデル記憶部と、
上記複数の音源信号を複数のマイクロホンで収音した時間領域信号を時間周波数領域信号に変換した観測信号を入力として、各時間周波数点における音源位置特徴量と音源パワー特徴量を抽出する特徴抽出部と、
上記音源パワー特徴量と、上記観測信号が得られた下での占有的な音源の事後確率密度関数である音源占有度を入力として、上記音源パワーパラメータの事前確率密度関数と上記各音源信号の事後確率密度関数に基づいて上記各音源の音源パワーパラメータを更新する音源パワーパラメータ更新部と、
上記音源位置特徴量と音源占有度を入力として、上記各音源の音源位置パラメータを更新する音源位置パラメータ更新部と、
上記音源位置特徴量と音源パワー特徴量と各音源の更新された音源パワーパラメータと音源位置パラメータを元に上記各音源の音源占有度を更新する音源占有度更新部と、
を具備する音源パラメータ推定装置。 - 請求項1に記載した音源パラメータ推定装置において、
上記音源位置特徴量はマイク間位相差であり、上記音源パワー特徴量は上記観測信号の対数パワースペクトルであり、その音源パワー特徴量の時系列は隠れマルコフモデルに従うこと、
を特徴とする音源パラメータ推定装置。 - 請求項1又は2に記載した音源パラメータ推定装置において、
各時間ごとの音源位置特徴量を全周波数でまとめて出来る音源位置特徴量ベクトルにクラスタリングを適用して得られる中央値を、各音源の音源位置パラメータの最初の推定値とし、その結果得られる音源位置特徴量が得られた下での占有的な音源の事後確率密度関数を、上記音源占有度の初期値とすることを特徴とする音源パラメータ推定装置。 - 請求項1乃至3の何れかに記載した音源パラメータ推定装置と、
上記音源パラメータ推定装置が出力する更新した音源占有度と、音源パワー特徴量と、更新した音源パワーパラメータと、上記各音源信号の各時間周波数点における事後確率密度関数と、を入力として複数の音源のそれぞれの音源分離信号を、最小自乗誤差推定により求める音源分離部と、
を具備する音源分離装置。 - 複数の音源信号を複数のマイクロホンで収音した時間領域信号を時間周波数領域信号に変換した観測信号を入力として、各時間周波数点における音源位置特徴量と音源パワー特徴量を抽出する特徴抽出過程と、
上記音源パワー特徴量と上記観測信号が得られた下での占有的な音源の事後確率密度関数である音源占有度を入力として、音源モデル記憶部に記憶された複数の音源信号それぞれの音源パワー時系列全体の状態を表す音源パワーパラメータの事前確率密度関数とその音源パワーパラメータが与えられた場合の各音源信号の事後確率密度関数に基づいて上記各音源の音源パワーパラメータを更新する音源パワーパラメータ更新過程と、
上記音源位置特徴量と音源占有度を入力として、上記各音源の音源位置パラメータを更新する音源位置パラメータ更新過程と、
上記音源位置特徴量と音源パワー特徴量と各音源の更新された音源パワーパラメータと音源位置パラメータを元に上記各音源の音源占有度を更新する音源占有度更新過程と、
を含む音源パラメータ推定方法。 - 請求項5に記載した音源パラメータ推定方法において、
上記音源位置特徴量はマイク間位相差であり、上記音源パワー特徴量は上記観測信号の対数パワースペクトルでありその音源パワー特徴量の時系列は隠れマルコフモデルに従うこと、
を特徴とする音源パラメータ推定方法。 - 請求項5又は6に記載した音源パラメータ推定方法において、
各時間ごとの音源位置特徴量を全周波数でまとめて出来る音源位置特徴量ベクトルにクラスタリングを適用して得られる中央値を各音源の音源位置パラメータの最初の推定値とし、その結果得られる音源位置特徴量が得られた下での占有的な音源の事後確率密度関数を、上記音源占有度の初期値とすることを特徴とする音源パラメータ推定方法。 - 請求項5乃至7の何れかに記載した音源パラメータ推定方法と、
上記音源パラメータ推定方法で更新した音源占有度と、音源パワー特徴量と、更新した音源パワーパラメータと、上記各音源信号の各時間周波数点における事後確率密度関数と、を入力として複数の音源のそれぞれの音源分離信号を、最小自乗誤差推定により求める音源分離過程と、
を含む音源分離方法。 - 請求項1乃至5の何れかに記載した音源パラメータ推定装置又は音源分離装置としてコンピュータを機能させるためのプログラム。
- 請求項9に記載した何れかのプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010183130A JP5351856B2 (ja) | 2010-08-18 | 2010-08-18 | 音源パラメータ推定装置と音源分離装置とそれらの方法と、プログラムと記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010183130A JP5351856B2 (ja) | 2010-08-18 | 2010-08-18 | 音源パラメータ推定装置と音源分離装置とそれらの方法と、プログラムと記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012042664A true JP2012042664A (ja) | 2012-03-01 |
JP5351856B2 JP5351856B2 (ja) | 2013-11-27 |
Family
ID=45899077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010183130A Active JP5351856B2 (ja) | 2010-08-18 | 2010-08-18 | 音源パラメータ推定装置と音源分離装置とそれらの方法と、プログラムと記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5351856B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013044909A (ja) * | 2011-08-24 | 2013-03-04 | Nippon Telegr & Teleph Corp <Ntt> | 背景音抑圧装置、背景音抑圧方法、およびプログラム |
JP2013167698A (ja) * | 2012-02-14 | 2013-08-29 | Nippon Telegr & Teleph Corp <Ntt> | 音源ごとに信号のスペクトル形状特徴量を推定する装置、方法、目的信号のスペクトル特徴量を推定する装置、方法、プログラム |
WO2013179579A1 (ja) * | 2012-05-31 | 2013-12-05 | 日本電気株式会社 | 隠れ変数モデル推定装置および方法 |
KR101621827B1 (ko) | 2015-03-18 | 2016-05-17 | 동국대학교 산학협력단 | 음원 방향 추정 시스템 및 방법 |
CN110610718A (zh) * | 2018-06-15 | 2019-12-24 | 炬芯(珠海)科技有限公司 | 一种提取期望声源语音信号的方法及装置 |
CN113470683A (zh) * | 2021-06-25 | 2021-10-01 | 深圳市联洲国际技术有限公司 | 一种麦克风阵列的信号输出方法、装置、设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008145610A (ja) * | 2006-12-07 | 2008-06-26 | Univ Of Tokyo | 音源分離定位方法 |
-
2010
- 2010-08-18 JP JP2010183130A patent/JP5351856B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008145610A (ja) * | 2006-12-07 | 2008-06-26 | Univ Of Tokyo | 音源分離定位方法 |
Non-Patent Citations (2)
Title |
---|
CSNJ201110010380; 'マイク間位相差とスペクトル包絡の同時クラスタリングに基づくスパース音源分離' 日本音響学会 2010年春季研究発表会 予稿集 , 20100310 * |
JPN6013031673; 'マイク間位相差とスペクトル包絡の同時クラスタリングに基づくスパース音源分離' 日本音響学会 2010年春季研究発表会 予稿集 , 20100310 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013044909A (ja) * | 2011-08-24 | 2013-03-04 | Nippon Telegr & Teleph Corp <Ntt> | 背景音抑圧装置、背景音抑圧方法、およびプログラム |
JP2013167698A (ja) * | 2012-02-14 | 2013-08-29 | Nippon Telegr & Teleph Corp <Ntt> | 音源ごとに信号のスペクトル形状特徴量を推定する装置、方法、目的信号のスペクトル特徴量を推定する装置、方法、プログラム |
WO2013179579A1 (ja) * | 2012-05-31 | 2013-12-05 | 日本電気株式会社 | 隠れ変数モデル推定装置および方法 |
US9043261B2 (en) | 2012-05-31 | 2015-05-26 | Nec Corporation | Latent variable model estimation apparatus, and method |
JPWO2013179579A1 (ja) * | 2012-05-31 | 2016-01-18 | 日本電気株式会社 | 隠れ変数モデル推定装置および方法 |
KR101621827B1 (ko) | 2015-03-18 | 2016-05-17 | 동국대학교 산학협력단 | 음원 방향 추정 시스템 및 방법 |
WO2016148379A1 (ko) * | 2015-03-18 | 2016-09-22 | 동국대학교 산학협력단 | 음원 방향 추정 시스템 및 방법 |
CN110610718A (zh) * | 2018-06-15 | 2019-12-24 | 炬芯(珠海)科技有限公司 | 一种提取期望声源语音信号的方法及装置 |
CN113470683A (zh) * | 2021-06-25 | 2021-10-01 | 深圳市联洲国际技术有限公司 | 一种麦克风阵列的信号输出方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP5351856B2 (ja) | 2013-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xu et al. | An experimental study on speech enhancement based on deep neural networks | |
JP5351856B2 (ja) | 音源パラメータ推定装置と音源分離装置とそれらの方法と、プログラムと記憶媒体 | |
JP5842056B2 (ja) | 雑音推定装置、雑音推定方法、雑音推定プログラム及び記録媒体 | |
JP4746533B2 (ja) | 多音源有音区間判定装置、方法、プログラム及びその記録媒体 | |
JP5634959B2 (ja) | 雑音/残響除去装置とその方法とプログラム | |
JP2007279444A (ja) | 特徴量補正装置、特徴量補正方法および特徴量補正プログラム | |
JP4977062B2 (ja) | 残響除去装置とその方法と、そのプログラムと記録媒体 | |
JP2013054258A (ja) | 音源分離装置とその方法とプログラム | |
JP2004279466A (ja) | 音声モデルの雑音適応化システム、雑音適応化方法、及び、音声認識雑音適応化プログラム | |
JP4960933B2 (ja) | 音響信号強調装置とその方法と、プログラムと記録媒体 | |
JP2006349723A (ja) | 音響モデル作成装置、音声認識装置、音響モデル作成方法、音声認識方法、音響モデル作成プログラム、音声認識プログラムおよび記録媒体 | |
JP5881454B2 (ja) | 音源ごとに信号のスペクトル形状特徴量を推定する装置、方法、目的信号のスペクトル特徴量を推定する装置、方法、プログラム | |
JP5438704B2 (ja) | 音源パラメータ推定装置と音源分離装置とそれらの方法とプログラム | |
JP6721165B2 (ja) | 入力音マスク処理学習装置、入力データ処理関数学習装置、入力音マスク処理学習方法、入力データ処理関数学習方法、プログラム | |
WO2010109725A1 (ja) | 音声処理装置、音声処理方法、及び、音声処理プログラム | |
JP5498452B2 (ja) | 背景音抑圧装置、背景音抑圧方法、およびプログラム | |
JP4464797B2 (ja) | 音声認識方法、この方法を実施する装置、プログラムおよびその記録媒体 | |
JP6827908B2 (ja) | 音源強調装置、音源強調学習装置、音源強調方法、プログラム | |
Akter et al. | A tf masking based monaural speech enhancement using u-net architecture | |
JP5530988B2 (ja) | 背景音抑圧装置、背景音抑圧方法、およびプログラム | |
Wang et al. | An ideal Wiener filter correction-based cIRM speech enhancement method using deep neural networks with skip connections | |
JP4242320B2 (ja) | 音声認識方法、その装置およびプログラム、その記録媒体 | |
Han et al. | Switching linear dynamic transducer for stereo data based speech feature mapping | |
JP6059112B2 (ja) | 音源分離装置とその方法とプログラム | |
JP5731929B2 (ja) | 音声強調装置とその方法とプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121004 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130813 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5351856 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |