<第1実施形態>
図1は、本発明の第1実施形態に係る音響処理装置100のブロック図である。図1に示すように、音響処理装置100には信号供給装置12と放音装置14とが接続される。信号供給装置12は、音響信号x(t)を音響処理装置100に供給する。音響信号x(t)は、発音源から収音点に対して直接的に到来する直接音に対し、音響空間内での反射後に収音点に到来する残響(初期反射音および後部残響音)を付加した音響の波形を示す時間領域の信号である(t:時間)。例えば収録音や合成音等の既存の音響に対して事後的に残響効果を付与した音響の音響信号x(t)や、残響効果がある音響空間(例えば音響ホール等)内で実際に収録された音響の音響信号x(t)が好適に利用される。周囲の音響を収音して音響信号x(t)を生成する収音機器や、可搬型または内蔵型の記録媒体から音響信号x(t)を取得して音響処理装置100に供給する再生装置や、通信網から音響信号x(t)を受信して音響処理装置100に供給する通信装置が信号供給装置12として採用され得る。
第1実施形態の音響処理装置100は、音響信号x(t)の残響成分(特に後部残響音)を抑圧した音響信号(直接音や初期反射音を強調した音響信号)ys(t)を生成する残響抑圧装置である。放音装置14(例えばスピーカやヘッドホン)は、音響処理装置100が生成した音響信号ys(t)に応じた音波を再生する。なお、音響信号ys(t)をデジタルからアナログに変換するD/A変換器等の図示は便宜的に省略されている。
図1に示すように、音響処理装置100は、演算処理装置22と記憶装置24とを具備するコンピュータシステムで実現される。記憶装置24は、演算処理装置22が実行するプログラムPGMや演算処理装置22が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体などの公知の記録媒体や複数種の記録媒体の組合せが記憶装置24として任意に採用され得る。音響信号x(t)を記憶装置24に記憶した構成(したがって信号供給装置12は省略される)も好適である。
演算処理装置22は、記憶装置24に格納されたプログラムPGMを実行することで、音響信号x(t)から音響信号ys(t)を生成するための複数の機能(周波数分析部32,解析処理部34,残響調整部36,波形合成部38)を実現する。なお、演算処理装置22の各機能を複数の集積回路に分散した構成や、専用の電子回路(DSP)が各機能を実現する構成も採用され得る。
周波数分析部32は、音響信号x(t)のスペクトル(複素スペクトル)X(k,m)を時間軸上の単位期間(フレーム)毎に順次に生成する。記号kは、周波数軸上の任意の1個の周波数(帯域)を指定する変数であり、記号mは、時間軸上の任意の1個の単位期間(時間軸上の特定の時点)を指定する変数である。スペクトルX(k,m)の生成には、短時間フーリエ変換等の公知の周波数分析が任意に採用され得る。なお、通過帯域が相違する複数の帯域通過フィルタで構成されるフィルタバンクも周波数分析部32として採用され得る。
解析処理部34は、音響信号x(t)のスペクトルX(k,m)に応じた調整値Gs(k,m)を各単位期間にて周波数毎に算定する。第1実施形態の調整値Gs(k,m)は、音響信号x(t)の残響成分(特に後部残響音)を抑圧するための変数である。概略的には、第m番目の単位期間の音響信号x(t)のうち第k番目の周波数の成分において残響成分(後部残響音)が優勢であるほど調整値Gs(k,m)は小さい数値に設定されるという傾向がある。
残響調整部36は、解析処理部34が算定する調整値Gs(k,m)を音響信号x(t)に作用させる。残響調整部36による調整は、各周波数について単位期間毎に順次に実行される。具体的には、残響調整部36は、音響信号x(t)のスペクトルX(k,m)に対し、当該スペクトルX(k,m)と共通の単位期間および周波数について算定された調整値Gs(k,m)を乗算することで、音響信号ys(t)のスペクトルYs(k,m)を算定する(Ys(k,m)=Gs(k,m)X(k,m))。すなわち、調整値Gs(k,m)は、音響信号x(t)のスペクトルX(k,m)に対するゲインに相当する。
波形合成部38は、残響調整部36が単位期間毎に生成するスペクトルYs(k,m)から時間領域の音響信号ys(t)を生成する。すなわち、波形合成部38は、各単位期間のスペクトルYs(k,m)を短時間逆フーリエ変換で時間領域の信号に変換するとともに相前後する単位期間について相互に連結することで音響信号ys(t)を生成する。波形合成部38が生成した音響信号ys(t)が放音装置14に供給されて音波として再生される。
図2は、第1実施形態の解析処理部34のブロック図である。図2に示すように、第1実施形態の解析処理部34は、指標値算定部42Aと調整値算定部44とを具備する。指標値算定部42Aは、音響信号x(t)に応じた第1指標値Q1(k,m)および第2指標値Q2(k,m)を順次に算定する。具体的には、指標値算定部42Aは、第1平滑部51と第2平滑部52とを含んで構成される。第1平滑部51は、音響信号x(t)のパワー|X(k,m)|2の時系列を平滑化することで各周波数の第1指標値Q1(k,m)を単位期間毎に順次に算定する。同様に、第2平滑部52は、音響信号x(t)のパワー|X(k,m)|2の時系列を平滑化することで各周波数の第2指標値Q2(k,m)を単位期間毎に順次に算定する。
第1指標値Q1(k,m)は、以下の数式(1A)で定義されるように、相前後するN1個(N1は1以上の自然数)の単位期間で構成される第1期間内におけるパワー|X(k,m)|2の移動平均(単純移動平均)である。第1期間は、例えば第m番目の単位期間を最後尾とするN1個の単位期間の集合である。他方、第2指標値Q2(k,m)は、以下の数式(1B)で定義されるように、相前後するN2個(N2は2以上の自然数)の単位期間で構成される第2期間内におけるパワー|X(k,m)|2の移動平均である。第2期間は、例えば第m番目の単位期間を最後尾とするN2個の単位期間の集合である。以上の説明から理解されるように、第1平滑部51および第2平滑部52はFIR(finite impulse response)型のローパスフィルタに相当する。なお、個数N1を1に設定した構成(すなわち、音響信号x(t)のパワー|X(k,m)|2自体を第1指標値Q1(k,m)として利用する構成)も採用され得る。
第2指標値Q2(k,m)の算定に加味される単位期間の個数N2は、第1指標値Q1(k,m)の算定に加味される単位期間の個数N1を上回る(N2>N1)。すなわち、第2期間は第1期間よりも長い。例えば、第1期間は100ミリ秒から300ミリ秒程度の時間に設定され、第2期間は300ミリ秒から600ミリ秒程度の時間に設定される。したがって、第2平滑部52による平滑化の時定数τ2は第1平滑部51による平滑化の時定数τ1を上回る(τ2>τ1)。第1平滑部51および第2平滑部52をローパスフィルタで実現する場合を想定すると、第2平滑部52の遮断周波数が第1平滑部51の遮断周波数を下回ると換言することも可能である。
図3の部分(B)は、音響信号x(t)の任意の周波数について算定される第1指標値Q1(k,m)および第2指標値Q2(k,m)の時間変化のグラフである。図3の部分(A)のようにパワー|X(k,m)|2(パワー密度)が指数減衰する室内インパルス応答(RIR)を音響信号x(t)として音響処理装置100に供給した場合の第1指標値Q1(k,m)および第2指標値Q2(k,m)が図3の部分(B)には図示されている。
図3の部分(B)から理解されるように、第1指標値Q1(k,m)および第2指標値Q2(k,m)は、音響信号x(t)のパワー|X(k,m)|2に追従して経時的に変化する。ただし、第2平滑部52による平滑化の時定数τ2は第1平滑部51による平滑化の時定数τ1を上回るから、第2指標値Q2(k,m)は、第1指標値Q1(k,m)と比較して低い追従性(変化率)で音響信号x(t)のパワー|X(k,m)|2の時間変化に追従する。具体的には、図3の部分(B)に示すように、室内インパルス応答の開始の時点t0の直後の区間では、第1指標値Q1(k,m)が第2指標値Q2(k,m)を上回る変化率で増加する。そして、第1指標値Q1(k,m)および第2指標値Q2(k,m)は、時間軸上の相異なる時点でピークに到達し、第1指標値Q1(k,m)は第2指標値Q2(k,m)を上回る変化率で減少する。
以上のように第1指標値Q1(k,m)と第2指標値Q2(k,m)とは相異なる変化率で変化するから、第1指標値Q1(k,m)と第2指標値Q2(k,m)との大小は時間軸上の特定の時点txで反転する。すなわち、時点t0から時点txまでの区間SAでは第1指標値Q1(k,m)が第2指標値Q2(k,m)を上回り、時点tx以降の区間SBでは第2指標値Q2(k,m)が第1指標値Q1(k,m)を上回る。区間SAは、室内インパルス応答の直接音および初期反射音が存在する区間に相当し、区間SBは、室内インパルス応答の後部残響音が存在する区間に相当する。
図2の調整値算定部44は、指標値算定部42Aが算定した第1指標値Q1(k,m)と第2指標値Q2(k,m)とに応じた調整値Gs(k,m)を各周波数について単位期間毎に順次に算定する。第1実施形態の調整値算定部44は、比算定部62と閾値処理部64とを含んで構成される。
比算定部62は、第1指標値Q1(k,m)と第2指標値Q2(k,m)との比R(k,m)を算定する。具体的には、比算定部62は、以下の数式(2)で表現される通り、第2指標値Q2(k,m)に対する第1指標値Q1(k,m)の比R(k,m)を単位期間毎に算定する。
図2の閾値処理部64は、比算定部62が算定した比R(k,m)と所定値Gmaxおよび所定値Gminとを比較した結果に応じた調整値Gs(k,m)を単位期間毎に算定する。所定値Gmaxおよび所定値Gminは、例えば利用者からの指示に応じて事前に設定されて比R(k,m)と比較される閾値である。第1実施形態では、所定値Gmaxを1に設定した場合を例示する。所定値Gminは、所定値Gmaxを下回る数値(0以上かつ1未満の範囲内の数値)に設定される。
具体的には、閾値処理部64は、以下の数式(3)の演算を実行する。第1に、比R(k,m)が所定値Gmax(Gmax=1)を上回る場合(R(k,m)≧Gmax)、閾値処理部64は、所定値Gmaxを調整値Gs(k,m)として設定する。第2に、比R(k,m)が所定値Gminを下回る場合(R(k,m)≦Gmin)、閾値処理部64は、所定値Gminを調整値Gs(k,m)として設定する。第3に、比R(k,m)が所定値Gmaxと所定値Gminとの間の数値である場合(Gmin<R(k,m)<Gmax)、閾値処理部64は、比R(k,m)を調整値Gs(k,m)として設定する。
第1指標値Q1(k,m)および第2指標値Q2(k,m)が図3の部分(B)のように変化する場合の調整値Gs(k,m)の変化が図3の部分(C)に図示されている。図3の部分(C)から理解されるように、概略的には、第1指標値Q1(k,m)が第2指標値Q2(k,m)を上回る場合(区間SA)の調整値Gs(k,m)は、第1指標値Q1(k,m)が第2指標値Q2(k,m)を下回る場合(区間SB)の調整値Gs(k,m)よりも大きい数値となる。具体的には、第1指標値Q1(k,m)が第2指標値Q2(k,m)を上回る区間SA内では比Rが所定値Gmax(Gmax=1)を上回るから、調整値Gs(k,m)は所定値Gmaxに維持される。また、第1指標値Q1(k,m)が第2指標値Q2(k,m)を下回る区間SBのうち比Rが所定値Gminを上回る区間SB1では、調整値Gs(k,m)は比R(k,m)に設定されて経時的に減少する。そして、区間SBのうち比Rが所定値Gminを下回る区間SB2では、調整値Gs(k,m)は所定値Gminに維持される。
すなわち、第1実施形態の調整値Gs(k,m)は、直接音および初期反射音が存在する区間SAでは所定値(最大値)Gmaxに設定され、後部残響音が存在する区間SBでは所定値(最小値)Gminまで経時的に減少する。したがって、残響調整部36が音響信号x(t)に調整値Gs(k,m)を作用させることで、音響信号x(t)の残響成分を抑圧(直接音や初期反射音を強調)した音響信号ys(t)が生成される。
以上に説明した第1実施形態では、音響信号x(t)の時間変化に追従する第1指標値Q1(k,m)および第2指標値Q2(k,m)の比R(k,m)に応じて調整値Gs(k,m)が算定されるから、残響成分の予測フィルタ係数を推定する特許文献1の技術や伝達関数を推定して逆フィルタを生成する非特許文献1の技術と比較して簡便な処理で音響信号x(t)の残響成分を抑圧できるという利点がある。なお、残響成分は音響信号x(t)の音源分離や特徴抽出(例えばピッチ検出)の精度を低下させる原因となり得る。第1実施形態による残響成分の抑圧後の音響信号ys(t)を対象として音源分離や特徴抽出を実行すれば、高精度の音源分離や特徴抽出を実現できるという利点がある。また、ハウリングは音響的には残響成分と同視され得るから、第1実施形態による残響成分の抑圧でハウリングの経時的な増大を抑制することも可能である
ところで、残響抑圧(reverberation suppression)と対比され得る技術として、電話等の音声通信で問題となる音響エコーを取除くエコー除去(acoustic echo cancellation)やエコー抑圧(acoustic echo suppression)が従来から提案されているが、実際にはエコー除去/抑圧と残響抑圧とは根本的に相違する。例えば、エコー除去では、収音環境での音響特性(室内インパルス応答)を例えば適応アルゴリズムで推定し、推定結果に応じたフィルタを送話側の音響信号に適用して収音後の音響信号から減ずることで音響エコーが除去される。そして、エコー抑圧では、前処理として実行された前述のエコー除去では除去し切れなかった音響エコーがスペクトル減算等の手法で抑圧される。他方、第1実施形態の残響抑圧では、収音環境の音響特性を推定することなく残響成分が抑圧される。また、エコー除去/抑圧では、音響空間内での反射後に収音点に到達する反射音の遅延に起因した音響エコーに加えて、発音源から収音点に直接的に到達する音響の遅延に起因した音響エコーも処理対象となる。すなわち、発音源から収音点に到達する全部の音響を対象としてエコー除去/抑圧は実行される。他方、残響抑圧の対象は、音響空間内での反射後に収音点に到達する音響(特に後部残響音)であり、発音源から収音点に直接的に到来する直接音は処理対象に該当しない。以上のように第1実施形態の残響抑圧は公知のエコー除去/抑圧とは根本的に相違する。
<第1実施形態の変形例>
(1)以上の説明では、音響信号x(t)のパワー|X(k,m)|2の単純移動平均を第1指標値Q1(k,m)および第2指標値Q2(k,m)として算定したが、第1指標値Q1(k,m)および第2指標値Q2(k,m)の算定方法は以上の例示に限定されない。例えば、以下の数式(4A)および数式(4B)で表現されるように、音響信号x(t)のパワー|X(k,m)|2の指数平均(指数移動平均)を第1指標値Q1(k,m)および第2指標値Q2(k,m)として算定することも可能である。
すなわち、第1平滑部51および第2平滑部52は、IIR(infinite impulse response)型のローパスフィルタに相当する。数式(4A)の記号α1および数式(4B)の記号α2は平滑化係数(忘却係数)である。具体的には、平滑化係数α1は、過去の第1指標値Q1(k,m-1)に対する現在のパワー|X(k,m)|2の重みを意味し、平滑化係数α2は、過去の第2指標値Q2(k,m-1)に対する現在のパワー|X(k,m)|2の重みを意味する。平滑化係数α2は、平滑化係数α1を下回る数値に設定される(α2<α1)。したがって、第1実施形態と同様に、第2平滑部52による平滑化の時定数τ2は第1平滑部51による平滑化の時定数τ1を上回る(τ2>τ1)。すなわち、第2指標値Q2(k,m)は、第1指標値Q1(k,m)と比較して低い追従性で音響信号x(t)のパワー|X(k,m)|2に追従する。なお、平滑化係数α1を1に設定した構成(すなわち、音響信号x(t)のパワー|X(k,m)|2自体を第1指標値Q1(k,m)として利用する構成)も採用され得る。
(2)以下の数式(5A)および数式(5B)で表現されるように、音響信号x(t)のパワー|X(k,m)|2の加重移動平均を第1指標値Q1(k,m)および第2指標値Q2(k,m)として算定することも可能である。数式(5A)の記号w1(i)および数式(5B)の記号w2(i)は、第m番目の単位期間からみて前方の第i番目に位置する単位期間に対する加重値を意味する。第2期間が第1期間よりも長いという条件(N2>N1)は前掲の例示と同様である。
<第2実施形態>
本発明の第2実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第1実施形態と同等である要素については、第1実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
図4は、第2実施形態における解析処理部34のブロック図である。第2実施形態の解析処理部34は、第1実施形態の解析処理部34の指標値算定部42Aを指標値算定部42Bに置換した構成である。指標値算定部42Bは、第1指標値Q1(k,m)および第2指標値Q2(k,m)を単位期間毎に順次に算定する要素であり、第1平滑部51と第2平滑部52と遅延部54とを含んで構成される。なお、調整値算定部44の構成および動作は第1実施形態と同様である。
第1平滑部51は、第1実施形態と同様に、音響信号x(t)のパワー|X(k,m)|2の時系列を平滑化することで第1指標値Q1(k,m)を単位期間毎に順次に算定する。遅延部54は、音響信号x(t)のスペクトルX(k,m)を単位期間のd個分(dは自然数)に相当する時間だけ遅延させる記憶回路である。第2平滑部52は、遅延部54による遅延後のスペクトルX(k,m)のパワー|X(k,m)|2の時系列を平滑化することで第2指標値Q2(k,m)を単位期間毎に順次に算定する。ただし、第2実施形態では、第2平滑部52による平滑化の時定数τ2は第1平滑部51による平滑化の時定数τ1と同等である(τ2=τ1)。したがって、第2指標値Q2(k,m)の時間変化は、第1指標値Q1(k,m)の時間変化を単位期間のd個分だけ遅延させた関係にある(Q2(k,m)=Q1(k,m-d))。
図5の部分(B)は、図3の部分(A)と同様の室内インパルス応答(図5の部分(A))を音響信号x(t)として第2実施形態の音響処理装置100に供給した場合の第1指標値Q1(k,m)および第2指標値Q2(k,m)の時間変化のグラフである。
図5の部分(B)から理解されるように、第1指標値Q1(k,m)と第2指標値Q2(k,m)とで時間変化の態様(波形)は共通するが、第2指標値Q2(k,m)の時間変化は第1指標値Q1(k,m)の時間変化に対して単位期間のd個分だけ遅延する。すなわち、第2指標値Q2(k,m)は、第1指標値Q1(k,m)と比較して低い追従性で音響信号x(t)のパワー|X(k,m)|2に追従する。したがって、第1実施形態と同様に、第1指標値Q1(k,m)と第2指標値Q2(k,m)との大小は時間軸上の特定の時点txで反転する。すなわち、時点txまでの区間SAでは第1指標値Q1(k,m)が第2指標値Q2(k,m)を上回り、時点tx以降の区間SBでは第2指標値Q2(k,m)が第1指標値Q1(k,m)を上回る。
比算定部62による比R(k,m)の算定(数式(2))や閾値処理部64による調整値Gs(k,m)の算定(数式(3))は第1実施形態と同様である。したがって、図5の部分(C)に示すように、調整値Gs(k,m)は、直接音および初期反射音が存在する区間SAにて所定値Gmaxに設定され、後部残響音が存在する区間SBでは所定値Gminまで経時的に減少する。以上に説明した調整値Gs(k,m)を残響調整部36が音響信号x(t)に作用させることで、残響成分を抑圧した音響信号ys(t)が生成される。
第2実施形態においても第1実施形態と同様の効果が実現される。なお、図5の部分(C)と図3の部分(C)との対比で理解される通り、第2実施形態の調整値Gs(k,m)は、第1実施形態の調整値Gs(k,m)と比較して区間SB(SB1)内で急峻に減少する。したがって、第2実施形態によれば、残響成分の抑圧効果を第1実施形態と比較して強化することが可能である。他方、第1実施形態では、図4の遅延部54が不要であるから、音響処理装置100の構成が簡素化されるという利点がある。
<第2実施形態の変形例>
(1)第2実施形態では、音響信号x(t)のスペクトルX(k,m)を遅延部54が遅延させたが、第2平滑部52の後段に遅延部54を配置し、第2平滑部52が算定した第2指標値Q2(k,m)を遅延部54が遅延させる構成も採用され得る。
(2)図6に示すように、図4の第2平滑部52を省略することも可能である。図6の指標値算定部42Bは第1平滑部51と遅延部54とで構成される。遅延部54は、第1平滑部51が算定した第1指標値Q1(k,m)を単位期間のd個分だけ遅延させることで第2指標値Q2(k,m)(Q2(k,m)=Q1(k,m-d))を算定する。
(3)第1平滑部51や第2平滑部52による演算の内容は適宜に変更される。例えば、数式(4A)および数式(4B)の指数平均や数式(5A)および数式(5B)の加重移動平均の演算で第1指標値Q1(k,m)および第2指標値Q2(k,m)を算定することも可能である。
(4)第1平滑部51による平滑化の時定数τ1と第2平滑部52による平滑化の時定数τ2とを相違させることも可能である。例えば、第1実施形態と同様に、時定数τ2が時定数τ1を上回る構成によれば、時定数τ1と時定数τ2とが相等しい場合と比較して、遅延部54による遅延時間が短縮されるという利点がある。
<第3実施形態>
図7は、第3実施形態における音響処理装置100のブロック図である。図7に示すように、第3実施形態の音響信号x(t)は、左チャネルの音響信号xL(t)と右チャネルの音響信号xR(t)とで構成されるステレオ信号である。音響処理装置100は、音響信号xL(t)の残響成分を抑圧した左チャネルの音響信号ysL(t)と、音響信号xR(t)の残響成分を抑圧した右チャネルの音響信号ysR(t)とを生成する。
図7の周波数分析部32は、音響信号xL(t)のスペクトルXL(k,m)と音響信号xR(t)のスペクトルXR(k,m)とを単位期間毎に生成する。解析処理部34は、スペクトルXL(k,m)およびスペクトルXR(k,m)に応じた調整値Gs(k,m)を単位期間毎に算定する。残響調整部36は、音響信号xL(t)および音響信号xR(t)の各々に調整値Gs(k,m)を作用させる。具体的には、残響調整部36は、音響信号xL(t)のスペクトルXL(k,m)に調整値Gs(k,m)を乗算することで音響信号ysL(t)のスペクトルYsL(k,m)を算定し(YsL(k,m)=Gs(k,m)XL(k,m))、音響信号xR(t)のスペクトルXR(k,m)に調整値Gs(k,m)を乗算することで音響信号ysR(t)のスペクトルYsR(k,m)を算定する(YsR(k,m)=Gs(k,m)XR(k,m))。波形合成部38は、各単位期間のスペクトルYsL(k,m)から音響信号ysL(t)を生成するとともに、各単位期間のスペクトルYsR(k,m)から音響信号ysR(t)を生成する。
図8は、第3実施形態における解析処理部34のブロック図である。第3実施形態の解析処理部34は、第1実施形態の解析処理部34の指標値算定部42Aを指標値算定部42Cに置換した構成である。調整値算定部44の構成および動作は第1実施形態と同様である。
図8に示すように、第3実施形態の指標値算定部42Cは、相互相関算定部56と自己相関算定部57と第1平滑部51と第2平滑部52とを含んで構成される。相互相関算定部56は、音響信号xL(t)のスペクトルXL(k,m)と音響信号xR(t)のスペクトルXR(k,m)との間(左右チャネル間)の空間相互相関Cc(k,m)を各周波数について単位期間毎に算定する。他方、自己相関算定部57は、音響信号xL(t)のスペクトルXL(k,m)および音響信号xR(t)のスペクトルXR(k,m)の各々の空間自己相関の加算値Ca(k,m)を算定する。具体的には、空間相互相関Cc(k,m)は以下の数式(6A)で表現され、空間自己相関(チャネル間の和)Ca(k,m)は以下の数式(6B)で表現される。数式(6A)の記号*は複素共役を意味する。数式(6B)から理解されるように、空間自己相関Ca(k,m)は、左右チャネルのパワー(|XL(k,m)|2,|XR(k,m)|2)の総和とも換言される。
図8の第1平滑部51は、相互相関算定部56が算定した空間相互相関Cc(k,m)の時系列を平滑化することで各周波数の第1指標値Q1(k,m)を単位期間毎に順次に算定する。同様に、第2平滑部52は、自己相関算定部57が算定した空間自己相関Ca(k,m)の時系列を平滑化することで各周波数の第2指標値Q2(k,m)を単位期間毎に順次に算定する。第1実施形態と同様に、第2平滑部52による平滑化の時定数τ2は第1平滑部51による平滑化の時定数τ1を上回る(τ2>τ1)。調整値算定部44は、第1実施形態と同様の構成および動作で、第1指標値Q1(k,m)と第2指標値Q2(k,m)とに応じた調整値Gs(k,m)を算定する。
図9は、室内インパルス応答を音響信号x(t)(xL(t),xR(t))として供給した場合の空間相互相関Cc(k,m)および空間自己相関Ca(k,m)の時間変化の模式図である。直接音や初期反射音は収音点に対する明確な方向性をもって到来するが、多様な方向から収音点に到来する後部残響音では方向性が曖昧となる。したがって、左チャネルの音響信号xL(t)と右チャネルの音響信号xR(t)との相関(空間相関)は、以上に説明した方向性の低下に起因して残響成分の後部ほど低下するという傾向がある。すなわち、空間相互相関Cc(k,m)は、音響信号x(t)のパワーの減衰と方向性の低下との双方に起因して経時的に低下する。他方、空間自己相関Ca(k,m)の経時的な低下は、音響信号x(t)のパワーの減衰のみに起因する。図9からも把握される通り、以上の相違に起因して、空間相互相関Cc(k,m)は、空間自己相関Ca(k,m)と比較して急峻に低下する。
したがって、第1指標値Q1(k,m)および第2指標値Q2(k,m)が共通のパワー|X(k,m)|2の平滑化で算定される第1実施形態と比較すると、第3実施形態では、後部残響音の区間SB内で第1指標値Q1(k,m)が第2指標値Q2(k,m)に対して急峻に低下する。すなわち、第1実施形態では時定数τ1と時定数τ2とが共通する場合には第1指標値Q1(k,m)と第2指標値Q2(k,m)とは同様に変化するが、第3実施形態では、時定数τ1と時定数τ2とが共通する場合でも、第1指標値Q1(k,m)は第2指標値Q2(k,m)と比較して急峻に変化する。以上の説明から理解されるように、第3実施形態によれば、第1実施形態と比較して調整値Gs(k,m)が区間SB(SB1)内で急峻に減少する。したがって、残響成分の抑圧効果が第1実施形態と比較して強化されるという利点がある。
なお、以上の説明では、音響信号xL(t)および音響信号xR(t)の各々の空間自己相関(パワー)の総和を空間自己相関Ca(k,m)としたが、音響信号xL(t)および音響信号xR(t)の一方の空間自己相関を自己相関算定部57が空間自己相関Ca(k,m)として算定することも可能である。すなわち、自己相関算定部57は、音響信号xL(t)および音響信号xR(t)の少なくとも一方の空間自己相関Ca(k,m)を算定する要素として包括される。
<第4実施形態>
図10は、第4実施形態の音響処理装置100のブロック図である。図10に示すように、第4実施形態の音響処理装置100は、音響信号x(t)の残響成分を抑制(suppress)した音響信号ys(t)と、音響信号x(t)の残響成分を強調(enhance)した音響信号ye(t)とを生成する。
第4実施形態の解析処理部34(調整値算定部44)は、第1指標値Q1(k,m)と第2指標値Q2(k,m)とに応じた調整値Gs(k,m)および調整値Ge(k,m)を各周波数について単位期間毎に順次に算定する。残響抑圧用の調整値Gs(k,m)の算定方法は第1実施形態と同様である。調整値Ge(k,m)は、音響信号x(t)の残響成分を強調(抽出)するための変数である。
概略的には、第m番目の単位期間の音響信号x(t)のうち第k番目の周波数の成分において残響成分(後部残響音)が優勢であるほど調整値Ge(k,m)が大きい数値となるように、調整値算定部44は調整値Ge(k,m)を算定する。具体的には、調整値算定部44(閾値処理部64)は、数式(3)で算定された残響抑圧用の調整値Gs(k,m)を所定値(以下の例示では1)から減算することで残響強調用の調整値Ge(k,m)を算定する(Ge(k,m)=1−Gs(k,m))。したがって、調整値Ge(k,m)は、直接音および初期反射音が存在する区間SAではゼロに維持され、後部残響音が存在する区間SBでは所定値(1−Gmin)まで経時的に増加する。すなわち、第1指標値Q1(k,m)が第2指標値Q2(k,m)を上回る場合(区間SA)の調整値Ge(k,m)は、第1指標値Q1(k,m)が第2指標値Q2(k,m)を下回る場合(区間SB)の調整値Ge(k,m)よりも小さい数値となる。なお、指標値算定部42Aの構成および動作は第1実施形態と同様である。
残響調整部36は、調整値Gs(k,m)および調整値Ge(k,m)の各々を音響信号x(t)(スペクトルX(k,m))に作用させる。具体的には、残響調整部36は、音響信号x(t)のスペクトルX(k,m)に調整値Gs(k,m)を乗算することで第1実施形態と同様にスペクトルYs(k,m)を算定するとともに、音響信号x(t)のスペクトルX(k,m)に調整値Ge(k,m)を乗算することでスペクトルYe(k,m)を算定する(Ye(k,m)=Ge(k,m)X(k,m))。波形合成部38は、スペクトルYs(k,m)から音響信号ys(t)を生成するとともにスペクトルYe(k,m)から音響信号ye(t)を生成する。調整値Ge(k,m)は直接音および初期反射音が存在する区間SAで後部残響音の区間SBと比較して小さい数値(ゼロ)に設定されるから、音響信号x(t)の残響成分を強調(直接音や初期反射音を抑圧)した音響信号ye(t)が生成される。すなわち、音響信号x(t)が、残響成分を抑圧した音響信号ys(t)と残響成分を強調した音響信号ye(t)とに分離される。音響信号ys(t)および音響信号ye(t)は、例えば利用者からの指示に応じて選択的に放音装置14に供給される。
第4実施形態においても第1実施形態と同様の効果が実現される。また、第4実施形態では、音響信号x(t)の時間変化に追従する第1指標値Q1(t)および第2指標値Q2(k,m)に応じて残響強調用の調整値Ge(k,m)が生成される。したがって、残響成分の推定等の煩雑な処理を必要とせずに音響信号x(t)の残響成分を簡便な処理で強調(抽出)できるという利点がある。
なお、以上の説明では音響信号ys(t)および音響信号ye(t)を選択的に再生したが、音響信号ys(t)および音響信号ye(t)の使用方法は以上の例示に限定されない。例えば、受聴者の周囲に複数のスピーカを配置したサラウンドシステムでは、左チャネルの音響信号xL(t)および右チャネルの音響信号xR(t)の各々について音響信号ys(t)と音響信号ye(t)とが生成される。左チャネルの音響信号ys(t)は左スピーカで再生され、左チャネルの音響信号ye(t)は左後方スピーカで再生される。同様に、右チャネルの音響信号ys(t)は右スピーカで再生され、右チャネルの音響信号ye(t)は右後方スピーカで再生される。以上の構成によれば、臨場感に富んだ音場を形成可能な4チャネルのサラウンド信号を左右2チャネルの音響信号x(t)(xL(t),xR(t))から生成できるという利点がある。また、音響信号ys(t)と音響信号ye(t)とに対して別個の音響効果を付与したうえで混合すれば、多様な音響効果を実現することが可能である。
以上の説明では音響信号ys(t)および音響信号ye(t)の双方を生成する構成を例示したが、残響成分を強調した音響信号ye(t)のみを生成することも可能である。すなわち、解析処理部34は、残響成分の強調用の調整値Ge(k,m)を単位期間毎に算定し、残響調整部36は、音響信号x(t)のスペクトルX(k,m)に調整値Ge(k,m)を作用させることで、残響成分を強調した音響信号ye(t)のスペクトルYe(k,m)を生成する。また、調整値Ge(k,m)を算定して音響信号x(t)に作用させる第4実施形態の構成は、第2実施形態や第3実施形態にも同様に適用され得る。
<第5実施形態>
図11は、第5実施形態における音響処理装置100のブロック図である。第5実施形態の音響処理装置100は、第1実施形態の音響処理装置100に遅延部35を追加した構成である。遅延部35は、周波数分析部32が生成したスペクトルX(k,m)を単位期間のδ個分に相当する時間だけ遅延させる記憶回路である。なお、解析処理部34の構成は、第1実施形態と同様である。
第m番目の単位期間の調整値Gs(k,m)が解析処理部34から残響調整部36に指示される時点では、その単位期間に対してδ個だけ手前(第(m−δ)番目)の単位期間のスペクトルX(k,m-δ)が遅延部35から残響調整部36に指示される。残響調整部36は、調整値Gs(k,m)を音響信号x(t)のスペクトルX(k,m-δ)に乗算することでスペクトルYs(k,m-δ)を生成する。第5実施形態においても第1実施形態と同様の効果が実現される。なお、音響信号x(t)を遅延させる第5実施形態の構成は、第2実施形態から第4実施形態にも同様に適用され得る。
ところで、第1平滑部51の時定数τ1や第2平滑部52の時定数τ2が長い場合には、第1指標値Q1(k,m)および第2指標値Q2(k,m)の変動が緩慢となるから、調整値Gs(k,m)の時間変化が音響信号x(t)に対して遅れる可能性がある。したがって、各単位期間の調整値Gs(k,m)をその単位期間の音響信号x(t)(スペクトルX(k,m))に作用させる構成では、残響成分を充分に調整(抑圧,強調)できない可能性がある。第5実施形態では、各単位期間の調整値Gs(k,m)が過去の単位期間の音響信号x(t)(スペクトルX(k,m-δ))に作用するから、時定数τ1や時定数τ2が長い場合でも、残響成分を充分に調整できるという利点がある。なお、第4実施形態における音響信号ye(t)の生成にも同様の構成を採用することが可能である。
<第6実施形態>
図12は、第6実施形態における音響処理装置100のブロック図である。第6実施形態の音響処理装置100は、第1実施形態と同様の各要素(周波数分析部32,解析処理部34A,残響調整部36,波形合成部38)に帯域分割部72を追加した構成である。帯域分割部72は、信号供給装置12から供給される音響信号x(t)を、相異なる周波数帯域(以下「分割帯域」という)に対応するB個の帯域成分Z1(t)〜ZB(t)に時間領域で分割する。第b番目(b=1〜B)の帯域成分Zb(t)は、周波数軸上に画定されたB個の分割帯域のうち第b番目の分割帯域内の時間領域の音響成分である。具体的には、通過帯域が相違するB個の帯域通過フィルタ(例えばFIR型またはIIR型のフィルタ)で構成されるフィルタバンクが帯域分割部72として好適に利用される。各分割帯域は、調整値Gs(k,m)が算定される複数の周波数(ビン)を包含する。例えば、各分割帯域の帯域幅は数百Hz程度に設定される。なお、分割帯域の個数が過度に少ないと残響成分の抑圧効果が低下し、分割帯域の個数が過度に多いと演算量が増大する。例えば音響信号x(t)のサンプリング周波数が44.1kHzである場合、分割帯域の総数は数十個程度に好適に設定される。周波数軸上で隣合う各分割帯域は部分的に相互に重複し得る。また、帯域幅を分割帯域毎に相違させることも可能である。
図12の周波数分析部32は、第1実施形態と同様に、音響信号x(t)のスペクトルX(k,m)を単位期間毎に順次に生成する。なお、1個の単位期間の時間長は数十ミリ秒程度が好適である。解析処理部34Aは、周波数分析部32が生成した各スペクトルX(k,m)に応じた調整値Gs(b,m)(Gs(1,m)〜Gs(B,m))を各分割帯域について単位期間毎に順次に生成する。
図13に例示される通り、第6実施形態の解析処理部34Aは、第1実施形態で例示した解析処理部34の各要素(指標値算定部42A,調整値算定部44)に調整処理部46を追加した構成である。指標値算定部42Aおよび調整値算定部44は、第1実施形態と同様に、周波数分析部32が生成した各スペクトルX(k,m)に対応する第1指標値Q1(k,m)および第2指標値Q2(k,m)に応じた各周波数の調整値Gs(k,m)を単位期間毎に順次に生成する。具体的には、指標値算定部42Aは、音響信号x(t)のスペクトルX(k,m)の各周波数のパワー|X(k,m)|2を相異なる時定数にて平滑化することで第1指標値Q1(k,m)および第2指標値Q2(k,m)を算定し、調整値算定部44は、指標値算定部42Aが算定した第1指標値Q1(k,m)と第2指標値Q2(k,m)とに応じた調整値Gs(k,m)を各周波数について単位期間毎に順次に算定する。
図13の調整処理部46は、調整値算定部44が周波数毎に算定する調整値Gs(k,m)から分割帯域毎の調整値Gs(b,m)を生成する。具体的には、第b番目の分割帯域内の複数の周波数の各々に対応する調整値Gs(k,m)の代表値(典型的には平均値)が調整値Gs(b,m)として算定される。なお、第b番目の分割帯域内の各周波数の調整値Gs(k,m)の加重和を調整値Gs(b,m)として算定することも可能である。例えば、第b番目の分割帯域内の1個の周波数での振幅|X(k,m)|と分割帯域内の各周波数での振幅|X(k,m)|の合計値Σ|X(k,m)|との相対比(|X(k,m)|/Σ|X(k,m)|)を加重値とした各調整値Gs(k,m)の加重和が第b番目の分割帯域の調整値Gs(b,m)として好適である。
図12の残響調整部36は、帯域分割部72が生成する各帯域成分Zb(t)(Z1(t)〜ZB(t))に対して、解析処理部34A(調整処理部46)が生成した調整値Gs(b,m)を単位期間毎に順次に作用させる。具体的には、残響調整部36は、帯域成分Zb(t)に調整値Gs(b,m)を乗算する振幅調整処理を分割帯域毎に実行する。調整値Gs(b,m)の乗算により帯域成分Zb(t)の残響成分が抑圧される。波形合成部38は、残響調整部36による調整後(残響成分の抑圧後)のB個の帯域成分Gs(b,m)Zb(t)(Gs(1,m)Z1(t)〜Gs(B,m)ZB(t))を合成(例えば加算)することで音響信号ys(t)を生成する。
以上の説明から理解される通り、第6実施形態では、音響信号x(t)のスペクトルX(k,m)は調整値Gs(b,m)の算定に利用され、音響信号ys(t)の生成(時間領域での重複加算)に直接的には適用されないから、第6実施形態においてスペクトルX(k,m)が算定される各単位期間は時間軸上で相互に重複する必要はない。
図14は、任意の帯域成分Zb(t)と調整値Gs(b,m)との時間的な関係の説明図である。任意の1個のスペクトルX(k,m)の算定には音響信号x(t)の第m番目の単位期間内の全部のサンプルが必要であるから、周波数分析部32によるスペクトルX(k,m)の算定は音響信号x(t)に対して単位期間の1個分だけ遅延する。したがって、第m番目の単位期間に対応する調整値Gs(b,m)は、第m番目の単位期間の始点q(m)に対して単位期間の2個分だけ遅延した時点p(m)にて帯域成分Zb(t)の調整に利用可能となる。他方、帯域分割部72は時間領域で各帯域成分Zb(t)を生成するから各帯域成分Zb(t)に遅延は発生しない。したがって、第6実施形態の残響調整部36では、第m番目の単位期間に対応する調整値Gs(b,m)が帯域成分Zb(t)のうち第(m+2)番目の単位期間に作用する。なお、調整値Gs(b,m)の算定が開始されていない段階(例えば音響信号x(t)の第1番目および第2番目の単位期間)では所定値(例えば1)が調整値Gs(b,m)として適用される。
図15には、音響信号x(t)のスペクトログラムP1と、第6実施形態の音響処理装置による残響抑圧後の音響信号ys(t)のスペクトログラムP2と、両者間の差分(P2−P1)とが併記されている。差分(P2−P1)では、表示階調が低いほど数値が小さいこと(すなわち音響処理装置による処理で抑圧された残響成分)を意味する。スペクトログラムP1とスペクトログラムP2との対比や差分(P2−P1)から把握される通り、第6実施形態では、調整値Gs(b,m)が帯域成分Zb(t)に対して遅延する構成にも関わらず、音響信号x(t)の残響成分を効果的に抑圧することが可能である。
第6実施形態においても第1実施形態と同様の効果が実現される。また、第6実施形態では、音響信号x(t)が帯域分割部72(フィルタバンク)によりB個の帯域成分Z1(t)〜ZB(t)に分割されて調整値Gs(b,m)で処理される。したがって、周波数分析部32が生成したスペクトルX(k,m)に調整値Gs(k,m)を作用させる第1実施形態と比較して、音響信号x(t)に対する音響信号ys(t)の遅延を抑制できるという利点がある。例えば、同時に収録された音響信号x(t)と映像信号とを再生する場面(例えば遠隔会議システム等において音響信号x(t)と映像信号とを通信端末間で授受する場面)を想定すると、残響抑圧後の音響信号ys(t)が音響信号x(t)に対して遅延すると音響信号ys(t)と映像信号とを正確に同期させることが困難となり得る。第6実施形態では、音響信号x(t)に対する音響信号ys(t)の遅延が抑制されるから、音響信号ys(t)と映像信号とを正確に同期させることが可能である。
なお、前述の例示のように帯域成分Zb(t)の単位期間毎に別個の調整値Gs(b,m)を適用する構成では、残響調整部36による調整後の帯域成分Gs(b,m)Zb(t)の音量が各単位期間の境界にて不連続に変動し、結果的に音響信号ys(t)の再生音が聴感的に不自然な印象となる可能性がある。そこで、相前後する各単位期間にて調整値Gs(b,m)をクロスフェードさせる構成が好適である。例えば、調整処理部46は、任意の単位期間の調整値Gs(b,m)を経時的に増加させるとともに直前の単位期間の調整値Gs(b,m-1)を経時的に減少させて相互に加算したうえで帯域成分Zb(t)に作用させる。以上の構成によれば、帯域成分Gs(b,m)Zb(t)の音量の不連続な変動が抑制されるから、聴感的に自然な再生音の音響信号ys(t)を生成できるという利点がある。また、以上の説明では第1実施形態を基礎とした構成を例示したが、第2実施形態から第5実施形態の構成を第6実施形態に適用することも可能である。
<第7実施形態>
音響信号x(t)の残響時間が長い場合、後期残響区間では、第1指標値Q1(k,m)が第2指標値Q2(k,m)に対して変動することで比R(k,m)(調整値Gs(k,m))が不安定となり、結果的に、音響信号ys(t)の音量が揺動して再生音の音質が低下する可能性がある。以上の傾向を考慮して、第7実施形態では、後期残響区間にて音響信号ys(t)の音量の変動を抑制する。
第7実施形態の調整値算定部44は、各単位期間の調整値Gs(k,m)を後期残響区間内の単位期間と後期残響区間外の単位区間とで区別して算定することで後期残響区間内の音響信号ys(t)の音量の変動を抑制する。具体的には、調整値算定部44は、単位期間が後期残響区間に該当する場合の調整値Gs(k,m)が、単位期間が後期残響区間に該当しない場合の調整値Gs(k,m)を下回る(すなわち、前者の調整値Gs(k,m)による残響成分の抑圧効果が後者の調整値Gs(k,m)による抑圧効果を上回る)ように、音響信号x(t)の単位期間毎に調整値Gs(k,m)を算定する。図16は、第7実施形態の調整値算定部44が実行する処理のフローチャートである。
図16に示すように、調整値算定部44は、数式(2)および数式(3)の演算で調整値Gs(k,m)を単位期間毎に算定し(ST1)、各単位期間が音響信号x(t)の後期残響区間に該当するか否かを判定する(ST2)。具体的には、第1指標値Q1(k,m)が後期残響区間内で小さい数値に低下するという傾向を考慮して、調整値算定部44は、第1閾値Q1(k,m)と所定の閾値QTHとを比較することで単位期間が後期残響区間に該当するか否かを判定する。すなわち、第1閾値Q1(k,m)が閾値QTHを上回る場合(Q1(k,m)≧QTH)には単位期間が後期残響区間に該当しない(初期反射区間に該当する)と判定され、第1閾値Q1(k,m)が閾値QTHを下回る場合(Q1(k,m)<QTH)には単位期間が後期残響区間に該当すると判定される。
調整値算定部44は、ステップST1で算定した調整値Gs(k,m)をステップST2の判定結果に応じて補正する(ST3)。具体的には、調整値算定部44は、後期残響区間に該当しないと判定した単位期間(Q1(k,m)≧QTH)の調整値Gs(k,m)を数式(3)での算定値に確定し(数式(7A))、後期残響区間に該当すると判定した単位期間(Q1(k,m)<QTH)については調整値Gs(k,m)を数式(3)での算定値から低下させる(数式(7B))。具体的には、調整値算定部44は、後期残響区間内の各単位期間について数式(3)で算定された調整値Gs(k,m)に係数γを乗算する。係数γは、1を下回る正数である(0<γ<1)。したがって、音響信号ys(t)のうち音響信号x(t)の後期残響区間に対応する区間では音量が低下し、再生音の音質の低下を受聴者に知覚され難くすることが可能である。
第7実施形態においても第1実施形態と同様の効果が実現される。また、第7実施形態によれば、後期残響区間内にて音響信号ys(t)の音量が低減されるから、後期残響区間内で比R(k,m)(調整値Gs(k,m))が不安定に変動する場合でも、音響信号ys(t)の再生音の音質の低下を抑制することが可能である。なお、第2実施形態から第6実施形態の構成を第7実施形態に適用することも可能である。
<第7実施形態の変形例>
(1)各単位期間が後期残響区間に該当するか否かを判定する構成や方法は任意である。例えば、第1指標値Q1(k,m)と第2指標値Q2(k,m)との中間の追従性で音響信号x(t)のパワー|X(k,m)|2に追従する第3指標値Q3(k,m)を、単位期間が後期残響区間に該当するか否かの判定に適用することも可能である。
第1指標値Q1(k,m)および第2指標値Q2(k,m)を前掲の数式(1A)および数式(1B)で算定する構成では、指標値算定部42Aは、例えば以下の数式(1C)の演算で第3指標値Q3(k,m)を算定する。第3指標値Q3(k,m)の算定に加味される単位期間の個数N3は、第1指標値Q1(k,m)の算定(数式(1A))に加味される単位期間の個数N1と第2指標値Q2(k,m)の算定(数式(1B))に加味される単位期間の個数N2との間の数値に設定される(N1<N3<N2)。したがって、第3指標値Q3(k,m)は、第1指標値Q1(k,m)の時定数τ1と第2指標値Q2(k,m)の時定数τ2との間の時定数τ3(τ1<τ3<τ2)で音響信号x(t)のパワー|X(k,m)|2に追従する。なお、数式(5A)および数式(5B)と同様の加重移動平均で第3指標値Q3(k,m)を算定することも可能である。
また、第1指標値Q1(k,m)および第2指標値Q2(k,m)を前掲の数式(4A)および数式(4B)で算定する構成では、第3指標値Q3(k,m)は、例えば以下の数式(4C)で算定される。第3指標値Q3(k,m)の算定に適用される平滑化係数α3は、第1指標値Q1(k,m)の算定(数式(4A))に適用される平滑化係数α1と第2指標値Q2(k,m)の算定(数式(4B))に適用される平滑化係数α2との間の数値に設定される(α2<α3<α1)。したがって、第3指標値Q3(k,m)は、第1指標値Q1(k,m)の時定数τ1と第2指標値Q2(k,m)の時定数τ2との間の時定数τ3(τ1<τ3<τ2)で音響信号x(t)のパワー|X(k,m)|2に追従する。
以上に説明した通り、第3指標値Q3(k,m)は、第1指標値Q1(k,m)と第2指標値Q2(k,m)との中間の追従性で音響信号x(t)のパワー|X(k,m)|2に追従する。したがって、後期残響区間内の各単位期間では第3指標値Q3(k,m)が第1指標値Q1(k,m)を上回る(Q3(k,m)>Q1(k,m))と期待される。以上の傾向を考慮して、調整値算定部44は、第3指標値Q3(k,m)と第1指標値Q1(k,m)とを比較することで単位期間が後期残響区間に該当するか否かを判定する(図16のステップST2)。具体的には、第3指標値Q3(k,m)が第1指標値Q1(k,m)を下回る場合(Q3(k,m)≦Q1(k,m))には単位期間が後期残響区間に該当しないと判定され、第3指標値Q3(k,m)が第1指標値Q1(k,m)を上回る場合(Q3(k,m)>Q1(k,m))には単位期間が後期残響区間に該当すると判定される。前述の形態と同様に、後期残響区間外の単位期間(Q3(k,m)≦Q1(k,m))の調整値Gs(k,m)は数式(3)での算定値に確定され(数式(7A))、後期残響区間内の単位期間(Q3(k,m)>Q1(k,m))については調整値Gs(k,m)が係数γに応じて補正される(数式(7B))。
(2)後期残響区間内の各単位期間の調整値Gs(k,m)を低下させる構成や方法は前述の例示に限定されない。例えば、前掲の数式(1C)や数式(4C)で第3指標値Q3(k,m)を算定する構成では、以下に例示する数式(8A)および数式(8B)で各単位期間の調整値Gs(k,m)を算定することも可能である。なお、数式(8A)および数式(8B)で調整値Gs(k,m)を算定する場合、数式(2)による比R(k,m)の算定は省略される。
数式(8A)および数式(8B)の記号min{A,B}は、数値Aおよび数値Bの最小値を選択する演算子を意味する。数式(8A)および数式(8B)から理解される通り、後期残響区間外の各単位期間については第1実施形態と同様に調整値Gs(k,m)が算定され、後期残響区間内の各単位期間については比R(k,m)を下回る調整値Gs(k,m)が算定される。なお、数式(8B)を以下の数式(8C)(数式(8B)の分母の乗算を加算に変更した数式)に置換することも可能である。
(3)以上の例示では、後期残響区間内の各単位期間の調整値Gs(k,m)を後期残響区間外の各単位期間の調整値Gs(k,m)と比較して低下させる構成を例示したが、後期残響区間にて音響信号ys(t)の音量の変動を抑制するための構成は以上の例示に限定されない。例えば、各単位期間が後期残響区間に該当するか否かを以上に例示した方法で判定し、波形合成部38が生成した音響信号ys(t)のうち後期残響区間内の単位区間の音量を時間領域で低下させる構成や、残響調整部36による調整後のスペクトルYs(k,m)のうち後期残響区間内のスペクトルYs(k,m)の音量を周波数領域で低下させる構成も採用され得る。調整値Gs(k,m)の算定は第1実施形態と同様である。
<変形例>
前述の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は適宜に併合され得る。
(1)前述の各形態では、第1平滑部51による平滑化の時定数τ1と第2平滑部52による平滑化の時定数τ2との各々を複数の周波数にわたり共通させたが、時定数τ1と時定数τ2とを周波数毎(帯域毎)に個別に設定することも可能である。
数式(2)および数式(3)から理解されるように、第2指標値Q2(k,m)が第1指標値Q1(k,m)を上回る区間SBでは、第1指標値Q1(k,m)と第2指標値Q2(k,m)との相違(時定数τ1と時定数τ2との相違)が大きいほど調整値Gs(k,m)は小さい数値となり、残響成分の抑圧効果は増加する。他方、残響成分は高音域よりも低音域で顕在化するという傾向がある。そこで、低域側の周波数ほど時定数τ1と時定数τ2との相違を増加させた構成(低域側の周波数ほど調整値Gs(k,m)が迅速に減少する構成)構成が好適である。例えば、周波数軸上の第k1番目の周波数f(k1)と周波数f(k1)を上回る周波数f(k2)とに着目すると、周波数f(f1)に対応する時定数τ1(k1)と時定数τ2(k1)との差異は、周波数f(k2)に対応する時定数τ1(k2)と時定数τ2(k2)との差異を上回る。
(2)時定数τ1および時定数τ2の一方または双方を経時的に変化させることも可能である。例えば、前述のように、時定数τ1と時定数τ2との相違が大きい(時定数τ2が時定数τ1に対して大きい)ほど調整値Gs(k,m)が迅速に減少するという傾向があるから、時定数τ2を時定数τ1に対して経時的に増加させる構成が好適である。以上の構成では、調整値Gs(k,m)の減少が促進されるから、例えば残響成分の時間長が充分に長い場合でも残響成分を有効に抑圧することが可能である。なお、時定数τ1および時定数τ2は、例えば音響信号x(t)における音響の立上がりの時点(例えば調整値Gs(k,m)が減少から増加に逆転した時点)で初期化される。
(3)第1指標値Q1(k,m)および第2指標値Q2(k,m)に応じて調整値Gs(k,m)や調整値Ge(k,m)を算定する方法は任意である。例えば、第1指標値Q1(k,m)および第2指標値Q2(k,m)を変数とする所定の演算や比R(k,m)を変数とする所定の演算により調整値Gs(k,m)や調整値Ge(k,m)を算定する構成も採用され得る。また、前述の各形態では第2指標値Q2(k,m)に対する第1指標値Q1(k,m)の比R(k,m)に応じて調整値Ge(k,m)を算定したが、例えば第1指標値Q1(k,m)に対する第2指標値Q2(k,m)の比R(k,m)を数式(3)の演算に適用すれば、第4実施形態と同様に、残響強調用の調整値Ge(k,m)を算定することが可能である。
以上の説明から理解されるように、調整値算定部44は、音響信号x(t)の残響成分を調整(抑圧または強調)するための調整値(Gs(k,m),Ge(k,m))を第1指標値Q1(k,m)および第2指標値Q2(k,m)に応じて算定する要素として包括される。例えば、残響成分を抑圧する構成では、第1指標値Q1(k,m)が第2指標値Q2(k,m)を下回る場合(区間SB)に、第1指標値Q1(k,m)が第2指標値Q2(k,m)を上回る場合(区間SA)と比較して音響信号x(t)が抑圧されるように調整値Gs(k,m)が算定される。他方、残響成分を強調する構成では、第1指標値Q1(k,m)が第2指標値Q2(k,m)を上回る場合(区間SA)に、第1指標値Q1(k,m)が第2指標値Q2(k,m)を下回る場合(区間SB)と比較して音響信号x(t)が抑圧されるように調整値Ge(k,m)が算定される。
(4)前述の実施形態では、音響信号x(t)のパワー|X(k,m)|2の時系列を平滑化することで第1指標値Q1(k,m)および第2指標値Q2(k,m)を算定したが、第1平滑部51や第2平滑部52による平滑化の対象はパワー|X(k,m)|2に限定されない。例えば、音響信号x(t)の振幅|X(k,m)|や振幅の4乗|X(k,m)|4を平滑化することで第1指標値Q1(k,m)や第2指標値Q2(k,m)を算定する構成も採用され得る。すなわち、前述の各形態における第1平滑部51や第2平滑部52は、音響信号x(t)の信号強度の時系列を平滑化する要素として包括され、信号強度は、音響信号x(t)のパワー|X(k,m)|2のほかに振幅|X(k,m)|や振幅の4乗|X(k,m)|4を包含する。また、前述の各形態では、調整値Gs(k,m)や調整値Ge(k,m)を音響信号x(t)のスペクトルX(k,m)に作用させたが、例えば音響信号x(t)のパワー|X(k,m)|2に調整値Gs(k,m)や調整値Ge(k,m)を作用させることも可能である。
(5)前述の各形態では、残響成分を調整(抑圧,強調)する構成を例示したが、経時的に減衰する任意の音響成分(以下「減衰成分」という)の調整に本発明を適用することが可能である。減衰成分は、前述の各形態で例示した残響成分のほか、例えば楽器の演奏音の響きの成分(共鳴成分)を包含し得る。具体的には、ピアノ等の鍵盤楽器の響板による共鳴成分やバイオリン等の弦楽器の共鳴成分(胴鳴り,箱鳴り)の調整にも、前述の各形態と同様に本発明を適用することが可能である。以上の説明から理解されるように、本願の出願書類に記載された「残響成分」は、経時的に減衰する成分を意味する「減衰成分」と換言することが可能である。