JP5899865B2 - 音響信号加工装置及びプログラム - Google Patents

Description

この発明は、入力する音響信号を加工して出力する音響信号加工装置及び、コンピュータをこのような音響信号加工装置として機能させるためのプログラムに関する。

従来から、音響信号を加工して出力する装置として、ボーカル音（歌声）を含む楽曲のステレオのオーディオ信号からボーカル音を除去する、いわゆるボイスキャンセルの機能を備えたオーディオ再生装置が知られている。

例えば、特許文献１には、ボーカル音は音像がＬとＲの中間の位置（センター）に定位し、ＬとＲにほぼ同位相かつ同レベルで含まれることを利用した技術が開示されている。具体的には、ＬとＲの差を取った信号に低域成分（例えば２００Ｈｚ以下）と高域成分（例えば４ＫＨｚ以上）を補充することによって、入力するオーディオ信号からボーカル音を除去できることが記載されている。

実開平５−６３１９７号公報

しかしながら、特許文献１に記載の技術によりボイスキャンセルを行うと、ボーカル音と周波数帯域が近くかつ同じくセンターに定位していることの多い打楽器のタムやスネアの音も、ボーカル音と共に除去されてしまうという問題があった。
この発明は、このような問題を解決し、入力する音響信号から、ボーカル音と周波数帯域の近い伴奏音を残しつつ効率的にボーカル音を除去できるようにすることを目的とする。

上記の目的を達成するため、この発明の音響信号加工装置は、入力するステレオの音響信号から特定の周波数帯域の成分を除去して出力する帯域除去手段と、上記入力するステレオの音響信号を構成するＬ信号とＲ信号のそれぞれから上記特定の周波数帯域の成分を抽出する帯域抽出手段と、上記Ｌ信号と上記Ｒ信号の双方について、上記帯域抽出手段が抽出した成分の振幅が所定の閾値を超えた場合に、所定の時間だけ、上記帯域除去手段による上記特定の周波数帯域の成分の除去を緩和又は停止した信号を出力するようにする調整手段とを設けたものである。

このような音響信号加工装置において、上記帯域除去手段に、上記特定の周波数帯域の成分を除去した信号に、上記帯域抽出手段が抽出した上記特定の周波数帯域の成分についてＬ信号とＲ信号の差分を取った信号を加算して出力する手段を設けるとよい。
さらに、上記調整手段における、上記特定の周波数帯域の成分の除去を緩和又は停止した信号の出力を、出力信号を、上記所定の時間だけ、上記帯域除去手段による上記特定の周波数帯域の除去を行っていない音響信号に切り替えることによって行うとよい。
あるいは、上記調整手段における、上記特定の周波数帯域の成分の除去を緩和又は停止した信号の出力を、上記所定の時間だけ、上記帯域除去手段が除去する周波数帯域の下限を、所定の変化量だけ高周波数側にずらすことによって行うとよい。
これらの発明は、装置として実施する他、プログラムや方法等として実施することも可能である。

以上のようなこの発明によれば、入力する音響信号から、ボーカル音と周波数帯域の近い伴奏音を残しつつ効率的にボーカル音を除去することができる。

この発明の音響信号加工装置の実施形態である楽音再生装置のハードウェア構成を示す図である。 図１に示した楽音再生装置が備えるボーカル除去部の構成を示す図である。 図２に示したボーカル除去部が備える解析部の構成を示す図である。

以下、この発明を実施するための形態を図面に基づいて具体的に説明する。
まず、図１に、この発明の音響信号加工装置の実施形態である楽音再生装置のハードウェア構成を示す。
図１に示すように、楽音再生装置１０は、ＣＰＵ１１、フラッシュメモリ１２、ＲＡＭ１３、表示器１４、操作子１５、外部機器Ｉ／Ｏ１６、波形再生部１７、信号処理部（ＤＳＰ）１８、ボーカル除去部１９を備え、これらをシステムバス２１により接続している。また、サウンドシステム２０も備える。

そして、ＣＰＵ１１が、ＲＡＭ１３をワークメモリとしてフラッシュメモリ１２に記憶している所要のプログラムを実行することにより、楽音再生装置１０全体を制御する。ＣＰＵ１１は、所要のプログラムを実行することにより、操作子１５に対してなされたユーザの操作を検出しそれに従って波形再生部１７、ＤＳＰ１８及びボーカル除去部１９における信号処理や加工処理を制御したり設定を行ったりする機能等、種々の機能を実現する。

表示器１４は、楽音再生装置１０において設定されているパラメータや楽音再生装置１０の動作状態に関する情報を表示するための表示手段である。
操作子１５は、ユーザからの操作を受け付けるための、ボタンやスイッチ等からなる操作手段である。表示器１４と一体のタッチパネルを用いることができる。
外部機器Ｉ／Ｏ１６は、ポインティングデバイスやディスプレイ等を接続して表示器１４あるいは操作子１５に代えて用いたり、ＰＣ（パーソナルコンピュータ）等を接続して楽音再生装置１０を外部から制御できるようにしたりするために用いるインタフェースである。

波形再生部１７は、フラッシュメモリ１２やその他の不図示の記憶媒体に記憶されている波形データを読み出してオーディオ形式のデジタル波形データとして再生し、ＤＳＰ１８に供給する。波形再生部１７がＤＳＰ１８に供給するデジタル波形データは、典型的には、ＣＤ（コンパクトディスク）やＭＰ３（MPEG Audio Layer-3）形式の音声データの再生により得られるステレオの波形データである。また、ボーカル音と伴奏音とがミキシング済みの、ボーカル音の入った波形データである。

ＤＳＰ１８は、信号処理回路を含み、波形再生部１７から入力するデジタル波形データに対し、カレントメモリに設定されている各種処理パラメータに従って、ミキサ、コンプレッサ、イコライザ、アッテネータ、ディレイ、エフェクト付与等の何れか１ないし複数の各種信号処理を施した上で、ステレオのデジタル波形データとしてボーカル除去部１９に出力する。ボーカル除去部１９を経由せずにサウンドシステム２０に出力することも可能である。

ボーカル除去部１９は、ＤＳＰ１８が出力するステレオのデジタル波形データに対し、ボーカル音の成分を除去する加工を行い、その結果を出力のデジタル波形データとしてサウンドシステム２０に供給する。加工処理の詳細については後述する。
サウンドシステム２０は、ＤＡ変換器とスピーカ等により構成され、ＤＳＰ１８又はボーカル除去部１９から供給されるデジタル波形データに基づいて音声を出力する発音手段である。

次に、図２に、図１に示した楽音再生装置１０が備えるボーカル除去部１９の構成を示す。
図２に示す通り、ボーカル除去部１９は、ＤＳＰ１８から入力するＬとＲの入力信号をそれぞれ加工して、ＬとＲの出力信号としてサウンドシステム２０に出力する。そして、ＢＥＦ（バンドエリミネートフィルタ）１０１，１１１、ＢＰＦ（バンドパスフィルタ）１０２，１１２、加算部１０３，１１３，１２１、ディレイ１０４，１０５，１１４，１１５、スイッチ１０６，１１６、解析部１２２、調整部１２３を備える。これらの各部の機能はハードウェアによって実現しても、ソフトウェアによって実現しても、それらの組み合わせであってもよい。

このボーカル除去部１９においてはまず、ＢＥＦ１０１により、ＤＳＰ１８から入力する入力Ｌ信号から、ボーカル音が含まれると考えられる特定の周波数帯域（例えば３００Ｈｚから４又は５ＫＨｚの中音域、以後「ボーカル音周波数帯域」と呼ぶ）の成分を除去する。また、ＢＰＦ１０２により、同じ入力Ｌ信号から、そのボーカル音周波数帯域の成分を抽出する。入力Ｒ信号についても、同様にＢＥＦ１１１によりボーカル音周波数帯域の成分を除去し、ＢＰＦ１１２によりそのボーカル音周波数帯域の成分を抽出する。ＢＥＦ１０１，１１１が帯域除去手段、ＢＰＦ１０２，１１２が帯域抽出手段である。

なお、ＢＥＦ１０１とＢＥＦ１１１において、ボーカル音周波数帯域としては、同じ帯域を設定する。しかし、ＢＥＦ１０１とＢＰＦ１０２、あるいはＢＥＦ１１１とＢＰＦ１１２においては、除去する帯域と抽出する帯域は、一致していることが好ましいが、必ずしも一致している必要はない。また、上記「同じ」及び「一致」の意味も、完全一致は必須ではなく、概ね同等の帯域範囲であればよい。

そして、ＢＰＦ１０２の出力とＢＰＦ１１２の出力をそれぞれ加算部１２１に供給し、Ｒ−Ｌの差分信号を得る。この信号は概ね、ボーカル音周波数帯域の信号から、音像がＬとＲの中間（センター）に定位した信号を除いた信号となる。ボーカル音は通常は中央に定位していると考えられるため、この処理によりボーカル音を効果的に除去することができる。

この差分信号は、加算部１０３，１１３により、Ｌ側とＲ側でそれぞれＢＥＦ１０１，１１１の出力に加算する。このとき、Ｌ側では正負を反転させて加算する。従って、Ｌ側ではＬ−Ｒの信号を、Ｒ側ではＲ−Ｌの信号を加算することになる。

これらの加算により、ＬとＲのそれぞれについて、ボーカル音周波数帯域の成分が除去された入力信号に、その周波数帯域の成分からボーカル音（と考えられるセンターに定位した成分）を除去した信号を復元することができる。従って、全体としては、入力信号からボーカル音の成分を除去した信号が得られる。ＬとＲの差分を取る処理は、ボーカル音周波数帯域の成分に対してしか行っていないので、差分を取ることによりボーカル音以外の成分が失われることをかなり防止することができる。

また、ボーカル除去部１９は、スイッチ１０６，１１６により、ＬとＲのそれぞれについて、以上の処理によりボーカル音を除去した信号と、加工しない入力信号とのどちらを出力信号として出力するかを選択することができる。この選択は、ＢＰＦ１０２，１１２の出力を解析部１２２において解析し、その結果に基づいて調整部１２３が出力する選択信号ＳＷにより行う。通常はボーカル音を除去した信号を選択し、加工しない入力信号を選択するよう指示された場合のみそちらを選択するようにするとよい。また、スイッチ１０６，１１６は連動して動作し、一方がボーカル音を除去した信号を選択した場合には他方もそちらを選択する。加工しない入力信号の選択についても同様である。

ディレイ１０４，１１４は、解析部１２２における解析に要するタイムラグの分だけ信号を遅延させるためのものである。また、ディレイ１０５，１１５は、上記のタイムラグに加えて、ボーカル除去処理中のフィルタ処理や加算処理に要する時間の分だけ信号を遅延させ、ボーカル音を除去した信号と、加工しない入力信号との位相を合わせるためのものである。

ところで、ボーカル除去部１９において解析部１２２、調整部１２３及びスイッチ１０６，１１６を設けたのは、ＢＥＦ、ＢＰＦ及び加算部等によるボーカル音の除去処理を行った結果、ボーカル音以外の音も意図せず除去してしまうことになってしまう期間につき、その除去処理を緩和（この例では完全に停止）するためである。これらの各部が調整手段に該当する。

意図せず除去してしまう音としては、スネアやタムの音が考えられる。これらの音は、ボーカル音と周波数帯域が近くかつ同じくセンターに定位していることが多いため、ボーカル音と同様、ＢＥＦ１０１，１１１では除去され、加算器１２１での差分信号生成の際にも除去されてしまう。
しかし、スネアやタムのようなリズム音は、演奏のリズムを取るために大切な音であり、ボーカル音と共に除去されることは好ましくない。
一方、スネアやタムの音は、ボーカル音と比べ、ボリュームが大きく、アタックが速い傾向にあるという特徴がある。そこで、解析部１２２においてこの特徴に着目してＢＰＦ１０２，１１２の出力を解析することにより、入力信号にスネアやタムの音が含まれる期間を識別することができる。

ここで、図３に解析部１２２のより詳細な構成を示す。

図３に示すように、解析部１２２は、Ｌエンベロープ検出部１３１、Ｒエンベロープ検出部１３２及びアタック検出部１３３を備える。

そして、Ｌエンベロープ検出部１３１にＢＰＦ１０２の出力を、Ｒエンベロープ検出部１３２にＢＰＦ１１２の出力をそれぞれ入力し、エンベロープ（振幅）の検出を行う。アタック検出部１３３では、ＬとＲの双方の振幅が所定の閾値を超えたか否か判断し、超えた場合に、センターに定位したスネアやタムの音のアタックがあったと判断し、その旨を示す信号を調整部１２３に出力する。なお、この基準ではセンターから外れた位置に定位した音は検出できない可能性があるが、そのような音はボーカル音の除去処理で除去されないと考えられるため、検出できなくても問題ない。また、この閾値は、固定の値ではなく、平均の何倍、というように動的に変化する値でもよい。振幅の急激な増加及び減少を検出するような定め方をしてもよい。

図２の説明に戻る。
調整部１２３は、解析部１２２からアタックがあった旨の信号を受け取ると、その時点から所定期間だけ、スイッチ１０６，１１６にそれぞれ加工しない入力信号を選択させるための選択信号ＳＷを出力する。したがって、この期間だけは、ボーカル音の除去処理が行われていない信号を出力することができる。
このため、スネアやタムの音が含まれる信号を出力することができる。このときには、ボーカル音も含まれた信号を出力することとなるが、瞬間的にはスネアやタムの音の方が音量が大きく、ボーカル音はこれにマスクされてしまうため、人の耳で聞く範囲ではさほど問題とならない。

しかし、スネアやタムの音の音量が低下する前に出力をボーカル音を除去した信号に戻さないと、ボーカル音が目立ってしまう。そこで、スイッチ１０６，１１６に加工しない入力信号を選択させる期間は、アタックがあった旨の信号を受け取ってから数十ミリ秒程度とすることが好ましい。

ボーカル除去部１９においては、以上の構成により、入力するオーディオ信号から、ボーカル音と周波数帯域の近い伴奏音を残しつつ効率的にボーカル音を除去することができる。従って、楽音再生装置１０においては、波形再生部１７がボーカル音の入った楽曲のデータを再生した場合でも、その楽曲からボーカル音と周波数帯域の近い伴奏音を残しつつ効率的にボーカル音を除去した音をサウンドシステム２０から出力することができる。

以上で実施形態の説明を終了するが、装置の構成や処理の内容、具体的な数値等が上述の実施形態で説明したものに限られないことはもちろんである。
例えば、上述した実施形態では、スネアやタムのアタックがあるとボーカル音の除去処理を全く行わない信号を出力するようにしたが、除去処理を緩和するのみでもよい。この緩和は例えば、ＢＥＦ１０１，１１１において成分を除去する周波数帯域を狭めることにより行うことができる。より具体的には、スネアやタムの音が含まれる帯域は、ボーカル音が含まれ得る帯域のうち低周波数側に位置するため、成分を除去する周波数帯域の下限を、所定の変化量だけ高周波数側にずらせばよい。

このようにすれば、ボーカル音の除去処理もある程度行いつつ、スネアやタムの音を残すことができる。この場合、スイッチ１０６，１１６は不要であり、調整部１２３が、解析部１２２からアタックがあった旨の信号を受け取った場合に、ＢＥＦ１０１，１１１におけるフィルタのパラメータを変更し、所定時間経過後にそれを元に戻せばよい。

またこのとき、ＢＰＦ１０２，１１２における抽出周波数帯域も、ＢＥＦ１０１，１１１に連動して変更させるとよいが、処理速度等の観点で難しければ、変更しなくてもよい。ＢＥＦとＢＰＦで重複する帯域や抜けが生じる帯域があっても、短時間でありまたスネアやタムの音がある期間であるので、人の耳で聞く範囲ではさほど問題とならない。
また、除去処理を緩和する手法としては、ＢＰＦの出力自身と差分信号とをそれぞれレベル調整して混合し、それをＢＥＦの出力に加算することも考えられる。このようにしても、ある程度はスネアやタムの音を残すことができる。

また、上述した実施形態では、加算部１２１により生成した差分信号をＢＥＦ１０１，１１１の出力にそれぞれ足し込む例について説明した。しかし、加算部１２１，１０３，１１３を設けず、ボーカル信号の除去を、単にＢＥＦ１０１，１１１によりボーカル音周波数帯域の信号を除去することによって行ってもよい。このような方式は、モノラルの音響信号にも適用することができる。また、定位位置と関係なくボーカル信号を除去することができる。

また、上述した実施形態では、ボーカル音と共に除去されてしまう音としてスネアやタムの音を想定したが、これ以外の音を想定してもよい。その想定した音を検出できるように解析部１２２における解析内容を定め、想定した音が入力信号に含まれる期間だけ、ボーカル信号の除去処理を緩和又は停止できるようにすればよい。さらに、意図して除去する音も、ボーカル音であることは必須ではない。少なくとも、除去処理を行う装置自身は、除去されている音がどのような音源からの音であるかを認識している必要はない。

また、上述した実施形態ではこの発明を楽音再生装置に適用した例について説明したが、この発明は、音響信号を取り扱う装置であれば、ＩＣレコーダ、携帯音楽再生装置、オーディオ機器、カラオケ装置、電子楽器、音源装置等、任意の装置に適用可能である。単体のボイスキャンセル装置あるいは回路モジュールとして実施することも可能である。また、音響信号の加工も、デジタル波形データの状態で行うことも必須ではなく、アナログ信号に対して加工を行うようにする場合にも適用可能である。

また、この発明のプログラムは、コンピュータを少なくとも上述したようなボーカル除去部１９として機能させるためのプログラムである。このようなプログラムは、予めコンピュータがアクセス可能なＲＯＭやＨＤＤ等に記憶させておくほか、ＣＤ−ＲＯＭあるいはフレキシブルディスク等の不揮発性記録媒体（メモリ）に記録して提供し、そのメモリからこのプログラムをＲＡＭに読み出させてＣＰＵに実行させたり、プログラムを記録した記録媒体を備える外部機器あるいはプログラムをＨＤＤ等の記憶手段に記憶した外部機器からダウンロードして実行させたりしても、同様の効果を得ることができる。
また、以上述べてきた構成及び変形例は、矛盾しない範囲で適宜組み合わせて適用することも可能である。

以上の説明から明らかなように、この発明によれば、入力する音響信号から、ボーカル音と周波数帯域の近い伴奏音を残しつつ効率的にボーカル音を除去することができる。
従って、この発明を適用することにより、音響信号加工装置におけるボーカル音除去後の音響信号の品質を向上させることができる。

１０…楽音再生装置、１１…ＣＰＵ、１２…フラッシュメモリ、１３…ＲＡＭ、１４…表示器、１５…操作子、１６…外部機器Ｉ／Ｏ、１７…波形再生部、１８…ＤＳＰ、１９…ボーカル除去部、２０…サウンドシステム、２１…システムバス、１０１，１１１…ＢＥＦ、１０２，１１２…ＢＰＦ、１０３，１１３，１２１…加算部、１０４，１０５，１１４，１１５…ディレイ、１０６，１１６…スイッチ、１２２…解析部、１２３…調整部、１３１…Ｌエンベロープ検出部、１３２…Ｒエンベロープ検出部、１３３…アタック検出部

Claims (5)

1. 入力するステレオの音響信号から特定の周波数帯域の成分を除去して出力する帯域除去手段と、
   前記入力するステレオの音響信号を構成するＬ信号とＲ信号のそれぞれから前記特定の周波数帯域の成分を抽出する帯域抽出手段と、
   前記Ｌ信号と前記Ｒ信号の双方について、前記帯域抽出手段が抽出した成分の振幅が所定の閾値を超えた場合に、所定の時間だけ、前記帯域除去手段による前記特定の周波数帯域の成分の除去を緩和又は停止した信号を出力するようにする調整手段とを備えたことを特徴とする音響信号加工装置。
2. 請求項１に記載の音響信号加工装置であって、
   前記帯域除去手段は、前記特定の周波数帯域の成分を除去した信号に、前記帯域抽出手段が抽出した前記特定の周波数帯域の成分についてＬ信号とＲ信号の差分を取った信号を加算して出力する手段を備えることを特徴とする音響信号加工装置。
3. 請求項１又は２に記載の音響信号加工装置であって、
   前記調整手段における、前記特定の周波数帯域の成分の除去を緩和又は停止した信号の出力は、出力信号を、前記所定の時間だけ、前記帯域除去手段による前記特定の周波数帯域の除去を行っていない音響信号に切り替えることによって行うことを特徴とする音響信号加工装置。
4. 請求項１又は２に記載の音響信号加工装置であって、
   前記調整手段における、前記特定の周波数帯域の成分の除去を緩和又は停止した信号の出力は、前記所定の時間だけ、前記帯域除去手段が除去する周波数帯域の下限を、所定の変化量だけ高周波数側にずらすことによって行うことを特徴とする音響信号加工装置。
5. コンピュータを、
   入力するステレオの音響信号から特定の周波数帯域の成分を除去して出力する帯域除去手段と、
   前記入力するステレオの音響信号を構成するＬ信号とＲ信号のそれぞれから前記特定の周波数帯域の成分を抽出する帯域抽出手段と、
   前記Ｌ信号と前記Ｒ信号の双方について、前記帯域抽出手段が抽出した成分の振幅が所定の閾値を超えた場合に、所定の時間だけ、前記帯域除去手段による前記特定の周波数帯域の成分の除去を緩和又は停止した信号を出力するようにする調整手段として機能させるためのプログラム。

Images