JP4467601B2 - ビート強調装置、音声出力装置、電子機器、およびビート出力方法 - Google Patents

Description

本発明は音声処理技術に関し、特に音楽などの音声信号に所定の加工処理を施したうえで出力するビート強調装置、音声出力装置、電子機器、および当該装置に適用するビート出力方法に関する。

音声データの符号化技術の発達、記憶装置の大容量化および小型化、入手経路の多様化などの技術的背景により、音声データを再生する環境も多様化し、５．１ｃｈなどのサラウンドシステムで臨場感を楽しんだり、携帯オーディオプレーヤに大量のデータを格納し場所を問わずに種々の音楽を楽しんだり、といったことが手軽に行えるようになった。

同様に、取得した音楽コンテンツを一方的に聴くばかりでなく、イコライザなどの音声加工ソフトウェアによって様々な加工を施すことにより音質を向上させたり、複数の音楽をリミックスすることによって全く別の音楽を創造したり、といったように、一度記録されたり演奏された音楽に何らかの加工処理を施す技術も普及し、音楽の楽しみ方がさらに多様化している。

音声信号の音質調整は、音の周波数特性を変化させるのが一般的である。例えばより重厚感のある音、迫力のある音を聴かせるために低周波数帯域の音を強調したりする。すなわち、音声信号に含まれる成分のうち、強調したり抽出したりすることのできる成分は、周波数帯域ごとであることが多い。一方、現代においては壮大なクラシック音楽、映画音楽から、リズム重視のヒップホップ、ダンスミュージックまで、音楽のジャンルも多様化し、それぞれの音楽が持つ特徴も大きく異なっている。

特徴が異なる音楽にあっては、強調したり抽出したりしたい成分の種類も当然異なってくる。音楽によっては周波数帯域ごとの成分の処理では逆効果になって音質が悪化したり、想定した効果がほとんど得られなかったりすることもあり得る。

本発明はこのような課題に鑑みてなされたものであり、その目的は、音声信号の加工処理を多様化させる技術を提供することにある。

本発明のある態様はビート強調装置に関する。このビート強調装置は、音声再生装置で再生中の音声信号のスペクトルの時間微分値に基づいて、拍をなすビートのタイミングを抽出し、そのタイミングにおける時間微分値のピークを当該ビートの強度として取得するビート抽出部と、ビート抽出部において抽出されたビートのタイミングにおいて、ビートの強度に応じた度合いで、音声信号に所定の加工を施した出力信号を生成する出力信号生成部と、を備えたことを特徴とする。

ここで「音声信号」は、拍のある音の流れを構成する情報を電気信号としたものであり、音源は人の声、楽器の音、手拍子などのいずれでもよく、それらの組み合わせでもよい。

本発明の別の態様は音声出力装置に関する。この音声出力装置は、音声再生装置で再生中の音声信号のスペクトルの時間微分値に基づいて、拍をなすビートのタイミングを抽出し、そのタイミングにおける時間微分の値のピークを当該ビートの強度として取得するビート抽出部と、ビート抽出部において抽出されたビートのタイミングにおいて、音声信号の少なくとも一部の周波数帯域をビートの強度に応じたゲインで増幅させて生成したビート強調音声信号を生成する出力信号生成部と、ビート強調音声信号を音響として出力する音響出力部と、を備えたことを特徴とする。

本発明のさらに別の態様は電子機器に関する。この電子機器は、音声再生装置で再生中の音声信号のスペクトルの時間微分値に基づいて、拍をなすビートのタイミングを抽出し、そのタイミングにおける時間微分の値のピークを当該ビートの強度として取得するビート抽出部と、ビート抽出部において抽出されたビートのタイミングにおいて、ビートの強度に応じた振幅で振動する波形を有する加振信号を生成する出力信号生成部と、加振信号により振動する振動子と、を備えたことを特徴とする。

本発明のさらに別の態様も電子機器に関する。この電子機器は、音声再生装置で再生中の音声信号のスペクトルの時間微分値に基づいて、拍をなすビートのタイミングを抽出し、そのタイミングにおける時間微分の値のピークを当該ビートの強度として取得するビート抽出部と、ビート抽出部において抽出されたビートのタイミングにおいて、ビートの強度に応じた大きさで立ち上がる波形を有する発光強度信号を生成する出力信号生成部と、出力信号生成部が生成した発光強度信号の強度で発光する発光デバイスと、を備えたことを特徴とする。

本発明のさらに別の態様はビート出力方法に関する。このビート出力方法は、音声再生装置で再生中の音声信号のスペクトルの時間微分値に基づいて、拍をなすビートのタイミングを抽出し、そのタイミングにおける時間微分の値のピークを当該ビートの強度として取得するステップと、ビートのタイミングにおいて、ビートの強度に応じた度合いでその振幅が増加する波形成分を含む出力信号を生成するステップと、音響、振動、発光の少なくともいずれかの形式で出力信号を出力することによりユーザにビートを感じさせるステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、音声信号に効果的な加工処理を施すことができる。

実施の形態１
図１は本実施の形態における音声出力システムの構成を示している。音声出力システム９は、音声再生装置１８０および音声出力装置１０を含む。音声再生装置１８０は例えば携帯オーディオプレーヤなど、符号化された音声データを記憶したメモリ機能と、その中からユーザが選択した一の音声データを再生して音声信号を出力する再生機能とを有する。これらの機能は一般的なオーディオプレーヤのものと同一でよい。音声再生装置１８０は、上述した機能を有し音声出力装置１０に音声信号を入力できるものであればよく、携帯オーディオプレーヤには限られない。

音声再生装置１８０が再生する音声データは、内蔵するフラッシュメモリやハードディスクに記憶されたものに限らず、ＣＤ（Compact Disc）などの記録媒体に記録されたものを図示しない読取装置によって読み取ってもよいし、図示しないネットワークを介して音楽コンテンツ提供サーバなどからダウンロードしてもよい。あるいは、図示しないマイクロフォンなどを用いて生の演奏などを直接入力し、Ａ／Ｄ変換してもよい。以後の説明ではこのような変換も包括して「再生」と呼ぶ。いずれの場合も音声再生装置１８０は、ユーザが指定した音声を音声信号として出力する。

音声出力装置１０は、音声再生装置１８０が出力した音声信号を入力信号として取得し、所定の加工処理を施して音響出力部１８から音響として出力する。音声再生装置１８０から音声出力装置１０への音声信号の入力は、有線、無線のいずれでもよく、一般的に用いられている手法から適宜選択してよい。また音声再生装置１８０と音声出力装置１０とは図１に示すように別の筐体を有していてもよいが、音声出力装置１０を備えた再生装置として一体化していてもよい。音声出力装置１０は、図示するようなスピーカとして実現してもよいし、以下に述べる機能を有し、音響を出力する装置であれば、スピーカに限らずヘッドフォン、イヤホンなどでもよい。

本実施の形態の音声出力装置１０は、音声再生装置１８０から入力された音声信号からビート成分を抽出し、音声信号にビート成分を強調する加工を施したうえで音響として出力する。ここでビート成分とは、音声信号に含まれ、曲の時間的基準となる拍とみなされる成分のことである。したがってこのビート成分はあるタイミングで概ね規則的に出現するが、曲のテンポの変化に応じてその時間間隔も変化してよい。音声出力装置１０は再生中の音楽においてリアルタイムに変化するテンポに即した拍を「ビートのタイミング」として抽出する。

さらに本実施の形態では「ビートの強度」を考慮する。一般的に、ひとつの曲においても穏やかな部分でのビートは弱く、メリハリのある部分でのビートは強く演奏され、受聴する側でもその変化を感じ取ることができる。そのような「ビートの強度」を数値化することにより、音声信号を強調する度合いに「ビートの強度」を反映させ、曲調の変化に対応させる。これにより、作曲家や演奏者が創造した世界を損ねることなくビート成分を強調した音響を出力することができる。また、タイミングという新たな切り口で音声信号の強調処理を行うことが可能となり、周波数帯域ごとの加工では得られなかった、メリハリのある音を生成できる、といった効果をもたらすことができる。

ビートの抽出は上述のようにビートのタイミングを判定し、そのときの強度を何らかの指標で表すことができれば特にその手法は限定されない。以下、その一例としてスペクトログラムを用いた手法について述べる。図２は本実施の形態で用いるビート抽出の原理を説明するための図である。同図中、上段はある音声信号の時間波形５０、下段は同じ時間における当該音声信号のスペクトログラム６０を示している。スペクトログラム６０は周波数に対する音声信号のスペクトルの時間変化を示したものであり、縦軸が周波数、横軸が時間を表している。同図において上段と下段の時間軸は共通である。

まず時間波形５０を見ると、そのピークが大きく振れるタイミング５２の存在が確認できる。これは例えばドラムなどの打楽器がビートを刻んでいるタイミングであると考えられるが、実際にこの音楽を聴いてみると、時間波形に表れるビートのタイミング５２より多くのタイミングでビートが感じられる場合が多い。これは時間波形がその音楽を構成する様々な音波の波形の重ね合わせを表していることなどに起因する。すなわち時間波形は各音波の位相によって振幅が変化するため、ビートのタイミングで波形が打ち消しあったりビート以外のタイミングで増幅したり、といったことが起こりやすい。そのためビート抽出において十分な精度が得られにくい。

一方、スペクトログラム６０を見ると、広範囲にわたる周波数帯域で瞬時に生じる強いスペクトル６２がおよそ周期的に表れているのがわかる。このスペクトル６２の発生タイミングは、音楽を実際に受聴した際に人間が感じるビートのタイミングとよく合致している。そこで本実施の形態では、スペクトル６２が表れるタイミングをビートのタイミングと判断する。具体的にはスペクトルの時間微分を行い、その値、すなわちスペクトルの時間変化量が大きいタイミングをビートのタイミングとする。そして時間微分値をビートの強度とする。

以下、ビートの抽出を行う手法について具体的に説明する。図３はビートの抽出を行うビート抽出部の構成を示している。ビート抽出部１４は後の述べる他の機能とともに音声出力装置１０に備えられる。ビート抽出部１４は、スペクトログラムを構成するスペクトルの数値を算出するスペクトル算出部１４２、スペクトルを時間微分する時間微分算出部１４４、時間微分値に基づきビートの判定を行うコンパレータ１４６、および、音声を強調する処理を行うためにビートを波形として表すエンベロープフォロワ１４８を含む。

まずビート抽出部１４に入力された音声信号は、スペクトル算出部１４２に入力され、所定周期ごとにＦＦＴ（Fast Fourier Transform）演算を行うなど一般的な手法により、各時刻におけるスペクトルが算出される。そして時間微分算出部１４４において、スペクトルの全周波数帯域における総和の、単位時間あたりの変化を算出することにより、スペクトルの時間微分値が算出される。スペクトル算出部１４２および時間微分算出部１４４における計算は、実際には所定の時間幅のうちにサンプリングされた音声信号ごとにスペクトルを算出し、当該時間幅を単位時間分ずらした際のスペクトルの差分を時間微分値として取得するオーバラップ処理を行ってもよい。この場合の具体的な手法は、本発明者が過去に開示した特許文献（特開２００７−３３８５１）に記載されている。このようにして数ミリ秒から数十ミリ秒の時間分解能でスペクトルが得られる。

スペクトル算出部１４２および時間微分算出部１４４の以上の処理により、図中、波形２で表されるような波形を有する音声信号から、スペクトログラム４で表されるようなスペクトルが算出され、波形６で表されるような時間微分値の波形が得られる。コンパレータ１４６は、時間微分算出部１４４から出力された時間微分値の波形のピークと微分値に対しあらかじめ設定したしきい値とを比較する（波形７）。そしてしきい値を超えるピークを有する波形をビート成分として抽出する。結果として抽出されたビート成分にはビートのタイミングおよびそのときのビートの強度の情報が含まれる。

しきい値はより適格にビートのタイミングを検出するために、実際に受聴した場合に得られる感覚との比較や周期性などに基づき最適値を設定しておく。また音楽のジャンルなどによって複数の設定値から選択するようにしたり、曲の初頭の何拍かでしきい値を振って抽出されたビートの間隔を測定するなどして最適値を求め、後の処理にフィードバックするようにしてもよい。

エンベロープフォロワ１４８は、コンパレータ１４６が抽出した波形にエンベロープをかけ、ビートのタイミングで立ち上がり、立ち上がり速度より遅い速度で減衰する波形（波形８）を生成して出力する。この波形の立ち上がり幅は、時間微分値のピーク、すなわちビートの強度を表している。立ち上がった波形は例えば数十〜数百ミリ秒で０レベルに戻るようにその減衰速度を設定しておく。この速度はビート抽出の時間分解能などによって最適値を求めておいてもよいし、再生される曲の調子や音楽のジャンルなどによって複数の設定値から一のものを選択するようにしてもよい。例えばビート感のある音楽であればより急峻な波形とするため減衰速度を速くする、などの調整を行ってもよい。以後、エンベロープフォロワ１４８が出力する波形をビート波形と呼ぶ。

エンベロープフォロワ１４８が行う波形生成処理は、ビートのタイミングをユーザが認識できるよう、強調する時間に所定の幅をもたせるための処理である。したがって、エンベロープフォロワ１４８に代わり一般的なパルス発生器を用いて、所定の時間幅を有する矩形波、三角波など他の形状のパルスを発生させるようにしてもよい。また、スペクトログラムにおける強いスペクトル出現のあとの減衰が遅い、すなわち時間微分値の正のピークの後に表れる負のピークが小さいビートは、それに合わせてビート波形の減衰速度も小さくするなど、よりスペクトログラムの時間変化に近いビート波形を生成するようにしてもよい。

以上のようにして生成されたビート波形を用いて、再生中の音声信号の強調処理を行う。図４は本実施の形態における音声出力装置１０の構成を示している。音声出力装置１０は、音声信号を音声再生装置１８０から取得する音声入力部１２、図３にて例示したビート抽出部１４、再生中の音声信号のビート成分を強調したビート強調音声信号を生成する出力信号生成部１６、およびビート強調音声信号を音響として出力する音響出力部１８を含む。

音声入力部１２には、前述のとおり、有線または無線により音声再生装置１８０において復号化などを経て再生された音声信号が入力される。音声入力部１２に入力された音声信号はビート抽出部１４および出力信号生成部１６に入力される。ビート抽出部１４は、上述の処理により入力された音声信号に基づきビート波形を生成し、出力信号生成部１６に出力する。

出力信号生成部１６は、ビート抽出部１４から入力されたビート波形をゲインとし、音声入力部１２から入力された音声信号を音声入力として、ビート波形が有するビートのタイミングおよびビートの強度で音声信号を増幅させる。増幅対象は、音声信号の全周波数帯域でもよいし、特定の周波数帯域のみでもよい。例えば再生している音楽に特徴的な周波数帯域や、ドラムなど特定の楽器が有する周波数帯域のみを増幅させるようにしてもよい。音楽に特徴的な周波数帯域は、メタデータとして音声データにあらかじめ付加された情報を読み出すことなどにより実現できる。増幅対象とする周波数帯域をユーザが選択できるようにしてもよい。出力信号生成部１６は時間制御を行うことのできる一般的なイコライザによって実現してもよい。

出力信号生成部１６は、ゲインとなるビート波形の振幅の絶対値を、強調の度合いが適当となるように適宜正規化したうえで音声信号の増幅に用いる。あるいは音声出力装置１０に備えられた図示しない調節つまみなどによって、ユーザが強調の度合いを調節できるようにしてもよい。

音響出力部１８は、出力信号生成部１６から入力されたビート強調音声信号をＤ／Ａ変換するなどして音響として出力する。音響出力部１８の構成は一般的なスピーカ、イヤホン、ヘッドフォンなどを用いて実現してよい。以上の構成によって、音声再生装置１８０が再生する音声信号に対し、当該音声信号が有するビート成分を強調する処理を施したうえで音響として出力することができる。

図５は以上述べた構成によって音声出力システム９における音声出力装置１０が行う処理手順を示している。まずユーザは音声再生装置１８０に対し音声データを選択したうえで再生指示を入力すると（Ｓ１０）、音声再生装置１８０は当該音声データの復号などを行い音声出力装置１０へ音声信号を入力する。音声出力装置１０は当該音声信号を取得すると（Ｓ１２）、スペクトル算出、時間微分、ビート判定などのビート成分抽出処理を行い（Ｓ１４）、ビート波形を生成する（Ｓ１６）。

続いて音声出力装置１０は、ビート波形をゲインとして音声信号の少なくとも所定の周波数帯域を増幅させてビート強調音声信号を生成し（Ｓ１８）、それを音響として出力する（Ｓ２０）。

以上述べた本実施の形態によれば、再生中の音声信号に含まれるビートのタイミングとビートの強度を取得し、そのタイミングにおいてその強度に応じた音声信号の強調処理を行う。再生された音声信号のビート成分をリアルタイムで検出し、そのタイミングおよび強度に応じて動的に強調処理を行うことにより、元の音楽が有する世界観を損なうことなくビートのみを強調し、ユーザの好みや出力装置の状況などに応じてメリハリのある音楽を楽しむことができる。

またビート成分の抽出にはスペクトログラムを利用し、スペクトルの時間微分値の波形においてピークがあるしきい値を超えたタイミングをビートのタイミングとすることにより、比較的簡素な回路構成によってもビートのタイミングをより適格に判定することが可能となる。その結果、例えば音声の時間波形からビートを検出する場合と比較して、よりクリアなビート感を得ることができる。

例えば低音強調フィルタなど、特定の周波数帯域のみを強調する技術においては、どのような周波数帯域の音声信号が入力されようと、所定の周波数帯域の音声信号のみを監視対象および処理対象とするうえ定常的に強調処理を行うため、所望の効果が得られなかったり音質が却って悪くなってしまったりすることがある。例えばビート感を得る目的でドラムの音を強調しようとしても、同様の周波数帯域にある別の低音楽器の音まで強調されてしまい、結果として全体的にぼんやりした音やこもった音になってしまうことが考えられる。また音量の変化によっては一時的に音が歪んでしまう可能性もある。一方、本実施の形態では周波数帯域全体での変化をビートとして検出し、かつ、ビートのタイミングにおいてのみ強調処理を行うため、全体的な音質に大きな影響を与えずにビート感、リズム感のある音を聴かせることができるうえ、音が歪みにくい。

以上のことから、例えばヒップホップ、ダンスミュージック、ロック、ポップスなど、リズムを重視した現代音楽のジャンルにおいて、より"ノリ"を感じさせられることができる。またそれ以外の音楽ジャンルを含めても、強調する周波数帯域や強調の度合いを選択可能とすることができるため、曲調に合った強調の仕方を臨機応変に変化させることができる。ビート部分を的確に強調することにより、例えば全体的な音量を絞らなければいけない環境や周囲の音で聴きづらい環境にあっても、その曲をしっかり聴いている感覚をユーザに与えることができる。同様に小型のスピーカやイヤホンなどでも迫力のある音を聴いている感覚をユーザに与えることができる。

実施の形態２
実施の形態１では音声信号からビートのタイミングおよび強度という情報を含むビート成分を抽出し、それに応じて音声信号の一部または全ての周波数帯域を増幅させることにより、ビートを強調した音声信号を生成して音響として出力した。本実施の形態では、ビート成分を強調した音声信号を、音響以外の出力形式、具体的には振動子の振動という形式で出力する。以下、本実施の形態を説明するが、実施の形態１と同じ構成要素には同じ符号を付し、重複する内容については適宜その説明を省略する。

図６は本実施の形態における音声出力システムの構成を示している。音声出力システム１０８は、音声再生装置１８０およびヘッドフォン１１０を含む。音声再生装置１８０は実施の形態１において説明した音声再生装置１８０と同様である。ヘッドフォン１１０は、音声再生装置１８０が再生する音声信号を入力信号として取得し、音響出力部１１８から音響として出力することにより、ヘッドフォン１１０を装着したユーザに音響を聴かせる。この機能は通常のヘッドフォンと同様の構成要素によって実現できる。本実施の形態におけるヘッドフォン１１０はさらに、振動子１２０を備える。そしてヘッドフォン１１０内部で、入力された音声信号をビートを強調した加振信号に変換し、振動子１２０の振動として出力する。

本実施の形態では、単にビートのタイミングで単調に動く装置を導入するのではなく、ビートのタイミングでビートの強度に応じて増幅された音声信号の波形を振動として出力する。またビートのタイミング以外の時間においても音声信号の波形を振動として出力する。すなわち、音声信号の波形に応じた振動を常時、振動子に与える。そのため振動子１２０としては、例えば電磁型の振動子のように、音声信号が有する２０ｋＨｚ程度までの周波数帯域の振動に追従可能な振動子を用いる。

なお図６に示す音声出力システム１０８では、振動子１２０をヘッドフォン１１０に搭載することによりユーザの頭部でその振動を感じられるようにしたが、本実施の形態はユーザが身につけるなどして振動を感じられる装置であればヘッドフォンでなくてもよい。例えばポケットなどに入れられるサイズの小型のスピーカ、ゲーム機などのコントローラ、携帯電話、腕時計などいかなる電子機器でもよい。また、振動を直接ユーザに感じさせる態様でなくても、机、床、壁、持ち物などを振動させてユーザに間接的に伝える形態のものであってもよい。以後の説明ではそれらの電子機器をヘッドフォン１１０の形態で代表させる。

図７は本実施の形態におけるヘッドフォン１１０の構成を示している。ヘッドフォン１１０は、音声信号を音声再生装置１８０から入力する音声入力部１２、音声信号のビート成分を抽出するビート抽出部１４、音声信号のビート成分を強調した加振信号を生成する出力信号生成部１１６、加振信号によって振動する振動する振動子１２０、および、元の音声信号を音響として出力する音響出力部１１８を含む。なお、ヘッドフォン１１０以外の形態で音響と振動の出力を行う場合は、振動子１２０と音響出力部１１８は一体的であっても別の筐体を有していてもよい。

音声入力部１２およびビート抽出部１４は、実施の形態１で述べたのと同様の構成、機能を有する。出力信号生成部１１６は、乗算器１２２および加算器１２４を含む。上述のとおり本実施の形態における加振信号は基本的には音声信号の波形を反映したものである。そしてビートのタイミングにおいてビートの強度に応じてその振幅が大きくなるようにする。そのためまず乗算器１２２にビート抽出部１４が出力したビート波形と、音声入力部１２が出力した音声信号とを入力し、それらの波形を乗算する。これにより音声信号の周波数で振動し、全体的にビート波形の形で振幅が変化する、波形１２６のような波形を有する信号が得られる。

このようにして生成された信号の波形は、ビート波形におけるあるビートの波形が減衰後、次のビートの波形が立ち上がるまでの時間においては振動がない。そこで加算器１２４においてさらに音声入力部１２が出力した音声信号の波形を加算する。これにより、ビート以外の時間では音声信号の波形で振動し、ビートのタイミングでその振幅が増幅する信号を得ることができる。なおここでは、適当な振幅で振動子を振動させる電気信号へ変換する処理も適宜行う。出力信号生成部１１６はそのようにして生成された加振信号を出力する。なお加算器１２４では上述のとおり、音声信号の波形を加算することが望ましいが、場合によってはあらかじめ用意された単調な振動波形を加算するなどしてもよい。この場合の振動も、ビート波形の周波数より高い周波数であることが望ましい。

なお、加算器１２４に入力する音声信号は、上述したように音声入力部１２が出力した音声信号でもよいし、特定の周波数帯域を抽出する図示しないフィルタや、周波数特性を変化させる図示しないイコライザを通した音声信号でもよい。後者の場合、振動子１２０の振動に適していたり、ユーザが心地よく感じることのできる周波数帯域やバランスをあらかじめ実験などにより設定しておくことにより、ビート以外の時間における振動の調整が可能となる。さらに乗算器１２２に入力する音声信号も同様の処理を施してよい。また加振信号の最大振幅は実験などによりあらかじめ最適値を設定しておくほか、ヘッドフォン１１０に設けた図示しない調節つまみによってユーザが自由に調節できるようにしてもよい。

出力信号生成部１１６から出力された加振信号は振動子１２０に入力され、振動が実現される。厳密には振動子１２０に含まれる図示しない加振器によって振動子１２０が加振信号の波形と同様に振動する。このとき音響出力部１１８は、音声入力部１２から入力された元の音声信号を音響として出力する。振動子１２０の振動と音響出力部１１８の音響出力とは当然、人が認識できるレベルで同期している。これによりユーザはヘッドフォン１１０で音楽を聴きながら、そのビートを強調した振動を同時に感じることができる。

以上述べた本実施の形態によれば、再生中の音声信号を振動子の振動として出力する。その際の振動は、音声信号の波形をそのまま反映させたものとする。そのうえ、音声信号に含まれるビートのタイミングとビートの強度を取得し、そのタイミングでビートの強度に応じて振動の振幅を増幅させる。これにより音楽を受聴しながら、その音楽により合致し、さらにビートが強調された振動をユーザに感じさせることができる。例えば音楽がヒップホップやロックなどのジャンルであった場合など、コンサート会場にいるときに感じる腹に響くようなビート感をユーザに与えることができる。

例えば従来のボディソニックなどの体感音響装置は、映画鑑賞時にその臨場感をより向上させることなどを目的に、数Ｈｚから数百Ｈｚ程度の低周波数帯域の振動を体感させるものであった。したがって当該低周波数帯域の音声が存在する期間では常にその振動も出力されていた。一方、本実施の形態では検出したビートのタイミングで音声信号の所望の周波数帯域を増幅した振動を出力するため、メリハリのある振動を感じさせることができる。例えば全周波数帯域の音声信号を増幅するようにすれば、いかなる周波数特性の音楽でも同様にビート感を振動として感じさせることができる。

また実施の形態１と同様、ビート成分の抽出にはスペクトログラムを利用するため、結果としてよりクリアなビート感を振動という形でユーザに感じさせることができる。結果として、ヒップホップ、ダンスミュージック、ロック、ポップスなど、リズムを重視した現代音楽のジャンルでは特に、演奏を生で聴いているような臨場感を得ることができる。また周波数帯域全体のスペクトルの変化からビートを検出するため、たとえば低周波数帯域のない人声や高音楽器でのリズム表現など様々な音楽表現に対応することができる。

また本実施の形態では、モーターでなく振動子の振動という形式での出力を行うため、数十ミリ秒レベルの分解能での振動、停止が可能であり、ビートのタイミングをより忠実に反映させることができる。また音声信号の波形をそのまま動きとした振動を実現させることができ、音楽を振動で味わうという新たな趣向を提供することができる。

実施の形態３
実施の形態１では音声信号からビート成分を抽出し、ビートを強調した音声信号を音響として出力した。また実施の形態２では通常の音声出力に加え、ビートを強調した加振信号を振動子に与えることにより、ビートを振動子の振動として出力した。本実施の形態ではビートを発光という形で可視化して出力する。以下、本実施の形態を説明するが、実施の形態１と同じ構成要素には同じ符号を付し、重複する内容については適宜その説明を省略する。

本実施の形態は、ビートのタイミングにおいてビートの強度に応じた強度で発光する発光デバイスを備えた電子機器によって実現できる。したがって図１で示した音声出力システム９における音声出力装置１０や、図６で示した音声出力システム１０８におけるヘッドフォン１１０などに発光デバイスを設けたものでもよいし、その他の電子機器、例えば携帯オーディオプレーヤ、ゲーム機などのコントローラ、コンピュータ、腕時計などでもよい。以後の説明ではその一例として携帯電話機を音声出力装置とした場合について述べる。

図８は本実施の形態における携帯電話の構成を示している。携帯電話２１０は発光デバイス２２０を含む。ただし発光デバイス２２０の位置など携帯電話２１０の外観は図示されているものに限らない。携帯電話２１０はそのほか、音声再生モジュール２１５を含む。音声再生モジュール２１５は実施の形態１および２における音声再生装置１８０と同様の機能を有し、音声データの記録、再生を行うものであれば、一般的な携帯電話に搭載されているモジュールと同様のものでよい。

図９は携帯電話２１０の詳細な構成を示している。同図において携帯電話が一般的に有する通話機能などを提供するモジュールについてはその図示を省略している。携帯電話２１０は、音声データを再生する音声再生モジュール２１５、音声信号のビート成分を抽出するビート抽出部１４、音声信号のビート成分からなる発光強度信号を生成する出力信号生成部２１６、発光強度信号によって発光する発光デバイス２２０、および元の音声信号を音響として出力する音響出力部２１８を含む。

ビート抽出部１４は、実施の形態１で述べたのと同様の構成、機能を有する。出力信号生成部２１６は、ビート抽出部１４から入力されたビート波形と同一の波形を有し、発光デバイス２２０を適当な強度で発光させる振幅を有する電気信号を生成して出力する。発光デバイス２２０は携帯電話などで一般的に用いられる発光ダイオードなどで構成してよく、出力信号生成部２１６から入力される発光強度信号の強度で発光する。音響出力部２１８は、これも携帯電話などに実装されている一般的なスピーカなどでよく、音声再生モジュール２１５から入力された音声信号を音響として出力する。発光デバイス２２０の発光と音響出力部２１８の音響出力とは当然、人が認識できるレベルで同期している。

これによりユーザは、携帯電話２１０での着信などの際、着信用に設定した音楽を聴くとともにその音楽のビートに同期したタイミングでの発光によって、視覚的に着信を認識することができる。例えば発信元によって曲調の異なる音楽を設定しておくと、マナーモードなどによって音響出力を停止している場合であっても、発光のタイミングや強度によって発信元を判別することができる。

以上述べた本実施の形態によれば、再生中の音声信号を発光デバイスの発光として出力する。この発光は、音声信号に含まれるビートのタイミングで行われ、その強度もビートの強度を反映させる。発光タイミングと強度はスペクトログラムを利用して得られたビート波形に基づくため、発光、停止の区別が確実になされ、メリハリのあるビート感を視覚的に認識することができる。まだ、発光強度を再生中の音声信号にあわせてリアルタイムで変化させるため、単純な発光デバイスのみの構成によっても、より音楽に合った光によるビート表現を目で楽しむことができる。

実施の形態４
実施の形態２および３では、再生中の音声信号に含まれるビート成分を、振動または発光として出力するとともに、元の音声信号を音響として出力した。一方、音声信号の出力がなくても、ビートを振動や発光で感じさせることによる効果は様々得られる。また実施の形態１で述べた、音声信号のビート成分を強調したビート強調音声信号の出力、振動子の振動による出力、発光デバイスの発光による出力の少なくともいずれか複数を任意に組み合わせても様々な効果を得ることができる。以下、これらの機能を実現する構成要素を適宜選択したり、ユーザによって自由にオン、オフできるようにした態様について説明する。

図１０は本実施の形態における音声出力装置が行う処理手順を示している。本実施の形態における音声出力装置は、実施の形態１で述べた音声出力装置１０、実施の形態２で述べたヘッドフォン１１０、実施の形態３で述べた携帯電話２１０などと同様の構成、一部の構成、またはその組み合わせを有する装置で実現できる。例えば、実施の形態２で説明したヘッドフォン１１０に備えられた音響出力部１１８以外の構成を有する振動装置、実施の形態３で説明した携帯電話２１０に備えられた音響出力部２１８以外の構成を有する発光装置、あるいはそれらを組み合わせた振動発光装置などでもよい。また、実施の形態３で説明した携帯電話２１０の構成にヘッドフォン１１０に備えられた振動子１２０および出力信号生成部１１６を加えた携帯電話や携帯オーディオプレーヤなどでもよい。

図１０はそのような構成の違いによる処理手順の変化、または、ユーザによる機能の選択によって生じる処理手順の変化を表したフローチャートである。後者の場合、処理を行う装置には、ユーザが各機能のオン、オフを選択できる入力ボタンが備えられているものとする。まずユーザは音声出力装置、または別に設けた音声再生装置に対し音声データを選択したうえで再生指示を入力する（Ｓ３０）。音声出力装置がスピーカなどを備えていて音声出力が可能であり（Ｓ３２のＹ）、かつ図４の音声出力装置１０におけるビート抽出部１４および出力信号生成部１６のブロックを備えていてビート強調音声信号の生成が可能であるか、ユーザがその機能をオンとした場合（Ｓ３４のＹ）、実施の形態１で述べたような処理を行うことにより、ビート成分を強調した音声信号を音響として出力する（Ｓ３６）。一方、ビート強調音声信号の生成が不可能であるか、ユーザがその機能をオフとした場合は（Ｓ３４のＮ）、単に再生した音声信号を出力する（Ｓ３８）。音響の出力機能が備えられていない場合や、ユーザがその機能を停止させている場合は（Ｓ３２のＮ）、Ｓ３６およびＳ３８の処理を行わない。

さらに、図７のヘッドフォン１１０におけるビート抽出部１４および出力信号生成部１６のブロック、および振動子１２０を備えていてビート成分の抽出、加振信号の生成が可能であるか、ユーザがその機能をオンとした場合（Ｓ４０のＹ）、実施の形態２で述べた処理のうち音響出力以外の処理を行うことにより、ビート成分を振動子の振動として出力する（Ｓ４２）。一方、加振信号の生成が不可能であるかユーザがその機能をオフとした場合は（Ｓ４０のＮ）、Ｓ４２の処理を行わない。

さらに、図９の携帯電話２１０におけるビート抽出部１４および出力信号生成部２１６のブロック、および発光デバイス２２０を備えていてビート成分の抽出、発光強度信号の生成が可能であるか、ユーザがその機能をオンとした場合（Ｓ４４のＹ）、実施の形態３で述べた処理のうち音響出力以外の処理を行うことにより、ビート成分を発光デバイスの発光として出力する（Ｓ４６）。一方、発光強度信号の生成が不可能であるかユーザがその機能をオフとした場合は（Ｓ４４のＮ）、Ｓ４６の処理を行わない。

このようにビート成分の音響出力、振動による出力、発光による出力を必要に応じて組み合わせたり、ユーザが機能のオン、オフを選択したりすることにより、状況に応じて様々な効果を得ることができる。例えば音響の出力を行わない振動装置や、音響の出力をオフとした携帯電話等で振動のみを出力するようにした場合、音楽を聴かずにそのビート感のみを味わうといった音楽の新たな楽しみ方が可能となるほか、振動によって着信の際の音楽を区別し、発信元を判別することが可能となる。実施の形態２で述べたように、振動子を音声信号の波形で振動させることにより、振動子から伝わる振動を介して触覚でビートが強調されたメリハリのある音楽を"聴く"ことができ、例えば聴覚障害者や、公共の場で音楽を聴けない状況などでもビート感のある音楽を楽しむことができる。

またスペクトログラムを用いて自動的にビート成分が抽出されるため、音色、音程、音の長さなど、音楽を構成する従来のパラメータによる表現に加え、ときには製作者が意図しなかったような、ビートのタイミング、ビートの強度といったものも、音楽を構成する新たなパラメータとなりうる。この点に着目すれば、ビートというパラメータを逆に音楽表現に利用することもできる。

さらに、実施の形態３で述べた発光による出力手法を照明に用いることにより、コンサート会場やダンスパーティー会場などで、照明の変化を音楽にリアルタイムで同調させるように自動的に制御することができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施の形態１における音声出力システムの構成を示す図である。 実施の形態１で用いるビート抽出の原理を説明するための図である。 実施の形態１においてビートの抽出を行うビート抽出部の構成を示す図である。 実施の形態１における音声出力装置の構成を示す図である。 実施の形態１の音声出力システムにおける音声出力装置が行う処理手順を示すフローチャートである。 実施の形態２における音声出力システムの構成を示す図である。 実施の形態２におけるヘッドフォンの構成を示す図である。 実施の形態３における携帯電話の構成を示す図である。 実施の形態３における携帯電話の詳細な構成を示す図である。 実施の形態４における音声出力装置が行う処理手順を示すフローチャートである。

９ 音声出力システム、 １０ 音声出力装置、 １２ 音声入力部、 １４ ビート抽出部、 １６ 出力信号生成部、 １８ 音響出力部、 １０８ 音声出力システム、 １１０ ヘッドフォン、 １１６ 出力信号生成部、 １１８ 音響出力部、 １２０ 振動子、 １２２ 乗算器、 １２４ 加算器、 １４２ スペクトル算出部、 １４４ 時間微分算出部、 １４６ コンパレータ、 １４８ エンベロープフォロワ、 １８０ 音声再生装置、 ２１０ 携帯電話、 ２１５ 音声再生モジュール、 ２１６ 出力信号生成部、 ２１８ 音響出力部、 ２２０ 発光デバイス。

Claims (8)

1. 音声再生装置で再生中の音声信号のスペクトルの全周波数帯域における総和の単位時間あたりの変化値である時間微分値に基づいて、拍をなすビートのタイミングを抽出し、そのタイミングにおける前記時間微分値のピークを当該ビートの強度として取得し、前記ビートのタイミングにおいて前記ビートの強度に応じた大きさで立ち上がり、当該立ち上がりより遅い速度で減衰するビート波形を生成するビート抽出部と、
   前記ビート抽出部において生成された前記ビート波形と同一の波形を有するゲインで前記音声信号の少なくとも一部の周波数帯域を増幅させたビート強調音声信号を生成する出力信号生成部と、
   前記ビート強調音声信号を音響として出力する音響出力部と、
   を備えたことを特徴とする音声出力装置。
2. 音声再生装置で再生中の音声信号のスペクトルの全周波数帯域における総和の単位時間あたりの変化値である時間微分値に基づいて、拍をなすビートのタイミングを抽出し、そのタイミングにおける前記時間微分値のピークを当該ビートの強度として取得し、前記ビートのタイミングにおいて前記ビートの強度に応じた大きさで立ち上がり、当該立ち上がりより遅い速度で減衰するビート波形を生成するビート抽出部と、
   前記ビート抽出部において生成された前記ビート波形の大きさに応じた振幅を有し、前記ビート波形の周波数より高い周波数で振動する波形を有する加振信号を生成する出力信号生成部と、
   前記加振信号により振動する振動子と、
   を備えたことを特徴とする電子機器。
3. 前記出力信号生成部は、前記音声信号の波形が有する周波数成分を含む波形を有する加振信号を生成することを特徴とする請求項２に記載の電子機器。
4. 前記出力信号生成部が生成する加振信号は、前記音声信号の少なくとも一部の周波数帯域の波形成分を常時含むことを特徴とする請求項２または３に記載の電子機器。
5. 音声再生装置で再生中の音声信号のスペクトルの全周波数帯域における総和の単位時間あたりの変化値である時間微分値に基づいて、拍をなすビートのタイミングを抽出し、そのタイミングにおける前記時間微分値のピークを当該ビートの強度として取得し、前記ビートのタイミングにおいて前記ビートの強度に応じた大きさで立ち上がり、当該立ち上がりより遅い速度で減衰するビート波形を生成するビート抽出部と、
   前記ビート抽出部において生成された前記ビート波形と同一の波形を有する発光強度信号を生成する出力信号生成部と、
   前記出力信号生成部が生成した前記発光強度信号の強度で発光する発光デバイスと、
   を備えたことを特徴とする電子機器。
6. 前記音声信号を音響として出力する音響出力部をさらに備えた請求項２または５に記載の電子機器。
7. 音声再生装置で再生中の音声信号のスペクトルの全周波数帯域における総和の単位時間あたりの変化値である時間微分値に基づいて、拍をなすビートのタイミングを抽出し、そのタイミングにおける前記時間微分値のピークを当該ビートの強度として取得し、前記ビートのタイミングにおいて前記ビートの強度に応じた大きさで立ち上がり、当該立ち上がりより遅い速度で減衰するビート波形を生成するステップと、
   前記ビート波形と同一の波形成分を含む出力信号を生成するステップと、
   音響、振動、発光の少なくともいずれかの形式で前記出力信号を出力することによりユーザにビートを感じさせるステップと、
   を含むことを特徴とするビート出力方法。
8. 振動を出力する場合、前記出力信号を生成するステップは、前記音声信号の少なくとも一部の周波数帯域の波形成分を常時含む出力信号を生成することを特徴とする請求項７に記載のビート出力方法。