JP2015049470A - 信号処理装置及びそのプログラム - Google Patents

Abstract

【課題】本発明は、音声信号に含まれるパート（楽器及び声）のレベルを調整できる信号処理装置を提供することを目的とする。
【解決手段】音声信号に含まれるパートの音は、パート毎に所定の周波数でレベルがピークになる。そこで、パート抽出部は、周波数軸上のピーク成分に基づいて、音声信号に含まれるパートを抽出する。パート抽出部は、例えば、パート毎の固有振動（基音及び倍音）の周波数に対応するバンドパスフィルタで音声信号を抽出し、抽出した音声信号の基音及び倍音の周波数のレベルが所定の閾値以上であれば、該音声信号にパートが含まれるとして該パートを抽出する。表示部は、抽出したパートに対応するパート操作子を表示する。レベル調整部は、操作部が受け付けたパート操作子に対する操作に基づいて、抽出したパートの周波数のレベルを調整する。
【選択図】図１

Description

本発明は、入力された音声信号のレベルを周波数毎に調整して出力する信号処理装置及びそのプログラムに関する。

従来、入力されたオーディオ信号を所望の周波数特性にするために、オーディオ信号のレベルを周波数帯域毎に調整するイコライザ装置が知られている（特許文献１を参照。）。

特開２００６−２１１５０８号公報

しかしながら、特許文献１に示すイコライザ装置は、周波数に対応付けられた操作子を表示しているだけである。したがって、特許文献１に示すイコライザ装置では、例えばユーザが特定の楽器の音を強調しようとしても当該楽器の周波数を知らない場合、当該楽器に対応する周波数のレベルを調整できない。

そこで、本発明は、音声信号に含まれるパート（楽器及び声）の音のレベルを調整できる信号処理装置を提供することを目的とする。

本発明の信号処理装置は、音声信号が入力される入力部と、前記入力部に入力された音声信号から、周波数のピーク成分に基づいてパートを抽出するパート抽出部と、前記パート抽出部が抽出したパート毎にレベル調整用のパート操作子を表示する表示部と、前記パート操作子に対する操作入力を受け付ける操作部と、前記操作部に受け付けられた操作入力に基づいて、前記パート毎に対応する周波数のレベルを調整するレベル調整部と、を備える。

音声信号に含まれるパート（楽器及び声）の音は、パート毎に所定の周波数でレベルがピークになる。そこで、パート抽出部は、周波数軸上のピーク成分に基づいて、音声信号に含まれるパートを抽出する。パート抽出部は、例えば、パート毎の固有振動（基音及び倍音）の周波数に対応するバンドパスフィルタで音声信号を抽出し、抽出した音声信号の基音及び倍音の周波数のレベルが所定の閾値以上であれば、該音声信号にパートが含まれるとして該パートを抽出する。

表示部は、抽出したパートに対応するパート操作子を表示する。レベル調整部は、操作部が受け付けたパート操作子に対する操作に基づいて、抽出したパートの周波数のレベルを調整する。ユーザは、パートを示すパート操作子が信号処理装置に表示されているため、直感的にパートの周波数のレベルを調整できる。

また、前記レベル調整部は、前記パート毎の基音及び倍音の周波数のレベルを調整してもよい。

楽器の音は、主に基音及び倍音からなる。声は、主に第１〜第３フォルマント周波数成分からなる。レベル調整部は、基音（第１フォルマント周波数成分）だけでなく、倍音（第２以降のフォルマント周波数成分）についてもレベル調整を行う。その結果、音声信号に含まれるパートの基音（第１フォルマント周波数成分）のレベルと倍音（第２以降のフォルマント周波数成分）のレベルとの比率は維持され、各パートの音色は変化することがない。したがって、信号処理装置は、各パートの音色の変化を防止しつつ、各パートの音を強調又は減衰することができる。

また、信号処理装置は、前記パート抽出部による抽出結果に基づいて、パート毎の表示位置を決定する表示位置決定部、を備え、前記表示部は、前記表示位置決定部が決定した表示位置に前記パート操作子を表示してもよい。

表示位置決定部は、抽出されたパートの周波数について、例えばＬ，Ｒチャンネルの各音声信号のレベル比を求めることにより、パート操作子の表示位置を決定する。ただし、表示位置決定部は、抽出したパートに応じて所定の表示位置を決定してもよい。

また、信号処理装置は、前記パート抽出部が抽出したパート毎のレベルを検知するレベル検知部、を備え、前記レベル調整部は、前記レベル検知部が検知したパート毎のレベル及び前記操作入力に基づいて、レベル調整量を制御してもよい。

例えば、レベル調整部は、レベル検知部が検知したレベルが所定の閾値以上の場合、パートの周波数のレベルを調整する。レベル調整部は、パートの音が小さい時にもレベル調整を行って、該パートと同じ帯域に含まれる他のパートの音をレベル調整してしまうことがない。

また、本発明は、装置に限らず、入力部、パート抽出部、操作部、及びレベル調整部のそれぞれの機能を実現するプログラムであってもよい。

本発明によれば、信号処理装置は、抽出したパートを示すパート操作子を表示し、パート操作子に対する操作に基づいてレベルを調整するため、ユーザは、レベルを調整したいパートの周波数を知らなくても、当該パートの音のレベルを調整できる。

実施形態１に係る信号処理装置１のブロック図の一部を示す図である。 （Ａ）は、コントラバスの音の周波数特性を示す図であり、（Ｂ）は、パートＤＢ２２に記憶されたデータを示す図である。 （Ａ）及び（Ｂ）は、それぞれディスプレイ２４が表示する画像の例を示す図である。 レベル調整部１２のブロック図である。 帯域レベル調整部１００の変形例に係る帯域レベル調整部１００Ａのブロック図である。 実施形態２に係る信号処理装置２のブロック図である。 （Ａ）及び（Ｂ）は、それぞれ実施形態２に係る信号処理装置２のディスプレイ２４が表示する画像の例を示す図である。 レベル調整部１２Ｌ，１２Ｒの変形例に係るレベル調整部１２ＬＢ，１２ＲＢのブロック図である。

実施形態１に係る信号処理装置１について、図１乃至図４を用いて説明する。図１は、実施形態１に係る信号処理装置１のブロック図の一部を示す図である。図２（Ａ）は、コントラバスの音の周波数特性（周波数とレベルとの関係）を示す図であり、図２（Ｂ）は、パートＤＢ２２に記憶されたデータを示す図である。図３（Ａ）及び図３（Ｂ）は、それぞれディスプレイ２４が表示する画像の例を示す図である。図４は、レベル調整部１２のブロック図である。ただし、図１及び図４において、実線矢印は、音声信号の流れを示し、点線矢印は、制御信号の流れを示す。

信号処理装置１は、入力された音声信号のレベルを周波数毎に調整するものである。信号処理装置１は、ユーザにレベル調整の操作を行わせるために、ＧＵＩ（；Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を備えるものである。

信号処理装置１は、図１に示すように、入力部１１、レベル調整部１２、出力部１３、音声解析部２１、パートＤＢ２２、制御部２３、ディスプレイ２４、及びタッチパネル２５を備える。

制御部２３は、信号処理装置１の各機能部を統括する。

ディスプレイ２４は、制御部２３からの制御に従って画像を表示する。タッチパネル２５は、ユーザからの操作を受け付ける。制御部２３は、タッチパネル２５で受け付けたユーザの操作に基づいて、ディスプレイ２４の表示内容を変更する。このようにして、信号処理装置１は、ＧＵＩを実現する。

入力部１１は音声信号が入力される。音声信号は、信号処理装置１の外部から与えられる。例えば、音声信号は、不図示のコンテンツプレーヤ又はマイクロフォンから入力部１１に与えられる。なお、音声信号は、デジタル信号又はアナログ信号のどちらの信号であっても構わない。

入力部１１に入力された音声信号は、レベル調整部１２と音声解析部２１とに入力される。

音声解析部２１は、入力された音声信号を解析し、音声信号に含まれるパートを抽出するものである。パートとは、楽器及び声である。

パートの抽出方法は、様々な方法が利用可能であるが、本実施形態では、入力された音声信号の周波数特性が、各パートの音の周波数特性条件に適合するか否かを判断することによって行う。

一般的に、楽器の音及び声は、所定の周波数でレベルがピークになる周波数特性をそれぞれ有する。例えば、コントラバスの音は、図２（Ａ）に示すように、基音の周波数２００Ｈｚ、２倍音の周波数４００Ｈｚ、及び３倍音の周波数６００Ｈｚでレベルがピークとなる。ただし、図２（Ａ）に示す例は説明のために簡易的に示したものであり、実際のコントラバスの周波数特性を示したものではない。

そこで、パートＤＢ２２は、例えば、図２（Ｂ）に示すように、パート毎に、３つの帯域Ｂ１〜Ｂ３と、レベル閾値と、主要帯域とを、対応付けて、各パートの音の周波数特性条件として記憶する。帯域Ｂ１は、パートの基音の周波数（第１フォルマント周波数）を含むように設定される。帯域Ｂ２は、パートの２倍音の周波数（第２フォルマント周波数）を含むように設定される。帯域Ｂ３は、パートの３倍音の周波数（第３フォルマント周波数）を含むように設定される。レベル閾値は、パートの音の３つの帯域Ｂ１〜Ｂ３のパワー（帯域Ｂ１〜Ｂ３のレベルの合計値）に対する閾値である。主要帯域の説明は後述する。ただし、パートＤＢ２２が記憶するパートの数は、４つに限らない。

音声解析部２１は、入力された音声信号の周波数特性を求めるために、例えば、入力された音声信号をフーリエ変換する。これにより、入力された音声信号の周波数毎のレベルは、求められる。

音声解析部２１は、入力された音声信号の周波数特性を求めると、パートＤＢ２２からパートの音の周波数特性条件を読み出して、入力された音声信号の周波数特性がパートの音の周波数特性条件に適合するか否かの判断を行い、パートを抽出する。以下の例は、コントラバスを抽出する説明である。

まず、音声解析部２１は、パートＤＢ２２からコントラバスの３つの帯域Ｂ１〜Ｂ３及びレベル閾値を読み出す。音声解析部２１は、パートＤＢ２２からコントラバスの３つの帯域Ｂ１〜Ｂ３とレベル閾値とを読み出すと、入力された音声信号における３つの帯域Ｂ１〜Ｂ３のレベルを求める。そして、音声解析部２１は、求めた３つのレベルの合計値（コントラバスのパワー）と、コントラバスのレベル閾値とを比較する。音声解析部２１は、コントラバスのパワーがコントラバスのレベル閾値以上であれば、入力された音声信号にコントラバスのパートが含まれると判断する。音声解析部２１は、コントラバスのパワーがレベル閾値未満であれば、入力された音声信号にコントラバスのパートが含まれないと判断する。

なお、レベル閾値は、パート毎に異なっている必要はなく、各パートで同じ値に設定されてもよい。

以上のように、音声解析部２１は、音声信号に含まれるパートとして、コントラバスを抽出する。音声解析部２１は、パートＤＢ２２に記憶される他のパート（女声、シンバル、及びトランペット）についても、コントラバスの抽出と同様の抽出処理を行う。

音声解析部２１は、入力された音声信号に含まれるパートを抽出すると、抽出したパートを制御部２３に出力する。

制御部２３は、音声解析部２１から抽出されたパートが入力されると、図３（Ａ）に示すように、ユーザにレベル調整の操作を行わせるための画像をディスプレイ２４に表示させる。より具体的には、制御部２３は、図３（Ａ）に示すように、横軸を周波数とし、縦軸をレベルとして表示させる。制御部２３は、周波数軸及びレベル軸の表示に加えて、操作子３０１〜３１０、及びパート操作子４０１〜４０３を表示させる。操作子３０１〜３１０の周波数軸方向の位置は、それぞれ予め設定されている。制御部２３は、初期状態として、レベルが０の位置に、操作子３０１〜３１０をそれぞれ表示させる。

制御部２３は、音声解析部２１が抽出したパートを、パート操作子４０１〜４０３としてディスプレイ２４に表示させる。パート操作子４０１〜４０３の周波数軸方向の表示位置は、それぞれ対応するパートの主要帯域である。主要帯域は、パートの音のレベルが最も高くなる帯域である。主要帯域は、図２（Ｂ）に示すように、例えばパートＤＢ２２に記憶され、パートの帯域Ｂ１〜Ｂ３のいずれかが設定される。パート操作子４０１〜４０３のレベル軸方向の表示位置は、初期状態として、それぞれレベルが０の位置である。

パート操作子４０１〜４０３は、それぞれパートを示す画像として表示される。パートを示す画像は、例えばパートＤＢ２２に記憶され、制御部２３がパートＤＢ２２を参照することにより、求められる。

例えば、パート操作子４０１は、図３（Ａ）に示す例において、コントラバスの帯域Ｂ１（１５０Ｈｚ〜２５０Ｈｚ）に対応する位置に表示されている。パート操作子４０１は、コントラバスを示す画像として表示されている。パート操作子４０２は、女声の帯域Ｂ１（５００Ｈｚ〜７００Ｈｚ）に対応する位置に表示されている。パート操作子４０２は、女声を示す画像として表示されている。パート操作子４０３は、シンバルの帯域Ｂ３（１０ｋＨｚ〜１４ｋＨｚ）に対応する位置に表示されている。パート操作子４０３は、シンバルを示す画像として表示されている。

ユーザは、ディスプレイ２４に表示された操作子３０１〜３１０及びパート操作子４０１〜４０３に対して、レベル調整の操作を行う。ユーザは、操作子３０１〜３１０及びパート操作子４０１〜４０３をそれぞれレベル軸方向に沿って移動させて、レベル調整量を指定する操作を行う。レベル調整の操作は、タッチパネル２５に受け付けられる。

制御部２３は、操作されたパート操作子４０１〜４０３と、該パート操作子４０１〜４０３の移動量とに基づいて、レベル調整すべき３つの周波数帯域と、レベル調整量とを求める。具体的には、制御部２３は、操作されたパート操作子４０１〜４０３に対応するパートを特定する。制御部２３は、特定したパートの音の周波数特性に基づいてレベル調整すべき３つの周波数帯域を求める。本実施形態では、レベル調整すべき３つの周波数帯域は、特定されたパートの帯域Ｂ１〜Ｂ３とそれぞれ同じ帯域に設定する。すなわち、レベル調整すべき３つの周波数帯域は、制御部２３がパートＤＢ２２を参照することにより求められる。制御部２３は、操作されたパート操作子４０１〜４０３の移動量に応じて、レベル調整量を求める。ただし、レベル調整すべき３つの周波数帯域は、基音及び倍音のそれぞれの中心周波数を含めばよく、帯域Ｂ１〜Ｂ３よりそれぞれ広くてもよいし、帯域Ｂ１〜Ｂ３よりそれぞれ狭くてもよい。

例えば、図３（Ａ）に示す例において、女声を示すパート操作子４０２が操作されると、制御部２３は、パートＤＢ２２を参照して、女声の帯域Ｂ１（５００Ｈｚ〜７００Ｈｚ）、帯域Ｂ２（１ｋＨｚ〜１．４ｋＨｚ）、及び帯域Ｂ３（１．７ｋＨｚ〜２ｋＨｚ）をレベル調整すべき３つの周波数帯域として求める。

そして、制御部２３は、女声の帯域Ｂ１〜Ｂ３をレベル調整量と共にレベル調整部１２に与える。

レベル調整部１２は、図４に示すように、２つの帯域レベル調整部１００と、合成部２００とを備える。各帯域レベル調整部１００は、抽出部１０１と、ゲイン調整部１０２とをそれぞれ備える。ただし、レベル調整部１２は、２つに限らず、１つ又は３つ以上の帯域レベル調整部１００を備えていてもよい。

レベル調整部１２に入力された音声信号は、合成部２００と、各帯域レベル調整部１００とに入力される。

帯域レベル調整部１００は、レベル調整すべき帯域を抽出して、当該帯域のレベル調整量に応じたゲインで抽出した帯域の音声信号のレベルを調整するものである。レベル調整された音声信号は、合成部２００によってレベル調整部１２に入力された音声信号に合成される。このように、帯域レベル調整部１００は、レベル調整すべき帯域のレベルを調整する。

より具体的には、帯域レベル調整部１００に入力された音声信号は、抽出部１０１に入力される。抽出部１０１は、入力された音声信号から、制御部２３により与えられた女声の帯域Ｂ１〜Ｂ３の音声信号を抽出して出力する。抽出部１０１から出力された音声信号は、ゲイン調整部１０２に入力される。ゲイン調整部１０２は、制御部２３から与えられたレベル調整量に応じたゲインでレベルを調整した音声信号を出力する。ゲイン調整部１０２から出力された音声信号は、合成部２００に入力される。

すると、レベル調整部１２に入力された音声信号は、女声に対応する帯域Ｂ１（５００Ｈｚ〜７００Ｈｚ）、帯域Ｂ２（１ｋＨｚ〜１．４ｋＨｚ）、及び帯域Ｂ３（１．７ｋＨｚ〜２ｋＨｚ）のレベルが調整される。

このように、信号処理装置１は、女声の第１〜第３フォルマント周波数のレベルを同時に調整するため、女声だけを強調又は減衰することができる。

上述のように、周波数５００Ｈｚ、周波数１ｋＨｚ、及び周波数２ｋＨｚは、女声に対応する帯域Ｂ１〜Ｂ３に含まれているため、制御部２３は、図３（Ｂ）に示すように、周波数５００Ｈｚ、周波数１ｋＨｚ、及び周波数２ｋＨｚに対応する操作子３０５、３０６、及び３０７のレベル軸方向の表示位置を変更してもよい。

なお、制御部２３は、操作子３０１〜３１０が操作された場合も、操作された操作子に対応する周波数を含む帯域Ｂとレベル調整量とをレベル調整部１２に与える。すなわち、信号処理装置１は、操作子３０１〜３１０が操作されると、操作子３０１〜３１０に対応する帯域Ｂだけのレベルを調整する。

レベル調整部１２は、周波数帯域毎にレベル調整した音声信号を出力部１３に出力する。出力部１３は、信号処理装置１の外部にレベル調整された音声信号を出力する。音声信号の出力の際、出力部１３は、出力先に応じて、音声信号をデジタルアナログ変換したり、増幅したりしてもよい。

以上のように、信号処理装置１は、パートを示す画像でパート操作子４０１〜４０３を表示する。そして、信号処理装置１は、パート操作子４０１〜４０３が操作されると、対応するパートの音のレベルを調整する。したがって、ユーザは、レベル調整したいパートの基音及び倍音の周波数が分からなくても、表示されたパートを示すパート操作子４０１〜４０３を用いて、直感的にパートの音のレベルを調整する操作ができる。

なお、レベル調整量は、パートの帯域Ｂ１〜Ｂ３毎に異なる値が設定されてもよい。例えば、帯域Ｂ２，Ｂ３に対するレベル調整量は、帯域Ｂ１に対するレベル調整量より小さくしてもよいし、帯域Ｂ１に対するレベル調整量より大きくしてもよい。また、帯域Ｂ１〜Ｂ３に対するレベル調整量は、パートの倍音構成に応じた量が設定されてもよい。

また、制御部２３は、３つの帯域Ｂ１〜Ｂ３ではなく、２つの帯域Ｂ１，Ｂ２をレベル調整部１２に与える態様であっても構わないし、４つ以上の帯域を与える態様であっても構わない。また、制御部２３は、１つの主要帯域だけをレベル調整部１２に与える態様であっても構わない。

また、上述の例は、制御部２３が抽出されたパートの３つの帯域Ｂ１〜Ｂ３をレベル調整部１２に与える態様であったが、抽出されたパートそのものをレベル調整部１２に与える態様であっても構わない。レベル調整部１２は、抽出されたパートそのものが与えられる態様の場合、各パートに対応付けられた帯域レベル調整部１００を備える。この場合、帯域レベル調整部１００の抽出部１０１は、所定のパートの帯域Ｂ１〜Ｂ３が予め設定され、ゲイン調整部１０２は、抽出されたパートが制御部２３から与えられると、ゲイン調整の機能を有効化する。

また、入力部１１、レベル調整部１２、出力部１３、音声解析部２１、及び制御部２３のそれぞれの機能は、ハードウェアに限らず、ソフトウェアによって実現されてもよい。すなわち、これら機能部の処理をプログラム化して記憶媒体に記憶しておき、演算器（コンピュータ等）で当該プログラムを読み出して実行することで上述の処理を実現することが可能である。

次に、帯域レベル調整部１００の変形例に係る帯域レベル調整部１００Ａについて、図５を用いて説明する。図５は、帯域レベル調整部１００Ａのブロック図である。

帯域レベル調整部１００Ａは、入力された音声信号の帯域Ｂ１〜Ｂ３のレベルを検知して、帯域Ｂ１〜Ｂ３のレベルが所定の閾値以上の時、入力された音声信号の帯域Ｂ１〜Ｂ３のレベルを調整し、帯域Ｂ１〜Ｂ３のレベルが所定の閾値未満の時、レベル調整を行わない点において、帯域レベル調整部１００と相違する。帯域レベル調整部１００と重複する構成の説明は省略する。

帯域レベル調整部１００Ａは、抽出部１０１と、ゲイン調整部１０２と、検知部１０３とを備える。

抽出部１０１によって抽出された音声信号は、ゲイン調整部１０２と検知部１０３とに入力される。検知部１０３は、入力された音声信号のレベルを検知する。検知部１０３は、レベルが所定の閾値未満の場合、制御部２３の制御にかかわらず、ゲイン調整部１０２のゲインを０にする制御を行う。レベル調整部１２に入力された音声信号は、ゲイン調整部１０２のゲインが０に設定されると、抽出部１０１が抽出した帯域ではレベルが保たれたままレベル調整部１２から出力される。

ゲイン調整部１０２は、検知部１０３が検知したレベルが所定の閾値以上の場合、制御部２３から入力されたゲインで音声信号を増幅する。

帯域レベル調整部１００Ａは、例えばパートの音が大きい時だけレベルを調整したい場合に用いられる。その結果、帯域レベル調整部１００Ａは、パートの音が小さい時又はパートの音が含まれない時にもレベル調整を行って、該パートと同じ帯域に含まれる他のパートの音をレベル調整してしまうことがない。

なお、検知部１０３は、ゲイン調整部１０２のゲインをオンオフするのではなく、検知したレベルに応じて、ゲイン調整部１０２のゲインを調整してもよい。

次に、実施形態２に係る信号処理装置２について、図６乃至図８を用いて説明する。図６は、信号処理装置２のブロック図の一部を示す図である。図７（Ａ）及び図７（Ｂ）は、それぞれディスプレイ２４が表示する画像の例を示す図である。

実施形態２に係る信号処理装置２は、Ｌ，Ｒチャンネルの音声信号が入力され、音声信号毎にレベルを調整する点において、信号処理装置１と相違する。信号処理装置１と重複する構成の説明は省略する。

信号処理装置２は、図６に示すように、入力部１１Ａ、レベル調整部１２Ａ、出力部１３Ａ、音声解析部２１Ａ、パートＤＢ２２、制御部２３、ディスプレイ２４、及びタッチパネル２５を備える。

入力部１１Ａは、Ｌ，Ｒチャンネルの音声信号が入力され、各チャンネルの音声信号を出力する点において、入力部１１と相違する。出力部１３Ａは、Ｌ，Ｒチャンネルの音声信号が入力され、各チャンネルの音声信号を出力する点において、出力部１３と相違する。

レベル調整部１２Ａは、レベル調整部１２Ｌ，１２Ｒを備える。レベル調整部１２Ｌは、Ｌチャンネルの音声信号のレベルを調整する。レベル調整部１２Ｒは、Ｒチャンネルの音声信号のレベルを調整する。レベル調整部１２Ｌ，１２Ｒの構成は、レベル調整部１２の構成と同じである。

音声解析部２１Ａは、Ｌ，Ｒチャンネルの音声信号を合成した合成音声信号に対して、解析を行い、該合成音声信号に含まれるパートを抽出する点において、音声解析部２１と相違する。

音声解析部２１Ａは、さらに、抽出したパートのＬチャンネルの成分とＲチャンネルの成分とに基づいて、該パートの仮想空間上の左右方向の位置を求める。例えば、音声解析部２１Ａは、抽出したパートの３つの帯域Ｂ１〜Ｂ３において、Ｌチャンネルの音声信号のレベルとＲチャンネルの音声信号のレベルとを計測する。そして、音声解析部２１Ａは、計測した２つのレベルの時間平均を求める。ここで、抽出したパートの３つの帯域Ｂ１〜Ｂ３に対し、Ｌチャンネルの音声信号の平均レベルをＡｖｅＬとし、Ｒチャンネルの音声信号の平均レベルをＡｖｅＲとして、以下説明する。

例えば、コントラバスの帯域Ｂ１〜Ｂ３に対し、ＡｖｅＬ対ＡｖｅＲは１：９とする。この場合、制御部２３は、ディスプレイ２４の表示領域の横幅を右側から１：９で分割した位置にコントラバスを示すパート操作子４０１を表示させる。例えば、女声の帯域Ｂ１〜Ｂ３に対し、ＡｖｅＬ対ＡｖｅＲは５：５とする。この場合、制御部２３は、ディスプレイ２４の表示領域の横幅を右側から５：５で分割した位置に女声を示すパート操作子４０２を表示させる。例えば、シンバルの帯域Ｂ１〜Ｂ３に対し、ＡｖｅＬ対ＡｖｅＲは８：２とする。この場合、制御部２３は、ディスプレイ２４の表示領域の横幅を右側から８：２で分割した位置にシンバルを示すパート操作子４０３を表示させる。

また、制御部２３は、仮想空間をステージに模してディスプレイ２４に表示させる。ただし、ステージを模した画像は、例えばパートＤＢ２２に記憶されている。すると、ディスプレイ２４は、横軸をステージ上の左右方向の位置とし、縦軸をレベルとした表示を行う。

すると、ディスプレイ２４は、図７（Ａ）に示すように、ステージ上に存在する各パートを模したように、パート操作子４０１〜４０３を表示する。図７（Ａ）に示す例では、例えば、パート操作子４０１は、ステージ右側に表示され、パート操作子４０２は、ステージ中央に表示され、パート操作子４０３は、ステージ左側に表示されている。

そして、制御部２３は、図７（Ｂ）に示すように、パート操作子４０１〜４０３が縦方向に沿って移動操作されると、操作されたパート操作子４０１〜４０３に対応するパートの帯域Ｂ１〜Ｂ３と、レベル調整量とを、レベル調整部１２Ｌ，１２Ｒに与えることにより、各音声信号のレベルを調整する。

なお、パート操作子４０１〜４０３のステージ上の左右方向の位置は、ＡｖｅＬとＡｖｅＲとの比率によって求めるのではなく、所定の位置に設定されてもよい。所定の位置は、例えば、パートＤＢ２２に記憶される。

また、信号処理装置２は、Ｌ，Ｒチャンネルに限らず、マルチチャンネルの音声信号からパートを抽出する態様であっても構わない。さらに、信号処理装置２は、抽出したパートの帯域Ｂ１〜Ｂ３について、例えばフロントＬチャンネルの音声信号の平均レベルとサラウンドＬチャンネルの音声信号の平均レベルとをそれぞれ算出することにより、仮想空間におけるパート操作子の奥行き方向の位置を求めて、ディスプレイ２４に表示してもよい。

また、信号処理装置２は、Ｌ，Ｒチャンネルの音声信号の合成音声信号からパートを抽出するのではなく、チャンネル毎に、パートを抽出してディスプレイ２４にパート操作子４０１〜４０３を表示し、チャンネル毎に音声信号のレベルを調整してもよい。この場合、制御部２３は、図３（Ａ）の例と同様に、横軸を周波数としてパート操作子４０１〜４０３を表示する。

次に、レベル調整部１２Ｌ，１２Ｒの変形例に係るレベル調整部１２ＬＢ，１２ＲＢについて、図８を用いて説明する。図８は、レベル調整部１２ＬＢ，１２ＲＢのブロック図である。

レベル調整部１２ＬＢ，１２ＲＢは、２つの帯域レベル調整部１００Ｂと合成部２００とを備える点において、レベル調整部１２Ｌ，１２Ｒと相違する。帯域レベル調整部１００Ｂは、ゲイン調整部１０２と合成部２００との間にチャンネル調整部１０４を備える点において、帯域レベル調整部１００と相違する。すなわち、レベル調整部１２ＬＢ，１２ＲＢは、レベル調整部１２ＬＢのチャンネル調整部１０４とレベル調整部１２ＲＢのチャンネル調整部１０４との組を用いることにより、各パートについて、Ｌ，Ｒチャンネル間のレベル比率を調整するものである。

チャンネル調整部１０４は、制御部２３から入力されるゲインで音声信号のレベルを調整して出力する。チャンネル調整部１０４のゲインは、音声解析部２１Ａが求めたＡｖｅＬとＡｖｅＲとの比に基づいて設定される。例えば、コントラバスの帯域Ｂ１〜Ｂ３に対し、ＡｖｅＬ対ＡｖｅＲが１：９であると、レベル調整部１２ＬＢのコントラバスに対応する帯域レベル調整部１００Ｂのチャネル調整部１０４のゲインと、レベル調整部１２ＲＢのコントラバスに対応する帯域レベル調整部１００Ｂのチャネル調整部１０４のゲインとの比が１：９になるように設定される。その結果、Ｒチャンネルの音声信号に含まれるコントラバスの音は、強調される。このように、コントラバスが含まれるチャンネルの音声信号のレベルだけが調整される。

また、レベル調整部１２ＬＢ，１２ＲＢは、パートの音をチャンネル毎に調整するチャンネル調整部１０４を備えることにより、以下のようなレベル調整も可能とする。例えば、レベル調整部１２ＬＢ，１２ＲＢは、ディスプレイ２４にコントラバスを示すパート操作子４０１がステージ上の右側及び左側の２箇所に表示されている場合、右側のパート操作子４０１に対する操作入力に基づいてＲチャンネルに対応するチャンネル調整部１０４のゲインが調整されることにより、右側だけのコントラバスの音のレベルを調整する。

１，２…信号処理装置
１１，１１Ａ…入力部
１２，１２Ａ，１２Ｂ，１２Ｌ，１２Ｒ，１２ＬＢ，１２ＲＢ…レベル調整部
１３，１３Ａ…出力部
２１，２１Ａ…音声解析部
２２…パートＤＢ
２３…制御部
２４…ディスプレイ
２５…タッチパネル
１００，１００Ａ，１００Ｂ…帯域レベル調整部
１０１…抽出部
１０２…レベル調整部
１０３…検知部
１０４…チャンネル調整部
２００…合成部
３０１〜３１０…操作子
４０１〜４０３…パート操作子

Claims (5)

1. 音声信号が入力される入力部と、
   前記入力部に入力された音声信号から、周波数のピーク成分に基づいてパートを抽出するパート抽出部と、
   前記パート抽出部が抽出したパート毎にレベル調整用のパート操作子を表示する表示部と、
   前記パート操作子に対する操作入力を受け付ける操作部と、
   前記操作部に受け付けられた操作入力に基づいて、前記パート毎に対応する周波数のレベルを調整するレベル調整部と、
   を備える信号処理装置。
2. 前記レベル調整部は、前記パート毎の基音及び倍音の周波数のレベルを調整する、
   請求項１に記載の信号処理装置。
3. 前記パート抽出部による抽出結果に基づいて、パート毎の表示位置を決定する表示位置決定部、を備え、
   前記表示部は、前記表示位置決定部が決定した表示位置に前記パート操作子を表示する、
   請求項１又は２に記載の信号処理装置。
4. 前記パート抽出部が抽出したパート毎のレベルを検知するレベル検知部、を備え、
   前記レベル調整部は、前記レベル検知部が検知したパート毎のレベル及び前記操作入力に基づいて、レベル調整量を制御する、
   請求項１乃至請求項３のいずれかに記載の信号処理装置。
5. 音声信号が入力される入力ステップと、
   前記入力ステップで入力された音声信号から、周波数のピーク成分に基づいてパートを抽出するパート抽出ステップと、
   前記パート抽出ステップで抽出されたパート毎にレベル調整用のパート操作子を表示する表示ステップと、
   前記パート操作子に対する操作入力を受け付ける操作ステップと、
   前記操作ステップで受け付けられた操作入力に基づいて、前記パート毎に対応する周波数のレベルを調整するレベル調整ステップと、
   を信号処理装置に実行させるプログラム。

Images