JP5246134B2

JP5246134B2 - 信号処理装置及び撮像装置

Info

Publication number: JP5246134B2
Application number: JP2009248954A
Authority: JP
Inventors: 豪松本; 光宏岡崎
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-10-29
Filing date: 2009-10-29
Publication date: 2013-07-24
Anticipated expiration: 2029-10-29
Also published as: JP2011095478A

Description

本発明は、音声信号に含まれるノイズ信号を低減する信号処理装置及び撮像装置に関する。

目的の音とノイズ音とが混合された音声信号からノイズ音に基づく成分（ノイズ成分）を低減する方法として、取得される音声信号からノイズ音を推定し、推定されたノイズ音の信号（以下、ノイズ信号）を音声信号から減算することが一般的である（例えば特許文献１参照）。

特開２００５−１９５９５５号公報

このような方法では、予めノイズ音を取得している場合やノイズ音が周期的な音からなる場合には、ノイズ音の大きさやノイズ音が含まれるタイミングは容易に推定できるので、音声信号からノイズ信号を適切に低減することができる。しかしながら、装置内部の各種機構などが駆動したときの音（以下、動作音）をノイズ音とした場合、上述した動作音は発生するタイミングが不定期であることから音声信号に含まれるノイズ音を推定することは難しい。さらに、目的の音の大きさが変化する音声信号の場合には、このノイズ信号の推定は更に困難となることから、ノイズ信号を減算した後の音声信号にミュージカルノイズと呼ばれるノイズ成分が含まれてしまう。

本発明は、音声信号自体の大きさが変化する場合であっても、音声信号に含まれる動作音の影響を有効に低減することができるようにした信号処理装置及び撮像装置を提供することを目的とする。

上述した課題を解決するために、本発明の信号処理装置は、時間関数で示される音声信号を所定時間間隔で分割した複数の第１の音声信号を、周波数関数で示される第２の音声信号にそれぞれ変換する信号変換手段と、複数の前記第２の音声信号のうち、動作音が混合された第２の音声信号と、前記動作音を示す音声信号とから、前記動作音の影響を低減した第３の音声信号を求める信号算出手段と、複数の前記第２の音声信号のうち、前記動作音を発する動作を実行するための動作信号が未出力のときに得られた、前記動作音が混合されていない第２の音声信号を基準信号として、前記基準信号の大きさと前記動作音が混合された第２の音声信号の大きさとの比率を求める比率算出手段と、前記第３の音声信号と前記比率が乗算された前記基準信号との周波数特性を比較し、前記比較した結果が予め定められた範囲でない場合に、前記比率が乗算された前記基準信号の周波数特性に近づけるように前記第３の音声信号の周波数特性を補正する補正手段と、前記補正手段により補正された前記第３の音声信号を、前記周波数関数で示される音声信号から、前記時間関数で示される音声信号に逆変換する信号逆変換手段と、を備えたことを特徴とする。

また、前記補正手段は、前記第３の音声信号と前記比率が乗算された前記基準信号とで少なくとも１つの周波数帯域の周波数スペクトルの値が予め定められた範囲でない場合、前記少なくとも１つの周波数帯域の周波数スペクトルの値を前記比率が乗算された前記基準信号に近づけるように前記第３の音声信号を補正するものである。
また、前記補正手段は、特定の周波数帯域の周波数スペクトルの値と全周波数帯域のうち少なくとも１つの周波数帯域の周波数スペクトルから得られる値との比を、前記第３の音声信号及び前記比率が乗算された前記基準信号からそれぞれ求め、前記第３の音声信号から得られる比が、前記比率が乗算された前記基準信号から得られる比に約等しくなるように、前記特定の周波数帯域の周波数スペクトルの値を補正するものである。

また、前記補正手段は、前記特定の周波数帯域の周波数スペクトルの値と、前記全周波数帯域の周波数スペクトルの値の総和又は前記全周波数帯域の周波数スペクトルの平均値のいずれか一方の値との比を、前記第３の音声信号及び前記比率が乗算された前記基準信号からそれぞれ求めるものである。
また、前記補正手段は、前記特定の周波数帯域の周波数スペクトルの値と、前記特定の周波数帯域及び前記特定の周波数帯域の近傍の周波数帯域の周波数スペクトルの値の総和、又は前記特定の周波数帯域及び前記特定の周波数帯域の近傍の周波数帯域の周波数スペクトルの平均値のいずれか一方の値との比を、前記第３の音声信号及び前記比率が乗算された前記基準信号から求めるものである。

また、本発明の撮像装置は、画像信号を取得する撮像手段と、前記撮像手段による前記画像信号の取得に同期して、音声信号を取得する収音手段と、上述した信号処理装置のいずれかと、前記撮像手段により取得された画像信号と、前記信号処理装置により信号処理が施された音声信号とを記憶する記憶手段と、を備えたことを特徴とする。

本発明によれば、音声信号自体の大きさが変化する場合であっても音声信号に重畳される動作音の影響を有効に低減することができる。

デジタルカメラの構成を示す機能ブロック図である。信号処理装置の構成を示す機能ブロック図である。取得される音声信号、窓関数、フレーム分割及びＡＦ動作信号の関係を示す図である。信号処理装置における信号処理の流れを示す図である。

図１は、デジタルカメラ１０の構成を示す機能ブロック図である。周知のように、デジタルカメラ１０は、撮像光学系１５によって取り込まれた被写体光を撮像素子１６によって光電変換し、光電変換後の電気信号（画像信号）から画像データを取得する。

撮像光学系１５は、複数のレンズから構成される。この撮像光学系１５を構成する各レンズは、ズーム倍率の変更時やフォーカス調整時に、レンズ駆動部１８の駆動により光軸Ｌに沿って移動する。この撮像光学系１５には、絞り１９が設けられる。この絞り１９は絞り開口の大きさを変化させることで、撮像素子１６に向けて入射する被写体光の光量を変化させる。この絞り１９は、予め設定された絞り値となるように、その絞り開口の大きさが絞り駆動部２０により変更される。

シャッタ２１は、撮像光学系１５と撮像素子１６との間に配置される。このシャッタ２１は、撮像光学系１５を介して取り込まれる被写体光を撮像素子１６に照射させる開放状態と、該被写体光を遮光する遮光状態との間で切り替えられる。なお、撮影時にはシャッタ２１は、一旦遮光状態に保持された後、開放状態に切り替えられる。そして、シャッタ２１が開放状態に切り替えられてから予め設定された時間経過すると、再度遮光状態に切り替えられる。なお、このシャッタ２１における遮光状態と開放状態との間の切り替えは、シャッタ駆動部２２により実行される。

撮像素子１６は、例えばＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）などから構成される。撮像素子１６は、撮像光学系１５によって取り込まれる被写体光を受光し、受光した光量を信号電荷に変換（光電変換）して、変換した信号電荷を蓄積する。その後、撮像素子１６にて蓄積された信号電荷は、ＡＦＥ（ＡｎａｌｏｇＦｒｏｎｔＥｎｄ）回路２５に出力される。

ＡＦＥ回路２５は、図示しないＡＧＣ回路、ＣＤＳ回路及びＡ／Ｄ変換回路を含んで構成される。ＡＦＥ回路２５は、入力された画像信号に対してゲインコントロール、雑音除去など処理を施す。これら処理の後、ＡＦＥ回路２５は、アナログの画像信号をデジタルの画像信号に変換する。このデジタルの画像信号は１コマ毎にまとめられて画像メモリ３０に記録される。なお、撮像素子１６やＡＦＥ回路２５は、図示を省略したタイミングジェネレータによって、その駆動タイミングが制御される。

画像処理回路３５は、画像メモリ３０に記憶された画像信号に対して、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を施す。これら画像処理の後、画像処理回路３５は、例えばＪＰＥＧ方式などの記憶方式で圧縮するためのフォーマット処理を施す。また、画像処理回路３５は、画像データに対して符号化処理や復号化処理を行う。なお、符号３７は記録用Ｉ／Ｆである。

ＬＣＤ３８は、デジタルカメラ１０にて取得された画像、記憶媒体３６に記憶された画像、撮影待機状態時に取り込まれるスルー画像を表示する他に、撮影条件等の設定や設定変更を行う際の設定画像などを表示する。デジタルカメラ１０にて取得された画像や記憶媒体３６に記憶された画像としては、静止画像の他に動画像が挙げられる。このＬＣＤ３８は、表示制御回路３９により制御される。スピーカ４０は、動画像をＬＣＤ３８に表示する際に動画像に対応付けられた音声などを出力する。このスピーカ４０における音声の出力制御は、音声制御回路４１により実行される。

収音部４３は、例えばマイクから構成され、例えば動画撮影や録音時の音声を取得する。この収音部４３により取得される音声信号は、音声メモリ４４に記録される。

信号処理装置４５は、収音部４３にて取得される音声信号に対して、該音声信号に含まれるノイズ音を低減する処理を施す。なお、ノイズ音としては、動画撮影や録音時に、デジタルカメラ１０の内部に設けられた各機構が駆動されるときに発生する動作音や、各種機構を駆動させる際に操作される操作音などが挙げられる。また、信号処理装置４５は、取得された音声信号（上述したノイズ音を低減する処理が施された音声信号を含む）に対する圧縮符号化する処理や、圧縮符号化する処理が施された音声信号を復号化する処理を行う。

ＣＰＵ５０は、内蔵メモリ５１に記憶された制御プログラム（図示省略）を実行することで、デジタルカメラ１０の各部を統括的に制御する。このＣＰＵ５０における制御としては、レリーズボタン５２の操作に基づいた制御や、設定操作部５３の操作に基づいた制御が挙げられる。レリーズボタン５２の操作に基づいた制御としては、周知のＡＥ処理やＡＦ処理、撮像処理などが挙げられる。また、設定操作部５３の操作に基づいた制御としては、初期設定や撮影条件の設定等の処理が挙げられる。

また、ＣＰＵ５０は、撮影時に取得される画像データを記憶媒体３６に書き込む処理を行う。例えば、静止画撮影を行った場合には、ＣＰＵ５０は、画像処理回路３５にて符号化処理が施された画像データを、デジタルカメラ１０の機種情報や撮影時の撮影情報などと１つのファイル（静止画像ファイル）としてまとめて記憶媒体３６に書き込む。同様にして、動画撮影を行った場合には動画撮影にて取得された各フレーム画像データが画像処理回路３５にて符号化処理が施されるので、これら符号化処理が施された各フレーム画像データと、信号処理回路４５にて信号処理が施された音声データとを、デジタルカメラ１０の機種情報や撮影時の撮影情報などと１つのファイル（動画像ファイル）としてまとめて記憶媒体３６に書き込む。

次に、上述した信号処理装置４５の構成について、図２の機能ブロック図を用いて説明する。図２に示すように、信号処理装置４５は、周波数変換部６１、信号算出部６２、記憶部６３、比率算出部６４、信号補正部６５及び周波数逆変換部６６を備えている。

周波数変換部６１は、収音部４３により取得された音声信号を、時間関数で示される信号（時間領域信号）から周波数関数で示される信号（周波数領域信号）に変換する。まず、周波数変換部６１は、後述する窓関数における窓幅を決定する。この窓関数における窓幅を決定した後、周波数変換部６１は、決定された窓幅を１フレームとしたときに、１フレーム当たりのサンプル数が例えば１０２４となるように、入力される音声信号を分割する。

次に、周波数変換部６１は、０．５フレーム分ずらしながらハニング窓などの窓関数を掛けた後、窓関数が適用された音声信号にフーリエ変換処理を実行する。周知のように、ハニング窓と呼ばれる窓関数は、その両端値が０、中央値が１となる関数であることから、窓関数を掛け合わせた信号は、中心部分が強調された信号となる。このため、時間とともに変化する振動などの信号を１フレーム毎ずらして解析した場合には、特徴的な箇所を捕らえることが難しい。このため、０．５フレーム分ずらすことでオーバーラップさせた解析を行うことで、信号に特徴的な箇所を検出する。これら処理を行うことで、取得された音声信号が、０．５フレーム分ずらしながら、１フレーム毎に時間領域信号から周波数領域信号に変換される。これら処理が施された音声信号は、信号算出部６２及び信号補正部６５に出力される。

信号算出部６２は、取得された音声信号に含まれるノイズ音を低減する処理を行う。上述したように、収音部４３により取得された音声信号は、目的の音（目的音）と、ノイズ音（動作音）とが混合された信号からなる。信号算出部６２は、周波数変換部６１から出力される音声信号から、ノイズ音に基づく信号（ノイズ信号）を減算することで、音声信号に含まれるノイズ音を低減する。このノイズ信号は、周波数変換部６１から出力される音声信号と同一のフレーム幅に対応する周波数領域信号からなる。また、このノイズ信号は記憶部６３に予め記憶されている。

なお、本実施形態では、ノイズ信号を記憶部６３に予め記憶させておき、周波数変換部６１から出力された１フレーム毎の音声信号から、記憶部６３に記憶されたノイズ信号を減算するが、これに限定される必要はなく、係数を乗算したノイズ信号を、周波数変換部６１から出力される各フレームの音声信号から減算することも可能である。

また、ノイズ信号を記憶部６３に予め記憶させておくのではなく、従来のノイズ推定の手法を用いてノイズ信号を取得し、取得したノイズ信号、又は該ノイズ信号に係数を乗算した後の信号を、周波数変換部６１から出力された１フレーム毎の音声信号から減算してもよい。

比率算出部６４は、目的音のみの音声信号を基準信号とした場合に、該基準信号の大きさに対する入力される１フレーム毎の音声信号の大きさとの比率を求める。上述したように、周波数変換部６１によって１フレーム毎の音声信号は周波数領域信号、言い換えれば周波数帯域と周波数スペクトルの値（その周波数帯域の音の強度）との関係で示される信号に変換される。比率算出部６４は、基準信号における各周波数帯域の周波数スペクトルの値の総和Ａ０と、音声信号における各周波数帯域の周波数スペクトルの値の総和Ａ１とをそれぞれ算出する。これら値を算出した後、比率ＢをＢ＝Ａ１／Ａ０にて求める。つまり、この比率Ｂを求めることで、取得される音声信号の大きさが変化しているか否かを判断することができる。なお、比率算出部６４は、求めた比率Ｂと基準信号とを信号補正部６５に出力する。

信号補正部６５は、信号算出部６２によりノイズ成分が低減された音声信号（以下、低減処理済みの音声信号）に対する補正を実行する。まず、信号補正部６５は、比率算出部６４により求めた比率Ｂを基準信号に乗算する。その後、信号補正部６５は、比率Ｂを乗算した基準信号に基づいて、低減処理済みの音声信号を補正する。この補正が行われた補正済み音声信号は、周波数逆変換部６６に出力される。周波数逆変換部６６は、補正済み音声信号を、周波数領域信号から時間領域信号に逆変換する。時間領域信号に逆変換された音声信号は、音声メモリ４４に書き込まれる。

次に、図３及び図４を用いて、信号処理装置４５における信号処理の流れについて説明する。図３に示すように、収音部４３により取得される音声は、数十ｍｓ程度の短時間においては、周期的な信号となる。上述したように、周波数変換部６１は、音声信号が入力されると、窓関数における窓幅を設定した後、フレーム分割を行う。

上述したように、周波数変換部６１は、０．５フレーム分ずらしながらハニング窓などの窓関数を掛けた後、窓関数が適用された音声信号にフーリエ変換処理を実行する。このため、周波数変換部６１に入力される音声信号に対して上述した処理が施されると、符号７１で示す領域及び符号７２で示す領域を１フレームとする音声信号、符号７２で示す領域及び符号７３で示す領域を１フレームとする音声信号、・・・・の順で１フレーム毎の音声信号が生成され、信号算出部６２に出力される。信号算出部６２は、１フレーム毎の音声信号が入力されると、記録部６３に記録された動作音からなるノイズ信号を読み出し、１フレーム毎の音声信号からノイズ信号を減算する。

例えば、収音部４３により音声を取得している際にＡＦ（オートフォーカス）処理が実行されるときには、ＡＦ動作信号が出力される。このＡＦ動作信号が出力されることを受けて、レンズ駆動部１８が駆動し、撮像光学系１５を構成するレンズが光軸Ｌ方向に移動する。このレンズ駆動部１８の駆動及び撮像光学系１５を構成するレンズの移動時には、その動作音が生じる。このため、収音部４３により取得される音声信号は、目的音とノイズ音とが混合された音声信号となる。例えばＡＦ駆動信号が出力されたタイミングが符号７６で示す領域内の場合には、それ以降の領域では、音声信号にノイズ成分が重畳されていると推定することができる。

例えばノイズ成分が重畳された音声信号は、以下の（１）式で表すことができる。

ｘ（ｔ）＝ｓ（ｔ）＋ｎ（ｔ）・・・（１）
ここで、ｘ（ｔ）は収音部４３により取得される音声信号、ｓ（ｔ）は目的音の音声信号、ｎ（ｔ）は動作音などのノイズ信号である。なお、これら信号は時間関数で示される。

上述したフーリエ変換を行うことで、目的音とノイズ音とが混合された音声信号は、時間関数で示される信号ｘ（ｔ）から、周波数関数で示される信号Ｘ（ｆ）に変換される。なお、ｆは周波数を示す。

ここで、目的音の音声信号をＳｅ（ｆ）とすると、目的音の音声信号をＳｅ（ｆ）は以下に示す（２）式で表される。

｜Ｓｅ（ｆ）｜＝｜Ｘ（ｆ）｜−α｜Ｎｅ（ｆ）｜・・・（２）
なお、Ｎｅ（ｆ）はノイズ信号、αは減算係数である。このαの値は、上述した（２）式を用いて目的音のみの音声信号を求める際に、減算するノイズ信号の大きさによっては、算出される目的成分の信号の周波数特性が変化してしまう場合や、減算後の音声信号にミュージカルノイズなどを人工的に重畳させてしまうこともある。このため、αの値としては、０．５〜４の値が用いられることが望ましい。

図４は、各信号（８１、８２、８３、８３’、８４、８４’）の周波数スペクトルを示しており、各周波数スペクトルのグラフは、横軸が周波数帯域、縦軸が音の強度（以下、「周波数スペクトルの値」ともいう）を示している。

以下、図４に示されるように、取得された音声信号に対して符号８１を、ノイズ信号に対して符号８２を付して説明する。信号算出部６２は、記憶部６３に記憶されたノイズ信号８２を読み出した後、フーリエ変換された音声信号８１における周波数スペクトル８１ａ〜８１ｈから、ノイズ信号８２における周波数スペクトル８２ａ〜８２ｈをそれぞれ対応する周波数帯域毎に減算する。この減算処理により、ノイズ成分が低減された低減処理済みの音声信号８３が生成される。

次に、比率算出部６４は、基準信号８４における各周波数帯域の周波数スペクトル８４ａ〜８４ｈの大きさの総和Ａ０、及び音声信号８１における各周波数帯域の周波数スペクトル８１ａ〜８１ｈの大きさの総和Ａ１を求める。これら総和Ａ０、Ａ１を求めた後、信号補正部６５は、比率Ｂ＝Ａ１／Ａ０を算出する。

信号補正部６５は、比率算出部６４により算出された比率Ｂを基準信号８４の各周波数帯域のスペクトルの値に乗算した信号（符号８４’）を生成する。そして、信号補正部６５は、比率Ｂが乗算された基準信号８４’と、低減処理済みの音声信号８３とを比較する。この比較は、低減処理済みの音声信号８３の各周波数スペクトル８３ａ〜８３ｈの値が、同一の周波数帯域において、比率Ｂが乗算された基準信号８４’の各周波数スペクトル８４’ａ〜８４’ｈの値に対して所定の誤差範囲に含まれる値であるか否かを比較する。つまり、低減処理済みの音声信号８３の周波数スペクトルの値をＳ１、比率Ｂが乗算された基準信号８４の周波数スペクトルの値Ｓ０とした場合、Ｓ０−Ｋ≦Ｓ１≦Ｓ０＋Ｋ（Ｋは誤差）を満足しているか否かを判定する。なお、誤差Ｋの値は、適宜設定して良い。図４は、低減処理済みの音声信号８３の周波数スペクトル８３ａ〜８３ｈのうち、周波数スペクトル８３ｆ及び周波数スペクトル８３ｇの値が、上述した式を満足していない場合を示している。

この場合、信号補正部６５は、低減処理済みの音声信号８３の全周波数帯域の周波数スペクトル８３ａ〜８３ｈの値の総和と、対象となる周波数スペクトル８３ｆ及び周波数スペクトル８３ｇの値との比を求める。すなわち、周波数スペクトル８３ａ〜８３ｈの値の総和と周波数スペクトル８３ｆの値との比（第１強度比）、及び周波数スペクトル８３ａ〜８３ｈの値の総和と周波数スペクトル８３ｇの値との比（第２強度比）を求める。また、信号補正部６５は、比率Ｂが乗算された基準信号８４’の全周波数帯域の周波数スペクトル８４’ａ〜８４’ｈの値の総和と、対象となる周波数スペクトル８４’ｆ及び周波数スペクトル８４’ｇの値の比を求める。すなわち、周波数スペクトル８４’ａ〜８４’ｈの値の総和と周波数スペクトル８４’ｆの値との比（第３強度比）、及び周波数スペクトル８４’ａ〜８４’ｈの値の総和と周波数スペクトル８４’ｇの値との比（第４強度比）を求める。そして、信号補正部６５は、第１強度比が第３強度比と等しくなるように、対象となる周波数スペクトル８３ｆの値を補正する。さらに、第２強度比が第４強度比と等しくなるように、対象となる周波数スペクトル８３ｇの値を補正する。このようにして、補正済みの音声信号８３’が生成される。図４においては、補正処理により、低減処理済みの音声信号８３の周波数スペクトル８３ｆの値を大きくし、周波数スペクトル８３ｇの値を小さくする補正をし、音声信号８３’が生成されている。

この補正済みの音声信号８３’は、周波数逆変換部６５による逆フーリエ変換等により、周波数関数で示される信号から時間関数で示される信号に変換される。なお、上述した信号補正は、０．５フレームずらした１フレーム毎に実行されることから、周波数逆変換部６５により逆フーリエ変換処理が施された時間関数で示される音声信号は、０．５フレームずらしながら、つなぎ合わされた後、音声メモリ４４に書き込まれる。

このように、音声信号からカメラ内部の機構が駆動したときに発生する動作音の成分を減算することで、動作音の影響を低減した音声信号を生成した後、この動作音の影響を低減した音声信号を目的音のみの音声信号に基づいて補正している。この際、基準信号の大きさと音声信号の大きさとの比率を求めることで、音声信号の大きさが変化しているか否かを判断することができ、また、その比率を音声信号に乗算することで、音声信号の大きさが変化する場合にも対応することが可能となる。また、比率を乗算した基準信号に基づいて、ノイズ信号を低減した音声信号を補正できるので、ノイズ信号を低減した音声信号に生じるミュージカルノイズの発生を防止することができる。このように、本実施形態においては、信号の大きさが変化する音声信号であっても、音声信号に含まれるノイズ音を適切に低減することができる。

本実施形態では、ノイズ音としての動作音の発生の要件として、ＡＦ駆動信号が出力されるタイミングを挙げているが、この他に、ズームボタンなどの操作部が操作されたときに出力される操作信号など、デジタルカメラに設けられた操作部の操作信号が出力されるタイミング、さらに、手ブレ補正機能を備えたデジタルカメラの場合には手ブレ補正処理の開始信号が出力されるタイミングが挙げられる。

本実施形態では、音声信号の全周波数帯域の周波数スペクトルの値の総和と、補正対象となる周波数スペクトルの値との比から強度比を算出しているが、これに限定される必要はなく、例えば音声信号の全周波数帯域の周波数スペクトルの値の平均値と、補正対象となる周波数スペクトルの値との比から強度比を求めても良い。また、音声信号の全周波数帯域の周波数スペクトルの値の総和ではなく、補正の対象となる周波数スペクトルの値と該周波数スペクトルの周波数帯域の近傍の周波数帯域の周波数スペクトルの値の総和や、その平均値を用いることで、上述した強度比を求めることも可能である。さらに、上述した総和や平均値を求める代わりに、補正の対象となる周波数帯域の周波数スペクトルの値と、該周波数スペクトルに隣り合う周波数帯域の周波数スペクトルの値との比を用いてもよい。

本実施形態では、低減処理済みの音声信号から求められる強度比と、比率Ｂが乗算された基準信号８４から求められる強度比とが等しくなるように、補正の対象となる周波数スペクトルの値を補正しているが、これに限定される必要はなく、低減処理済みの音声信号から求められる強度比が、比率Ｂが乗算された基準信号８４から求められる強度比の誤差範囲内となるように、補正の対象となる周波数スペクトルを補正しても良い。この場合、誤差は、例えば低減処理済みの音声信号８３の周波数スペクトルの値と比率Ｂが乗算された基準信号８４の周波数スペクトルの値とを比較した場合に用いた値Ｋに基づいて算出される値を用いることができる。

また、低減処理済みの音声信号８３に基づく強度比や、比率Ｂが乗算された基準信号８４に基づく強度比を算出する必要はなく、例えば低減処理済みの音声信号の周波数スペクトルの値が、比率Ｂが乗算された基準信号８４の周波数スペクトルの値の誤差範囲に含まれるように補正してもよい。

本実施形態では、動画像撮影の際に取得される音声信号を例に挙げて説明しているが、これに限定される必要はなく、例えば音声信号のみを取得する場合にも適応できる。つまり、録音機能を有する電子機器であれば、適用することが可能である。また、動画撮影を行う装置としてデジタルカメラを例に挙げて説明しているが、この他に、携帯電話機や、ＰＤＡなどの携帯型端末機であってもよい。さらに、図２で示す信号処理装置の各機能をコンピュータにて実行させることが可能なプログラムであってもよい。この場合、該プログラムは、メモリカード、光学ディスク、磁気ディスクなどのコンピュータで読み取り可能な記憶媒体に記憶されていることが好ましい。

１０…デジタルカメラ、１５…撮像光学系、１６…撮像素子、１８…レンズ駆動部、１９…絞り、２０…絞り駆動部、２１…シャッタ、２２…シャッタ駆動部、３６…記憶媒体、４３…収音部、４４…音声メモリ、４５…信号処理装置、６１…周波数変換部、６２…信号算出部、６３…記録部、６４…比率算出部、６５…信号補正部、６６…信号逆変換部

Claims

時間関数で示される音声信号を所定時間間隔で分割した複数の第１の音声信号を、周波数関数で示される第２の音声信号にそれぞれ変換する信号変換手段と、
複数の前記第２の音声信号のうち、動作音が混合された第２の音声信号と、前記動作音を示す音声信号とから、前記動作音の影響を低減した第３の音声信号を求める信号算出手段と、
複数の前記第２の音声信号のうち、前記動作音を発する動作を実行するための動作信号が未出力のときに得られた、前記動作音が混合されていない第２の音声信号を基準信号として、前記基準信号の大きさと前記動作音が混合された第２の音声信号の大きさとの比率を求める比率算出手段と、
前記第３の音声信号と前記比率が乗算された前記基準信号との周波数特性を比較し、前記比較した結果が予め定められた範囲でない場合に、前記比率が乗算された前記基準信号の周波数特性に近づけるように前記第３の音声信号の周波数特性を補正する補正手段と、
前記補正手段により補正された前記第３の音声信号を、前記周波数関数で示される音声信号から、前記時間関数で示される音声信号に逆変換する信号逆変換手段と、
を備えたことを特徴とする信号処理装置。
請求項１に記載の信号処理装置において、
前記補正手段は、前記第３の音声信号と前記比率が乗算された前記基準信号とで少なくとも１つの周波数帯域の周波数スペクトルの値が予め定められた範囲でない場合、前記少なくとも１つの周波数帯域の周波数スペクトルの値を前記比率が乗算された前記基準信号に近づけるように前記第３の音声信号を補正する
ことを特徴とする信号処理装置。
請求項１または請求項２に記載の信号処理装置において、
前記補正手段は、特定の周波数帯域の周波数スペクトルの値と全周波数帯域のうち少なくとも１つの周波数帯域の周波数スペクトルから得られる値との比を、前記第３の音声信号及び前記比率が乗算された前記基準信号からそれぞれ求め、前記第３の音声信号から得られる比が、前記比率が乗算された前記基準信号から得られる比に約等しくなるように、前記特定の周波数帯域の周波数スペクトルの値を補正する
ことを特徴とする信号処理装置。
請求項３に記載の信号処理装置において、
前記補正手段は、前記特定の周波数帯域の周波数スペクトルの値と、前記全周波数帯域の周波数スペクトルの値の総和又は前記全周波数帯域の周波数スペクトルの平均値のいずれか一方の値との比を、前記第３の音声信号及び前記比率が乗算された前記基準信号からそれぞれ求めることを特徴とする信号処理装置。
請求項３に記載の信号処理装置において、
前記補正手段は、前記特定の周波数帯域の周波数スペクトルの値と、前記特定の周波数帯域及び前記特定の周波数帯域の近傍の周波数帯域の周波数スペクトルの値の総和、又は前記特定の周波数帯域及び前記特定の周波数帯域の近傍の周波数帯域の周波数スペクトルの平均値のいずれか一方の値との比を、前記第３の音声信号及び前記比率が乗算された前記基準信号から求めることを特徴とする信号処理装置。
画像信号を取得する撮像手段と、
前記撮像手段による前記画像信号の取得に同期して、音声信号を取得する収音手段と、
請求項１から請求項５のいずれか１項に記載の信号処理装置と、
前記撮像手段により取得された画像信号と、前記信号処理装置により信号処理が施された音声信号とを記憶する記憶手段と、
を備えたことを特徴とする撮像装置。