JP2012185445A - 信号処理装置、撮像装置、及び、プログラム - Google Patents
信号処理装置、撮像装置、及び、プログラム Download PDFInfo
- Publication number
- JP2012185445A JP2012185445A JP2011050183A JP2011050183A JP2012185445A JP 2012185445 A JP2012185445 A JP 2012185445A JP 2011050183 A JP2011050183 A JP 2011050183A JP 2011050183 A JP2011050183 A JP 2011050183A JP 2012185445 A JP2012185445 A JP 2012185445A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- frequency domain
- frame
- domain signal
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】適切にノイズを低減することができる信号処理装置を提供する。
【解決手段】音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定されたフレームの周波数領域信号、及び、該ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部(250)を備え、信号処理部(250)は、ノイズが含まれていると判定されたフレームと異なる時間に収音され、ノイズが含まれていないと判定されたフレームの周波数領域信号に基づいた下限値、または、当該フレームより先に処理されたフレームの処理において算出されたノイズ低減周波数領域信号に基づいた下限値に制限する信号処理装置(100)である。
【選択図】図1
【解決手段】音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定されたフレームの周波数領域信号、及び、該ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部(250)を備え、信号処理部(250)は、ノイズが含まれていると判定されたフレームと異なる時間に収音され、ノイズが含まれていないと判定されたフレームの周波数領域信号に基づいた下限値、または、当該フレームより先に処理されたフレームの処理において算出されたノイズ低減周波数領域信号に基づいた下限値に制限する信号処理装置(100)である。
【選択図】図1
Description
本発明は、信号処理装置、撮像装置、及び、プログラムに関する。
従来、音声信号に混入している背景ノイズを除去するために、フレーム単位で時間領域信号から周波数領域信号に変換し、非音声部分の信号を用い推定ノイズを算出し、算出した推定ノイズを周波数領域信号から差し引くことでノイズを低減する手法が知られている(特許文献1参照)。
ところで、動画を撮影する際に、背景ノイズが状況を示す目的音となる場合がある。背景ノイズは常に存在することから、動画を撮影する際の目的音が常に存在することになる。そのため、動画を撮影する際には、目的音が混入していないタイミングを得ることができない。
しかしながら、特許文献1の技術にあっては、音声がない区間で推定した初期推定ノイズを基に低減すべきノイズ量を推定する。そのため、音声がない区間、すなわち目的音が混入していないタイミングにおいて、初期推定ノイズを推定することができない場合には、低減すべきノイズ量を推定することができず、ノイズ低減処理を行えないという問題があった。
しかしながら、特許文献1の技術にあっては、音声がない区間で推定した初期推定ノイズを基に低減すべきノイズ量を推定する。そのため、音声がない区間、すなわち目的音が混入していないタイミングにおいて、初期推定ノイズを推定することができない場合には、低減すべきノイズ量を推定することができず、ノイズ低減処理を行えないという問題があった。
本発明は、このような事情に鑑みてなされたもので、その目的は、適切にノイズを低減することができる信号処理装置、撮像装置、及び、プログラムを提供することにある。
この発明は上述した課題を解決するためになされたもので、収音された音を、予め定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数領域信号に変換する周波数領域信号変換部と、前記音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定された前記フレームの周波数領域信号、及び、該ノイズが含まれていると判定された前記フレームの周波数領域信号に対応する周波数領域信号であって、前記ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、前記フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部とを備え、前記信号処理部は、前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された前記フレームの周波数領域信号に基づいた前記下限値、または、当該フレームより先に処理されたフレームの処理において算出された前記ノイズ低減周波数領域信号に基づいた前記下限値に制限することを特徴とする信号処理装置である。
また、この発明は、収音された音を、定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数領域信号に変換する周波数領域信号変換部と、前記音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定された前記フレームの周波数領域信号、及び、該ノイズが含まれていると判定された前記フレームの周波数領域信号に対応する周波数領域信号であって、前記ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、前記フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部と、画像を撮像する際に駆動部を駆動させるように制御するとともに、前記信号処理部に前記タイミング信号を供給する制御部とを備え、前記信号処理部は、前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された前記フレームの周波数領域信号に基づいた前記下限値、または、当該フレームより先に処理されたフレームの処理において算出された前記ノイズ低減周波数領域信号に基づいた前記下限値に制限することを特徴とする撮像装置である。
また、この発明は、信号処理装置が備えるコンピュータに、収音された音を、定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数領域信号に変換する周波数領域信号変換部と、前記音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定された前記フレームの周波数領域信号、及び、該ノイズが含まれていると判定された前記フレームの周波数領域信号に対応する周波数領域信号であって、前記ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、前記フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部として機能させ、前記信号処理部は、前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された前記フレームの周波数領域信号に基づいた前記下限値、または、当該フレームより先に処理されたフレームの処理において算出された前記ノイズ低減周波数領域信号に基づいた前記下限値に制限するためのプログラムである。
この発明によれば、適切にノイズを低減することができるという効果を奏する。
以下、図面を参照して、本発明の実施の形態について説明する。
図1は、この発明の一実施形態による撮像装置の構成を示す概略ブロック図である。
この図1に示される撮像装置は、収音された音を処理する信号処理装置でもある。
図1は、この発明の一実施形態による撮像装置の構成を示す概略ブロック図である。
この図1に示される撮像装置は、収音された音を処理する信号処理装置でもある。
この図1に示すとおり、本実施形態に係る撮像装置100(信号処理装置、撮像装置)は、撮像部110と、CPU(Central processing unit)190と、操作部180と、画像処理部140と、表示部150と、記憶部160と、バッファメモリ部130と、通信部170と、マイク230と、A/D(Analog/Digital)変換部240と、周波数領域信号変換部245と、信号処理部250と、バス300と、を備えている。
撮像部110は、光学系400と、撮像素子119と、A/D変換部120とを含み、設定された撮像条件(例えば絞り値、露出値等)に従ってCPU190により制御され、光学系400による光学像を撮像素子119に結像させて、A/D変換部120によってデジタル信号に変換された当該光学像に基づく画像データを生成する。
光学系400は、ズームレンズ114と、手振れ防止用レンズ(以下、VR(Vibration Reduction)レンズという)113と、焦点調整レンズ(以下、AF(Auto Focus)レンズという)112と、ズームエンコーダ115と、レンズ駆動部116と、AFエンコーダ117と、手振れ防止部118と、を備える。
この光学系400は、ズームレンズ114、VRレンズ113、及び、AFレンズ112を通過した光学像を撮像素子119の受光面に導く。
レンズ駆動部116は、後述するCPU190から入力される駆動制御信号に基づいて、ズームレンズ114またはAFレンズ112の位置を制御する。
手振れ防止部118は、後述するCPU190から入力される駆動制御信号に基づいて、VRレンズ113の位置を制御する。この手振れ防止部118は、VRレンズ113の位置を検出していてもよい。
ズームエンコーダ115は、ズームレンズ114の位置を表わすズームポジションを検出し、検出したズームポジションをCPU190に出力する。
AFエンコーダ117は、AFレンズ112の位置を表わすフォーカスポジションを検出し、検出したフォーカスポジションをCPU190に出力する。
なお、上述した光学系400は、撮像装置100に取り付けられて一体とされていてもよいし、撮像装置100に着脱可能に取り付けられてもよい。
撮像素子119は、たとえば、受光面に結像した光学像を電気信号に変換して、A/D変換部120に出力する。
また、撮像素子119は、操作部180を介して撮影指示を受け付けた際に得られる画像データを、撮影された静止画の撮影画像データとして、A/D変換部120や画像処理部140を介して、記憶媒体200に記憶させる。
一方、撮像素子119は、たとえば、操作部180を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、A/D変換部120や画像処理部140を介して、CPU190及び表示部150に出力する。
A/D変換部120は、撮像素子119によって変換された電子信号をアナログ/デジタル変換し、この変換したデジタル信号である画像データを出力する。
操作部180は、たとえば、電源スイッチやシャッターボタン、その他の操作キーを含み、ユーザによって操作されることでユーザの操作入力を受け付け、CPU190に出力する。
画像処理部140は、記憶部160に記憶されている画像処理条件を参照して、バッファメモリ部130、または、記憶媒体200に記録されている画像データに対して画像処理をする。
表示部150は、たとえば液晶ディスプレイであって、撮像部110によって得られた画像データや、操作画面等を表示する。
記憶部160は、CPU190によってシーン判定の際に参照される判定条件や、撮像条件等を記憶する。記憶部160は、フロアリングスペクトル記憶部161と、ノイズ記憶部162と、モード情報記憶部163とを備えている。
フロアリングスペクトル記憶部161には、後述するフロアリングスペクトルが記憶される。ノイズ記憶部162には、後述するノイズが記憶される。
フロアリングスペクトル記憶部161には、後述するフロアリングスペクトルが記憶される。ノイズ記憶部162には、後述するノイズが記憶される。
モード情報記憶部163には、フロアリングスペクトルに基づいたノイズ低減処理の動作モードを選択するためのモード情報が記憶される。このモード情報を参照することにより、ノイズ成分を低減させるレベルを制限する下限値の設定方法を選択する。例えば、下限値の設定方法には2つの方法(モード)が定義されている。モード情報記憶部163に記憶されるモード情報は、上記の第1モードと第2モードとのうち、いずれのモードが選択されているかを示す情報である。
その第1モードにおいては、ノイズが含まれていると判定されたフレームと異なる時間に収音されノイズが含まれていないと判定されたフレームの周波数領域信号(フロアリングスペクトル)に基づいた下限値を設定する。
このような第1モードは、たとえば、時間の経過に応じたフロアリングスペクトルの変動が比較的少ない条件に適するモードである。
このような第1モードは、たとえば、時間の経過に応じたフロアリングスペクトルの変動が比較的少ない条件に適するモードである。
また、第2モードにおいては、当該フレームより先に処理されたフレームの処理において算出されたノイズ低減周波数領域信号に基づいた下限値を設定する。
このような第2のモードは、たとえば、時間の経過に応じたフロアリングスペクトルの変動が比較的多い条件に適するモードである。この第2のモードにおいては、時間経過に応じたフロアリングスペクトルの変動があった場合であっても、直前のフレームを処理した結果に応じて、上記の下限値を設定することができる。そのため、下限値を状態に応じて変更することが可能となり、歪の発生を低減することができる。
このような第2のモードは、たとえば、時間の経過に応じたフロアリングスペクトルの変動が比較的多い条件に適するモードである。この第2のモードにおいては、時間経過に応じたフロアリングスペクトルの変動があった場合であっても、直前のフレームを処理した結果に応じて、上記の下限値を設定することができる。そのため、下限値を状態に応じて変更することが可能となり、歪の発生を低減することができる。
マイク230は、音を収音し、収音した音に応じた音信号に変換する。この音信号は、アナログ信号である。
A/D変換部240は、マイク230によって変換されたアナログ信号である音信号を、デジタル信号である音信号に変換する。
周波数領域信号変換部(FFT部)245は、A/D変換部240によりデジタル信号に変換された音信号をフレームに分割し、分割した各フレームの音信号をフーリエ変換し、各フレームにおける音信号の周波数スペクトルを生成する。
また、周波数領域信号変換部245は、各フレームの音信号を周波数スペクトルに変換する場合、各フレームの音信号にハニングウィンドウなどの窓関数を乗じた後、周波数スペクトルに変換してもよい。また、周波数領域信号変換部245は、高速フーリエ変換(FFT:Fast Fourier Transform)により、フーリエ変換してもよい。
周波数領域信号変換部(FFT部)245は、A/D変換部240によりデジタル信号に変換された音信号をフレームに分割し、分割した各フレームの音信号をフーリエ変換し、各フレームにおける音信号の周波数スペクトルを生成する。
また、周波数領域信号変換部245は、各フレームの音信号を周波数スペクトルに変換する場合、各フレームの音信号にハニングウィンドウなどの窓関数を乗じた後、周波数スペクトルに変換してもよい。また、周波数領域信号変換部245は、高速フーリエ変換(FFT:Fast Fourier Transform)により、フーリエ変換してもよい。
信号処理部250は、A/D変換部240によりデジタル信号に変換され、周波数領域信号変換部245により生成された音信号の周波数スペクトルに対して、たとえば、ノイズを低減するなどの音信号処理を実行し、この音信号処理した音信号を記憶媒体200に記憶させる。なお、この信号処理部250は、ノイズを低減するなどの音信号処理を実行する場合、記憶部150のモード情報記憶部163に記憶されているモード情報に応じて、ノイズを低減するなどの音信号処理を実行する。また、信号処理部250は、A/D変換部240によりデジタル信号に変換された音信号と、ノイズ低減処理された音信号とを切り替えて出力してもよい。この信号処理部250の詳細については、後述する。
なお、信号処理部250により音信号処理された音信号が記憶媒体200に記憶される場合、撮像素子119により撮像された画像データと、時間的に関係付けられて記憶されてもよいし、音信号を含む動画として記憶されてもよい。
バッファメモリ部130は、撮像部110によって撮像された画像データや、信号処理部250により変換された音信号等を、一時的に記憶する。
通信部170は、カードメモリ等の取り外しが可能な記憶媒体200と接続され、この記憶媒体200への情報の書込み、読み出し、あるいは消去を行う。
記憶媒体200は、撮像装置100に対して着脱可能に接続される記憶部であって、たとえば、撮像部110によって生成された(撮影された)画像データや、信号処理部250により音信号処理された音信号を記憶する。
CPU190は、撮像装置100の全体を制御するが、一例としては、ズームエンコーダ115から入力されるズームポジション、及び、AFエンコーダ117から入力されるフォーカスポジションと、操作部180から入力される操作入力に基づいて、ズームレンズ114及びAFレンズ112の位置を制御する駆動制御信号を生成する。CPU190は、この駆動制御信号に基づいて、レンズ駆動部116を介してズームレンズ114及びAFレンズ112の位置を制御する。
また、このCPU190は、タイミング検出部191を備えている。このタイミング検出部191は、撮像装置100が備えている動作部が動作するタイミングを検出する。
ここでいう動作部とは、一例としては、上述したズームレンズ114、VRレンズ113、AFレンズ112、または、操作部180のことであり、撮像装置100が備えている構成のうち、動作することにより、または、動作されることにより、音が生じる(または、音が生じる可能性がある)構成である。
また、この動作部とは、撮像装置100が備えている構成のうち、動作することにより生じた音、または、動作されることにより生じた音が、マイク230により収音される(または、収音される可能性のある)構成である。
このタイミング検出部191は、動作部を動作させる制御信号に基づいて、動作部が動作するタイミングを検出してもよい。この制御信号とは、動作部を動作させる動作部に対して、動作部を動作させるようにする制御信号、または、この動作部を駆動させる制御信号である。
たとえば、タイミング検出部191は、ズームレンズ114、VRレンズ113、または、AFレンズ112を駆動させるためにレンズ駆動部116または手振れ防止部118に入力される駆動制御信号に基づいて、または、CPU190で生成される駆動制御信号に基づいて、動作部が動作するタイミングを検出してもよい。
また、CPU190が駆動制御信号を生成する場合に、タイミング検出部191は、CPU190内部で実行される処理やコマンドに基づいて、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部191は、操作部180から入力されるズームレンズ114、または、AFレンズ112を駆動させることを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
また、CPU190が駆動制御信号を生成する場合に、タイミング検出部191は、CPU190内部で実行される処理やコマンドに基づいて、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部191は、操作部180から入力されるズームレンズ114、または、AFレンズ112を駆動させることを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
また、このタイミング検出部191は、動作部が動作されたことを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
たとえば、タイミング検出部191は、ズームエンコーダ115またはAFエンコーダ117の出力に基づいて、ズームレンズ114またはAFレンズ112が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部191は、手振れ防止部118からの出力に基づいて、VRレンズ113が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、このタイミング検出部191は、操作部180からの入力に基づいて、操作部180が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部191は、手振れ防止部118からの出力に基づいて、VRレンズ113が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、このタイミング検出部191は、操作部180からの入力に基づいて、操作部180が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
そして、タイミング検出部191は、撮像装置100が備えている動作部が動作するタイミングを検出し、この検出したタイミングを示す信号を、信号処理部250に出力する(後述する図2を参照)。
バス300は、撮像部110と、CPU190と、操作部180と、画像処理部140と、表示部150と、記憶部160と、バッファメモリ部130と、通信部170と、周波数領域信号変換部245と、信号処理部250とに接続され、各部から出力されたデータ等を転送する。
<信号処理部250の詳細な構成>
次に、図1の信号処理部250の詳細について、図2から図4を用いて説明する。図1の信号処理部250は、フロアリングスペクトル推定部251、ノイズ推定部252、判定部253、ノイズ低減処理部254、及び、置換部255を有している。
次に、図1の信号処理部250の詳細について、図2から図4を用いて説明する。図1の信号処理部250は、フロアリングスペクトル推定部251、ノイズ推定部252、判定部253、ノイズ低減処理部254、及び、置換部255を有している。
ここでは、図2のように信号処理部250に、タイミング検出部191からタイミングを示す信号が入力され、A/D変換部240によりデジタル信号に変換された音信号が入力された場合について説明する。この図2において、上段から下段に向かって、(a)タイミング検出部191からタイミングを示す信号、すなわち、動作部が動作するタイミングを示す信号、(b)時刻、(c)フレーム番号、及び、(d)A/D変換部240から入力された音信号の波形が示されている。
この図2において、横軸は時間軸であり、縦軸は、たとえば、各信号の電圧、時刻、または、フレーム番号である。また、この図2(d)に示されるように、たとえば、音声を収音した場合の音信号の場合、数十ミリ秒程度の短い時間内では、比較的に繰り返し信号が多い。
この図2の例においては、フレームと時刻との関係は、時刻t0からt2までがフレーム番号41に対応し、時刻t1からt3までがフレーム番号42に対応し、時刻t2からt4までがフレーム番号43に対応し、時刻t3からt5までがフレーム番号44に対応し、時刻t4からt6までがフレーム番号45に対応し、時刻t5からt7までがフレーム番号46に対応し、時刻t6以降がフレーム番号47に対応している。なお、各フレームの時間長は同じものとする。
また、この図2の例においては、時刻t4より後であり、かつ、時刻t5の前において、(a)タイミング検出部191からタイミングを示す信号が、ロウレベルからハイレベルに遷移している(図2の符号O参照)。なお、ここでは、ロウレベルは動作部が動作していないことを示し、ハイレベルは動作部が動作していることを示すものとする。このように、この図2の例においては、時刻t4より後であり、かつ、時刻t5の前において、動作部が動作しない状態から動作する状態へと遷移している。
そして、このような動作部の動作に応じて、(d)A/D変換部240によって変換された音信号の波形に、フレーム番号44及び45の途中以降から、ノイズが重畳している。ここで、各フレームとノイズ発生区間との関係について着目すると、フレーム番号44及び45の途中で検出信号が立ち上がっていることからフレーム番号44以降(44、45、46,47…)においてノイズが収音されている。また、フレーム番号46以降(46,47…)においては、フレームの全区間においてノイズが収音されている。一方、フレーム番号43以前(43,42,41…)にはノイズが全く収音されていない。
ここで、周波数領域信号変換部245は、A/D変換部240によりデジタル信号に変換された音信号をフレームに分割し、分割した各フレームの音信号をフーリエ変換し、各フレームにおける音信号の周波数スペクトルを生成する。
また、信号処理部250が、後述するように、フレーム毎の音信号の周波数スペクトルに対して、ノイズ低減処理を実行する。
そして、その後、信号処理部250が、ノイズ低減処理した各フレームの周波数スペクトルを、逆フーリエ変換して、記憶媒体200に記憶させるものとして説明する。
また、信号処理部250が、後述するように、フレーム毎の音信号の周波数スペクトルに対して、ノイズ低減処理を実行する。
そして、その後、信号処理部250が、ノイズ低減処理した各フレームの周波数スペクトルを、逆フーリエ変換して、記憶媒体200に記憶させるものとして説明する。
フロアリングスペクトル推定部251は、タイミング検出部191により検出された動作部が動作するタイミングに基づいて、A/D変換部240によりデジタル信号に変換された音信号から、フロアリングスペクトルを推定する。そして、フロアリングスペクトル推定部251は、推定したフロアリングスペクトルを、フロアリングスペクトル記憶部161に記憶させる。
たとえば、フロアリングスペクトル推定部251は、タイミング検出部191により検出された動作部が動作するタイミングに基づいて、動作部が動作するタイミングを含まない直前のフレームにおける音信号の周波数スペクトルを、フロアリングスペクトルとして推定する。図2の場合、フロアリングスペクトル推定部251は、フレーム番号43における音信号の周波数スペクトルをフロアリングスペクトルとして推定する。そして、フロアリングスペクトル推定部251は、このフレーム番号43における音信号の周波数スペクトルをフロアリングスペクトルとして、フロアリングスペクトル記憶部161に記憶させる。
以降、フレーム番号43における音信号の周波数スペクトル(=S43)をフロアリングスペクトルFSと称して説明する。また、フロアリングスペクトルFSの、各周波数ビン(各周波数領域)の強度を、低周波数から高周波数へ順にF1、F2、F3、F4、F5と称して説明する(図3(a)参照)。なお、周波数ビンの数は、ノイズ低減処理において必要とされる周波数スペクトルの解像度に応じて設定することができる。
ノイズ推定部252は、タイミング検出部191により検出された動作部が動作するタイミングに基づいて、A/D変換部240によりデジタル信号に変換された音信号から、ノイズを推定する。そして、ノイズ推定部252は、推定したノイズを、ノイズ記憶部162に記憶させる。
たとえば、ノイズ推定部252は、動作部が動作するとして検出されたタイミング情報に基づいて、動作部が動作を開始したタイミングの直後のフレーム(かつ、フレームの全ての期間に渡って動作部が動作しているフレーム)における音信号の周波数スペクトルと、動作部が動作を開始するタイミングの直前のフレーム(かつ、フレームの全ての期間に渡って動作部が動作していないフレーム)における音信号の周波数スペクトルとの差を、ノイズの周波数スペクトルとして推定する。
図2の場合、ノイズ推定部252は、フレーム番号46における音信号の周波数スペクトルS46(図3(b)参照)から、フレーム番号43における音信号の周波数スペクトル(すなわちフロアリングスペクトルFS)(図3(a)参照)を、周波数ビン毎に減算する。
なお、フレーム番号46における音信号の周波数スペクトルを、周波数スペクトルS46(図3(b)参照)と称して説明する。また、周波数スペクトルS46の、各周波数ビンの強度を、低周波数から高周波数へ順にB1、B2、B3、B4、B5と称して説明する(図3(b)参照)。
そして、ノイズ推定部252は、減算により算出した周波数スペクトルを、ノイズの周波数スペクトルとして推定する(図3(d)参照)。そして、ノイズ推定部252は、推定したノイズを、ノイズ記憶部162に記憶させる。
以降、ノイズ推定部252により推定されたノイズの周波数スペクトルを、ノイズNSと称して説明する。また、ノイズNSの、各周波数ビンの強度を、低周波数から高周波数へ順にN1、N2、N3、N4、N5と称して説明する(図3(d)参照)。
なお、このようにして得られたノイズの周波数スペクトル(ノイズNS)を、ノイズが含まれるフレーム(たとえば、フレーム番号44、45、46、47…)の周波数スペクトルより減算し、減算した結果を時間領域に変換することにより、ノイズが含まれるフレームにおけるノイズを低減(除去)することができる。
すなわち、信号処理部250は、ノイズの周波数スペクトルに基づいて、音信号にスペクトル減算(Spectral Subtraction)処理することにより、音信号のノイズを低減させる。
このスペクトル減算処理とは、まず、音信号をフーリエ変換により周波数領域に変換し、周波数領域でノイズを減じた後、逆フーリエ変換することにより、音信号のノイズを低減させる方法である。
なお、信号処理部250は、逆高速フーリエ変換(IFFT:Inverse Fast Fourier Transform)により、逆フーリエ変換してもよい。
このスペクトル減算処理とは、まず、音信号をフーリエ変換により周波数領域に変換し、周波数領域でノイズを減じた後、逆フーリエ変換することにより、音信号のノイズを低減させる方法である。
なお、信号処理部250は、逆高速フーリエ変換(IFFT:Inverse Fast Fourier Transform)により、逆フーリエ変換してもよい。
図1の説明に戻り、信号処理部250が備えている各構成について説明する。ここでは、図2及び図3を用いて説明したフロアリングスペクトル(FS)が、フロアリングスペクトル推定部251により推定されているものとして、または、フロアリングスペクトル記憶部161に予め記憶されているものとする。また、ノイズが、ノイズ推定部252により推定されているものとして、または、ノイズ記憶部162に予め記憶されているものとして説明する。
また、以下に示すようなノイズ低減処理を行うことができる。
たとえば、収音する目的音が音声信号の場合など、数十ミリ秒程度の短い時間内では、図2に示すように繰り返し信号が比較的多くなる。収音中にカメラを操作した場合、カメラの操作に応じた駆動音が(たとえば、AF駆動音)が発生する。この駆動音は、カメラの操作に同期して発生することから、カメラにおいては駆動音の発生を事前に予測することができる。
図2に示した場合のフレームとノイズ発生区間の関係について着目すると、フレーム番号44の終了間際に、駆動信号が立ち上がっていることからフレーム番号44以降においてノイズが収音されていると判断できる。また、フレーム番号43以前においてはノイズが収音されておらず、フレーム番号46においては全区間においてノイズが収音されていることがわかる。
たとえば、収音する目的音が音声信号の場合など、数十ミリ秒程度の短い時間内では、図2に示すように繰り返し信号が比較的多くなる。収音中にカメラを操作した場合、カメラの操作に応じた駆動音が(たとえば、AF駆動音)が発生する。この駆動音は、カメラの操作に同期して発生することから、カメラにおいては駆動音の発生を事前に予測することができる。
図2に示した場合のフレームとノイズ発生区間の関係について着目すると、フレーム番号44の終了間際に、駆動信号が立ち上がっていることからフレーム番号44以降においてノイズが収音されていると判断できる。また、フレーム番号43以前においてはノイズが収音されておらず、フレーム番号46においては全区間においてノイズが収音されていることがわかる。
上記に示したように、発生するノイズのスペクトルが予めノイズ記憶部162に記憶されており、ノイズが収音されているフレームの周波数スペクトルS46から、重畳して検出されるノイズNSの周波数スペクトルを減算することによりノイズ低減処理を行うことが可能となる。
ただし、ノイズNSの周波数スペクトルを減算する際に、所定の値以上に減算しすぎるとミュージカルノイズなどの好ましくないノイズが発生する場合がある。
このようなミュージカルノイズを発生させないために、減算後の値が0を下回って負の値になった場合に、減算後の周波数スペクトルに係数を乗じてフロアリングスペクトルを再設定する処理が考えられる。しかしながら、単に上記の方法によりフロアリングスペクトルを再設定する処理では、前述のミュージカルノイズなどを防止する点において良好な効果を得ることができない。そこで、本実施形態においては、以下に示すノイズ低減処理を行う。
このようなミュージカルノイズを発生させないために、減算後の値が0を下回って負の値になった場合に、減算後の周波数スペクトルに係数を乗じてフロアリングスペクトルを再設定する処理が考えられる。しかしながら、単に上記の方法によりフロアリングスペクトルを再設定する処理では、前述のミュージカルノイズなどを防止する点において良好な効果を得ることができない。そこで、本実施形態においては、以下に示すノイズ低減処理を行う。
以下、図4を参照して、本実施形態におけるノイズ低減処理について説明する。
図4は、本実施形態におけるノイズ低減処理を示す図である。
この図4に示される周波数スペクトルは、8個の周波数ビンを備えるものとする。また、図2、図3と同じ構成には、同じ符号を附す。
本実施形態におけるノイズ低減処理においては、ノイズが収音されているフレームの周波数スペクトルS46から、重畳して検出されるノイズNSの周波数スペクトルを減算して得られる結果に下限値を設ける。この下限値の算出において、処理の異なる2つの動作モード(「第1モード」と「第2モード」)を選択することができる。まず、「第1モード」から説明する。
図4は、本実施形態におけるノイズ低減処理を示す図である。
この図4に示される周波数スペクトルは、8個の周波数ビンを備えるものとする。また、図2、図3と同じ構成には、同じ符号を附す。
本実施形態におけるノイズ低減処理においては、ノイズが収音されているフレームの周波数スペクトルS46から、重畳して検出されるノイズNSの周波数スペクトルを減算して得られる結果に下限値を設ける。この下限値の算出において、処理の異なる2つの動作モード(「第1モード」と「第2モード」)を選択することができる。まず、「第1モード」から説明する。
<第1モードの説明>
この図4(a)に示されている周波数スペクトルSA(周波数領域信号)は、周波数領域信号変換部245によって変換された信号の周波数スペクトルであり、例えば、ノイズ成分を含むフレーム番号44における周波数スペクトルS44を示す。周波数スペクトルSAとして示される信号は、目的音にノイズが重畳した信号である。また、周波数スペクトルSAの、各周波数ビンの強度を、低周波数から高周波数へ順にA1、A2、A3、A4、A5、A6、A7、A8と称して説明する。
前述の図2に示したように、フレーム番号44は、フレームの期間の後縁に近いタイミングから期間の終了までノイズが重畳されている。ただし、ノイズ成分は、重畳されている期間が短い分、フレーム番号46において検出される場合より小さな値として検出される。
この図4(a)に示されている周波数スペクトルSA(周波数領域信号)は、周波数領域信号変換部245によって変換された信号の周波数スペクトルであり、例えば、ノイズ成分を含むフレーム番号44における周波数スペクトルS44を示す。周波数スペクトルSAとして示される信号は、目的音にノイズが重畳した信号である。また、周波数スペクトルSAの、各周波数ビンの強度を、低周波数から高周波数へ順にA1、A2、A3、A4、A5、A6、A7、A8と称して説明する。
前述の図2に示したように、フレーム番号44は、フレームの期間の後縁に近いタイミングから期間の終了までノイズが重畳されている。ただし、ノイズ成分は、重畳されている期間が短い分、フレーム番号46において検出される場合より小さな値として検出される。
図4(b)に示されているノイズNS(ノイズ周波数領域信号)は、たとえば、フレーム番号46におけるノイズの周波数スペクトルを示す。また、ノイズNSの、各周波数ビンの強度を、低周波数から高周波数へ順にN1、N2、N3、N4、N5、N6、N7、N8と称して説明する。
例えば、ノイズ推定部252は、前述したようにノイズNSを周波数スペクトルS46からフロアリングスペクトルFSを減算して得ることができる。
例えば、ノイズ推定部252は、前述したようにノイズNSを周波数スペクトルS46からフロアリングスペクトルFSを減算して得ることができる。
図4(c)には、周波数スペクトルSCとフロアリングスペクトルFSとが示されている。
フロアリングスペクトルFSは、例えば、前述のようにノイズ成分を含まないフレーム番号43における周波数スペクトルS43を示す。また、フロアリングスペクトルFSの、各周波数ビンの強度を、低周波数から高周波数へ順にF1、F2、F3、F4、F5、F6、F7、F8と称して説明する。
また、周波数スペクトルSCにおいて、周波数スペクトルSAからノイズNSを減算した結果の周波数ビンの強度を、低周波数から高周波数へ順にC1、C2、C3、C4、C5、C6、C7、C8と称して説明する。
ここで、ノイズ低減処理部254は、それぞれの周波数ビンの強度を、以下の関係式に基づいて算出する。その関係式は、低周波数から高周波数へ順並び順に、C1=A1−N1、C2=A2−N2、C3=A3−N3、C4=A4−N4、C5=A5−N5、C6=A6−N6、C7=A7−N7、C8=A8−N8として示される。
フロアリングスペクトルFSは、例えば、前述のようにノイズ成分を含まないフレーム番号43における周波数スペクトルS43を示す。また、フロアリングスペクトルFSの、各周波数ビンの強度を、低周波数から高周波数へ順にF1、F2、F3、F4、F5、F6、F7、F8と称して説明する。
また、周波数スペクトルSCにおいて、周波数スペクトルSAからノイズNSを減算した結果の周波数ビンの強度を、低周波数から高周波数へ順にC1、C2、C3、C4、C5、C6、C7、C8と称して説明する。
ここで、ノイズ低減処理部254は、それぞれの周波数ビンの強度を、以下の関係式に基づいて算出する。その関係式は、低周波数から高周波数へ順並び順に、C1=A1−N1、C2=A2−N2、C3=A3−N3、C4=A4−N4、C5=A5−N5、C6=A6−N6、C7=A7−N7、C8=A8−N8として示される。
周波数スペクトルSAからノイズNSを単に減算した場合には、フロアリングスペクトルFSより強度が低くなる周波数ビン(周波数領域)が発生する場合がある。周波数スペクトルSCにおける周波数ビンの強度が、フロアリングスペクトルFSの周波数ビンより低くなる周波数ビンが存在する場合、フロアリングスペクトルFS(周波数領域信号S43)よりレベルが低くなる周波数領域が発生することがわかる。
そこで、目的音の変化を考慮して、周波数スペクトルSCの下限値を設定する。周波数スペクトルSCの下限値は、フロアリングスペクトルFSに予め定められる係数kを乗じた値に設定する。
図4(c)に示すように、周波数スペクトルSCにおける周波数ビンの強度の下限値を、低周波数から高周波数へ順にL1、L2、L3、L4、L5、L6、L7、L8と称して説明する。
例えば、各周波数ビンに共通する係数kを定める。それぞれの周波数ビンにおける下限値の大きさは、以下の関係式により表すことができる。その関係式は、低周波数から高周波数へ順並び順に、L1=F1×k、L2=F2×k、L3=F3×k、L4=F4×k、L5=F5×k、L6=F6×k、L7=F7×k、L8=F8×kとして示される。
図4(c)に示すように、周波数スペクトルSCにおける周波数ビンの強度の下限値を、低周波数から高周波数へ順にL1、L2、L3、L4、L5、L6、L7、L8と称して説明する。
例えば、各周波数ビンに共通する係数kを定める。それぞれの周波数ビンにおける下限値の大きさは、以下の関係式により表すことができる。その関係式は、低周波数から高周波数へ順並び順に、L1=F1×k、L2=F2×k、L3=F3×k、L4=F4×k、L5=F5×k、L6=F6×k、L7=F7×k、L8=F8×kとして示される。
判定部253は、入力された音信号に基づいた周波数スペクトルSCの周波数ビンの強度(C1からC8)を、フロアリングスペクトルFSに基づいた下限値(L1からL8)を基準にして周波数ビン毎に比較する。判定部253は、その比較の結果から、周波数スペクトルSCの周波数ビンの強度(C1からC8)を対応する下限値(L1からL8)に制限するか否かを周波数ビン毎に判定する。なお、ここでいう「入力された音信号に基づいた周波数スペクトルSC」とは、A/D変換部240によりデジタル信号に変換された音信号が、周波数領域信号変換部245によりフレームに分割され、更に、各フレームにおける音信号が周波数スペクトルにフーリエ変換されたものである。
判定結果により周波数スペクトルSCの周波数ビンの強度C1からC8が、当該周波数ビンに対応する下限値L1からL8を下回ったと判定部253によって判定された場合、置換部255が、当該周波数ビン(周波数領域)の強度の値を当該下限値に置換する。このように、置換部255が下限値L1からL8より小さい値を示す周波数スペクトルSCの周波数ビンの強度(C1からC8)を、対応する下限値L1からL8に置換することにより、周波数スペクトルのフロアリング処理を行う。
例えば、図4に示す場合では、左から5番目の周波数ビン(スペクトル成分)において、周波数スペクトルSCの周波数ビンの強度C5が下限値L5を下回る。このような場合、当該周波数ビンにおいては、置換部255により、周波数スペクトルSCの周波数ビンの強度C5の値が下限値L5に置換される。そして、置換された結果の周波数ビンの強度は、低周波数から高周波数へ順にC1、C2、C3、C4、L5、C6、C7、C8となる。
更に、フレーム番号45以降においても、信号処理部250は、上記のフレーム番号44における処理と同様の処理を続けることにより、フロアリングスペクトルFSに応じた下限値を設けてノイズ低減処理を続けて行うことができる。
続いて、「第2モード」について説明する。
続いて、「第2モード」について説明する。
<第2モードの説明>
第2モードでは、たとえば直前のフレームにおいてノイズ低減処理された結果に基づいて、次のフレームにおけるノイズ低減処理のためのフロアリング処理の下限値を定める。
たとえば、ノイズ低減処理部254は、前述のようにフレーム番号44におけるノイズ低減処理を終えた段階で、次に行うフレーム番号45のノイズ低減処理のための下限値を変更する。
ノイズ低減処理部254は、次に行うフレーム番号45のノイズ低減処理のための下限値として、フレーム番号44におけるノイズ低減処理結果である周波数スペクトル(周波数領域信号)に予め定められる係数kを乗じた結果を次のフレームを処理する際の下限値として設定する。
このように、ノイズ低減処理部254が直前のフレーム番号のノイズ低減処理結果に基づいた下限値を設定することにより、フレーム間に生じる差を低減することができる。これにより、良好なフロアリング処理が可能となる。
なお、ノイズ低減処理を実時間で処理する場合には、ノイズ低減処理部254は、たとえば、前述のようにフレーム番号44におけるノイズ低減処理を終えた段階で、後に行うフレーム番号46のノイズ低減処理のための下限値を変更してもよい。
第2モードでは、たとえば直前のフレームにおいてノイズ低減処理された結果に基づいて、次のフレームにおけるノイズ低減処理のためのフロアリング処理の下限値を定める。
たとえば、ノイズ低減処理部254は、前述のようにフレーム番号44におけるノイズ低減処理を終えた段階で、次に行うフレーム番号45のノイズ低減処理のための下限値を変更する。
ノイズ低減処理部254は、次に行うフレーム番号45のノイズ低減処理のための下限値として、フレーム番号44におけるノイズ低減処理結果である周波数スペクトル(周波数領域信号)に予め定められる係数kを乗じた結果を次のフレームを処理する際の下限値として設定する。
このように、ノイズ低減処理部254が直前のフレーム番号のノイズ低減処理結果に基づいた下限値を設定することにより、フレーム間に生じる差を低減することができる。これにより、良好なフロアリング処理が可能となる。
なお、ノイズ低減処理を実時間で処理する場合には、ノイズ低減処理部254は、たとえば、前述のようにフレーム番号44におけるノイズ低減処理を終えた段階で、後に行うフレーム番号46のノイズ低減処理のための下限値を変更してもよい。
なお、第1モードと第2モードとをフレームごとに切り替えて実施することとしてもよい。
たとえば、ノイズが発生することが検知された最初のフレームの処理においては、第1モードを適用し、次のフレーム以降の処理おいては、第2モードに変更してノイズ低減処理を続けてもよい。
たとえば、ノイズが発生することが検知された最初のフレームの処理においては、第1モードを適用し、次のフレーム以降の処理おいては、第2モードに変更してノイズ低減処理を続けてもよい。
以上に示したような下限値に基づいて、ノイズが収音されているフレームの周波数スペクトルS46から、重畳して検出されるノイズNSの周波数スペクトルを減算して得られる結果を制限する。
たとえば、置換部255は、判定部253により判定された周波数ビン毎の結果に基づいて、ノイズ低減処理部254により減算された周波数スペクトルSCの周波数ビンのうち、下限値に置換する周波数ビンの強度を下限値に置き換えることにより、下限値に制限することができる。
たとえば、置換部255は、判定部253により判定された周波数ビン毎の結果に基づいて、ノイズ低減処理部254により減算された周波数スペクトルSCの周波数ビンのうち、下限値に置換する周波数ビンの強度を下限値に置き換えることにより、下限値に制限することができる。
その後、信号処理部250は、下限値が制限された周波数スペクトルSCを逆フーリエ変換し、ノイズを低減した音信号として、通信部170を介して記憶媒体200に記録する。なお信号処理部250は、音信号を記憶媒体200に記録する場合に、撮像素子119により撮像された画像データと、時間的に関係付けられるようにして記憶してもよい。
図4を用いて説明したように、信号処理部250は、目的音自体を変更しないようにしつつ、ノイズを低減させることができる。すなわち、図4を用いて説明したように、信号処理部250は、適切にノイズを低減することができる。
このように、以上に示した本実施形態の撮像装置100において、周波数領域信号変換部245は、収音された音を、予め定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数スペクトル(周波数領域信号)に変換する。
信号処理部250は、音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定されたフレームの周波数領域信号(周波数ビンの強度)、及び、該ノイズが含まれていると判定されたフレームの周波数領域信号に対応する周波数領域信号であって、ノイズに対応する周波数領域信号であるノイズ周波数領域信号(ノイズNS)に基づいて、フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する。
信号処理部250は、音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定されたフレームの周波数領域信号(周波数ビンの強度)、及び、該ノイズが含まれていると判定されたフレームの周波数領域信号に対応する周波数領域信号であって、ノイズに対応する周波数領域信号であるノイズ周波数領域信号(ノイズNS)に基づいて、フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する。
また、信号処理部250は、ノイズが含まれていると判定されたフレームと異なる時間に収音されノイズが含まれていないと判定されたフレームの周波数領域信号に基づいた下限値、または、当該フレームより先に処理されたフレームの処理において算出されたノイズ低減周波数領域信号に基づいた下限値に制限する。
また、信号処理部250は、ノイズが含まれていると判定されたフレームの周波数領域信号からノイズ周波数領域信号を周波数領域毎に減算し、減算結果が下限値を下回る場合には、減算結果を下限値に置換する。
また、信号処理部250は、ノイズが含まれていないと判定されたフレームの周波数領域信号、または、前のフレームにおいて算出されたノイズ低減周波数領域信号に予め定められる係数を乗じた下限値に減算結果を置換する。
また、信号処理部250は、ノイズが含まれていると判定されたフレームより前の時間において、ノイズが発生していないと判定されたフレームの周波数領域信号に基づいて設定された下限値に減算結果を置換する。
また、ノイズ推定部251(推定ノイズ生成部)は、検出されたノイズからノイズ周波数領域信号を生成してもよい。
また、信号処理部250は、ノイズが含まれていないと判定されたフレームの周波数領域信号、または、前のフレームにおいて算出されたノイズ低減周波数領域信号に予め定められる係数を乗じた下限値に減算結果を置換する。
また、信号処理部250は、ノイズが含まれていると判定されたフレームより前の時間において、ノイズが発生していないと判定されたフレームの周波数領域信号に基づいて設定された下限値に減算結果を置換する。
また、ノイズ推定部251(推定ノイズ生成部)は、検出されたノイズからノイズ周波数領域信号を生成してもよい。
このような撮像装置100は、収音された音に対して適切にノイズを低減することができる。
以下、図1から図4を参照し、この発明の異なる実施態様について説明する。
<信号処理部250>
上記の図2及び図3を用いた説明においては、フロアリングスペクトル推定部251は、フレーム番号43における音信号の周波数スペクトルをフロアリングスペクトル(FS)として推定するものとして説明した。しかし、フロアリングスペクトル推定部251によるフロアリングスペクトルの推定方法は、これに限られるものではない。
<信号処理部250>
上記の図2及び図3を用いた説明においては、フロアリングスペクトル推定部251は、フレーム番号43における音信号の周波数スペクトルをフロアリングスペクトル(FS)として推定するものとして説明した。しかし、フロアリングスペクトル推定部251によるフロアリングスペクトルの推定方法は、これに限られるものではない。
たとえば、フロアリングスペクトル推定部251は、タイミング検出部191により検出された動作部が動作するタイミングに基づいて、動作部が動作するタイミングの前の複数のフレームにおける音信号を周波数スペクトルにそれぞれ変換する。更に、フロアリングスペクトル推定部251は、この複数の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを、フロアリングスペクトル(FS)として推定してもよい。
また、フロアリングスペクトル推定部251は、周波数ビン毎に複数の周波数スペクトルを平均する場合、重みを付けて平均を算出してもよい。この重みの値は、フロアリング処理の対象とする音信号のフレーム(開始フレーム)から遠ざかるに従い、軽くなるようにしてもよい。
なお、フロアリングスペクトル推定部251は、フロアリングスペクトル(FS)を推定する場合、少なくとも、直前に動作部が動作したタイミングよりも後のフレームに基づいて、フロアリングスペクトル(FS)を推定することが望ましい。これは、フロアリングスペクトル(FS)としては、動作部が動作していないフレームにおける音信号に対しての周波数スペクトルが望ましいからである。また、フロアリングスペクトル(FS)を生成する音信号のフレームが、フロアリング処理する対象となる音信号よりも、時間的に遠くなるに従い、この音信号に対してのフロアリングスペクトル(FS)としての適切さも低減するからである。
また、フロアリングスペクトル記憶部161に予めフロアリングスペクトル(FS)が記憶されていてもよい。たとえば、フロアリングスペクトル記憶部161には、撮影する場合の周囲の音の状況を示す環境情報、または、撮影モードを示す撮影モード情報と関連付けられて、それぞれの場合に応じたフロアリングスペクトル(FS)が予め記憶されていてもよい。そして、信号処理部250は、ユーザにより選択された環境情報または撮影モード情報に関連付けられているフロアリングスペクトル(FS)をフロアリングスペクトル記憶部161から読み出し、当該読み出したフロアリングスペクトル(FS)に基づいて、上記の図3と図4の説明において説明したノイズ低減処理を実行してもよい。
また、ノイズ低減処理を行う信号をバッファメモリ部130などに記憶させた場合には、発生していたノイズが消失した後の情報に基づいて、フロアリングスペクトル(FS)を算出することも可能となる。
このように、信号処理部250は、ノイズが含まれていると判定されたフレームより後の時間において、ノイズが発生していないと判定されたフレームの周波数スペクトル(周波数領域信号)に基づいた下限値を設定してもよい。
このように、信号処理部250は、ノイズが含まれていると判定されたフレームより後の時間において、ノイズが発生していないと判定されたフレームの周波数スペクトル(周波数領域信号)に基づいた下限値を設定してもよい。
また、信号処理部250は、ノイズが含まれていると判定されたフレームと異なる時間に収音されノイズが含まれていないと判定された複数のフレームの周波数スペクトル(周波数領域信号)を平均した値に基づいた下限値を設定してもよい。
なお、この複数のフレームは、ノイズが含まれていないと判定されたフレームであればよく、ノイズが発生する前のフレームと、発生していたノイズが消失した後のフレームとを組み合わせて、それぞれの周波数スペクトルを平均してもよい。
また、信号処理部250は、ノイズが含まれていると判定されたフレームと異なる時間に収音されノイズが含まれていないと判定された複数のフレームから、前段に算出されたノイズ低減周波数領域信号を移動平均した値に基づいた下限値を設定してもよい。
なお、この複数のフレームは、ノイズが含まれていないと判定されたフレームであればよく、ノイズが発生する前のフレームと、発生していたノイズが消失した後のフレームとを組み合わせて、それぞれの周波数スペクトルを平均してもよい。
また、信号処理部250は、ノイズが含まれていると判定されたフレームと異なる時間に収音されノイズが含まれていないと判定された複数のフレームから、前段に算出されたノイズ低減周波数領域信号を移動平均した値に基づいた下限値を設定してもよい。
上記に図1から図4を用いて説明したように、本実施形態による信号処理部250は、設定されたモード情報に応じて、音信号に対してのノイズ低減処理の方法を変更することができる。これにより、本実施形態による信号処理部250は、図4を用いて説明したように、音信号から適切にノイズを低減することができる。
また、本実施形態による信号処理部250の置換部255は、音質重視モードとノイズ低減重視モードとのいずれのモードの場合においても、ノイズ低減処理部254により周波数ビン毎に減算された周波数スペクトルと、フロアリングスペクトル(FS)とを周波数ビン毎に比較した結果に基づいて、ノイズ低減処理部254により周波数ビン毎に減算された周波数スペクトルを、下限値に制限された周波数ビンを周波数ビン毎に置き換えている。
なお、単に、音信号からノイズを減算した場合にはミュージカルノイズが生じる可能性がある。これに対して、上記に説明したように、信号処理部250の置換部255は、音信号からノイズを減算した後に、周波数スペクトルの下限値との比較結果に基づいて、いわゆるフロアリング処理を行っている。よって、信号処理部250の置換部255は、ミュージカルノイズが生じる可能性を低減することができる。
また、信号処理部250の置換部255は、単にフロアリング処理を行っているのみではなく、設定された動作モードに応じたフロアリング処理を行っている。これにより、音質重視、または、ノイズ低減重視であることを満たしつつ、更に、それぞれの場合に好適に、ミュージカルノイズが生じる可能性を低減することができる。
また、ノイズ低減処理部254は、単に、入力された音信号の周波数スペクトルに対して、ノイズの周波数スペクトルを周波数ビン毎に減算するのではなく、判定部253により判定された周波数ビン毎の結果に基づいて、入力された音信号の周波数スペクトルに対して、ノイズの周波数スペクトルを周波数ビン毎に減算する。これにより、ノイズ低減処理部254は、入力された音信号から、適切に、ノイズを低減することができる。
<図2のフレーム番号47以降に対しての処理について>
上記の図3から図4の説明においては、信号処理部250が、フレーム番号46の音信号に対して、ノイズ低減処理する場合について説明した。この信号処理部250は、フレーム番号46の音信号の場合と同様に、フレーム番号46よりも後の音信号であるフレーム番号47以降の音信号に対しても、ノイズ低減処理することができる。
上記の図3から図4の説明においては、信号処理部250が、フレーム番号46の音信号に対して、ノイズ低減処理する場合について説明した。この信号処理部250は、フレーム番号46の音信号の場合と同様に、フレーム番号46よりも後の音信号であるフレーム番号47以降の音信号に対しても、ノイズ低減処理することができる。
<ノイズの推定について>
また、上記の図2及び図3を用いた説明においては、ノイズ推定部252は、フレーム番号46における音信号の周波数スペクトルS46(図3(b)参照)から、フレーム番号43における音信号の周波数スペクトル(すなわちフロアリングスペクトルFS)(図3(a)参照)を、周波数ビン毎に減算して、ノイズの周波数スペクトルを推定するものとして説明した。しかし、ノイズ推定部252が、ノイズの周波数スペクトルを推定する方法は、これに限られるものではない。
また、上記の図2及び図3を用いた説明においては、ノイズ推定部252は、フレーム番号46における音信号の周波数スペクトルS46(図3(b)参照)から、フレーム番号43における音信号の周波数スペクトル(すなわちフロアリングスペクトルFS)(図3(a)参照)を、周波数ビン毎に減算して、ノイズの周波数スペクトルを推定するものとして説明した。しかし、ノイズ推定部252が、ノイズの周波数スペクトルを推定する方法は、これに限られるものではない。
まず、ノイズ推定部252は、フレーム番号43における音信号の周波数スペクトルであるフロアリングスペクトルFSに替えて、上記に説明したフロアリングスペクトル推定部251によりフロアリングスペクトルFSを推定する場合の任意の方法により、フロアリングスペクトルFSを推定することができる。
また、ノイズ推定部252は、フレーム番号46における音信号の周波数スペクトルS46に替えて、タイミング検出部191により検出された動作部が動作するタイミングに基づいて、動作部が動作しているタイミングにおける複数のフレームにおける音信号の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを用いてもよい。たとえば、ノイズ推定部252は、フレーム番号46における音信号の周波数スペクトルS46に替えて、フレーム46、47という複数のフレームにおける音信号の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを用いてもよい。
また、ノイズ推定部252は、周波数ビン毎に複数の周波数スペクトルを平均する場合、重みを付けて平均を算出してもよい。この重みの値は、フロアリング処理の対象とする音信号のフレーム(開始フレーム)から遠ざかるに従い、軽くなるようにしてもよい。また、フロアリングスペクトル(FS)の場合と同様に、ノイズの周波数スペクトルが、ノイズ記憶部162に予め記憶されていてもよい。
<図2におけるフレームについて>
また、図2の説明においては、各フレーム間にはオーバーラップがあるものとして説明した。しかし、これに限られるものではなく、各フレーム間にはオーバーラップがなくてもよい。たとえば、互いに隣接するフレームは、フレーム毎に独立するように期間を設定してもよい。
また、図2の説明においては、各フレーム間にはオーバーラップがあるものとして説明した。しかし、これに限られるものではなく、各フレーム間にはオーバーラップがなくてもよい。たとえば、互いに隣接するフレームは、フレーム毎に独立するように期間を設定してもよい。
なお、上記の図2の説明においては、(a)タイミング検出部191からタイミングを示す信号、すなわち、動作部が動作するタイミングを示す信号とは無関係に、音信号がフレームに分割されている場合について説明した(図2(c)参照)。
しかしこれに限るものではなく、信号処理部250は、(a)タイミング検出部191からタイミングを示す信号、すなわち、動作部が動作するタイミングを示す信号に応じてフレームを分割する位置を制御してもよい。たとえば、信号処理部250は、(a)タイミング検出部191からタイミングを示す信号、すなわち、動作部が動作するタイミングを示す信号がロウレベルからハイレベルに変化するタイミング(図2の符号O参照)と、音信号のフレームの境界とが一致するように、音信号に対してフレームを生成してもよい。
そして、信号処理部250は、動作部が動作するタイミングを示す信号に応じて、動作部が動作する前の期間と、動作部が動作している期間とに基づいて、上述したノイズ低減処理を実行してもよい。
なお、上記の説明においては、信号処理部250が、マイク230により収音された音信号に対して信号処理する場合について説明したが、本実施形態による上述した信号処理部250の処理は、このようにリアルタイムに収音された音信号に対してのみ適用されるものではない。
たとえば、すでに録音されている音信号に対しても、この音信号と関連付けて、この音信号を録音した装置が備えている動作部が動作することを示すタイミングが、たとえば、記憶媒体200などの記憶部に記録されている場合にも、本実施形態による信号処理部250は、上述した信号処理を同様に、実行することができる。
なお、上記の説明においては、音信号の重畳するノイズとして、主に光学系400が駆動することにより生じる音について説明したが、ノイズはこれに限るものではない。たとえば、操作部180に備えられているボタンなどを押下した場合に生じる音の場合も、同様である。この場合も、操作部180に備えられているボタンなどが押下されたことに応じた信号が、CPU190のタイミング検出部191に入力される。よって、タイミング検出部191は、光学系400が駆動する場合と同様に、操作部180などの動作タイミングを検出することができる。
また、上記の説明においては、撮像装置100が信号処理部250を備えている場合について説明したが、信号処理部250は、録音装置、携帯電話または通信端末に備えられていてもよい。
なお、図1における信号処理部250、または、この信号処理部250が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリ及びマイクロプロセッサにより実現させるものであってもよい。
なお、この信号処理部250、または、この信号処理部250が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、この信号処理部250、または、この信号処理部250が備える各部はメモリ及びCPU(中央演算装置)により構成され、信号処理部250、または、この信号処理部250が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
また、図1における信号処理部250、または、この信号処理部250が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、信号処理部250、または、この信号処理部250が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
100…撮像装置、250…信号処理部
Claims (9)
- 収音された音を、予め定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数領域信号に変換する周波数領域信号変換部と、
前記音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定された前記フレームの周波数領域信号、及び、該ノイズが含まれていると判定された前記フレームの周波数領域信号に対応する周波数領域信号であって、前記ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、前記フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部と
を備え、
前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された前記フレームの周波数領域信号に基づいた前記下限値、または、当該フレームより先に処理されたフレームの処理において算出された前記ノイズ低減周波数領域信号に基づいた前記下限値に制限する
ことを特徴とする信号処理装置。 - 前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームの周波数領域信号から前記ノイズ周波数領域信号を前記周波数領域毎に減算し、前記減算結果が前記下限値を下回る場合には、前記減算結果を前記下限値に置換する
ことを特徴とする請求項1に記載の信号処理装置。 - 前記信号処理部は、
前記ノイズが含まれていないと判定された前記フレームの周波数領域信号、または、前記前のフレームにおいて算出された前記ノイズ低減周波数領域信号に予め定められる係数を乗じた前記下限値に前記減算結果を置換する
ことを特徴とする請求項1または請求項2に記載の信号処理装置。 - 前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームより前の時間において、前記ノイズが発生していないと判定された前記フレームの周波数領域信号に基づいた前記下限値に前記減算結果を置換する
ことを特徴とする請求項1から請求項3のいずれか1項に記載の信号処理装置。 - 前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームより後の時間において、前記ノイズが発生していないと判定された前記フレームの周波数領域信号に基づいた前記下限値に前記減算結果を置換する
ことを特徴とする請求項1から請求項4のいずれか1項に記載の信号処理装置。 - 前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された複数の前記フレームの周波数領域信号を平均した値に基づいた前記下限値、または、前段に算出された前記ノイズ低減周波数領域信号を移動平均した値に基づいた前記下限値に前記減算結果を置換する
ことを特徴とする請求項1から請求項5のいずれか1項に記載の信号処理装置。 - 検出された前記ノイズから前記ノイズ周波数領域信号を生成する推定ノイズ生成部
を備えることを特徴とする請求項1から請求項6のいずれか1項に記載の信号処理装置。 - 収音された音を、定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数領域信号に変換する周波数領域信号変換部と、
前記音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定された前記フレームの周波数領域信号、及び、該ノイズが含まれていると判定された前記フレームの周波数領域信号に対応する周波数領域信号であって、前記ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、前記フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部と、
画像を撮像する際に駆動部を駆動させるように制御するとともに、前記信号処理部に前記タイミング信号を供給する制御部と
を備え、
前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された前記フレームの周波数領域信号に基づいた前記下限値、または、当該フレームより先に処理されたフレームの処理において算出された前記ノイズ低減周波数領域信号に基づいた前記下限値に制限する
ことを特徴とする撮像装置。 - 信号処理装置が備えるコンピュータに、
収音された音を、定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数領域信号に変換する周波数領域信号変換部と、
前記音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定された前記フレームの周波数領域信号、及び、該ノイズが含まれていると判定された前記フレームの周波数領域信号に対応する周波数領域信号であって、前記ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、前記フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部と
して機能させ、
前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された前記フレームの周波数領域信号に基づいた前記下限値、または、当該フレームより先に処理されたフレームの処理において算出された前記ノイズ低減周波数領域信号に基づいた前記下限値に制限する
ためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011050183A JP2012185445A (ja) | 2011-03-08 | 2011-03-08 | 信号処理装置、撮像装置、及び、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011050183A JP2012185445A (ja) | 2011-03-08 | 2011-03-08 | 信号処理装置、撮像装置、及び、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012185445A true JP2012185445A (ja) | 2012-09-27 |
Family
ID=47015555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011050183A Withdrawn JP2012185445A (ja) | 2011-03-08 | 2011-03-08 | 信号処理装置、撮像装置、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012185445A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013044909A (ja) * | 2011-08-24 | 2013-03-04 | Nippon Telegr & Teleph Corp <Ntt> | 背景音抑圧装置、背景音抑圧方法、およびプログラム |
JP2016053698A (ja) * | 2014-09-04 | 2016-04-14 | キヤノン株式会社 | 電子機器及び制御方法 |
JP2016053695A (ja) * | 2014-09-04 | 2016-04-14 | キヤノン株式会社 | 電子機器及び制御方法 |
-
2011
- 2011-03-08 JP JP2011050183A patent/JP2012185445A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013044909A (ja) * | 2011-08-24 | 2013-03-04 | Nippon Telegr & Teleph Corp <Ntt> | 背景音抑圧装置、背景音抑圧方法、およびプログラム |
JP2016053698A (ja) * | 2014-09-04 | 2016-04-14 | キヤノン株式会社 | 電子機器及び制御方法 |
JP2016053695A (ja) * | 2014-09-04 | 2016-04-14 | キヤノン株式会社 | 電子機器及び制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5529635B2 (ja) | 音声信号処理装置および音声信号処理方法 | |
JP2012142745A (ja) | 音声信号処理装置、音声信号処理方法及びプログラム | |
US8698911B2 (en) | Sound recording device, imaging device, photographing device, optical device, and program | |
WO2014017371A1 (ja) | 信号処理装置、撮像装置、及び、プログラム | |
JP4952769B2 (ja) | 撮像装置 | |
JP5278477B2 (ja) | 信号処理装置、撮像装置、および、信号処理プログラム | |
JP5963430B2 (ja) | 撮像装置、音声処理装置、及びそれらの制御方法 | |
JP2012185445A (ja) | 信号処理装置、撮像装置、及び、プログラム | |
JP2010157965A (ja) | 撮像装置 | |
JP6300464B2 (ja) | 音声処理装置 | |
KR20120057526A (ko) | 촬상장치 및 음성 처리장치 | |
US20120300100A1 (en) | Noise reduction processing apparatus, imaging apparatus, and noise reduction processing program | |
JP5158054B2 (ja) | 録音装置、撮像装置、および、プログラム | |
JP6061476B2 (ja) | 音声処理装置 | |
JP2011097420A (ja) | 撮影装置、および、プログラム | |
JP2013250449A (ja) | ノイズ低減装置、撮像装置及びプログラム | |
JP6144945B2 (ja) | 信号処理装置及び方法 | |
JP2014026032A (ja) | 信号処理装置、撮像装置、及び、プログラム | |
JP5473786B2 (ja) | 音声信号処理装置、及びその制御方法 | |
JP5736839B2 (ja) | 信号処理装置、撮像装置、及びプログラム | |
JP2011097335A (ja) | 信号処理装置及び撮像装置 | |
JP2011095305A (ja) | 録音装置、撮像装置、及びプログラム | |
JP2013178456A (ja) | 信号処理装置、カメラおよび信号処理プログラム | |
JP2012168477A (ja) | ノイズ推定装置、信号処理装置、撮像装置、及びプログラム | |
JP5246134B2 (ja) | 信号処理装置及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140513 |