JP4639902B2 - 撮像装置、音声記録方法及びプログラム - Google Patents

Description

本発明は、デジタルカメラ等の撮像装置に係り、特に撮影中に入力された音声信号を撮影画像と共に記録可能な機能を備えた撮像装置と、この撮像装置に用いられる音声記録方法及びプログラムに関する。

従来から音声信号に重畳した雑音を除去するための手法として、スペクトルサブトラクション（ｓｐｅｃｔｒａｌ ｓｕｂｔｒａｃｔｉｏｎ）法が知られている。このスペクトルサブトラクション法（以下、ＳＳ法と呼ぶ）とは、無音区間におけるスペクトルを雑音スペクトルと推定し、その雑音スペクトルに所定の係数（サブトラクト係数）を乗じた信号を入力音声スペクトルから差し引くことで雑音成分を除去する方法である。

ここで、特許文献１では、前記ＳＳ法を用いた雑音除去システムにおいて、サブトラクト係数を音声信号のフレームパワーに依存してフレーム毎に変化させることにより、推定雑音スペクトルの引き過ぎによるスペクトル歪を減少させることが開示されている。すなわち、母音のような音声パワーが確保されている区間は通常のサブトラクト係数を掛け、破裂子音のような音声パワーの少ない部分ではサブトラクト係数を小さくすることにより、推定雑音スペクトルの引き過ぎによる入力音声スペクトルの歪を抑えるようにしている。

また、特許文献２では、雑音スペクトルを無音区間のスペクトルでは無く、別途設けた参照入力部から入力されたスペクトルから雑音スペクトルを推定する方式を提案している。
特開平８−２２１０９２号公報 特開平５−１６５４９２号公報

上述したように、ＳＳ法を用いて入力音声から雑音成分を除去する方法が知られている。しかしながら、音声付きの動画撮影機能を備えたデジタルカメラでは、その撮影中に音声入力とは無関係にズーム音やフォーカス音などの機構音が発生して入力音声に入り込む問題がある。

この場合、前記特許文献１のように、無音区間の音声スペクトル信号から雑音スペクトルを推定する方法では、音声入力とは無関係に発生する機構音を雑音として除去することはできない。

また、前記特許文献２のように、参照入力部を新たに設ける構成では、以下のような問題がある。

ＳＳ法をデジタルカメラでの動画撮影時における機構音、例えばズームモータ音の低減に適用することを考える。すなわち、カメラ機器の筐体上に設置されて、音声信号を主に集音する主マイクと、機器筐体内のモータ近くに設置されて、モータ音を主に集音する参照マイクを用意する。そして、主マイクから入力された音声信号のスペクトルと、参照マイクから入力されたモータ音のスペクトルを生成後、音声スペクトル信号からモータ音スペクトル信号を減算することにより、主マイクからの音声信号に含まれるズーム音を低減することになる。

しかしながら、主マイクと参照マイクの設置場所の違いにより、モータからそれぞれのマイクヘの伝達関数がかなり違った特性になる。つまり、参照マイクは、外部音を入力しないで、機器内部のモータ音のみを主として入力するものであるため、機器筐体内部での多重反射音、電子基板や筐体を伝わる振動等を含むことになる。

したがって、主マイクを通じて入力された音声信号のスペクトルから参照マイクを通じて入力されたモータ音のスペクトルを減算すると、両者の入力特性が違うために、モータ音を正しく除去できないばかりか、スペクトルの引き過ぎなどにより入力音声そのものが歪んでしまうなどの問題がある。

本発明は前記のような点に鑑みなされたもので、音声信号から撮影時に発生する機構音を適切に除去して記録することのできる撮像装置、音声記録方法及びプログラムを提供することを目的とする。

本発明の請求項１に係る撮像装置は、音声付き動画撮影を行う場合に、音声信号から撮影動作に伴って発生する機構音を雑音として除去して記録する音声記録機能を備えた撮像装置であって、音声信号を入力する第１の入力手段と、この第１の入力手段を通じて事前に採取した機構音のスペクトルを第１の雑音スペクトルとして複数パターン記憶した第１の記憶手段と、機構音の発生源近傍に設けられた第２の入力手段と、この第２の入力手段を通じて事前に採取した機構音のスペクトルを第２の雑音スペクトルとして、前記第１の雑音スペクトルの各パターンに関連付けて複数パターン記憶した第２の記憶手段と、撮影時に前記第２の入力手段から得られる機構音のスペクトルに基づいて前記第２の記憶手段の中から当該機構音の特性に応じた第２の雑音スペクトルを選択すると共に、前記第１の記憶手段の中から当該第２の雑音スペクトルに対応した第１の雑音スペクトルを選択する選択手段と、前記第１の入力手段から得られる音声信号のスペクトルから前記選択手段によって選択された第１の雑音スペクトルに所定の係数を乗じた信号を減算することで雑音成分を除去する雑音除去手段と、この雑音除去手段によって得られた雑音除去後の音声スペクトルを元の音声信号に逆変換する逆変換手段と、この逆変換手段によって得られた音声信号を撮影画像と共に記録する記録手段とを具備したことを特徴とする。

このような構成によれば、第１の入力手段とは別に機構音の発生源近傍に設けられた第２の入力手段を通じて機構音のみの信号を入力して、その機構音の特性に対応した雑音スペクトルを入力音声のスペクトルから減算する。その際に、音声信号と同じ入力特性を有する雑音スペクトルを用いて減算することで、音声信号に含まれる機構音を雑音成分として適切に除去して記録することができる。

また、本発明の請求項２は、前記請求項１記載の撮像装置において、撮影時に前記第２の入力手段から得られる機構音のスペクトルと、前記第２の記憶手段に記憶された雑音スペクトルの各パターンとの類似度を計算する類似度計算手段を備え、前記選択手段は、前記類似度計算手段の計算結果に基づいて前記第２の記憶手段の中から最も類似度の高い第２の雑音スペクトルを選択し、前記第１の記憶手段の中から当該第２の雑音スペクトルに対応した第１の雑音スペクトルを選択することを特徴とする。

このような構成によれば、機構音の特性に最も近い雑音スペクトルを用いて、音声信号に含まれる機構音を雑音成分として適切に除去して記録することができる。

また、本発明の請求項３は、前記請求項１記載の撮像装置において、前記機構音は、撮影動作に関連した特定のモータの駆動音を含み、前記第１および第２の記憶手段には、少なくとも前記モータの駆動開始時、定常回転時、駆動停止時の３つの期間に対応した雑音スペクトルの各パターンが記憶されていることを特徴とする。

このような構成によれば、機構音として、撮影動作に関連した特定のモータの駆動音を含む場合において、このモータが駆動されたときの各期間に応じて雑音スペクトルの各パターンを選択的に使用して、音声信号に含まれる機構音を雑音成分として適切に除去して記録することができる。

また、本発明の請求項４は、前記請求項１記載の撮像装置において、前記機構音は、撮影動作に関連した特定のモータの駆動音を含み、前記第１および第２の記憶手段には、前記モータを所定方向に駆動させた場合と前記所定方向とは反対の方向に駆動させた場合の雑音スペクトルの各パターンが記憶されていることを特徴とする。

このような構成によれば、機構音として、撮影動作に関連した特定のモータの駆動音を含む場合において、このモータの駆動方向に応じて雑音スペクトルの各パターンを選択的に使用して、音声信号に含まれる機構音を雑音成分として適切に除去して記録することができる。

また、本発明の請求項５は、前記請求項１記載の撮像装置において、前記機構音は、撮影動作に関連した特定のモータの駆動音を含み、前記第１および第２の記憶手段には、前記モータを所定方向に駆動させた場合と前記所定方向とは反対の方向に駆動させた場合とで、少なくとも前記モータの駆動開始時、定常回転時、駆動停止時の３つの期間に対応した雑音スペクトルの各パターンが記憶されていることを特徴とする。

このような構成によれば、機構音として、撮影動作に関連した特定のモータの駆動音を含む場合において、このモータの回転方向と駆動期間に応じて雑音スペクトルの各パターンを選択的に使用して、音声信号に含まれる機構音を雑音成分として適切に除去して記録することができる。

また、本発明の請求項６は、前記請求項１乃至５のいずれか１つに記載の撮像装置において、前記第２の入力手段から得られる機構音のパワーを算出するパワー算出手段と、このパワー算出手段によって算出された機構音のパワーに基づいて前記雑音除去手段による雑音除去動作を制御する制御手段とを備えたことを特徴とする。

このような構成によれば、撮影時に機構音が実際に発生している場合にのみ、雑音スペクトルを用いて雑音除去を行うことができる。

また、本発明の請求項７は、前記請求項６記載の撮像装置において、前記制御手段は、前記パワー算出手段によって算出された機構音のパワーが所定値より小さい場合に前記雑音除去手段による雑音除去動作を禁止し、前記機構音のパワーが所定値以上の場合に前記雑音除去手段による雑音除去動作を許可することを特徴とする。

このような構成によれば、機構音のパワーが所定値より小さい場合に雑音除去動作を禁止することで、撮影時に機構音が発生していないときに雑音除去を行ってしまい、スペクトルの引き過ぎなどにより音声信号が歪むことを防止することができる。

また、本発明の請求項８は、前記請求項１乃至５のいずれか１つに記載の撮像装置において、前記第１の入力手段から得られる音声信号を増幅する増幅手段と、前記音声信号のパワーを算出し、そのパワー値に基づいて前記増幅手段の増幅率を調整する増幅率調整手段と、この増幅率調整手段によって調整された前記増幅手段の増幅率に合わせて前記第１の雑音スペクトルに乗じる係数の値を変更する係数可変手段とを備えたことを特徴とする。

このような構成によれば、入力音声の増幅率を調整して録音レベルを制御する場合において、その増幅率に応じて第１の雑音スペクトルに乗じる係数の値を変更することで、スペクトルの引き過ぎや引き残しを防ぐことができる。

本発明の請求項９に係る音声記録方法は、音声信号を入力する第１の入力部とは別に、機構音の発生源近傍に第２の入力部が設けられた撮像装置に用いられる音声記録方法であって、前記第１の入力部を通じて事前に採取した機構音のスペクトルを第１の雑音スペクトルとして第１の記憶部に複数パターン記憶するステップと、前記第２の入力部を通じて事前に採取した機構音のスペクトルを第２の雑音スペクトルとして、前記第１の雑音スペクトルの各パターンに関連付けて第２の記憶部に複数パターン記憶するステップと、撮影時に前記第２の入力部から得られる機構音のスペクトルに基づいて前記第２の記憶部の中から当該機構音の特性に応じた第２の雑音スペクトルを選択すると共に、前記第１の記憶部の中から当該第２の雑音スペクトルに対応した第１の雑音スペクトルを選択するステップと、前記第１の入力部から得られる音声信号のスペクトルから前記選択された第１の雑音スペクトルに所定の係数を乗じた信号を減算することで雑音成分を除去するステップと、この雑音除去後の音声スペクトルを元の音声信号に逆変換するステップと、この逆変換手段によって得られた音声信号を撮影画像と共に所定のメモリに記録するステップとを備えたことを特徴とする。

このような音声記録方法によれば、前記各ステップに従った処理を実行することにより、前記請求項１記載の発明と同様の作用効果が奏せられる。

本発明の請求項１０に係るプログラムは、音声信号を入力する第１の入力部とは別に、機構音の発生源近傍に第２の入力部が設けられた撮像装置に搭載されたコンピュータによって実行されるプログラムであって、前記コンピュータに、前記第１の入力部を通じて事前に採取した機構音のスペクトルを第１の雑音スペクトルとして第１の記憶部に複数パターン記憶する機能と、前記第２の入力部を通じて事前に採取した機構音のスペクトルを第２の雑音スペクトルとして、前記第１の雑音スペクトルの各パターンに関連付けて第２の記憶部に複数パターン記憶する機能と、撮影時に前記第２の入力部から得られる機構音のスペクトルに基づいて前記第２の記憶部の中から当該機構音の特性に応じた第２の雑音スペクトルを選択すると共に、前記第１の記憶部の中から当該第２の雑音スペクトルに対応した第１の雑音スペクトルを選択する機能と、前記第１の入力部から得られる音声信号のスペクトルから前記選択された第１の雑音スペクトルに所定の係数を乗じた信号を減算することで雑音成分を除去する機能と、この雑音除去後の音声スペクトルを元の音声信号に逆変換する機能と、この逆変換手段によって得られた音声信号を撮影画像と共に所定のメモリに記録する機能とを実現させることを特徴とする。

したがって、コンピュータが前記各機能を実現するためのプログラムを実行することにより、前記請求項１記載の発明と同様の作用効果が奏せられる。

本発明によれば、音声付き動画撮影を行う場合において、音声信号のスペクトルから同じ入力特性を有する雑音スペクトルを減算することができる。これにより、撮影時に音声信号に含まれる機構音を雑音成分として適切に除去して、撮影画像と共に高品質に記録することができる。

以下、図面を参照して本発明の実施形態を説明する。

（第１の実施形態）
図１は本発明の撮像装置としてデジタルカメラを例にした場合の外観構成を示す図であり、図１（ａ）は主に前面の構成、同図（ｂ）は主に背面の構成を示す斜視図である。

このデジタルカメラ１は、略矩形の薄板状ボディ２の前面に、撮影レンズ３、セルフタイマランプ４、光学ファインダ窓５、ストロボ発光部６、マイクロホン部７などを有し、上面の（ユーザにとって）右端側には電源キー８及びシャッタキー９などが設けられている。

電源キー８は、電源のオン／オフ毎に操作するキーであり、シャッタキー９は、撮影時に撮影タイミングを指示するキーである。

また、デジタルカメラ１の背面には、撮影モード（Ｒ）キー１０、再生モード（Ｐ）キー１１、光学ファインダ１２、スピーカ部１３、マクロキー１４、ストロボキー１５、メニュー（ＭＥＮＵ）キー１６、リングキー１７、セット（ＳＥＴ）キー１８、表示部１９などが設けられている。

撮影モードキー１０は、電源オフの状態から操作することで自動的に電源オンとして静止画の撮影モードに移行する一方で、電源オンの状態から繰返し操作することで、静止画モード、動画モードを循環的に設定する。静止画モードは、静止画を撮影するためのモードである。また、動画モードは、動画を撮影するためのモードであり、特に本実施形態では音声付き動画撮影が可能であるとする。

前記シャッタキー９は、これらの撮影モードに共通に使用される。すなわち、静止画モードでは、シャッタキー９が押下されたときのタイミングで静止画の撮影が行われる。動画モードでは、シャッタキー９が押下されたときのタイミングで動画の撮影が開始され、シャッタキー９が再度押下されたときにその動画の撮影が終了する。

再生モードキー１１は、電源オフの状態から操作することで自動的に電源オンとして再生モードに移行する。

マクロキー１４は、静止画の撮影モードで通常撮影とマクロ撮影とを切換える際に操作する。ストロボキー１５は、ストロボ発光部６の発光モードを切換える際に操作する。メニューキー１６は、各種メニュー項目等を選択する際に操作する。リングキー１７は、上下左右各方向への項目選択用のキーが一体に形成されたものであり、このリングキー１７の中央に位置するセットキー１８は、その時点で選択されている項目を設定する際に操作する。

表示部１９は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時には電子ファインダとしてスルー画像のモニタ表示を行う一方で、再生モード時には選択した画像等を再生表示する。

また、このデジタルカメラ１には、光学ズーム機能が備えられており、ズームキー２０ａ，２０ｂの操作により焦点距離を物理的に変化させて画像の拡大率を変更することができる。ズームキー２０ａ，２０ｂのうち、一方のズームキー２０ａはテレ端用であり、望遠側へズーム倍率を変更する場合に用いられる。他方のズームキー２０ｂはワイド端用であり、広角側へズーム倍率を変更する場合に用いられる。

なお、図示はしないがデジタルカメラ１の底面には、記録媒体として用いられるメモリカードを着脱するためのメモリカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインタフェースコネクタとして、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタ等が設けられている。

図２はデジタルカメラ１の電子回路構成を示すブロック図である。

このデジタルカメラ１には、前記撮影レンズ３を構成する図示せぬフォーカスレンズおよびズームレンズなどを含むレンズ光学系２２が光軸方向に所定の範囲内で移動可能に設けられている。このレンズ光学系２２は、モータ駆動部２１ａによって回転駆動されるモータ２１により移動する。

なお、前記モータ２１として、ズーム倍率調整用のモータ（ズームモータ）、フォーカス調整用のモータ（フォーカスモータ）などの複数の異なるモータを含み、それぞれに対応したモータ駆動部２１ａが設けられているものとする。

このモータ２１の光軸後方に撮像素子であるＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）２３が配設されている。このＣＣＤ２３は、撮影レンズ３を通して入力される被写体の各部位からの光を受光し、その光の強度に応じた電気信号を出力する。

基本モードである記録モード時において、ＣＣＤ２３がタイミング発生器（ＴＧ）２４、ドライバ２５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。このＣＣＤ２３の光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路２６でサンプルホールドされ、Ａ／Ｄ変換器２７でデジタルデータに変換される。

そして、画像処理回路２８において、画素補間処理及びγ補正処理を含む画像処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｕ，Ｖ（Ｃｂ，Ｃｒ）が生成され、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ２９に出力される。

ＤＭＡコントローラ２９は、画像処理回路２８の出力する輝度信号Ｙ及び色差信号Ｕ，Ｖを、同じく画像処理回路２８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ２９内部のバッファに書き込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）３０を介してバッファメモリとして使用されるＤＲＡＭ３１にＤＭＡ転送を行う。

制御部３２は、デジタルカメラ１全体の制御を行うものであり、ＣＰＵと、このＣＰＵで実行される動作プログラムを記憶したＲＯＭ、及びワークメモリとして使用されるＲＡＭなどを含むマイクロコンピュータにより構成される。この制御部３２は、前記輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース３０を介してＤＲＡＭ３１より読み出し、ＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に書き込む。

デジタルビデオエンコーダ３５は、前記輝度及び色差信号をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４より定期的に読み出し、これらのデータを元にビデオ信号を発生して表示部１９に出力する。

この表示部１９は、上述した如く撮影時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ３５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ３３から取込んでいる画像情報に基づく画像をリアルタイムに表示することとなる。

このように、表示部１９にその時点での画像がモニタ画像としてリアルタイムに表示されている状態で、例えば静止画撮影を行いたいタイミングでシャッタキー９を押下操作すると、トリガ信号が発生する。

制御部３２は、このトリガ信号に応じて、その時点でＣＣＤ２３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送の終了後、直ちにＣＣＤ２３からのＤＲＡＭ３１への経路を停止し、記録保存の状態に遷移する。

この記録保存の状態では、制御部３２がＤＲＡＭ３１に書き込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインタフェース３０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読み出して、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）回路３７に書き込み、このＪＰＥＧ回路３７でＡＤＣＴ（Ａｄａｐｔｉｖｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。

そして得た符号データを１画像のデータファイルとして該ＪＰＥＧ回路３７から読み出して記録用のメモリ３８に書き込む。このメモリ３８としては、予め本体に内蔵されたフラッシュメモリ等の内部メモリの他に、記録媒体として着脱自在に装着されるメモリカードなどを含む。１フレーム分の輝度及び色差信号の圧縮処理及びメモリ３８への全圧縮データの書込み終了に伴って、制御部３２はＣＣＤ２３からＤＲＡＭ３１への経路を再び起動する。

制御部３２には、さらに音声処理部３９、ＵＳＢインタフェース（Ｉ／Ｆ）４０、ストロボ駆動部４１が接続される。

音声処理部３９は、ＰＣＭ音源等の音源回路を備え、音声の録音時には前記マイクロホン部（ＭＩＣ）７より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＭＰ３（ＭＰＥＧ−１ ａｕｄｉｏ ｌａｙｅｒ ３）規格に従ってデータ圧縮して音声データファイルを作成してメモリ３８へ送出する一方、音声の再生時にはメモリ３８から読み出された音声データファイルの圧縮を解いてアナログ化し、上述したデジタルカメラ１の背面側に設けられるスピーカ部（ＳＰ）１３を通じて出力する。

なお、この音声処理部３９には、後述するように、マイクロホン部（ＭＩＣ）７とは別にモータ２１の近くに設置された参照マイク７ａが接続されている。この参照マイク７ａは、雑音除去用として主にモータ音を入力するための入力手段として用いられるものである。

ＵＳＢインタフェース４０は、ＵＳＢコネクタを介して有線接続されるパーソナルコンピュータ等の他の情報端末装置との間で画像データ、その他の送受を行う場合の通信制御を行う。ストロボ駆動部４１は、撮影時に図示せぬストロボ用の大容量コンデンサを充電した上で、制御部３２からの制御に基づいてストロボ発光部６を閃光駆動する。

なお、前記キー入力部３６は、上述したシャッタキー９の他に、電源キー８、撮影モードキー１０、再生モードキー１１、マクロキー１４、ストロボキー１５、メニューキー１６、リングキー１７、セットキー１８、ズームキー２０ａ，２０ｂなどから構成され、それらのキー操作に伴う信号は直接制御部３２へ送出される。

また、静止画像ではなく動画像の撮影時においては、シャッタキー９が押下操作されたときに、上述したＪＰＥＧ回路３７によりｍｏｔｉｏｎ−ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの手法により撮影動画をデータ圧縮してメモリ３８へ記録する。この場合、音声付き動画撮影であれば、その撮影中にマイクロホン部（ＭＩＣ）７より入力された音声信号が動画データと共に前記メモリ３８に記録されることになる。再度シャッタキー９が操作されると、動画データの記録を終了する。

一方、基本モードである再生モード時には、制御部３２がメモリ３８に記録されている画像データを選択的に読み出し、ＪＰＥＧ回路３７で記録モード時にデータ圧縮した手順と全く逆の手順で、圧縮されている画像データを伸長する。そして、この伸長した画像データをＤＲＡＭインタフェース３０を介してＤＲＡＭ３１に保持させた上で、このＤＲＡＭ３１の保持内容をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に記憶させ、このＶＲＡＭ３４より定期的に画像データを読み出してビデオ信号を発生し、表示部１９で再生出力させる。

選択した画像データが静止画像ではなく動画像であった場合には、その動画データを構成する複数フレームの静止画データを時系列の順で順次再生して表示し、すべての静止画データの再生を終了した時点で、例えば、次に再生の指示がなされるまで先頭に位置する静止画データを表示するなどを行う。その際、当該動画データに音声データが含まれていれば、その音声データがスピーカ部（ＳＰ）１３を通じて出力されることになる。

次に、このデジタルカメラ１に用いられる雑音除去機能を備えた音声記録装置について説明する。

図３は本発明の第１の実施形態に係るデジタルカメラ１に用いられる雑音除去機能を備えた音声記録装置の構成を示すブロック図である。

この音声記録装置は、主としてデジタルカメラ１の音声付き動画撮影に用いられるものであり、その撮影中に音声信号に混入するズーム音やフォーカス音などの機構音を雑音として除去する機能を備えている。

第１の実施形態において、この音声記録装置は、モータ２１、モータ駆動部２１ａ、制御部３２、キー入力部３６、音声入力部５１、フレーム分割部５２、フーリエ変換部５３、第１のスペクトル記憶部５４、サブトラクト部５５、スペクトル切り替え部５６、逆フーリエ変換部５７、波形合成部５８を備える。さらに、別系統として、参照入力部６１、フレーム分割部６２、フーリエ変換部６３、第２のスペクトル記憶部６４、類似度計算部６５、スペクトル選択部６６を備える。

なお、前記各構成部のうち、５１〜５８、６１〜６６の部分は図２に示したデジタルカメラ１の音声処理部３９に含まれる。

モータ２１はズームレンズなどのレンズ光学系２２を光軸方向に移動させるためのモータであり、モータ駆動部２１ａはそのモータ２１を回転駆動させるための駆動機構である。

制御部３２は、キー入力部３６に含まれるズームキー２０ａ，２０ｂなどの操作信号を受けてモータ駆動制御信号をモータ駆動部２１ａに出力すると共に、ここでは、音声付き動画撮影中にモータ２１の駆動タイミングに基づいてスペクトル切り換え部５６を制御する機能を備える。

一方、音声入力部５１は、図１に示すデジタルカメラ１の機器筐体上に設置されたマイクロホン部７を主マイクとして含み、この主マイクを通じて入力される音声信号を主信号としてフレーム分割部５２に与える。この場合、音声付き動画撮影中に例えばズーム操作が行われると、そのズーム操作に伴って発生するモータ音（ズーム音）が音声入力部５１を通じて音声信号と共に入り込むことになる。

フレーム分割部５２は、この音声入力部５１によって入力された音声信号（主信号）を所定時間分のフレーム単位で分割する。フーリエ変換部５３は、このフレーム分割部５２によってフレーム単位で分割された音声信号をフーリエ変換し、周波数毎のパワーを示したスペクトル信号（Ｉａ）に変換する。

第１のスペクトル記憶部５４には、音声入力部５１（主マイク）を通じて事前に採取したモータ音のスペクトル信号が第１の雑音スペクトル信号として複数パターン記憶されている（図４参照）。

サブトラクト部５５は、フーリエ変換部５３によって得られた入力音声スペクトル信号（Ｉａ）と、第１のスペクトル記憶部５４の中から選択された雑音スペクトル信号（Ｘｖ）に基づいて、ＳＳ（ｓｐｅｃｔｒａｌ ｓｕｂｔｒａｃｔｉｏｎ）法による雑音除去処理を行う。

詳しくは、入力音声スペクトル信号（Ｉａ）から雑音スペクトル信号（Ｘｖ）に所定のサブトラクト係数αを乗じた信号を減算することで、音声信号に含まれる雑音成分を除去する処理を行う。スペクトル切り替え部５６は、フーリエ変換部５３によって得られた入力音声スペクトル信号（Ｉａ）と、このサブトラクト部５５によって得られる雑音除去後の音声スペクトル信号（Ｉｂ）を制御部３２から出力される選択信号によって切り替えて逆フーリエ変換部５７に与える。

逆フーリエ変換部５７は、スペクトル切り替え部５６を通じて入力された入力音声スペクトル信号（Ｉａ）または雑音除去後の音声スペクトル信号（Ｉｂ）を逆フーリエ変換して元のフレーム単位毎の音声信号に戻す。

波形合成部５８は、この逆フーリエ変換部５７によって得られるフレーム単位毎の音声信号を合成することで時系的に連続した音声信号に復元する。この音声信号は、最終的な記録用の音声信号として用いられ、デジタルカメラ１の撮像系から得られる動画データと共に図２に示したメモリ３８に記録される。

また、参照入力部６１は、主としてモータ音を集音するための参照マイク７ａを含み、この参照マイク７ａを通じて入力されるモータ音のみの信号を参照信号としてフレーム分割部５２に与える。参照マイク７ａは、主マイクであるマイクロホン部（ＭＩＣ）７とは別に機器筐体内のモータ２１の近傍に設置されており、そのモータ駆動時に発生するモータ音のみを入力する。

フレーム分割部６２は、この参照入力部６１によって入力されたモータ音のみの信号（参照信号）を所定時間分のフレーム単位で分割する。フーリエ変換部６３は、このフレーム分割部６２によってフレーム単位で分割されたモータ音信号をフーリエ変換し、周波数毎のパワーを示したスペクトル信号（Ｒｖ）に変換する。

第２のスペクトル記憶部６４には、参照入力部６１（参照マイク）を通じて事前に採取したモータ音のスペクトル信号が第２の雑音スペクトル信号として複数パターン記憶されている（図５参照）。

前記第１のスペクトル記憶部５４に記憶された第１の雑音スペクトル信号と、前記第２のスペクトル記憶部６４に記憶された第２の雑音スペクトル信号との違いは、第１の雑音スペクトル信号は音声入力部５１つまり主マイク（マイクロホン部７）を通じて得られるモータ音の入力特性を有し、第２の雑音スペクトルは参照入力部６１つまり参照マイク７ａを通じて得られるモータ音の入力特性を有することである。

類似度計算部６５は、参照入力部６１を通じて得られた入力モータ音スペクトル信号（Ｒｖ）と、予め第２のスペクトル記憶部６４に記憶されている第２の雑音スペクトル信号の各パターンとの類似度を計算する。

スペクトル選択部６６は、類似度計算部６５による類似度計算結果に基づき、第２のスペクトル記憶部６４の中で最も類似度の高い第２の雑音スペクトル信号を選択すると共に、第１のスペクトル記憶部５４の中から当該雑音スペクトル信号に対応した第１の雑音スペクトル信号を選択する。このとき選択された雑音スペクトル信号は、音声信号と同じ入力特性を有する最適な雑音スペクトル信号（Ｘｖ）としてサブトラクト部５５に与えられて、ＳＳ法による雑音除去処理に用いられる。

次に、第１の実施形態の動作について説明する。

今、音声付き動画撮影を行っている最中に、例えばユーザがキー入力部３６に含まれるズームキー２０ａ，２０ｂを操作したとする。

デジタルカメラ全体の動作を制御する制御部３２は、キー入力部３６に含まれるズームキー２０ａ，２０ｂのズーム操作信号を入力すると、モータ駆動部２１ａに対して駆動開始信号を送る。モータ駆動部２１ａは、この駆動開始信号を受けてモータ２１を回転駆動する。このモータ２１の回転に伴い、図２のレンズ光学系２２に含まれる図示せぬズームレンズが光軸上に移動してズーム倍率が変化する。

また、ユーザがズーム操作を終了すると、制御部３２はモータ駆動部２１ａに対して駆動停止信号を送る。これにより、モータ２１の回転駆動が停止し、ズーム動作が終了する。

ここで、音声付き動画の撮影中は、常に主マイク（マイクロホン部７）による音声入力機能がＯＮ状態にある。このため、前記ズーム操作に伴って発生するモータ音が入力音声の中に雑音として混入する問題がある。このようなモータ音を音声信号から除去して記録するべく、以下のような処理が行われる。

すなわち、まず、雑音除去対象となるモータ音（機構音）のスペクトル信号を事前に採取しておき、第１のスペクトル記憶部５４および第２のスペクトル記憶部６４に記憶しておく。以下では、ズーム操作時に発生するモータ音つまりズーム音を雑音除去対象として説明する。

ズーム音の採取方法は、無音状態でズーム操作を行い、そのときに発生するズーム音のみを主マイク（マイクロホン部７）である音声入力部５１と、参照マイク７ａである参照入力部６１からそれぞれ入力することで行う。

この場合、ズーム音はモータ２１の駆動タイミングにより駆動開始点、駆動中間点、駆動停止点でそれぞれ異なる特性を有する。また、モータ２１を広角方向に回転駆動する場合と望遠方向に駆動する場合とでもズーム音の特性が異なってくる。

そこで、少なくとも、モータ２１を広角方向に回転駆動した場合の駆動開始点でのズーム音「ＺＯ１」、駆動中間点でのズーム音「ＺＯ２」、駆動停止点でのズーム音「ＺＯ３」と、モータ２１を望遠方向に回転駆動した場合の駆動開始点でのズーム音「ＺＩ１」、駆動中間点でのズーム音「ＺＩ２」，駆動停止点でのズーム音「ＺＩ３」の計６種類のパターンを採取するものとする。

第１のスペクトル記憶部５４への記憶は、ズーム音のみの信号を音声入力部５１から入力し、フレーム分割部５２により数１０ｍｓ程度のフレーム区間に切り出し、これをフーリエ変換部５３によりスペクトル信号に変換する。このスペクトル信号を上述した駆動開始点、駆動中間点、駆動停止点の３つの期間を対象にして、それぞれモータ２１を広角方向に回転駆動した場合と、望遠方向に回転駆動した場合について算出して、各期間毎にレベルの平均値を求める。

このようにして、モータ２１を広角方向に回転駆動した場合と、望遠方向に回転駆動した場合にそれぞれ得られた第１の雑音スペクトル信号の各パターンをＭＺＯ１、ＭＺＯ，ＭＺＯ３，ＭＺＩ１，ＭＺＩ２，ＭＺＩ３として、図４に示すように第１のスペクトル記憶部４１に記憶させておく。

同様にして、第２のスペクトル記憶部６４への記憶は、ズーム音のみの信号を参照入力部６１から入力し、フレーム分割部６２により数１０ｍｓ程度のフレーム区間に切り出し、これをフーリエ変換部５３によりスペクトル信号に変換する。このスペクトル信号を上述した駆動開始点、駆動中間点、駆動停止点の３つの期間を対象にして、それぞれモータ２１を広角方向に回転駆動した場合と、望遠方向に回転駆動した場合について算出して、各期間毎にレベルの平均値を求める。

このようにして、モータ２１を広角方向に回転駆動した場合と、望遠方向に回転駆動した場合にそれぞれ得られた第２の雑音スペクトル信号の各パターンをＲＺＯ１，ＲＺＯ２，ＲＺＯ３、ＲＺＩ１，ＲＺＩ２，ＲＺＩ３として、図５に示すように第２のスペクトル記憶部６４に記憶させておく。

この場合、制御部３２では、第１のスペクトル記憶部５４に記憶されたＭＺＯ１〜ＭＺＯ３，ＭＺＩ１〜ＭＺＩ３の各パターンと、第２のスペクトル記憶部６４に記憶されたＲＺＯ１〜ＲＺＯ３、ＲＺＩ１〜ＲＺＩ３の各パターンを図示せぬ管理テーブルなどを用いて関連付けて管理している。

ここで、ズーム操作が行われていない状態では、制御部３２はフーリエ変換部５３から得られる入力音声スペクトル信号（Ｉａ）を選択するようにスペクトル切り替え部５６を切り替え制御する。これにより、逆フーリエ変換部５７および波形合成部５８を通じて入力音声信号がそのまま出力されることになる。

一方、制御部３２はキー入力部３６からのズーム操作信号に基づいてズーム操作が開始されたことを判断すると、モータ２１（ここではズームモータ）の駆動開始と同時にサブトラクト部５５から得られる雑音除去後の音声スペクトル信号（Ｉｂ）を選択するようにスペクトル切り替え部５６を切り替え制御する。

上述したように、ズーム操作を行っているとき、音声入力部５１には音声信号に加えて、そのときに発生するモータ音が主マイク（マイクロホン部７）を通じて入力されている。このため、フーリエ変換部５３からは入力音声のスペクトルとモータ音のスペクトルが混合した入力音声スペクトル信号（Ｉａ）が出力される。

一方、参照入力部６１には、機器筐体内に参照マイク７ａが設置されていることから、基本的にモータ音のみが入力される。したがって、フーリエ変換部６３の出力はモータ音のみのスペクトル信号（Ｒｖ）になっている。

ここで、類似度計算部６５において、フーリエ変換部６３によって得られたモータ音のスペクトル信号（Ｒｖ）と、第２のスペクトル記憶部６４に予め記憶された第２の雑音スペクトルの各パターンＲＺＯ１〜ＲＺＯ３，ＲＺＩ１〜ＲＺＩ３との類似度が計算される。

類似度の一例として、入力モータ音スペクトル信号（Ｒｖ）の絶対値を｜ＲＣ（ω）｜、第２のスペクトル記憶部６４に記憶されている第２の雑音スペクトル信号の絶対値を｜ＲＭ（ω）｜とすると、それらの二乗平均誤差をＭＳＥとした場合に、そのＭＳＥの逆数が類似度となる。

ＭＳＥ＝Σ［｛｜ＲＣ（ω）｜−｜ＲＭ（ω）｜｝
＊｛｜ＲＣ（ω）｜−｜ＲＭ（ω）｜｝］ …（１）
Σは角周波数ω＝０〜πまでの積算値
π＝サンプリング周波数の１／２
類似度＝１／ＭＳＥ …（２）
前記式（１），（２）によれば、ＲＣ（ω）とＲＭ（ω）が似ていれば、ＭＳＥの値は小さくなり、類似度は大きくなる。逆に、ＲＣ（ω）とＲＭ（ω）が似ていなければ、ＭＳＥは大きくなり、類似度は小さくなる。

ここで、例えばＲＺＯ１〜ＲＺＯ３，ＲＺＩ１〜ＲＺＩ３の中で最も類似度の高いパターンをＲＺＯ１とすると、スペクトル選択部６６は第１のスペクトル記憶部５４の中からＲＺＯ１に対応するＭＺＯ１を最適な雑音スペクトル信号（Ｘｖ）として選択する。ＲＺＯ１とＭＺＯ１は、モータ２１を広角方向に回転駆動した場合の駆動開始点で事前に採取したモータ特性を有する。

つまり、例えばモータ２１を広角方向に回転駆動するようなズーム操作が行われた場合には、モータ２１の駆動開始が定常回転に達するまでの期間ではＲＺＯ１→ＭＺＯ１、定常回転期間ではＲＺＯ２→ＭＺＯ２、駆動停止から実際にモータ２１の回転が停止するまでの期間ではＲＺＯ３→ＭＺＯ３といったように、第１のスペクトル記憶部５４の中から第２の雑音スペクトル信号に対応した第１の雑音スペクトル信号が現時点でのモータ特性に応じた最適な雑音スペクトルとして順次選択されてサブトラクト部５５に与えられることになる。

サブトラクト部５５では、フーリエ変換部５３によって得られた入力音声スペクトル信号（Ｉａ）と第１のスペクトル記憶部５４の中から選択された雑音スペクトル信号（Ｘｖ）に基づいてＳＳ法による雑音除去処理を行う。

この雑音除去処理について、図６を参照して詳しく説明する。

図６はＳＳ法（スペクトルサブトラクション法）を用いた雑音除去処理を説明するための図である。図６（ａ）は入力音声の波形データ、同図（ｂ）はこの入力音声をフレーム単位でフーリエ変換して得られた音声スペクトル信号（Ｉａ）である。

また、同図（ｃ）は雑音除去用に採取したモータ音のスペクトルつまり雑音スペクトル信号（Ｘｖ）、同図（ｄ）はその雑音スペクトル信号（Ｘｖ）に所定のサブトラクト係数αを乗じた信号である。同図（ｅ）は入力音声スペクトル信号（Ｉａ）から係数乗算後の雑音スペクトル信号（Ｘｖ）を減算して得られるスペクトル信号つまり雑音除去後の音声スペクトル信号（Ｉｂ）である。同図（ｆ）はその雑音除去後の音声スペクトル信号（Ｉｂ）を逆フーリエ変換して得られた音声信号、同図（ｇ）はフレーム単位で分割された音声信号を時系列に合成して元の音声波形に戻した状態を示している。

今、図６（ａ）に示すような波形を有する音声信号が音声入力部５１（主マイク）に入力されたとする。この音声信号には、例えばズーム操作に伴って発生するモータ音つまりズーム音が雑音として混入されている。

まず、フレーム分割部５２において、例えば１０ｍｓ程度のフレーム区間で音声信号を切り出し、同図（ｂ）に示すように、フーリエ変換部５３にて周波数毎のパワーを表した入力音声スペクトル信号（Ｉａ）を生成する。

ここで、参照入力部６１（参照マイク）から入力されたモータ音のみのスペクトル信号（Ｒｖ）に基づいて、第２のスペクトル記憶部６４の中から最も類似度の高い第２の雑音スペクトル信号が選択され、さらに、その選択された雑音スペクトル信号に対応した第１の雑音スペクトル信号が第１のスペクトル記憶部５４の中からモータ特性に応じた最適な雑音スペクトル信号（Ｘｖ）として選択される。

そして、同図（ｃ）〜（ｅ）に示すように、サブトラクト部５５では、入力音声スペクトル信号（Ｉａ）から最適な雑音スペクトル信号（Ｘｖ）に所定のサブトラクト係数αを乗じた信号を減算することにより、雑音除去後の音声スペクトル信号（Ｉｂ）を得る。

なお、前記サブトラクト係数αは、第１のスペクトル記憶部５４に記憶される第１の雑音スペクトル信号のレベルに応じて予め決められており、通常、“１”以上の値である。

制御部３２では、ズーム操作が行われている間、つまり、ズームモータであるモータ２１の駆動期間中（モータ駆動開始〜駆動停止までの期間）において、前記サブトラクト部５５から得られる雑音除去後の音声スペクトル信号（Ｉｂ）を選択するようにスペクトル切り替え部５６を制御する。

図６（ｆ）に示すように、この雑音除去後の音声スペクトル信号（Ｉｂ）は逆フーリエ変換部５７にて逆フーリエ変換される。そして、同図（ｇ）に示すように、波形合成部５８にて各フレーム毎の音声信号が時系列に合成処理されて、元のアナログ波形信号である音声信号に復元される。この音声信号は、雑音除去後の音声信号として動画撮影中に画像データと共にメモリ３８に記録される。

なお、前記のような雑音除去処理において、実際にはフレーム分割部５２にて入力音声をフレーム分割してフーリエ変換する前に、その音声信号に「ハニング窓」等の窓関数をかけておく。また、後段の波形合成部５８で逆フーリエ変換後の音声信号をフレーム毎に合成処理する際にフレーム境界で不連続な波形になるのを防止するために、フレーム毎の音声信号を多少オーバーラップして合成していく。

例えば、フレーム長が２５６サンプルとして分析ポイントを１２８サンプルずつシフトしていく。この場合のハニング窓は式（３）のように表せる。

ｗ（ｎ）＝０．５−ｃｏｓ｛２＊ＰＩ＊ｎ／（Ｌ−１）｝ …（３）
Ｌ：１フレームのサンプル数
ｎ＝０，１，…，Ｌ−１
このように、各信号を１／２フレームずらして重ね合わせると、振幅が一定で不連続点のない音声波形を得ることができる。

以上のように、本発明の第１の実施形態によれば、撮影時に参照入力部６１から入力されるモータ音によって第２の雑音スペクトル信号を選択した後、それに対応する第１の雑音スペクトル信号を選択して雑音除去用に使用するので、音声信号のスペクトルから同じ入力特性を有する雑音スペクトルを減算することができる。これにより、撮影時に音声信号に含まれる機構音を雑音成分として適切に除去して、撮影画像と共に高品質に記録することができる。

なお、入力モータ音スペクトル信号（Ｒｖ）と第２のスペクトル記憶部６４に記憶されている第２の雑音スペクトルの各パターンとの類似度を計算する場合に、すべてのパターン（ここでは６通りのパターン）の類似度を計算しなくとも、モータ２１の回転方向によって、例えば広角方向の回転であれば、広角側スペクトルであるＲＺＯ１〜ＲＺＯ３を対象として類似度計算を行うようにしても良い。このようにすることで、類似度計算の量は半分になる。

また、前記第１の実施形態では、モータ２１の駆動開始点、駆動中間点、駆動停止点の３つの期間についてモータ音を事前に採取して、各期間に対応したスペクトル信号を雑音除去用に記憶しておくものとしたが、さらに細かくモータ期間を分類し、それぞれに対応したスペクトル信号を記憶しておき、これらを適宜選択的に使用して雑音除去を行うことでも良い。このようにすることで、モータ２１の各駆動期間毎に適切な雑音除去処理を行うことができる。

図７は第１の実施形態における音声記録処理をソフトウェア的に実現する場合のフローチャートである。なお、このフローチャートで示される処理は、コンピュータである制御部３２によって読取り可能なプログラムの形態でＲＯＭ等の記録媒体に予め記録されているものとする。

音声付き動画撮影時において、制御部３２は、例えばシャッタキー９の操作により動画撮影の終了が明示的に指示されるまでの間、以下のような処理を繰り返し実行する（ステップＳ１１〜Ｓ２３）。

すなわち、まず、制御部３２は、主マイクであるマイクロホン部７を通じて主信号として入力された音声信号からフレームデータを生成し、このフレームデータに窓関数をかける（ステップＳ１１）。続いて、このフレームデータをフーリエ変換することで、周波数毎のパワーを示した入力音声スペクトル信号（Ｉａ）を生成する（ステップＳ１２）。

ここで、制御部３２は、ズーム操作によりモータ２１が駆動されているか否かを判断する（ステップＳ１３）。モータ駆動中でなければ（ステップＳ１３のＮｏ）、制御部３２は、前記入力音声スペクトル信号（Ｉａ）を逆フリー変換処理して元の音声波形データに戻し（ステップＳ２０）、これを前の音声波形データと連続するようにフレーム単位で合成しながら（ステップＳ２１）、撮影画像（動画データ）と同期させてメモリ３８に記録していく（ステップＳ２２）。

一方、モータ駆動中であった場合、つまり、ズーム操作によりモータ２１が広角方向あるいは望遠方向に回転駆動されている場合には（ステップＳ１３のＹｅｓ）、制御部３２は、参照マイク７ａを通じて参照信号として入力されるモータ音のみの信号からフレームデータを生成し、このフレームデータに窓関数をかける（ステップＳ１４）。続いて、このフレームデータをフーリエ変換することで、周波数毎のパワーを示した入力モータ音スペクトル信号（Ｒｖ）を生成する（ステップＳ１５）
ここで、制御部３２は、入力モータ音スペクトル信号（Ｒｖ）と第２のスペクトル記憶部６４に記憶された第２の雑音スペクトル信号の各パターンとの類似度を算出する（ステップＳ１６，Ｓ１７）。そして、最も類似度の高い第２の雑音スペクトル信号を第２のスペクトル記憶部６４の中から選択すると共に、その雑音スペクトル信号に対応した第１の雑音スペクトル信号を第１のスペクトル記憶部５４の中から選択する（ステップＳ１８）。

制御部３２は、前記第１のスペクトル記憶部５４から選択した第１の雑音スペクトル信号を音声信号と同じ入力特性を有する最適な雑音スペクトル信号（Ｘｖ）として用い、入力音声スペクトル信号（Ｉａ）から雑音スペクトル信号（Ｘｖ）に所定のサブトラクト係数αを乗じた信号を減算することで雑音成分を除去する（ステップＳ１９）。

そして、この雑音除去後の音声スペクトル信号（Ｉｂ）を逆フリー変換処理して元の音声波形データに戻し（ステップＳ２０）、これを前の音声波形データと連続するようにフレーム単位で合成しながら（ステップＳ２１）、撮影画像（動画データ）と同期させてメモリ３８に記録していく（ステップＳ２２）。

このように、本装置をソフトウェア的に実現した場合であっても前記図３に示した構成と同様の効果が得られる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

図８は本発明の第２の実施形態に係るデジタルカメラ１に用いられる雑音除去機能を備えた音声記録装置の構成を示すブロック図である。なお、図３（第１の実施形態）の構成と同じ部分には同一符号を付して、その説明は省略するものとする。

図８において、図３の構成と異なる点は、短時間パワー算出部７１が設けられていることである。この短時間パワー算出部７１は、参照入力部６１（参照マイク）を通じて参照信号として入力されるモータ音信号のフレーム単位のパワー（短時間パワー）を算出する。この場合、フレーム内の信号をｒ（ｉ）として、パワー値をＰとすると、以下のような式（４）で表せる。

Ｐ＝Σ｛ｒ（ｉ）＊ｒ（ｉ）｝ …（４）
制御部３２では、この短時間パワー算出部７１によって算出されたモータ音信号のパワーに基づいて、モータ音の発生期間を判断してスペクトル切り替え部５６による切替えを制御する。

以下に、第２の実施形態としての動作を説明する。

例えばユーザがキー入力部３６に含まれるズームキー２０ａ，２０ｂを操作したとする。デジタルカメラ全体の動作を制御する制御部３２は、キー入力部３６に含まれるズームキー２０ａ，２０ｂのズーム操作信号を入力すると、モータ駆動部２１ａに対して駆動開始信号を送る。モータ駆動部２１ａは、この駆動開始信号を受けてモータ２１を回転駆動する。このモータ２１の回転に伴い、図２のレンズ光学系２２に含まれる図示せぬズームレンズが光軸上に移動してズーム動作が開始され、撮影画像が拡大または縮小されてメモリ３８に記録される。

また、ユーザがズーム操作を終了すると、制御部３２はモータ駆動部２１ａに対して駆動終了信号を送る。これにより、モータ２１の回転駆動が停止し、ズーム動作が終了する。

ここで、制御部３２がモータ２１に対して駆動開始信号を出力してから実際にモータ２１が回転し始めるまでには多少の遅れがある。したがって、駆動開始信号の出力と同時に雑音除去処理（サブトラクト処理）を開始してしまうと、まだモータ音（ここではズーム音）が発生していないにも関わらず、サブトラクト部５５にて入力音声スペクトル信号（Ｉａ）からモータ音分のスペクトルが減算されることになり、波形合成部５８から出力される音声信号に歪みが生じる可能性がある。

このような問題を防止するために、第２の実施形態では、参照入力部６１（参照マイク）からの入力信号は略モータ音のみの信号であることに着目して、短時間パワー算出部７１によって、参照入力部６１から得られるモータ音信号の短時間パワーを算出する。そして、この算出されたモータ音信号のパワーと予め設定された基準値とを比較し、モータ音信号のパワーが基準値よりも小さい場合には、フーリエ変換部５３から出力される入力音声スペクトル信号（Ｉａ）を選択するようにスペクトル切り替え部５６を制御する。

一方、モータ音信号のパワーが基準値以上であれば、実際にモータ音が発生しているものと判断し、サブトラクト部５５から出力される雑音除去後の音声スペクトル信号（Ｉｂ）を選択するようにスペクトル切り替え部５６を制御する。

また、モータ２１を停止するときも同様であり、短時間パワー算出部７１から得られるモータ音信号のパワーと基準値との比較により、モータ２１の回転が実際に停止したことを確認してから入力音声スペクトル信号（Ｉａ）を選択するようにスペクトル切り替え部５６を制御する。

これにより、モータ駆動動作と実際にモータ音が発生するタイミングとにずれがあっても、モータ音の発生タイミングに合わせてスペクトル減算つまり雑音除去処理を行うことができ、波形合成部５８から歪みのない音声信号を得ることができる。

なお、この図８の構成についても、前記同様に制御部３２がプログラムに従って一連の処理を行うことで、ソフトウェア的に実現することが可能である。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
第３の実施形態では、自動録音レベル制御システム（ＡＬＳ）を備えた音声記録装置を想定したものである。

図９は本発明の第３の実施形態に係るデジタルカメラ１に用いられる雑音除去機能を備えた音声記録装置の構成を示すブロック図である。なお、図３（第１の実施形態）の構成と同じ部分には同一符号を付して、その説明は省略するものとする。

図９において、図３の構成と異なる点は、録音レベル制御部７２、増幅器７３、乗算部７４を備えていることである。録音レベル制御部７２は、入力音声のレベルをほぼ一定に保つための制御を行う。すなわち、録音レベル制御部７２は、音声入力部５１（主マイク）から入力される音声信号のパワーを算出し、そのパワー値が所定値よりも小さい場合には増幅器７３に与える録音レベル（増幅率）を上げ、逆にパワー値が所定値よりも大きい場合には増幅器７３に与える録音レベル（増幅率）を下げるように制御する。

増幅器７３は、録音レベル制御部７２からの指示に従って入力音声を増幅調整（ゲイン調整）してフレーム分割部５２に与える。また、乗算部７４は、録音レベル制御部７２からの指示に従って、雑音スペクトル信号（Ｘｖ）に乗じるサブトラクト係数αの値を変更する。

以下に、第３の実施形態としての動作を説明する。

前記第１の実施形態と同様に、予め第１のスペクトル記憶部５４と第２のスペクトル記憶部６４には、それぞれに音声入力部５１（主マイク）と参照入力部６１（参照マイク）を通じて無音状態で採取したモータ音（ここではズーム音）のスペクトル信号を雑音スペクトル信号として記憶しておく。この場合の録音レベルは、基準値の“１”に固定しておく。

ここで、音声付きの動画撮影時において、音声入力部５１（主マイク）から主信号として入力される音声信号のパワー（音量）が録音レベル制御部７２によって算出され、そのパワー値に基づく録音レベルが決定される。

このときの録音レベルを“ｋ”とすると、音声入力部５１（主マイク）から主信号として入力された音声信号は増幅器７３にてｋ倍された後、フレーム分割部５２にて数１０ｍｓ程度のフレームに分割され、続いて、フーリエ変換部５３にてスペクトル信号（Ｉａ）に変換される。この入力音声スペクトル信号（Ｉａ）に雑音として含まれるモータ音のスペクトルは、録音レベルが“１”の時のｋ倍になっている。

一方、第１のスペクトル記憶部５４に記憶された雑音スペクトル信号（Ｘｖ）は、通常の録音レベル（ｋ＝１）で採取したモータ音のスペクトルであることから、そのままサブトラクト部５５の雑音除去処理に適用すると、ｋ＝１より大きい場合には、スペクトルの引き残しが発生し、その結果、波形合成部５８から出力される音声信号にはズーム音が残ってしまう。また、ｋ＝１より小さい場合には、入力音声スペクトル信号（Ｉａ）から過大なスペクトルを減算してしまうことになる。このため、入力音声に含まれる雑音成分は除去されるが、スペクトルの引きすぎにより音声信号自体が歪んでしまう。

これを防止するために、第１のスペクトル記憶部５４の中から選択された雑音スペクトル信号（Ｘｖ）をそのままサブトラクト部５５に与えるのではなく、入力音声と同様にｋ倍して与えるようにする。具体的には、増幅器７３の増幅率に合わせて、乗算部７４にて雑音スペクトル信号（Ｘｖ）に乗じるサブトラクト係数αを変更する。これにより、入力音声信号と共にｋ倍された雑音スペクトル信号（Ｘｖ）がサブトラクト部５５に与えられることになり、波形合成部５８から歪みのない音声信号を得ることができる。

なお、この図６の構成についても、前記同様に制御部３２がプログラムに従って一連の処理を行うことで、ソフトウェア的に実現することが可能である。

また、前記各実施形態では、ズーム音を雑音除去対象として説明したが、ズーム音に限らず、例えばフォーカス音、さらにはシャッター音などでも同様であり、要は撮影動作に伴って発生する機構音を入力音声から除去する場合に適用可能である。

また、前記各実施形態では、音声付き動画撮影可能なデジタルカメラを例にして説明したが、本発明はデジタルカメラに限らず、例えばカメラ付きの携帯電話など、音声信号と共に撮影画像を記録可能な機能を備えた電子機器であれば、そのすべてに適用可能である。

要するに、本発明は前記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

また、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。

図１は本発明の撮像装置としてデジタルカメラを例にした場合の外観構成を示す図であり、図１（ａ）は主に前面の構成、同図（ｂ）は主に背面の構成を示す斜視図である。 図２はデジタルカメラの電子回路構成を示すブロック図である。 図３は本発明の第１の実施形態に係るデジタルカメラに用いられる雑音除去機能を備えた音声記録装置の構成を示すブロック図である。 図４は第１の実施形態における第１のスペクトル記憶部の構成を示す図である。 図５は第１の実施形態における第２のスペクトル記憶部の構成を示す図である。 図６はＳＳ法（スペクトルサブトラクション法）を用いた雑音除去処理を説明するための図である。 図７は第１の実施形態における音声記録処理をソフトウェア的に実現する場合のフローチャートである。 図８は本発明の第２の実施形態に係るデジタルカメラに用いられる雑音除去機能を備えた音声記録装置の構成を示すブロック図である。 図９は本発明の第３の実施形態に係るデジタルカメラに用いられる雑音除去機能を備えた音声記録装置の構成を示すブロック図である。

符号の説明

１…デジタルカメラ、２…ボディ、３…撮影レンズ、７…マイクロホン部（主マイク）、７ａ…参照マイク、９…シャッタキー、２０ａ，２０ｂ…ズームキー、２１…モータ、２１ａ…モータ駆動部、３２…制御部、３６…キー入力部、５１…音声入力部、５２…フレーム分割部、５３…フーリエ変換部、５４…第１のスペクトル記憶部、５５…サブトラクト部、５６…スペクトル切り替え部、５７…逆フーリエ変換部、５８…波形合成部、６１…参照入力部、６２…フレーム分割部、６３…フーリエ変換部、６４…第２のスペクトル記憶部、６５…類似度計算部、６６…スペクトル選択部、７１…短時間パワー算出部、７２…録音レベル制御部、７３…増幅器、７４…乗算部、Ｉａ…入力音声スペクトル信号、Ｉｂ…雑音除去後の音声スペクトル信号、Ｘｖ…雑音スペクトル信号、Ｒｖ…入力モータ音スペクトル信号。

Claims (10)

1. 音声付き動画撮影を行う場合に、音声信号から撮影動作に伴って発生する機構音を雑音として除去して記録する音声記録機能を備えた撮像装置であって、
   音声信号を入力する第１の入力手段と、
   この第１の入力手段を通じて事前に採取した機構音のスペクトルを第１の雑音スペクトルとして複数パターン記憶した第１の記憶手段と、
   機構音の発生源近傍に設けられた第２の入力手段と、
   この第２の入力手段を通じて事前に採取した機構音のスペクトルを第２の雑音スペクトルとして、前記第１の雑音スペクトルの各パターンと関連付けて複数パターン記憶した第２の記憶手段と、
   撮影時に前記第２の入力手段から得られる機構音のスペクトルに基づいて前記第２の記憶手段の中から当該機構音の特性に応じた第２の雑音スペクトルを選択すると共に、前記第１の記憶手段の中から当該第２の雑音スペクトルに対応した第１の雑音スペクトルを選択する選択手段と、
   前記第１の入力手段から得られる音声信号のスペクトルから前記選択手段によって選択された第１の雑音スペクトルに所定の係数を乗じた信号を減算することで雑音成分を除去する雑音除去手段と、
   この雑音除去手段によって得られた雑音除去後の音声スペクトルを元の音声信号に逆変換する逆変換手段と、
   この逆変換手段によって得られた音声信号を撮影画像と共に記録する記録手段と
   を具備したことを特徴とする撮像装置。
2. 撮影時に前記第２の入力手段から得られる機構音のスペクトルと、前記第２の記憶手段に記憶された雑音スペクトルの各パターンとの類似度を計算する類似度計算手段を備え、
   前記選択手段は、前記類似度計算手段の計算結果に基づいて前記第２の記憶手段の中から最も類似度の高い第２の雑音スペクトルを選択し、前記第１の記憶手段の中から当該第２の雑音スペクトルに対応した第１の雑音スペクトルを選択することを特徴とする請求項１記載の撮像装置。
3. 前記機構音は、撮影動作に関連した特定のモータの駆動音を含み、
   前記第１および第２の記憶手段には、少なくとも前記モータの駆動開始時、定常回転時、駆動停止時の３つの期間に対応した雑音スペクトルの各パターンが記憶されていることを特徴とする請求項１記載の撮像装置。
4. 前記機構音は、撮影動作に関連した特定のモータの駆動音を含み、
   前記第１および第２の記憶手段には、前記モータを所定方向に駆動させた場合と前記所定方向とは反対の方向に駆動させた場合の雑音スペクトルの各パターンが記憶されていることを特徴とする請求項１記載の撮像装置。
5. 前記機構音は、撮影動作に関連した特定のモータの駆動音を含み、
   前記第１および第２の記憶手段には、前記モータを所定方向に駆動させた場合と前記所定方向とは反対の方向に駆動させた場合とで、少なくとも前記モータの駆動開始時、定常回転時、駆動停止時の３つの期間に対応した雑音スペクトルの各パターンが記憶されていることを特徴とする請求項１記載の撮像装置。
6. 前記第２の入力手段から得られる機構音のパワーを算出するパワー算出手段と、
   このパワー算出手段によって算出された機構音のパワーに基づいて前記雑音除去手段による雑音除去動作を制御する制御手段と
   を備えたことを特徴とする請求項１乃至５のいずれか１つに記載の撮像装置。
7. 前記制御手段は、前記パワー算出手段によって算出された機構音のパワーが所定値より小さい場合に前記雑音除去手段による雑音除去動作を禁止し、前記機構音のパワーが所定値以上の場合に前記雑音除去手段による雑音除去動作を許可することを特徴とする請求項６記載の撮像装置。
8. 前記第１の入力手段から得られる音声信号を増幅する増幅手段と、
   前記音声信号のパワーを算出し、そのパワー値に基づいて前記増幅手段の増幅率を調整する増幅率調整手段と、
   この増幅率調整手段によって調整された前記増幅手段の増幅率に合わせて前記第１の雑音スペクトルに乗じる係数の値を変更する係数可変手段と
   を備えたことを特徴とする請求項１乃至５のいずれか１つに記載の撮像装置。
9. 音声信号を入力する第１の入力部とは別に、機構音の発生源近傍に第２の入力部が設けられた撮像装置に用いられる音声記録方法であって、
   前記第１の入力部を通じて事前に採取した機構音のスペクトルを第１の雑音スペクトルとして第１の記憶部に複数パターン記憶するステップと、
   前記第２の入力部を通じて事前に採取した機構音のスペクトルを第２の雑音スペクトルとして、前記第１の雑音スペクトルの各パターンと関連付けて第２の記憶部に複数パターン記憶するステップと、
   撮影時に前記第２の入力部から得られる機構音のスペクトルに基づいて前記第２の記憶部の中から当該機構音の特性に応じた第２の雑音スペクトルを選択すると共に、前記第１の記憶部の中から当該第２の雑音スペクトルに対応した第１の雑音スペクトルを選択するステップと、
   前記第１の入力部から得られる音声信号のスペクトルから前記選択された第１の雑音スペクトルに所定の係数を乗じた信号を減算することで雑音成分を除去するステップと、
   この雑音除去後の音声スペクトルを元の音声信号に逆変換するステップと、
   この逆変換手段によって得られた音声信号を撮影画像と共に所定のメモリに記録するステップと
   を備えたことを特徴とする音声記録方法。
10. 音声信号を入力する第１の入力部とは別に、機構音の発生源近傍に第２の入力部が設けられた撮像装置に搭載されたコンピュータによって実行されるプログラムであって、
    前記コンピュータに、
    前記第１の入力部を通じて事前に採取した機構音のスペクトルを第１の雑音スペクトルとして第１の記憶部に複数パターン記憶する機能と、
    前記第２の入力部を通じて事前に採取した機構音のスペクトルを第２の雑音スペクトルとして、前記第１の雑音スペクトルの各パターンに関連付けて第２の記憶部に複数パターン記憶する機能と、
    撮影時に前記第２の入力部から得られる機構音のスペクトルに基づいて前記第２の記憶部の中から当該機構音の特性に応じた第２の雑音スペクトルを選択すると共に、前記第１の記憶部の中から当該第２の雑音スペクトルに対応した第１の雑音スペクトルを選択する機能と、
    前記第１の入力部から得られる音声信号のスペクトルから前記選択された第１の雑音スペクトルに所定の係数を乗じた信号を減算することで雑音成分を除去する機能と、
    この雑音除去後の音声スペクトルを元の音声信号に逆変換する機能と、
    この逆変換手段によって得られた音声信号を撮影画像と共に所定のメモリに記録する機能と
    を実現させることを特徴とするプログラム。

Images