JP2011205527A - 撮像装置及び方法、並びにプログラム - Google Patents

Abstract

【課題】メモリ容量の増大を抑制しつつ、ノイズの低減効果を向上させることができるようにする。
【解決手段】 光学ブロックは、ズームレンズとズーム駆動機構とを少なくとも含み、被写体を撮像して被写体の画像データを出力する。音声処理部９２は、外部から入力される音声のデータを取得し、入力音声データとして出力する。ノイズテーブル１４１は、複数のズームパターンが予め定義されており、実測されたノイズのデータをノイズパターンとして保持している。認識部１２１は、ズームレンズの移動が、複数のズームパターンのうち何れに該当するのかを認識する。ノイズパターン選択部１２２は、ズームパターンに対応するノイズパターンをノイズテーブル１４１から選択する。ズームノイズ低減部１２３は、外部から入力された音声からノイズを低減するズームノイズ低減処理を実行する。本発明は、デジタルビデオカメラに適用することができる。
【選択図】図３

Description

本発明は、撮像装置及び方法、並びにプログラムに関し、特に、メモリ容量の増大を抑制しつつ、ノイズの低減効果を向上させることができるようにした、撮像装置及び方法、並びにプログラムに関する。

一般的に、デジタルカメラは、被写体を撮像して、その結果得られる動画像のデータを記録する場合、被写体の周囲の音声のデータも併せて記録することができる。なお、このような被写体の周囲の音声のように、記録の目的となる音声を、以下、「目的音」と称する。また、デジタルカメラは、レンズを移動させることで、撮像中に被写体をフォーカスしたりズームすることができる。

しかしながら、レンズの移動中にデジタルカメラから発生する音声、例えば、レンズを駆動するズーム駆動機構やフォーカス駆動機構といったレンズデバイスの駆動音が、ノイズとして目的音に重畳されてしまう。

このため、従来から、このようなノイズを低減させることが望まれている。このような要望に応えるための従来の手法として、「スペクトルサブトラクション法」と称される手法が知られている。（例えば、特許文献１，２参照）。

スペクトルサブトラクション法とは、次のような手法をいう。

すなわち、レンズの複数の移動パターンについて、各移動パターン毎に、予めノイズが測定され、測定されたノイズに対してFFT（Fast Fourier Transform：高速フーリエ変換処理）が施され、その結果得られる周波数領域のデータが所定のテーブルに格納される。ここで、ノイズの周波数領域のデータを、以下、「ノイズパターン」と称する。レンズの各移動パターン毎のノイズパターンを格納するテーブルを、以下、「ノイズテーブル」と称する。

このようなノイズテーブルが予めデジタルカメラのメモリに記録された状態で、目的音にノイズが重畳された音声のデータが提供されると、デジタルカメラは、重畳されたノイズに対応するノイズパターンをノイズテーブルから取得する。次に、デジタルカメラは、周波数領域で、提供された音声のデータから、取得したノイズパターンを減算することで、ノイズが低減された目的音のデータを抽出する。

特開２００５−２２８４００号公報 特開平０８−２２１０９２号公報

しかしながら、従来のスペクトルサブトラクション法では、ノイズテーブルに格納するノイズパターンの種類数が増加すると、ノイズの低減効果は高くなるが、ノイズテーブルのデータ容量が増大するため、その分だけ、ノイズテーブルを記録するメモリの容量を増加させる必要がある。ところが、メモリの容量の増加はコストアップにつながることから好ましくない。特に、デジタルカメラとしてローエンドのモデルの需要増大が予測されているが、このような低コストで製作しなければならないローエンドのモデルに対して、コストアップにつながるメモリの容量の増加は好ましくない。

逆に、従来のスペクトルサブトラクション法では、ノイズテーブルに格納するノイズパターンの種類数が減少すると、ノイズテーブルのデータ容量が減少するため、その分だけ、ノイズテーブルを記録するメモリの容量を減少させることができる。ところが、その分だけノイズの低減効果は低くなる。

本発明は、このような状況に鑑みてなされたものであり、メモリ容量の増大を抑制しつつ、ノイズの低減効果を向上させることができるようにするものである。

本発明の一側面の撮像装置は、ズームレンズと、前記ズームレンズを駆動するズーム駆動機構とを少なくとも含み、被写体を撮像することによって前記被写体の画像データを出力する撮像手段と、外部から入力される音声のデータを取得し、入力音声データとして出力する音声処理手段と、前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータをノイズパターンとして保持する保持手段と、前記撮像手段により前記被写体が撮像されている最中の所定の期間に前記ズーム駆動機構により前記ズームレンズが駆動された場合、前記所定の期間における前記ズームレンズの移動が、複数の前記ズームパターンのうち何れに該当するのかを認識する認識手段と、前記認識手段により認識された前記ズームパターンに対応する前記ノイズパターンを前記保持手段から選択するノイズパターン選択手段と、前記ノイズパターン選択手段により選択された前記ノイズパターンと、前記所定の期間に前記音声処理手段から出力された前記入力音声データとを用いて、前記所定の期間に外部から入力された前記音声から前記ノイズを低減するズームノイズ低減処理を実行するノイズ低減処理手段とを備える。

前記音声処理手段は、時間領域の入力音声データを出力し、前記保持手段は、複数の前記ズームパターン毎に、実測された音声の周波数領域のデータをノイズパターンとして保持しており、前記ノイズ低減処理手段は、前記所定の期間に前記音声処理手段により出力された前記時間領域の入力音声データを、周波数領域の入力音声データに変換する変換手段と、前記変換手段により変換された前記周波数領域の入力音声データから、前記ノイズパターン選択手段により選択された前記ノイズパターンを減算し、その結果得られる、前記所定の期間に外部から入力された前記音声から前記ノイズが低減された音声のデータを、周波数領域のノイズ低減音声データとして出力する減算処理手段と、前記減算処理手段から出力された前記周波数領域のノイズ低減音声データを、時間領域の音声データに逆変換する逆変換手段とを有することができる。

前記ズームレンズが、前記ズームレンズ駆動機構の駆動によって、複数の前記ズームパターンのうちの何れかのパターンに従って移動したとき、前記認識手段は、前記所定の期間にズームレンズが複数の前記ズームパターンのうちの何れのパターンに従って移動したのかを認識することによって、前記所定の期間における前記ズームレンズの移動に該当するズームパターンを認識することができる。

前記ズームレンズが、前記ズームレンズ駆動機構の駆動によって、連続移動したとき、前記認識手段は、前記所定の期間に前記ズームレンズが移動した軌跡が、複数の前記ズームパターンのうちの何れに属しているのかを判定し、属していると判定した前記ズームパターンを、前記所定の期間における前記ズームレンズの移動に該当するズームパターンとして認識することができる。

前記撮像手段は、フォーカスレンズと、前記フォーカスレンズ駆動機構とをさらに含み、前記保持手段は、さらに、前記フォーカス駆動機構の駆動音が含まれるノイズのデータのノイズパターンを保持することができる。

本発明の一側面の撮像方法及びプログラムは、上述した本発明の一側面の撮像装置に対応する方法及びプログラムである。

本発明の一側面の撮像装置及び方法並びにプログラムにおいては、ズームレンズと、前記ズームレンズを駆動するズーム駆動機構とが少なくとも含まれ、被写体を撮像することによって前記被写体の画像データが出力される。外部から入力される音声のデータが取得され、入力音声データとして出力される。前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータがノイズパターンとして保持される。前記被写体が撮像されている最中の所定の期間に前記ズーム駆動機構により前記ズームレンズが駆動された場合、前記所定の期間における前記ズームレンズの移動が、複数の前記ズームパターンのうち何れに該当するのかが認識され、認識された前記ズームパターンに対応する前記ノイズパターンが選択される。選択された前記ノイズパターンと、前記所定の期間に出力された前記入力音声データとを用いて、前記所定の期間に外部から入力された前記音声から前記ノイズを低減するズームノイズ低減処理が実行される。

以上のごとく、本発明によれば、メモリ容量の増大を抑制しつつ、ノイズの低減効果を向上させることができる。

本発明が適用される撮像装置の背面側の外観構成例を示す図である。 本発明が適用される撮像装置の内部構成例を示すブロック図である。 ズームノイズ低減処理を実行するソフトウエアの機能的構成例を示すブロック図である。 ズームノイズ低減部の機能的構成例を示すブロック図である。 ズームノイズ低減処理を説明する模式図である。 固定方式について説明する図である。 ノイズパターンの一例を示す図である。 音声データ加工処理の一例を説明するフローチャートである。 ユーザ操作について説明する図である。

[撮像装置の外観構成例]
図１は、本発明が適用される撮像装置１の背面図である。

ここで、撮像装置１の「背面」とは、正面と対向する面をいう。「正面」とは、撮像時に被写体の側に向けられる面、すなわちレンズが設けられている面をいう。また、以下、背面と正面とに垂直な面のうち、撮影時に上側に配置される面を「上面」と称する。

本実施形態では、図１に示されるように、撮像装置１は、デジタルカメラとして構成されている。図１に示されるように、撮像装置１の上面のうち、背面から見て右側には、画像のデータの記録指示を行う機能が割り当てられているシャッタキー１１が設けられている。すなわち、ユーザは、被写体の画像が撮像されている時に、シャッタキー１１を押下することで、撮像されている被写体の画像（以下、撮像画像と称する）のデータの記録を指示する。

本実施形態では、ユーザは、動画像のデータの記録を指示する場合、メニューキー１４を押下してメニュー画面を撮像装置１の表示部１８に表示させた上で、十字キー１５や決定キー１６を適宜操作することで、撮像装置１の動作モードとして動画記録モードを選択する。このようにして、動画記録モードが選択された状態で、ユーザによってシャッタキー１１が押下されと、撮像装置１は、動画像のデータの記録の処理を開始し、その後、シャッタキー１１が再度押下されると、動画像のデータの記録の処理を終了する。

撮像装置１の背面の右側の領域には、操作キーとして、図１中上側から順に、ズームキー１２、画面キー１３、メニューキー１４、十字キー１５、決定キー１６、及び表示切替キー１７が設けられている。

ズームキー１２には、撮像装置１が被写体を撮像している最中に、望遠（Tele）の指示（すなわち被写体の拡大指示）又は広角（Wide）の指示（すなわち被写体の縮小指示）を行う機能が割り当てられている。具体的には、ズームキー１２においては、「Ｔ」と印字された部分に対して望遠（Tele）の指示を行う機能が割り当てられており、「Ｗ」と印字された部分に対して広角（Wide）の指示を行う機能が割り当てられている。そこで、以下、ズームキー１２のうち、「Ｔ」と印字された部分を「Teleキー」と称し、「Ｗ」と印字された部分を「Wideキー」と称する。

ズームキー１２の下側の左側に設けられた画面キー１３には、後述する表示部１８の表示をオン／オフする指示を行う機能が割り当てられており、その右側に設けられたメニューキー１４には、メニュー画面を表示させる指示を行う機能が割り当てられている。

画面キー１３やメニューキー１４の下方に設けられた十字キー１５ａ乃至ｄには、次のような各種機能が割り当てられている。例えば、撮像装置１がフォーカス動作をする際に、表示部１８に表示された撮像画像に対して設定される複数の領域から焦点判定領域を選択する指示を行う機能が、十字キー１５ａ乃至ｄに割り当てられている。ここで、焦点判定領域とは、撮像装置１がフォーカス動作をする際に、焦点が合っているか否かの判定を行う領域をいう。

また、例えば、メニュー画面が表示されている際に、カーソルを上、右、下、または左に移動させる指示を行う機能が、十字キー１５ａ乃至ｄに割り当てられている。

十字キー１５ａ乃至ｄの中央に設けられた決定キー１６には、複数の項目を含むメニュー画面が表示されている際に、カーソルの配置位置に存在する項目を選択する指示を行う機能が割り当てられている。

従って、ユーザは、メニュー画面が表示されている状態で、十字キー１５ａ乃至ｄ、および決定キー１６のうち必要なキーを適宜押下操作することで、カーソルを所望の項目に移動させ、その項目を選択する指示を行うことができる。

例えば、複数のズーム駆動方式の各々を示す複数の項目が、メニュー画面に表示される場合がある。このような場合、ユーザは、十字キー１５ａ乃至ｄのうち任意の方向のキーを適宜押下操作して、所望のズーム駆動方式を示す項目にカーソルを配置させた後、決定キー１６を押下操作してその項目の選択を指示することで、その項目が示す所望のズーム駆動方式を選択することができる。なお、このようなズーム駆動方式として、次のような固定方式と連続方式がある。

固定方式とは、予め幾つかの種類のズーム倍率が固定されており、例えば等倍（１倍），１．４倍，２倍，３倍，４倍，５倍といった５種類の固定されたズーム倍率が用意されており、固定されたズーム倍率に従って、ズームレンズがズーム駆動機構によって駆動される方式をいう。

連続方式とは、ズーム倍率が下限値から上限値まで連続して変化するように、ズームレンズがズーム駆動機構によって駆動される方式をいう。このとき、ズームキー１２の可動範囲のうち、下限位置にはズーム倍率の下限値が予め対応付けられ、上限位置にはズーム倍率の上限値が予め対応付けられている。具体的には例えば、ズーム倍率の下限値は等倍（１倍）であり、ズーム倍率の上限値は５倍であるとする。この場合、例えば、ズームキー１２の可動範囲が１００等分された各々の位置に、ズーム倍率が１乃至５倍の範囲が１００等分された各々の値が対応付けられている。このように、連続方式を採用する場合には、ズーム倍率の各値はズームキー１２の可動範囲内でマッピングされている。なお、ズーム駆動方式の詳細については図６と図７を参照して後述する。

このようなズーム駆動方式を選択する際に操作される十字キー１５ａ乃至ｄの下方には、表示部１８の表示を切り替える指示を行う機能が割り当てられた表示切替キー１７が設けられている。

以上、撮像装置１に設けられる操作キーについて説明してきたが、上述した操作キーの配置位置や種類は例示である。すなわち、各種の操作キーの配置位置や種類は上述した例に特に限定されない。

撮像装置１の背面の左側の領域には、各種の画像を表示する表示部１８が設けられている。なお、表示部１８は、その画面上にタッチパネルを設け、タッチパネルによってユーザの操作を受け付けるようにしてもよい。

[撮像装置の内部構成例]
図２は、図１の撮像装置１の内部構成例を示すブロック図である。

撮像装置１は、カメラ部３１、カメラDSP（Digital Signal Processor）３２、SDRAM（Synchronous Dynamic Random Access Memory）３３、フォーカス判定部３４、制御部３５、操作部３６、表示制御部３７、表示部１８、外部インタフェース（外部I/F）３８、および記録部３９を備えている。

また、撮像装置１には、着脱可能な記録媒体４０が装着されている。記録媒体４０としては、半導体メモリを用いたいわゆるメモリカード、DVD（Digital Versatile Disc）やCD（Compact Disc）等の光記録媒体、磁気ディスクなどの種々の記録媒体を採用することができる。この記録媒体４０には、デジタルの画像信号（以下、画像データと称する）が所定の画像ファイルフォーマットに準拠して記録される。撮像装置１は、例えば被写体を撮像した結果得られる画像データをJPEG（Joint Photographic Experts Group）方式で圧縮符号化したのち、Exif(Exchange image file format)と称される画像ファイルフォーマットに準拠して、DCF(Design rule for Camera File system)規定に従って記録媒体４０に記録する。

カメラ部３１は、光学ブロック６１、撮像素子６２、前処理部６３、光学ブロック用ドライバ６４、タイミング信号生成部６５、および撮像素子ドライバ６６を備えている。

撮像手段としての光学ブロック６１は、レンズ、ズーム駆動機構、フォーカス駆動機構、シャッタ駆動機構、絞り（アイリス）駆動機構などを備えている。

レンズとしては、フォーカスレンズやズームレンズが設けられている。フォーカスレンズは、撮像素子６２の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。

ズーム駆動機構は、光学ブロック用ドライバ６４の制御の下、ズームレンズを光軸方向に進退駆動する。ズームレンズが進退駆動されることで、焦点距離が変化して、すなわち撮影画角が変化して、画像内の被写体像が拡大又は縮小される。

フォーカス駆動機構は、光学ブロック用ドライバ６４の制御の下、フォーカスレンズを光軸方向に進退駆動する。フォーカスレンズが進退駆動されることで、焦点の調整が行われる。

シャッタ駆動機構は、光学ブロック用ドライバ６４の制御の下、例えばシャッタ羽根や、そのシャッタ羽根を開閉させる開閉機構を備えている。なお、電子シャッタで動作される場合、撮像素子６２には被写体からの光が常に入射され、その画像がスルー画像として表示部１８に表示される。シャッタキー１１が操作されたとき、その時点の撮像画像が取り込まれ、SDRAM３３、記録媒体４０に記録される。

絞り駆動機構は、光学ブロック用ドライバ６４の制御の下、撮像素子６２に入射される光束の光量を調節する。

撮像素子６２は、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）型のセンサとして構成されている。撮像素子６２は、撮像素子ドライバ６６によって駆動されて、光学ブロック６１を介して撮像面上に結像された光学像の光電変換を行う。すなわち、撮像素子６２には、カメラ部３１のレンズからシャッタ機構を介して被写体像が入射される。そこで、撮像素子６２は、一定時間毎に被写体像を光電変換（撮影）して画像信号を蓄積し、蓄積した画像信号をアナログ信号として、前処理部６３に出力する。

前処理部６３は、撮像素子６２から出力されたアナログの画像信号に対して、CDS（Correlated Double Sampling）処理を施す。これにより、アナログの画像信号から、リセットノイズ、1/f雑音、熱抵抗雑音等が除去されるので、当該アナログの画像信号のS/N(Signal/Noise)比を良好に保つことができる。また、前処理部６３は、AGC（Automatic Gain Control）処理を実行することによって、アナログの画像信号の利得を制御する。さらに、前処理部６３は、A/D（Analog/Digital）変換処理を行って、CDS処理やAGC処理が行われたアナログの画像信号をデジタルの画像信号、すなわち画像データに変換して、カメラDSP３２に出力する。

光学ブロック用ドライバ６４は、制御部３５の制御の下、光学ブロック駆動信号を生成して光学ブロック６１に出力することによって、光学ブロック６１の動作を制御する。

例えば、詳細については後述するが、ズームキー１２が押下操作されると、ズーム倍率の変更指示が、制御部３５から光学ブロック用ドライバ６４に対してなされる。ここで、所定のズーム倍率に対して、当該ズーム倍率に対応する焦点距離となるズームレンズの位置（以下、「ズーム倍率のズームレンズ位置」と称する）が予め決定されている。そこで、光学ブロック用ドライバ６４は、指示された変更後のズーム倍率のズームレンズ位置を示す光学ブロック駆動信号を生成して、光学ブロック６１のズーム駆動機構に出力する。すると、ズーム駆動機構は、光学ブロック駆動信号が示す変更後のズーム倍率のズームレンズ位置まで、ズームレンズを進退駆動する。

タイミング信号生成部６５は、制御部３５からの制御に応じてタイミング信号を生成する。撮像素子ドライバ６６は、タイミング信号生成部６５で生成されたタイミング信号に基づいて駆動信号を生成し、生成した駆動信号を撮像素子６２に出力することによって撮像素子６２を駆動する。

カメラDSP３２は、カメラ信号処理部７１、圧縮／伸張部７２、解像度変換部７３、およびSDRAMコントローラ７４等を有している。

カメラ信号処理部７１は、前処理部６３から出力されたデジタルの画像信号、すなわち画像データに対して、黒レベル補正処理、ホワイトバランス（ＷＢ）処理、γ補正処理、色補正処理等の各種画像処理を施す。以下、これらの画像処理をまとめて、カメラ信号処理と称する。カメラ信号処理後の画像データは、SDRAMコントローラ７４の制御によりSDRAM３３に一旦記憶される。

圧縮／伸張部７２は、制御部３５の制御の下、カメラ信号処理後の画像データをSDRAM３３から読み出して、例えばJPEG方式等に従って圧縮符号化処理を施す。圧縮符号化処理が施された画像データ（以下、圧縮符号化データと称する）は、SDRAM３３又は後述する記録媒体４０に記憶される。

圧縮／伸張部７２はまた、制御部３５の制御の下、圧縮符号化データをSDRAM３３又は後述する記録媒体４０から読み出して、例えばJPEG方式等に従って伸長復号化処理を施し、その結果得られる画像データを、解像度変換部７３に適宜供給する。

解像度変換部７３は、カメラ信号処理後の画像データや、圧縮／伸張部７２による伸張復号化処理の結果として得られた画像データに対して、解像度変換処理を施し、その結果、解像度が変換された画像データを制御部３５に出力する。

SDRAMコントローラ７４は、SDRAM３３に対して各種情報を記憶させ、SDRAM３３に記憶された各種情報の読み出しを制御する。

SDRAM３３は、カメラ信号処理後の画像データを一時的に記憶する。また、SDRAM３３は、各種画像処理に必要な情報や、画像表示用の画像データ等も記憶する。

フォーカス判定部３４は、制御部３５からの要求に応じて、撮像素子６２から出力されたアナログの画像信号のうち、撮像画像に対して設定される複数の領域の中から焦点判定領域として指示された領域の画像信号に基づいて、合焦度合いを算出し、その算出結果を制御部３５に通知する。

制御部３５は、例えばCPU(Central Processing Unit)８１、フラッシュROM（Read Only Memory）８２、RAM（Random Access Memory）８３、計時部８４が、システムバス８５を介して接続されている。また、システムバス８５には、フォーカス判定部３４、表示制御部３７、外部I/F３８、記録部３９が接続されている。

フラッシュROM８２は、CPU８１において実行する種々のプログラムや、各処理に必要とされるデータなどが記憶されている。本実施形態では、後述するノイズテーブル１４１はフラッシュROM８２に記録されている。

RAM８３は、CPU８１がプログラムを実行する際の作業領域や、処理の途中結果を一時的に記憶するなどの作業領域として使用される。また、計時部８４は、計時動作をすることによって、現在の年月日、現在の曜日、現在の時刻や撮像日時などを取得する。

CPU８１は、フラッシュROM８２に記憶されている種々のプログラムを実行することで、各種制御を実行する。

例えば、CPU８１は、ユーザ操作に応じた操作信号が操作部３６から供給されると、撮像装置１の動作がユーザ操作に応じた動作となるように、操作部３６からの操作信号に応じて各部の動作を制御する。

具体的には例えば、CPU８１は、表示制御部３７等を制御することで、表示部１８にスルー画像を表示させる。スルー画像とは、SDRAM３３に現在記憶されている画像データに対応する撮像画像であって、記録媒体４０に当該画像データが記録されていない場合にも表示部１８にリアルタイムに表示される画像である。このため、スルー画像は、ライブビュー画像とも称されている。スルー画像を見たユーザが、シャッタキー１１を押下操作すると、CPU８１は、記録指示がなされたと解釈して、スルー画像の画像データを記録媒体４０に記録させる制御を実行する。

また例えば、CPU８１は、いわゆるＡＦ（Auto Focus）制御を実行することもできる。

CPU８１は、表示制御部３７等を制御することで、スルー画像内の複数の領域を囲む枠を表示部１８に表示させることができる。ユーザは、操作部３６を操作することによって、これらの複数の枠のうち、焦点判定領域としたい領域の枠を選択する指示を行う。CPU８１は、この指示を受けて、焦点判定領域を特定し、焦点判定領域内の合焦度合いの通知をフォーカス判定部３４に要求する。

CPU８１は、フォーカス判定部３４からの合焦度合いの通知を受けると、光学ブロック制御信号を生成して、光学ブロック用ドライバ６４に出力する。

光学ブロック用ドライバ６４は、指示された合焦度合いを示す光学ブロック駆動信号を生成して、光学ブロック６１のフォーカス駆動機構に出力する。すると、フォーカス駆動機構は、光学ブロック駆動信号が示す合焦度合いになるまで、フォーカスレンズを進退駆動する。

さらにまた、CPU８１は、ズーム制御を実行することができる。ズーム制御の詳細については、図６を参照して後述する。

操作部３６は、図１を参照して説明した各種の操作キーを含むように構成されており、ユーザ操作に応じた操作信号を制御部３５のCPU８１に供給する。

表示制御部３７には、液晶表示素子等を用いて構成された表示部１８が接続されている。表示制御部３７は、制御部３５から供給された画像データに基づき表示駆動信号を生成して表示部１８に出力することで、表示部１８に当該画像データに基づく画像を表示させる。

外部I/F３８は、撮像装置１と、外部の各種機器、例えばコンピュータ装置や通信モジュールとを接続するためのインタフェースである。この外部I/F３８を利用することで、例えば、コンピュータ装置から各種情報の供給を受けて、これを装着された記録媒体４０に記録したり、装着された記録媒体４０に記録されている各種情報をコンピュータ装置に供給可能とする。また、通信モジュールを介してインターネットなどのネットワークに接続して、ネットワークを通じて種々の情報を取得して記録媒体４０に記録することが可能となる。さらに、記録媒体４０に記録されている各種情報を、ネットワークを通じて目的とする相手先に送信することが可能となる。なお、外部I/F３８は、IEEE(Institute of Electrical and Electronics Engineers)１３９４、USB(Universal Serial Bus)等の有線インタフェース、光や電波による無線インタフェースである。

記録部３９は、記録媒体４０に画像データや音声データ等の各種情報を記録したり、記録媒体４０に記録されている画像データや音声データ等の各種情報を読み出すためのインタフェースである。

音声処理部９２は、外部から入力される音声のデータを取得し、所定の処理を施して音声データとして出力する。マイクロホン９１によって入力された音声は、音声処理部９２によりA/D変換処理が施された後、音声データとしてCPU８１に供給される。CPU８１において後述するズームノイズ低減処理等が施された音声データは、例えば、記録部３９により記録媒体４０に記録される。逆に記録媒体４０から読み出された音声データは、音声処理部９２によりA/D変換処理が施され、スピーカ９３に出力される。スピーカ９３は、音声処理部９２から供給された音声データに基づいて音声を出力する。

なお、点線枠に含まれる操作部３６、記録部３９、記録媒体４０、CPU８１、フラッシュROM８２、マイクロホン９１、音声処理部９２、およびスピーカ９３は、本実施の形態のノイズ低減処理に関わる主な構成要素である。

このように構成された撮像装置１は、例えば撮像を行う際に、ユーザが構図を決めることができるように、スルー画像を表示部１８に表示させる。スルー画像を見たユーザが、シャッタキー１１を押下操作すると、CPU８１は、記録指示がなされたと解釈して、スルー画像の画像データを記録媒体４０に記録させる制御を実行する。

ここで、撮像装置１の動作モードが動画記録モードになっている場合、所定時間間隔毎のスルー画像をフレーム画像として、複数のフレーム画像が所定の順番に配置されて構成される動画像のデータが、記録媒体４０に記録される。このとき、外部の音声（目的音）のデータもあわせて記録媒体４０に記録される。

また例えば、撮像装置１は、撮像中にいわゆるＡＦ制御を実行することもできる。すなわち、撮像装置１は、スルー画像内の複数の領域を囲むＡＦ枠を表示部１８に表示させる。ユーザは、操作部３６を操作することによって、これらの複数のＡＦ枠のうち、所望のＡＦ枠を選択する指示を行う。撮像装置１は、この指示を受けて、ユーザにより選択されたＡＦ枠を焦点判定領域として、焦点判定領域を用いて合焦度合いを算出する。そして、撮像装置１は、算出した合焦度合いに基づいて、フォーカスレンズを光軸方向に進退駆動することにより、フォーカスの調整を行う。

さらにまた、撮像装置１は、撮像中にいわゆるズーム制御を実行することができる。ユーザは、ズームキー１２を押下することによって、ズーム倍率の変更指示を行う。撮像装置１は、この変更指示に基づいて、変更後のズーム倍率のズームレンズ位置を特定し、特定したズームレンズ位置まで、ズームレンズを進退駆動する。

ここで、ズームレンズの進退駆動は、ズーム駆動機構の制御に基づいて行われる。従って、撮像装置１の動作モードが動画記録モードになっている場合、すなわち、音声のデータの記録媒体４０への記録が行われている場合にズーム制御が実行されると、ズーム駆動機構の駆動音等がノイズとして重畳された目的音がマイクロホン９１に入力される。このようなマイクロホン９１から入力された、ノイズが重畳された目的音は、アナログの音声信号として音声処理部９２に入力され、音声データになる。

そこで、本実施形態では、撮像装置１は、このようなズーム制御時に取得された音声データに対しては、ノイズを低減する処理（以下、ズームノイズ低減処理と称する）を施した上で、記録媒体４０に記録する。

本実施形態では、ズームノイズ低減処理の内容は、ノイズが発生した時点のズーム制御の内容に応じて適宜変化する。より具体的には、ノイズが発生した時点のズーム制御の内容（すなわち後述するズーム倍率）に応じて、ズームノイズ低減処理に用いるノイズパターンが変化する。すなわち、撮像装置１は、ノイズが発生した時点のズーム制御の内容を認識し、その認識結果に応じてノイズパターンを取得し、取得したノイズパターンを用いてズームノイズ低減処理を実行する。このようなズームノイズ低減処理を含む一連の処理を、以下、「音声データ加工処理」と称する。音声データ加工処理の詳細については、図８を参照して後述する。

[ズームノイズ低減処理を実行するソフトウエアの機能的構成例]
図３は、図２のCPU８１が実行するソフトウエアの機能のうち、ズームノイズ低減処理を実行するソフトウエアの機能的構成例を示すブロック図である。

図３のCPU８１は、認識部１２１、ノイズパターン選択部１２２、およびズームノイズ低減部１２３から構成される。

すなわち、本実施形態では、CPU８１は、所定のプログラムを実行することにより、認識部１２１、ノイズパターン選択部１２２、およびズームノイズ低減部１２３の各機能を発揮させることができる。この場合、フラッシュROM８２やRAM８３に記憶されている種々のデータが適宜用いられる。

認識部１２１は、ズーム制御情報を取得することによりユーザが指示したズーム倍率を認識する。

ズーム制御情報とは、ユーザがズームキー１２を操作したときの各種状態に基づいて特定される情報であって、例えば本実施形態では、ズーム制御情報には、ユーザの操作に応じたズームの位置情報、ズームの方向情報、およびズームの速度情報が含まれる。

ズームの位置情報とは、少なくともズームの開始位置と終了位置とを特定可能な情報をいう。ズームの開始位置は、ユーザがズームキー１２の押下を開始した時点のズームレンズ位置である。従って、上述したように、ズーム倍率に応じてズームレンズ位置が決定されるので、開始時のズーム倍率が異なればズームの開始位置は異なる。例えば、ズーム倍率が２倍の状態から開始される場合のズームの開始位置と、ズーム倍率が４倍の状態から開始される場合のズームの開始位置とは異なる。ズームの終了位置は、ユーザがズームキー１２の押下を終了した時点（すなわち、指等をズームキー１２から離した時点）のズームレンズ位置である。

ズームの方向情報とは、TeleからWideへの方向若しくはその反対の方向を示す情報であって、ズームキー１２を構成するTeleキーやWideキーが如何に押下されたのかによって特定可能な情報である。

ズームの速度情報とは、ズームレンズの駆動速度、すなわち、ズームレンズの単位時間当たりの移動量の情報であって、例えば、上述したズームの位置情報と、ユーザがズームキー１２を操作した時間とによって特定可能な情報である。なお、ズーム駆動速度は、ズーム倍率によって変化する場合がある。

また、認識部１２１は、ユーザが操作部３６の十字キー１５や決定キー１６等を操作してメニュー画面から選択した項目を認識し、認識した項目に基づいて、ユーザの指示内容を認識する。

例えば、ズーム駆動方式を示す項目、すなわち、固定方式を示す第１項目と、連続方式を示す第２項目がメニュー画面に表示されているとする。この場合、第１項目が選択された時には、認識部１２１は、ユーザがメニュー画面からズーム駆動方式として固定方式を選択したと認識する。一方、第２項目が選択された時には、認識部１２１は、ユーザがメニュー画面からズーム駆動方式として連続方式を選択したと認識する。

ノイズパターン選択部１２２は、認識部１２１が認識したズーム倍率に基づいて、現在のズーム制御のズームパターンを認識し、認識したズーム制御のズームパターンに該当するノイズパターンを、フラッシュROM８２に記録されている保持手段としてのノイズテーブル１４１から選択する。

すなわち、ズーム制御とは、第１のズーム倍率のズームレンズ位置から第２のズーム倍率のズームレンズ位置まで、ズームレンズを移動させる制御である。従って、ズーム制御開始時の第１のズーム倍率と、ズーム制御終了時の第２のズーム倍率とをパラメータとして、これらのパラメータを変更することによって、複数のズーム制御のズームパターンを定義することができる。例えば、ズーム制御開始時の第１のズーム倍率が等倍であって、ズーム終了時の第２のズーム倍率が１．４倍になる場合と、ズーム制御開始時の第１のズーム倍率が１．４倍であって、ズーム終了時の第２のズーム倍率が２倍になる場合とでは、それぞれ異なるズーム制御のズームパターンとなる。

本実施形態では、所定のズームパターンのズーム制御が予め実行され、その際に取得されたズーム駆動機構の駆動音等の周波数領域のデータが、ズーム制御の当該所定のズームパターンに該当するノイズパターンとしてノイズテーブル１４１に格納される。このようなノイズパターンは、ズーム制御の複数のズームパターン毎にそれぞれ取得されて、ノイズテーブル１４１に格納される。従って、ノイズパターン選択部１２２は、これらの複数のノイズパターンの中から、ズーム制御の現在のズームパターンに該当するノイズパターンを選択する。なお、ノイズテーブル１４１およびノイズパターンについては図７を参照して後述する。

ノイズ低減処理手段としてのズームノイズ低減部１２３には、ズーム制御時に、マイクロホン９１から入力された音声に対して音声処理部９２によってA/D変換処理が施された結果得られる音声データが入力される。このような音声データを、以下、入力音声データと称する。

入力音声データは、目的音に対して、ズーム駆動機構の駆動音がノイズとして含まれた音声のデータである。そこで、ズームノイズ低減部１２３は、ノイズパターン選択部１２２によって選択されたノイズパターンを用いて、ズームノイズ低減処理を実行する。

具体的には、後述するように、ノイズパターンは周波数領域の音声データである一方、入力音声データは時間領域の音声データである。そこで、ズームノイズ低減部１２３は、入力音声データを周波数領域の音声データに変換する。次に、ズームノイズ低減部１２３は、周波数領域の入力音声データからノイズパターンを減算する。これにより、目的音（より正確には目的音に近い音）についての周波数領域の音声データが得られる。そこで、ズームノイズ低減部１２３は、目的音についての周波数領域の音声データを、時間領域の音声データに逆変換した上で出力する。

[ズームノイズ低減部１２３の構成例]
図４は、図３のズームノイズ低減部１２３の機能的構成例を示すブロック図である。

ズームノイズ低減部１２３は、窓かけフーリエ変換部１６１、減算処理部１６２、および逆フーリエ変換窓かけ部１６３から構成される。

変換手段としての窓かけフーリエ変換部１６１は、時間領域の入力音声データに対して、例えばハミング窓等の時間窓関数を時間軸方向にスライドさせながら乗じる窓かけ処理を施すことにより、フレーム分割による高周波数ノイズが低減された音声データを生成する。そして、窓かけフーリエ変換部１６１は、窓かけ処理が施されたフレーム単位の音声データに対してFFTを施す。これにより、周波数領域の入力音声データ（パワースペクトル密度）が得られ、減算処理部１６２に提供される。このとき、窓かけフーリエ変換部１６１から算出される周波数領域の入力音声データは、例えば、図５の左の図に示されるようなパワースペクトル密度となる。

図５は、ズームノイズ低減処理を説明する模式図である。

図５において、縦軸はパワーを示し、横軸は周波数を示している。図５の左の図は、窓かけフーリエ変換部１６１により算出され出力される周波数領域の入力音声データ、すなわち入力音声データのパワースペクトル密度を表わしている。窓かけフーリエ変換部１６１から算出される入力音声データのパワースペクトル密度は、目的音のパワースペクトル密度ＰＳと、ノイズのパワースペクトル密度ＮＳとが合成されたものである。すなわち、図５の左の図に棒グラフとして示されるパワースペクトル密度のうち、白抜きで表わされる部分が目的音のパワースペクトル密度ＰＳであり、斜線で表わされる部分がノイズのパワースペクトル密度ＮＳである。

図４の説明に戻り、減算処理部１６２は、窓かけフーリエ変換部１６１から提供された周波数領域の入力音声データ（すなわちパワースペクトル密度）から、ノイズパターン選択部１２２により選択されたノイズパターン（すなわちノイズのパワースペクトル密度）を減算する減算処理を実行する。ノイズパターン選択部１２２により選択されたノイズパターンは、例えば、図５の中央の図に示されるように、所定のズームパターンのズーム制御が予め実行された際に取得されたズーム駆動機構の駆動音のパワースペクトル密度である。ここで、説明の便宜上、図５の中央の図に示されるノイズパターンと、図５の左側の図に斜線で表わされるノイズのパワースペクトル密度ＮＳとが一致しているとする。この場合には、減算処理部１６２による減算処理の結果、図５の右の図に示されるように、目的音のパワースペクトル密度ＰＳが算出される。

図４の説明に戻り、逆変換手段としての逆フーリエ変換窓かけ部１６３は、減算処理部１６２から出力された周波数領域の音声データ、すなわち理想的には図５の右の図に示される目的音のパワースペクトル密度ＰＳに対して、逆FFTを施す。そして、逆フーリエ変換窓かけ部１６３は、逆FFTが施された結果得られる時間領域の音声データを、逆窓かけ処理を施した上で出力する。逆フーリエ変換窓かけ部１６３から出力された時間領域の音声データは、ズームノイズ低減部１２３によりノイズ成分が抑制された目的音の音声データとして、記録部３９によって記録媒体４０に記録される。また、記録媒体４０から読み出された当該目的音の音声データは、音声処理部９２によってA/D変換処理が施されてアナログの音声信号に変換されて、さらに、スピーカ９３によって、ノイズが抑制された目的音となって、外部に出力される。

このように、ズームノイズ低減部１２３は、目的音にノイズが重畳された音声の音声データが入力音声データとして入力されると、入力音声データに対してズームノイズ低減処理を施す。これにより、理想的にはノイズが除去された目的音の音声データが得られる。なお、理想的と記述したのは、実際に重畳されているノイズの周波数領域のデータ（パワースペクトル密度）と、ノイズパターン（パワースペクトル密度）とが必ずしも完全一致しないからである。すなわち、両者が完全一致すれば、ノイズは完全に除去されるが、一般的には両者の間には差異があるため、ノイズは完全には除去されるのではなく、ノイズが低減されることになる。

[固定方式によるズーム駆動方式]
図６は、ズーム駆動方式のうち固定方式について説明する図である。

上述したように、ズーム駆動方式として、固定方式と連続方式があり、本実施形態ではユーザは操作部３６を操作することによって所望のズーム駆動方式を選択することができる。

本実施形態では、ユーザがズーム駆動方式として固定方式を選択した場合、動画記録時のズーム倍率が、図６に示される５種類に固定された固定方式に従って、ズーム制御が実行される。

図６において、上段左の図は、動画記録時のズーム倍率が等倍（１倍）で被写体１８１が撮像された場合に、表示部１８に表示されるスルー画像２０１を示している。

ズーム倍率が等倍の状態でユーザがTeleキーを押下すると、ズーム倍率は等倍から１．４倍に切り替えられる。すると、光学ブロック用ドライバ６４の制御に基づきズーム駆動機構がレンズを１．４倍のズームレンズ位置まで移動させる。これにより、切り替え前はスルー画像２０１が表示部１８に表示されていたのが、切り替え後は、被写体のサイズが１．４倍に拡大したスルー画像２０２が表示部１８に表示されるようになる。

図６の上段中央の図は、動画記録時のズーム倍率が１．４倍で被写体１８１が撮像された場合に、表示部１８に表示されるスルー画像２０２を示している。このとき、表示部１８の左上の表示領域には、ズーム倍率が１．４倍であることを示す「×１．４」が表示される。

ズーム倍率が１．４倍の状態でユーザがさらにTeleキーを押下すると、ズーム倍率は１．４倍から２倍に切り替えられる。すると、光学ブロック用ドライバ６４の制御に基づきズーム駆動機構がレンズを２倍のズームレンズ位置まで移動させる。これにより、切り替え前はスルー画像２０２が表示部１８に表示されていたのが、切り替え後は、被写体のサイズが２倍に拡大したスルー画像２０３が表示部１８に表示されるようになる。

図６の上段右の図は、動画記録時のズーム倍率が２倍で被写体１８１が撮像された場合に、表示部１８に表示されるスルー画像２０３を示している。このとき、表示部１８の左上の表示領域には、ズーム倍率が２倍であることを示す「×２．０」が表示される。

同様に、ズーム倍率が２倍の状態でユーザからTeleキーを押下する毎に、ズーム倍率は２倍から３倍、３倍から４倍、４倍から５倍へと切り替えられる。すると、光学ブロック用ドライバ６４の制御に基づきズーム駆動機構はレンズを２倍のズームレンズ位置から３倍のズームレンズ位置、３倍のズームレンズ位置から４倍のズームレンズ位置、４倍のズームレンズ位置から５倍のズームレンズ位置へと移動させる。表示部１８の表示は図６の上段右の図に示されるスルー画像２０３から、下段左の図に示されるスルー画像２０４、下段中央の図に示されるスルー画像２０５、下段右の図に示されるスルー画像２０６へと変化していく。このとき、表示部１８の左上の表示領域には、ズーム倍率が３倍、４倍、５倍であることを示す「×３．０」、「×４．０」、「×５．０」が表示される。なお、ズーム倍率が５倍の状態でユーザがさらにTeleキーを押下したとしても、ズーム倍率はそれ以上大きくなることはない。

これに対して、ズーム倍率が５倍の状態でユーザがWideキーを押下すると、ズーム倍率は５倍から４倍に切り替えられる。同様に、ズーム倍率が４倍の状態からユーザがWideキーを押下する毎に、ズーム倍率は３倍、２倍、１．４倍、等倍へと切り替えられる。ズーム駆動機構は、このようにしてズーム倍率が切り替えられる毎に、光学ブロック用ドライバ６４の制御に基づいて、切り替えられたズーム倍率のズームレンズ位置へズームレンズを移動させる。表示部１８の表示は図６の下段の右の図に示されるスルー画像２０６から、スルー画像２０５、スルー画像２０４、スルー画像２０３、スルー画像２０２、スルー画像２０１へと変化していく。このとき、表示部１８の左上の表示領域には、ズーム倍率を示す表示がされる。なお、ズーム倍率が等倍の状態でユーザがさらにWideキーを押下したとしても、ズーム倍率はそれ以上小さくなることはない。

一方、ユーザがズーム駆動方式として連続方式を選択した場合、ズーム倍率は、ズームキー１２の押下状態に従って１倍乃至５倍の間で例えば０．１の幅で変化する。例えば、ズーム倍率が等倍の状態でユーザがTeleキーを押下すると、ズーム倍率は１．１倍、１．２倍、１．３倍・・・と、ユーザがTeleキーの押下を解除するまで変化する。すると、光学ブロック用ドライバ６４の制御に基づきズーム駆動機構がレンズを対応するズーム倍率のズームレンズ位置まで移動させる。これにより、被写体１８１のサイズが対応するズーム倍率に拡大したスルー画像が表示部１８に表示されるようになる。なお、ズーム倍率が５倍の状態でユーザがTeleキーの押下をし続けても、ズーム倍率はそれ以上大きくなることはない。これに対して、ズーム倍率が５倍の状態からユーザがWideキーを押下すると、ズーム倍率は５倍、４．９倍、４．８倍・・・と、ユーザがWideキーの押下を解除するまで変化する。すると、光学ブロック用ドライバ６４の制御に基づきズーム駆動機構がレンズを対応するズーム倍率のズームレンズ位置まで移動させる。これにより、被写体１８１のサイズが対応するズーム倍率に縮小したスルー画像が表示部１８に表示されるようになる。なお、ズーム倍率が等倍の状態でユーザがWideキーの押下をし続けても、ズーム倍率はそれ以上小さくなることはない。ズーム駆動方式として連続方式が選択された場合も、表示部１８の左上の領域には対応するズーム倍率が表示される。

[ノイズパターンの例]
図７は、ノイズテーブル１４１に格納されるノイズパターンの一例を示す図である。

本実施形態では、上述したように、５種類のズーム倍率を固定することによって、ズーム倍率の可動範囲が明確になる。これにより、ノイズテーブル１４１が格納するノイズパターンも、次の１０種類のノイズパターンＮ１乃至Ｎ１０に限定することが可能になる。

すなわち、ノイズパターンＮ１とは、ズーム倍率が等倍から１．４倍に切り替えられて、レンズが、ズーム倍率が開始位置である等倍のズームレンズ位置からズーム倍率が終了位置である１．４倍のズームレンズ位置に移動するまでに実際に発生したノイズの周波数領域の音声データ（スペクトル密度）をいう。すなわち、ノイズパターンＮ１とは、ズーム倍率が等倍から１．４倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンである。

ノイズパターンＮ２とは、ズーム倍率が１．４倍から２倍に切り替えられて、レンズが、ズーム倍率が開始位置である１．４倍のズームレンズ位置からズーム倍率が終了位置である２倍のズームレンズ位置に移動するまでに実際に発生したノイズの周波数領域の音声データ（スペクトル密度）をいう。すなわち、ノイズパターンＮ２とは、ズーム倍率が１．４倍から２倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンである。

同様に、ノイズパターンＮ３とは、ズーム倍率が２倍から３倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンであり、ノイズパターンＮ４とは、ズーム倍率が開始位置である３倍から終了位置である４倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンであり、ノイズパターンＮ５とは、ズーム倍率が開始位置である４倍から終了位置である５倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンである。

また、上述のズーム倍率がWideからTele方向に切り替えられるズームパターンに該当するノイズパターンＮ１乃至Ｎ５に対して、その反対方向であるTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンとしては、次の５種類のノイズパターンに限定することができる。すなわち、ズーム倍率が開始位置である５倍から終了位置である４倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンＮ６、ズーム倍率が開始位置である４倍から終了位置である３倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンＮ７、ズーム倍率が開始位置である３倍から終了位置である２倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンＮ８、ズーム倍率が開始位置である２倍から終了位置である１．４倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンＮ９、ズーム倍率が開始位置である１．４倍から終了位置である等倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンＮ１０の５種類に限定することができる。

すなわち、ズーム倍率の上限値と下限値との範囲内でズーム倍率が１０種類の範囲に分割され、このような１０種類のズーム倍率の分割範囲の各々の中でレンズが移動するといった、１０種類のズームパターンのズーム制御が定義されている。そして、これらの１０種類のズームパターンのズーム制御の各々に該当するノイズパターンが、ノイズパターンＮ１乃至Ｎ１０としてノイズテーブル１４１に格納されている。

なお、ノイズパターンＮ１乃至Ｎ１０として、ズーム駆動機構の駆動音だけの周波数領域の音声データを採用してもよい。しかしながら、実際に入力される入力音声データには、ズーム駆動機構の駆動音のみならず、ズーム駆動機構の駆動開始音および駆動終了音、その他のレンズデバイス駆動音であるフォーカス駆動機構の駆動音等もノイズとして含まれる。したがって、本実施形態では、実際にレンズを駆動させて、ズーム駆動機構の駆動音のみならず、ズーム駆動機構の駆動開始音および駆動終了音、その他のレンズデバイス駆動音であるフォーカス駆動機構の駆動音等の周波数領域の音声データを取得して、ノイズパターンとしている。

[音声データ加工処理]
図８は、音声データ加工処理の一例を説明するフローチャートである。

音声データ加工処理は、動画記録開始を指示するためシャッタキー１１が押下されると実行される。なお、図８では、説明の簡略上、ズームキー１２としてWideキーが押下されるものとして説明する。しかしながら、Teleキーが押下される場合にも対応する処理が実行されることは言うまでもない。

ステップＳ１において、認識部１２１は、ズームキー１２であるWideキーが押下されたかを判定する。

Wideキーが押下されない場合、ステップＳ１においてＮＯであると判定されて、処理はステップＳ１に戻され、それ以降の処理が繰り返される。すなわち、Wideキーが押下されるまでの間、ステップＳ１の判定処理が繰り返される。

その後、Wideキーが押下された場合には、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。

ステップＳ２において、認識部１２１は、ズーム制御情報を取得することにより、現在のズーム倍率を認識する。

ステップＳ３において、認識部１２１は、表示制御部３７を制御することによって、ステップＳ２の処理で取得した現在のズーム倍率を表示部１８の左上の領域に表示する（図６参照）。

ステップＳ４において、認識部１２１は、ズーム駆動方式として固定方式が選択されたかを判定する。すなわち、上述したように、ユーザは、十字キー１５ａ乃至ｄ、および決定キー１６のうち必要なキーを適宜押下することで、メニュー画面に表示された、固定方式を示す項目と、連続方式を示す項目とのうち、所望の項目を選択することができる。

例えば、連続方式を示す項目が選択された場合、認識部１２１は、連続方式が選択されたと認識する。この場合、ステップＳ４においてＮＯであると判定されて、処理はステップＳ８に進む。ただし、ステップＳ８以降の処理については後述する。

これに対して、固定方式を示す項目が選択された場合、認識部１２１は、固定方式が選択されたと認識する。この場合、ステップＳ４においてＹＥＳであると判定されて、処理はステップＳ５に進む。

ステップＳ５において、ノイズパターン選択部１２２は、ノイズテーブル１４１に格納されているTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンＮ６乃至Ｎ１０の中から、認識部１２１が認識したズーム倍率に該当するノイズパターンを選択する。

ステップＳ６において、ズームノイズ低減部１２３は、ステップＳ５の処理でノイズパターン選択部１２２によって選択されたノイズパターンを用いて、ズームノイズ低減処理を実行する。すなわち、ズームノイズ低減部１２３は、入力音声データを、時間領域の形態から周波数領域の形態に変換する。次に、ズームノイズ低減部１２３は、周波数領域の入力音声データから、ステップＳ５の処理でノイズパターン選択部１２２により選択されたノイズパターンを減算する。これにより、ノイズが低減された周波数領域の音声データが得られる。そこで、ズームノイズ低減部１２３は、このようにしてノイズが低減された音声データを、周波数領域の形態から時間領域の形態に変換した上で出力する。

ステップＳ７において、認識部１２１は、動画記録の終了が指示されたかを判定する。すなわち、認識部１２１は、既に開始されている動画記録の終了を指示するため再度シャッタキー１１が押下されたかを判定する。

動画記録の終了が指示されない場合、ステップＳ７においてＮＯであると判定されて、処理はステップＳ１に戻され、それ以降の処理が繰り返される。すなわち、動画記録の終了が指示されるまでの間、ステップＳ１乃至Ｓ７のループ処理が繰り返される。

その後、動画記録の終了が指示された場合、音声データ加工処理は終了する。

例えば、ズーム倍率が５倍の状態でユーザがWideキーを押下すると、ズーム倍率は４倍に切り替えられる。このとき、ステップＳ１の処理でＹＥＳであると判定されて、ステップＳ２の処理が実行される。すなわち、認識部１２１は、ズーム制御情報を取得することにより、ズーム倍率が５倍から４倍に切り替えられたことを認識し、ズーム倍率を表示部１８に表示させる。ここで、ズーム駆動方式として固定方式が選択されている場合には、ステップＳ４の処理でＹＥＳであると判定されて、ステップＳ５の処理が実行される。すなわち、ノイズパターン選択部１２２は、認識部１２１が認識したズーム倍率に基づいて、ノイズテーブル１４１に格納されているTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンＮ６乃至Ｎ１０のうち、対応する５倍乃至４倍のノイズパターンＮ６を選択する。すると、ステップＳ６の処理で、ズームノイズ低減部１２３は、ノイズパターン選択部１２２によって選択されたノイズパターンＮ６を用いて、音声処理部９２から供給された入力音声データに対してズームノイズ低減処理を実行する。その後動画記録の終了が指示されていなければ、処理はステップＳ１に戻され、ズームキー１２が再押下されるまで、ステップＳ１の判定処理が繰り返されて、音声データ加工処理が待機状態になる。

その後、ユーザが、さらにWideキーを押下すると、ズーム倍率は４倍から３倍に切り替えられる。このとき、ステップＳ１の処理でＹＥＳであると判定されて、ステップＳ２の処理が実行される。すなわち、認識部１２１は、ズーム制御情報を取得することにより、ズーム倍率が４倍から３倍に切り替えられたことを認識し、ズーム倍率を表示部１８に表示させる。ここで、ズーム駆動方式として固定方式が選択されている場合には、ステップＳ４の処理でＹＥＳであると判定されて、ステップＳ５の処理が実行される。すなわち、ノイズパターン選択部１２２は、認識部１２１が認識したズーム倍率に基づいて、ノイズテーブル１４１に格納されているTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンＮ６乃至Ｎ１０のうち、対応する４倍乃至３倍のノイズパターンＮ７を選択する。すると、ステップＳ６の処理で、ズームノイズ低減部１２３は、ノイズパターン選択部１２２によって選択されたノイズパターンＮ７を用いて、音声処理部９２から供給された入力音声データに対してズームノイズ低減処理を実行する。そして、再度シャッタキー１１が押下されて動画記録の終了が指示されると、音声データ加工処理は終了する。

以上、ズーム駆動方式として固定方式が選択された場合の音声データ加工処理について説明した。

次に、ズーム駆動方式として連続方式が選択された場合の音声データ加工処理について説明する。

すなわち、上述したように、ユーザは、十字キー１５ａ乃至ｄ、および決定キー１６のうち必要なキーを適宜押下することで、メニュー画面に表示された、固定方式を示す項目と連続方式を示す項目とのうちの、所望の項目を選択することができる。

図９は、連続方式を示す項目を選択するユーザ操作について説明する図である。

図９の左の図は、表示部１８に表示されるメニュー画面２２１として、「カメラ設定メニュー」の１つのメニューである「ズーム駆動方式」の選択メニューが表示されている状態を示している。

メニュー画面２２１に示されるように、ここではデフォルトとして、ズーム駆動方式は固定方式に設定されている。なお、図面中の「固定」という表示は、固定方式を示している。

この状態で、ユーザが、ズーム駆動方式として連続方式を選択することを所望したとする。この場合、ユーザは、十字キー１５ａ乃至ｄのうち必要なキーを適宜押下することで、「ズーム駆動方式」と表示された項目にカーソルを移動させ、決定キー１６を押下する。すると、表示部１８の表示状態が図９の中央の図に示す表示状態に遷移する。

図９の中央の図は、表示部１８に表示されるメニュー画面２２２として、「ズーム駆動方式」の２つの方式として固定方式と連続方式の項目が表示されている状態を示している。なお、図面中の「連続」という表示は、連続方式を示している。ユーザは、十字キー１５ａ乃至ｄのうち必要なキーを適宜押下することで、「連続」と表示された項目にカーソルを移動させ、決定キー１６を押下する。すると、表示部１８の表示状態が図９の右の図に示す表示状態に遷移する。

図９の右の図のメニュー画面２２３に示されるように、ズーム駆動方式は連続方式に設定される。

このようにして、ユーザにより「連続」の項目が選択されると、上述したように、ステップＳ４においてＮＯであると判定されて、処理はステップＳ８に進む。

ステップＳ８において、ノイズパターン選択部１２２は、ノイズテーブル１４１に格納されたTeleからWide方向へのノイズパターンＮ６乃至Ｎ１０の中から、ステップＳ２の処理で認識部１２１が認識したズーム倍率の値が含まれるノイズパターンを選択する。

ステップＳ９において、ズームノイズ低減部１２３は、ステップＳ８の処理でノイズパターン選択部１２２によって選択されたノイズパターンを用いて、ズームノイズ低減処理を実行する。すなわち、ズームノイズ低減部１２３は、入力音声データを、時間領域の形態から周波数領域の形態に変換する。次に、ズームノイズ低減部１２３は、周波数領域の入力音声データから、ノイズパターン選択部１２２により選択されたノイズパターンを減算する。これにより、ノイズが低減された周波数領域の音声データが得られる。そこで、ズームノイズ低減部１２３は、このようにしてノイズが低減された音声データを、周波数領域の形態から時間領域の形態に変換した上で出力する。

ステップＳ１０において、認識部１２１は、ズームキー１２の押下が継続しているかを判定する。

ズームキー１２の押下が継続している場合、ステップＳ１０においてＹＥＳであると判定されて、処理はステップＳ２に戻され、それ以降の処理が繰り返される。すなわち、ズームキー１２の押下が継続されている期間、ステップＳ２乃至Ｓ１０のループ処理が繰り返される。

その後、ユーザがズームキー１２から指を離す等してズームキー１２の押下が解除された場合、ステップＳ１０においてＮＯであると判定されて、処理はステップＳ７に進む。

ステップＳ７において、認識部１２１は、動画記録の終了が指示されたかを判定する。

動画記録の終了が指示されない場合、ステップＳ７においてＮＯであると判定されて、処理はステップＳ１に戻され、それ以降の処理が繰り返される。すなわち、動画記録の終了が指示されるまでの間、ステップＳ１乃至Ｓ１０のループ処理が繰り返される。

その後、動画記録の終了が指示された場合、音声データ加工処理は終了する。

例えば、ズーム倍率が５倍の状態でユーザがWideキーを押下し、ズーム倍率が４．５倍に切り替えられたとする。このとき、認識部１２１は、ズーム制御情報を取得することにより、ズーム倍率が５倍から４．５倍に切り替えられたことを認識し、ズーム倍率を表示部１８に表示させる。すると、ノイズパターン選択部１２２は、認識部１２１が認識したズーム倍率に基づいて、ノイズテーブル１４１に格納されているTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンＮ６乃至Ｎ１０のうち、４．５倍の値が含まれる５倍から４倍のノイズパターンＮ６を選択する。すなわち、ズーム駆動方式が連続方式である場合、認識されたズーム倍率の値がその範囲に含まれるノイズパターンが選択される。すると、ズームノイズ低減部１２３は、ノイズパターン選択部１２２によって選択されたノイズパターンＮ６を用いて、音声処理部９２から供給された入力音声データに対してズームノイズ低減処理を実行する。

その後、ズーム倍率が４．５倍の状態でユーザがTeleキーの押下を継続していて、ズーム倍率が３．１倍に切り替えられたとする。このとき、認識部１２１は、ズーム制御情報を取得することにより、ズーム倍率が４．５倍から３．１倍に切り替えられたことを認識し、ズーム倍率を表示部１８に表示させる。すると、ノイズパターン選択部１２２は、認識部１２１が認識したズーム倍率に基づいて、ノイズテーブル１４１に格納されているTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンＮ６乃至Ｎ１０のうち、３．１倍の値が含まれる４倍から３倍のノイズパターンＮ７を選択する。すると、ズームノイズ低減部１２３は、ノイズパターン選択部１２２によって選択されたノイズパターンＮ７を用いて、音声処理部９２から供給された入力音声データに対してズームノイズ低減処理を実行する。そして、ズームキー１２の押下が継続されなくなり、再度シャッタキー１１が押下されて動画記録の終了が指示されると、音声データ加工処理は終了する。

このように、５種類のズーム倍率を固定することによって、ノイズテーブル１４１に格納するノイズパターンを、１０種類のノイズパターンＮ１乃至Ｎ１０に限定することが可能になる。したがって、ノイズテーブル１４１を記録するメモリ容量を一定以下に保つことができる。さらに、一定以下のメモリ容量に記録されたノイズテーブル１４１を用いてズームノイズ低減処理を実行することにより、ノイズの低減効果を一定以上奏することができる。

なお、本実施形態では、ノイズパターンＮ１乃至Ｎ１０は、ズーム駆動機構の駆動音のみならず、ズーム駆動機構の駆動開始音および駆動終了音、その他のレンズデバイス駆動音であるフォーカス駆動機構の駆動音等もノイズとしてあわせて集音された結果得られる周波数領域の音声データである。しかしながら、ノイズパターンは、特にこれらに限定されず、ズーム駆動機構の駆動音以外のノイズの周波数領域の音声データを、別のノイズパターンとして、ノイズテーブル１４１にそれぞれ個別に、または同時に格納させてもよい。この場合でも、ズーム駆動機構の駆動音についてのノイズパターンＮ１乃至Ｎ１０のデータ容量は変わらないため、ノイズテーブル１４１のうちノイズパターンＮ１乃至Ｎ１０が格納される分のメモリ容量は一定になる。したがって、メモリの空き容量がある分だけ、ズーム駆動機構の駆動音以外の音声についての別のノイズパターンを、ノイズテーブル１４１に追加して格納することができる。この場合には、ズーム駆動機構の駆動音とそれ以外とを区別してノイズ低減処理を実行することができるので、ノイズ低減効果をより一段と高めることができる。

本発明は、デジタルカメラの他、デジタルビデオカメラ等、撮像機能と、光学系ズーム機能と、撮像時に入力される音声のデータを記録する記録機能とを備えた撮像装置に適用することができる。

[本発明のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図２に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVDを含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなる記録媒体４０により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているフラッシュROM８２や、記録部３９に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

１ 撮像装置， １２ ズームキー， １５ 十字キー， １６ 決定キー， １８ 表示部， ３６ 操作部， ３９ 記録部， ４０ 記録媒体， ６１ 光学ブロック， ８１ CPU， ８２ フラッシュROM８２， ９１ マイクロホン， ９２ 音声処理部， ９３ スピーカ， １２１ 認識部， １２２ ノイズパターン選択部， １２３ ズームノイズ低減部， １４１ ノイズテーブル， １６１ 窓かけフーリエ変換部， １６２ 減算処理部， １６３ 逆フーリエ変換窓かけ部

Claims (7)

1. ズームレンズと、前記ズームレンズを駆動するズーム駆動機構とを少なくとも含み、被写体を撮像することによって前記被写体の画像データを出力する撮像手段と、
   外部から入力される音声のデータを取得し、入力音声データとして出力する音声処理手段と、
   前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータをノイズパターンとして保持する保持手段と、
   前記撮像手段により前記被写体が撮像されている最中の所定の期間に前記ズーム駆動機構により前記ズームレンズが駆動された場合、前記所定の期間における前記ズームレンズの移動が、複数の前記ズームパターンのうち何れに該当するのかを認識する認識手段と、
   前記認識手段により認識された前記ズームパターンに対応する前記ノイズパターンを前記保持手段から選択するノイズパターン選択手段と、
   前記ノイズパターン選択手段により選択された前記ノイズパターンと、前記所定の期間に前記音声処理手段から出力された前記入力音声データとを用いて、前記所定の期間に外部から入力された前記音声から前記ノイズを低減するズームノイズ低減処理を実行するノイズ低減処理手段と
   を備える撮像装置。
2. 前記音声処理手段は、時間領域の入力音声データを出力し、
   前記保持手段は、複数の前記ズームパターン毎に、実測された音声の周波数領域のデータをノイズパターンとして保持しており、
   前記ノイズ低減処理手段は、
   前記所定の期間に前記音声処理手段により出力された前記時間領域の入力音声データを、周波数領域の入力音声データに変換する変換手段と、
   前記変換手段により変換された前記周波数領域の入力音声データから、前記ノイズパターン選択手段により選択された前記ノイズパターンを減算し、その結果得られる、前記所定の期間に外部から入力された前記音声から前記ノイズが低減された音声のデータを、周波数領域のノイズ低減音声データとして出力する減算処理手段と、
   前記減算処理手段から出力された前記周波数領域のノイズ低減音声データを、時間領域の音声データに逆変換する逆変換手段と、
   を有する請求項１に記載の撮像装置。
3. 前記ズームレンズが、前記ズームレンズ駆動機構の駆動によって、複数の前記ズームパターンのうちの何れかのパターンに従って移動したとき、前記認識手段は、前記所定の期間にズームレンズが複数の前記ズームパターンのうちの何れのパターンに従って移動したのかを認識することによって、前記所定の期間における前記ズームレンズの移動に該当するズームパターンを認識する
   請求項２に記載の撮像装置。
4. 前記ズームレンズが、前記ズームレンズ駆動機構の駆動によって、連続移動したとき、前記認識手段は、前記所定の期間に前記ズームレンズが移動した軌跡が、複数の前記ズームパターンのうちの何れに属しているのかを判定し、属していると判定した前記ズームパターンを、前記所定の期間における前記ズームレンズの移動に該当するズームパターンとして認識する
   請求項２に記載の撮像装置。
5. 前記撮像手段は、フォーカスレンズと、前記フォーカスレンズ駆動機構とをさらに含み、
   前記保持手段は、さらに、前記フォーカス駆動機構の駆動音が含まれるノイズのデータのノイズパターンを保持する
   請求項３に記載の撮像装置。
6. ズームレンズと、前記ズームレンズを駆動するズーム駆動機構とを少なくとも含み、被写体を撮像することによって前記被写体の画像データを出力する撮像ステップと、
   外部から入力される音声のデータを取得し、入力音声データとして出力する音声処理ステップと、
   前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータをノイズパターンとして保持する保持ステップと、
   前記撮像ステップの処理により前記被写体が撮像されている最中の所定の期間に前記ズーム駆動機構により前記ズームレンズが駆動された場合、前記所定の期間における前記ズームレンズの移動が、複数の前記ズームパターンのうち何れに該当するのかを認識する認識ステップと、
   前記認識ステップの処理により認識された前記ズームパターンに対応する前記ノイズパターンを前記保持ステップの処理により保持された前記ノイズパターンから選択するノイズパターン選択ステップと、
   前記ノイズパターン選択ステップの処理により選択された前記ノイズパターンと、前記所定の期間に前記音声処理ステップから出力された前記入力音声データとを用いて、前記所定の期間に外部から入力された前記音声から前記ノイズを低減するズームノイズ低減処理を実行するノイズ低減処理ステップと
   を含む撮像方法。
7. ズームレンズと、前記ズームレンズを駆動するズーム駆動機構とを少なくとも含み、被写体を撮像することによって前記被写体の画像データを出力し、
   外部から入力される音声のデータを取得し、入力音声データとして出力し、
   前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータをノイズパターンとして保持し、
   前記被写体が撮像されている最中の所定の期間に前記ズーム駆動機構により前記ズームレンズが駆動された場合、前記所定の期間における前記ズームレンズの移動が、複数の前記ズームパターンのうち何れに該当するのかを認識し、
   認識された前記ズームパターンに対応する前記ノイズパターンを保持された前記ノイズパターンから選択し、
   選択された前記ノイズパターンと、前記所定の期間に出力された前記入力音声データとを用いて、前記所定の期間に外部から入力された前記音声から前記ノイズを低減するズームノイズ低減処理を実行する
   ステップを含む制御処理をコンピュータに実行させるプログラム。

Images