JP2011205526A - 撮像装置及び方法、並びにプログラム - Google Patents
撮像装置及び方法、並びにプログラム Download PDFInfo
- Publication number
- JP2011205526A JP2011205526A JP2010072499A JP2010072499A JP2011205526A JP 2011205526 A JP2011205526 A JP 2011205526A JP 2010072499 A JP2010072499 A JP 2010072499A JP 2010072499 A JP2010072499 A JP 2010072499A JP 2011205526 A JP2011205526 A JP 2011205526A
- Authority
- JP
- Japan
- Prior art keywords
- zoom
- noise
- pattern
- noise pattern
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Studio Devices (AREA)
Abstract
【課題】レンズデバイスの経年変化や個体間のばらつきを考慮してノイズの低減処理を実行することで、ノイズの低減効果を向上させることができるようにする。
【解決手段】 光学ブロックは、ズームレンズとズーム駆動機構とを少なくとも含み、被写体を撮像して被写体の画像データを出力する。ノイズテーブル141には、開始位置と終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、ズームパターン毎にノイズが実測され、実測されたノイズのデータをノイズパターンとして保持する。キャリブレーション処理部124は、更新対象のノイズパターンを選択し、更新対象のノイズパターンに対応するズームパターンに従ってズームレンズを駆動させ、そのときに発したノイズを実測して、実測されたノイズのデータを用いてキャリブレーション処理を実行する。本発明は、デジタルビデオカメラに適用することができる。
【選択図】図3
【解決手段】 光学ブロックは、ズームレンズとズーム駆動機構とを少なくとも含み、被写体を撮像して被写体の画像データを出力する。ノイズテーブル141には、開始位置と終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、ズームパターン毎にノイズが実測され、実測されたノイズのデータをノイズパターンとして保持する。キャリブレーション処理部124は、更新対象のノイズパターンを選択し、更新対象のノイズパターンに対応するズームパターンに従ってズームレンズを駆動させ、そのときに発したノイズを実測して、実測されたノイズのデータを用いてキャリブレーション処理を実行する。本発明は、デジタルビデオカメラに適用することができる。
【選択図】図3
Description
本発明は、撮像装置及び方法、並びにプログラムに関し、特に、レンズデバイスの経年変化や個体間のばらつきを考慮してノイズの低減処理を実行することで、ノイズの低減効果を向上させることができるようにした、撮像装置及び方法、並びにプログラムに関する。
一般的に、デジタルカメラは、動被写体を撮像して、その結果得られる動画像のデータを記録する場合、被写体の周囲の音声のデータも併せて記録することができる。なお、このような被写体の周囲の音声のように、記録の目的となる音声を、以下、「目的音」と称する。また、デジタルカメラは、レンズを移動させることで、撮像中に動被写体をフォーカスしたりズームすることができる。
しかしながら、レンズの移動中にデジタルカメラから発生する音声、例えば、レンズを駆動するズーム駆動機構やフォーカス駆動機構といったレンズデバイスの駆動音が、ノイズとして目的音に重畳されてしまう。
このため、従来から、このようなノイズを低減させることが望まれている。このための従来の手法として、「スペクトルサブトラクション法」と称される手法が知られている。(例えば、特許文献1,2参照)。
スペクトルサブトラクション法とは、次のような手法をいう。
すなわち、測定用のデジタルカメラを用いて、レンズの複数の移動パターンについて、各移動パターン毎に、予めノイズが測定され、測定されたノイズに対してFFT(Fast Fourier Transform:高速フーリエ変換処理)が施され、その結果得られる周波数領域のデータが所定のテーブルに格納される。ここで、ノイズの周波数領域のデータを、以下、「ノイズパターン」と称する。レンズの各移動パターン毎のノイズパターンを格納するテーブルを、以下、「ノイズテーブル」と称する。
このような測定用の別のデジタルカメラを用いて生成されたノイズテーブルが、デジタルカメラのメモリに記録された後、当該デジタルカメラは出荷される。このようなデジタルカメラが、レンズの移動中に目的音を入力しようとすると、ノイズも併せて入力することになる。デジタルカメラは、このようにして、目的音にノイズが重畳された音声のデータを入力すると、重畳されたノイズに対応するノイズパターンをノイズテーブルから取得する。次に、デジタルカメラは、周波数領域で、入力した音声のデータから、取得したノイズパターンを減算することで、ノイズが低減された目的音のデータを抽出する。
しかしながら、従来のスペクトルサブトラクション法では、ノイズテーブルに格納するノイズパターンは、基準となるデジタルカメラを用いて過去の所定の時点で生成されたものである。一方、このようなノイズパターンが減算される音声のデータは、基準となるデジタルカメラとは別の個々のデジタルカメラが操作時点で入力したものであり、ノイズの発生源であるレンズデバイスの経年変化に伴い変化した駆動音や、個体間のばらつきに伴う駆動音、すなわち基準のデジタルカメラの駆動音とは異なる駆動音が重畳された目的音のデータである。
したがって、デジタルカメラが、操作時点で入力した音声の周波数領域のデータから、基準の別のデジタルカメラを用いて過去に生成したノイズパターンを減算したとしても、デバイスの経年変化に伴い変化した駆動音や、個体間のばらつきによりそもそも異なるノイズ成分を低減することは困難である。
このように、従来、レンズデバイスの経年変化や個体間のばらつきは考慮されずに、ノイズの低減処理実行されていたため、十分なノイズ低減効果を得ることができなかった。
本発明は、このような状況に鑑みてなされたものであり、レンズデバイスの経年変化や個体間のばらつきを考慮してノイズの低減処理を実行することで、ノイズの低減効果を向上させることができるようにするものである。
本発明の一側面の撮像装置は、ズームレンズと、前記ズームレンズを駆動するズーム駆動機構とを少なくとも含み、被写体を撮像することによって前記被写体の画像データを出力する撮像手段と、前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータをノイズパターンとして保持する保持手段と、前記保持手段に保持されている複数の前記ノイズパターンの中から更新対象のノイズパターンを選択し、前記ズーム駆動機構を制御して、前記更新対象のノイズパターンに対応するズームパターンに従って前記ズームレンズを駆動させ、そのときに発した前記ズーム駆動機構の駆動音を含むノイズを実測して、実測されたノイズのデータを用いて、更新対象の前記ノイズパターンを更新するキャリブレーション処理を実行するキャリブレーション処理手段とを備える。
外部から入力される音声のデータを取得し、入力音声データとして出力する音声処理手段をさらに備えることができる。前記キャリブレーション処理手段は、前記ノイズパターンの更新の指示操作を受け付けると、複数の前記ノイズパターンの中から更新対象の前記ノイズパターンを選択して、前記キャリブレーション処理を開始させ、その後、前記指示操作を介在せずに自立的に前記キャリブレーション処理を実行するキャリブレーション実行手段と、前記キャリブレーション実行手段により前記キャリブレーション処理が開始されると、前記ズーム駆動機構を制御して、更新対象の前記ノイズパターンに対応するズームパターンに従って前記ズームレンズを駆動させるズーム制御手段と、前記ズーム制御手段により前記ズームレンズが駆動されたときに前記入力音声データから出力された前記入力音声データを、前記実測されたノイズのデータとして用いて、更新用のノイズパターンを生成するノイズパターン生成手段とを備えることができる。前記キャリブレーション実行手段は、前記保持手段に保持されている更新対象の前記ノイズパターンを、前記ノイズパターン生成手段により生成された更新用の前記ノイズパターンに更新することができる。
前記キャリブレーション実行手段は、複数の前記ノイズパターンの全てを更新対象の前記ノイズパターンとしてそれぞれ選択し、前記ノイズパターン毎に、前記ズーム制御手段及び前記ノイズパターン生成手段の処理を繰り返し実行させることで、前記複数の前記ノイズパターンの各々に対する更新用の前記ノイズパターンを取得し、前記保持手段に保持されている複数の前記ノイズパターンの全てを、各々に対する更新用の前記ノイズパターンに更新することができる。
前記キャリブレーション実行手段は、複数の前記ノイズパターンの全てを更新対象の前記ノイズパターンとしてそれぞれ選択し、前記ズーム制御手段及び前記ノイズパターン生成手段の処理を制御することによって、前記ズームレンズを駆動範囲内の一端から他端まで連続して往復駆動させ、複数の前記ノイズパターンの各々に対応するズームパターンと等価の移動を前記ズームレンズがする毎に、前記ノイズパターン生成手段によって生成されたノイズパターンを、更新用のノイズパターンとして順次取得して、前記保持手段に保持されている複数の前記ノイズパターンの全てを、各々に対する更新用の前記ノイズパターンに更新することができる。
ユーザに情報を表示する表示手段をさらに備えることができる。前記キャリブレーション実行手段は、さらに、前記キャリブレーションの実行の提案を示す表示情報を前記表示手段に表示し、前記表示手段により前記表示情報が表示された前記ノイズパターンの更新の指示操作が前記ユーザによってなされたとき、前記指示操作を受け付けて、前記キャリブレーション処理を開始させることができる。
前記撮像手段は、フォーカスレンズと、前記フォーカスレンズ駆動機構とをさらに含むことができ、前記保持手段は、さらに、前記フォーカス駆動機構の駆動音が含まれるノイズのデータのノイズパターンを保持することができる。
本発明の一側面の撮像方法及びプログラムは、上述した本発明の一側面の撮像装置に対応する方法及びプログラムである。
本発明の一側面の撮像装置及び方法並びにプログラムにおいては、ズームレンズと、前記ズームレンズを駆動するズーム駆動機構とが少なくとも含まれ、被写体を撮像することによって前記被写体の画像データが出力される。前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータがノイズパターンとして保持される。保持されている複数の前記ノイズパターンの中から更新対象のノイズパターンが選択され、前記ズーム駆動機構が制御されて、更新対象の前記ノイズパターンに対応するズームパターンに従って前記ズームレンズが駆動され、そのときに発した前記ズーム駆動機構の駆動音を含むノイズが実測されて、実測されたノイズのデータが用いられて、更新対象の前記ノイズパターンを更新するまでの一連の処理が、キャリブレーション処理として実行される。
以上のごとく、本発明によれば、レンズデバイスの経年変化や個体間のばらつきを考慮してノイズの低減処理を実行することで、ノイズの低減効果を向上させることができる。
[撮像装置の外観構成例]
図1は、本発明が適用される撮像装置1の背面図である。
図1は、本発明が適用される撮像装置1の背面図である。
ここで、撮像装置1の「背面」とは、正面と対向する面をいう。「正面」とは、撮像時に被写体の側に向けられる面、すなわちレンズが設けられている面をいう。また、以下、背面と正面とに垂直な面のうち、撮影時に上側に配置される面を「上面」と称する。
本実施形態では、図1に示されるように、撮像装置1は、デジタルカメラとして構成されている。図1に示されるように、撮像装置1の上面のうち、背面から見て右側には、画像のデータの記録指示を行う機能が割り当てられているシャッタキー11が設けられている。すなわち、ユーザは、被写体の画像が撮像されている時に、シャッタキー11を押下することで、撮像されている被写体の画像(以下、撮像画像と称する)のデータの記録を指示する。
本実施形態では、ユーザは、動画像のデータの記録を指示する場合、メニューキー14を押下してメニュー画面を撮像装置1の表示部18に表示させた上で、十字キー15や決定キー16を適宜操作することで、撮像装置1の動作モードとして動画記録モードを選択する。このようにして、動画記録モードが選択された状態で、ユーザによってシャッタキー11が押下されと、撮像装置1は、動画像のデータの記録の処理を開始し、その後、シャッタキー11が再度押下されると、動画像のデータの記録の処理を終了する。
撮像装置1の背面の右側の領域には、操作キーとして、図1中上側から順に、ズームキー12、画面キー13、メニューキー14、十字キー15、決定キー16、及び表示切替キー17が設けられている。
ズームキー12には、撮像装置1が被写体を撮像している最中に、望遠(Tele)の指示(すなわち被写体の拡大指示)又は広角(Wide)の指示(すなわち被写体の縮小指示)を行う機能が割り当てられている。具体的には、ズームキー12においては、「T」と印字された部分に対して望遠(Tele)の指示を行う機能が割り当てられており、「W」と印字された部分に対して広角(Wide)の指示を行う機能が割り当てられている。そこで、以下、ズームキー12のうち、「T」と印字された部分を「Teleキー」と称し、「W」と印字された部分を「Wideキー」と称する。
ズームキー12の下側の左側に設けられた画面キー13には、後述する表示部18の表示をオン/オフする指示を行う機能が割り当てられており、その右側に設けられたメニューキー14には、メニュー画面を表示させる指示を行う機能が割り当てられている。
画面キー13やメニューキー14の下側に設けられた十字キー15a乃至dには、次のような各種機能が割り当てられている。例えば、撮像装置1がフォーカス動作をする際に、表示部18に表示された撮像画像に対して設定される複数の領域から焦点判定領域を選択する指示を行う機能が、十字キー15a乃至dに割り当てられている。ここで、焦点判定領域とは、撮像装置1がフォーカス動作をする際に、焦点が合っているか否かの判定を行う領域をいう。
また、例えば、メニュー画面が表示されている際に、カーソルを上、右、下、または左に移動させる指示を行う機能が、十字キー15a乃至dに割り当てられている。
十字キー15a乃至dの中央に設けられた決定キー16には、複数の項目を含むメニュー画面が表示されている際に、カーソルの配置位置に存在する項目を選択する指示を行う機能が割り当てられている。
従って、ユーザは、メニュー画面が表示されている状態で、十字キー15a乃至d、および決定キー16のうち必要なキーを適宜押下操作することで、カーソルを所望の項目に移動させ、その項目を選択する指示を行うことができる。
例えば、複数のズーム駆動方式の各々を示す複数の項目が、メニュー画面に表示される場合がある。このような場合、ユーザは、十字キー15a乃至dのうち任意の方向のキーを適宜押下操作して、所望のズーム駆動方式を示す項目にカーソルを配置させた後、決定キー16を押下操作してその項目の選択を指示することで、その項目が示す所望のズーム駆動方式を選択することができる。なお、このようなズーム駆動方式として、次のような固定方式と連続方式がある。
固定方式とは、予め幾つかの種類のズーム倍率が固定されており、例えば等倍(1倍),1.4倍,2倍,3倍,4倍,5倍といった5種類の固定されたズーム倍率が用意されており、固定されたズーム倍率に従って、ズームレンズがズーム駆動機構によって駆動される方式をいう。
連続方式とは、ズーム倍率が下限値から上限値まで連続して変化するように、ズームレンズがズーム駆動機構によって駆動される方式をいう。このとき、ズームキー12の可動範囲のうち、下限位置にはズーム倍率の下限値が予め対応付けられ、上限位置にはズーム倍率の上限値が予め対応付けられている。具体的には例えば、ズーム倍率の下限値は等倍(1倍)であり、ズーム倍率の上限値は5倍であるとする。この場合、例えば、ズームキー12の可動範囲が100等分された各々の位置に、ズーム倍率が1乃至5倍の範囲が100等分された各々の値が対応付けられている。このように、連続方式を採用する場合には、ズーム倍率の各値はズームキー12の可動範囲内でマッピングされている。なお、ズーム駆動方式の詳細については図6と図7を参照して後述する。
また、例えば、詳細については後述するが、本実施形態では、ズームレンズの移動の複数のパターン(すなわち後述するズームパターン)毎に、ズーム駆動機構の駆動音等がノイズとして実測され、当該ノイズの周波数領域のデータが、ノイズパターンとして予め記録されている。このノイズパターンを用いて、入力された音声にノイズとして含まれるズーム機構の駆動音等が低減される。しかしながら、ズーム駆動機構の駆動音等のノイズは、レンズデバイスの経年変化に伴って変化する場合がある。したがって、その場合、過去に生成されたノイズパターンにより示されるノイズと、操作時点に入力された音声に含まれるノイズとは異なるため、操作時点に入力された音声に含まれるノイズを十分に低減することは困難である。すなわち、時間が経過すると、ノイズの低減効果が低下してしまう場合がある。したがって、本実施形態では、撮像装置1は、ノイズパターンのキャリブレーション処理を適宜実行し、現在のノイズに対応するようにノイズパターンを更新することによって、ノイズの低減効果を維持するようにする。
このようなノイズパターンのキャリブレーション処理の実行を選択する項目を、メニュー画面に表示させることができる。選択項目が表示された場合、ユーザは、十字キー15a乃至dのうち任意の方向のキーを適宜押下操作して、キャリブレーション処理の実行を選択する項目にカーソルを配置させた後、決定キー16を押下操作してその項目の選択の指示を行うことができる。これにより、撮像装置1は、ノイズパターンのキャリブレーション処理を実行する。
このようなズーム駆動方式やキャリブレーション処理の実行を選択する際に操作される十字キー15a乃至dの下側には、表示部18の表示を切り替える指示を行う機能が割り当てられた表示切替キー17が設けられている。
以上、撮像装置1に設けられる操作キーについて説明してきたが、上述した操作キーの配置位置や種類は例示である。すなわち、各種の操作キーの配置位置や種類は上述した例に特に限定されない。
撮像装置1の背面の左側の領域には、各種の画像を表示する表示部18が設けられている。なお、表示部18は、その画面上にタッチパネルを設け、タッチパネルによってユーザの操作を受け付けるようにしてもよい。
[撮像装置の内部構成例]
図2は、図1の撮像装置1の内部構成例を示すブロック図である。
図2は、図1の撮像装置1の内部構成例を示すブロック図である。
撮像装置1は、カメラ部31、カメラDSP(Digital Signal Processor)32、SDRAM(Synchronous Dynamic Random Access Memory)33、フォーカス判定部34、制御部35、操作部36、表示制御部37、表示部18、外部インタフェース(外部I/F)38、および記録部39を備えている。
また、撮像装置1には、着脱可能な記録媒体40が装着されている。記録媒体40としては、半導体メモリを用いたいわゆるメモリカード、DVD(Digital Versatile Disc)やCD(Compact Disc)等の光記録媒体、磁気ディスクなどの種々の記録媒体を採用することができる。この記録媒体40には、デジタルの画像信号(以下、画像データと称する)が所定の画像ファイルフォーマットに準拠して記録される。撮像装置1は、例えば被写体を撮像した結果得られる画像データをJPEG(Joint Photographic Experts Group)方式で圧縮符号化したのち、Exif(Exchange image file format)と称される画像ファイルフォーマットに準拠して、DCF(Design rule for Camera File system)規定に従って記録媒体40に記録する。
カメラ部31は、光学ブロック61、撮像素子62、前処理部63、光学ブロック用ドライバ64、タイミング信号生成部65、および撮像素子ドライバ66を備えている。
光学ブロック61は、レンズ、ズーム駆動機構、フォーカス駆動機構、シャッタ駆動機構、絞り(アイリス)駆動機構などを備えている。
レンズとしては、フォーカスレンズやズームレンズが設けられている。フォーカスレンズは、撮像素子62の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
ズーム駆動機構は、光学ブロック用ドライバ64の制御の下、ズームレンズを光軸方向に進退駆動する。ズームレンズが進退駆動されることで、焦点距離が変化して、すなわち撮影画角が変化して、画像内の被写体像が拡大又は縮小される。
フォーカス駆動機構は、光学ブロック用ドライバ64の制御の下、フォーカスレンズを光軸方向に進退駆動する。フォーカスレンズが進退駆動されることで、焦点の調整が行われる。
シャッタ駆動機構は、光学ブロック用ドライバ64の制御の下、例えばシャッタ羽根や、そのシャッタ羽根を開閉させる開閉機構を備えている。なお、電子シャッタで動作される場合、撮像素子62には被写体からの光が常に入射され、その画像がスルー画像として表示部18に表示される。シャッタキー11が操作されたとき、その時点の撮像画像が取り込まれ、SDRAM33、記録媒体40に記録される。
絞り駆動機構は、光学ブロック用ドライバ64の制御の下、撮像素子62に入射される光束の光量を調節する。
撮像素子62は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)型のセンサとして構成されている。撮像素子62は、撮像素子ドライバ66によって駆動されて、光学ブロック61を介して撮像面上に結像された光学像の光電変換を行う。すなわち、撮像素子62には、カメラ部31のレンズからシャッタ駆動機構を介して被写体像が入射される。そこで、撮像素子62は、一定時間毎に被写体像を光電変換(撮影)して画像信号を蓄積し、蓄積した画像信号をアナログ信号として、前処理部63に出力する。
前処理部63は、撮像素子62から出力されたアナログの画像信号に対して、CDS(Correlated Double Sampling)処理を施す。これにより、アナログの画像信号から、リセットノイズ、1/f雑音、熱抵抗雑音等が除去されるので、当該アナログの画像信号のS/N(Signal/Noise)比を良好に保つことができる。また、前処理部63は、AGC(Automatic Gain Control)処理を実行することによって、アナログの画像信号の利得を制御する。さらに、前処理部63は、A/D(Analog/Digital)変換処理を行って、CDS処理やAGC処理が行われたアナログの画像信号をデジタルの画像信号、すなわち画像データに変換して、カメラDSP32に出力する。
光学ブロック用ドライバ64は、制御部35の制御の下、光学ブロック駆動信号を生成して光学ブロック61に出力することによって、光学ブロック61の動作を制御する。
例えば、詳細については後述するが、ズームキー12が押下操作されると、ズーム倍率の変更指示が、制御部35から光学ブロック用ドライバ64に対してなされる。ここで、所定のズーム倍率に対して、当該ズーム倍率に対応する焦点距離となるズームレンズの位置(以下、「ズーム倍率のズームレンズ位置」と称する)が予め決定されている。そこで、光学ブロック用ドライバ64は、指示された変更後のズーム倍率のズームレンズ位置を示す光学ブロック駆動信号を生成して、光学ブロック61のズーム駆動機構に出力する。すると、ズーム駆動機構は、光学ブロック駆動信号が示す変更後のズーム倍率のズームレンズ位置まで、ズームレンズを進退駆動する。
タイミング信号生成部65は、制御部35からの制御に応じてタイミング信号を生成する。撮像素子ドライバ66は、タイミング信号生成部65で生成されたタイミング信号に基づいて駆動信号を生成し、生成した駆動信号を撮像素子62に出力することによって撮像素子62を駆動する。
カメラDSP32は、カメラ信号処理部71、圧縮/伸張部72、解像度変換部73、およびSDRAMコントローラ74等を有している。
カメラ信号処理部71は、前処理部63から出力されたデジタルの画像信号、すなわち画像データに対して、黒レベル補正処理、ホワイトバランス(WB)処理、γ補正処理、色補正処理等の各種画像処理を施す。以下、これらの画像処理をまとめて、カメラ信号処理と称する。カメラ信号処理後の画像データは、SDRAMコントローラ74の制御によりSDRAM33に一旦記憶される。
圧縮/伸張部72は、制御部35の制御の下、カメラ信号処理後の画像データをSDRAM33から読み出して、例えばJPEG方式等に従って圧縮符号化処理を施す。圧縮符号化処理が施された画像データ(以下、圧縮符号化データと称する)は、SDRAM33又は後述する記録媒体40に記憶される。
圧縮/伸張部72はまた、制御部35の制御の下、圧縮符号化データをSDRAM33又は後述する記録媒体40から読み出して、例えばJPEG方式等に従って伸長復号化処理を施し、その結果得られる画像データを、解像度変換部73に適宜供給する。
解像度変換部73は、カメラ信号処理後の画像データや、圧縮/伸張部72による伸張復号化処理の結果として得られた画像データに対して、解像度変換処理を施し、その結果、解像度が変換された画像データを制御部35に出力する。
SDRAMコントローラ74は、SDRAM33に対して各種情報を記憶させ、SDRAM33に記憶された各種情報の読み出しを制御する。
SDRAM33は、カメラ信号処理後の画像データを一時的に記憶する。また、SDRAM33は、各種画像処理に必要な情報や、画像表示用の画像データ等も記憶する。
フォーカス判定部34は、制御部35からの要求に応じて、撮像素子62から出力されたアナログの画像信号のうち、撮像画像に対して設定される複数の領域の中から焦点判定領域として指示された領域の画像信号に基づいて、合焦度合いを算出し、その算出結果を制御部35に通知する。
制御部35は、例えばCPU(Central Processing Unit)81、フラッシュROM(Read Only Memory)82、RAM(Random Access Memory)83、計時部84が、システムバス85を介して接続されている。また、システムバス85には、フォーカス判定部34、表示制御部37、外部I/F38、記録部39が接続されている。
フラッシュROM82は、CPU81において実行する種々のプログラムや、各処理に必要とされるデータなどが記憶されている。本実施形態では、後述するノイズテーブル141はフラッシュROM82に記録されている。
RAM83は、CPU81がプログラムを実行する際の作業領域や、処理の途中結果を一時的に記憶するなどの作業領域として使用される。また、計時部84は、計時動作をすることによって、現在の年月日、現在の曜日、現在の時刻や撮像日時などを取得する。
CPU81は、フラッシュROM82に記憶されている種々のプログラムを実行することで、各種制御を実行する。
例えば、CPU81は、ユーザ操作に応じた操作信号が操作部36から供給されると、撮像装置1の動作がユーザ操作に応じた動作となるように、操作部36からの操作信号に応じて各部の動作を制御する。
具体的には例えば、CPU81は、表示制御部37等を制御することで、表示部18にスルー画像を表示させる。スルー画像とは、SDRAM33に現在記憶されている画像データに対応する撮像画像であって、記録媒体40に当該画像データが記録されていない場合にも表示部18にリアルタイムに表示される画像である。このため、スルー画像は、ライブビュー画像とも称されている。スルー画像を見たユーザが、シャッタキー11を押下操作すると、CPU81は、記録指示がなされたと解釈して、スルー画像の画像データを記録媒体40に記録させる制御を実行する。
また例えば、CPU81は、いわゆるAF(Auto Focus)制御を実行することもできる。
CPU81は、表示制御部37等を制御することで、スルー画像内の複数の領域を囲む枠を表示部18に表示させることができる。ユーザは、操作部36を操作することによって、これらの複数の枠のうち、焦点判定領域としたい領域の枠を選択する指示を行う。CPU81は、この指示を受けて、焦点判定領域を特定し、焦点判定領域内の合焦度合いの通知をフォーカス判定部34に要求する。
CPU81は、フォーカス判定部34からの合焦度合いの通知を受けると、光学ブロック制御信号を生成して、光学ブロック用ドライバ64に出力する。
光学ブロック用ドライバ64は、指示された合焦度合いを示す光学ブロック駆動信号を生成して、光学ブロック61のフォーカス駆動機構に出力する。すると、フォーカス駆動機構は、光学ブロック駆動信号が示す合焦度合いになるまで、フォーカスレンズを進退駆動する。
さらにまた、CPU81は、ズーム制御を実行することができる。ズーム制御の詳細については、図6を参照して後述する。
操作部36は、図1を参照して説明した各種の操作キーを含むように構成されており、ユーザ操作に応じた操作信号を制御部35のCPU81に供給する。
表示制御部37には、液晶表示素子等を用いて構成された表示部18が接続されている。表示制御部37は、制御部35から供給された画像データに基づき表示駆動信号を生成して表示部18に出力することで、表示部18に当該画像データに基づく画像を表示させる。
外部I/F38は、撮像装置1と、外部の各種機器、例えばコンピュータ装置や通信モジュールとを接続するためのインタフェースである。この外部I/F38を利用することで、例えば、コンピュータ装置から各種情報の供給を受けて、これを装着された記録媒体40に記録したり、装着された記録媒体40に記録されている各種情報をコンピュータ装置に供給可能とする。また、通信モジュールを介してインターネットなどのネットワークに接続して、ネットワークを通じて種々の情報を取得して記録媒体40に記録することが可能となる。さらに、記録媒体40に記録されている各種情報を、ネットワークを通じて目的とする相手先に送信することが可能となる。なお、外部I/F38は、IEEE(Institute of Electrical and Electronics Engineers)1394、USB(Universal Serial Bus)等の有線インタフェース、光や電波による無線インタフェースである。
記録部39は、記録媒体40に画像データや音声データ等の各種情報を記録したり、記録媒体40に記録されている画像データや音声データ等の各種情報を読み出すためのインタフェースである。
音声処理部92は、外部から入力される音声のデータを取得し、所定の処理を施して音声データとして出力する。マイクロホン91によって入力された音声は、音声処理部92によりA/D変換処理が施された後、音声データとしてCPU81に供給される。CPU81において後述するズームノイズ低減処理等が施された音声データは、例えば、記録部39により記録媒体40に記録される。逆に、記録媒体40から読み出された音声データは、音声処理部92によりA/D変換処理が施され、スピーカ93に出力される。スピーカ93は、音声処理部92から供給された音声データに基づいて音声を出力する。
なお、点線枠に含まれる操作部36、記録部39、記録媒体40、CPU81、フラッシュROM82、マイクロホン91、音声処理部92、およびスピーカ93は、本実施の形態のノイズ低減処理に関わる主な構成要素である。
このように構成された撮像装置1は、例えば撮像を行う際に、ユーザが構図を決めることができるように、スルー画像を表示部18に表示させる。スルー画像を見たユーザが、シャッタキー11を押下操作すると、CPU81は、記録指示がなされたと解釈して、スルー画像の画像データを記録媒体40に記録させる制御を実行する。
ここで、撮像装置1の動作モードが動画記録モードになっている場合、所定時間間隔毎のスルー画像をフレーム画像として、複数のフレーム画像が所定の順番に配置されて構成される動画像のデータが、記録媒体40に記録される。このとき、外部の音声(目的音)のデータもあわせて記録媒体40に記録される。
また例えば、撮像装置1は、撮像中にいわゆるAF制御を実行することもできる。すなわち、撮像装置1は、スルー画像内の複数の領域を囲むAF枠を表示部18に表示させる。ユーザは、操作部36を操作することによって、これらの複数のAF枠のうち、所望のAF枠を選択する指示を行う。撮像装置1は、この指示を受けて、ユーザにより選択されたAF枠を焦点判定領域として、焦点判定領域を用いて合焦度合いを算出する。そして、撮像装置1は、算出した合焦度合いに基づいて、フォーカスレンズを光軸方向に進退駆動することにより、フォーカスの調整を行う。
さらにまた、撮像装置1は、撮像中にいわゆるズーム制御を実行することができる。ユーザは、ズームキー12を押下することによって、ズーム倍率の変更指示を行う。撮像装置1は、この変更指示に基づいて、変更後のズーム倍率のズームレンズ位置を特定し、特定したズームレンズ位置まで、ズームレンズを進退駆動する。
ここで、ズームレンズの進退駆動は、ズーム駆動機構の制御に基づいて行われる。従って、撮像装置1の動作モードが動画記録モードになっている場合、すなわち、音声のデータの記録媒体40への記録が行われている場合にズーム制御が実行されると、ズーム駆動機構の駆動音等がノイズとして重畳された目的音がマイクロホン91に入力される。このようなマイクロホン91から入力されたノイズが重畳された目的音は、アナログの音声信号として音声処理部92に入力され、音声データになる。
そこで、本実施形態では、撮像装置1は、このようなズーム制御時に取得された音声データに対しては、ノイズを低減する処理(以下、ズームノイズ低減処理と称する)を施した上で、記録媒体40に記録する。
本実施形態では、ズームノイズ低減処理の内容は、ノイズが発生した時点のズーム制御の内容に応じて適宜変化する。より具体的には、ノイズが発生した時点のズーム制御の内容(すなわち後述するズーム倍率)に応じて、ズームノイズ低減処理に用いるノイズパターンが変化する。すなわち、撮像装置1は、ノイズが発生した時点のズーム制御の内容を認識し、その認識結果に応じてノイズパターンを選択し、選択したノイズパターンを用いてズームノイズ低減処理を実行する。このようなズームノイズ低減処理を含む一連の処理を、以下、「音声データ加工処理」と称する。音声データ加工処理の詳細については、図8を参照して後述する。
[ズームノイズ低減処理を実行するソフトウエアの機能的構成例]
図3は、図2のCPU81が実行するソフトウエアの機能のうち、ズームノイズ低減処理を実行するソフトウエアの機能的構成例を示すブロック図である。
図3は、図2のCPU81が実行するソフトウエアの機能のうち、ズームノイズ低減処理を実行するソフトウエアの機能的構成例を示すブロック図である。
図3のCPU81は、認識部121、ノイズパターン選択部122、ズームノイズ低減部123、およびキャリブレーション処理部124から構成される。
すなわち、本実施形態では、CPU81は、所定のプログラムを実行することにより、認識部121、ノイズパターン選択部122、ズームノイズ低減部123、およびキャリブレーション処理部124の各機能を発揮させることができる。この場合、フラッシュROM82やRAM83に記憶されている種々のデータが適宜用いられる。
認識部121は、ズーム制御情報を取得することによりユーザが指示したズーム倍率を認識する。
ズーム制御情報とは、ユーザがズームキー12を操作したときの各種状態に基づいて特定される情報であって、例えば本実施形態では、ズーム制御情報には、ユーザの操作に応じたズームの位置情報、ズームの方向情報、およびズームの速度情報が含まれる。
ズームの位置情報とは、少なくともズームの開始位置と終了位置とを特定可能な情報をいう。ズームの開始位置は、ユーザがズームキー12の押下を開始した時点のズームレンズ位置である。従って、上述したように、ズーム倍率に応じてズームレンズ位置が決定されるので、開始時のズーム倍率が異なればズームの開始位置は異なる。例えば、ズーム倍率が2倍の状態から開始される場合のズームの開始位置と、ズーム倍率が4倍の状態から開始される場合のズームの開始位置とは異なる。ズームの終了位置は、ユーザがズームキー12の押下を終了した時点(すなわち指等をズームキー12から離した時点)のズームレンズ位置である。
ズームの方向情報とは、TeleからWideへの方向若しくはその反対の方向を示す情報であって、ズームキー12を構成するTeleキーやWideキーが如何に押下されたのかによって特定可能な情報である。
ズームの速度情報とは、ズームレンズの駆動速度、すなわち、ズームレンズの単位時間当たりの移動量の情報であって、例えば、上述したズームの位置情報と、ユーザがズームキー12を操作した時間とによって特定可能な情報である。なお、ズーム駆動速度は、ズーム倍率によって変化する場合がある。
また、認識部121は、ユーザが操作部36の十字キー15や決定キー16等を操作してメニュー画面から選択した項目を認識し、認識した項目に基づいて、ユーザの指示内容を認識する。
例えば、ズーム駆動方式を示す項目、すなわち、固定方式を示す第1項目と、連続方式を示す第2項目がメニュー画面に表示されているとする。この場合、第1項目が選択された時には、認識部121は、ユーザがメニュー画面からズーム駆動方式として固定方式を選択したと認識する。一方、第2項目が選択された時には、認識部121は、ユーザがメニュー画面からズーム駆動方式として連続方式を選択したと認識する。
ノイズパターン選択部122は、認識部121が認識したズーム倍率に基づいて、現在のズーム制御のズームパターンを認識し、認識したズーム制御のズームパターンに該当するノイズパターンを、フラッシュROM82に記録されている保持手段としてのノイズテーブル141から選択する。
すなわち、ズーム制御とは、第1のズーム倍率のズームレンズ位置から第2のズーム倍率のズームレンズ位置まで、ズームレンズを移動させる制御である。従って、ズーム制御開始時の第1のズーム倍率と、ズーム制御終了時の第2のズーム倍率とをパラメータとして、これらのパラメータを変更することによって、複数のズーム制御のズームパターンを定義することができる。例えば、ズーム制御開始時の第1のズーム倍率が等倍であって、ズーム終了時の第2のズーム倍率が1.4倍になる場合と、ズーム制御開始時の第1のズーム倍率が1.4倍であって、ズーム終了時の第2のズーム倍率が2倍になる場合とでは、それぞれ異なるズーム制御のズームパターンとなる。
本実施形態では、所定のズームパターンのズーム制御が予め実行され、その際に取得されたズーム駆動機構の駆動音等の周波数領域のデータが、ズーム制御の当該所定のズームパターンに該当するノイズパターンとしてノイズテーブル141に格納される。このようなノイズパターンは、ズーム制御の複数のズームパターン毎にそれぞれ取得されて、ノイズテーブル141に格納される。従って、ノイズパターン選択部122は、これらの複数のノイズパターンの中から、ズーム制御の現在のズームパターンに該当するノイズパターンを選択する。なお、ノイズテーブル141およびノイズパターンについては図7を参照して後述する。
ズームノイズ低減部123には、ズーム制御時に、マイクロホン91から入力された音声に対して音声処理部92によってA/D変換処理が施された結果得られる音声データが入力される。このような音声データを、以下、入力音声データと称する。
入力音声データは、目的音に対して、ズーム駆動機構の駆動音がノイズとして含まれた音声のデータである。そこで、ズームノイズ低減部123は、ノイズパターン選択部122によって選択されたノイズパターンを用いて、ズームノイズ低減処理を実行する。
具体的には、後述するように、ノイズパターンは周波数領域の音声データである一方、入力音声データは時間領域の音声データである。そこで、ズームノイズ低減部123は、入力音声データを周波数領域の音声データに変換する。次に、ズームノイズ低減部123は、周波数領域の入力音声データからノイズパターンを減算する。これにより、目的音(より正確には目的音に近い音)についての周波数領域の音声データが得られる。そこで、ズームノイズ低減部123は、目的音についての周波数領域の音声データを、時間領域の音声データに逆変換した上で出力する。
この場合、上述したように、時間が経過すると、ズームノイズ低減処理によるノイズ低減効果が低下する。そこで、キャリブレーション処理部124は、適当なタイミングで適宜、ノイズテーブル141に格納されるノイズパターンのキャリブレーション処理を実行する。
なお、ノイズパターンのキャリブレーション処理の詳細については、図10乃至図13を参照して説明する。
[ズームノイズ低減部123の構成例]
図4は、図3のズームノイズ低減部123の機能的構成例を示すブロック図である。
図4は、図3のズームノイズ低減部123の機能的構成例を示すブロック図である。
ズームノイズ低減部123は、窓かけフーリエ変換部161、減算処理部162、および逆フーリエ変換窓かけ部163から構成される。
窓かけフーリエ変換部161は、時間領域の入力音声データに対して、例えばハミング窓等の時間窓関数を時間軸方向にスライドさせながら乗じる窓かけ処理を施すことにより、フレーム分割による高周波数ノイズが低減された音声データを生成する。そして、窓かけフーリエ変換部161は、窓かけ処理が施されたフレーム単位の音声データに対してFFTを施す。これにより、周波数領域の入力音声データ(パワースペクトル密度)が得られ、減算処理部162に提供される。このとき、窓かけフーリエ変換部161から算出される周波数領域の入力音声データは、例えば、図5の左の図に示されるようなパワースペクトル密度となる。
図5は、ズームノイズ低減処理を説明する模式図である。
図5において、縦軸はパワーを示し、横軸は周波数を示している。図5の左の図は、窓かけフーリエ変換部161により算出され、出力される周波数領域の入力音声データ、すなわち入力音声データのパワースペクトル密度を表わしている。窓かけフーリエ変換部161から算出される入力音声データのパワースペクトル密度は、目的音のパワースペクトル密度PSと、ノイズのパワースペクトル密度NSとが合成されたものである。すなわち、図5の左の図に棒グラフとして示されるパワースペクトル密度のうち、白抜きで表わされる部分が目的音のパワースペクトル密度PSであり、斜線で表わされる部分がノイズのパワースペクトル密度NSである。
図4の説明に戻り、減算処理部162は、窓かけフーリエ変換部161から提供された周波数領域の入力音声データ(すなわちパワースペクトル密度)から、ノイズパターン選択部122により選択されたノイズパターン(すなわちノイズのパワースペクトル密度)を減算する減算処理を実行する。ノイズパターン選択部122により選択されたノイズパターンは、例えば、図5の中央の図に示されるように、所定のズームパターンのズーム制御が予め実行された際に取得されたズーム駆動機構の駆動音のパワースペクトル密度である。ここで、説明の便宜上、図5の中央の図に示されるノイズパターンと、図5の左側の図に斜線で表わされるノイズのパワースペクトル密度NSとが一致しているとする。この場合には、減算処理部162による減算処理の結果、図5の右の図に示されるように、目的音のパワースペクトル密度PSが算出される。
図4の説明に戻り、逆フーリエ変換窓かけ部163は、減算処理部162から出力された周波数領域の音声データ、すなわち理想的には図5の右の図に示される目的音のパワースペクトル密度PSに対して、逆FFTを施す。そして、逆フーリエ変換窓かけ部163は、逆FFTが施された結果得られる時間領域の音声データを、逆窓かけ処理を施した上で出力する。逆フーリエ変換窓かけ部163から出力された時間領域の音声データは、ズームノイズ低減部123によりノイズ成分が抑制された目的音の音声データとして、記録部39によって記録媒体40に記録される。また、記録媒体40から読み出された当該目的音の音声データは、音声処理部92によってA/D変換処理が施されてアナログの音声信号に変換されて、さらに、スピーカ93によって、ノイズが抑制された目的音となって、外部に出力される。
このように、ズームノイズ低減部123は、目的音にノイズが重畳された音声の音声データが入力音声データとして入力されると、入力音声データに対してズームノイズ低減処理を施す。これにより、理想的にはノイズが除去された目的音の音声データが得られる。なお、理想的と記述したのは、実際に重畳されているノイズの周波数領域のデータ(パワースペクトル密度)と、ノイズパターン(パワースペクトル密度)とが必ずしも完全一致しないからである。すなわち、両者が完全一致すれば、ノイズは完全に除去されるが、一般的には両者の間には差異があるため、ノイズは完全には除去されるのではなく、ノイズが低減されることになる。
[固定方式によるズーム駆動方式]
図6は、ズーム駆動方式のうち固定方式について説明する図である。
図6は、ズーム駆動方式のうち固定方式について説明する図である。
上述したように、ズーム駆動方式として、固定方式と連続方式があり、本実施形態ではユーザは操作部36を操作することによって所望のズーム駆動方式を選択することができる。
本実施形態では、ユーザがズーム駆動方式として固定方式を選択した場合、動画記録時のズーム倍率が、図6に示される5種類に固定された固定方式に従って、ズーム制御が実行される。
図6において、上段左の図は、動画記録時のズーム倍率が等倍(1倍)で被写体181が撮像された場合に、表示部18に表示されるスルー画像201を示している。
ズーム倍率が等倍の状態でユーザがTeleキーを押下すると、ズーム倍率は等倍から1.4倍に切り替えられる。すると、光学ブロック用ドライバ64の制御に基づきズーム駆動機構がレンズを1.4倍のズームレンズ位置まで移動させる。これにより、切り替え前はスルー画像201が表示部18に表示されていたのが、切り替え後は、被写体のサイズが1.4倍に拡大したスルー画像202が表示部18に表示されるようになる。
図6の上段中央の図は、動画記録時のズーム倍率が1.4倍で被写体181が撮像された場合に、表示部18に表示されるスルー画像202を示している。このとき、表示部18の左上の表示領域には、ズーム倍率が1.4倍であることを示す「×1.4」が表示される。
ズーム倍率が1.4倍の状態でユーザがさらにTeleキーを押下すると、ズーム倍率は1.4倍から2倍に切り替えられる。すると、光学ブロック用ドライバ64の制御に基づきズーム駆動機構がレンズを2倍のズームレンズ位置まで移動させる。これにより、切り替え前はスルー画像202が表示部18に表示されていたのが、切り替え後は、被写体のサイズが2倍に拡大したスルー画像203が表示部18に表示されるようになる。
図6の上段右の図は、動画記録時のズーム倍率が2倍で被写体181が撮像された場合に、表示部18に表示されるスルー画像203を示している。このとき、表示部18の左上の表示領域には、ズーム倍率が2倍であることを示す「×2.0」が表示される。
同様に、ズーム倍率が2倍の状態でユーザからTeleキーを押下する毎に、ズーム倍率は2倍から3倍、3倍から4倍、4倍から5倍へと切り替えられる。すると、光学ブロック用ドライバ64の制御に基づきズーム駆動機構はレンズを2倍のズームレンズ位置から3倍のズームレンズ位置、3倍のズームレンズ位置から4倍のズームレンズ位置、4倍のズームレンズ位置から5倍のズームレンズ位置へと移動させる。表示部18の表示は図6の上段右の図に示されるスルー画像203から、下段左の図に示されるスルー画像204、下段中央の図に示されるスルー画像205、下段右の図に示されるスルー画像206へと変化していく。このとき、表示部18の左上の表示領域には、ズーム倍率が3倍、4倍、5倍であることを示す「×3.0」、「×4.0」、「×5.0」が表示される。なお、ズーム倍率が5倍の状態でユーザがさらにTeleキーを押下したとしても、ズーム倍率はそれ以上大きくなることはない。
これに対して、ズーム倍率が5倍の状態でユーザがWideキーを押下すると、ズーム倍率は5倍から4倍に切り替えられる。同様に、ズーム倍率が4倍の状態からユーザがWideキーを押下する毎に、ズーム倍率は3倍、2倍、1.4倍、等倍へと切り替えられる。ズーム駆動機構は、このようにしてズーム倍率が切り替えられる毎に、光学ブロック用ドライバ64の制御に基づいて、切り替えられたズーム倍率のズームレンズ位置へズームレンズを移動させる。表示部18の表示は、図6の下段の右の図に示されるスルー画像206から、スルー画像205、スルー画像204、スルー画像203、スルー画像202、スルー画像201へと変化していく。このとき、表示部18の左上の表示領域には、ズーム倍率を示す表示がされる。なお、ズーム倍率が等倍の状態でユーザがさらにWideキーを押下したとしても、ズーム倍率はそれ以上小さくなることはない。
一方、ユーザがズーム駆動方式として連続方式を選択した場合、ズーム倍率は、ズームキー12の押下状態に従って1倍乃至5倍の間で例えば0.1の幅で変化する。例えば、ズーム倍率が等倍の状態でユーザがTeleキーを押下すると、ズーム倍率は1.1倍、1.2倍、1.3倍・・・と、ユーザがTeleキーの押下を解除するまで変化する。すると、光学ブロック用ドライバ64の制御に基づきズーム駆動機構がレンズを対応するズーム倍率のズームレンズ位置まで移動させる。これにより、被写体181のサイズが対応するズーム倍率に拡大したスルー画像が表示部18に表示されるようになる。なお、ズーム倍率が5倍の状態でユーザがTeleキーの押下をし続けても、ズーム倍率はそれ以上大きくなることはない。これに対して、ズーム倍率が5倍の状態からユーザがWideキーを押下すると、ズーム倍率は5倍、4.9倍、4.8倍・・・と、ユーザがWideキーの押下を解除するまで変化する。すると、光学ブロック用ドライバ64の制御に基づきズーム駆動機構がレンズを対応するズーム倍率のズームレンズ位置まで移動させる。これにより、被写体181のサイズが対応するズーム倍率に縮小したスルー画像が表示部18に表示されるようになる。なお、ズーム倍率が等倍の状態でユーザがWideキーの押下をし続けても、ズーム倍率はそれ以上小さくなることはない。ズーム駆動方式として連続方式が選択された場合も、表示部18の左上の領域には対応するズーム倍率が表示される。
[ノイズパターンの例]
図7は、ノイズテーブル141に格納されるノイズパターンの一例を示す図である。
図7は、ノイズテーブル141に格納されるノイズパターンの一例を示す図である。
本実施形態では、上述したように、5種類のズーム倍率を固定することによって、ズーム倍率の可動範囲が明確になる。これにより、ノイズテーブル141が格納するノイズパターンも、次の10種類のノイズパターンN1乃至N10に限定することが可能になる。
すなわち、ノイズパターンN1とは、ズーム倍率が等倍から1.4倍に切り替えられて、レンズが、ズーム倍率が開始位置である等倍のズームレンズ位置からズーム倍率が終了位置である1.4倍のズームレンズ位置に移動するまでに実際に発生したノイズの周波数領域の音声データ(すなわちスペクトル密度)をいう。すなわち、ノイズパターンN1とは、ズーム倍率が等倍から1.4倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンである。
ノイズパターンN2とは、ズーム倍率が1.4倍から2倍に切り替えられて、レンズが、ズーム倍率が開始位置である1.4倍のズームレンズ位置からズーム倍率が終了位置である2倍のズームレンズ位置に移動するまでに実際に発生したノイズの周波数領域の音声データ(すなわちスペクトル密度)をいう。すなわち、ノイズパターンN2とは、ズーム倍率が1.4倍から2倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンである。
同様に、ノイズパターンN3とは、ズーム倍率が2倍から3倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンであり、ノイズパターンN4とは、ズーム倍率が開始位置である3倍から終了位置である4倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンであり、ノイズパターンN5とは、ズーム倍率が開始位置である4倍から終了位置である5倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンである。
また、上述のズーム倍率がWideからTele方向に切り替えられるズームパターンに該当するノイズパターンN1乃至N5に対して、その反対方向であるTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンとしては、次の5種類のノイズパターンに限定することができる。すなわち、ズーム倍率が開始位置である5倍から終了位置である4倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンN6、ズーム倍率が開始位置である4倍から終了位置である3倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンN7、ズーム倍率が開始位置である3倍から終了位置である2倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンN8、ズーム倍率が開始位置である2倍から終了位置である1.4倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンN9、ズーム倍率が開始位置である1.4倍から終了位置である等倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンN10の5種類に限定することができる。
すなわち、ズーム倍率の上限値と下限値との範囲内でズーム倍率が10種類の範囲に分割され、このような10種類のズーム倍率の分割範囲の各々の中でレンズが移動するといった、10種類のズームパターンのズーム制御が定義されている。そして、これらの10種類のズームパターンのズーム制御の各々に該当するノイズパターンが、ノイズパターンN1乃至N10としてノイズテーブル141に格納されている。
なお、ノイズパターンN1乃至N10として、ズーム駆動機構の駆動音だけの周波数領域の音声データを採用してもよい。しかしながら、実際に入力される入力音声データには、ズーム駆動機構の駆動音のみならず、ズーム駆動機構の駆動開始音および駆動終了音、その他のレンズデバイス駆動音であるフォーカス駆動機構の駆動音等もノイズとして含まれる。したがって、本実施形態では、実際にレンズを駆動させて、ズーム駆動機構の駆動音のみならず、ズーム駆動機構の駆動開始音および駆動終了音、その他のレンズデバイス駆動音であるフォーカス駆動機構の駆動音等の周波数領域の音声データを取得して、ノイズパターンとしている。したがって、ノイズ低減効果をより高めることができる。
[音声データ加工処理]
図8は、音声データ加工処理の一例を説明するフローチャートである。
図8は、音声データ加工処理の一例を説明するフローチャートである。
音声データ加工処理は、動画記録開始を指示するためシャッタキー11が押下されると実行される。なお、図8では、説明の簡略上、ズームキー12としてWideキーが押下されるものとして説明する。しかしながら、Teleキーが押下される場合にも対応する処理が実行されることは言うまでもない。
ステップS1において、認識部121は、ズームキー12であるWideキーが押下されたかを判定する。
Wideキーが押下されない場合、ステップS1においてNOであると判定されて、処理はステップS1に戻され、それ以降の処理が繰り返される。すなわち、Wideキーが押下されるまでの間、ステップS1の判定処理が繰り返される。
その後、Wideキーが押下された場合には、ステップS1においてYESであると判定されて、処理はステップS2に進む。
ステップS2において、認識部121は、ズーム制御情報を取得することにより、現在のズーム倍率を認識する。
ステップS3において、認識部121は、表示制御部37を制御することによって、ステップS2の処理で取得した現在のズーム倍率を表示部18の左上の領域に表示する(図6参照)。
ステップS4において、認識部121は、ズーム駆動方式として固定方式が選択されたかを判定する。すなわち、上述したように、ユーザは、十字キー15a乃至d、および決定キー16のうち必要なキーを適宜押下することで、メニュー画面に表示された、固定方式を示す項目と、連続方式を示す項目とのうち、所望の項目を選択することができる。
例えば、連続方式を示す項目が選択された場合、認識部121は、連続方式が選択されたと認識する。この場合、ステップS4においてNOであると判定されて、処理はステップS8に進む。ただし、ステップS8以降の処理については後述する。
これに対して、固定方式を示す項目が選択された場合、認識部121は、固定方式が選択されたと認識する。この場合、ステップS4においてYESであると判定されて、処理はステップS5に進む。
ステップS5において、ノイズパターン選択部122は、ノイズテーブル141に格納されているTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンN6乃至N10の中から、認識部121が認識したズーム倍率に該当するノイズパターンを選択する。
ステップS6において、ズームノイズ低減部123は、ステップS5の処理でノイズパターン選択部122によって選択されたノイズパターンを用いて、ズームノイズ低減処理を実行する。すなわち、ズームノイズ低減部123は、入力音声データを、時間領域の形態から周波数領域の形態に変換する。次に、ズームノイズ低減部123は、周波数領域の入力音声データから、ステップS5の処理でノイズパターン選択部122により選択されたノイズパターンを減算する。これにより、ノイズが低減された周波数領域の音声データが得られる。そこで、ズームノイズ低減部123は、このようにしてノイズが低減された音声データを、周波数領域の形態から時間領域の形態に変換した上で出力する。
ステップS7において、認識部121は、動画記録の終了が指示されたかを判定する。すなわち、認識部121は、既に開始されている動画記録の終了を指示するため、再度シャッタキー11が押下されたかを判定する。
動画記録の終了が指示されない場合、ステップS7においてNOであると判定されて、処理はステップS1に戻され、それ以降の処理が繰り返される。すなわち、動画記録の終了が指示されるまでの間、ステップS1乃至S7のループ処理が繰り返される。
その後、動画記録の終了が指示された場合、音声データ加工処理は終了する。
例えば、ズーム倍率が5倍の状態でユーザがWideキーを押下すると、ズーム倍率は4倍に切り替えられる。このとき、ステップS1の処理でYESであると判定されて、ステップS2の処理が実行される。すなわち、認識部121は、ズーム制御情報を取得することにより、ズーム倍率が5倍から4倍に切り替えられたことを認識し、ズーム倍率を表示部18に表示させる。ここで、ズーム駆動方式として固定方式が選択されている場合には、ステップS4の処理でYESであると判定されて、ステップS5の処理が実行される。すなわち、ノイズパターン選択部122は、認識部121が認識したズーム倍率に基づいて、ノイズテーブル141に格納されているTeleからWide方向に切り替えられるパターンに該当するノイズパターンN6乃至N10のうち、対応する5倍乃至4倍のノイズパターンN6を選択する。すると、ステップS6の処理で、ズームノイズ低減部123は、ノイズパターン選択部122によって選択されたノイズパターンN6を用いて、音声処理部92から供給された入力音声データに対してズームノイズ低減処理を実行する。その後動画記録の終了が指示されていなければ、処理はステップS1に戻され、ズームキー12が再押下されるまで、ステップS1の判定処理が繰り返されて、音声データ加工処理が待機状態になる。
その後、ユーザが、さらにWideキーを押下すると、ズーム倍率は4倍から3倍に切り替えられる。このとき、ステップS1の処理でYESであると判定されて、ステップS2の処理が実行される。すなわち、認識部121は、ズーム制御情報を取得することにより、ズーム倍率が4倍から3倍に切り替えられたことを認識し、ズーム倍率を表示部18に表示させる。ここで、ズーム駆動方式として固定方式が選択されている場合には、ステップS4の処理でYESであると判定されて、ステップS5の処理が実行される。すなわち、ノイズパターン選択部122は、認識部121が認識したズーム倍率に基づいて、ノイズテーブル141に格納されているTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンN6乃至N10のうち、対応する4倍乃至3倍のノイズパターンN7を選択する。すると、ステップS6の処理で、ズームノイズ低減部123は、ノイズパターン選択部122によって選択されたノイズパターンN7を用いて、音声処理部92から供給された入力音声データに対してズームノイズ低減処理を実行する。そして、再度シャッタキー11が押下されて動画記録の終了が指示されると、音声データ加工処理は終了する。
以上、ズーム駆動方式として固定方式が選択された場合の音声データ加工処理について説明した。
次に、ズーム駆動方式として連続方式が選択された場合の音声データ加工処理について説明する。
すなわち、上述したように、ユーザは、十字キー15a乃至d、および決定キー16のうち必要なキーを適宜押下することで、メニュー画面に表示された、固定方式を示す項目と連続方式を示す項目とのうちの、所望の項目を選択することができる。
図9は、連続方式を示す項目を選択するユーザ操作について説明する図である。
図9の左の図は、表示部18に表示されるメニュー画面221として、「カメラ設定メニュー」の1つのメニューである「ズーム駆動方式」の選択メニューが表示されている状態を示している。
メニュー画面221に示されるように、ここではデフォルトとして、ズーム駆動方式は固定方式に設定されている。なお、図面中の「固定」という表示は、固定方式を示している。
この状態で、ユーザが、ズーム駆動方式として連続方式を選択することを所望したとする。この場合、ユーザは、十字キー15a乃至dのうち必要なキーを適宜押下することで、「ズーム駆動方式」と表示された項目にカーソルを移動させ、決定キー16を押下する。すると、表示部18の表示状態が図9の中央の図に示す表示状態に遷移する。
図9の中央の図は、表示部18に表示されるメニュー画面222として、「ズーム駆動方式」の2つの方式として固定方式と連続方式の項目が表示されている状態を示している。なお、図面中の「連続」という表示は、連続方式を示している。ユーザは、十字キー15a乃至dのうち必要なキーを適宜押下することで、「連続」と表示された項目にカーソルを移動させ、決定キー16を押下する。すると、表示部18の表示状態が図9の右の図に示す表示状態に遷移する。
図9の右の図のメニュー画面223に示されるように、ズーム駆動方式は連続方式に設定される。
このようにして、ユーザにより「連続」の項目が選択されると、上述したように、ステップS4においてNOであると判定されて、処理はステップS8に進む。
ステップS8において、ノイズパターン選択部122は、ノイズテーブル141に格納されたTeleからWide方向へのノイズパターンN6乃至N10の中から、ステップS2の処理で認識部121が認識したズーム倍率の値が含まれるノイズパターンを選択する。
ステップS9において、ズームノイズ低減部123は、ステップS8の処理でノイズパターン選択部122によって選択されたノイズパターンを用いて、ズームノイズ低減処理を実行する。すなわち、ズームノイズ低減部123は、入力音声データを、時間領域の形態から周波数領域の形態に変換する。次に、ズームノイズ低減部123は、周波数領域の入力音声データから、ノイズパターン選択部122により選択されたノイズパターンを減算する。これにより、ノイズが低減された周波数領域の音声データが得られる。そこで、ズームノイズ低減部123は、このようにしてノイズが低減された音声データを、周波数領域の形態から時間領域の形態に変換した上で出力する。
ステップS10において、認識部121は、ズームキー12の押下が継続しているかを判定する。
ズームキー12の押下が継続している場合、ステップS10においてYESであると判定されて、処理はステップS2に戻され、それ以降の処理が繰り返される。すなわち、ズームキー12の押下が継続されている期間、ステップS2乃至S10のループ処理が繰り返される。
その後、ユーザがズームキー12から指を離す等してズームキー12の押下が解除された場合、ステップS10においてNOであると判定されて、処理はステップS7に進む。
ステップS7において、認識部121は、動画記録の終了が指示されたかを判定する。
動画記録の終了が指示されない場合、ステップS7においてNOであると判定されて、処理はステップS1に戻され、それ以降の処理が繰り返される。すなわち、動画記録の終了が指示されるまでの間、ステップS1乃至S10のループ処理が繰り返される。
その後、動画記録の終了が指示された場合、音声データ加工処理は終了する。
例えば、ズーム倍率が5倍の状態でユーザがWideキーを押下し、ズーム倍率が4.5倍に切り替えられたとする。このとき、認識部121は、ズーム制御情報を取得することにより、ズーム倍率が5倍から4.5倍に切り替えられたことを認識し、ズーム倍率を表示部18に表示させる。すると、ノイズパターン選択部122は、認識部121が認識したズーム倍率に基づいて、ノイズテーブル141に格納されているTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンN6乃至N10のうち、4.5倍の値が含まれる5倍から4倍のノイズパターンN6を選択する。すなわち、ズーム駆動方式が連続方式である場合、認識されたズーム倍率の値がその範囲に含まれるノイズパターンが選択される。すると、ズームノイズ低減部123は、ノイズパターン選択部122によって選択されたノイズパターンN6を用いて、音声処理部92から供給された入力音声データに対してズームノイズ低減処理を実行する。
その後、ズーム倍率が4.5倍の状態でユーザがTeleキーの押下を継続していて、ズーム倍率が3.1倍に切り替えられたとする。このとき、認識部121は、ズーム制御情報を取得することにより、ズーム倍率が4.5倍から3.1倍に切り替えられたことを認識し、ズーム倍率を表示部18に表示させる。すると、ノイズパターン選択部122は、認識部121が認識したズーム倍率に基づいて、ノイズテーブル141に格納されているTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンN6乃至N10のうち、3.1倍の値が含まれる4倍から3倍のノイズパターンN7を選択する。すると、ズームノイズ低減部123は、ノイズパターン選択部122によって選択されたノイズパターンN7を用いて、音声処理部92から供給された入力音声データに対してズームノイズ低減処理を実行する。そして、ズームキー12の押下が継続されなくなり、再度シャッタキー11が押下されて動画記録の終了が指示されると、音声データ加工処理は終了する。
このように、5種類のズーム倍率を固定することによって、ノイズテーブル141が格納するノイズパターンも、10種類のノイズパターンN1乃至N10に限定することが可能になる。したがって、一定のメモリ容量でノイズテーブル141を記録することができる。そして、一定のメモリ容量に記録されたノイズテーブル141を用いてズームノイズ低減処理を実行することにより、一定以上のノイズの低減効果を得ることができる。
なお、本実施形態では、ノイズパターンN1乃至N10は、ズーム駆動機構の駆動音のみならず、ズーム駆動機構の駆動開始音および駆動終了音、その他のレンズデバイス駆動音であるフォーカス駆動機構の駆動音等もノイズとしてあわせて集音された結果得られる周波数領域の音声データである。しかしながら、ノイズパターンは、特にこれらに限定されず、ズーム駆動機構の駆動音以外のノイズの周波数領域の音声データを、別のノイズパターンとして、ノイズテーブル141にそれぞれ個別に、または同時に格納させてもよい。この場合でも、ズーム駆動機構の駆動音についてのノイズパターンN1乃至N10のデータ容量は変わらないため、ノイズテーブル141のうちノイズパターンN1乃至N10が格納される分のメモリ容量は一定になる。したがって、メモリの空き容量がある分だけ、ズーム機構の駆動音以外の音声についての別のノイズパターンを、ノイズテーブル141に追加して格納することができる。この場合には、ズーム機構の駆動音とそれ以外とを区別してノイズ低減処理を実行することができるので、ノイズ低減効果をより一段と高めることができる。
以上の説明では、ノイズテーブル141が格納している10種類のノイズパターンN1乃至N10を用いてズームノイズ低減処理が実行された。10種類のズームレンズの移動パターン毎に、過去の所定の時点で実際にズームレンズが移動した際に発したズーム駆動機構やフォーカス駆動機構の駆動音等がノイズとして集音されて、当該ノイズの周波数領域の音声データとして生成されたものが、ノイズパターンN1乃至N10である。
しかしながら、ズーム駆動機構の駆動音やフォーカス駆動機構の駆動音等のノイズは、レンズデバイスの経年変化に伴って変化する場合がある。また、撮像装置1の個体間のばらつきによっても、ズーム駆動機構やフォーカス駆動機構等の発生音は異なっている。
したがって、長期間同一のノイズパターンを用いてズームノイズ低減処理を実行すると、操作時点で入力された音声に含まれるノイズと、過去に生成されたノイズパターンにより示されるノイズとの差分が演算される。この差分は、長期間同一のノイズパターンを用いるほど大きくなる場合があり、過去に生成されたノイズパターンを用いてズームノイズ低減処理を実行すると、ノイズの低減効果が低下してしまうおそれがある。このため、ユーザの指示により、ノイズパターンN1乃至N10について、適宜キャリブレーション(較正)を行うことで、ノイズの低減効果を実現できるようにする。
[キャリブレーション処理部124の機能的構成例]
図10は、図3のCPU81が有するキャリブレーション処理部124の機能的構成例を示すブロック図である。
図10は、図3のCPU81が有するキャリブレーション処理部124の機能的構成例を示すブロック図である。
図10のキャリブレーション処理部124は、ズーム制御部241、ノイズパターン生成部242、およびキャリブレーション実行部243から構成される。
上述したように、ユーザは、十字キー15a乃至d、および決定キー16のうち必要なキーを適宜押下することで、メニュー画面に表示された複数の項目の中から、ノイズパターンのキャリブレーション処理の実行を指示する項目を選択することができる。このような選択がなされた場合、ノイズパターンのキャリブレーション処理の実行の指示がズーム制御部241に通知される。
このようにしてユーザがノイズパターンのキャリブレーション処理の実行を指示した場合、ズーム制御部241は、光学ブロック用ドライバ64を介して、ズーム駆動機構を制御して、ノイズパターンN1乃至N10に対応するズームパターン毎に、ズーム制御を実行する。
すなわち、ズーム制御部241が、ノイズパターンN1乃至N5のうちのいずれかに対応するズームパターンで、ズーム制御を実行すると、ズームレンズは、WideからTeleに向かう方向に移動する。この場合のズーム機構によるズームレンズの駆動を、以下、「W→T駆動」と表現する。
一方、ズーム制御部241が、ノイズパターンN6乃至N10のうちのいずれかに対応するズームパターンで、ズーム制御を実行すると、ズームレンズは、TeleからWideに向かう方向に移動する。この場合のズーム機構によるズームレンズの駆動を、以下、「T→W駆動」と表現する。
ノイズパターン生成部242は、ズーム制御部241によって、ノイズパターンNi(iは、1乃至10のうちのいずれかの値)に対応するズームパターンでズーム制御が実行された場合、ズーム駆動機構の駆動音等をノイズとして集音し、当該ノイズの周波数領域のデータを、ノイズパターンiとして生成する。
キャリブレーション実行部243は、ノイズパターンのキャリブレーション処理を行う。例えば、キャリブレーション実行部243は、ノイズパターンのキャリブレーション処理の開始タイミングを制御する。本実施形態では、ノイズパターンのキャリブレーション処理は、ユーザによる明示の指示があったときに開始する。すなわち、ユーザは、所望のタイミングで、十字キー15a乃至d、および決定キー16のうち必要なキーを適宜押下することで、メニュー画面に表示された複数の項目の中から、ノイズパターンのキャリブレーション処理の実行を指示する項目を選択する。これにより、ユーザは、所望のタイミングでノイズパターンのキャリブレーション処理の実行を指示することができる。キャリブレーション実行部243は、このような明示の指示を受けて、ノイズパターンのキャリブレーション処理の実行を開始する。
経年変化があると、前回のキャリブレーション処理の実行から時間が経過する程、ノイズパターンは、実際のノイズにそぐわないものになっていく。そこで、本実施形態では、キャリブレーション実行部243は、前回のノイズパターンのキャリブレーション処理の実行からの経過時間を管理する。そして、キャリブレーション実行部243は、前回のノイズパターンのキャリブレーション処理の実行から一定時間以上経過すると、表示制御部37を制御して、ノイズパターンのキャリブレーション処理の実行をうながす表示をする。この表示を見たユーザは、ノイズパターンのキャリブレーション処理の実行を指示するか否かを判断することができる。この場合も、キャリブレーション実行部243は、このようなユーザからの指示を受けると、ノイズパターンのキャリブレーション処理の実行を開始する。
また例えば、キャリブレーション実行部243は、更新用のノイズパターンの番号を表わす変数iを制御し、ノイズパターンのキャリブレーション処理を実行する。すなわち、具体的には、キャリブレーション実行部243は、ノイズパターンのキャリブレーション処理を開始させた後、ノイズパターン生成部242によりノイズパターンiが生成される毎に、当該ノイズパターンiを取得して保持する。キャリブレーション実行部243は、このようにして全ての更新用のノイズパターン1乃至10を取得して保持すると、そのとき保存されている古いノイズパターンN1乃至N10を、更新用のノイズパターン1乃至10に更新する。或いは、古いノイズパターンN1乃至N10が格納されたノイズテーブル141が、更新用のノイズパターン1乃至10が格納されたノイズテーブル141に差し替えられると把握してもよい。
[ユーザ操作]
次に、このようなキャリブレーション処理部124に対する、ノイズパターンのキャリブレーション処理の実行の指示操作の一例について説明する。
次に、このようなキャリブレーション処理部124に対する、ノイズパターンのキャリブレーション処理の実行の指示操作の一例について説明する。
図11は、ノイズパターンのキャリブレーション処理の実行の指示操作について説明する図である。
図11の上段左の図は、表示部18にメニュー画面261が表示されている状態、すなわち、「カメラ設定メニュー」の1つのメニューである「キャリブレーション」の選択メニューを含むメニュー画面261が表示されている状態を示している。
この状態で、ユーザが、ノイズパターンのキャリブレーション処理の実行を所望したとする。この場合、ユーザは、十字キー15a乃至dのうち必要なキーを適宜押下することで、「キャリブレーション」と表示された項目にカーソルを移動させ、決定キー16を押下する。すると、表示部18が図11の上段右の図に示す表示状態になる。
図11の上段右の図は、表示部18にメニュー画面262が表示されている状態、すなわち、「実行」の項目、及び「キャンセル」の項目を含むメニュー画面262が表示されている状態を示している。ユーザが、十字キー15a乃至dのうち必要なキーを適宜押下することで、「キャンセル」の項目にカーソルを移動させ、決定キー16を押下したとする。すると、表示部18が図11の上段左の図に示す表示状態に戻る。一方、ユーザが、「実行」の項目にカーソルを移動させ、決定キー16を押下したとする。すると、表示部18は図11の下段左の図に示す表示状態になる。
図11の下段左の図は、表示部18にメニュー画面263が表示されている状態、すなわち、キャリブレーション処理を「開始する」の項目、及び「キャンセル」の項目を含むメニュー画面263が表示されている状態を示している。ユーザが、十字キー15a乃至dのうち必要なキーを適宜押下することで、「開始する」の項目にカーソルを移動させ、決定キー16を押下したとする。すると、表示部18は図11の下段中央の図に示す表示状態に遷移する。
図11の下段中央の図は、表示部18にメニュー画面264が表示されている状態、すなわち、ノイズパターンのキャリブレーション処理が「実行中」のメッセージを含むメニュー画面264が表示されている状態を示している。このとき、表示部18には、「実行中」のメッセージを含むメニュー画面264を表示しても、スルー画像を表示しても、ブラックアウトさせるようにしてもよい。ノイズパターンのキャリブレーション処理が完了すると、表示部18は図11の下段右の図に示す表示状態に遷移する。
図11の下段右の図は、表示部18にメニュー画面265が表示されている状態、すなわち、「キャリブレーション処理が完了しました」というメッセージを含むメニュー画面265が表示されている状態を示している。ノイズパターンのキャリブレーション処理完了の通知が数秒間表示されると、表示部18は図11の上段左の図に示す表示状態に遷移する。
このようにして、ユーザによりノイズパターンのキャリブレーション処理の実行が指示されると、ノイズパターンのキャリブレーション処理が開始される。
[キャリブレーション処理]
図12は、キャリブレーション処理の一例を説明するフローチャートである。この処理は、ユーザが上述したメニュー画面からキャリブレーションの開始を指示したときに開始される。
図12は、キャリブレーション処理の一例を説明するフローチャートである。この処理は、ユーザが上述したメニュー画面からキャリブレーションの開始を指示したときに開始される。
ステップS31において、キャリブレーション実行部243は、更新用のノイズパターンの番号を表わす変数i=1に設定する。
ステップS32において、ズーム制御部241は、光学ブロック用ドライバ64を介してズーム駆動機構を制御して、ノイズパターンNiに対応するW→T駆動をする。例えば、ステップS31の処理後のステップS32の処理では、ノイズパターンi=1に対応する古いノイズパターンN1が生成された時と同一のズーム制御のズームパターンに従って、ズームレンズが移動する。すなわちズーム倍率が開始位置である等倍から終了位置である1.4倍に切り替えられるというズームパターンのズーム制御が実行される。
ステップS33において、ノイズパターン生成部242は、ノイズパターンiを生成する。すなわち、ノイズパターン生成部242は、ステップS32の処理でズーム制御部241の制御により実行されたズーム制御の際に発生したズーム駆動機構の駆動音等をノイズとして集音し、当該ノイズの周波数領域のデータを、ノイズパターンiとして生成する。
ステップS34において、キャリブレーション実行部243は、ノイズパターンiを保持する。
ステップS35において、キャリブレーション実行部243は、ノイズパターンの変数iを1だけインクリメントする。
ステップS36において、キャリブレーション実行部243は、変数iが6以上であるかを判定する。
変数iが6未満である場合、ステップS36においてNOであると判定され、処理はステップS32に戻され、それ以降の処理が繰り返される。すなわち、ノイズパターンiが6以上となるまでの間、ステップS32乃至S36のループ処理が繰り返されることによって、ノイズパターン1乃至5が生成され、保持される。
これに対して、変数iが6以上の場合、ステップS36においてYESであると判定され、処理はステップS37に進む。
なお、ステップS36において、変数iが6以上の場合とは、直近のステップS33の処理で生成されたノイズパターンiが、ノイズパターンN5に対応するノイズパターン5であったことを意味する。本実施形態では、ノイズパターンは、ズーム倍率がWideからTele方向に切り替えられるパターンに該当するノイズパターンN1乃至N5と、その反対方向であるTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンN6乃至N10に限定されている。従って、ステップS33の処理でノイズパターンN5に対応するノイズパターン5が生成された場合には、ステップS37以降の処理に進む。そして、ステップS37乃至S41の処理で、TeleからWide方向に切り替えられるズームパターンに該当するノイズパターンN6乃至N10に対応するノイズパターン6乃至10が生成される。
すなわちステップS37において、ズーム制御部241は、光学ブロック用ドライバ64を介してズーム駆動機構を制御して、ノイズパターンNiに対応するT→W駆動をする。例えば、ステップS36の処理後のステップS37の処理では、ノイズパターンi=6に対応するノイズパターンN6が生成された時と同一のズーム制御のズームパターンに従って、ズームレンズが移動する。すなわちズーム倍率が開始位置である5倍から終了位置である4倍に切り替えられるというズームパターンのズーム制御が実行される。
ステップS38において、ノイズパターン生成部242は、ノイズパターンiを生成する。すなわち、ノイズパターン生成部242は、ステップS37の処理でズーム制御部241の制御により実行されたズーム制御の際に発したズーム駆動機構の駆動音等をノイズとして集音し、当該ノイズの周波数領域のデータを、ノイズパターンiとして生成する。
ステップS39において、キャリブレーション実行部243は、ノイズパターンiを保持する。
ステップS40において、キャリブレーション実行部243は、ノイズパターンの変数iを1だけインクリメントする。
ステップS41において、キャリブレーション実行部243は、ノイズパターンの変数iが11以上であるかを判定する。
ノイズパターンの変数iが11未満である場合、ステップS41においてNOであると判定され、処理はステップS37に戻され、それ以降の処理が繰り返される。すなわち、ノイズパターンの変数iが11以上となるまでの間、ステップS37乃至S41のループ処理が繰り返されることによって、ノイズパターン6乃至10が生成され、保持される。
これに対して、ノイズパターンの変数iが11以上の場合、ステップS41においてYESであると判定され、処理はステップS42に進む。
なお、ステップS41において、ノイズパターンの変数iが11以上の場合とは、ステップS38の処理で生成されたノイズパターンiが、ノイズパターンN10に対応するノイズパターン10であったことを意味する。本実施形態では、ノイズパターンは、ズーム倍率がWideからTele方向に切り替えられるパターンに該当するノイズパターンN1乃至N5と、その反対方向であるTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンN6乃至N10に限定されている。従って、ステップS38の処理でノイズパターンN10に対応するノイズパターン10が生成された場合には、これ以上ノイズパターンは生成されない。
ステップS42において、キャリブレーション実行部243は、ノイズパターンN1乃至N10をノイズパターン1乃至10に更新する。これにより、キャリブレーション処理は終了する。
このように、ノイズパターンのキャリブレーション処理を実行することにより、現時点で実際にズームレンズが移動した際に発したズーム駆動機構やフォーカス駆動機構の駆動音等がノイズとして集音されて、当該ノイズの周波数領域の音声データとして生成されたものが、ノイズパターンN1乃至N10としてノイズテーブル141に格納される。したがって、キャリブレーション処理を実行したノイズパターンを用いてズームノイズ低減処理を行うことにより、ノイズの低減効果をより確実に実現することができる。
なお、キャリブレーション実行部243は、ユーザによるノイズパターンのキャリブレーション処理の実行の指示操作がなされると、ノイズパターンのキャリブレーション処理を開始し、その後、ユーザの指示操作を介在することなく自立的に判断して、すなわち自動的に、ノイズパターンのキャリブレーション処理を実行して終了させることができる。すなわち、ユーザにとっては、最初にキャリブレーション処理の実行の指示操作をするだけで、その後何ら操作をすることなく、ノイズパターンのキャリブレーション処理が自動的に実行される。したがって、ユーザは、容易にノイズパターンのキャリブレーション処理を実行することができる。
[自動キャリブレーション処理]
上述したように、ユーザは、所望のタイミングで、ノイズパターンのキャリブレーション処理の実行を指示することができる。しかしながら、前回のキャリブレーション処理の実行から時間が経過する程、経年変化が進むので、ノイズパターンは、実際のノイズにそぐわないものになっていく。したがって、撮像装置1は、例えば、前回のノイズパターンのキャリブレーション処理の実行から一定時間以上経過すると、ユーザに対して、ノイズパターンのキャリブレーション処理の実行をうながす画像を表示部18に表示する。なお、ユーザにノイズパターンのキャリブレーション処理の実行をうながしてから、ノイズパターンのキャリブレーション処理が実行される一連の処理を、以下、自動キャリブレーション処理と称する。
上述したように、ユーザは、所望のタイミングで、ノイズパターンのキャリブレーション処理の実行を指示することができる。しかしながら、前回のキャリブレーション処理の実行から時間が経過する程、経年変化が進むので、ノイズパターンは、実際のノイズにそぐわないものになっていく。したがって、撮像装置1は、例えば、前回のノイズパターンのキャリブレーション処理の実行から一定時間以上経過すると、ユーザに対して、ノイズパターンのキャリブレーション処理の実行をうながす画像を表示部18に表示する。なお、ユーザにノイズパターンのキャリブレーション処理の実行をうながしてから、ノイズパターンのキャリブレーション処理が実行される一連の処理を、以下、自動キャリブレーション処理と称する。
ノイズパターンの自動キャリブレーション処理が開始されるタイミングは、前回のノイズパターンのキャリブレーション処理の実行時から一定時間以上経過した場合に限られない。例えば、ズーム操作の回数が所定の値以上になったとき、或いは、定期的にズームノイズ低減処理の効果を測定し、ノイズ低減効果が十分でないと判断されたときに、ノイズパターンの自動キャリブレーション処理が開始されるとしてもよい。
ステップS61において、キャリブレーション実行部243は、表示制御部37を制御して、表示部18にノイズパターンのキャリブレーション処理の実行をうながす表示をする。例えば、「前回のキャリブレーションから2年が経過しました。キャリブレーションを実行して下さい」のようなメッセージが表示される。
ステップS62において、キャリブレーション実行部243は、ノイズパターンのキャリブレーション処理の実行が指示されたかを判定する。すなわち、キャリブレーション実行部243は、ユーザが、表示部18に表示されたメニュー画面から「キャリブレーション」の項目を選択し、ノイズパターンのキャリブレーション処理の実行を指示したかを判定する。
ノイズパターンのキャリブレーション処理の実行が指示されなかった場合、自動キャリブレーション処理は終了する。
これに対して、ノイズパターンのキャリブレーション処理の実行が指示された場合、処理はステップS63に進む。
なお、ステップS63乃至ステップS74の各処理は、図12のキャリブレーション処理のステップS31乃至S42の各処理と同様の処理である。したがって、これらの各処理の説明は繰り返しになるので省略する。
ステップS74において、古いノイズパターンN1乃至N10が更新用のノイズパターン1乃至10に更新されると、自動キャリブレーション処理は終了する。
なお、ノイズパターンのキャリブレーション処理および自動キャリブレーション処理では、ノイズパターン1乃至10を、10回に分割して生成した。しかしながら、ノイズパターン1乃至10の生成の手法はこれに限定されず、ノイズパターン1乃至10を一括して生成してもよい。すなわち、キャリブレーション実行部243は、ズーム制御部241とノイズパターン生成部242を制御することにより、ズームレンズを駆動範囲の一端であるWide端から他端であるTele端まで連続して移動させた後、Tele端からWide端まで連続して移動させ、その際に、10パターンのノイズを順次取得して、これらの10パターンのノイズの周波数領域のデータを、ノイズパターン1乃至10のそれぞれとして一括して生成してもよい。
この場合には、ズームレンズは連続して移動しているため、ズームレンズの移動が開始する時にのみ、ズーム駆動機構の駆動開始音が取得される。このため、最初のノイズパターン1のみが、ズーム駆動機構の駆動音以外に、ズーム駆動機構の駆動開始音をノイズとして含むデータになっており、それ以外のノイズパターン2乃至10は、ズーム駆動機構の駆動開始音をノイズとして含まないデータになる。
同様に、ズームレンズは連続して移動しているため、ズームレンズの移動が終了する時にのみ、ズーム駆動機構の駆動終了音が取得される。このため、最後のノイズパターン10のみが、ズーム駆動機構の駆動音以外に、ズーム駆動機構の駆動終了音をノイズとして含むデータになっており、それ以外のノイズパターン1乃至9は、ズーム駆動機構の駆動終了音をノイズとして含まないデータになる。
本発明は、デジタルカメラの他、デジタルビデオカメラ等、撮像機能と、光学系ズーム機能と、撮像時に入力される音声のデータを記録する記録機能とを備えた撮像装置に適用することができる。
[本発明のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
このようなプログラムを含む記録媒体は、図2に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フロッピディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVDを含む)、光磁気ディスク(MD(Mini-Disk)を含む)、もしくは半導体メモリなどよりなる記録媒体40により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているフラッシュROM82や、記録部39に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
1 撮像装置, 12 ズームキー, 15 十字キー, 16 決定キー, 18 表示部, 36 操作部, 39 記録部, 40 記録媒体, 61 光学ブロック, 81 CPU, 82 フラッシュROM82, 91 マイクロホン, 92 音声処理部, 93 スピーカ, 121 認識部, 122 ノイズパターン選択部, 123 ズームノイズ低減部, 124 キャリブレーション処理部, 141 ノイズテーブル, 161 窓かけフーリエ変換部, 162 減算処理部, 163 逆フーリエ変換窓かけ部, 241 ズーム制御部, 242 ノイズパターン生成部, 243 キャリブレーション実行部
Claims (8)
- ズームレンズと、前記ズームレンズを駆動するズーム駆動機構とを少なくとも含み、被写体を撮像することによって前記被写体の画像データを出力する撮像手段と、
前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータをノイズパターンとして保持する保持手段と、
前記保持手段に保持されている複数の前記ノイズパターンの中から更新対象のノイズパターンを選択し、前記ズーム駆動機構を制御して、更新対象の前記ノイズパターンに対応するズームパターンに従って前記ズームレンズを駆動させ、そのときに発した前記ズーム駆動機構の駆動音を含むノイズを実測して、実測されたノイズのデータを用いて、更新対象の前記ノイズパターンを更新するキャリブレーション処理を実行するキャリブレーション処理手段と
を備える撮像装置。 - 外部から入力される音声のデータを取得し、入力音声データとして出力する音声処理手段をさらに備え、
前記キャリブレーション処理手段は、
前記ノイズパターンの更新の指示操作を受け付けると、複数の前記ノイズパターンの中から更新対象の前記ノイズパターンを選択して、前記キャリブレーション処理を開始させ、その後、前記指示操作を介在せずに自立的に前記キャリブレーション処理を実行するキャリブレーション実行手段と、
前記キャリブレーション実行手段により前記キャリブレーション処理が開始されると、前記ズーム駆動機構を制御して、更新対象の前記ノイズパターンに対応するズームパターンに従って前記ズームレンズを駆動させるズーム制御手段と、
前記ズーム制御手段により前記ズームレンズが駆動されたときに前記入力音声データから出力された前記入力音声データを、前記実測されたノイズのデータとして用いて、更新用のノイズパターンを生成するノイズパターン生成手段と
を備え、
前記キャリブレーション実行手段は、前記保持手段に保持されている更新対象の前記ノイズパターンを、前記ノイズパターン生成手段により生成された更新用の前記ノイズパターンに更新する
請求項1に記載の撮像装置。 - 前記キャリブレーション実行手段は、
複数の前記ノイズパターンの全てを更新対象の前記ノイズパターンとしてそれぞれ選択し、
前記ノイズパターン毎に、前記ズーム制御手段及び前記ノイズパターン生成手段の処理を繰り返し実行させることで、複数の前記ノイズパターンの各々に対する更新用の前記ノイズパターンを取得し、
前記保持手段に保持されている複数の前記ノイズパターンの全てを、各々に対する更新用の前記ノイズパターンに更新する
請求項2に記載の撮像装置。 - 前記キャリブレーション実行手段は、
複数の前記ノイズパターンの全てを更新対象の前記ノイズパターンとしてそれぞれ選択し、
前記ズーム制御手段及び前記ノイズパターン生成手段の処理を制御することによって、前記ズームレンズを駆動範囲内の一端から他端まで連続して往復駆動させ、複数の前記ノイズパターンの各々に対応するズームパターンと等価の移動を前記ズームレンズがする毎に、前記ノイズパターン生成手段によって生成されたノイズパターンを、更新用のノイズパターンとして順次取得して、
前記保持手段に保持されている複数の前記ノイズパターンの全てを、各々に対する更新用の前記ノイズパターンに更新する
請求項2に記載の撮像装置。 - ユーザに情報を表示する表示手段をさらに備え、
前記キャリブレーション実行手段は、さらに、前記キャリブレーションの実行の提案を示す表示情報を前記表示手段に表示し、前記表示手段により前記表示情報が表示された前記ノイズパターンの更新の指示操作が前記ユーザによってなされたとき、前記指示操作を受け付けて、前記キャリブレーション処理を開始させる
請求項3に記載の撮像装置。 - 前記撮像手段は、フォーカスレンズと、前記フォーカスレンズ駆動機構とをさらに含み、
前記保持手段は、さらに、前記フォーカス駆動機構の駆動音が含まれるノイズのデータのノイズパターンを保持する
請求項5に記載の撮像装置。 - ズームレンズと、前記ズームレンズを駆動するズーム駆動機構とを少なくとも含み、被写体を撮像することによって前記被写体の画像データを出力する撮像ステップと、
前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータをノイズパターンとして保持する保持ステップと、
前記保持ステップの処理により保持されている複数の前記ノイズパターンの中から更新対象のノイズパターンを選択し、前記ズーム駆動機構を制御して、更新対象の前記ノイズパターンに対応するズームパターンに従って前記ズームレンズを駆動させ、そのときに発した前記ズーム駆動機構の駆動音を含むノイズを実測して、実測されたノイズのデータを用いて、更新対象の前記ノイズパターンを更新するキャリブレーション処理を実行するキャリブレーション処理ステップと
を含む撮像方法。 - ズームレンズと、前記ズームレンズを駆動するズーム駆動機構とを少なくとも含み、被写体を撮像することによって前記被写体の画像データを出力し、
前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータをノイズパターンとして保持し、
保持されている複数の前記ノイズパターンの中から更新対象のノイズパターンを選択し、前記ズーム駆動機構を制御して、更新対象の前記ノイズパターンに対応するズームパターンに従って前記ズームレンズを駆動させ、そのときに発した前記ズーム駆動機構の駆動音を含むノイズを実測して、実測されたノイズのデータを用いて、更新対象の前記ノイズパターンを更新するキャリブレーション処理を実行する
ステップを含む制御処理をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010072499A JP2011205526A (ja) | 2010-03-26 | 2010-03-26 | 撮像装置及び方法、並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010072499A JP2011205526A (ja) | 2010-03-26 | 2010-03-26 | 撮像装置及び方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011205526A true JP2011205526A (ja) | 2011-10-13 |
Family
ID=44881658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010072499A Withdrawn JP2011205526A (ja) | 2010-03-26 | 2010-03-26 | 撮像装置及び方法、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011205526A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015034898A (ja) * | 2013-08-09 | 2015-02-19 | キヤノン株式会社 | 音声処理装置及び撮像装置 |
WO2020230539A1 (ja) * | 2019-05-16 | 2020-11-19 | ソニー株式会社 | 信号処理装置、信号処理方法、プログラムおよび撮像装置 |
-
2010
- 2010-03-26 JP JP2010072499A patent/JP2011205526A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015034898A (ja) * | 2013-08-09 | 2015-02-19 | キヤノン株式会社 | 音声処理装置及び撮像装置 |
WO2020230539A1 (ja) * | 2019-05-16 | 2020-11-19 | ソニー株式会社 | 信号処理装置、信号処理方法、プログラムおよび撮像装置 |
JP7505489B2 (ja) | 2019-05-16 | 2024-06-25 | ソニーグループ株式会社 | 信号処理装置、信号処理方法、プログラムおよび撮像装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8416338B2 (en) | Imaging device and imaging method | |
US8363121B2 (en) | Digital photographing device, method of controlling the same, and computer-readable storage medium to select between a still and a moving image capturing mode | |
KR101661216B1 (ko) | 디지털 영상 처리 장치, 디지털 영상 신호 처리 방법 및 상기 방법을 기록한 기록 매체 | |
JP4727534B2 (ja) | 撮像装置 | |
JP2011248159A (ja) | 撮像装置、撮像システム、撮像装置の制御方法およびプログラム | |
JP2007215091A (ja) | 撮像装置及びそのプログラム | |
WO2015045911A1 (ja) | 撮影装置、撮影方法、およびプログラム | |
KR101760345B1 (ko) | 동영상 촬영 방법 및 동영상 촬영 장치 | |
JP5013852B2 (ja) | 画角補正装置及び方法並びに撮像装置 | |
JP2011193185A (ja) | 撮像装置、撮像システム、交換レンズの制御方法およびプログラム | |
JP5656586B2 (ja) | 撮像装置とその制御方法並びに音声処理装置及び方法 | |
JP5896181B2 (ja) | 撮像装置、撮像制御方法、及びプログラム | |
JP4591120B2 (ja) | 撮像装置、オートフォーカス制御方法、及びオートフォーカス制御プログラム | |
JP2004215100A (ja) | 撮像装置 | |
JP2009218900A (ja) | 撮像装置、動画記録再生方法、および、プログラム | |
JP2011205527A (ja) | 撮像装置及び方法、並びにプログラム | |
JP2011205526A (ja) | 撮像装置及び方法、並びにプログラム | |
JP2011055086A (ja) | 撮像装置 | |
JP4665607B2 (ja) | カメラ、カメラ制御プログラム及びカメラ制御方法 | |
JP2010136301A (ja) | 撮像装置及びその固体撮像素子 | |
JP2012203040A (ja) | 音声信号処理装置、及びその制御方法 | |
JP5235644B2 (ja) | 撮像装置、画像処理方法、及び撮像装置の制御方法 | |
US11729548B2 (en) | Audio processing apparatus, control method, and storage medium, each for performing noise reduction using audio signals input from plurality of microphones | |
JP2013162272A (ja) | 撮像装置 | |
JP2014120926A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130604 |