JP5391008B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置において、撮像動作に伴って音声を記録する場合のノイズキャンセル技術に関する。

近年デジタルカメラ等の撮像装置の高機能化が進んでおり、撮像装置の中には動画像及び静止画像を撮像可能なものがある。動画像の撮像においては、画像の撮像とともに音声記録を行い、両者を一つのデータとして記録する。このとき、被写体から発生される音声が実際に聴覚を通して知覚するように取得できることが望ましいが、記録時に撮像装置の内部で発生する、装置の駆動音等のノイズの影響を受けてしまう。このため、音声記録時のノイズの影響を軽減するために、様々な撮像装置が提案されている。

特許文献１には、撮像装置の内部にあるノイズ源から発生されるノイズの周波数帯を遮断するようなバンドパスフィルタを適用することによって、撮像装置の備えるマイクで記録された音声信号からノイズの周波数帯を除去する技術が開示されている。

また、特許文献２には、被写体用のマイクに加え、撮像装置の内部にノイズ用のマイクを設け、それぞれのマイクの出力信号を加算したときにノイズ成分の音声信号のみを相殺するようなフィルタを、それぞれの出力信号に適用する技術が開示されている。

特開２００５−１３０３２８号公報 特開２００５−２４４６１３号公報

しかしながら、特許文献１のように、ノイズの周波数帯を遮断する場合、ノイズの信号が狭帯域であれば効果が期待できるが、ノイズの信号が広帯域の場合は被写体から発生される音声の周波数帯域も遮断してしまう可能性がある。

また、特許文献２のような、それぞれの音源にフィルタを適用する場合、ノイズ源や被写体から発生される音声に対しフィルタが適切にモデル化されているかが重要になる。つまり、レンズ交換式のカメラ等、ノイズ源の性質が変化する場合は、予めノイズ源に対してフィルタをモデル化することが困難であるため、適切なノイズの低減効果が期待できない。さらに、特許文献２では撮像装置内のノイズ源からのノイズを取得することを目的としてマイクを配置しているが、撮像装置ではノイズ源が移動することが考えられる。この場合、ノイズ源の移動によって、ノイズ用のマイクの出力信号の周波数特性も変化するため、適切にノイズを低減することは困難である。

本発明は、上述の問題点に鑑みてなされたものであり、撮像に伴って音声記録をする際に、撮像装置内のノイズ源から発生するノイズの影響を低減することを目的とする。

前述の目的を達成するために、本発明の撮像装置は、以下の構成を備える。
撮像装置であって、被写体を撮像する撮像手段と、撮像手段の撮像動作と同期して被写体の音声を取得するための第１の集音手段と、撮像装置内に配置され、ノイズを発生するノイズ源と、撮像手段の撮像動作と同期してノイズ源から発生するノイズを取得するための第２の集音手段と、第２の集音手段の出力信号を用いて、第１の集音手段の出力信号からノイズを低減する信号処理手段とを有し、第２の集音手段は、ノイズ源と共に移動する部材上に配置されていることを特徴とする。

このような構成により本発明によれば、撮像に伴って音声記録をする際に、撮像装置内のノイズ源から発生するノイズの影響を低減することを可能とする。

実施形態にかかる撮像装置とレンズ鏡筒の機能構成例を示すブロック図。 レンズ鏡筒内の移動するノイズ源を説明するための図。 撮像装置の記録処理を説明するためのフローチャート。 撮像装置のシステム同定処理を説明するためのフローチャート。 システム同定処理を説明するための図。 音源分離処理を説明するための図。 実施形態の変形例にかかる撮像装置とレンズ鏡筒を説明するための図。

以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、撮像動作に同期した音声記録が可能であり、さらに着脱可能なレンズ鏡筒を備え、レンズ鏡筒内で移動するノイズ源から発生するノイズを集音可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、レンズ鏡筒に関わらず、撮像装置内に配置され、移動しながらノイズを発生するノイズ源からノイズを取得し、任意の音声記録と共に撮像が可能な撮像装置にも適用可能である。

図１は、本発明の実施形態にかかるデジタルカメラ１００とレンズ鏡筒２００の機能構成を示すブロック図である。
カメラ制御部１０１は、デジタルカメラ１００の各ブロックの動作を制御する。カメラ制御部１０１は、例えばカメラＲＯＭ１０７に記憶されているデジタルカメラ１００の各ブロックの動作プログラムを、カメラＲＡＭ（図示せず）に展開し、実行することによりデジタルカメラ１００の各ブロックの動作を制御する。撮像素子１０２は、例えばＣＣＤやＣＭＯＳセンサといった撮像素子でよく、レンズ鏡筒２００の光学系２０１を介してデジタルカメラ１００に入射した被写体からの反射光を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０３に出力する。Ａ／Ｄ変換部１０３は、入力されたアナログ画像信号に対し、Ａ／Ｄ変換処理を適用し、デジタル画像データを出力する。画像処理部１０４は、Ａ／Ｄ変換部１０３でＡ／Ｄ変換されたデジタル画像データに対し、所定の画像処理を適用する。所定の画像処理は、例えば解像度変換処理や色調補正処理が含まれ、カメラ制御部１０１がカメラＲＯＭ１０７に記憶されている撮像設定に基づいて、画像処理部１０４に処理を行わせる。画像表示部１０５は、例えば液晶ディスプレイ等の表示装置であり、Ａ／Ｄ変換部１０３でＡ／Ｄ変換されたデジタル画像や、後述する記録部１０６に記録されている画像を読み込み、画像表示部１０５の表示領域に表示する。記録部１０６は、画像処理部１０４で画像処理が適用された画像に対し、カメラＲＯＭ１０７に記憶されている画像の記録形式に従って、圧縮・伸張処理を適用し、記録部１０６に接続された記録媒体（図示せず）に記録する。記録媒体は、例えば、デジタルカメラ１００のもつ記録領域でも、メモリカードやＨＤＤ等のデジタルカメラ１００に接続して用いる着脱可能な記録装置であってもよい。また、本実施形態のデジタルカメラ１００は、撮像動作と同期して被写体の音声を記録可能であり、記録部１０６は画像処理部１０４で画像処理が適用された画像とともに、後述するマイク１０９で取得した被写体の音声を記録する。カメラＲＯＭ１０７は、例えば書き換え可能な不揮発性メモリであり、デジタルカメラ１００の各ブロックの動作プログラムに加え、撮像解像度や記録形式等の各ブロックの動作に必要な各種設定や、画像表示部１０５に表示するＧＵＩ等を記憶する。ＡＥ／ＡＦ部１０８は、例えば光学系２０１を介して入射する被写体の反射光を分光し、不図示のラインセンサで被写体像のコントラストを検知して、後述する焦点レンズ駆動部２０４で用いられる、被写体像に合焦する焦点レンズの位置を検出する。またＡＥ／ＡＦ部１０８は、例えば光学系２０１を介して入射する被写体の反射光を、不図示の測光センサを用いて測光し、後述する絞り機構駆動部２０３で用いられる、適切な受光量になる絞り機構の開き量を算出する。

マイク１０９は、デジタルカメラ１００を用いて撮像とともに音声記録を行う際に、被写体の音声を取得することを目的としてデジタルカメラ１００に備えられた集音マイクである。マイク１０９は取得した音声（出力信号）をそのまま記録せず、後述する音声処理部１１１に出力する。操作入力部１１０は、デジタルカメラ１００への撮影者からの入力を受け付ける入力インタフェースである。操作入力部１１０は、例えば撮影者からの撮像動作の開始の入力を受け付けるシャッタボタンや、撮影者からの撮像する被写体像の画角変更の入力を受け付けるズームボタンや、電源ボタン等を備える。操作入力部１１０は、操作入力部１１０が備える各ボタンに撮影者からの入力を受け付けると、その入力をカメラ制御部１０１に伝える。音声処理部１１１は、マイク１０９の出力信号と後述するノイズ用マイク２０７の出力信号とを信号処理し、得られた記録用の音声を記録部１０６に出力し、記録する。具体的には、マイク１０９の出力信号からノイズを低減するために、ノイズ用マイク２０７の出力信号を用いて、音源分離処理を行う。

レンズ制御部２０２はレンズ鏡筒２００の各ブロックの動作を制御する。レンズ制御部２０２は、例えばレンズＲＯＭ２０８からレンズ鏡筒２００の各ブロックの動作プログラムを読み出し、レンズＲＡＭ（図示せず）に展開し、実行することによりレンズ鏡筒２００の各ブロックの動作を制御する。また、本実施形態においてレンズ鏡筒２００は着脱可能であり、デジタルカメラ１００及びレンズ鏡筒２００のそれぞれに電気接点（図示せず）を設ける。カメラ制御部１０１及びレンズ制御部２０２は、デジタルカメラ１００にレンズ鏡筒２００が装着されたことを、電気接点の通電によって検知し、相互に通信可能な状態となる。具体的には、カメラ制御部１０１とレンズ制御部２０２は、例えばカメラ制御部１０１が、ＡＥ／ＡＦ部１０８で算出された被写体像に合焦する焦点レンズの位置をレンズ制御部２０２に伝送する。レンズ制御部２０２は、カメラ制御部１０１から伝送された被写体像に合焦する焦点レンズの位置に従って、後述する焦点レンズ駆動部２０４の動作を制御する。

絞り機構駆動部２０３は、光学系２０１に入射する光量を調節する絞り機構（図示せず）を駆動させる絞り駆動アクチュエータを有する。レンズ制御部２０２は、ＡＥ／ＡＦ部１０８で算出された適切な受光量になる絞り機構の開き量をカメラ制御部１０１より受信し、受信した絞り機構の開き量に従って絞り機構駆動部２０３に絞り機構を駆動させる。焦点レンズ駆動部２０４は、被写体像に合焦するための焦点レンズ（図示せず）を駆動させる焦点レンズ駆動アクチュエータを有する。レンズ制御部２０２は、ＡＥ／ＡＦ部１０８で検出された被写体像に合焦する焦点レンズの位置をカメラ制御部１０１より受信し、受信した焦点レンズの位置に従って焦点レンズ駆動部２０４に焦点レンズを駆動させる。手ブレ補正駆動部２０５は、手ブレ検出部２０６で検出されたデジタルカメラ１００及びレンズ鏡筒２００の手ブレ量に従い、光学系２０１の手ブレ補正レンズ（図示せず）を駆動させる手ブレ補正アクチュエータを有する。具体的には、手ブレ補正駆動部２０５は、手ブレによって発生する、撮像素子１０２上の被写体像のブレを軽減するために手ブレ補正レンズを駆動させる。手ブレ検出部２０６は、例えばジャイロセンサ等のデジタルカメラ１００及びレンズ鏡筒２００の動きの角度を検出可能なセンサであってよく、撮像時の手ブレ量を計測し、計測した手ブレ量をレンズ制御部２０２に伝送する。

ノイズ用マイク２０７は、レンズ鏡筒２００内の移動するノイズ源から発生するノイズを集音することを目的とした集音マイクであり、出力信号をレンズ制御部２０２及びカメラ制御部１０１を介して音声処理部１１１に入力する。本実施形態において、光学系２０１は、操作入力部１１０のズームボタンに撮影者からの画角変更の入力があると、レンズ鏡筒２００の伸縮と共に、光学系２０１が備えるレンズ群の位置関係を、光軸上で変更する。図２は、デジタルカメラ１００にレンズ鏡筒２００が接続された際の模式図である。図２（ａ）はレンズ鏡筒２００において、撮影者によって画角が広角に設定されたときであり、図２（ｂ）はレンズ鏡筒２００において、撮影者によって画角が狭角に設定されたときである。このように、設定された画角によって光学系２０１のレンズ群の位置関係は変わる。つまり、レンズ鏡筒２００において、焦点レンズ及び焦点レンズ駆動部２０４、絞り機構及び絞り機構駆動部２０３、手ブレ補正レンズ及び手ブレ補正駆動部２０５は、画角や焦点、絞り量の変更に伴い、移動しながら駆動音を発生させるノイズ源に該当する。以下、上述した３つのアクチュエータを備える駆動部をノイズ源として扱う。ノイズ用マイク２０７は、移動するノイズ源のうち、少なくとも１つのノイズ源が発生するノイズを、そのノイズ源の移動位置に依らず、正確に取得することを目的とする。このため、ノイズ用マイク２０７は、少なくとも１つのノイズ源とともに移動する部材上に固定され、ノイズ源と一定の位置関係を保って移動する。本実施形態では、上述した３つのアクチュエータを備える駆動部のうち、絞り機構駆動部２０３が発生するノイズを正確に取得するために、ノイズ用マイク２０７は、絞り機構駆動部２０３と同一の部材に固定されるものとして説明する。しかし、絞り機構駆動部２０３に限らず、ノイズ用マイク２０７はその他の移動するノイズ源とともに移動する部材上に配置されても構わない。例えば、本実施形態では、絞り機構駆動部２０３ではなく、焦点レンズ駆動部２０４、又は手ブレ補正駆動部２０５とともに移動する部材上に、ノイズ用マイク２０７を配置しても構わない。

なお、マイク１０９とノイズ用マイク２０７はそれぞれ、被写体の音声の取得及びノイズの取得を目的とする集音マイクとして説明したが、それぞれのマイクは目的の音声だけを取得できるものではない。つまり、マイク１０９は被写体の音声の取得を目的としているが、被写体の音声だけでなくノイズも取得する。同様に、ノイズ用マイク２０７も、ノイズの取得を目的としているが、ノイズだけでなく被写体の音声も取得する。

デジタルカメラ１００の操作入力部１１０の電源ボタンへの撮影者からの入力を受け、カメラ制御部１０１はデジタルカメラ１００を起動する。デジタルカメラ１００が起動すると、カメラ制御部１０１はレンズ鏡筒２００が装着されているかを電気接点の通電状態で確認する。レンズ鏡筒２００が装着されている場合は、カメラ制御部１０１は光学系２０１を介して撮像素子１０２上に結像する被写体像を撮像素子１０２で光電変換させ、Ａ／Ｄ変換部１０３でＡ／Ｄ変換させてデジタル画像を得る。さらに、カメラ制御部１０１は、デジタル画像に画像処理部１０４で各種画像処理を適用し、画像表示部１０５に表示させる。このとき、画像表示部１０５の表示領域に表示される画像は、撮像素子１０２で光電変換され、Ａ／Ｄ変換部１０３でＡ／Ｄ変換され、画像処理部１０４で画像処理される、一連の撮像処理で出力される画像である。カメラ制御部１０１は逐次、撮像処理で出力される画像を画像表示部１０５に表示（スルー表示）する。この状態で、カメラ制御部１０１はデジタルカメラ１００を撮像待機状態とし、撮影者からの操作入力部１１０のシャッタボタンへの入力を受けて、撮像及び記録処理を行う。また、カメラ制御部１０１は同時に、Ａ／Ｄ変換部１０３でＡ／Ｄ変換されたデジタル画像を元に、ＡＥ／ＡＦ部１０８で絞り機構の開き量と、被写体像に合焦する焦点レンズの位置の情報を算出し、レンズ制御部２０２に伝送する。レンズ制御部２０２は、カメラ制御部１０１から出力された絞り機構の開き量と、被写体像に合焦する焦点レンズの位置の情報に従って、絞り機構駆動部２０３、及び焦点レンズ駆動部２０４に、絞り機構及び焦点レンズを駆動させる。これにより、カメラ制御部１０１は、画像表示部１０５に、適切な受光量で、合焦した被写体像が含まれる画像を提示することができる。

このような構成をもつ本実施形態のデジタルカメラ及びレンズ鏡筒の、記録処理について、図３のフローチャートをさらに用いて説明する。なお、本実施形態では、撮像動作によって音声を含む動画像が記録されるものとして説明するが、本発明は例えば画像とともに撮像時の音声を記録する等、撮像動作に伴い、音声記録を行う撮像装置に適用可能である。

撮影者によってデジタルカメラ１００が起動されると、カメラ制御部１０１はＳ３０１で、デジタルカメラ１００にレンズ鏡筒２００が装着され、システム同定処理が完了しているかを判断する。システム同定処理の詳細については後述するが、レンズ鏡筒２００内の移動するノイズ源からノイズ用マイク２０７、及びノイズ源からマイク１０９までの音声の伝播特性を把握するための処理である。Ｓ３０１でシステム同定処理が完了していなかった場合、カメラ制御部１０１はＳ３０２でシステム同定処理を行う。カメラ制御部１０１はシステム同定処理が完了すると、画像表示部１０５へのスルー表示を開始し、デジタルカメラ１００を撮像待機状態として、処理をＳ３０３に移す。また、Ｓ３０１でシステム同定処理が完了していた場合は、カメラ制御部１０１は画像表示部１０５へのスルー表示を開始し、デジタルカメラ１００を撮像待機状態として、処理をＳ３０３に移す。

Ｓ３０３で、カメラ制御部１０１は、操作入力部１１０のシャッタボタンへの撮影者からの入力があったかを判断する。操作入力部１１０のシャッタボタンへの撮影者からの入力があった場合、カメラ制御部１０１は撮像動作を開始する。

Ｓ３０３で撮像動作を開始した場合は、カメラ制御部１０１はＡＥ／ＡＦ部１０８で算出された適切な絞り機構の開き量と、被写体像に合焦する焦点レンズの位置の情報をレンズ制御部２０２に伝送する。レンズ制御部２０２は、得られた絞り機構の開き量と焦点レンズの位置の情報に従って、絞り機構駆動部２０３と焦点レンズ駆動部２０４とに、それぞれ絞り機構と焦点レンズを駆動させる。これにより光学系２０１を通して撮像素子１０２に結像される被写体像の受光量と焦点が適切な設定となり、カメラ制御部１０１は処理をＳ３０４に移す。また、Ｓ３０３で撮像動作の開始要求の入力がなかった場合は、カメラ制御部１０１は撮像動作の開始要求の入力があるまで、撮像待機状態としてＳ３０３の処理を繰り返す。

Ｓ３０４で、カメラ制御部１０１はマイク１０９と、レンズ制御部２０２を介してノイズ用マイク２０７に集音を開始させる。同時にカメラ制御部１０１はデジタルカメラ１００の状態を、撮像待機状態から撮像動作中として、記録用の撮像動作を開始し、撮像動作が完了するまで、Ｓ３０５からＳ３１３の処理を繰り返す。撮像動作の完了は、例えば操作入力部１１０の撮影者による入力をカメラ制御部１０１が判断し、撮像動作完了時の処理を行えばよい。

Ｓ３０５で、カメラ制御部１０１は被写体からの受光量が、適切な受光量であるかを、ＡＥ／ＡＦ部１０８を用いて判断する。カメラ制御部１０１は、例えばＡＥ／ＡＦ部１０８の備える測光センサが測光した測光値が、それまでに測光した測光値と異なった場合、受光量が変化したと判断する。受光量が変化した場合、カメラ制御部１０１はＡＥ／ＡＦ部１０８が算出した絞り機構の開き量の情報をレンズ制御部２０２に伝送し、レンズ制御部２０２は得られた絞り機構の開き量の情報に従い、絞り機構駆動部２０３に絞り機構を駆動させる（Ｓ３０６）。Ｓ３０５で受光量が変化していなかった場合は、カメラ制御部１０１は処理をＳ３０７に移す。

Ｓ３０７で、カメラ制御部１０１は被写体像に合焦しているかを、ＡＥ／ＡＦ部１０８を用いて判断する。即ち、カメラ制御部１０１は、例えば被写体の動きや、操作入力部１１０のズームボタンへの撮影者による入力によって画角が変わったことにより、被写体像に合焦する焦点が変化したかを判断する。焦点が変化したと判断した場合、カメラ制御部１０１は、ＡＥ／ＡＦ部１０８が撮像した画像における被写体像のコントラストから算出した、被写体像に合焦する焦点レンズの位置の情報を、レンズ制御部２０２に伝送する。レンズ制御部２０２は、得られた被写体像に合焦する焦点レンズの位置の情報に従い、焦点レンズ駆動部２０４に焦点レンズの位置を変更させる（Ｓ３０８）。Ｓ３０７で焦点が変化していないと判断した場合は、カメラ制御部１０１は処理をＳ３０９に移す。

Ｓ３０９で、レンズ制御部２０２は手ブレ検出部２０６で手ブレが検出されたかを判断し、カメラ制御部１０１に手ブレの有無を伝送する。手ブレが検出された場合、カメラ制御部１０１は、レンズ制御部２０２を介して、手ブレ検出部２０６から得られた手ブレ量の情報に従って、手ブレによる被写体像のブレを打ち消すように、手ブレ補正駆動部２０５に手ブレ補正レンズを駆動させる（Ｓ３１０）。Ｓ３０９で手ブレが検出されなかった場合、カメラ制御部１０１は処理をＳ３１１に移す。

Ｓ３１１で、カメラ制御部１０１は撮像素子１０２に結像した被写体像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０３でＡ／Ｄ変換し、さらに得られたデジタル画像データに対し、画像処理部１０４で各種画像処理を適用する（撮像処理）。

Ｓ３１２で、カメラ制御部１０１は撮像処理の間に、マイク１０９で取得された音声（第１の集音された音声）及びノイズ用マイク２０７で取得された音声（第２の集音された音声）に対し、音声処理部１１１で音源分離処理を適用する。音源分離処理の詳細については後述するが、システム同定処理で導いたノイズ源からマイク１０９及びノイズ用マイク２０７への伝播特性と、それぞれのマイクで取得された音声とから、音源を分離する処理である。即ち、音源分離処理により、伝播経路の影響を排除して、マイク１０９で取得された音声からノイズ源によるノイズを低減した音声を作り出すことができる。

Ｓ３１３で、カメラ制御部１０１はＳ３１１の撮像処理で得られた画像と、Ｓ３１２の音源分離処理で得られたマイク１０９で取得された音声からノイズを低減した音声を、それぞれ記録部１０６の別々の領域に記録する。

カメラ制御部１０１は、撮像動作中に例えば操作入力部１１０のシャッタボタンへの撮影者の入力を検出すると、撮像処理を終了する（Ｓ３１４）。また、同時にカメラ制御部１０１はマイク１０９と、レンズ制御部２０２を介してノイズ用マイク２０７に集音を終了させる（Ｓ３１５）。さらに、カメラ制御部１０１は記録部１０６に別々に記録された１つ又は複数の画像群と音声を結合し、動画像を出力し、記録処理を完了する。

（システム同定処理）
本実施形態のシステム同定処理について、図４のフローチャートを用いて詳細に説明する。図４（ａ）はシステム同定処理の基本的な処理の流れを示したフローチャートである。

Ｓ４０１でカメラ制御部１０１はデジタルカメラ１００にレンズ鏡筒２００が装着されたかを判断する。カメラ制御部１０１は、レンズ鏡筒２００が装着されるまでＳ４０１の処理を繰り返し、レンズ鏡筒２００が装着されたと判断した場合は、処理をＳ４０２へ移す。

Ｓ４０２で、カメラ制御部１０１はレンズ鏡筒２００内のノイズ源（絞り機構駆動部２０３、焦点レンズ駆動部２０４、手ブレ補正駆動部２０５）からノイズ用マイク２０７への音声の伝播特性を図るため、同定用の音声を発生させる。本実施形態では、ノイズ用マイク２０７は、絞り機構駆動部２０３とともに移動する部材上に固定されているため、同定用の音声は取得を目的とするノイズ源である絞り機構駆動部２０３から発生させる必要がある。このため、カメラ制御部１０１はレンズ制御部２０２を介して絞り機構駆動部２０３を駆動させ、同定用の音声を発生させる。

絞り機構駆動部２０３に発生させる音声は、例えば次のようにして発生させる。絞り機構には通常絞り羽の開放を検知するためのスイッチが設けてあり、絞り機構駆動部２０３が絞り羽を開放方向に駆動させる際、絞り機構駆動部２０３は絞り羽の開放を検知するためのスイッチの出力を監視し、絞り駆動アクチュエータの減速制御等を行う。絞り機構駆動部２０３を同定用の音源として用いる場合は、例えば絞り羽の開放を検知するためのスイッチの出力を無視し、絞り駆動アクチュエータがメカニカルストッパまで駆動するように絞り羽を開放方向に駆動させる。絞り駆動アクチュエータがメカニカルストッパまで駆動したとき、絞り駆動アクチュエータが停止するとともに同定用の音声としては十分なレベルの音声が発生するため、この音声を同定用の音声として用いる。

なお、本実施形態では同定用の音源として絞り機構駆動部２０３を用いる例を説明したが、同定用の音源として利用するのは、取得を目的とする移動するノイズ源から発生されるものであればよい。つまり、ノイズ用マイク２０７が固定される部材にあるノイズ源から、同定用の音源は発生させればよい。例えば焦点レンズ駆動部２０４や手ブレ補正駆動部２０５を同定用の音源に利用する場合は、それぞれ焦点レンズ駆動アクチュエータ、手ブレ補正アクチュエータから発生する音声を用いる。

また、例えば本実施形態のように移動するノイズ源が複数存在し、複数の移動するノイズ源とともに移動する部材上のそれぞれにノイズ用マイク２０７を固定し、そのうちの１つを用いて同定処理を行う場合は以下のようにすればよい。例えば、同定用の音源にどのアクチュエータを用いるかの情報がレンズＲＯＭ２０８に記憶されている場合は、レンズ制御部２０２は同定用の音源に用いられるアクチュエータの情報を取得して、同定用音源から同定用の音声を発生させればよい。また、例えば、撮像時の音声信号に最も影響を与える信号を正確に同定できるノイズ源を、レンズの状態によって判断し、該当するノイズ源から同定用の音声を発生させてもよい。

Ｓ４０３で、カメラ制御部１０１は、マイク１０９とノイズ用マイク２０７のそれぞれで集音された同定用の音声を用いて、音声処理部１１１で同定処理を行う。この同定処理によって、音源分離処理で必要となるノイズ源からマイク１０９とノイズ用マイク２０７までの音声の伝播特性を求めることができる。例えば同定用の音声がインパルス音であった場合は、音声処理部１１１で、マイク１０９とノイズ用マイク２０７で集音した同定用の音声のそれぞれに、高速フーリエ変換（ＦＦＴ）処理を適用する。ＦＦＴ処理が適用されたそれぞれの音声の情報から、音声処理部１１１は、ノイズ源からマイク１０９間、及びノイズ源からノイズ用マイク２０７間それぞれの伝播特性を得ることができる。音声処理部１１１は、音源分離処理のために、得られたそれぞれの伝播特性を音声処理部１１１の備えるフィルタ係数メモリ（図示せず）に記憶する。

ここで、システム同定処理で、ノイズ源からマイク１０９間、及びノイズ源からノイズ用マイク２０７間それぞれの伝播特性を求める方法について、さらに詳細に説明する。伝播特性を求める方法は、ノイズ源で発生させた同定用の音声の種類によって異なる。具体的には、ノイズ源で発生させた同定用の音声が、インパルス音であるか否かによって、音声処理部１１１は処理を変更する。なお、同定用の音源が発生させる同定用の音声がインパルス音であるか否かの情報は、例えばレンズ鏡筒２００の工場出荷時に、レンズＲＯＭ２０８に記憶しておく必要がある。そして、システム同定処理を行う際に、レンズ制御部２０２がレンズＲＯＭ２０８より同定用の音声がインパルス音であるか否かの情報を読み出し、カメラ制御部１０１に伝送すればよい。

同定用の音声がインパルス音、またはインパルス音とみなせる音声であった場合、図５（ａ）のように、同定用の音声は、音圧が低い周波数から高い周波数まで均一に、かつ位相が揃った波形成分を有している。システム同定処理において、マイク１０９とノイズ用マイク２０７のそれぞれで集音された同定用の音声に、高速フーリエ変換を行うことで周波数特性が得られる。得られた周波数特性において、周波数に音圧の差異がある、又は位相のずれが生じている場合は、その原因が伝播経路にあるということである。つまり、同定用の音声がインパルス音であった場合、マイク１０９とノイズ用マイク２０７のそれぞれで集音された同定用の音声に高速フーリエ変換を行って得られた周波数特性は、伝播経路の情報のみを有しているので、そのまま伝播特性として用いることができる。

また、同定用の音声がインパルス音ではない音声であった場合、図５（ｂ）のように同定用の音声はインパルス音と異なり、周波数ごとの音圧や位相が均一ではない波形成分を有している。システム同定処理において、マイク１０９とノイズ用マイク２０７のそれぞれで集音された同定用の音声に、高速フーリエ変換を行って得た周波数特性には、同定用の音声の周波数特性と、伝播経路が原因の周波数特性が表れている。つまり、同定用の音声の周波数特性が分かれば、マイク１０９とノイズ用マイク２０７のそれぞれ集音された同定用の音声の周波数特性から、同定用の音声の周波数特性を減算することで、伝播特性を得ることができる。同定用の音声の周波数特性を得るためには、例えば同定用の音声波形の情報をレンズ鏡筒２００の工場出荷時に、レンズＲＯＭ２０８に、同定用の音声がインパルス音ではないという情報とともに記憶しておけばよい。そして、システム同定処理において、レンズ制御部２０２がレンズＲＯＭ２０８より同定用の音声波形の情報を読み込み、カメラ制御部１０１を介して音声処理部１１１に伝送し、ＦＦＴ変換を行えばよい。

図４（ｂ）は、システム同定処理の別の方法の処理の流れを示したフローチャートである。なお、本フローチャートにおいて、先に説明した基本的なシステム同定処理のフローチャートと同じ処理については、同一のステップ番号を付して説明を省略し、本フローチャートの特徴的なステップの処理について説明する。

カメラ制御部１０１は、Ｓ４０１でデジタルカメラ１００にレンズ鏡筒２００が装着されたことを検出すると、Ｓ４０４でマイク１０９又はノイズ用マイク２０７を用いて周囲音のレベルが規定値以下であるかを判断する。具体的には、カメラ制御部１０１は同定用の音声を発生する環境が、同定用の音声を十分集音できる程度の周囲音のレベルであるかを判断する。カメラ制御部１０１は、例えばマイク１０９が集音している周囲音のレベルが、カメラＲＯＭ１０７に記憶されている周囲音のレベルの規定値以下であるかを判断する。このとき、マイク１０９が集音している周囲音のレベルが規定値を超える場合は、カメラ制御部１０１は、マイク１０９が集音している周囲音のレベルが規定値以下になるまでＳ４０４を繰り返す。また、カメラ制御部１０１は、マイク１０９が集音している周囲音のレベルが規定値以下になった場合は、処理をＳ４０２に移し、レンズ制御部２０２に同定用の音声の出力を要求する。

図４（ｃ）は、システム同定処理のさらに別の方法の処理の流れを示したフローチャートである。なお、本フローチャートにおいて、先に説明した基本的なシステム同定処理のフローチャートと同じ処理については、同一のステップ番号を付して説明を省略し、本フローチャートの特徴的なステップの処理について説明する。

カメラ制御部１０１は、Ｓ４０１でデジタルカメラ１００にレンズ鏡筒２００が装着されたことを検出すると、Ｓ４０５でマイク１０９又はノイズ用マイク２０７を用いて周囲音のレベルを測定する。カメラ制御部１０１が測定する周囲音のレベルは、例えばカメラＲＯＭ１０７に記憶されている周囲音レベルの閾値に従って大／小の２つのランクに分けてもよいし、それ以上のランクに分けてもよい。

Ｓ４０６で、カメラ制御部１０１はレンズ制御部２０２に対し、周囲音レベルのランクに適した同定用音源の動作方法を指示する。例えば、周囲音のレベルが高く、同定処理時にマイク１０９及びノイズ用マイク２０７で集音する同定用の音声と周囲音のＳ／Ｎ比が低下すると想定される場合は、カメラ制御部１０１はレンズ制御部２０２に対し、同定用の音声を複数回発生させるように指示する。

Ｓ４０７で、カメラ制御部１０１はレンズ制御部２０２に指示した、周囲音レベルのランクに適した同定用音源の動作に対応した同定処理の方法を、音声処理部１１１に指示し、処理をＳ４０２へ移す。例えば、周囲音のレベルが高く、同定用の音声を複数回発生させる場合は、カメラ制御部１０１は音声処理部１１１の動作を次のように指示する。カメラ制御部１０１は、複数回発生されるそれぞれの同定用の音声に対して、複数回の同定処理を行い、得られた複数の伝播特性を平均化して、伝播特性を決定するよう、音声処理部１１１の動作を指示する。これは、Ｓ４０５で測定した周囲音のレベルが高くとも、複数回の同定処理の過程で周囲音のレベルが変化する可能性があり、複数回の同定処理の結果を平均化することで、Ｓ／Ｎ比が低下している際に得られた伝播特性よりも同定精度を向上させるためである。

また、フローチャートを用いた説明は行わないが、周囲音のレベルが高い場合は、例えばシステム同定処理を行わず、過去にデジタルカメラ１００にレンズ鏡筒２００が装着された際のシステム同定処理で得られた伝播特性を用いてもよい。その場合、過去にデジタルカメラ１００にレンズ鏡筒２００が装着され、システム同定処理が完了した後に、以下のような処理を行えばよい。例えば、カメラ制御部１０１は音声処理部１１１の備えるフィルタ係数メモリより、レンズ鏡筒２００内の移動するノイズ源から、マイク１０９及びノイズ用マイク２０７のそれぞれへの伝播特性の情報を読み出し、レンズ制御部２０２に伝送する。そして、レンズ制御部２０２は伝送されたノイズ源からマイク１０９及びノイズ用マイク２０７のそれぞれへの伝播特性の情報を、デジタルカメラ１００とのシステム同定処理が行われたということを表す情報とともに、レンズＲＯＭ２０８に記憶すればよい。これにより、周囲音のレベルが高い場合、すでにデジタルカメラ１００とレンズ鏡筒２００でシステム同定処理が行われているときには、カメラ制御部１０１はシステム同定処理を行わない。そして、カメラ制御部１０１は、レンズ制御部２０２を介してレンズＲＯＭ２０８に記憶されている伝播特性を読み出し、音声処理部１１１の備えるフィルタ係数メモリに伝送すればよい。

なお、本実施形態のシステム同定処理は、レンズ鏡筒２００が着脱可能であり、移動するノイズ源がレンズ鏡筒２００内にある場合について説明した。しかし、レンズ鏡筒の装着を必要としないデジタルカメラに本発明を適用する場合は、システム同定処理においてレンズの装着を判断する必要はなく、デジタルカメラが撮像待機状態になる直前に、システム同定処理を行えばよい。また、デジタルカメラが工場出荷時に、既にシステム同定処理が行われ、その結果の伝播特性をデジタルカメラ内の例えばＲＯＭ等に予め記憶していてもよい。

（音源分離処理）
本実施形態の音源分離処理について、図６を用いて詳細に説明する。図６は、音声処理部１１１である音声処理回路を示した図であり、マイク１０９とノイズ用マイク２０７が取得した、ノイズ源（絞り機構駆動部２０３）から発生するノイズと被写体の音声の情報を音声処理回路が備える２系統の入力としている。

音声処理回路に入力された、マイク１０９及びノイズ用マイク２０７が取得した音声は、それぞれ第１ＦＦＴ処理部６０５及び第２ＦＦＴ処理部６０６に入力され、高速フーリエ変換処理が適用される。さらに、フィルタ係数メモリに記憶されている、システム同定処理で導出されたノイズ源からマイク１０９及びノイズ用マイク２０７への伝播特性と、被写体からマイク１０９及びノイズ用マイク２０７への伝播特性とを用いて、音源分離処理を行う。そして音源分離処理で得られた結果に対し、ＩＦＦＴ処理部６０８で逆フーリエ変換を行うことで、被写体とノイズ源の夫々から発生する音声の情報を得ることができる。

音源分離処理の基本原理を説明するために、まず一つの音源と一つのマイクの場合について説明する。ここでは、一つの音源として被写体に着目し、マイク１０９で集音する場合を例にとる。音源が被写体だけであった場合、マイク１０９で取得される音声は、被写体の音声に伝播経路６０１の影響を重ね合わせたものになっている。これを式にすると、

で表現される。数１においてｙ（ｔ）はマイク１０９で取得された音声、ａは伝播経路６０１の伝播特性、ｘ（ｔ）は被写体から発生された音声である。数１にあるように、取得された音声ｙ（ｔ）は音源である被写体の音声ｘ（ｔ）と伝播特性ａの畳み込み積分で表現される。数１から明らかなように、ａが既知であればｙ（ｔ）からｘ（ｔ）を求めることが可能である。しかしながら、畳み込み積分された信号を時間領域のまま復元することは容易ではないため、第１ＦＦＴ処理部で高速フーリエ変換を適用する。このとき、音声信号は周波数領域の情報に変換され、

で表される。数２においてＹ（ω）、Ａ（ω）、Ｘ（ω）は、夫々ｙ（ｔ）、ａ、ｘ（ｔ）をフーリエ変換したものである。畳み込み定理から明らかなように、時間領域では畳み込み積分されていた音声信号は、周波数領域では単純な積算で表すことができる。つまり、数２を変形し、

のＸ（ω）を逆フーリエ変換して時間領域に再度戻すことで、伝播経路６０１の影響を排除して被写体から発生された音声を得ることができる。

この基本原理を応用し、本実施形態の、２つの音源と２つのマイクで音源分離処理を行う場合を説明する。前述の数１は２つの音源と２つのマイクの場合にも拡張することができ、次のようになる。

ただし、＊は畳み込み積分を表す。
ここで、ｙ_１（ｔ）はマイク１０９で取得された音声、ｙ_２（ｔ）はノイズ用マイク２０７で取得された音声、ｘ_１（ｔ）は被写体から発生された音声、ｘ_２（ｔ）はノイズ源である絞り機構駆動部２０３から発生された音声である。また、ａ_１１、ａ_１２、ａ_２１、ａ_２２は夫々伝播経路６０１、６０３、６０２、６０４の伝播特性である。数４の行列式に対してフーリエ変換を適用したものは、数２と同式となるため、２つの音源と２つのマイクの場合も同様に式を変形して、伝播経路の影響を受けていない音声信号を求める。ただし、数４からわかるように、Ａ（ω）はスカラではないため、数３と等価な式は、次のようになる。

Ａ^＊（ω）はＡ（ω）の随伴行列である。多くの場合、Ａ^＊（ω）Ａ（ω）は正値エルミート行列となるため、Ａ^＊（ω）Ａ（ω）には逆行列が存在するため、数５のようになり、これによりＸ（ω）を求めることができる。ここで、Ｘ（ω）に逆フーリエ変換を適用し、時間領域に戻すことで伝播経路６０１、６０２、６０３、６０４の影響を排除して音源である被写体及びノイズ源の発生した音声を、それぞれ分離して得ることができる。なお、本実施形態では、様々な「音源分離」の手法のうち、多変量解析の一手法である「独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ：ＩＣＡ）」を利用するものとする。この独立成分分析の手法を用いることで、数４の伝播特性であるａ_１１、ａ_１２、ａ_２１、ａ_２２を導出することが可能である。具体的には、ｘ_１（ｔ）と、ｘ_２（ｔ）の音声は互いに独立に発生していているという仮定をおくことで、マイク１０９で取得された音声ｙ_１（ｔ）と、ノイズ用マイク２０７で取得された音声ｙ_２（ｔ）から、数式４のａ_１１、ａ_１２、ａ_２１、ａ_２２が求まる。

以上説明したように、本実施形態の撮像装置は、撮像動作に伴い、音声記録を行う。このため、被写体の音声を取得することを目的とした第１の集音マイクを備える。また、撮像装置に装着するレンズ鏡筒内の移動するノイズ源から発生するノイズを移動による影響を受けずに取得するために、移動するノイズ源とともに移動する部材上に、ノイズを取得することを目的とした第２の集音マイクを備える。そして、撮像動作を行う前に、移動するノイズ源から発生するノイズが、第１及び第２の集音マイクに入力される際のそれぞれの伝播経路の伝播特性を取得するために、移動するノイズ源に同定用の音声を発生させ、システム同定処理を行う。

さらに、撮像動作に伴い、音声記録を行う際に、第１及び第２の集音マイクを用いて、被写体の音声、及び移動するノイズ源のノイズを取得する。そして、第１及び第２の集音マイクのそれぞれの出力信号と、被写体とノイズ源のそれぞれに対する、第１及び第２の集音マイクのそれぞれの伝播特性とを用いて、音源分離処理を行う。これにより、第１の集音マイクの取得された音声信号から、移動するノイズ源のノイズを低減することができる。

なお、本実施形態では、着脱可能なレンズ鏡筒内に移動するノイズ源ある場合について説明した。しかしながら、例えば沈胴式のレンズ鏡筒等、撮像装置にもともと組み込まれているレンズを有する撮像装置の場合は、撮像装置内の沈胴式のレンズ内の、移動するノイズ源とともに移動する部材上に、第２の集音マイクを配置すればよい。また、本発明の第２の集音マイクは、着脱可能なレンズ鏡筒の有無に関わらず、撮像装置内に配置され、移動しながらノイズを発生するノイズ源とともに移動する部材上でノイズを取得可能であればよい。

（変形例）
前述の実施形態では、移動するノイズ源の発生するノイズを、移動による影響を受けずに取得するために、移動するノイズ源とともに移動する部材上にノイズ用マイク２０７を配置した。本実施形態では、ノイズ用マイク２０７は、移動するノイズ源とともに移動する部材上ではなく、図７のように、レンズ鏡筒２００内の、例えば底部に、移動するノイズ源の移動する範囲内に例えば等間隔に直線的に複数配置する。複数のノイズ用マイク２０７は、複数配置したもののうち、１つのノイズ用マイク２０７をレンズ制御部２０２が選択し、移動するノイズ源から発生するノイズを取得する。

例えば、移動するノイズ源のうち、絞り機構駆動部２０３が発生するノイズを、移動による影響を受けずにノイズ用マイク２０７でノイズを正確に取得することを目的とする場合は、次のように処理すればよい。

Ｓ３０２で、カメラ制御部１０１はシステム同定処理を行う。このとき、レンズ制御部２０２は、絞り機構駆動部２０３が同定用の音声を発生する際に、絞り機構駆動部２０３の位置に最も近接するノイズ用マイク２０７をシステム同定処理用のマイクとして選択し、システム同定処理を行う。なお、絞り機構駆動部２０３ではなく、例えば焦点レンズ駆動部２０４で同定用の音声を発生させる場合は、次のように処理すればよい。レンズ制御部２０２は、同定用の音声を発生させる焦点レンズ駆動部２０４の移動位置に最も近接するノイズ用マイク２０７をシステム同定処理用のマイクとして選択する。

システム同定処理が完了した後、カメラ制御部１０１が処理を撮像動作に移したとき、撮像動作中に、画角が変更された場合を考える。カメラ制御部１０１は、操作入力部１１０のズームボタンへの撮影者による入力があった場合、レンズ制御部２０２に変更された画角の情報を伝送する。レンズ制御部２０２は、受信した変更された画角の情報にしたがって、光学系２０１を駆動させ、光学系２０１の位置関係を変更する。光学系２０１の位置関係が変わると、絞り機構駆動部２０３も、レンズ鏡筒２００の中でその位置が変更になる。このとき、レンズ制御部２０２は変更された画角から、絞り機構駆動部２０３の位置を算出し、移動した絞り機構駆動部２０３の位置に近接するノイズ用マイク２０７を複数のノイズ用マイク２０７の中から選択する。即ち、ノイズ用マイク２０７から音声処理部１１１に伝送されるノイズ用マイク２０７の出力信号は、ノイズ源の移動に伴い、異なる（絞り機構駆動部２０３に近接する）ノイズ用マイク２０７に入力されて出力されたものに切り替わる。これにより、移動するノイズ源とともに移動する部材にノイズ用マイク２０７を配置せずとも、移動するノイズ源が発生するノイズを、略一定の位置関係で取得することができる。
本変形例は、例えば移動するノイズ源が微小であり、移動するノイズ源とともに移動する部材にノイズ用マイク２０７を配置するスペースを確保できない場合等に有効である。

以上説明したように、本実施形態の撮像装置は、撮像動作に伴い、音声記録を行う。このため、被写体の音声を取得することを目的とした第１の集音マイクを備える。また、撮像装置に装着するレンズ鏡筒内の移動するノイズ源から発生するノイズを移動による影響を受けずに取得するために、移動するノイズ源の可動範囲に、ノイズを取得することを目的とした複数の第２の集音マイクを例えば等間隔に配置する。そして、移動するノイズ源の移動位置に応じて、第２の集音マイクを、移動位置に近接する第２の集音マイクに切り替えて、ノイズを取得する。これにより、前述の一実施形態と同様に、第１の集音マイクの取得された音声信号から、移動するノイズ源のノイズを低減することができる。

Claims (4)

1. 撮像装置であって、
   被写体を撮像する撮像手段と、
   前記撮像手段の撮像動作と同期して被写体の音声を取得するための第１の集音手段と、
   前記撮像装置内に配置され、ノイズを発生するノイズ源と、
   前記撮像手段の撮像動作と同期して前記ノイズ源から発生するノイズを取得するための第２の集音手段と、
   前記第２の集音手段の出力信号を用いて、前記第１の集音手段の出力信号から前記ノイズを低減する信号処理手段とを有し、
   前記第２の集音手段は、前記ノイズ源と共に移動する部材上に配置されていることを特徴とする撮像装置。
2. 被写体を撮像する撮像手段と、前記撮像手段の撮像動作と同期して被写体の音声を取得するための第１の集音手段とを備える撮像装置であって、
   前記撮像装置内に配置され、ノイズを発生するノイズ源と、
   前記撮像手段の撮像動作と同期して前記ノイズ源から発生するノイズを取得するための複数の集音マイクを備える第２の集音手段と、
   前記第２の集音手段の出力信号を用いて、前記第１の集音手段の出力信号から前記ノイズを低減する信号処理手段とを有し、
   前記第２の集音手段は、該第２の集音手段が備える複数の集音マイクのうち、前記ノイズ源の移動位置に最も近い集音マイクを用いて、前記ノイズを取得することを特徴とする撮像装置。
3. 前記ノイズ源は、焦点レンズ駆動アクチュエータ、手ブレ補正アクチュエータ、絞り駆動アクチュエータの少なくとも一つであることを特徴とする請求項１又は２に記載の撮像装置。
4. 被写体を撮像する撮像手段と、
   撮像装置内に配置され、ノイズを発生するノイズ源とを備える撮像装置を制御する方法であって、
   第１の集音手段が、前記撮像手段の撮像動作と同期して被写体の音声を取得する第１の集音工程と、
   第２の集音手段が、前記撮像手段の撮像動作と同期して前記ノイズ源から発生するノイズを取得する第２の集音工程と、
   信号処理手段が、前記第２の集音工程の出力信号を用いて、前記第１の集音工程において出力された出力信号から前記ノイズを低減する信号処理工程とを有し、
   前記第２の集音工程では、前記第２の集音手段に前記ノイズ源の移動位置に対応した位置でノイズを取得させることを特徴とする撮像装置の制御方法。