JP5932399B2

JP5932399B2 - 撮像装置及び音声処理装置

Info

Publication number: JP5932399B2
Application number: JP2012046773A
Authority: JP
Inventors: 木村　正史; 正史木村
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-03-02
Filing date: 2012-03-02
Publication date: 2016-06-08
Anticipated expiration: 2032-03-02
Also published as: US20130230307A1; JP2013183346A; US8855482B2

Description

本発明は撮像装置及び音声処理装置に関する。

従来、音声処理装置として、撮影した動画とともに音声を記録することができる撮像装置が知られている。

これらの撮像装置においては、光学系の駆動により発生する雑音が音声として記録されてしまう問題があり、様々な雑音低減技術が開発されている（例えば、特許文献１）。特許文献１においては、撮像装置のアイリスモータまたはシャッタモータが駆動した場合には、モータの駆動する直前の音声を用いて、雑音の発生する区間の音声を補間する技術が提案されている。

また、特許文献２においては、いわゆる動画撮影においては周囲音の監視を行い、周囲が静かなときには静音モードで光学系の調整を行う。特許文献２では、静音モードで駆動速度などを適宜に制御することにより、撮影光学系の調整に伴う音の発生を抑制し、被写体音のみをクリアに録音する技術が開示されている。

特開２００６−２０３３７６号公報特開２００５−１７６０１５号公報

しかしながら、特許文献２を適用した場合、いかに静音モードで光学系の調整を行ったとしても光学系の調整に伴う駆動音が発生するため、周囲が静かな場合には、この駆動音が録音されてしまうことがある。

そこで本発明は、周囲が静かな場合であっても、録音される音声に対する駆動音の影響をより低減することができる音声処理装置を提供することを目的とする。

本発明の撮像装置は、光学系を含む撮像手段と、第１の駆動モードと第２の駆動モードとを含む複数の駆動モードを有し、前記光学系を駆動する駆動手段であって、前記第１の駆動モードにおいて、前記第２の駆動モードよりも速く前記光学系を移動する駆動手段と、音声信号を取得する音声取得手段と、前記音声取得手段により取得された音声信号を処理する手段であって、前記光学系の駆動期間に取得された音声信号を、前記光学系の駆動期間以外の期間に取得された音声信号に基づいて生成された置き換え用の信号により置き換えることにより、前記音声取得手段により取得された音声信号に含まれる、前記光学系の駆動音を低減する第１の処理を行う音声処理手段と、前記音声取得手段により取得された音声信号のレベルに応じて、前記駆動手段の駆動モードと前記音声処理手段とを制御する制御手段とを備え、前記制御手段は、前記音声取得手段により取得された音声信号のレベルが所定のレベルよりも小さい場合は、前記第１の駆動モードで前記光学系を駆動させるように前記駆動手段を制御するとともに前記第１の処理を行うように前記音声処理手段を制御し、前記音声取得手段により取得された音声信号のレベルが前記所定のレベル以上である場合は、前記第２の駆動モードで前記光学系を駆動させるように前記駆動手段を制御するとともに前記第１の処理を行わないように前記音声処理手段を制御することを特徴とする。

本発明によれば、周囲が静かな場合であっても、録音される音声に対する駆動音の影響をより低減することができる。

本実施例の撮像装置の概略図である。本実施例の機能ブロックを示す図である。本実施例のフローチャートである。レンズユニットの駆動部の駆動音に関する情報を示す図である。被写体音に対する駆動音の影響を示す図である。音声処理部２６の内部ブロックを示す図である。音声信号のフィルタ処理を説明するための図である。駆動部の短時間駆動の影響を示す図である。本実施例のフローチャートである。音声信号のミュート処理を説明するための図である。本実施例の予測処理の動作を説明するためのフロー図である。

以下、図面を参照して本発明の実施形態について詳細に説明するが、本発明は以下の実施形態に限定されるものではない。

（実施例１）
本実施例においては、周囲の音声を集音して得られた音声信号に雑音低減処理を施すことができる撮像装置について説明する。

図１において、撮像装置１は、撮像レンズ２を装着することができる。撮像装置１と撮像レンズ２とは、接点１０により電気的に接続可能であり、接続状態においては接点１０を通じて撮像装置１の不図示の制御部と、撮像レンズ２の不図示の制御部とが通信可能である。

撮像装置１は、被写体の光学像を電気信号に変換し画像信号を取得する例えば光電変換素子等の撮像素子６、周囲の音声の音波振動を電気信号に変換し音声信号を取得するマイク７を有する。また、撮像装置１は、いわゆるクイックリターンミラー機構１１、ＡＦセンサ等からなる焦点検出部１２を有する。

一方、撮像レンズ２は、レンズ鏡筒５、撮像レンズの光軸４に沿って並べられた複数または単数のレンズからなる撮像光学系３を有する。また、撮像レンズ２は、撮像光学系のレンズを駆動する光学系駆動部９を有する。

撮像装置１の不図示の制御部は、クイックリターンミラー機構１１を制御し、撮像レンズ２から入力された被写体の光学像の一部を焦点検出部１２に導き、焦点検出部１２により焦点検出を実行させる。またさらに露出検出を行わせても良い。そして、撮像装置１の制御部は、検出結果に基づいて、撮像レンズ２の制御部に対してレンズ駆動命令を送信する。撮像レンズ２の制御部は、レンズ駆動命令に基づいて光学系駆動部９を制御し、撮像光学系３の各レンズを駆動させる。また、撮像レンズ２の制御部は、露出検出結果に基づく駆動命令に応じて、撮像光学系の絞りを駆動させても良い。

また、本実施例の撮像装置１の制御部は、クイックリターンミラー機構１１を制御し、撮像素子６に光学像を結像させた状態で、撮像素子６により得られた画像信号の画像の状態を解析しながら撮像レンズ２の撮像光学系３を制御しても良い。すなわち、撮像素子６により得られた画像信号のエッジ部分が鮮鋭になるように撮像光学系３を徐々に駆動させる制御を行うこともできる。

本実施例の撮像装置１は、ユーザが不図示のレリーズ釦の操作と同期させて撮像素子６より被写体の画像信号を取得し、所定の画像処理を施して、不図示の記録媒体に記録することもできる。

次に、本実施例の撮像装置１の機能について説明する。

図２は、本実施例の撮像装置１および撮像レンズ２の機能ブロックを示す図である。
図２において、撮像装置１は、焦点検出部１２、露出検出部１３、撮像素子６、Ａ／Ｄ変換部２０、画像処理部２１、記録処理部２３、メモリ２４、カメラシステム制御部２５、マイク７、音声処理部２６、操作部２７、表示部２２を有する。一方、撮像レンズ２は、撮像光学系３、レンズシステム制御部２８、焦点レンズ駆動部９ａ、ブレ補正駆動部９ｂ、絞り駆動部９ｃを有する。

なお、各機能ブロックは、実際にハードウェアとして独立した構成であっても良いし、複数の機能が、単一のハードウェアによって構成されていても良い。たとえば、カメラシステム制御部２５は、ＣＰＵとメモリとからなるマイクロコンピュータである。このマイクロコンピュータにより他の機能ブロックの機能を実行させても良い。

撮像系は、被写体の光学像を撮影光学系３を介して撮像素子６の撮像面に結像する。エイミングなどの撮影予備動作中は、クイックリターンミラー機構１１に設けられたミラーにより、撮像素子６に対して光学像を導く代わりに、ファインダー側へ光学像を導くとともに、焦点検出部１２にも光束の一部を導く。焦点検出部１２の検出結果に基づいて、後述の制御系によって適切に撮影光学系３が調整されることで、適切な光量の物体光を撮像素子６に露光され、撮像素子６近傍で被写体像が結像されるようになる。

画像処理部２１は、Ａ／Ｄ変換部２０を介して撮像素子６から受けた画像信号を処理する。たとえば、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路等を有する。

音声処理系は、マイク７により得られた音声信号に対して、音声処理部２６によって適切な処理を施して録音用音声信号を生成する。録音用生成信号は後述する記録処理部により画像とリンクして、記録処理部２３に送信される。

記録処理部２３は、不図示の記録媒体に対して、画像信号と音声信号からなるストリームデータを記録するものであり、さらに、表示部２２に出力する画像を生成する。また、記録処理部２３は、予め定められた方法を用いて画像、動画、音声などの圧縮符号化処理を行う。本実施例においては、どのような圧縮符号化処理を用いても構わない。

カメラシステム制御部２５は、撮像装置１の各ブロックを制御するものである。たとえば、操作部２７からの入力に基づいて、撮像の際のタイミング信号などを生成して出力したり、撮像レンズ２の制御部に対して、レンズ駆動用の命令信号を出力したりする。また、カメラシステム制御部２５は後述する周囲音レベルの判別手段、周囲音と駆動音の比較手段としても機能する。焦点検出部１２は被写体の光学像の合焦状態を、露出検出部１３は被写体の輝度を、それぞれ検出する。レンズシステム制御部２８は前記カメラシステム制御部２５の信号に応じて適切にレンズを駆動させて撮像光学系の調整を行う。

カメラシステム制御部２５は、例えば、操作部２７のシャッターレリーズボタンに対応する操作信号を検出して、撮像素子６の駆動、画像処理部２１の動作、記録処理部２３の圧縮処理などを制御する。さらに表示部２２によって光学ファインダー、液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。

制御系の光学系の調整動作について説明する。カメラシステム制御部２５には焦点検出部１２および露出検出部１３が接続されており、これらの信号を元に適切な焦点位置、絞り位置を求める。カメラシステム制御部２５は、電気接点１０を介してレンズシステム制御部２８に指令を出し、レンズシステム制御部２８は焦点レンズ駆動部９ａおよび絞り駆動部９ｃを適切に制御する。さらにレンズシステム制御部２８には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号を元にブレ補正駆動部９ｂを適切に制御する。

ここで、いわゆる動画撮影などの音声記録を伴う撮影について説明する。音声記録を伴う撮影においては、カメラ本体およびレンズのアクチュエータ駆動に伴う音（以下メカ駆動音）は不要な音であり雑音となる。またユーザーのボタン／ダイヤル操作や外装の擦れに伴う音（以下ユーザー操作音）も同様に不要な音であり雑音となる。以下、本実施例においては雑音とは、ホワイトノイズのような背景雑音ではなく前述したメカ駆動音、ユーザー操作音を指す。

図３は、本実施例の動画撮影時の駆動部９（レンズ駆動部９ａ、ブレ補正駆動部９ｂ絞り駆動部９ｃ）の駆動方法の選択手順を示すフローチャートである。このフローチャートは、カメラシステム制御部２５の指示により撮像装置１の各ブロックが実行する動作を示すものである。本実施例の撮像装置１のカメラシステム制御部２５は、必要に応じて、レンズシステム制御部２８に指示を出し、光学系３の調整を行わせるために各駆動部９を動作させる。このとき、カメラシステム制御部２５は、周囲の音声のレベルに応じて、各駆動部９の駆動方法を選択する。

例えば、ユーザが操作部２７を操作することにより、動画撮影時に駆動部９の駆動がされる場合には、まず、被写体音のレベルを取得するように音声処理部２６を制御する。ここで、被写体音とは、マイク７により集音される撮像装置１の周囲の音声を示す。音声信号処理部２６は、マイク７により取得された音声信号のレベルを所定期間サンプリングし、平均化したものを被写体音の音声レベルとして取得し、カメラシステム制御部２５に送信する。なお、被写体音のパワースペクトルを計算しても良いし、後述する音声処理回路のゲイン調整部のゲインから間接的に求めても良い。

次に、カメラシステム制御部２５は、Ｓ１０３で取得した被写体音の音声レベルと、動作する駆動部の駆動時の音声レベルとを比較して、被写体音に対して、駆動部の駆動音の影響が大きいか否かを判定する（Ｓ１０５）。なお、駆動部の駆動音のレベルは予めカメラシステム制御部内のＦｌａｓｈＲＯＭ等に記録されているものとする。例えば、図４に示すような、装着されるレンズ毎の各駆動部の発生する駆動音のレベルをＦｌａｓｈＲＯＭに記録しておいてもよい。また、装着されたレンズから通信によって図４と同等の情報を得てもよいし、装着されたレンズの駆動部９を音声を記録する前に動作させて駆動音を取得し、ＦｌａｓｈＲＯＭに記録してもよい。レンズを動作させるタイミングは、例えばレンズ装着時であるが、どのようなタイミングで動作させても構わない。また、駆動部の駆動時の音声レベルを用いなくとも、被写体音の音声レベルが所定の閾値となるレベルよりも大きいか、小さいかによって、判定しても良い。これらの判定は前述したとおり、カメラシステム制御部２５により行われる。

なお、図４においては、駆動部１、駆動部２は、例えば、駆動部９の焦点レンズ駆動部９ａ、絞り駆動部９ｃに対応しているものとする。

ここで、図５を用いて、Ｓ１０５における音声レベルの比較について説明する。図５の各グラフの横軸は時間を示し、縦軸軸はマイク７の出力電圧音声レベル（音声レベル）を示す。図５（ａ）は被写体音（撮像装置の周囲の音声）のレベルが大きいとき、図５（ｂ）は被写体音（撮像装置の周囲の音声）のレベルが小さいときの音声信号を模式的に表している。なお、被写体音のレベルに応じたメカ駆動音の影響を説明するための図のため、後述する音声処理部２６のゲイン調整部を通過する前の信号を示している。

図５（ａ）は被写体音が大きいためにメカ駆動音の影響が相対的に小さく、取得される音声信号ではメカ駆動音の影響は限定的である。一方図５（ｂ）は被写体音が小さいために、メカ駆動音が支配的となりその影響を無視できない。このように被写体音が小さいときには光学系駆動手段９を静かに駆動したときでもその影響を無視できない場合がある。

図５で説明したように取得される音声信号において、メカ駆動音が影響を及ぼすか否かは、被写体音とメカ駆動音の相対的な比較を行えばよい。例えば、メカ駆動音よりも被写体音が２０ｄＢより大きい場合は被写体音への影響が大きい、それよりも小さいときは被写体音への影響が少ないとしてステップＳ１０５の比較を行う。ここで示した２０ｄＢは例示であり、官能評価などを用いて適当に閾値を決定することが望ましい。

ステップＳ１０５で被写体音への影響が少ないと判断したときは、カメラシステム制御部２５は、ステップＳ１０７に進み、なるべく音を出さないように駆動部９を動作させる（以下静音駆動）ようにレンズシステム制御部２８に指示を出す。具体的には、レンズシステム制御部２８は、各駆動部９を低速で動作させることにより、駆動部９の駆動に伴って発生する雑音のレベルを小さく抑える。そして、ステップＳ１０９に進み、カメラシステム制御部２５は、マイク７により得られた音声信号に対してフィルタ処理を実行するように音声処理部２６を制御する。フィルタ処理については後述するが、例えば、駆動音の多く含まれる周波数成分を低減させる処理を実行させる。例えば、ハイパスフィルタやバンドパスフィルタ等によって処理を実行させる。

一方、ステップＳ１０５で被写体音への影響が大きいと判断されたときは、カメラシステム制御部２５は、ステップＳ１１１に進み、なるべく音の発生が所定時間よりも短くなるように駆動部９を動作させる（以下短時間駆動）ようにレンズシステム制御部２８に指示を出す。具体的には、レンズシステム制御部２８は、各駆動部９を高速で動作させることにより、駆動音の雑音が発生する期間を所定時間より短くする。そして、ステップＳ１１３に進み、カメラシステム制御部２５は、マイク７により得られた音声信号に対して、予測処理を実行するように音声処理部２６を制御する。予測処理については後述する。なお、本実施例では、予測処理を用いた例について説明するが、代わりに雑音区間の音声信号をミュートする処理や所定の信号（例えば、ホワイトノイズと呼ばれる低周波の音声信号）によって置換するようにしてもよい。

なお、本実施例において、短時間駆動においては、所定時間よりも短いと説明したが、Ｓ１０７の静音動作（または通常動作）よりも雑音の発生する期間が短くなれば良い。

次に、図６を用いて音声処理部２６について説明する。図６において、４１はゲイン調整部、４２はフィルタ、４３はＡ／Ｄコンバータ、４４は雑音処理部、４５はフィルタである。

マイク７から得られた信号はゲイン調整部４１に供給される。ゲイン調整部４１はＡ／Ｄコンバータ４３のダイナミックレンジが十分に活用できるようにマイク７の信号レベルを調整する。つまり、マイク７の信号レベルが小さいときはゲインアップして信号を増幅し、マイク７の信号レベルが大きいときはゲインを下げて飽和を防ぐ。フィルタ４２はＡ／Ｄコンバータ４３のサンプリング周波数を考慮して適切なカットオフ周波数をもつ低域通過フィルタなどで構成される。マイクが特定の周波数を発する素子の近傍にある場合などは前述の低域通過フィルタに加えて適当なノッチフィルタを含む場合もある。Ａ／Ｄコンバータ４３はゲイン調整部４１およびフィルタ４２で処理された信号をデジタル変換する。

雑音処理部４４は複数の雑音処理を実行することができる。図６の例では予測処理４４ａ，フィルタ処理４４ｂ，音圧処理４４ｃ、ＭＵＴＥ処理４４ｄのいずれかを実行することができる。雑音処理部４４は、カメラシステム制御部２５により選択された雑音処理を実行する。カメラシステム制御部２５の制御により、複数の雑音処理を選択的に又は組み合わせて動作させることが出来る。

フィルタ４５は雑音処理を行った後に必要であれば適当なフィルタ処理を施すためのフィルタである。不要であればスルーすることも出来る。

次に、メカ駆動音の有無と、前述の音声処理回路２６の動作について詳述する。
メカ駆動音が存在しないときは、すなわち、駆動部のいずれもが動作していないため、カメラシステム制御部２５は、どの雑音処理も実行しないように、雑音処理部４４を制御する。さらにフィルタ４５も同様に動作しない。このときは、Ａ／Ｄコンバータ４３が変換した信号そのものが録音用音声信号としてカメラシステム制御２５に送出される。

次にメカ駆動音が存在し、メカ駆動音の被写体音への影響が少ない場合について説明する。図３を用いて前述したようにメカ駆動音の被写体音への影響が少ない場合には、カメラシステム制御部２５は、駆動部９が静音駆動するようにレンズシステム制御部２８を制御している。

このときに取得される信号は例えば図５（ａ）の様になる。このとき被写体音に対してメカ駆動音の影響は小さい。さらにメカ駆動音の影響を低減するためには例えばフィルタ処理による騒音低減を行うことが考えられる。その場合には、カメラシステム制御部２５は、フィルタ処理を実行するように雑音処理部４４を制御する。

図７にフィルタ処理による信号の変化を示した。
図７のグラフの横軸は時間であり、縦軸はマイク７の出力電圧である。
図７（ａ）は被写体音が大きい場合で被写体音とメカ駆動音が重なって取得された音声信号を、図７（ｂ）は図７（ａ）を低域通過フィルタで処理をした音声信号を示している。一方、図７（ｃ）は被写体音が小さい場合で被写体音とメカ駆動音が重なって取得された音声信号を、図７（ｄ）は図７（ｃ）を低域通過フィルタで処理をした音声信号を示している。

図７（ｃ）は被写体音が小さいにもかかわらず図７（ａ）と同じ程度の振幅であるのは、被写体音が適正になる程度にゲインアップしているためである。一方でメカ駆動音のレベルが大きく異なるように図示されているが、実際には同じ大きさの音が到達している。フィルタ効果を目視し易いように、前述したゲイン調整部４１の後の信号を図示している。

図７（ａ）の信号を低域通過フィルタ処理した図７（ｂ）の信号はメカ駆動音の影響が十分に低減され、高品位な被写体音が得られている。一方で、図７（ｃ）の信号を低域通過フィルタ処理した図７（ｄ）の信号はメカ駆動音の成分が相変わらず多く残ってしまう。さらに低域通過フィルタを多重に適用するなどの処理を行ってもメカ駆動音にも音声と同じ帯域の信号が含まれているので、高品位な被写体音を得るのは容易ではない。

図７で説明したように被写体音が大きいときはメカ駆動音を小さくするように駆動部９を動作させるとともに適当なフィルタ処理を施すことで高品位な被写体音が得られる。一方で、被写体音が小さいときは、前述の方法では高品位な被写体音が得られない場合がある。

次にメカ駆動音が存在し、メカ駆動音の被写体音への影響が大きい場合について説明する。図２を用いて前述したようにメカ駆動音の被写体音への影響が大きい場合には、カメラシステム制御部２５は、駆動部９が短時間駆動するようにレンズシステム制御部２８に指示をしている。このときに取得される信号の例を図８に示した。

図８（ａ）は前述したメカ駆動音が存在し、メカ駆動音の被写体音への影響が大きい場合の音声信号を、図８（ｂ）は前述したメカ駆動音が存在し、メカ駆動音の被写体音への影響が大きい場合の音声信号を、図８（ｃ）は図８（ｂ）の信号を予測処理によって処理をする途中の段階での音声信号を、図８（ｃ）は図８（ｂ）の信号を予測処理によって処理した後の音声信号を夫々示している。

図８（ａ）と図８（ｂ）を比較すると明らかなように、メカ駆動音が存在しメカ駆動音の被写体音への影響が大きい場合は、駆動部９は短時間駆動をするため、メカ駆動音の発生が短くなる。このときメカ駆動音は短時間ではあるが必ずしもレベルが小さいとは限らない。図８（ｂ）では分かり易くするために短時間駆動を行ったときにメカ駆動音のレベルが非常に大きくなるような例を示した。

本実施例では短時間駆動を行ったときにメカ駆動音が存在する区間に対して、予測処理によって雑音処理を行うようにカメラシステム制御部２５は、雑音処理部４４を制御する。
雑音処理部４４における予測処理について説明する。

予測処理とは、雑音の含まれる期間の音声信号を、その期間の前方または後方またはその両方の音声信号に基づいて、生成した信号で補完する処理である。すなわち、雑音の含まれる期間の音声信号を用いずに、その雑音の含まれる期間外の音声信号に基づいて生成された信号で、雑音の含まれる期間の音声信号を置換する処理である。

予測処理においてはまず図８（ｃ）に示すにメカ駆動音が存在する区間の信号を破棄する。次に後述するように、学習動作と予測動作を行い、予測動作により求めた信号でメカ駆動音が存在する区間（＝予測区間）の信号を埋める。

すなわち、雑音処理部４４は、雑音発生区間の前方または後方またはその両方に基づいて生成された信号を用いて、雑音発生区間の音声信号を補完する処理を行うのである。なお、カメラシステム制御部２５が、レンズシステム制御部２８にレンズ動作信号を送信しているため、カメラシステム制御部２５は、雑音発生区間を特定することができる。雑音処理部４４は、雑音発生区間の情報をカメラシステム制御部２５から受け取って、このような処理を行うのである。

ここで、本実施例の予測処理に用いる、線形予測係数の導出（学習動作）と線形予測係数を用いた信号の予測（予測動作）について説明する。

線形予測を用いるにあたっては、現在の信号とこれに隣接する有限個（ここではｐ個とおく）の標本値との間に次のような線形１次結合関係を仮定する。

但し、数１において、ε_ｔは平均値０分散σ^２の互いに無相関な確率変数である。ここでχ_ｔが過去の値から予測されるように式を変形すると、

数２によると、ε_ｔが十分に小さければ、近傍ｐ個の線形和によって現在の値が表現される。χ_ｔを上記の予測によって求めた後、さらにその近似が十分によければχ_ｔ＋１も同じく近傍ｐ個の線形和によって求められる。このようにε_ｔを十分に小さくすることが出来れば順次値を予測して信号を求めることが出来る。そこでε_ｔを最小にするようなα_ｉの求め方を考える。本発明ではε_ｔを最小にするようなα_ｉを求める動作を学習動作と呼ぶ。

前述した学習区間においてε_ｔの２乗和を最小化すればよい。学習の開始時間をｔ_０、終了時間をｔ_１とすると、

ただしα_０＝１である。ここで式を簡単にするために

とおく。数３を最小化するようにα_ｉを決めるためには、数３のα_ｊ（ｊ＝１，２，・・・，ｐ）に関する偏微分を０として解けばよい。

数５はｐ個の線形連立１次方程式を解けばα_ｉを決定できることを示している。数５のうちｃ_ｉｊはχ_ｔ-ｉ（ｉ＝１,２,・・・ｐ）から求めることができる。すなわち数５からα_ｉを求めることが出来る。

数５に従ってα_ｉを決定した場合、ε_ｔの２乗和は最小化されている。このとき数２より、χ_ｔの値は

で良い近似を与えることが出来る。この近似が十分に良いものであれば、χ_ｔの代わりに

を予測信号として用いることが出来る。さらにχ_ｔ＋ｉについても同様に近傍のｐ−１個と予測によって求めた信号から近似値を得ることが出来る。これを順次繰り返すことで予測区間の信号を生成することが出来る。本発明では、求められたα_ｉから予測区間の近似を求める動作を予測動作と呼ぶ。

次に、好適な学習動作と予測動作について述べる。図８に示すように学習動作を行うに当たっては予測区間の前後の近傍の信号を用いる。これは音声信号が極短時間の領域に着目すると比較的繰り返し性が高い性質を利用している。

図８のように、メカ駆動音が存在する区間よりも前の時間に学習区間１を、メカ駆動音が存在する区間よりも後の時間に学習区間２を設ける。学習動作および予測動作においては、学習区間１、学習区間２の信号に対して夫々独立に計算を行う。学習区間１で学習動作を行った後に予測区間の信号を生成することを前方からの予測と呼び、学習区間２で学習動作を行った後に予測区間の信号を生成することを後方からの予測と呼ぶことにする。

予測区間の信号は、学習区間１に近い場合には前方からの予測による値の重みを重く、学習区間２に近い場合には後方からの予測による値の重みを重くなるように適当な演算を行って求めると良い。

以上に説明したように、本実施例の撮像装置は、周囲の音声信号のレベルに応じて、駆動部の駆動方式、雑音処理方式を切り替えている。すなわち、周囲の音声信号のレベルが大きく、駆動部の駆動音の被写体音への影響が小さいときには、駆動部を静音駆動させ、フィルタ処理により所定の周波数の音声信号を低減する雑音低減を行う。一方、周囲の音声信号のレベルが小さく、駆動部の駆動音の被写体音への影響が大きいときには、駆動部を短時間駆動させ、予測処理により雑音低減を行う。予測処理においては、駆動部の駆動している雑音発生区間の音声信号をその周囲の音声信号に基づいて生成された信号に基づいて補間することで雑音低減処理を行っている。

このような処理を行うことで、本実施例の撮像装置は、より駆動部の駆動音を低減することができる。

なお、本実施例では、周囲の音声信号のレベルが小さく、駆動部の駆動音の被写体音への影響が大きいときには、予測処理により雑音低減を行ったが、例えば、予測処理により補完される区間の音声をミュートする処理としても良い。

なお、本実施例では、周囲の音声信号のレベルが大きく、駆動部の駆動音の被写体音への影響が小さいときには、駆動部を静音動作とする例について説明したが、静音動作でなく通常動作としても良い。

なお、本実施例では、周囲の音声信号のレベルが大きく、駆動部の駆動音の被写体音への影響が小さいときには、フィルタ処理を実行するように雑音処理部４４を制御していたが、フィルタ処理を行わないようにしても良い。

また、本実施例においては、カメラシステム制御部２５により、駆動部９の駆動方式を短時間駆動または静音駆動（または通常駆動）に切り替えていた。しかし、例えば、焦点調整方式を、コントラスト変化を用いた焦点調整（コントラストＡＦ）、または位相差に基づく焦点調整（位相差ＡＦ）に切り替えても良い。一般に、コントラストＡＦは位相差ＡＦに比べて焦点調整に時間がかかり、位相差ＡＦはコントラストＡＦに比べて焦点調整に時間がかからない。この性質を利用して、周囲の音声信号のレベルが大きく、駆動部の駆動音の被写体音への影響が小さいときには、駆動部を短時間駆動させなくてもよいので、テレビＡＦを採用する。一方で、周囲の音声信号のレベルが小さく、駆動部の駆動音の被写体音への影響が大きいときには、駆動部を短時間駆動させるため位相差ＡＦを採用する。このようにすることによっても、駆動部の駆動速度、駆動時間を調整することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本実施例においては、撮像装置を一例として説明したが、音声信号を処理することができる装置であればどのような装置であっても良い。例えば、コンピュータ、携帯電話、ゲーム機などの音声を取り扱うことができる装置であればどのような装置であっても良い。また、コンピュータに上述した処理を実行させる為のプログラムも本発明の思想に含まれる。

（実施例２）
次に、第２の実施例について説明する。

第２の実施例において、撮影装置、電気的構成および音声処理回路は実施例１と同じなので説明を割愛する。

図９は本実施例において、駆動部９の駆動方法、雑音処理部４４の雑音処理、焦点検出部、表示部２２（電子ビューファインダ／ＥＶＦ）の表示方法の選択を説明するフローチャートである。

動画撮影中にピント合わせ動作を行う場合を例として説明を行う。このときカメラシステム制御部２５は、被写体音に応じて駆動部９の駆動方法等を決定する。

カメラシステム制御部２５は、ステップＳ２０１で駆動方法等の選択を開始する。ステップＳ２０３において、カメラシステム制御部２５は、まず、被写体音のレベルを取得するように音声処理部２６を制御する。ここで、被写体音とは、マイク７により集音される撮像装置１の周囲の音声を示す。音声信号処理部２６は、マイク７により取得された音声信号のレベルを所定期間サンプリングし、平均化したものを被写体音の音声レベルとして取得し、カメラシステム制御部２５に送信する。なお、直前の被写体音のパワースペクトルを計算しても良いし、後述する音声処理回路のゲイン調整部のゲインから間接的に求めても良い。

次に、カメラシステム制御部２５は、Ｓ２０３で取得した被写体音の音声レベルの判定を行う（Ｓ２０５）。すなわち、実施例１と同様に、カメラシステム制御部２５は、Ｓ２０３で取得した被写体音の音声レベルと、動作する駆動部の駆動時の音声レベルとを比較して、被写体音に対して、駆動部の駆動音の影響が大きいか否かを判定する。また、駆動部の駆動時の音声レベルを用いなくとも、被写体音の音声レベルが所定の閾値となるレベルよりも大きいか、小さいかによって、判定しても良い。

ステップＳ２０５で被写体音への影響が少ないと判断したときは、カメラシステム制御部２５は、ステップＳ２０７に進みなるべく音を出さないように駆動部９を動作させる（以下静音駆動）ようにレンズシステム制御部２８に指示を出す。具体的には、レンズシステム制御部２８は、各駆動部９を低速で動作させることにより、駆動部９の駆動に伴って発生する雑音のレベルを小さく抑える。そして、ステップＳ２０９に進み、カメラシステム制御部２５は、マイク７により得られた音声信号に対してフィルタ処理を実行するように音声処理部２６を制御する。

次に、ステップＳ２１１に進み、カメラシステム制御部２５は、焦点検出手段としてコントラスト変化に基づく焦点検出をするように焦点検出部１２を制御する。そして、ステップＳ２１３に進み、カメラシステム制御部２５は、メカ駆動音発生中に、撮像素子６により取得された画像を表示するスルー表示するように、表示部２２を制御する。

一方、ステップＳ２０５で被写体音への影響が大きいと判断されたときは、カメラシステム制御部２５は、ステップＳ２１５にすすみ、なるべく音の発生が短時間となるように駆動部９を動作させるようにレンズシステム制御部２８に指示を出す。具体的には、レンズシステム制御部２８は、各駆動部９を高速で動作させることにより、駆動音の発生時間を短くする。そして、ステップＳ２１７に進み、カメラシステム制御部２５は、マイク７により得られた音声信号に対して、ミュート処理を実行するように音声処理部２６を制御する。

次に、カメラシステム制御部２５は、ステップＳ２１９に進み、位相差に基づく焦点検出（以下位相差ＡＦ）を実行するように焦点検出部１２を制御する。

そして、カメラシステム制御部２５は、ステップＳ２２１に進み、メカ駆動音発生中は、表示を固定する、いわゆるフリーズ表示とするように表示部２２を制御する。

ここで、被写体音への影響が少ない場合の動作について説明する。
音声のフィルタ処理、予測処理については実施例１に示したのでその他の処理に付いて説明する。被写体音が大きいときには静音駆動を行うが、一般的に静音駆動では駆動部９の駆動速度は低下する。一方、コントラストの変化に基づく焦点検出はコントラスト変化を観察して、コントラストの最も高い部分を探索するので、比較的低速で焦点調整用の駆動部９を動作させることが望ましい。そのため静音駆動中は焦点検出動作においてコントラスト変化に基づく焦点検出が好適である。さらに、静音駆動ではメカ駆動音が発生する時間が長くなると予測されるので表示部２２には、撮像している画面をそのまま表示するスルー表示とする。この場合、焦点調整用の駆動部９が比較的低速で動作するためにスルー画像を出しても次第にピントが合う動作が確認されて特段に違和感や不快感を与えることはない。

次に、被写体音への影響が大きい場合の動作について説明する。本実施例ではカメラシステム制御部２５は、ミュート処理を実行するように雑音処理部４４を制御している。

図１０は被写体音への影響が小さい場合にミュート処理を施した信号を模式的に示した図である。図１０において横軸は時間を縦軸はマイク出力電圧を示している。

図１０（ａ）は取得された音声信号を、図１０（ｂ）は図１０（ａ）の信号をミュート処理した音声信号を示した。図１０に示すように被写体音がある程度大きいときにミュート処理を行うと、その部分の信号のみが欠落したような状態になり、再生音声に違和感を生じる。

図１１は被写体音への影響が大きい場合にミュート処理を施した信号を模式的に示した。図１１において横軸は時間を縦軸はマイク出力電圧を示している。

図１１（ａ）は取得された音声信号を、図１１（ｂ）は図１１（ａ）の信号をミュート処理した音声信号を、図１１（ｂ）は図１１（ｃ）の信号を低域通過フィルタで処理した音声信号を示した。

図１１を見ると図１０に比べてミュート処理をした場合でも前後の信号との差が小さいために、再生音声の違和感が小さい。また、ミュート処理においては、処理を行う時間が短く、被写体音は小さいほうが違和感が小さくなることは明らかである。さらにミュート処理を行うと信号に不連続性が生じるが、低域通過フィルタで処理することで不連続性による違和感を低減することが出来る。例えば、図６に示したフィルタ４５を適当に設定することで低域通過フィルタの処理を実現することが出来る。

このように、被写体音への影響が大きい場合には短時間駆動を行うが、短時間駆動では駆動部９の駆動速度は向上する。一方で、いわゆる位相差ＡＦではサーチする必要は無く速やかに合焦位置に移動することが望まれる。そのため、焦点調整部は高速に動作させることが望ましい。動画撮影中に位相差ＡＦを行う方法として、撮像面で位相差ＡＦを行う技術が、例えば特開２０００−１５６８２３等に開示されている。さらに、短時間駆動ではメカ駆動音が発生する時間は短いのでＥＶＦ表示はフリーズさせて表示する。この場合、短時間駆動においては焦点合わせのための駆動は数十ｍｓで完了すると予測される。そのためフリーズさせるフレーム数は１〜２コマ程度である。

以上に説明したように、被写体音への影響が大きい場合は、雑音処理手段としてミュート処理を行うと好適である。さらに、ミュート処理においては、不自然さを低減するためにはミュートすべき区間を短くすることが望ましい。そのため、被写体音が小さいときに短時間駆動を行うことの効果は大きい。さらに短時間駆動とあわせて、焦点検出手段、電子ビューファインダの表示方法の切替を行うことで、動画撮影に好適な動作を行うことが出来る。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

Claims

光学系を含む撮像手段と、
第１の駆動モードと第２の駆動モードとを含む複数の駆動モードを有し、前記光学系を駆動する駆動手段であって、前記第１の駆動モードにおいて、前記第２の駆動モードよりも速く前記光学系を移動する駆動手段と、
音声信号を取得する音声取得手段と、
前記音声取得手段により取得された音声信号を処理する手段であって、前記光学系の駆動期間に取得された音声信号を、前記光学系の駆動期間以外の期間に取得された音声信号に基づいて生成された置き換え用の信号により置き換えることにより、前記音声取得手段により取得された音声信号に含まれる、前記光学系の駆動音を低減する第１の処理を行う音声処理手段と、
前記音声取得手段により取得された音声信号のレベルに応じて、前記駆動手段の駆動モードと前記音声処理手段とを制御する制御手段とを備え、
前記制御手段は、前記音声取得手段により取得された音声信号のレベルが所定のレベルよりも小さい場合は、前記第１の駆動モードで前記光学系を駆動させるように前記駆動手段を制御するとともに前記第１の処理を行うように前記音声処理手段を制御し、前記音声取得手段により取得された音声信号のレベルが前記所定のレベル以上である場合は、前記第２の駆動モードで前記光学系を駆動させるように前記駆動手段を制御するとともに前記第１の処理を行わないように前記音声処理手段を制御することを特徴とする撮像装置。
前記光学系の発生する駆動音のレベルに関する情報を記憶した記憶手段を備え、
前記制御手段は、前記記憶手段に記憶された情報が示す前記駆動音のレベルを前記所定のレベルとして用いることを特徴とする請求項１に記載の撮像装置。
前記第１の駆動モードにおいて発生する駆動音は、前記第２の駆動モードにおいて発生する駆動音よりも大きいことを特徴とする請求項１に記載の撮像装置。
音声信号を取得する音声取得手段と、
前記音声取得手段により取得された音声信号を処理する手段であって、複数の雑音低減処理から選択された雑音低減処理を行う音声処理手段と、
第１の駆動モードと第２の駆動モードとを含む複数の駆動モードを持ち、前記第１の駆動モードにおいて、前記第２の駆動モードよりも速く所定の装置を移動する駆動部と、
前記駆動部と前記音声処理手段とを制御する制御手段であって、前記音声取得手段により取得された前記音声信号のレベルに応じて、前記複数の駆動モードから前記駆動部の駆動モードを選択すると共に、前記複数の雑音低減処理から前記音声処理手段の前記雑音低減処理を選択する制御手段とを備え、
前記複数の雑音低減処理は、前記音声取得手段により取得された音声信号に含まれる、前記駆動部からの駆動音を、フィルタを用いて低減する第１の処理と、前記駆動部の駆動期間に取得された音声信号を、前記駆動期間以外の期間に取得された音声信号から生成された置き換え用の音声信号により置き換える第２の処理とを含み、
前記制御手段は、前記音声取得手段により取得された音声信号のレベルが所定のレベルよりも小さい場合、前記第１の駆動モードを選択すると共に前記第２の処理を選択し、前記音声取得手段により取得された音声信号のレベルが所定のレベル以上である場合、前記第２の駆動モードを選択すると共に前記第１の処理を選択することを特徴とする音声処理装置。