JP5903631B2 - ノイズキャンセル装置 - Google Patents

Description

本開示は、ノイズキャンセル装置に関する。

録音動作や、動画記録動作を行うときに、ズームレンズなどの駆動動作に伴って発生する動作ノイズを、取得されるオリジナルのオーディオデータから減算して、よりクリアな音質のオーディオデータを得るノイズキャンセル装置が知られている。

例えば、特許文献１に開示のようなノイズキャンセル装置が知られている。

特開２００６−２１１４３６号公報

近年、デジタルカメラの小型化に伴い、ズームレンズなどの動作ノイズの発生源と、環境音を集音して音声信号を取得するマイクとの距離がより近づいている。また、静止画撮影のみならず、音声信号を多重化して記録する動画撮影が可能なデジタルカメラが普及している。これらの状況により、動作ノイズに対する対策がより一層望まれているという背景がある。

上記課題を鑑みて、より適切に動作ノイズを低減することができるノイズキャンセル装置、及びそのようなノイズキャンセル装置を搭載した撮像装置を提供することを目的とする。

上記課題を解決するために、一の態様において、入力される音声信号に基づく信号から、第１ノイズを抽出する抽出部と、音声信号に基づく信号から、前記抽出した第１ノイズを減算した後に残存する第２ノイズに関するノイズ特性情報を記憶する記憶部と、第１ノイズと第２ノイズに関する情報とに基づいて、入力される音声信号に対して、ノイズキャンセルをするためのキャンセリング処理を行うキャンセリング部とを具備するノイズキャンセル装置が提供される。

上記態様によれば、より適切に動作ノイズを低減することができるノイズキャンセル装置、及びそのようなノイズキャンセル装置を搭載した撮像装置を提供できる。

デジタルカメラ１００の電気的構成図。 指向性合成部１７０の信号処理の構成図。 指向性合成部１７０における信号レベルおよびノイズレベルの変化を説明するための図。 基本となるノイズキャンセル部１８０の構成図。 ノイズキャンセル部１８０Ａの構成図。 ノイズ特性データの一例を示す図。 ノイズ抽出の残存成分データ記録を説明するための図。

〔実施の形態１〕
以下、実施の形態１に係るノイズキャンセル装置について、図面を用いて説明する。以下の説明では、実施の形態１に係るノイズキャンセル装置を搭載する撮像装置として、デジタルカメラを一例に挙げて説明する。尚、本例に係るノイズキャンセル装置は、デジタルカメラに限られず、例えば、デジタルビデオカメラ等のノイズが発生し得るその他の装置に適用可能である。

〔１．構成〕
まず、図１を用い、デジタルカメラ（撮像装置）１００の構成について説明する。

〔１−１．デジタルカメラ１００の構成〕
図１は、デジタルカメラ１００の電気的構成図である。図示するように、デジタルカメラ１００は、光学系１１０を介して形成された被写体像をＣＣＤイメージセンサ１２０で撮像する。ＣＣＤイメージセンサ１２０は、撮像した被写体像に基づく画像情報を生成する。撮像により生成された画像情報は、画像処理部１２２において各種処理が施される。生成された画像情報はフラッシュメモリ１４２やメモリカード１４０に記録される。フラッシュメモリ１４２やメモリカード１４０に記録された画像情報は、使用者による操作部１５０の操作を受け付けて液晶モニタ１２３上に表示される。

光学系１１０は、フォーカスレンズ１１１やズームレンズ１１２、絞り１１３等により構成される。図示していないが、光学系１１０は、光学式手ぶれ補正レンズＯＩＳを含んでいてもよい。なお、光学系１１０を構成する各種レンズは何枚から構成されるものでも、何群から構成されるものでもよい。

フォーカスレンズ１１１は、被写体のフォーカス状態の調節に用いられる。ズームレンズ１１２は、被写体の画角の調節に用いられる。絞り１１３は、ＣＣＤイメージセンサ１２０に入射する光量の調節に用いられる。シャッタ１１４は、ＣＣＤイメージセンサ１２０に入射する光の露出時間を調節する。フォーカスレンズ１１１、ズームレンズ１１２、絞り１１３、シャッタ１１４は、それぞれに対応したＤＣモータやステッピングモータ等の駆動手段により、コントローラ１３０から通知された制御信号に従って駆動される。

バッファメモリ１２４は、画像処理部１２２やコントローラ１３０のワークメモリとして機能する記憶手段である。バッファメモリ１２４は、ＤＲＡＭ（Dynamic Random Access Memory）などで実現できる。

カードスロット１４１は、メモリカード１４０を着脱可能な接続手段である。カードスロット１４１は、メモリカード１４０を電気的及び機械的に接続可能である。また、カードスロット１４１は、メモリカード１４０を制御する機能を備えてもよい。

メモリカード１４０は、内部にフラッシュメモリ等の記録部を備えた外部メモリである。メモリカード１４０は、画像処理部１２２で処理される画像情報などのデータを記録可能である。

無指向性マイクＬ１６２、Ｒ１６３（マイクロフォンユニット）は、デジタルカメラ１００の周辺の音声を、指向特性を持たせずに集音して、音声情報を示す電気信号に変換する。無指向性マイクＬ１６２は、デジタルカメラ１００の撮像方向に対して水平に直交する方向であって、左方側に配置されている。一方、無指向性マイクＲ１６３は、デジタルカメラ１００の撮像方向に直交する方向において、右方側に配置されている。電気信号に変換された音声情報は、メモリカード１４０に記録される。無指向性マイクＬ１６２、及び無指向性マイクＲ１６３は、デジタルカメラ１００が音声記録モードや、動画像記録モードに設定されたときに動作する。

操作部１５０は、デジタルカメラ１００の外装に備わっている操作釦や操作レバーの総称であり、使用者による操作を受け付ける。操作部１５０は使用者による操作を受け付けると、コントローラ１３０に種々の動作指示信号を通知する。

コントローラ１３０は、デジタルカメラ１００を構成する各部の動作を制御する。また、コントローラ１３０は、指向性合成部１７０と、ノイズキャンセル部１８０とを有している。指向性合成部１７０と、ノイズキャンセル部１８０の詳細は後述する。

フラッシュメモリ（記憶部）１４２は、コントローラ１３０が各種動作を実行するためのプログラムや、各種パラメータを格納している。また、詳細は後述するが、フラッシュメモリ１４２は、ズーミング動作や、フォーカシング動作など、各動作に対応するノイズ特性データを格納する。

〔１−２．指向性合成部１７０の構成〕
続いて、指向性合成部１７０の信号処理動作の詳細を図２および図３を用いて説明する。図２は、指向性合成部１７０の信号処理の構成図であり、指向性合成方法の一例として音圧傾度型の構成を表している。図３は、指向性合成部１７０における信号レベルおよびノイズレベルの変化を説明するための図である。

図２に示すように、本例に係る指向性合成部１７０は、遅延器１７１、１７２、混合器１７３、１７４、及びイコライザ１７５、１７６を有する。

指向性合成部１７０には、無指向性マイクＬ１６２からの音声信号Ａ、及び無指向性マイクＲ１６３からの音声信号Ａ´が入力される。図２中の音声信号Ａ、Ａ´の周波数特性は、図３（１）に示す通りである。すなわち、図３（１）に示すように、無指向性マイクＬ１６２からの音声信号Ａおよび、無指向性マイクＲ１６３からの音声信号Ａ´は、１０Ｈｚから２０ｋＨｚまでの周波数帯域については、０ｄＢの信号レベルとなっている。そして、１０Ｈｚより低周波数になるにつれて、或いは２０ｋＨｚから高周波数になるにつれて、信号レベルが低くなっている。また、図示するように、音声信号Ａ、Ａ´には、−５０ｄＢのノイズレベルが含まれている。

続いて、無指向性マイクＬ１６２からの入力である音声信号Ａは、２つの経路に分かれて、一方は遅延器１７２に入力される。遅延器１７２は、入力信号Ａを、所定時間Ｔだけ位相を遅延させる回路である。ここで、音速をＶ（ｍ／ｓｅｃ）、図中に破線で示す無指向性マイクＬ１６２、Ｒ１６３の間の距離をＬ（ｍ）としたとき、所定時間ｔは、Ｌ／Ｖ（ｓｅｃ）と設定することで、適切な指向性特性を得ることができる。無指向性マイクＬ１６２、Ｒ１６３は、デジタルカメラ１００を取り巻く周囲の音声を集音している。無指向性マイクＬ１６２、Ｒ１６３が集音している音声のうち、例えば、デジタルカメラ１００に対して真左にて発せられた音声の場合、まず無指向性マイクＬ１６２にて集音してから、遅れることt（ｓｅｃ）後に、無指向性マイクＲ１６３にて集音することになる。すなわち、無指向性マイクＲ１６３にて集音した音声信号は、無指向性マイクＬ１６２にて集音した音声信号中の真左の音声成分からt（ｓｅｃ）遅延した真左の音声成分を含んでいる。この遅延器１７２にて位相を遅延させた音声信号は、混合器１７３に入力される。無指向性マイクＲ１６３からの入力である音声信号と、遅延器１７２からの入力である音声信号は、混合器１７３にて減算処理される。そして、混合器１７３は、無指向性マイクＲ１６３からの音声信号を大きく減衰させた信号Ｂ´を出力する。このとき、無指向性マイクＲ１６３からの音声信号Ａ´は、無指向性マイクＬ１６２からの音声信号に大きく寄与する成分が減算され、右方の音声信号が強調された状態となる。

同様に、無指向性マイクＲ１６３からの入力である音声信号Ａ´は、２つの経路に分かれて、一方は遅延器１７１に入力される。遅延器１７１は、遅延器１７２と同様、入力された所定時間ｔだけ位相を遅延される回路である。この遅延結果は、混合器１７４にて、無指向性マイクＬ１６２からの入力される音声信号Ａから、減算処理される。これにより、無指向性マイクＬ１６２からの音声信号Ａは、無指向性マイクＲ１６３からの音声信号に大きく寄与する成分が減算され、左方の音声信号が強調された状態となる。

このとき、図２中の音声信号Ｂ、Ｂ´は、図３（２）のように示される。図示するように、音声信号Ｂ、Ｂ´は、デジタルカメラ１００の正面から入力される音声信号に対しては、周波数ｆｏ（＝Ｖ／２Ｌ）付近にレベルピークを持つ状態となる。ピーク周波数ｆｏピークは、本例では、６ｄＢ程度のレベルである。一方、ノイズレベルは、ホワイトノイズ（ランダムなノイズ）が主成分の場合、図３（１）にて示した状態よりも、約３ｄＢ程度、上昇する。そして、図３（２）に示すように、周波数ｆｏ付近のレベルピークより高周波数側のレベルは、急激に減衰し、周波数ｆｏ付近のレベルピークより低周波数側のレベルは、−６ｄＢ／ｏｃｔで減衰する。

周波数ｆｏ付近のレベルピークより低周波数側の信号レベルについて、周波数に対して平坦化するためにイコライザ１７５、１７６を用いる。イコライザ１７５、１７６は、図３（４）に示すような、周波数ｆｏよりも低い周波数成分を６ｄＢ／ｏｃｔで増幅させる特性を有する。

そのため、続いて、混合器１７３、１７４から入力されるそれぞれの音声信号Ｂ、Ｂ´は、イコライザ１７５、１７６を介することにより、図３（３）に示すような周波数特性となる。この結果、音声信号（信号出力ゲイン）については、周波数ｆｏよりも低い周波数帯域が平坦化される。

しかしながら、図３（３）に破線で示すように、ノイズレベルも、このイコライザ１７５、１７６によって音声信号と共に増幅される。すなわち、指向性合成部１７０により、無指向性マイクＬ１６２、Ｒ１６３からの音声信号に対して、指向性合成された結果、ノイズが、図３（３）における周波数ｆｏよりも低周波帯域（Ｓ）において増幅されるという副作用が生じる。ここで増幅されるノイズ成分は、無指向性マイクＬ１６２、Ｒ１６３から出力されるノイズのうち、相関の低い信号が主要な成分である。相関の低い音声信号とは、撮像装置１００の場合では、ズーミング動作やフォーカシング動作時の機械振動雑音等がそれに相当する。この副作用のために、雑音が大きくなるという課題が生じる。

〔１−３−０．基本ノイズキャンセル部１８０Ａの信号処理について〕
そのため、本実施の形態１のデジタルカメラ１００は、この増幅されたノイズを低減するために、ノイズキャンセル部１８０を備える。

実施の形態１に係るノイズキャンセル部１８０の動作の詳細を説明するにあたって、まず、ノイズキャンセル部１８０の基本構成に係る信号処理について説明する。図４は、基本のノイズキャンセル部１８０Ａの信号処理の構成図である。ノイズキャンセル部１８０は、ズームレンズ１１２やフォーカスレンズ１１１が駆動することにより発生する機械振動ノイズや、電気回路から発生するノイズといった、無相関ノイズを入力音声信号からキャンセルすることができる。

図４に示すように、基本のノイズキャンセル部１８０Ａは、高速フーリエ変換回路（以下、「ＦＦＴ」と称する）２００、２０１、絶対値化回路２０２、２０３、２０４、ノイズ抽出回路２０５、レベル調整回路２０６、２０７、加算回路２０８、乗算回路２０９、２１０、逆高速フーリエ変換回路（以下、「ｉＦＦＴ」と称する）２１１、２１２、及び減算回路２１３、２１４を有する。

図示するように、指向性合成部１７０による無指向性マイクＬ１６２側の音声信号Ｄは、Ｌｃｈに入力される。同様に、指向性合成部１７０による無指向性マイクＲ１６３側の音声信号Ｄ´は、Ｒチャンネル（Ｒｃｈ）に入力される。

Ｒｃｈ側に入力される音声信号Ｄ´は、２つの経路に分かれる。Ｒｃｈ側の音声信号の一方は、ＦＦＴ２００に入力される。ＦＦＴ２００は、入力されたＲｃｈ側の音声信号に対して、フーリエ変換処理を施し、周波数成分ごとの音声信号に分割する。このときのＲｃｈ側の音声信号を、後述のノイズ抽出の説明のために、模式的にＳＲｃｈ＋ＮＲｃｈとする。ここで、ＳＲｃｈはＲｃｈの信号レベルを示し、ＮＲｃｈはＲｃｈのノイズレベルを示す。同様に、Ｌチャンネル（Ｌｃｈ）側の音声信号は、２つの経路に分かれる。Ｌｃｈ側の音声信号の一方は、ＦＦＴ２０１に入力される。ＦＦＴ２０１も同様に、入力されたＬｃｈ側の音声信号に対して、フーリエ変換処理を施し、周波数成分ごとの音声信号に分割する。このときのＬｃｈ側の音声信号を、後述のノイズ抽出の説明のために、模式的にＳＬｃｈ＋ＮＬｃｈとする。ここで、ＳＬｃｈはＬｃｈの信号レベルを示し、ＮＬｃｈはＬｃｈのノイズレベルを示す。

続いて、ＦＦＴ２００にてフーリエ変換処理の施されたＲｃｈ側の音声信号は、３つの経路に別れ、一つは加算器２０８に入力され、一つは絶対値化回路２０２に入力され、一つは乗算回路２０９に入力される。同様に、ＦＦＴ２０１にてフーリエ変換処理の施されたＬｃｈ側の音声信号は、３つの経路に別れ、一つは加算器２０８に入力され、一つは絶対値化回路２０４に入力され、一つは乗算回路２１０に入力される。

加算回路２０８は、Ｒｃｈ側の音声信号に対してフーリエ変換処理が施された結果と、Ｌｃｈ側の音声信号に対してフーリエ変換処理が施された結果とを加算することにより、前述の指向性合成処理により増大されたノイズを抑制した信号を生成する。ＮＲｃｈと、ＮＬｃｈは、それぞれ主にランダムなノイズである。一方、ＳＲｃｈと、ＳＬｃｈは、主に音声信号であり、双方は強い相関を有している。そのため、このときの加算回路２０８の生成信号は、（ＳＲｃｈ＋ＳＬｃｈ）＋（ＮＲｃｈ＋ＮＬｃｈ）×√２となる。

絶対値化回路２０２は、Ｒｃｈ側のＦＦＴ２００の入力される音声信号に対して、各周波数成分における振幅情報（｜ＳＲｃｈ＋ＮＲｃｈ｜）を抽出する。同様に、絶対値化回路２０４は、Ｌｃｈ側のＦＦＴ２０１から入力される音声信号に対して、各周波数成分における振幅情報（｜ＳＬｃｈ＋ＮＬｃｈ｜）を抽出する。同様に、絶対値化回路２０３は、加算回路２０８の出力信号に対して、各周波数成分における振幅情報（｜（ＳＲｃｈ＋ＳＬｃｈ）＋（ＮＲｃｈ＋ＮＬｃｈ）×√２｜）を抽出する。

絶対値化回路２０２が抽出した振幅情報は、２つの経路に別れ、一方はノイズ抽出回路２０５に入力され、他方はレベル調整回路２０６に入力される。絶対化回路２０４が抽出した振幅情報は、２つの経路に別れ、一方はノイズ抽出回路２０５に入力され、他方はレベル調整回路２０７に入力される。また、絶対化回路２０３が抽出した振幅情報は、ノイズ抽出回路２０５に入力される。

ノイズ抽出部２０５は、絶対値化回路２０２、２０３、２０４から入力されるそれぞれの振幅情報（｜ＳＲｃｈ＋ＮＲｃｈ｜）、（｜ＳＬｃｈ＋ＮＬｃｈ｜）、（｜（ＳＲｃｈ＋ＳＬｃｈ）＋（ＮＲｃｈ＋ＮＬｃｈ）×√２｜）、を比較することによりノイズ（第１ノイズ）を抽出する。ノイズ抽出部２０５により抽出されたノイズ信号（第１ノイズ）は、レベル調整回路２０６、２０７に入力される。

レベル調整回路２０６は、絶対値化回路２０２から入力されるＲｃｈ側の振幅情報（｜ＳＲｃｈ＋ＮＲｃｈ｜）を参照し、この振幅情報の示すレベルに合わせるように、ノイズ抽出部２０５により抽出されたノイズ信号のレベルを調整する。レベル調整回路２０６により調整されたノイズ信号は、乗算回路２０９に入力される。同様に、レベル調整回路２０７は、絶対値化回路２０４から入力されるＬｃｈ側の振幅情報（｜ＳＬｃｈ＋ＮＬｃｈ｜）を参照し、この振幅情報の示すレベルに合わせるように、ノイズ抽出部２０５により抽出されたノイズ信号のレベルを調整する。レベル調整回路２０７により調整されたノイズ信号は、乗算回路２１０に入力される。

乗算回路２０９は、ＦＦＴ２００から入力された周波数成分ごとの音声信号に対して、レベル調整されたノイズ成分を乗算する。これにより、位相情報を有したノイズ信号を生成することができる。生成されたノイズ信号は、ｉＦＦＴ２１１に入力される。乗算回路２１０は、ＦＦＴ２０１から入力された周波数成分ごとの音声信号に対して、レベル調整されたノイズ成分を乗算する。これにより、位相情報を有したノイズ信号を生成することができる。生成されたノイズ信号は、ｉＦＦＴ２１２に入力される。

ｉＦＦＴ２１１は、乗算回路２０９から入力されたノイズ信号に対して、逆フーリエ変換を施し、時間波形に再度生成する。時間波形に変換されたノイズ信号は、減算回路２１３に入力され、Ｒｃｈ側の音声信号に対して減算される。これにより、ノイズが低減されたＲｃｈ側の音声信号を得ることができる。同様に、ｉＦＦＴ２１２は、乗算回路２１０から入力されたノイズ信号に対して、逆フーリエ変換を施し、時間波形に再度生成する。時間波形に変換されたノイズ信号は、減算回路２１４に入力され、Ｌｃｈ側の音声信号に対して減算される。これにより、ノイズが低減されたＬｃｈ側の音声信号を得ることができる。

図４で示すノイズキャンセル部１８０Ａは、デジタルカメラ１００において、基本として理想的なアルゴリズムに基づき想定されるノイズ（第１ノイズ）に対してノイズキャンセルを行う。しかしながら、ノイズ抽出部２０５においてもノイズ抽出ができず、取りもらすノイズが生じる結果、キャンセルしきれない残存ノイズ成分（第２ノイズ）が発生する場合がある。ノイズ抽出部２０５においてもノイズ抽出ができない理由としては、例えば、無指向性マイクＬ１６２、Ｒ１６３の個体バラツキや、経年変化の差異による集音感度のズレ、上述した指向性合成処理の演算における誤差等、が挙げられる。また、無指向性マイクＬ１６２、Ｒ１６３により入力された音声信号に、そもそも無相関ではないノイズ信号（例えば、音波として伝わってくる騒音）が含まれることも理由として挙げられる。

〔１−３−１．ノイズキャンセル部１８０の信号処理について〕
このような図４に示すノイズキャンセル部１８０Ａの構成では除去できない残存ノイズ（第２ノイズ）もキャンセルするため、本実施形態のノイズキャンセル部１８０は、図５に示す構成を有する。図５に示すノイズキャンセル部１８０は、下記のように、デジタルカメラ１００におけるズーミング動作や、フォーカシング動作などに対応し、残存するノイズ成分に関する特性データ（以下、ノイズ特性データと称する）を用いて、ノイズキャンセル動作を実行する。

具体的には、ノイズキャンセル部１８０は、残存するノイズ成分に関する特性データを予めフラッシュメモリ１４２に記録しておき、このフラッシュメモリ１４２に記録しておいたノイズ特性データを用いて、ノイズキャンセルを行う。これにより、基本のノイズキャンセル部１８０Ａでは残存してしまっていたノイズをも低減させることができ、より効果の高いノイズキャンセルを行うことができる。

更に、図４を用いて説明したノイズキャンセル部１８０Ａで、残存するノイズ成分は、デジタルカメラ１００がどのような動作を行っているかに対応して異なることがわかっている。例えば、デジタルカメラ１００が、ズーミング動作をしているときと、フォーカシング動作をしているときとで、残存するノイズ成分は異なることがわかっている。

本実施形態のノイズキャンセル部１８０のフラッシュメモリ１４２は、デジタルカメラ１００の動作ごとに対応するノイズ特性データを記録している。そのため、ノイズキャンセル部１８０は、デジタルカメラ１００の動作ごとに適切なノイズキャンセルを行うことができる。

上記を実行する構成として、本例では、図５に示すノイズキャンセル部１８０を一例として説明する。図示するように、図５に示すノイズキャンセル部１８０は、図４に示す基本となるノイズキャンセル部１８０に対して、ノイズ特性データ入力回路２１５、加算回路２１６、及びノイズ強調回路２１７、２１８を更に備える点で相違する。これらは、上記の乗算回路２０９、２１０、減算回路２１２、２１３等と共に、ノイズのキャンセリング部として機能する構成である。

ノイズ特性データ入力回路２１５は、デジタルカメラ１００の動作状況に応じたコントローラ１３０の制御を受け、フラッシュメモリ１４２に格納された対応するノイズ特性データを読み出し、加算回路２１６に入力する。ここで、フラッシュメモリ１４２は、デジタルカメラ１００の動作ごとに使用されるノイズ特性データ（加算係数データ（Ｋ１）、及び乗算係数データ（Ｋ２））を格納している。例えば、フラッシュメモリ１４２は、後述するように、ズーミング動作に使用されるノイズ特性データ、フォーカシング動作に使用されるノイズ特性データなどを格納している。

＜ノイズ特性データについて＞
ここで、図６を用い、フラッシュメモリ１４２が格納するノイズ特性データについて説明する。
図示するように、ノイズ特性データは、デジタルカメラ１００の動作に対応する複数のテーブルデータとしてフラッシュメモリ１４２に格納される。

例えば、図中の（ａ）は、ズーミング動作に使用されるノイズ特性データである。（ｂ）は、フォーカシング動作に使用されるノイズ特性データである。また、（ｃ）は、ズーミング動作とフォーカシング動作とを同時に行った場合など、異なる動作を同時に行った場合に使用されるノイズ特性データである。

さらに、ノイズ特性データには、周波数に対応する、加算係数データ、及び乗算係数データ（以下、ゲインデータと称する場合がある）が配置される。ノイズ特性データは、周波数と、加算係数データ（Ｋ１）と、乗算係数データ（Ｋ２）とがテーブルデータとして対応付けて管理されている。例えば、ズーミング動作のノイズ特性データ（ａ）は、周波数（ａ１）と、加算係数データ（ａ２）Ｋ１と、乗算係数データ（ａ３）Ｋ２とがテーブルデータとして対応付けて管理されている。加算係数データＫ１は、ノイズ特性データ入力回路２１５により、加算器２１６に入力される。乗算係数データＫ２は、後述するように、ノイズ特性データ入力回路２１５により、ノイズ強調回路２１７、２１８にゲインデータとして入力される。
なお、図中に囲って示す加算係数データ（0.3, 0.8, 0.3）は、後述する図７（３）Ａに相当する部分である。同様に、乗算係数データ（1.2, 1.5, 1.2）は、後述する図７（３）Ｂに相当する部分である。その他のフォーカシング動作に対応するノイズ特性データ（ｂ）の場合や、異なる動作を同時に行った場合のノイズ特性データ（ｃ）の場合も同様である。

上記のような、ノイズ特性データを利用することにより、デジタルカメラ１００の動作に対応してノイズ抽出回路２０５では抽出できずに残存するノイズを低減でき、より適切なノイズキャンセルを行うことができる。さらに、フラッシュメモリ１４２は、同じズーミング動作（ａ）であっても、ズーム速度によって異なるノイズ特性データ（加算係数データＫ１、及び乗算係数データＫ２）を格納する。同様に、同じフォーカシング動作（ｂ）であっても、フォーカス速度によって異なるノイズ特性データ（加算係数データＫ１、及び乗算係数データＫ２）を格納する。そのため、同じ動作であっても、その動作速度に応じて適切なノイズキャンセルを行うことができる点で、有利である。

加えて、フラッシュメモリ１４２は、ズーミング動作とフォーカシング動作とを同時に行った場合など、異なる動作を同時に行った場合のノイズ特性データ（ｃ）においても、動作速度によって異なるノイズ特性データ（加算係数データＫ１、及び乗算係数データＫ２）を格納している。このように複数の動作を同時に行った場合のノイズ特性データ（ｃ）は、単体の動作についてのノイズ特性データを単純にたし合わせたものとは異なる場合がある。本例に係るデジタルカメラ１００は、このような複数の動作が同時に行われた場合であっても、適切にノイズキャンセルを行うことができ、複雑なノイズキャンセルを行うことができる点で、有利である。

続いて、上記ノイズ特性データのうちの加算係数データＫ１は、ノイズ特性データ入力回路２１５により、加算回路２１６に入力される。加算回路２１６は、ノイズ抽出回路２０５が抽出したノイズ信号に対して、動作状況に応じた上記ノイズ特性データの示す加算係数データＫ１を加算する。この際、コントローラ１３０は、デジタルカメラ１００の操作部１５０の状態を観測することや、或いはフォーカスレンズ１１１やズームレンズ１１２などに送信する駆動指令情報を観測することで、デジタルカメラ１００の正確な動作状況を把握する。そして、コントローラ１３０は、デジタルカメラ１００の動作状況に応じて、ノイズ特性データ入力回路２１５が、フラッシュメモリ１４２からどのノイズ特性データを読み出すべきかを制御する。例えば、コントローラ１３０は、デジタルカメラ１００がズーミング動作状況の場合、ノイズ特性データ入力回路２１５が、フラッシュメモリ１４２からズーミング動作のノイズ特性データ（ａ）を読み出すように制御する。

続いて、動作状況に応じたノイズ特性データの示す信号が加算されたノイズ信号は、２つの経路に分けられる。一方の経路におけるノイズ信号は、レベル調整回路２０６においてレベル調整された後、ノイズ強調回路２１７に入力される。他方の経路におけるノイズ信号は、レベル調整回路２０７においてレベル調整された後、ノイズ強調回路２１８に入力される。

ノイズ強調回路２１７には、ノイズ特性データ入力回路２１５から、ゲインデータとして上記ノイズ特性データのうちの乗算係数データＫ２が入力される。そして、ノイズ強調回路２１７は、動作状況に応じた乗算係数データＫ２の示すゲインを、レベル調整回路２０６においてレベル調整された出力信号に対して増幅させる。

ノイズ強調回路２１８には、ノイズ特性データ入力回路２１５から、ゲインデータとして上記ノイズ特性データのうちの乗算係数データＫ２が入力される。そして、ノイズ強調回路２１８は、動作状況に応じた乗算係数データＫ２の示すゲインを、レベル調整回路２０７においてレベル調整された出力信号に対して増幅させる。

続いて、乗算回路２０９は、ノイズ強調回路２１７の出力信号とＦＦＴ２００の出力信号とを乗算し、ｉＦＦＴ２１１に出力する。

同様に、乗算回路２１０は、ノイズ強調回路２１８の出力信号とＦＦＴ２０１の出力信号とを乗算し、ｉＦＦＴ２１２に出力する。

上記の構成により、ノイズ抽出回路２０５では抽出できずに残存するノイズ成分があっても、ノイズ抽出回路２０５の出力信号に対して、対応するノイズ特性データの示す信号を加算し、ゲインを乗じることで、ノイズが抽出できたものと等価な信号を生成することができる。

続いて、乗算回路２０９からの出力信号（ノイズ抽出できたものと等価な信号）を、ｉＦＦＴ２１１を介した後に、Ｒｃｈ側の音声信号から減算回路２１３にて減算する。同様に、乗算回路２０９からの出力信号を、ｉＦＦＴ２１２を介した後に、Ｌｃｈ側の音声信号から減算回路２１４にて減算する。このように、減算回路２１３、２１４は、キャンセリング部として機能する。この結果、より効果的なノイズキャンセルを行うことができる。

〔２．ノイズ特性データの記録について〕
図７を用い、上記図６に示したデジタルカメラ１００の動作状況に応じたノイズ特性データ（ノイズ抽出の残存成分データ）の記録の具体的な方法について説明する。図７は、ノイズ抽出の残存成分データ記録を説明するための図である。なお、ここで説明するノイズ特性データの記録は、例えば、デジタルカメラ１００の製造時点や出荷の時点等においてなされるものであるが、これに限られることはない。また、ノイズ特性データは、例えば、デジタルカメラ１００の機種ごと等に記録されることが望ましいが、これに限られることはない。

まず、デジタルカメラ１００を、防音室などの理想的な無音に近い環境に設置して、ズーミングなどの騒音源となる一切のモータ動作をしない状態において、取得される音声信号を記録する。すなわち、無指向性マイクＬ１６２、Ｒ１６３から集音された音声信号に対して、指向性合成部１７０による指向性合成処理および、図４にて示した基本のノイズキャンセル部１８０を介した音声信号を、記録する。このとき、モータ動作はしておらず、環境音も非常に小さいため、この音声信号は、デジタルカメラ１００内の回路ノイズのみが含まれているとする。この音声信号を、以下の説明では、「基準音声データ」と称することにする。図７（１）は、この基準音声データの周波数特性のイメージ図である。

続いて、デジタルカメラ１００を、防音室などの理想的な無音に近い環境に設置して、ズーミング動作などの騒音源となる各モータ動作を行った状態において、取得される音声信号を記録する。例えば、防音室下のデジタルカメラ１００に、ズーミング動作のみをさせた状態において、取得される音声信号を記録する。すなわち、ズーミング動作中において、無指向性マイクＬ１６２、Ｒ１６３から集音された音声信号に対して、指向性合成部１７０による指向性合成処理および、図４にて示した基本のノイズキャンセル部１８０を介した音声信号を記録する。このときの音声信号は、環境音も非常に小さいため、回路ノイズと、ズーミング動作による騒音に対するノイズキャンセルの残存ノイズ成分とが含まれているとする。この音声信号を、以下の説明では、「ズーミング音声データ」と称することにする。同様に、デジタルカメラ１００は、ズーミング動作の速度（周波数）に応じて、段階的にズーミング音声データを記録する。図７（２）は、ある速度（周波数）におけるズーミング音声データの周波数特性のイメージ図である。

ここで、図７（２）で示す破線Ａは、上記図７（１）に対応する基準音声データである。破線Ｂは、基本のキャンセル部１８０Ａを介す前の音声データである。実線Ｃは、基本のキャンセル部１８０Ａを介した後の音声データである。矢印部分Ｄは、図７（３）で後述する残存ノイズに対応する成分の音声データである。
図示するように、周波数ｆが高い領域の残存ノイズ（Ｄ）は、比較的小さい。そのため、周波数ｆが高い領域のノイズは、基本のキャンセル部１８０Ａのノイズ抽出部２０５によりある程度は抽出されるため、ある適度キャンセルできることが分かる。
一方、周波数ｆが低い領域の残存ノイズ（Ｄ）は、周波数ｆが高い領域に比べて大きい。そのため、周波数ｆが低い領域のノイズ（Ｄ）は、基本のキャンセル部１８０Ａであっても、キャンセルできない残存ノイズが大きいことが分かる。

続いて、図７（２）に示したズーミング音声データから、図７（１）に示す基準音声データを減算することにより、ズーミング動作に起因する残存ノイズ成分（第２ノイズ）を得ることができる。図７（３）は、残存ノイズ成分の周波数特性を示す図である。

ここで、図７（３）のうちの周波数が低い領域（f0-f1）の残存データＡは、上記図６中に示した加算係数データＫ１（0.3, 0.8, 0.3）に相当する。同様に、図７（３）のうちの周波数が高い領域（f2-f3）の残存データＢは、上記図６中に示した乗算係数データＫ２（1.2, 1.5, 1.2）に相当する。

即ち、図５に示したノイズキャンセル部１８０の構成において、まず、ノイズ特性データ入力回路２１５により入力されるノイズ特性データ（加算係数データＫ１）をゼロとし、図７（３）に示す残存ノイズ成分が、所定のレベル以下になるまで、ノイズ強調回路２１７、２１８のゲインを上げていく。そして、図７（３）の示す残存ノイズ成分が、所定のレベル以下になったときのノイズ強調回路２１７、２１８のゲインが、ノイズ特性データにおける乗算係数データＫ２（残存データＢ）として設定される。

このとき、ゲインを上げていっても、ノイズ抽出部２０５により抽出できない低い周波数帯域のノイズについては、どうしても残存ノイズ成分が残る。この残存する残存ノイズ成分が、実施の形態１に係るデジタルカメラ１００において、図５に示すノイズ特性データ入力回路２１５によって入力される上記加算係数データＫ１（残存データＡ）として設定されるのである。

なお、図７（３）に示した残存ノイズ成分は、ズーミング動作やフォーカシング動作等の動作ごとに対応して異なってくる。そのため、図６に示したように、それぞれの動作に対応するノイズ特性データ（テーブルデータ）も、周波数ごとに対して加算係数の値や、乗算係数の値が異なってくる。

〔３．作用効果〕
上記のように、実施の形態１によれば、少なくとも下記（１）乃至（３）の効果が得られる。

（１）基本のノイズキャンセル部１８０Ａにおけるノイズ抽出部２０５であっても抽出しきれない残存ノイズ成分が発生する場合であっても、ノイズ特性データを用いることにより、これをキャンセルすることができる。その結果、残存するノイズをより効果的にノイズキャンセルすることができる点で、有利である。

（２）さらに、ズーミング動作、フォーカシング動作などの動作ごとに、基本のノイズキャンセル部１８０のノイズ抽出部２０５で抽出しきれない残存ノイズ成分が相違する。実施の形態１では、図６に示したように、動作ごとに対応するノイズ特性データがフラッシュメモリ１４２に格納される。このノイズ特定データを用いることにより、動作ごとに対応する残存ノイズをキャンセルすることができる点で、有利である。

（３）加えて、ズーミング動作、フォーカシング動作などの動作速度（周波数）ごとに、ノイズ抽出部では抽出しきれないノイズ成分が異なる。実施の形態１では、図６に示したように、動作速度ごとに対応するノイズ特性データがフラッシュメモリ１４２に格納される。このノイズ特定データを用いることにより、動作速度（周波数）ごとに対応する残存ノイズをキャンセルすることができる点で、有利である。

このように、本実施の形態１に係るノイズキャンセル装置によれば、デジタルカメラ１００から発生する残存ノイズをもキャンセルでき、より効果的なノイズキャンセルを行うことができる点で有利なことは明らかである。

なお、本実施の形態１に係るノイズキャンセル装置は、デジタルカメラに限られないことは勿論である。例えば、レンズ一体型のカメラや、レンズ着脱式のカメラ、２眼３Ｄカメラ、ムービーカメラや、カメラ付情報端末、ボイスレコーダ等の録音機能を有する装置に適用可能である。

本開示は、ノイズキャンセル装置に適用できる。ノイズキャンセル装置の適用対象は、デジタルカメラに限定されない。例えば、ムービーカメラやカメラ付き情報端末、ボイスレコーダ等の録音機能を有する装置に適用可能である。

１００…デジタルカメラ
１１１…フォーカスレンズ
１１２…ズームレンズ
１１３…絞り
１２０…ＣＣＤイメージセンサ
１２２…画像処理部
１２３…液晶モニタ
１２４…バッファメモリ
１３０…コントローラ
１４０…メモリカード
１４１…カードスロット
１４２…フラッシュメモリ
１５０…操作部
１６２…無指向性マイクＬ
１６３…無指向性マイクＲ
１７０…指向性合成部
１８０…基本のノイズキャンセル部
１８０Ａ…ノイズキャンセル部
２１３…減算器
２１４…減算器
２１５…ノイズ特性データ入力回路
２１６…加算回路
２１７…ノイズ強調回路
２１８…ノイズ強調回路

Claims (8)

1. 入力される音声信号に基づく信号から、第１ノイズを抽出する抽出部と、
   前記音声信号に基づく信号から、前記抽出した第１ノイズを減算した後に残存する第２ノイズに関するノイズ特性情報を記憶する記憶部と、
   前記第１ノイズと、前記第２ノイズに関する情報とに基づいて、入力される音声信号に対して、ノイズキャンセルをするためのキャンセリング処理を行うキャンセリング部とを具備する
   ノイズキャンセル装置。
2. 前記ノイズ特性情報は、周波数に対応付けられる加算データを含み、
   前記キャンセリング部は、
   前記加算データを前記記憶部から読み出して入力させるデータ入力回路と、
   前記第１ノイズに対して、前記データ入力回路から入力される前記加算データを加算する加算回路と、
   前記加算回路の出力信号に基づき生成したノイズ信号を、前記音声信号から減算する減算回路とを備える
   請求項１に記載のノイズキャンセル装置。
3. 前記ノイズ特性情報は、周波数に対応付けられる乗算データを含み、
   前記キャンセリング部は、
   入力される前記加算回路の出力がレベル調整された信号に対して、前記データ入力回路から入力される前記乗算データに基づいて、ノイズを強調するノイズ強調回路を更に備え、
   前記減算回路は、前記ノイズ強調回路の出力信号に基づき生成したノイズ信号を、前記音声信号から減算する
   請求項２に記載のノイズキャンセル装置。
4. 前記キャンセリング部は、
   入力される前記音声信号に対して、前記ノイズ強調回路の出力信号を乗算する乗算回路を更に備え、
   前記減算回路は、前記乗算回路の出力信号に基づき生成したノイズ信号を、前記音声信号から減算する
   請求項３に記載のノイズキャンセル装置。
5. 前記記憶部は、
   搭載される撮像装置の複数の駆動動作ごとに、対応する前記第２ノイズに関する情報を記憶する
   請求項１乃至４のいずれかに記載のノイズキャンセル装置。
6. 前記記憶部は、
   前記駆動動作の動作速度に対応して、前記第２ノイズに関する情報を記憶する
   請求項５に記載のノイズキャンセル装置。
7. 前記キャンセリング部は、
   駆動部材の動作状態に応じて、前記記憶部に記憶される前記第２ノイズに関する情報を選択的に使用する
   請求項１乃至６のいずれかに記載のノイズキャンセル装置。
8. 一対の無指向性マイクロフォンユニットと、
   前記一対の無指向性マイクロフォンユニットの出力信号に対して、指向性合成処理を施し、指向性を有する信号に変換する変換部と、を更に具備し、
   前記抽出部は、前記変換部により変換された信号から、前記第１ノイズを抽出する
   請求項１乃至７のいずれかに記載のノイズキャンセル装置。

Images