JP2011128391A

JP2011128391A - 音声処理装置、音声処理プログラム、音声処理方法

Info

Publication number: JP2011128391A
Application number: JP2009287098A
Authority: JP
Inventors: Toshiyuki Ono; 利行大野
Original assignee: Toshiba Corp; Toshiba Solutions Corp
Current assignee: Toshiba Corp; Toshiba Digital Solutions Corp
Priority date: 2009-12-18
Filing date: 2009-12-18
Publication date: 2011-06-30

Abstract

【課題】周囲音から効果的にノイズを低減することができる音声処理装置、音声処理方法及び音声処理プログラムを提供する。
【解決手段】第１マイクロフォンから入力されたノイズの音声データ、及び第２マイクロフォンから入力された周囲音の音声データを記憶する第１記憶部と、第１マイクロフォンと第２マイクロフォンとの位置関係に基づく、ノイズ発生部から発生したノイズの直接音及び反射音の第２マイクロフォンへの到達時間のぞれぞれと、ノイズの発生源から第１マイクロフォンへ直接到達する直接音の第１マイクロフォンへの到達時間との差を示す時間差データ、及び第２マイクロフォンへ到達する直接音及び反射音のゲインを示すゲインデータを記憶する第２記憶部と、ノイズの音声データ、時間差データ及びゲインデータに基づき、周囲音の音声データからノイズの音声データを消去する消去部とを有する音声処理装置を提供する。
【選択図】図４

Description

本発明は、アクチュエータ等の動作に伴って発生するノイズを低減する技術に関する。

マイクロフォンで録音した音声を撮影画像とともに記録するカメラには、カメラレンズや手振れ補正装置を動作させるため、装置内にアクチュエータが搭載されている。このアクチュエータによれば、動作音がノイズとして周囲音に重畳されマイクロフォンに入力される。このため、アクチュエータ等から発生するノイズを低減する手段が種々講じられている。これらの手段として、例えば、ノイズを入力するためのマイクロフォンをノイズ発生源の近傍に別途備え、このマイクロフォンにより録音されたノイズ音により周囲音に重畳されたノイズ音を相殺する技術が知られている。

また、関連する技術として、以下の技術が開示されている。

特開２００８−５４０７１号公報

しかし、アクチュエータのノイズ発生源は録画装置の筐体内に配置されている場合がある。この場合、発生したノイズは、筐体内で反響する。このため、直接マイクロフォンに到達したノイズの直接音と反射音とが周囲音に重畳される。従って、アクチュエータ等から直接周囲音に重畳されたノイズのみを周囲音から差し引いても、ノイズの反射音は低減されないため、周囲音からノイズを効果的に低減することができなかった。

本発明は、上述した問題点を解決するためになされたものであり、周囲音から効果的にノイズを低減することができる音声処理装置、音声処理プログラム及び音声処理方法を提供することを目的とする。

上述した課題を解決するため、本発明の一態様に係る音声処理装置は、ノイズ発生源に対応する位置に設けられ、前記ノイズ発生源から発生したノイズが入力される第１マイクロフォンと、前記ノイズ発生源に対して前記第１マイクロフォンより遠い位置に設けられ、周囲音が入力される第２マイクロフォンとを有する音声処理装置であって、前記第１マイクロフォンから入力された前記ノイズの音声データ、及び前記第２マイクロフォンから入力された前記周囲音の音声データを記憶する第１記憶部と、前記第１マイクロフォンと前記第２マイクロフォンとの位置関係に基づく、前記ノイズ発生部から発生した前記ノイズの直接音及び反射音の前記第２マイクロフォンへの到達時間のぞれぞれと、前記ノイズの発生源から前記第１マイクロフォンへ直接到達する直接音の前記第１マイクロフォンへの到達時間との差を示す時間差データ、及び前記第２マイクロフォンへ到達する前記直接音及び前記反射音のゲインを示すゲインデータを記憶する第２記憶部と、前記ノイズの音声データ、前記時間差データ及び前記ゲインデータに基づき、前記周囲音の音声データから前記ノイズの音声データを消去する消去部とを有する。

また、本発明の他の一態様に係る音声処理プログラムは、ノイズ発生源に対応する位置に設けられ、前記ノイズ発生源から発生したノイズが入力される第１マイクロフォンと、前記ノイズ発生源に対して前記第１マイクロフォンより遠い位置に設けられ、周囲音が入力される第２マイクロフォンとを有する装置において実行させることができる音声処理プログラムであって、前記第１マイクロフォンから入力された前記ノイズの音声データと、前記第２マイクロフォンから入力された前記周囲音の音声データと、前記第１マイクロフォンと前記第２マイクロフォンとの位置関係に基づく、前記ノイズ発生部から発生した前記ノイズの直接音及び反射音の前記第２マイクロフォンへの到達時間のぞれぞれと前記ノイズの発生源から前記第１マイクロフォンへ直接到達する直接音の前記第１マイクロフォンへの到達時間との差を示す時間差データと、前記第２マイクロフォンへ到達する前記直接音及び前記反射音のゲインを示すゲインデータとに基づき、前記第２マイクロフォンから入力された前記周囲音の音声データから前記ノイズの音声データを消去することをコンピュータに実行させる。

また、本発明の他の一態様に係る音声処理方法は、ノイズ発生源に対応する位置に設けられ、前記ノイズ発生源から発生したノイズが入力される第１マイクロフォンと、前記ノイズ発生源に対して前記第１マイクロフォンより遠い位置に設けられ、周囲音が入力される第２マイクロフォンとを有する装置において実行するための音声処理方法であって、前記第１マイクロフォンから入力された前記ノイズの音声データと、前記第２マイクロフォンから入力された前記周囲音の音声データと、前記第１マイクロフォンと前記第２マイクロフォンとの位置関係に基づく、前記ノイズ発生部から発生した前記ノイズの直接音及び反射音の前記第２マイクロフォンへの到達時間のぞれぞれと前記ノイズの発生源から前記第１マイクロフォンへ直接到達する直接音の前記第１マイクロフォンへの到達時間との差を示す時間差データと、前記第２マイクロフォンへ到達する前記直接音及び前記反射音のゲインを示すゲインデータとに基づき、前記第２マイクロフォンから入力された前記周囲音の音声データから前記ノイズの音声データを消去する。

周囲音から効果的にノイズを低減することができる。

本実施の形態に係るカメラの側面図である。本実施の形態に係るカメラの正面図である。本実施の形態に係るカメラのハードウェア構成を示すブロック図である。本実施の形態に係るカメラの機能構成を示すブロック図である。本実施の形態に係るカメラの動作を示すフローチャートである。本実施の形態に係るノイズの伝播経路を示す模式図である。本実施の形態に係るノイズの遅延を示す図である。本実施の形態に係る反響情報を示す図である。ＩＩＲフィルタを示す図である。

以下、本発明の実施の形態について図面を参照しつつ説明する。

図１は、本実施の形態に係るカメラ１の側面図を示す図である。また、図２は、本実施の形態に係るカメラ１の正面図を示す図である。図１及び２に示すように、カメラ１は、貫通孔１１を有する筐体１２、カメラレンズ１３、アクチュエータ１４、第１マイクロフォン１５、第２マイクロフォン１６を有する。なお、本実施の形態では、第１マイクロフォン１５及び第２マイクロフォン１６を有する音声処理装置としてのカメラ１を例にして説明する。

これら各構成の詳細説明をする。カメラ１は、録音機能付きカメラを示し、例えば、静止画撮影機能、音声付動画撮影機能を有するデジタルカメラ、デジタルビデオカメラが挙げられる。アクチュエータ１４は、カメラ１に搭載されているカメラレンズ１３や手振れ補正装置（不図示）を駆動させる機構である。本実施の形態において、アクチュエータ１４の動作音は、ノイズとして周囲音に重畳されるものとする。第１マイクロフォン１５は、ノイズの発生源であるアクチュエータ１４に対応する位置に設けられ、ノイズが入力される。第２マイクロフォン１６は、アクチュエータ１４に対して第１マイクロフォン１４より遠い位置に設けられ、筐体１２の貫通孔１１から周囲音が入力される。

図３は、本実施の形態に係るカメラ１のハードウェア構成を示すブロック図である。カメラ１は、第１マイクロフォン１５、第２マイクロフォン１６、ＡＭＰ（Ａｍｐｌｉｆｉｅｒ）２１及び２２、ＬＰＦ（Ｌｏｗ−ＰａｓｓＦｉｌｔｅｒ）２３及び２４、Ａ／Ｄ変換部２５及び２６、メモリ２７（第１記憶部、第２記憶部）、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２８、不揮発性メモリ２９を有する。

次に、これら各構成の詳細説明をする。ＡＭＰ２１及び２２は、第１マイクロフォン１５及び第２マイクロフォン１６から入力された微小信号を増幅する。ＬＰＦ２３及び２４は、Ａ／Ｄ変換時のエリアシングノイズを防止するために、入力信号におけるナイキスト周波数以上の周波数をカットする。Ａ／Ｄ変換部２５及び２６は、ＬＰＦ２３及び２４を通過したアナログ信号をデジタル信号に変換する。メモリ２７は、Ａ／Ｄ変換部２５及び２６で変換された周囲音やノイズのデジタル信号を一時的に保存する。ＣＰＵ２８は、メモリ２７で保存されたデジタル信号の時間軸（位相）及びゲインを調整する。不揮発性メモリ２９は、ＣＰＵ２８で処理された録音データを保存する。不揮発性メモリ２９としては、磁気テープ、磁気ディスク（ハードディスクドライブ等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ等、さらにネットワークを介することで伝送可能な媒体等、音声データをコンピュータで読み取りや実行が可能な全ての媒体が挙げられる。メモリ２７及びＣＰＵ２８の機能構成については後述する。

次に、本実施の形態に係るカメラ１の機能構成について説明する。図４は、本実施の形態に係るカメラ１の機能構成を示すブロック図である。

図４に示すように、カメラ１は、ノイズ取得部１１５、周囲音取得部１１６、ＢＰＦ（Ｂａｎｄ−ＰａｓｓＦｉｌｔｅｒ）１１７、位相・ゲイン調整部（ゲイン調整部）１１８、減算部１１９を有する。ノイズ取得部１１５は、メモリ２７からノイズの音声データを取得する。周囲音取得部１１６は、メモリ２７から周囲音の音声データを取得する。ＢＰＦ１１７は、低域周波数遮断のハイパスフィルターと、高域周波数遮断のローパスフィルターを組み合わせたものであり、その通過帯域はノイズ成分が多く含まれる帯域に設定されるものとする。位相・ゲイン調整部１１８は、後述する反響情報（時間差データ、ノイズデータ）に基づいて、イコライジングを行う。減算部１１９は、位相・ゲイン調整された周囲音とノイズとに基づいて、周囲音からノイズを消去する。なお、これらの機能は、メモリ２７とＣＰＵ２８が協働することにより実現される。

次に、本実施の形態に係るカメラの動作について説明する。図５は、本実施の形態に係るカメラの動作を示すフローチャートである。図６は、本実施の形態に係るノイズの伝播経路を示す模式図である。図７は、本実施の形態に係るノイズの遅延を示す図である。図８は、本実施の形態に係る反響情報を示す図である。図９は、ＩＩＲフィルタを示す図である。なお、図５において、周囲音及びノイズは、各々周囲音データ及びノイズデータとしてメモリ２７に記憶されているものとする。

図５に示すように、まず、周囲音取得部１１６は、メモリ２７に一時的に保存されている周囲音データを取得する（Ｓ１０１）。この周囲音データには、アクチュエータ１４から発生したノイズが重畳されている。

次に、ノイズ取得部１１５は、メモリ２７に一時的に保存されているノイズデータを取得する（Ｓ１０２）。ノイズを取得する方法については、図６〜図８を用いて以下に詳述する。

まず、本実施の形態におけるノイズは、図６に示すように、第２マイクロフォン１６に直接入力される伝播経路ａのノイズａ（直接音）、筐体１２に反射した後に第１マイクロフォン１５に入力される伝播経路ｂのノイズｂ（反射音）、伝播経路ｃのノイズｃ（反射音）に分類される。そして、図７に示すように、周囲音に重畳するノイズは、現在の時間を基準にすると、第２マイクロフォンに到達するまでの時間が長いほど、過去に発生したことになる。図８に示す反響情報は、これらの内容をデータとして表現したものである。この反響情報において、ノイズの到達時間、ゲイン及び周波数特性は、第１マイクロフォン及び第２マイクロフォンへの各経路（ａ〜ｃ）と対応付けられている。本実施の形態では、時間軸及びゲインは、第１マイクロフォン１５に入力されたノイズの音声データを基準に調整されるため、ノイズ発生源から第１マイクロフォン１５へ直接到達するノイズを基準とする。すなわち、本実施の形態では、ノイズ発生部から発生したノイズの直接音（ノイズａ）及びカメラ１の筐体１２に反射した反射音（ノイズｂ、ノイズｃ）の第２マイクロフォン１６への到達時間と、ノイズ発生源から第１マイクロフォン１５へ直接到達する直接音の到達時間との差が時間軸の調整に用いられる。ノイズ取得部１１５は、この時間差に基づいて、メモリ２７からノイズの音声データを取得する。つまり、ノイズ取得部１１５は、ノイズ及び周囲音の音声データの取得において、メモリ２７上の音声の時間的位置をずらすことによって、時間軸を調整する。なお、反響情報における到達時間、ゲイン及び周波数特性は、カメラ１の筐体１２の内部形状、第１マイクロフォン１５及び第２マイクロフォン１６の位置、アクチュエータ１４の形状等、種々の因子を考慮して、実験又はシミュレーションによって予め求められるものとする。このようにして得られた反響情報は、不揮発性メモリ２９に記憶される。

次に、ＢＰＦ１１７は、予めノイズを含むものとして設定された周波数帯域のみを通過させる（Ｓ１０３）。

次に、位相・ゲイン調整部１１８（消去部）は、周囲音とノイズの位相及びゲインを調整する（Ｓ１０４）。以下、位相及びゲインの調整について詳述する。

ゲインの調整は、図６に示すような伝播経路ａ〜ｃで伝播したノイズのゲインを、第１マイクロフォン１５に入力されたノイズのゲインを基準としてなされる。具体的には、位相・ゲイン調整部１１８は、第１マイクロフォン１５に入力されたノイズのゲインに対するノイズａ〜ｃのゲインの割合を求め、これらの割合に基づいて音圧を算出する。

これらの手順によって得られる周囲音に重畳したノイズのゲインが、図８に示す反響情報に基づいて算出される場合、第１マイクロフォン１５に入力されたノイズのゲインに対する、ノイズａ〜ｃのゲインの割合は、各々、０．７、０．３、０．２となる。そして、これらの割合に基づき算出された音圧は、各々−３．０９８（ｄＢ）、−１０．４５（ｄＢ）、−１３．９８（ｄＢ）である。

また、位相の調整は、ノイズ取得部１１５による時間軸に対すて補正をすることにより行われる。ノイズ取得部１１５による時間軸は、サンプリング間隔で行われるため、位相・ゲイン調整部１１８は、ノイズａ〜ｃに対して、サンプリング間隔以下の時間軸を調整する。

また、位相・ゲイン調整部１１８は、イコライザを有する。このイコライザは、ノイズａ〜ｃのそれぞれを、反響情報において対応する周波数特性（パターン１〜３）により補正する。このイコライザは、図９に示すＩＩＲフィルタ（ＩｎｆｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅｆｉｌｔｅｒ）により実現される。このＩＩＲフィルタは、差分方程式を伝達関数に変換し、周波数応答を求めた後、移動平均の周波数特性を求める。なお、図９におけるＺ^-1は、１サンプル分の遅延を示す。また、本実施の形態で用いるＩＩＲフィルタは、公知の技術を用いるものとする。このようなＩＩＲ型のイコライザによれば、周波数特性を変更した音声に位相の歪みが発生するため、位相・ゲイン調整部１１８は、サンプリング間隔以下の時間軸の調整に加えて、更に、イコライザによる位相のずれも加味した調整を行うものとする。

次に、減算部１１９（消去部）は、ゲイン及び位相が調整されたノイズの音声データを合成し、周囲音の音声データに対し、合成したノイズの音声データによる減算を行う（Ｓ１０５）。更に、減算部１１９は、周囲音からノイズを減算した音声データを出力し（Ｓ１０６）、不揮発性メモリに保存する（Ｓ１０７）。

上述したように、本実施の形態によれば、ゲイン及び位相を調整したノイズを合成したものを周囲音に重畳されたノイズとし、このノイズを周囲音から除去することにより、ノイズの反射音が周囲音から減算されるため、効果的に周囲音からノイズを低減することができる。

本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。そのため、前述の実施の形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、何ら拘束されない。更に、特許請求の範囲の均等範囲に属する全ての変形、様々な改良、代替および改質は、全て本発明の範囲内のものである。

１カメラ、１１貫通孔、１２筐体、１３カメラレンズ、１４アクチュエータ、１５第１マイクロフォン、１６第２マイクロフォン、２１及び２２ＡＭＰ２３及び２４ＬＰＦ、２５及び２６Ａ／Ｄ変換部、２７メモリ、２８ＣＰＵ、２９不揮発性メモリ、１１５ノイズ取得部、１１６周囲音取得部、１１７ＢＰＦ、１１８位相・ゲイン調整部（消去部）、１１９減算部（消去部）

Claims

ノイズ発生源に対応する位置に設けられ、前記ノイズ発生源から発生したノイズが入力される第１マイクロフォンと、前記ノイズ発生源に対して前記第１マイクロフォンより遠い位置に設けられ、周囲音が入力される第２マイクロフォンとを有する音声処理装置であって、
前記第１マイクロフォンから入力された前記ノイズの音声データ、及び前記第２マイクロフォンから入力された前記周囲音の音声データを記憶する第１記憶部と、
前記第１マイクロフォンと前記第２マイクロフォンとの位置関係に基づく、前記ノイズ発生部から発生した前記ノイズの直接音及び反射音の前記第２マイクロフォンへの到達時間のぞれぞれと、前記ノイズの発生源から前記第１マイクロフォンへ直接到達する直接音の前記第１マイクロフォンへの到達時間との差を示す時間差データ、及び前記第２マイクロフォンへ到達する前記直接音及び前記反射音のゲインを示すゲインデータを記憶する第２記憶部と、
前記ノイズの音声データ、前記時間差データ及び前記ゲインデータに基づき、前記周囲音の音声データから前記ノイズの音声データを消去する消去部とを有する音声処理装置。
請求項１に記載の音声処理装置において、
前記消去部は、前記時間差データに基づいて、前記ノイズの音声データを取得するノイズ取得部を有することを特徴とする音声処理装置。
請求項１又は２に記載の音声処理装置において、
前記消去部は、前記ゲインデータに基づき、取得したそれぞれの前記ノイズの音声データのゲインを調整するゲイン調整部を有することを特徴とする音声処理装置。
請求項１乃至３のいずれか１項に記載の音声処理装置において、
前記ノイズ取得部によって取得された前記ノイズの音声データのうちから、予めノイズを含むものとして設定された周波数帯域からノイズのみを通過させるＢＰＦを有することを特徴とする音声処理装置。
請求項１乃至４のいずれか１項に記載の音声処理装置において、
前記消去部は、前記周囲音の音声データから前記ノイズの音声データを減算する減算部を有することを特徴とする音声処理装置。
ノイズ発生源に対応する位置に設けられ、前記ノイズ発生源から発生したノイズが入力される第１マイクロフォンと、前記ノイズ発生源に対して前記第１マイクロフォンより遠い位置に設けられ、周囲音が入力される第２マイクロフォンとを有する装置において実行させることができる音声処理プログラムであって、
前記第１マイクロフォンから入力された前記ノイズの音声データと、前記第２マイクロフォンから入力された前記周囲音の音声データと、前記第１マイクロフォンと前記第２マイクロフォンとの位置関係に基づく、前記ノイズ発生部から発生した前記ノイズの直接音及び反射音の前記第２マイクロフォンへの到達時間のぞれぞれと前記ノイズの発生源から前記第１マイクロフォンへ直接到達する直接音の前記第１マイクロフォンへの到達時間との差を示す時間差データと、前記第２マイクロフォンへ到達する前記直接音及び前記反射音のゲインを示すゲインデータとに基づき、前記第２マイクロフォンから入力された前記周囲音の音声データから前記ノイズの音声データを消去することをコンピュータに実行させる音声処理プログラム。
ノイズ発生源に対応する位置に設けられ、前記ノイズ発生源から発生したノイズが入力される第１マイクロフォンと、前記ノイズ発生源に対して前記第１マイクロフォンより遠い位置に設けられ、周囲音が入力される第２マイクロフォンとを有する装置において実行するための音声処理方法であって、
前記第１マイクロフォンから入力された前記ノイズの音声データと、前記第２マイクロフォンから入力された前記周囲音の音声データと、前記第１マイクロフォンと前記第２マイクロフォンとの位置関係に基づく、前記ノイズ発生部から発生した前記ノイズの直接音及び反射音の前記第２マイクロフォンへの到達時間のぞれぞれと前記ノイズの発生源から前記第１マイクロフォンへ直接到達する直接音の前記第１マイクロフォンへの到達時間との差を示す時間差データと、前記第２マイクロフォンへ到達する前記直接音及び前記反射音のゲインを示すゲインデータとに基づき、前記第２マイクロフォンから入力された前記周囲音の音声データから前記ノイズの音声データを消去する音声処理方法。