JP2006129464A - 複数チャンネルのオーディオ信号のノイズ除去方法及び装置 - Google Patents

Abstract

【課題】 周辺ノイズが印加された複数チャンネルのオーディオ信号のノイズ除去方法及び装置を提供する。
【解決手段】 複数チャンネルのオーディオ信号に混合されたノイズ除去方法において、複数チャンネルの入力信号を平均してフレーム別にノイズ信号の有無を検出し、その検出されたフレームのノイズ信号を推定するノイズ処理過程、及び各チャンネル別の入力信号それぞれに対して、ノイズ処理過程で推定されたノイズ信号を差減するノイズ除去過程を含む。
【選択図】 図２

Description

本発明は、オーディオレコーダ及び再生機器に係り、特に周辺ノイズが印加された複数チャンネルのオーディオ信号のノイズ除去方法及び装置に関する。

従来には、カムコーダを使用して動映像を記録するとき、ズームモータやドラムモータの回転によりノイズが発生する。このノイズは、マイクロホンなどを通じてオーディオ信号と共に録音されるので、オーディオ再生時、機器の音質を低下させる。

したがって、このような周辺環境のノイズを除去するためのノイズ除去技術が必要となる。一般的に、スペクトルノイズ除去装置は、背景ノイズを除去するために、スペクトル差減法を利用している。

以下で、図１を参照してスペクトル差減法を説明する。図１は、従来のノイズ除去装置のブロック図である。

まず、マイクロホンに入力される一つのチャンネルのアナログ信号をデジタル信号に変換する。次いで、その変換されたデジタル信号は、時間軸領域でフレームに分けられる。次いで、フレーム単位の信号は、フレーム間の情報断絶及び歪曲を減らすためにウィンドウを行う。次いで、ＦＦＴ（ファーストフーリエ変換）部１１０は、ウィンドウされた信号を、フーリエ変換を通じて周波数スペクトルに変換する。

このスペクトル情報は、大きさスペクトル情報及び位相スペクトル情報からなる。このとき、大きさスペクトル情報は、スペクトル差減に利用され、位相スペクトル情報は、逆フーリエ変換（インバースファーストフーリエ変換：ＩＦＦＴ）に利用される。

ノイズ検出部１２０は、ＦＦＴ部１１０でＦＦＴ処理された現在フレームの信号がノイズのみがあるフレームであるか、またはノイズ＋オーディオ信号があるフレームであるかを判別する。

ノイズスペクトル部１３０は、ノイズ検出部１２０でノイズフレームと判断されれば、そのノイズフレームのスペクトル形態を保存する。

スペクトル差減部１４０は、オーディオとノイズとが混合された大きさスペクトルで推定されたノイズスペクトルを差減する。

ノイズ特性が正常的である場合、推定されたノイズスペクトルは、実際のノイズ成分のスペクトルと類似している。したがって、スペクトル差減により得られる大きさスペクトルは、近似的にノイズが除去されたオーディオ信号のみの大きさスペクトルとなる。

ＩＦＦＴ部１５０は、スペクトル差減部３５０で出力されるオーディオスペクトルをＩＦＦＴして、本来の時間領域の信号に復元する。

図１のような従来のノイズ除去技術で、計算量が最も多く必要な部分は、時間領域信号を周波数領域に変換するＦＦＴ部１１０、及び周波数領域信号を時間領域に復元するＩＦＦＴ部１５０である。かかる従来のノイズ除去装置は、単一チャンネルのノイズを除去できる。しかし、従来の複数チャンネルのオーディオ信号に対するノイズ除去システムは、単一チャンネルのノイズ除去装置を複数個使用せねばならない。したがって、従来のノイズ除去システムは、計算量のほとんどを占めるＦＦＴ、ＩＦＦＴの計算量も、チャンネル数に比例して増加するという問題点がある。
日本特許公開第２０００−３６７６８号公報 日本特許公開第２００２−１７５０９９号公報

本発明が解決しようとする課題は、周辺ノイズが入力された複数チャンネルのオーディオ信号に対してノイズ処理を一つに共有することによって、処理されるチャンネル数の増加にもかかわらず、時間領域及び周波数領域間に信号を変換するための計算量が一定になる複数チャンネルのオーディオ信号のノイズ除去方法を提供するところにある。

本発明が解決しようとする他の課題は、複数チャンネルのオーディオ信号のノイズ除去方法が適用されたノイズ除去装置を提供するところにある。

前記の課題を解決するために、本発明は、複数チャンネルのオーディオ信号に混合されたノイズ除去方法において、複数チャンネルの入力信号を平均してフレーム別にノイズ信号の有無を検出し、その検出されたフレームのノイズ信号を推定するノイズ処理過程、及び各チャンネル別の入力信号それぞれに対して、前記ノイズ処理過程で推定されたノイズ信号を差減するノイズ除去過程を含むことを特徴とする。

前記の他の課題を解決するために、本発明は、複数チャンネルのオーディオ信号のノイズ除去装置において、複数チャンネルの入力信号を平均してフレーム別にノイズ信号の有無を検出し、その検出されたフレームノイズ信号を推定するノイズ処理部、ノイズとオーディオとが混合された複数チャンネルの入力信号を、前記ノイズ処理部のノイズ処理期間ほど遅延させる遅延部、及び遅延部で遅延された複数チャンネルの入力信号から、前記ノイズ処理部で推定されたノイズ信号を差減する差減部を備え、前記ノイズ処理部は、複数チャンネルの入力信号を合わせる合算部、前記合算された複数チャンネルの入力信号レベルを平均する平均部、前記平均された信号をフレーム単位で周波数スペクトルに変換するＦＦＴ部、前記周波数スペクトルに対して、フレーム別にノイズ信号の存在如何を判断するフレームノイズ検出部、前記ノイズフレームと判別されれば、現在フレームのノイズスペクトルを推定して保存するノイズスペクトル部、及び前記ノイズスペクトルをＩＦＦＴして、時間領域のノイズ信号に変換するＩＦＦＴ部を備えることを特徴とする。

本発明によれば、周辺ノイズが入力された複数チャンネルのオーディオ信号に対してノイズ処理を一つに共有することによって、チャンネル数の増加にもかかわらず、ＦＦＴ、ＩＦＦＴのような信号変換計算量が一定になる。

以下、添付された図面を参照して、本発明の望ましい実施形態を説明する。

図２は、本発明による複数チャンネルのオーディオ信号のノイズ除去装置を示すブロック図である。図２のノイズ除去装置は、第１遅延部２２０、第２遅延部２３０、ノイズ処理部２１０、第１差減部２４０、第２差減部２５０から構成され、前記ノイズ処理部２１０は、合算部２１１、平均部２１３、ＦＦＴ部２１４、ノイズフレーム検出部２１５、ノイズスペクトル部２１６、ＩＦＦＴ部２１７を備える。

図３の波形図を参照して、図２の各ブロック図を説明する。

まず、複数チャンネルの信号が入力される。このとき、各チャンネルの信号には、ノイズとオーディオとが混合されていると仮定する。例えば、第１チャンネルの信号（ａ）には、第１ノイズ３１０及び第１オーディオ信号３２０が混合されている。そして、第２チャンネルの信号（ｂ）には、第２ノイズ３３０及び第２オーディオ信号３４０が混合されている。

ノイズ処理部２１０は、第１チャンネル及び第２チャンネルの信号レベルを平均して、フレーム別にノイズ信号の有無を検出し、その検出されたフレームに対してノイズ信号を推定する。

以下、ノイズ処理部２１０を詳細に説明する。

合算部２１１は、第１チャンネルの信号（ａ）及び第２チャンネルの信号（ｂ）を合算する。

平均部２１３は、合算部２１１で合算された信号のレベルを平均する。

ＦＦＴ部２１４は、平均部２１３で平均された信号（ｃ）を複数個のフレーム単位に分けて、フレームごとにウィンドウを行い、そのフレーム単位に分割された信号を、ＦＦＴを通じて周波数スペクトル情報に変換する。このとき、ウィンドウ方法は、一般的にハミングウィンドウやハニングウィンドウを利用する。

ノイズフレーム検出部２１５は、ＦＦＴ部２１４でＦＦＴ処理された現在フレームの信号がノイズのみがあるフレームであるか、またはノイズとオーディオ信号とが混合されているフレームであるかを判別する。ノイズフレームの判断は、色々な方法を利用しているが、その一例として、現在フレームのエネルギーが臨界値より少なければ、ノイズフレームと判断する。

ノイズスペクトル部２１６は、ノイズフレーム検出部２１５で現在フレームがノイズのみがあるフレームと判別されれば、現在フレームのノイズスペクトル形態を保存する。通常的に、ノイズスペクトルは、ノイズ区間の大きさスペクトルを平均して、オーディオ区間のノイズスペクトルパターンと推定する。

ＩＦＦＴ部２１７は、ノイズスペクトル部２１６で保存されたノイズスペクトルパターンを、ＩＦＦＴを通じて本来の時間領域のノイズ信号（ｄ）に復元する。付加的に、ノイズフレーム検出部２１５で現在フレーム信号がノイズフレームでないと判別されれば、ノイズスペクトル部２１６は、以前の信号フレームからノイズスペクトルパターンを出力する。すなわち、ノイズフレーム検出部２１５は、ノイズフレームが検出される度に、第１ノイズ信号３１０及び第２ノイズ信号３３０を推定するために使われるノイズスペクトルパターンをアップデートする。保存されたノイズスペクトルパターンは、保存されたノイズスペクトルパターンがアップデートされる時点から、さらに他のノイズスペクトルが検出されるまで処理のために使われる。

再び図２のブロック図に戻って、第１遅延部２２０は、第１ノイズと第１オーディオ信号とが混合された第１チャンネル信号をノイズ処理部２１０でノイズ処理された期間ほど遅延させて出力する（図３（Ｅ））。すなわち、第１遅延部２２０は、ノイズ処理部２１０でＦＦＴ及びＩＦＦＴにより遅延されたノイズ信号と同期するために、第１チャンネル信号を所定時間遅延させる。特に、ＩＦＦＴ部２１７により出力されたノイズ信号は、第１遅延部２２０により出力された第１チャンネル信号と同期される。

第２遅延部２３０は、第２ノイズと第２オーディオ信号とが混合された第２チャンネル信号をノイズ処理部２１０でノイズ処理された期間ほど遅延させて出力する（図３（Ｆ））。すなわち、第２遅延部２３０は、ノイズ処理部２１０でＦＦＴ及びＩＦＦＴにより遅延されたノイズ信号と第２チャンネル信号（ｂ）とが同期するために、第２チャンネル信号を所定時間遅延させる。特に、ＩＦＦＴ部２１７により出力されたノイズ信号（ｄ）は、第２遅延部２３０により出力された第２チャンネル信号と同期される。

第１差減部２４０は、入力されるノイズとオーディオ信号とが混合された第１チャンネル信号から、ＩＦＦＴ部２１７で発生したノイズ信号を差減する。差減された第１チャンネル信号は、図３（Ｇ）に示される。図３（Ｇ）を見れば、ノイズとオーディオ信号とが混合された第１チャンネル信号は、ノイズ信号が除去されたオーディオ信号に変化する。

第２差減部２５０は、入力されるノイズとオーディオ信号とが混合された第２チャンネル信号から、ＩＦＦＴ部２１７で発生したノイズ信号を差減する。差減された第２チャンネル信号は、図３（Ｈ）に示される。図３（Ｈ）を見れば、ノイズとオーディオ信号とが混合された第２チャンネル信号は、ノイズ信号が除去されたオーディオ信号に変化する。

結局、周辺ノイズが入力されるあらゆるチャンネルのオーディオ信号に対してノイズ処理過程を共有することによって、全体のシステムでチャンネル数に関係なくＦＦＴ及びＩＦＦＴのような計算量が一定になる。多重オーディオチャンネルは、マルチオーディオチャンネルの平均信号から推定されたノイズスペクトルを決定することによって、ノイズ処理部２１０を共有する。背景ノイズは、多重オーディオチャンネル間で変わる傾向があるため、多重オーディオチャンネルそれぞれで、ノイズは、多重オーディオ信号の平均信号から推定されたノイズスペクトルを使用して正確に推定されうる。

本発明は、前述した実施形態に限定されず、本発明の思想内で当業者による変形が可能であるということは言うまでもない。

本発明は、周辺ノイズが印加された複数チャンネルのオーディオ信号のノイズ除去方法及び装置関連の技術分野に適用可能である。

従来のオーディオ信号に混合されたノイズ除去装置のブロック図である。 本発明による複数チャンネルのオーディオ信号のノイズ除去装置を示すブロック図である。 （Ａ）〜（Ｈ）は図２の装置で複数チャンネルのオーディオ信号のノイズを除去するタイミング図である。

符号の説明

２１０ ノイズ処理部
２１１ 合算部
２１３ 平均部
２１４ ＦＦＴ部
２１５ ノイズフレーム検出部
２１６ ノイズスペクトル部
２１７ ＩＦＦＴ部
２２０ 第１遅延部
２３０ 第２遅延部
２４０ 第１差減部
２５０ 第２差減部

Claims (15)

1. 複数チャンネルのオーディオ信号に混合されたノイズ除去方法において、
   複数チャンネルの入力信号を平均してフレーム別にノイズ信号の有無を検出し、その検出されたフレームのノイズ信号を推定するノイズ処理過程と、
   各チャンネル別の入力信号それぞれに対して、前記ノイズ処理過程で推定されたノイズ信号を差減するノイズ除去過程とを含むことを特徴とする複数チャンネルのオーディオ信号のノイズ除去方法。
2. 前記ノイズ処理過程は、
   複数チャンネルの入力信号を合わせ、その合わせた複数チャンネルの入力信号を平均する過程と、
   前記平均された複数チャンネルの入力信号を周波数スペクトルに変換する過程と、
   前記過程で周波数領域に変換された入力信号に対して、ノイズ信号の存在如何を判断する過程と、
   周波数スペクトルがノイズのみを含むと決定すれば、前記過程でノイズのみの周波数形態を保存する過程と、
   前記周波数領域のノイズ信号に対して、時間領域の推定されたノイズ信号に変換する過程とを含むことを特徴とする請求項１に記載の複数チャンネルのオーディオ信号のノイズ除去方法。
3. 前記ノイズ有無の判断過程は、現在フレームのエネルギーが臨界値より少なければ、現在フレームの信号がノイズフレーム信号として判断することを特徴とする請求項１に記載の複数チャンネルのオーディオ信号のノイズ除去方法。
4. 前記ノイズ除去過程は、
   前記複数チャンネルの入力信号それぞれを前記ノイズ処理過程でノイズ処理される期間ほど遅延させる過程と、
   前記過程で遅延されたチャンネル別の入力信号から、前記ノイズ処理過程で処理されたノイズ信号を差減する過程とを含むことを特徴とする請求項１に記載の複数チャンネルのオーディオ信号のノイズ除去方法。
5. 少なくとも二つのチャンネルからノイズを除去する方法において、
   少なくとも第１チャンネル信号及び第２チャンネル信号を受信する過程と、
   前記第１チャンネル信号及び第２チャンネル信号を結合する過程と、
   前記結合された信号によってノイズ信号を推定する過程と、
   前記第１チャンネル信号及び第２チャンネル信号それぞれから、前記推定されたノイズ信号を差減する過程とを含むことを特徴とする複数チャンネルのオーディオ信号のノイズ除去方法。
6. 前記第１チャンネル信号及び第２チャンネル信号の結合は、前記第１チャンネル信号及び第２チャンネル信号の信号レベルを平均することを特徴とする請求項５に記載の複数チャンネルのオーディオ信号のノイズ除去方法。
7. 前記ノイズ信号の推定は、ノイズのみを含むと判断される結合された信号のフレームのスペクトル情報を保存することを特徴とする請求項５に記載の複数チャンネルのオーディオ信号のノイズ除去方法。
8. 前記スペクトル情報の保存過程は、次のフレームがノイズのみを含むと判断されれば、前記推定されたノイズ信号をアップデートすることを特徴とする請求項７に記載の複数チャンネルのオーディオ信号のノイズ除去方法。
9. 前記ノイズ信号の推定過程は、
   前記結合された信号の現在フレームがノイズのみを含むフレームであるか、または前記結合された信号の現在フレームがオーディオとノイズとを含むフレームであるかを判断する過程と、
   前記現在フレームが前記推定されたノイズ信号のようなノイズのみを含むと判断されれば、前記結合された信号の現在フレームのスペクトル情報を保存する過程と、
   現在フレームがオーディオとノイズとを含むと判断されれば、前記推定されたノイズ信号のようなノイズのみを含む前記結合された以前フレームの以前に保存されたスペクトル情報を検索する過程とを含むことを特徴とする請求項５に記載の複数チャンネルのオーディオ信号のノイズ除去方法。
10. 前記推定されたノイズ信号の差減過程は、
    第１チャンネル信号及び第２チャンネル信号が前記推定されたノイズ信号と同期されるように、前記第１チャンネル信号及び第２チャンネル信号それぞれを遅延させる過程と、
    前記遅延された第１チャンネル信号及び第２チャンネル信号のそれぞれから、推定されたノイズ信号を差減する過程とを含むことを特徴とする請求項５に記載の複数チャンネルのオーディオ信号のノイズ除去方法。
11. 前記ノイズ信号の差減過程は、
    時間領域から少なくとも一つ以上のフレームを有する前記結合された信号を周波数領域に変化する過程と、
    前記結合された信号でノイズを処理して、前記推定されたノイズ信号の周波数スペクトル情報を決定する過程と、
    前記推定されたノイズ信号の周波数スペクトル情報を時間領域に変換して、前記推定されたノイズ信号を得る過程とを含むことを特徴とする請求項５に記載の複数チャンネルのオーディオ信号のノイズ除去方法。
12. 複数チャンネルのオーディオ信号のノイズ除去装置において、
    複数チャンネルの入力信号を平均してフレーム別にノイズ信号の有無を検出し、その検出されたフレームのノイズ信号を推定するノイズ処理部と、
    前記複数チャンネルの入力信号それぞれに対して、前記ノイズ処理部で推定されたノイズ信号を差減する差減部とを備えることを特徴とするノイズ除去装置。
13. 前記ノイズ処理部は、
    複数チャンネルの入力信号を合わせる合算部と、
    前記合算された複数チャンネルの入力信号レベルを平均する平均部と、
    前記平均された信号をフレーム単位で周波数スペクトルに変換するフーリエ変換部と、
    前記周波数スペクトルに対して、フレーム別にノイズ有無を判断するフレームノイズ検出部と、
    前記ノイズフレームと判別されれば、現在フレームのノイズスペクトルを推定して保存するノイズスペクトル部と、
    前記ノイズスペクトルを逆フーリエ変換して、時間領域のノイズ信号に変換する逆フーリエ変換部とを備えることを特徴とする請求項１２に記載のノイズ除去装置。
14. 前記ノイズとオーディオとが混合された複数チャンネルの入力信号を、前記ノイズ処理部のノイズ処理期間ほど遅延させる遅延部をさらに備えることを特徴とする請求項１２に記載のノイズ除去装置。
15. 複数チャンネルの信号からノイズを除去する装置において、
    前記複数チャンネルの信号を受信し、前記複数チャンネルの信号に対するノイズを処理するための共有ノイズ処理手段と、
    前記複数チャンネルの信号を前記共有ノイズ処理手段にバイパスするための前記複数のバイパス信号経路と、
    前記共有ノイズ処理手段をバイパスする複数チャンネルの信号から、前記共有ノイズ処理手段により処理されたノイズを差減する差減手段とを備えることを特徴とするノイズ除去装置。

Images