JP5020845B2 - 音声処理装置 - Google Patents

Description

本発明は音声処理装置に関し、特に、入力された音声中の雑音を低減する音声処理装置に関する。

ビデオカメラでは、被写体を動画撮影しつつ、周囲の音声をステレオマイクにより収録する。

マイクに風が当たることにより音声信号中に発生する雑音（風雑音）を除去する方法として、２チャンネルの音声データから逆位相の低音を除去する方法が知られている（例えば、特許文献１参照）。また、逆位相の低音を除去する周波数範囲を、風雑音のレベルに応じて変更する技術が知られている。

ＤＶＤビデオでは、音声データとして、複数の音声チャンネルと低域を中心とする音声チャンネルから構成される５．１ｃｈサラウンド音声信号が記録されている。近年では、この様な５．１ｃｈサラウンド音声信号を記録するビデオカメラも登場している。具体的には、複数の無指向性マイクにより得られた音声信号をマトリクス演算して、５．１ｃｈ音声信号に変換して記録する。
特開平４−２７０５９９号公報

特許文献１に記載の雑音除去技術では、複数チャンネルの音声信号に対し、風雑音除去の後に５．１ｃｈ音声に変換した場合、除去しきれなかった風雑音の低域成分が強調されることがある。５．１ｃｈ変換後の低域チャンネルの中に除去しきれなかった風雑音が含まれていた場合、耳障りな音声が記録されてしまうという課題がある。

そこで、本発明は、上記の問題点に鑑み、入力音声中の低周波数成分に含まれる雑音を除去する音声処理装置を提示することを目的とする。

本発明に係る音声処理装置は、複数の音声入力手段と、前記複数の音声入力手段から出力された複数の音声信号の低周波数帯域に含まれる雑音の大きさを検出する雑音検出手段と、前記雑音検出手段の出力に基づいて前記複数の音声入力手段から出力された複数の音声信号の前記雑音を除去する雑音除去手段と、前記雑音除去手段から出力された前記複数の音声信号を、低周波数チャンネルとその他のチャンネルとを含む複数のチャンネルの音声データに変換する変換手段と、前記雑音検出手段により検出された雑音の大きさに応じて、前記低周波数チャンネルの音声データのレベルを制御する調整手段と、前記変換手段から出力された前記他のチャンネルの音声データと前記調整手段から出力された低周波数チャンネルの音声データのレベルを調整するレベル制御手段とを備えることを特徴とする。

本発明に係る音声処理装置は、複数の音声入力手段と、前記複数の音声入力手段から出力された複数の音声信号の低周波数帯域に含まれる雑音の大きさを検出する雑音検出手段と、前記雑音検出手段の出力に基づいて前記複数の音声入力手段から出力された複数の音声信号の前記雑音を除去する雑音除去手段と、前記雑音除去手段から出力された複数の音声信号から互いに異なる指向性の複数のチャンネルの音声データを生成する変換手段であって、前記雑音除去手段から出力された複数の音声信号を演算することにより互いに異なる指向性の複数のチャンネルの音声データを生成する演算部と、前記雑音除去装置から出力された複数の音声信号の低周波数成分を抽出して合成する合成部と、前記雑音検出手段により検出された雑音の大きさに応じて前記合成部の出力信号のレベルを調整して低周波数チャンネルの音声データとして出力する調整部とを有する変換手段と、前記変換手段から出力された前記複数チャンネルの音声データと前記低周波数チャンネルの音声データのレベルを調整するレベル制御手段とを備えることを特徴とする。

本発明によれば、風雑音など、入力された音声信号の低周波数成分に含まれる雑音を除去することができる。

図１は、本発明に係る音声処理装置の一実施例を実装したビデオカメラ１００の概略構成ブロック図を示し、図２は、ビデオカメラ１００の外観斜視図を示す。

先ず、図２を参照して外観を説明する。マイクユニット２０１は、それぞれ周囲の音声を電気信号に変換する４つマイクロフォンからなる。撮影レンズ２０２は、被写体の光学像を撮像素子上に結像する。表示パネル２０３は、撮影された画像、再生画像、及びその他各種の情報を表示する。表示パネル２０３は、ヒンジ機構により、ビデオカメラ１００の本体に対して開閉自在に取り付けられている。この明細書では、撮影レンズの向く方向をビデオカメラ１００の前方と呼ぶ。

図１を参照して、本実施例の基本的な構成と動作を説明する。

撮影時の動作を説明する。操作部１１０の電源スイッチにより電源が投入されると、記録ポーズ状態になる。又は、モードダイヤルで録画モードが選択されると、記録ポーズ状態になる。

記録ポーズ状態では、制御部１０９は、撮像部１０１を制御して被写体像の撮影（画像の取り込み）を開始する。撮像部１０１は、撮影レンズ２０１と、撮影レンズ２０１による光学像を画像信号に変換する撮像素子と、撮像素子の出力画像信号を所定映像信号形式に変換するカメラ信号処理部とからなる。撮像部１０１からの動画像信号は表示制御部１０４に送られる。制御部１０９は表示制御部１０４を制御し、撮像部１０１により得られた動画像信号に係る画像を表示部１０５に表示させる。表示部１０５は、表示パネル２０３と、カメラ１００の背面の電子ビューファインダからなる。表示制御部１０４は何れの表示手段に画像を表示させるかを制御できる。

音声入力部１０２は、マイクユニット２０１と、マイクユニット２０１の出力音声信号から５．１チャンネル音声データを生成する音声処理部とからなる。記録ポーズ状態では、音声入力部１０２の音声処理部は休止している。音声入力部１０２の詳細は、後述する。

この記録ポーズ状態で、ユーザが操作部１１０の記録トリガスイッチを操作すると、制御部１０９は、各部を制御して撮影画像と音声の記録処理を開始する。即ち、まず、制御部１０９からの記録指示信号に応じて、撮像部１０１から出力される動画像データと、音声入力部１０２が、メモリ１０３に書き込まれる。

符号化処理部１０６は、メモリ１０３に記憶された動画像データと音声データを読み出し、公知のＭＰＥＧ方式等に従って圧縮符号化し、符号化された動画像データ及び音声データを記録再生部１０７に出力する。記録再生部１０７は、符号化された動画像データと音声データを記録フォーマットに従って多重し、記録媒体１０８に記録する。ユーザによる記録停止の指示があると、記録再生部１０７は、記録媒体１０８へのデータ記録を停止する。

本実施例では、記録開始から記録停止までの間に記録された動画データと音声データを、一つのシーンとして管理する。

次に、再生動作を説明する。ユーザが、操作部１１０のモードダイヤルで再生モードを指示すると、制御部１０９はビデオカメラ１００を再生モードに切り換える。ユーザは、操作部１１０により記録媒体１０８に記録された複数のシーンの中から再生したいシーンを選択でき、選択したシーンの再生を指示する。この指示に応じて、制御部１０９は、記録再生部１０７に選択されたシーンの符号化動画・音声データを記録媒体１０８から再生させる。記録再生部１０７は、再生された符号化データを符号化処理部１０６に送る。符号化処理部１０６は、記録再生部１０７からの符号化動画像データ及び符号化音声データをそれぞれ復号し、再生動画像データ及び再生音声データをメモリ１０３に記憶する。

表示制御部１０４は、メモリ１０３から再生動画像データを読み出し、再生画像を表示部１０５に表示する。

音声出力部１１１は、メモリ１０３から再生音声データを読み出して、スピーカ１１２に出力する。なお、本実施例では、スピーカ１１２は、左右２チャンネルのステレオ音声用のスピーカである。そのため、後述のように、５．１チャンネルの音声データを出力することができない。そこで、音声出力部１１１は、再生された５．１チャンネルの音声データを２チャンネルの音声データに変換してスピーカ１１２に出力する。

メモリ１０３上の再生動画像データ及び再生音声データは、順次、読み出されて、出力部１１３から外部機器に出力されることができる。出力部１１３は、例えば、ＵＳＢ又はＩＥＥＥ１３９４のデジタルインターフェースからなる。

図３は、音声入力部１０２の概略構成ブロック図を示す。マイクユニット２０１は、近接配置された４つの音声入力手段としての無指向性マイク３０１〜３０４からなる。図４は、ビデオカメラ１００の上面から見たマイク３０１〜３０４の配置を示す。即ち、相対的に、マイク３０１はビデオカメラ１００の前側に位置し、マイク３０４は後ろ側に位置し、マイク３０２は右側に位置し、マイク３０３は左側に位置する。

ＡＤコンバータ３０５は、マイク３０１〜３０４に対応するＡ／Ｄ変換器３０５Ａ〜３０５Ｄを具備する。Ａ／Ｄ変換器３０５Ａ〜３０５Ｄはそれぞれ、マイク３０１〜３０４のアナログ音声出力をデジタル信号に変換する。各Ａ／Ｄ変換器３０５Ａ〜３０５Ｄは、その入力段にアンプを有する。Ａ／Ｄ変換器３０５Ａ〜３０５Ｄから出力される各音声データＤ１〜Ｄ４は、風雑音除去部３０６と風雑音検出部３０９に入力される。

風雑音検出部３０９は、Ａ／Ｄ変換器３０５Ａ〜３０５Ｄから出力されるデジタル音声信号Ｄ１〜Ｄ４から各デジタル音声信号Ｄ１〜Ｄ４中の風雑音を検出する。そして、検出された風雑音のレベル（大きさ）を示す信号Ｌを出力する。風雑音除去部３０６は、風雑音検出部３０９からの風雑音レベル信号Ｌに応じて、Ａ／Ｄ変換器３０５Ａ〜３０５Ｄから出力されるデジタル音声信号Ｄ１〜Ｄ４から風雑音を除去する。風雑音除去部３０６は、風雑音を除去したデジタル音声信号D１１〜Ｄ４１を音場変換部３０７に出力する。風雑音検出部３０９及び風雑音除去部３０６の詳細な動作は後述する。

音場変換部３０７は、風雑音除去部３０９からの４チャンネルのデジタル音声信号Ｄ１１〜Ｄ４１を公知の方法で演算処理し、５．１チャンネルのデジタル音声信号を生成する。５．１チャンネル音声信号は、フロント右チャンネル（Ｒ）、フロント左チャンネル（Ｌ）、フロントセンターチャンネル（Ｃ）、リア右チャンネル（ＲＳ）、リア左チャンネル（ＬＳ）及び低周波数チャンネル（ＬＦ）からなる。

音場変換部３０７は、具体的には、音声信号Ｄ１１と音声信号Ｄ４からセンターチャンネル（Ｃ）の音声信号を生成する。音声信号Ｄ１１と音声信号Ｄ２からフロント左チャンネル（Ｌ）の音声信号を生成する。音声Ｄ１１と音声信号出力Ｄ３１からフロント右チャンネル（Ｒ）の音声信号を生成する。音声信号Ｄ２１と音声信号Ｄ４１からリア左チャンネル（ＬＳ）の音声信号を生成する。音声信号Ｄ３１と音声信号Ｄ４１からリア右チャンネル（ＲＳ）の音声信号を生成する。音声信号Ｄ１１〜Ｄ４１の低周波数帯域の成分を用いて低域チャンネル（ＬＦ）の音声信号を生成する。

なお、５．１チャンネル音声は、ドルビーサラウンド（商標）などの仕様に沿ったものが考えられるが、本実施例は、その方式に限定されるものではない。

そして、低域チャンネルＬＦ以外のチャンネルの音声データは、自動レベル制御（ＡＬＣ）部３０８に出力される。低域チャンネルＬＦの音声信号は、入力音声信号の低周波数成分として音量調整部３１０を介してＡＬＣ部３０８に供給される。

音量調整部３１０は、風雑音検出部３０９からの風雑音レベル信号Ｌに応じて、低域チャンネルＬＦの音声レベル（音量）を調整して、ＡＬＣ部３０８に出力する。音量調整部３１０の詳細な動作は後述する。

ＡＬＣ部３０８は、音場変換部３０７からのチャンネルＣ，Ｌ，Ｒ，ＬＳ，ＲＳの音声信号、及び、音量調整部３１０からの低域チャンネルＬＦの音声信号の各レベルを、全体として一定レベルになるよう調整する。ＡＬＣ部３０８によりレベル調整された音声データは、メモリ１０３に格納される。

ＡＬＣ部３０８は、具体的には、音場変換部３０７からの各チャンネルの音声信号のうち、最もレベルが高い何れかのチャンネルのレベルが所定レベルになるようなレベル調整量を決定する。そして、決定したレベル調整量に従って、全チャンネルの音声信号のレベルを共通に調整する。５．１ｃｈの音声では、各チャンネル間のバランスが重要であり、各チャンネル間のバランスが最適になるように各チャンネルの音声レベルを調整する必要がある。そこで、本実施例では、ＡＬＣ部３０８が各チャンネルの音声レベルを一律に調整することで、このバランスを保ったままレベルを調整できる。

図６は、風雑音検出部３０９の概略構成ブロック図を示す。風雑音検出部３０９は、音声信号Ｄ１，Ｄ２を用いて風雑音レベルＬ１を検出する系統と、音声信号Ｄ３，Ｄ４を用いて風雑音レベルＬ２を検出する系統を有する。そして、風雑音検出部３０９は、２系統の風雑音レベルＬ１，Ｌ２を比較して、平均的な風雑音レベルＬを最終的に算出する。なお、音声信号Ｄ１，Ｄ２を対とし、音声信号Ｄ３，Ｄ４を対としているが、この組み合わせは便宜的なものであり、各マイク３０１〜３０４の位置に依存しない。

通常の音声の場合、低音域は指向性が低いので、複数のマイクが近接していれば同じ位相の信号となる。しかし、マイクに風があたることで発生する低音域は相関性が無く、同じ位相にはならない。風雑音検出部３０９は、この特性を使って、風雑音レベルＬを検出する。

加算器５０１は、音声信号Ｄ１と音声信号Ｄ２を加算し、和信号Ｄ１＋Ｄ２を出力する。減算器５０２は、音声信号Ｄ１から音声信号Ｄ２を減算し、差信号Ｄ１−Ｄ２を出力する。絶対値変換部５０３は、加算器５０１の出力信号Ｄ１＋Ｄ２をその絶対値に変換し、絶対値信号｜Ｄ１＋Ｄ２｜をＬＰＦ（ローパスフィルタ）５０５に出力する。絶対値変換部５０４は、減算器５０２の出力信号Ｄ１−Ｄ２を絶対値に変換し、絶対値信号｜Ｄ１−Ｄ２｜をＬＰＦ５０５と略同じ伝達特性のＬＰＦ５０６に出力する。ＬＰＦ５０５，５０６は、入力信号の高域成分を除去するデジタルフィルタである。音声信号の低域に限れば、ＬＰＦ５０５の出力信号は入力信号｜Ｄ１＋Ｄ２｜にほぼ等しく、ＬＰＦ５０６の出力信号は入力信号｜Ｄ１−Ｄ２｜にほぼ等しい。

減算器５０７は、ＬＰＦ５０５の出力信号｜Ｄ１＋Ｄ２｜からＬＰＦ５０６の出力信号｜Ｄ１−Ｄ２｜を減算する。減算器５０７の出力はおよそ、｜Ｄ１＋Ｄ２｜−｜Ｄ１−Ｄ２｜に相当する。エンベロープ検出部５０８は、減算器５０７の出力信号のエンベロープを検出し、検出したエンベロープのレベルＬ１を出力する。

マイク３０１〜３０４で入力された音声信号のうち、風雑音では無い、被写体からの音声の場合、音声信号Ｄ１〜Ｄ４の低域成分が同位相となる。このとき、ＬＰＦ５０５の出力信号は、|Ｄ１＋Ｄ２|≒|２×Ｄ１|≒|２×Ｄ２|となり、ＬＰＦ５０６の出力信号は、|Ｄ１−Ｄ２|≒０となる。この結果、減算器５０７の出力は|２×Ｄ１|又は|２×Ｄ２|となる。

他方、風雑音の場合、音声信号Ｄ１〜Ｄ４の低音域は相関が無い。そのため、ＬＰＦ５０５の出力|Ｄ１＋Ｄ２|に比べ、ＬＰＦ５０６の出力|Ｄ１−Ｄ２|の方が大きくなる。特に、音声信号Ｄ１，Ｄ２に含まれる風雑音の成分の位相が１８０°異なる場合、ＬＰＦ５０５の出力では|Ｄ１＋Ｄ２|≒０となり、ＬＰＦ５０６の出力では|Ｄ１−Ｄ２|≒|２×Ｄ１|≒|２×Ｄ２|となる。

この結果、風雑音が含まれていた場合、減算器５０７の出力はマイナス値になる。特に、音声信号Ｄ１，Ｄ２に含まれる風雑音の成分の位相が１８０°異なる場合には、減算器５０７の出力は−｜２×Ｄ１｜又は−｜２×Ｄ２｜になる。

この様に、減算器５０７の出力値の符号がマイナスのとき、減算器５０７の出力信号、つまり、音声信号Ｄ１と同Ｄ２の差分の低域成分は、風雑音のレベルを反映している。

エンベロープ検出部５０８は、減算器５０７の出力値の符号が負の場合、減算器５０７の出力信号のエンベロープレベルＬ１を出力する。また、減算器５０７の出力値の符号が正の場合、出力Ｌ１として値０を出力する。

音声信号Ｄ３，Ｄ４から雑音レベルＬ２を算定する部分の動作も、音声信号Ｄ１，Ｄ２に対する部と基本的に同じである。

即ち、加算器５０９は音声信号Ｄ３と音声信号Ｄ４を加算し、和信号Ｄ３＋Ｄ４を出力する。減算器５１０は音声信号Ｄ３から音声信号Ｄ４を減算し、差信号Ｄ３−Ｄ４を出力する。絶対値変換部５１１は、加算器５０９の出力信号Ｄ３＋Ｄ４をその絶対値に変換し、絶対値信号｜Ｄ３＋Ｄ４｜をＬＰＦ５１３に出力する。絶対値変換部５１２は、減算器５１０の出力信号Ｄ３−Ｄ４をその絶対値に変換し、絶対値信号｜Ｄ３−Ｄ４｜をＬＰＦ５１３と略同じ伝達特性のＬＰＦ５１４に出力する。音声信号の低域に限れば、ＬＰＦ５１３の出力信号は入力信号｜Ｄ３＋Ｄ４｜にほぼ等しく、ＬＰＦ５１４の出力信号は入力信号｜Ｄ３−Ｄ４｜にほぼ等しい。

減算器５１５は、ＬＰＦ５１３の出力信号｜Ｄ３＋Ｄ４｜からＬＰＦ５１４の出力信号｜Ｄ３−Ｄ４｜を減算する。減算器５１５の出力はおよそ、｜Ｄ３＋Ｄ４｜−｜Ｄ３−Ｄ４｜に相当する。エンベロープ検出部５１６は、減算器５１５の出力信号のエンベロープを検出し、検出したエンベロープのレベルＬ２を出力する。

マイク３０１〜３０４で入力された音声信号のうち、風雑音では無い、被写体からの音声の場合、ＬＰＦ５１３の出力信号は|Ｄ３＋Ｄ４|≒|２×Ｄ３|≒|２×Ｄ４|となり、ＬＰＦ５１４の出力信号は|Ｄ３−Ｄ４|≒０となる。この結果、減算器５１５の出力は、|２×Ｄ３|又は|２×Ｄ４|となる。

他方、風雑音の場合、音声信号Ｄ１〜Ｄ４の低音域は相関が無いので、ＬＰＦ５１３の出力|Ｄ３＋Ｄ４|に比べ、ＬＰＦ５１４の出力|Ｄ３−Ｄ４|の方が大きくなる。特に、音声信号Ｄ３と同Ｄ４に含まれる風雑音の成分の位相が１８０°異なる場合、ＬＰＦ５１３の出力では|Ｄ３＋Ｄ４|≒０となり、ＬＰＦ５１０の出力では|Ｄ３−Ｄ４|≒|２×Ｄ３|≒|２×Ｄ４|となる。

この結果、風雑音が含まれていた場合、減算器５１５の出力はマイナス値になる。特に、音声信号Ｄ３と同Ｄ４に含まれる風雑音の成分の位相が１８０°異なる場合、減算器５１５の出力は−｜２×Ｄ３｜又は−｜２×Ｄ４｜になる。

この様に、減算器５１５の出力値の符号がマイナスのときに、減算器５１５の出力信号、つまり、音声信号Ｄ３と同Ｄ４の差分の低域成分は、風雑音のレベルを反映している。

エンベロープ検出部５１６は、エンベロープ検出部５０８と同様に、減算器５１５の出力値の符号が負の場合、減算器５１５の出力信号のエンベロープレベルＬ２を出力する。また、減算器５１５の出力値の符号が正のときには、出力Ｌ２として値０を出力する。

判定部５１７は、エンベロープ検出部５０８からのレベルＬ１と、エンベロープ検出部５１６からのレベルＬ２の平均値を算出し、全体の平均レベルＬとして出力する。なお、風雑音レベルＬ１，Ｌ２の平均値を出力するのではなく、風雑音レベルＬ１，Ｌ２の大きい値を検出レベルＬとして出力してもよい。

図７は、風雑音除去部３０６の概略構成ブロック図を示す。図７を参照して風雑音除去部３０６の動作を説明する。

風雑除去部３０６は、音声信号Ｄ１，Ｄ２に含まれる風雑音を除去する処理系と、音声信号Ｄ３，Ｄ４に含まれる風雑音を除去する処理系を有する。各系統において、本実施例では、音声信号Ｄ１，Ｄ２から差信号Ｄ１−Ｄ２の低域成分を除去し、音声信号Ｄ３，Ｄ４から差信号Ｄ３−Ｄ４の低域成分を除去することで、風雑音を低減する。その際、風雑音レベルＬが大きいほど、差信号Ｄ１−Ｄ２，Ｄ３−Ｄ４低域遮断周波数を高くする。

加算器６０１は、音声信号Ｄ１と音声信号Ｄ２を加算し、和信号Ｄ１＋Ｄ２を出力する。減算器６０２は、音声信号Ｄ１から音声信号Ｄ２を減算し、差信号Ｄ１−Ｄ２を出力する。ＨＰＦ（ハイパスフィルタ）６０３は、差信号Ｄ１−Ｄ２の遮断周波数以下の低域成分を除去し、残る高域成分を通過する。遮断周波数制御部６１５は、風雑音検出部３０９からの風雑音レベルＬに応じて、ＨＰＦ６０３の遮断周波数を切り替える。

図８は、ＨＰＦ６０３の３通りの周波数特性例を示す。図８（Ａ）は、風雑音レベルＬが第１の閾値よりも小さい場合の周波数特性を示す。図８（Ｂ）は、風雑音レベルＬが第１の閾値以上で、第１の閾値より大きい第２の閾値よりも小さい場合の周波数特性を示す。図８（Ｃ）は、風雑音レベルＬが第２の閾値以上の場合の周波数特性を示す。図８（Ａ）〜図８（Ｃ）で、横軸は周波数を示し、縦軸は、振幅（又は透過率）を示す。

風雑音レベルＬが第１の閾値よりも小さい場合、遮断周波数制御部６１５は、図８（Ａ）に示すように、ＨＰＦ６０３が低域から高域まで、全帯域において信号レベルを減衰させることなく出力するようＨＰＦ６０３を制御する。即ち、ＨＰＦ６０３は、いわばスルー状態になる。

風雑レベルＬが第１の閾値以上で、且つ、第１の閾値よりも大きい第２の閾値よりも小さい場合、遮断周波数制御部６１５は、図８（Ｂ）に示すように、ＨＰＦ６０３の低域遮断周波数を周波数ｆ１に設定する。これにより、周波数ｆ１以下の帯域成分が減衰する。風雑音レベルＬが閾値２以上の場合、遮断周波数制御部６１５は、図８（Ｃ）に示すように、ＨＰＦ６０３の遮断周波数を、周波数ｆ１よりも高いｆ２に設定する。

２つの近接したマイクからの音声信号の差を算出することで、風雑音の成分を抽出できる。風雑音レベルが高いときには、風雑音が高い周波数にまで延びていると考えられる。風雑音レベルＬに応じて、ＨＰＦ６０３の遮断周波数を制御することで、差信号から風雑音成分を効果的に抑圧できる。

加算器６０４は、加算器６０１の出力にＨＰＦ６０３の出力を加算する。加算器６０４の出力は、ＨＰＦ６０３の影響部分を無視すると、およそ２Ｄ１（≒（Ｄ１＋Ｄ２）＋（Ｄ１−Ｄ２））となる。減算器６０５は、加算器６０１の出力からＨＰＦ６０３の出力を減算する。減算器６０５の出力は、ＨＰＦ６０３の影響部分を無視すると、およそ２Ｄ２（≒（Ｄ１＋Ｄ２）−（Ｄ１−Ｄ２））となる。

先に説明したように、音声信号Ｄ１，Ｄ２に含まれる風雑音成分は相関がない。従って、風雑音を含む場合の差信号Ｄ１−Ｄ２（の低域成分）は、通常の音声の場合の差信号Ｄ１−Ｄ２に比べ大きくなる。これをＨＰＦ６０３で削除又は抑圧することで、風雑音を低減できる。

アンプ６０６は、加算器６０４の出力信号の音声レベルを例えば１／２に調整する。同様に、アンプ６０７は、減算器６０５の出力信号の音声レベルを例えば１／２に調整する。この結果、アンプ６０６は、風雑音が除去又は抑圧された音声信号Ｄ１１を出力し、アンプ６０７は、風雑音が除去又は抑圧された音声信号Ｄ２１を出力する。

音声信号Ｄ３，Ｄ４の風雑音を除去する他方の系統も、同様に動作する。すなわち、加算器６０８は音声信号Ｄ３と音声信号Ｄ４を加算し、和信号Ｄ３＋Ｄ４を出力する。減算器６０９は音声信号Ｄ３から音声信号Ｄ４を減算し、差信号Ｄ３−Ｄ４を出力する。

ＨＰＦ６１０は、差信号Ｄ３−Ｄ４から低域遮断周波数以下の低域成分を減衰させ、残る高域成分を通過する。遮断周波数制御部６１５が、風雑音レベルＬに応じて、ＨＰＦ６１０の低域遮断周波数をＨＰＦ６０３と同じ低域遮断周波数に制御する。

加算器６１１は、加算器６０８の出力とＨＰＦ６１０の出力を加算する。加算器６１１の出力は、ＨＰＦ６１０の影響部分を無視すると、およそ２Ｄ３（≒（Ｄ３＋Ｄ４）＋（Ｄ３−Ｄ４））となる。減算器６１２は、加算器６０８の出力からＨＰＦ６１０の出力を減算する。減算器６１２の出力は、ＨＰＦ６１０の影響部分を無視すると、およそ２Ｄ４（≒（Ｄ３＋Ｄ４）−（Ｄ３−Ｄ４））となる。

アンプ６１３は、加算器６１１の出力信号の音声レベルを例えば１／２に調整する。同様に、アンプ６１４は、減算器６１２の出力信号の音声レベルを例えば１／２に調整する。この結果、アンプ６１３は風雑音が除去された音声信号Ｄ３１を出力し、アンプ６１４は風雑音が除去された音声信号Ｄ４１を出力する。

前述の様に、風雑音が検出されない場合、つまり風雑音レベルＬが極めて低い場合には、ＨＰＦ６０３，６１０は低域から高域まで、全帯域の入力信号を減衰させずに出力する。また、風雑音レベルＬが大きくなると、ＨＰＦ６０３，６１０の遮断周波数が高くなり、より高い周波数成分までの低域成分が除去される。

本実施例では、遮断周波数制御部６１５が、ＨＰＦ６０３，６１０の周波数特性の例として図８（Ａ）〜（Ｃ）を例示したが、勿論、遮断周波数制御部６１５は、ＨＰＦ６０３，６１０の低域遮断周波数を連続的又は不連続に制御することができる。

図７に示す部構成では、図６に示す風雑音検出部３０９において風雑音検出のために用いた音声信号Ｄ１，Ｄ２のペア、及び音声信号Ｄ３，Ｄ４のペアと同じ組み合わせを用いている。この様に、風雑音検出と同じ組み合わせを用いることにより、各マイク３０１〜３０４の特性のばらつきの影響を抑えることができる。勿論、音声信号Ｄ１と同Ｄ３の差分を算出し、音声信号Ｄ１と同Ｄ４の差分を算出し、これらの差信号の低域成分を除去するように構成しても良い。

音量調整部３１０は、風雑音レベルＬが高いほど、減衰量が大きくなるゲイン可変減衰器からなる。音量調整部３１０は、風雑音検出部３０９からの風雑音レベルＬに応じて低域チャンネルＬＦの振幅を調整してＡＬＣ部３０８に出力する。

図５（Ａ）〜（Ｃ）は、音量調整部３１０の風雑音レベルＬに対するゲインの特性例を示す。横軸は風雑音レベルＬを示し、縦軸は音量調整部３１０のゲインを示す。図５（Ａ）では、風雑音レベルＬが０から所定値Ｌａの範囲ではゲインを一定とし、Ｌａ以上では、レベルＬが高くなるほど、ゲインを小さくする。図５（Ｂ）では、風雑音レベルＬが高くなるほど、単純にゲインを小さくする。図５（Ｃ）では、風雑音レベルＬが０から第１の閾値Ｌａまでの範囲では、ゲインを一定とし、ＬａからＬａより高いＬｂの範囲では、レベルＬにが高くなるほどゲインを小さくし、Ｌｂ以上ではゲインを再び一定にする。

音量調整部３１０は、図５（Ａ）〜（Ｃ）の何れかに示す特性に従って、低域チャンネルＬＦのレベルを調整する。この様に、低域チャンネルＬＦのレベルを風雑音レベルＬに応じて調整することで、ＡＬＣ部３０８は、低域チャンネルＬＦのレベルを他のチャンネルのレベルと同様に、一括して調整できる。ＡＬＣ部３０８の調整によっても、風雑音が強調されずに済む。

図９は、音声入力部１０２の別の構成例を示す。音場変換部３０７ａに、音場変換部３０７と音量調整部３１０の機能を装備してある。図３と同じ構成要素には、同じ符号を付してある。

図９に示す構成では、風雑音検出部３０９からの風雑音レベルＬに従って、音場変換部３０７ａにおける低域チャンネルＬＦの生成処理を制御する点が、図３と異なる。

図１０は、音場変換部３０７ａの概略構成ブロック図を示す。風雑音除去部３０６から出力される音声信号Ｄ１１〜Ｄ４１は、演算部９０１と低域チャンネル生成部９０２に入力される。また、風雑音検出部３０９から出力される風雑音レベル信号Ｌは、低域チャンネル生成部９０２に供給される。

演算部９０１は、入力音声信号Ｄ１１〜Ｄ４１から公知の演算によりをチャンネルＣ，Ｌ，Ｒ，ＬＳ，ＲＳの音声データを生成する。一方、低域チャンネル生成部９０２は、入力音声信号Ｄ１１〜Ｄ４１からそれぞれ決められた帯域の音声データを抽出し、低域チャンネルＬＦの音声データを生成する。

図１１は、低域チャンネル生成部９０２の概略構成ブロック図を示す。入力音声信号Ｄ１１〜Ｄ４１はそれぞれ、バンドパスフィルタ（ＢＰＦ）１００１〜１００４に供給される。各ＢＰＦ１００１〜１００４は、入力された音声信号Ｄ１１〜Ｄ４１のうち、所定の周波数帯域、例えば、１００ｋＨｚと２００ｋＨｚの間の成分を抽出して、合成部１００５に出力する。合成部１００５は、各ＢＰＦ１００１〜１００４の出力を合成し、レベル調整部１００６に出力する。

レベル調整部１００６は、風雑音検出部３０９からの風雑音レベル信号Ｌに基づいて、合成部１００５から出力される低域チャンネルの音声データのレベルを調整する。具体的には、レベル調整部１００６は、例えば図５（Ａ）、（Ｂ）又は（Ｃ）に示すような特性で、風雑音レベルＬに応じて合成部１００５からの出力信号のレベルを調整する。レベル調整部１００６の出力信号が、低域チャンネルＬＦの音声信号となる。

図９〜図１１に示す装置構成では、音場変換部３０７ａが、低域チャンネルＬＦのレベルを風雑音レベルＬに応じて調整する。これにより、図３に示す構成の場合と同様に、ＡＬＣ部３０８は、低域チャンネルＬＦのレベルを他のチャンネルのレベルと同様に、一括して調整できる。ＡＬＣ部３０８の調整によっても、風雑音が強調されずに済む。

以上の説明では、４つのマイク３０１〜３０４で取り込んだ音声信号から５．１ｃｈの音声信号を生成したが、本発明は、５．１ｃｈに限らず、これ以上のチャンネル数の音声信号に変換する場合にも適用可能である。また、マイクの数も４つに限らず、これ以外の個数でもよい。

本発明に係る一実施例におけるビデオカメラの概略構成ブロック図である。 本実施例のビデオカメラの外観斜視図である。 音声入力部１０２の概略構成ブロック図である。 マイクユニット２０１を構成する４つのマイクの配置図である。 音量調整部３１０の特性例である。 風雑音検出部の概略構成ブロック図である。 風雑音除去部の概略構成ブロック図である。 風雑音除去部における３つの周波数特性例を示す図である。 音声入力部の別の構成例の概略構成ブロック図である。 図９に示す音場変換部の概略構成ブロック図である。 図１０に示す低域チャンネル生成部の概略構成ブロック図である。

符号の説明

１００：ビデオカメラ
１０１：撮像部
１０２：音声入力部
１０３：メモリ
１０４：表示制御部
１０５：表示部
１０６：符号化処理部
１０７：記録再生部
１０８：記録媒体
１０９：制御部
１１０：操作部
１１１：音声出力部
１１２：スピーカ
１１３：出力部
２０１：マイクユニット
２０２：撮影レンズ
２０３：表示パネル
３０１〜３０４：無指向性マイク
３０５：ＡＤコンバータ
３０５Ａ〜３０５Ｄ：Ａ／Ｄ変換器
３０６：風雑音除去部
３０７，３０７ａ：音場変換部
３０８：自動レベル制御（ＡＬＣ）部
３０９：風雑音検出部
３１０：音量調整部
５０１：加算器
５０２：減算器
５０３：絶対値変換部
５０４：絶対値変換部
５０５：ＬＰＦ
５０６：ＬＰＦ
５０７：減算器
５０８：エンベロープ検出部
５０９：加算器
５１０：減算器
５１１：絶対値変換部
５１２：絶対値変換部
５１３：ＬＰＦ
５１４：ＬＰＦ
５１５：減算器
５１６：エンベロープ検出部
５１７：判定部
６０１：加算器
６０２：減算器
６０３：ＨＰＦ（ハイパスフィルタ）
６０４：加算器
６０５：減算器
６０６：アンプ
６０７：アンプ
６０８：加算器
６０９：減算器
６１０：ＨＰＦ
６１１：加算器
６１２：減算器
６１３：アンプ
６１４：アンプ
６１５：遮断周波数制御部
９０１：演算部
９０２：低域チャンネル生成部
１００１〜１００４：バンドパスフィルタ（ＢＰＦ）
１００５：合成部
１００６：レベル調整部

Claims (12)

1. 複数の音声入力手段と、
   前記複数の音声入力手段から出力された複数の音声信号の低周波数帯域に含まれる雑音の大きさを検出する雑音検出手段と、
   前記雑音検出手段の出力に基づいて前記複数の音声入力手段から出力された複数の音声信号の前記雑音を除去する雑音除去手段と、
   前記雑音除去手段から出力された前記複数の音声信号を、低周波数チャンネルとその他のチャンネルとを含む複数のチャンネルの音声データに変換する変換手段と、
   前記雑音検出手段により検出された雑音の大きさに応じて、前記低周波数チャンネルの音声データのレベルを制御する調整手段と、
   前記変換手段から出力された前記他のチャンネルの音声データと前記調整手段から出力された低周波数チャンネルの音声データのレベルを調整するレベル制御手段
   とを備えることを特徴とする音声処理装置。
2. 前記調整手段は、前記雑音の大きさが大きいほど、前記低周波数チャンネルの音声データの減衰量を大きくすることを特徴とする請求項１に記載の音声処理装置。
3. 前記雑音除去手段は、前記複数の音声入力手段から出力された複数の音声信号の何れか２つの音声信号の差分が入力されるハイパスフィルタと、前記雑音検出手段により検出された雑音が大きいほど、前記ハイパスフィルタの遮断周波数を高くする遮断周波数制御装置とを有することを特徴とする請求項１に記載の音声処理装置。
4. 前記変換手段は、前記雑音除去手段から出力された前記複数の音声信号を互いに異なる指向性の複数のチャンネルの音声データに変換し、前記互いに異なる指向性の複数のチャンネルの音声データを前記他のチャンネルの音声データとして出力すると共に、前記雑音除去手段から出力された前記複数の音声信号の低周波数成分をそれぞれ抽出し、前記抽出した低周波数成分の音声信号を合成することにより前記低周波数チャンネルの音声データを生成することを特徴とする請求項１に記載の音声処理装置。
5. 前記雑音検出手段は、前記複数の音声入力手段のうちの何れか２つの音声入力手段からの音声信号の差分を用いて前記雑音の大きさを検出することを特徴とする請求項１に記載の音声処理装置。
6. 前記レベル制御手段は、前記他のチャンネルの音声データと前記低周波数チャンネルの音声データのうちの何れかの音声データのレベルに応じて、前記他のチャンネルの音声データと前記低周波数チャンネルの音声データのレベルを共通に制御することを特徴とする請求項１記載の音声処理装置。
7. 複数の音声入力手段と、
   前記複数の音声入力手段から出力された複数の音声信号の低周波数帯域に含まれる雑音の大きさを検出する雑音検出手段と、
   前記雑音検出手段の出力に基づいて前記複数の音声入力手段から出力された複数の音声信号の前記雑音を除去する雑音除去手段と、
   前記雑音除去手段から出力された複数の音声信号から互いに異なる指向性の複数のチャンネルの音声データを生成する変換手段であって、前記雑音除去手段から出力された複数の音声信号を演算することにより互いに異なる指向性の複数のチャンネルの音声データを生成する演算部と、前記雑音除去手段から出力された複数の音声信号の低周波数成分を抽出して合成する合成部と、前記雑音検出手段により検出された雑音の大きさに応じて前記合成部の出力信号のレベルを調整して低周波数チャンネルの音声データとして出力する調整部とを有する変換手段と、
   前記変換手段から出力された前記複数チャンネルの音声データと前記低周波数チャンネルの音声データのレベルを調整するレベル制御手段
   とを備えることを特徴とする音声処理装置。
8. 前記調整部は、前記雑音の大きさが大きいほど、前記低周波数成分のチャンネルの音声データの減衰量を大きくすることを特徴とする請求項７に記載の音声処理装置。
9. 前記雑音除去手段は、前記複数の音声入力手段から出力された複数の音声信号の何れか２つの音声信号の差分が入力されるハイパスフィルタと、前記雑音検出手段により検出された雑音が大きいほど、前記ハイパスフィルタの遮断周波数を高くする遮断周波数制御装置とを有することを特徴とする請求項７に記載の音声処理装置。
10. 前記雑音検出手段は、前記複数の音声入力手段のうちの何れか２つの音声入力手段からの音声信号の差分を用いて前記雑音の大きさを検出することを特徴とする請求項７に記載の音声処理装置。
11. 前記レベル制御手段は、前記他のチャンネルの音声データと前記低周波数成分の音声データのうちの何れかの音声データのレベルに応じて、前記他のチャンネルの音声データと前記低周波数成分の音声データのレベルを共通に制御することを特徴とする請求項７に記載の音声処理装置。
12. 前記複数の音声入力手段は、それぞれ無指向性のマイクロフォンであることを特徴とする請求項１から１１の何れか１項に記載の音声処理装置。

Images