JP2008245254A - Audio processing apparatus - Google Patents
Audio processing apparatus Download PDFInfo
- Publication number
- JP2008245254A JP2008245254A JP2008025832A JP2008025832A JP2008245254A JP 2008245254 A JP2008245254 A JP 2008245254A JP 2008025832 A JP2008025832 A JP 2008025832A JP 2008025832 A JP2008025832 A JP 2008025832A JP 2008245254 A JP2008245254 A JP 2008245254A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- noise
- unit
- output
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本発明は音声処理装置に関し、特に、入力された音声中の雑音を低減する音声処理装置に関する。 The present invention relates to a speech processing apparatus, and more particularly to a speech processing apparatus that reduces noise in input speech.
ビデオカメラでは、被写体を動画撮影しつつ、周囲の音声をステレオマイクにより収録する。 The video camera records the surrounding sound with a stereo microphone while shooting a moving image of the subject.
マイクに風が当たることにより音声信号中に発生する雑音(風雑音)を除去する方法として、2チャンネルの音声データから逆位相の低音を除去する方法が知られている(例えば、特許文献1参照)。また、逆位相の低音を除去する周波数範囲を、風雑音のレベルに応じて変更する技術が知られている。 As a method for removing noise (wind noise) generated in an audio signal when wind strikes a microphone, a method for removing low-phase bass from 2-channel audio data is known (see, for example, Patent Document 1). ). There is also known a technique for changing a frequency range for removing low-frequency bass in accordance with a wind noise level.
DVDビデオでは、音声データとして、複数の音声チャンネルと低域を中心とする音声チャンネルから構成される5.1chサラウンド音声信号が記録されている。近年では、この様な5.1chサラウンド音声信号を記録するビデオカメラも登場している。具体的には、複数の無指向性マイクにより得られた音声信号をマトリクス演算して、5.1ch音声信号に変換して記録する。
特許文献1に記載の雑音除去技術では、複数チャンネルの音声信号に対し、風雑音除去の後に5.1ch音声に変換した場合、除去しきれなかった風雑音の低域成分が強調されることがある。5.1ch変換後の低域チャンネルの中に除去しきれなかった風雑音が含まれていた場合、耳障りな音声が記録されてしまうという課題がある。 In the noise removal technique described in Patent Document 1, when a sound signal of a plurality of channels is converted to 5.1ch sound after wind noise removal, low frequency components of wind noise that could not be removed may be emphasized. is there. When wind noise that cannot be completely removed is included in the low-frequency channel after 5.1 ch conversion, there is a problem that unpleasant sound is recorded.
そこで、本発明は、上記の問題点に鑑み、入力音声中の低周波数成分に含まれる雑音を除去する音声処理装置を提示することを目的とする。 In view of the above problems, an object of the present invention is to present a speech processing device that removes noise contained in low frequency components in input speech.
本発明に係る音声処理装置は、複数の音声入力手段と、前記複数の音声入力手段から出力された複数の音声信号の低周波数帯域に含まれる雑音の大きさを検出する雑音検出手段と、前記雑音検出手段の出力に基づいて前記複数の音声入力手段から出力された複数の音声信号の前記雑音を除去する雑音除去手段と、前記雑音除去手段から出力された前記複数の音声信号を、低周波数チャンネルとその他のチャンネルとを含む複数のチャンネルの音声データに変換する変換手段と、前記雑音検出手段により検出された雑音の大きさに応じて、前記低周波数チャンネルの音声データのレベルを制御する調整手段と、前記変換手段から出力された前記他のチャンネルの音声データと前記調整手段から出力された低周波数チャンネルの音声データのレベルを調整するレベル制御手段とを備えることを特徴とする。 The speech processing apparatus according to the present invention includes a plurality of speech input means, a noise detection means for detecting a magnitude of noise included in a low frequency band of a plurality of speech signals output from the plurality of speech input means, Noise removing means for removing the noise from the plurality of voice signals output from the plurality of voice input means based on the output of the noise detecting means, and the plurality of voice signals output from the noise removing means, Conversion means for converting into audio data of a plurality of channels including a channel and other channels, and adjustment for controlling the level of the audio data of the low frequency channel according to the magnitude of noise detected by the noise detection means And a level of the audio data of the other channel output from the converting unit and the audio data of the low frequency channel output from the adjusting unit. Characterized in that it comprises a level control means for adjusting the.
本発明に係る音声処理装置は、複数の音声入力手段と、前記複数の音声入力手段から出力された複数の音声信号の低周波数帯域に含まれる雑音の大きさを検出する雑音検出手段と、前記雑音検出手段の出力に基づいて前記複数の音声入力手段から出力された複数の音声信号の前記雑音を除去する雑音除去手段と、前記雑音除去手段から出力された複数の音声信号から互いに異なる指向性の複数のチャンネルの音声データを生成する変換手段であって、前記雑音除去手段から出力された複数の音声信号を演算することにより互いに異なる指向性の複数のチャンネルの音声データを生成する演算部と、前記雑音除去装置から出力された複数の音声信号の低周波数成分を抽出して合成する合成部と、前記雑音検出手段により検出された雑音の大きさに応じて前記合成部の出力信号のレベルを調整して低周波数チャンネルの音声データとして出力する調整部とを有する変換手段と、前記変換手段から出力された前記複数チャンネルの音声データと前記低周波数チャンネルの音声データのレベルを調整するレベル制御手段とを備えることを特徴とする。 The speech processing apparatus according to the present invention includes a plurality of speech input means, a noise detection means for detecting a magnitude of noise included in a low frequency band of a plurality of speech signals output from the plurality of speech input means, A noise removing unit that removes the noise from the plurality of audio signals output from the plurality of audio input units based on an output of the noise detecting unit, and a directivity different from each other from the plurality of audio signals output from the noise removing unit A conversion unit that generates audio data of a plurality of channels, and a calculation unit that generates audio data of a plurality of channels having different directivities by calculating a plurality of audio signals output from the noise removing unit; A synthesizing unit that extracts and synthesizes low frequency components of a plurality of audio signals output from the noise removing device, and a magnitude of noise detected by the noise detecting unit A conversion unit that adjusts a level of an output signal of the synthesis unit according to the adjustment unit and outputs it as low-frequency channel audio data; and the plurality of channels of audio data and the low-frequency channel output from the conversion unit And level control means for adjusting the level of the audio data.
本発明によれば、風雑音など、入力された音声信号の低周波数成分に含まれる雑音を除去することができる。 According to the present invention, it is possible to remove noise included in low-frequency components of an input audio signal such as wind noise.
図1は、本発明に係る音声処理装置の一実施例を実装したビデオカメラ100の概略構成ブロック図を示し、図2は、ビデオカメラ100の外観斜視図を示す。
FIG. 1 is a block diagram showing a schematic configuration of a
先ず、図2を参照して外観を説明する。マイクユニット201は、それぞれ周囲の音声を電気信号に変換する4つマイクロフォンからなる。撮影レンズ202は、被写体の光学像を撮像素子上に結像する。表示パネル203は、撮影された画像、再生画像、及びその他各種の情報を表示する。表示パネル203は、ヒンジ機構により、ビデオカメラ100の本体に対して開閉自在に取り付けられている。この明細書では、撮影レンズの向く方向をビデオカメラ100の前方と呼ぶ。
First, the external appearance will be described with reference to FIG. The
図1を参照して、本実施例の基本的な構成と動作を説明する。 With reference to FIG. 1, the basic configuration and operation of the present embodiment will be described.
撮影時の動作を説明する。操作部110の電源スイッチにより電源が投入されると、記録ポーズ状態になる。又は、モードダイヤルで録画モードが選択されると、記録ポーズ状態になる。
The operation during shooting will be described. When the power is turned on by the power switch of the
記録ポーズ状態では、制御部109は、撮像部101を制御して被写体像の撮影(画像の取り込み)を開始する。撮像部101は、撮影レンズ201と、撮影レンズ201による光学像を画像信号に変換する撮像素子と、撮像素子の出力画像信号を所定映像信号形式に変換するカメラ信号処理部とからなる。撮像部101からの動画像信号は表示制御部104に送られる。制御部109は表示制御部104を制御し、撮像部101により得られた動画像信号に係る画像を表示部105に表示させる。表示部105は、表示パネル203と、カメラ100の背面の電子ビューファインダからなる。表示制御部104は何れの表示手段に画像を表示させるかを制御できる。
In the recording pause state, the
音声入力部102は、マイクユニット201と、マイクユニット201の出力音声信号から5.1チャンネル音声データを生成する音声処理部とからなる。記録ポーズ状態では、音声入力部102の音声処理部は休止している。音声入力部102の詳細は、後述する。
The
この記録ポーズ状態で、ユーザが操作部110の記録トリガスイッチを操作すると、制御部109は、各部を制御して撮影画像と音声の記録処理を開始する。即ち、まず、制御部109からの記録指示信号に応じて、撮像部101から出力される動画像データと、音声入力部102が、メモリ103に書き込まれる。
When the user operates the recording trigger switch of the
符号化処理部106は、メモリ103に記憶された動画像データと音声データを読み出し、公知のMPEG方式等に従って圧縮符号化し、符号化された動画像データ及び音声データを記録再生部107に出力する。記録再生部107は、符号化された動画像データと音声データを記録フォーマットに従って多重し、記録媒体108に記録する。ユーザによる記録停止の指示があると、記録再生部107は、記録媒体108へのデータ記録を停止する。
The
本実施例では、記録開始から記録停止までの間に記録された動画データと音声データを、一つのシーンとして管理する。 In this embodiment, moving image data and audio data recorded from the start of recording to the stop of recording are managed as one scene.
次に、再生動作を説明する。ユーザが、操作部110のモードダイヤルで再生モードを指示すると、制御部109はビデオカメラ100を再生モードに切り換える。ユーザは、操作部110により記録媒体108に記録された複数のシーンの中から再生したいシーンを選択でき、選択したシーンの再生を指示する。この指示に応じて、制御部109は、記録再生部107に選択されたシーンの符号化動画・音声データを記録媒体108から再生させる。記録再生部107は、再生された符号化データを符号化処理部106に送る。符号化処理部106は、記録再生部107からの符号化動画像データ及び符号化音声データをそれぞれ復号し、再生動画像データ及び再生音声データをメモリ103に記憶する。
Next, the reproduction operation will be described. When the user instructs the playback mode with the mode dial of the
表示制御部104は、メモリ103から再生動画像データを読み出し、再生画像を表示部105に表示する。
The
音声出力部111は、メモリ103から再生音声データを読み出して、スピーカ112に出力する。なお、本実施例では、スピーカ112は、左右2チャンネルのステレオ音声用のスピーカである。そのため、後述のように、5.1チャンネルの音声データを出力することができない。そこで、音声出力部111は、再生された5.1チャンネルの音声データを2チャンネルの音声データに変換してスピーカ112に出力する。
The audio output unit 111 reads the reproduced audio data from the
メモリ103上の再生動画像データ及び再生音声データは、順次、読み出されて、出力部113から外部機器に出力されることができる。出力部113は、例えば、USB又はIEEE1394のデジタルインターフェースからなる。
Reproduced moving image data and reproduced audio data on the
図3は、音声入力部102の概略構成ブロック図を示す。マイクユニット201は、近接配置された4つの音声入力手段としての無指向性マイク301〜304からなる。図4は、ビデオカメラ100の上面から見たマイク301〜304の配置を示す。即ち、相対的に、マイク301はビデオカメラ100の前側に位置し、マイク304は後ろ側に位置し、マイク302は右側に位置し、マイク303は左側に位置する。
FIG. 3 shows a schematic block diagram of the
ADコンバータ305は、マイク301〜304に対応するA/D変換器305A〜305Dを具備する。A/D変換器305A〜305Dはそれぞれ、マイク301〜304のアナログ音声出力をデジタル信号に変換する。各A/D変換器305A〜305Dは、その入力段にアンプを有する。A/D変換器305A〜305Dから出力される各音声データD1〜D4は、風雑音除去部306と風雑音検出部309に入力される。
The
風雑音検出部309は、A/D変換器305A〜305Dから出力されるデジタル音声信号D1〜D4から各デジタル音声信号D1〜D4中の風雑音を検出する。そして、検出された風雑音のレベル(大きさ)を示す信号Lを出力する。風雑音除去部306は、風雑音検出部309からの風雑音レベル信号Lに応じて、A/D変換器305A〜305Dから出力されるデジタル音声信号D1〜D4から風雑音を除去する。風雑音除去部306は、風雑音を除去したデジタル音声信号D11〜D41を音場変換部307に出力する。風雑音検出部309及び風雑音除去部306の詳細な動作は後述する。
The wind
音場変換部307は、風雑音除去部309からの4チャンネルのデジタル音声信号D11〜D41を公知の方法で演算処理し、5.1チャンネルのデジタル音声信号を生成する。5.1チャンネル音声信号は、フロント右チャンネル(R)、フロント左チャンネル(L)、フロントセンターチャンネル(C)、リア右チャンネル(RS)、リア左チャンネル(LS)及び低周波数チャンネル(LF)からなる。
The sound
音場変換部307は、具体的には、音声信号D11と音声信号D4からセンターチャンネル(C)の音声信号を生成する。音声信号D11と音声信号D2からフロント左チャンネル(L)の音声信号を生成する。音声D11と音声信号出力D31からフロント右チャンネル(R)の音声信号を生成する。音声信号D21と音声信号D41からリア左チャンネル(LS)の音声信号を生成する。音声信号D31と音声信号D41からリア右チャンネル(RS)の音声信号を生成する。音声信号D11〜D41の低周波数帯域の成分を用いて低域チャンネル(LF)の音声信号を生成する。
Specifically, the sound
なお、5.1チャンネル音声は、ドルビーサラウンド(商標)などの仕様に沿ったものが考えられるが、本実施例は、その方式に限定されるものではない。 Note that 5.1 channel audio may be in accordance with specifications such as Dolby Surround (trademark), but the present embodiment is not limited to this method.
そして、低域チャンネルLF以外のチャンネルの音声データは、自動レベル制御(ALC)部308に出力される。低域チャンネルLFの音声信号は、入力音声信号の低周波数成分として音量調整部310を介してALC部308に供給される。
The audio data of channels other than the low frequency channel LF is output to the automatic level control (ALC)
音量調整部310は、風雑音検出部309からの風雑音レベル信号Lに応じて、低域チャンネルLFの音声レベル(音量)を調整して、ALC部308に出力する。音量調整部310の詳細な動作は後述する。
The
ALC部308は、音場変換部307からのチャンネルC,L,R,LS,RSの音声信号、及び、音量調整部310からの低域チャンネルLFの音声信号の各レベルを、全体として一定レベルになるよう調整する。ALC部308によりレベル調整された音声データは、メモリ103に格納される。
The
ALC部308は、具体的には、音場変換部307からの各チャンネルの音声信号のうち、最もレベルが高い何れかのチャンネルのレベルが所定レベルになるようなレベル調整量を決定する。そして、決定したレベル調整量に従って、全チャンネルの音声信号のレベルを共通に調整する。5.1chの音声では、各チャンネル間のバランスが重要であり、各チャンネル間のバランスが最適になるように各チャンネルの音声レベルを調整する必要がある。そこで、本実施例では、ALC部308が各チャンネルの音声レベルを一律に調整することで、このバランスを保ったままレベルを調整できる。
Specifically, the
図6は、風雑音検出部309の概略構成ブロック図を示す。風雑音検出部309は、音声信号D1,D2を用いて風雑音レベルL1を検出する系統と、音声信号D3,D4を用いて風雑音レベルL2を検出する系統を有する。そして、風雑音検出部309は、2系統の風雑音レベルL1,L2を比較して、平均的な風雑音レベルLを最終的に算出する。なお、音声信号D1,D2を対とし、音声信号D3,D4を対としているが、この組み合わせは便宜的なものであり、各マイク301〜304の位置に依存しない。
FIG. 6 shows a schematic block diagram of the wind
通常の音声の場合、低音域は指向性が低いので、複数のマイクが近接していれば同じ位相の信号となる。しかし、マイクに風があたることで発生する低音域は相関性が無く、同じ位相にはならない。風雑音検出部309は、この特性を使って、風雑音レベルLを検出する。
In the case of normal sound, since directivity is low in the low sound range, signals having the same phase are obtained if a plurality of microphones are close to each other. However, the low frequency range generated by wind on the microphone has no correlation and does not have the same phase. The wind
加算器501は、音声信号D1と音声信号D2を加算し、和信号D1+D2を出力する。減算器502は、音声信号D1から音声信号D2を減算し、差信号D1−D2を出力する。絶対値変換部503は、加算器501の出力信号D1+D2をその絶対値に変換し、絶対値信号|D1+D2|をLPF(ローパスフィルタ)505に出力する。絶対値変換部504は、減算器502の出力信号D1−D2を絶対値に変換し、絶対値信号|D1−D2|をLPF505と略同じ伝達特性のLPF506に出力する。LPF505,506は、入力信号の高域成分を除去するデジタルフィルタである。音声信号の低域に限れば、LPF505の出力信号は入力信号|D1+D2|にほぼ等しく、LPF506の出力信号は入力信号|D1−D2|にほぼ等しい。
The
減算器507は、LPF505の出力信号|D1+D2|からLPF506の出力信号|D1−D2|を減算する。減算器507の出力はおよそ、|D1+D2|−|D1−D2|に相当する。エンベロープ検出部508は、減算器507の出力信号のエンベロープを検出し、検出したエンベロープのレベルL1を出力する。
The
マイク301〜304で入力された音声信号のうち、風雑音では無い、被写体からの音声の場合、音声信号D1〜D4の低域成分が同位相となる。このとき、LPF505の出力信号は、|D1+D2|≒|2×D1|≒|2×D2|となり、LPF506の出力信号は、|D1−D2|≒0となる。この結果、減算器507の出力は|2×D1|又は|2×D2|となる。
Of the audio signals input from the
他方、風雑音の場合、音声信号D1〜D4の低音域は相関が無い。そのため、LPF505の出力|D1+D2|に比べ、LPF506の出力|D1−D2|の方が大きくなる。特に、音声信号D1,D2に含まれる風雑音の成分の位相が180°異なる場合、LPF505の出力では|D1+D2|≒0となり、LPF506の出力では|D1−D2|≒|2×D1|≒|2×D2|となる。
On the other hand, in the case of wind noise, the low sound range of the audio signals D1 to D4 has no correlation. For this reason, the output | D1-D2 | of the
この結果、風雑音が含まれていた場合、減算器507の出力はマイナス値になる。特に、音声信号D1,D2に含まれる風雑音の成分の位相が180°異なる場合には、減算器507の出力は−|2×D1|又は−|2×D2|になる。
As a result, when wind noise is included, the output of the
この様に、減算器507の出力値の符号がマイナスのとき、減算器507の出力信号、つまり、音声信号D1と同D2の差分の低域成分は、風雑音のレベルを反映している。
Thus, when the sign of the output value of the
エンベロープ検出部508は、減算器507の出力値の符号が負の場合、減算器507の出力信号のエンベロープレベルL1を出力する。また、減算器507の出力値の符号が正の場合、出力L1として値0を出力する。
When the sign of the output value of the
音声信号D3,D4から雑音レベルL2を算定する部分の動作も、音声信号D1,D2に対する部と基本的に同じである。 The operation for calculating the noise level L2 from the audio signals D3 and D4 is basically the same as that for the audio signals D1 and D2.
即ち、加算器509は音声信号D3と音声信号D4を加算し、和信号D3+D4を出力する。減算器510は音声信号D3から音声信号D4を減算し、差信号D3−D4を出力する。絶対値変換部511は、加算器509の出力信号D3+D4をその絶対値に変換し、絶対値信号|D3+D4|をLPF513に出力する。絶対値変換部512は、減算器510の出力信号D3−D4をその絶対値に変換し、絶対値信号|D3−D4|をLPF513と略同じ伝達特性のLPF514に出力する。音声信号の低域に限れば、LPF513の出力信号は入力信号|D3+D4|にほぼ等しく、LPF514の出力信号は入力信号|D3−D4|にほぼ等しい。
That is, the
減算器515は、LPF513の出力信号|D3+D4|からLPF514の出力信号|D3−D4|を減算する。減算器515の出力はおよそ、|D3+D4|−|D3−D4|に相当する。エンベロープ検出部516は、減算器515の出力信号のエンベロープを検出し、検出したエンベロープのレベルL2を出力する。
The
マイク301〜304で入力された音声信号のうち、風雑音では無い、被写体からの音声の場合、LPF513の出力信号は|D3+D4|≒|2×D3|≒|2×D4|となり、LPF514の出力信号は|D3−D4|≒0となる。この結果、減算器515の出力は、|2×D3|又は|2×D4|となる。
In the case of audio from a subject that is not wind noise among the audio signals input from the
他方、風雑音の場合、音声信号D1〜D4の低音域は相関が無いので、LPF513の出力|D3+D4|に比べ、LPF514の出力|D3−D4|の方が大きくなる。特に、音声信号D3と同D4に含まれる風雑音の成分の位相が180°異なる場合、LPF513の出力では|D3+D4|≒0となり、LPF510の出力では|D3−D4|≒|2×D3|≒|2×D4|となる。
On the other hand, in the case of wind noise, since the low sound range of the audio signals D1 to D4 has no correlation, the output | D3-D4 | of the
この結果、風雑音が含まれていた場合、減算器515の出力はマイナス値になる。特に、音声信号D3と同D4に含まれる風雑音の成分の位相が180°異なる場合、減算器515の出力は−|2×D3|又は−|2×D4|になる。
As a result, when wind noise is included, the output of the
この様に、減算器515の出力値の符号がマイナスのときに、減算器515の出力信号、つまり、音声信号D3と同D4の差分の低域成分は、風雑音のレベルを反映している。
In this way, when the sign of the output value of the
エンベロープ検出部516は、エンベロープ検出部508と同様に、減算器515の出力値の符号が負の場合、減算器515の出力信号のエンベロープレベルL2を出力する。また、減算器515の出力値の符号が正のときには、出力L2として値0を出力する。
Similar to the
判定部517は、エンベロープ検出部508からのレベルL1と、エンベロープ検出部516からのレベルL2の平均値を算出し、全体の平均レベルLとして出力する。なお、風雑音レベルL1,L2の平均値を出力するのではなく、風雑音レベルL1,L2の大きい値を検出レベルLとして出力してもよい。
The
図7は、風雑音除去部306の概略構成ブロック図を示す。図7を参照して風雑音除去部306の動作を説明する。
FIG. 7 shows a schematic block diagram of the wind
風雑除去部306は、音声信号D1,D2に含まれる風雑音を除去する処理系と、音声信号D3,D4に含まれる風雑音を除去する処理系を有する。各系統において、本実施例では、音声信号D1,D2から差信号D1−D2の低域成分を除去し、音声信号D3,D4から差信号D3−D4の低域成分を除去することで、風雑音を低減する。その際、風雑音レベルLが大きいほど、差信号D1−D2,D3−D4低域遮断周波数を高くする。
The
加算器601は、音声信号D1と音声信号D2を加算し、和信号D1+D2を出力する。減算器602は、音声信号D1から音声信号D2を減算し、差信号D1−D2を出力する。HPF(ハイパスフィルタ)603は、差信号D1−D2の遮断周波数以下の低域成分を除去し、残る高域成分を通過する。遮断周波数制御部615は、風雑音検出部309からの風雑音レベルLに応じて、HPF603の遮断周波数を切り替える。
The
図8は、HPF603の3通りの周波数特性例を示す。図8(A)は、風雑音レベルLが第1の閾値よりも小さい場合の周波数特性を示す。図8(B)は、風雑音レベルLが第1の閾値以上で、第1の閾値より大きい第2の閾値よりも小さい場合の周波数特性を示す。図8(C)は、風雑音レベルLが第2の閾値以上の場合の周波数特性を示す。図8(A)〜図8(C)で、横軸は周波数を示し、縦軸は、振幅(又は透過率)を示す。
FIG. 8 shows three examples of frequency characteristics of the
風雑音レベルLが第1の閾値よりも小さい場合、遮断周波数制御部615は、図8(A)に示すように、HPF603が低域から高域まで、全帯域において信号レベルを減衰させることなく出力するようHPF603を制御する。即ち、HPF603は、いわばスルー状態になる。
When the wind noise level L is smaller than the first threshold, the cutoff
風雑レベルLが第1の閾値以上で、且つ、第1の閾値よりも大きい第2の閾値よりも小さい場合、遮断周波数制御部615は、図8(B)に示すように、HPF603の低域遮断周波数を周波数f1に設定する。これにより、周波数f1以下の帯域成分が減衰する。風雑音レベルLが閾値2以上の場合、遮断周波数制御部615は、図8(C)に示すように、HPF603の遮断周波数を、周波数f1よりも高いf2に設定する。
When the noise level L is equal to or higher than the first threshold value and smaller than the second threshold value that is larger than the first threshold value, the cutoff
2つの近接したマイクからの音声信号の差を算出することで、風雑音の成分を抽出できる。風雑音レベルが高いときには、風雑音が高い周波数にまで延びていると考えられる。風雑音レベルLに応じて、HPF603の遮断周波数を制御することで、差信号から風雑音成分を効果的に抑圧できる。
By calculating the difference between audio signals from two adjacent microphones, a wind noise component can be extracted. When the wind noise level is high, it is considered that the wind noise extends to a high frequency. By controlling the cutoff frequency of the
加算器604は、加算器601の出力にHPF603の出力を加算する。加算器604の出力は、HPF603の影響部分を無視すると、およそ2D1(≒(D1+D2)+(D1−D2))となる。減算器605は、加算器601の出力からHPF603の出力を減算する。減算器605の出力は、HPF603の影響部分を無視すると、およそ2D2(≒(D1+D2)−(D1−D2))となる。
The
先に説明したように、音声信号D1,D2に含まれる風雑音成分は相関がない。従って、風雑音を含む場合の差信号D1−D2(の低域成分)は、通常の音声の場合の差信号D1−D2に比べ大きくなる。これをHPF603で削除又は抑圧することで、風雑音を低減できる。
As described above, the wind noise components included in the audio signals D1 and D2 have no correlation. Therefore, the difference signal D1-D2 (the low frequency component thereof) in the case of including wind noise is larger than the difference signal D1-D2 in the case of normal speech. By removing or suppressing this with the
アンプ606は、加算器604の出力信号の音声レベルを例えば1/2に調整する。同様に、アンプ607は、減算器605の出力信号の音声レベルを例えば1/2に調整する。この結果、アンプ606は、風雑音が除去又は抑圧された音声信号D11を出力し、アンプ607は、風雑音が除去又は抑圧された音声信号D21を出力する。
The
音声信号D3,D4の風雑音を除去する他方の系統も、同様に動作する。すなわち、加算器608は音声信号D3と音声信号D4を加算し、和信号D3+D4を出力する。減算器609は音声信号D3から音声信号D4を減算し、差信号D3−D4を出力する。
The other system for removing wind noise from the audio signals D3 and D4 operates in the same manner. That is, the
HPF610は、差信号D3−D4から低域遮断周波数以下の低域成分を減衰させ、残る高域成分を通過する。遮断周波数制御部615が、風雑音レベルLに応じて、HPF610の低域遮断周波数をHPF603と同じ低域遮断周波数に制御する。
The
加算器611は、加算器608の出力とHPF610の出力を加算する。加算器611の出力は、HPF610の影響部分を無視すると、およそ2D3(≒(D3+D4)+(D3−D4))となる。減算器612は、加算器608の出力からHPF610の出力を減算する。減算器612の出力は、HPF610の影響部分を無視すると、およそ2D4(≒(D3+D4)−(D3−D4))となる。
The
アンプ613は、加算器611の出力信号の音声レベルを例えば1/2に調整する。同様に、アンプ614は、減算器612の出力信号の音声レベルを例えば1/2に調整する。この結果、アンプ613は風雑音が除去された音声信号D31を出力し、アンプ614は風雑音が除去された音声信号D41を出力する。
The
前述の様に、風雑音が検出されない場合、つまり風雑音レベルLが極めて低い場合には、HPF603,610は低域から高域まで、全帯域の入力信号を減衰させずに出力する。また、風雑音レベルLが大きくなると、HPF603,610の遮断周波数が高くなり、より高い周波数成分までの低域成分が除去される。
As described above, when the wind noise is not detected, that is, when the wind noise level L is very low, the
本実施例では、遮断周波数制御部615が、HPF603,610の周波数特性の例として図8(A)〜(C)を例示したが、勿論、遮断周波数制御部615は、HPF603,610の低域遮断周波数を連続的又は不連続に制御することができる。
In the present embodiment, the cutoff
図7に示す部構成では、図6に示す風雑音検出部309において風雑音検出のために用いた音声信号D1,D2のペア、及び音声信号D3,D4のペアと同じ組み合わせを用いている。この様に、風雑音検出と同じ組み合わせを用いることにより、各マイク301〜304の特性のばらつきの影響を抑えることができる。勿論、音声信号D1と同D3の差分を算出し、音声信号D1と同D4の差分を算出し、これらの差信号の低域成分を除去するように構成しても良い。
In the unit configuration shown in FIG. 7, the same combination as the pair of audio signals D1 and D2 and the pair of audio signals D3 and D4 used for wind noise detection in the wind
音量調整部310は、風雑音レベルLが高いほど、減衰量が大きくなるゲイン可変減衰器からなる。音量調整部310は、風雑音検出部309からの風雑音レベルLに応じて低域チャンネルLFの振幅を調整してALC部308に出力する。
The
図5(A)〜(C)は、音量調整部310の風雑音レベルLに対するゲインの特性例を示す。横軸は風雑音レベルLを示し、縦軸は音量調整部310のゲインを示す。図5(A)では、風雑音レベルLが0から所定値Laの範囲ではゲインを一定とし、La以上では、レベルLが高くなるほど、ゲインを小さくする。図5(B)では、風雑音レベルLが高くなるほど、単純にゲインを小さくする。図5(C)では、風雑音レベルLが0から第1の閾値Laまでの範囲では、ゲインを一定とし、LaからLaより高いLbの範囲では、レベルLにが高くなるほどゲインを小さくし、Lb以上ではゲインを再び一定にする。
5A to 5C show examples of gain characteristics with respect to the wind noise level L of the
音量調整部310は、図5(A)〜(C)の何れかに示す特性に従って、低域チャンネルLFのレベルを調整する。この様に、低域チャンネルLFのレベルを風雑音レベルLに応じて調整することで、ALC部308は、低域チャンネルLFのレベルを他のチャンネルのレベルと同様に、一括して調整できる。ALC部308の調整によっても、風雑音が強調されずに済む。
The
図9は、音声入力部102の別の構成例を示す。音場変換部307aに、音場変換部307と音量調整部310の機能を装備してある。図3と同じ構成要素には、同じ符号を付してある。
FIG. 9 shows another configuration example of the
図9に示す構成では、風雑音検出部309からの風雑音レベルLに従って、音場変換部307aにおける低域チャンネルLFの生成処理を制御する点が、図3と異なる。
The configuration shown in FIG. 9 differs from FIG. 3 in that the low-frequency channel LF generation process in the sound
図10は、音場変換部307aの概略構成ブロック図を示す。風雑音除去部306から出力される音声信号D11〜D41は、演算部901と低域チャンネル生成部902に入力される。また、風雑音検出部309から出力される風雑音レベル信号Lは、低域チャンネル生成部902に供給される。
FIG. 10 shows a schematic block diagram of the
演算部901は、入力音声信号D11〜D41から公知の演算によりをチャンネルC,L,R,LS,RSの音声データを生成する。一方、低域チャンネル生成部902は、入力音声信号D11〜D41からそれぞれ決められた帯域の音声データを抽出し、低域チャンネルLFの音声データを生成する。
The
図11は、低域チャンネル生成部902の概略構成ブロック図を示す。入力音声信号D11〜D41はそれぞれ、バンドパスフィルタ(BPF)1001〜1004に供給される。各BPF1001〜1004は、入力された音声信号D11〜D41のうち、所定の周波数帯域、例えば、100kHzと200kHzの間の成分を抽出して、合成部1005に出力する。合成部1005は、各BPF1001〜1004の出力を合成し、レベル調整部1006に出力する。
FIG. 11 shows a schematic block diagram of the low-frequency
レベル調整部1006は、風雑音検出部309からの風雑音レベル信号Lに基づいて、合成部1005から出力される低域チャンネルの音声データのレベルを調整する。具体的には、レベル調整部1006は、例えば図5(A)、(B)又は(C)に示すような特性で、風雑音レベルLに応じて合成部1005からの出力信号のレベルを調整する。レベル調整部1006の出力信号が、低域チャンネルLFの音声信号となる。
Based on the wind noise level signal L from the wind
図9〜図11に示す装置構成では、音場変換部307aが、低域チャンネルLFのレベルを風雑音レベルLに応じて調整する。これにより、図3に示す構成の場合と同様に、ALC部308は、低域チャンネルLFのレベルを他のチャンネルのレベルと同様に、一括して調整できる。ALC部308の調整によっても、風雑音が強調されずに済む。
9 to 11, the sound
以上の説明では、4つのマイク301〜304で取り込んだ音声信号から5.1chの音声信号を生成したが、本発明は、5.1chに限らず、これ以上のチャンネル数の音声信号に変換する場合にも適用可能である。また、マイクの数も4つに限らず、これ以外の個数でもよい。
In the above description, a 5.1ch audio signal is generated from the audio signals captured by the four
100:ビデオカメラ
101:撮像部
102:音声入力部
103:メモリ
104:表示制御部
105:表示部
106:符号化処理部
107:記録再生部
108:記録媒体
109:制御部
110:操作部
111:音声出力部
112:スピーカ
113:出力部
201:マイクユニット
202:撮影レンズ
203:表示パネル
301〜304:無指向性マイク
305:ADコンバータ
305A〜305D:A/D変換器
306:風雑音除去部
307,307a:音場変換部
308:自動レベル制御(ALC)部
309:風雑音検出部
310:音量調整部
501:加算器
502:減算器
503:絶対値変換部
504:絶対値変換部
505:LPF
506:LPF
507:減算器
508:エンベロープ検出部
509:加算器
510:減算器
511:絶対値変換部
512:絶対値変換部
513:LPF
514:LPF
515:減算器
516:エンベロープ検出部
517:判定部
601:加算器
602:減算器
603:HPF(ハイパスフィルタ)
604:加算器
605:減算器
606:アンプ
607:アンプ
608:加算器
609:減算器
610:HPF
611:加算器
612:減算器
613:アンプ
614:アンプ
615:遮断周波数制御部
901:演算部
902:低域チャンネル生成部
1001〜1004:バンドパスフィルタ(BPF)
1005:合成部
1006:レベル調整部
100: video camera 101: imaging unit 102: audio input unit 103: memory 104: display control unit 105: display unit 106: encoding processing unit 107: recording / playback unit 108: recording medium 109: control unit 110: operation unit 111: Audio output unit 112: speaker 113: output unit 201: microphone unit 202: photographing lens 203:
506: LPF
507: Subtractor 508: Envelope detector 509: Adder 510: Subtractor 511: Absolute value converter 512: Absolute value converter 513: LPF
514: LPF
515: Subtractor 516: Envelope detection unit 517: Determination unit 601: Adder 602: Subtractor 603: HPF (High Pass Filter)
604: Adder 605: Subtractor 606: Amplifier 607: Amplifier 608: Adder 609: Subtractor 610: HPF
611: Adder 612: Subtractor 613: Amplifier 614: Amplifier 615: Cutoff frequency controller 901: Arithmetic unit 902: Low-
1005: Composition unit 1006: Level adjustment unit
Claims (12)
前記複数の音声入力手段から出力された複数の音声信号の低周波数帯域に含まれる雑音の大きさを検出する雑音検出手段と、
前記雑音検出手段の出力に基づいて前記複数の音声入力手段から出力された複数の音声信号の前記雑音を除去する雑音除去手段と、
前記雑音除去手段から出力された前記複数の音声信号を、低周波数チャンネルとその他のチャンネルとを含む複数のチャンネルの音声データに変換する変換手段と、
前記雑音検出手段により検出された雑音の大きさに応じて、前記低周波数チャンネルの音声データのレベルを制御する調整手段と、
前記変換手段から出力された前記他のチャンネルの音声データと前記調整手段から出力された低周波数チャンネルの音声データのレベルを調整するレベル制御手段
とを備えることを特徴とする音声処理装置。 A plurality of voice input means;
Noise detection means for detecting the magnitude of noise included in a low frequency band of a plurality of voice signals output from the plurality of voice input means;
Noise removing means for removing the noise of the plurality of audio signals output from the plurality of audio input means based on the output of the noise detecting means;
Converting means for converting the plurality of audio signals output from the noise removing means into audio data of a plurality of channels including a low frequency channel and other channels;
Adjusting means for controlling the level of the audio data of the low frequency channel according to the magnitude of noise detected by the noise detecting means;
An audio processing apparatus comprising: level control means for adjusting the level of the audio data of the other channel output from the conversion means and the level of audio data of the low frequency channel output from the adjustment means.
前記複数の音声入力手段から出力された複数の音声信号の低周波数帯域に含まれる雑音の大きさを検出する雑音検出手段と、
前記雑音検出手段の出力に基づいて前記複数の音声入力手段から出力された複数の音声信号の前記雑音を除去する雑音除去手段と、
前記雑音除去手段から出力された複数の音声信号から互いに異なる指向性の複数のチャンネルの音声データを生成する変換手段であって、前記雑音除去手段から出力された複数の音声信号を演算することにより互いに異なる指向性の複数のチャンネルの音声データを生成する演算部と、前記雑音除去手段から出力された複数の音声信号の低周波数成分を抽出して合成する合成部と、前記雑音検出手段により検出された雑音の大きさに応じて前記合成部の出力信号のレベルを調整して低周波数チャンネルの音声データとして出力する調整部とを有する変換手段と、
前記変換手段から出力された前記複数チャンネルの音声データと前記低周波数チャンネルの音声データのレベルを調整するレベル制御手段
とを備えることを特徴とする音声処理装置。 A plurality of voice input means;
Noise detection means for detecting the magnitude of noise included in a low frequency band of a plurality of voice signals output from the plurality of voice input means;
Noise removing means for removing the noise of the plurality of audio signals output from the plurality of audio input means based on the output of the noise detecting means;
Conversion means for generating sound data of a plurality of channels having different directivities from a plurality of sound signals output from the noise removing means, by calculating a plurality of sound signals output from the noise removing means; Detected by an arithmetic unit that generates audio data of a plurality of channels with different directivities, a synthesis unit that extracts and synthesizes low frequency components of a plurality of audio signals output from the noise removal unit, and the noise detection unit A conversion unit having an adjustment unit that adjusts the level of the output signal of the synthesis unit according to the magnitude of the generated noise and outputs the low-frequency channel audio data;
An audio processing apparatus comprising: level control means for adjusting levels of the audio data of the plurality of channels output from the conversion means and the audio data of the low frequency channel.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008025832A JP5020845B2 (en) | 2007-03-01 | 2008-02-06 | Audio processing device |
US12/039,410 US8068620B2 (en) | 2007-03-01 | 2008-02-28 | Audio processing apparatus |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007051818 | 2007-03-01 | ||
JP2007051818 | 2007-03-01 | ||
JP2008025832A JP5020845B2 (en) | 2007-03-01 | 2008-02-06 | Audio processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008245254A true JP2008245254A (en) | 2008-10-09 |
JP5020845B2 JP5020845B2 (en) | 2012-09-05 |
Family
ID=39915974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008025832A Expired - Fee Related JP5020845B2 (en) | 2007-03-01 | 2008-02-06 | Audio processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5020845B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010166516A (en) * | 2009-01-19 | 2010-07-29 | Sanyo Electric Co Ltd | Acoustic processing device, electronic apparatus with the same and acoustic processing method |
JP2011002652A (en) * | 2009-06-18 | 2011-01-06 | Canon Inc | Sound signal processing device |
JP2012129741A (en) * | 2010-12-14 | 2012-07-05 | Panasonic Corp | Automatic volume correction device |
JP2013090047A (en) * | 2011-10-14 | 2013-05-13 | Canon Inc | Audio signal processing apparatus, sound signal processing method, and program |
JP2013125197A (en) * | 2011-12-15 | 2013-06-24 | Fujitsu Ltd | Signal processor, signal processing method and signal processing program |
JP2014060523A (en) * | 2012-09-14 | 2014-04-03 | Rohm Co Ltd | Wind noise reduction circuit, wind noise reduction method and audio-signal processing circuit using the same, and electronic apparatus |
JP2014060525A (en) * | 2012-09-14 | 2014-04-03 | Rohm Co Ltd | Wind noise reduction circuit, wind noise reduction method and audio-signal processing circuit using the same, and electronic apparatus |
WO2018186656A1 (en) * | 2017-04-03 | 2018-10-11 | 가우디오디오랩 주식회사 | Audio signal processing method and device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008110127A (en) * | 2006-10-31 | 2008-05-15 | Aruze Corp | Game machine |
JP2008160588A (en) * | 2006-12-25 | 2008-07-10 | Sony Corp | Audio signal processing apparatus, audio signal processing method, and imaging apparatus |
-
2008
- 2008-02-06 JP JP2008025832A patent/JP5020845B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008110127A (en) * | 2006-10-31 | 2008-05-15 | Aruze Corp | Game machine |
JP2008160588A (en) * | 2006-12-25 | 2008-07-10 | Sony Corp | Audio signal processing apparatus, audio signal processing method, and imaging apparatus |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010166516A (en) * | 2009-01-19 | 2010-07-29 | Sanyo Electric Co Ltd | Acoustic processing device, electronic apparatus with the same and acoustic processing method |
JP2011002652A (en) * | 2009-06-18 | 2011-01-06 | Canon Inc | Sound signal processing device |
JP2012129741A (en) * | 2010-12-14 | 2012-07-05 | Panasonic Corp | Automatic volume correction device |
JP2013090047A (en) * | 2011-10-14 | 2013-05-13 | Canon Inc | Audio signal processing apparatus, sound signal processing method, and program |
JP2013125197A (en) * | 2011-12-15 | 2013-06-24 | Fujitsu Ltd | Signal processor, signal processing method and signal processing program |
US9271075B2 (en) | 2011-12-15 | 2016-02-23 | Fujitsu Limited | Signal processing apparatus and signal processing method |
JP2014060523A (en) * | 2012-09-14 | 2014-04-03 | Rohm Co Ltd | Wind noise reduction circuit, wind noise reduction method and audio-signal processing circuit using the same, and electronic apparatus |
JP2014060525A (en) * | 2012-09-14 | 2014-04-03 | Rohm Co Ltd | Wind noise reduction circuit, wind noise reduction method and audio-signal processing circuit using the same, and electronic apparatus |
WO2018186656A1 (en) * | 2017-04-03 | 2018-10-11 | 가우디오디오랩 주식회사 | Audio signal processing method and device |
US10917718B2 (en) | 2017-04-03 | 2021-02-09 | Gaudio Lab, Inc. | Audio signal processing method and device |
Also Published As
Publication number | Publication date |
---|---|
JP5020845B2 (en) | 2012-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8068620B2 (en) | Audio processing apparatus | |
JP5020845B2 (en) | Audio processing device | |
US8335321B2 (en) | Audio signal processing apparatus, audio signal processing method and imaging apparatus | |
US20050237395A1 (en) | Information processing apparatus, imaging apparatus, information processing method, and program | |
JP4850628B2 (en) | Recording device | |
JP4934580B2 (en) | Video / audio recording apparatus and video / audio reproduction apparatus | |
JP2009156888A (en) | Speech corrector and imaging apparatus equipped with the same, and sound correcting method | |
US11657794B2 (en) | Audio processing apparatus for reducing noise using plurality of microphones, control method, and recording medium | |
JP2011254400A (en) | Image and voice recording device | |
JP5529638B2 (en) | Audio processing apparatus, audio processing method, and imaging apparatus | |
JP2009005133A (en) | Wind noise reducing apparatus and electronic device with the wind noise reducing apparatus | |
JP2015104091A (en) | Voice processing device with wind noise reduction device, and imaging apparatus with the same | |
JP2006067355A (en) | Recorder | |
JP5241865B2 (en) | Video camera | |
JP5979843B2 (en) | Audio signal processing apparatus, audio signal processing method, and program | |
JP5645373B2 (en) | Audio processing apparatus and audio processing method | |
JP2001326990A (en) | Acoustic signal processor and its processing method | |
JP5481548B2 (en) | camera | |
JP2018207313A (en) | Audio processing device and method of controlling the same | |
JP4752880B2 (en) | Video camera | |
JP2016082275A (en) | Imaging apparatus | |
JP5014100B2 (en) | Imaging device | |
JP5014101B2 (en) | Imaging device | |
JP2022039940A (en) | Speech processing device, control method, and program | |
JP2010134260A (en) | Electronic apparatus and voice processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120502 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120515 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120613 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5020845 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150622 Year of fee payment: 3 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |
|
LAPS | Cancellation because of no payment of annual fees |