JP2018056902A - Sound collecting device, program, and method - Google Patents
Sound collecting device, program, and method Download PDFInfo
- Publication number
- JP2018056902A JP2018056902A JP2016193486A JP2016193486A JP2018056902A JP 2018056902 A JP2018056902 A JP 2018056902A JP 2016193486 A JP2016193486 A JP 2016193486A JP 2016193486 A JP2016193486 A JP 2016193486A JP 2018056902 A JP2018056902 A JP 2018056902A
- Authority
- JP
- Japan
- Prior art keywords
- target area
- area sound
- sound
- correction coefficient
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
Description
本発明は、収音装置、プログラム及び方法に関し、例えば特定のエリアの音を強調し、それ以外のエリアの音を抑圧する装置に適用し得る。 The present invention relates to a sound collection device, a program, and a method, and can be applied to a device that emphasizes sounds in a specific area and suppresses sounds in other areas, for example.
複数の音源が存在する環境下において、ある特定の方向の音のみ分離し収音する技術として、マイクロホンアレイを用いたビームフォーマ(Beam Former;以下BF)がある。BFとは、各マイクロホンに到達する信号の時間差を利用して指向性を形成する技術である(非特許文献1参照)。BFは、加算型と減算型の大きく2つの種類に分けられる。 There is a beam former (hereinafter referred to as BF) using a microphone array as a technique for separating and collecting only sound in a specific direction in an environment where a plurality of sound sources exist. BF is a technique for forming directivity using the time difference between signals reaching each microphone (see Non-Patent Document 1). BF is roughly divided into two types, an addition type and a subtraction type.
特に減算型BFは、加算型BFに比べ、少ないマイクロホン数で指向性を形成できるという利点がある。 In particular, the subtraction type BF has an advantage that directivity can be formed with a smaller number of microphones than the addition type BF.
図6は、従来の減算型BFに係る構成を示すブロック図である。 FIG. 6 is a block diagram showing a configuration related to a conventional subtractive BF.
図6に示す従来の減算型BFでは、マイクロホン数が2個となっている。 In the conventional subtraction type BF shown in FIG. 6, the number of microphones is two.
従来の減算型BFは、まず遅延器により目的とする方向に存在する音(以下、「目的音」とも呼ぶ)が各マイクロホンに到来する信号の時間差を算出し、遅延を加えることにより目的音の位相を合わせる。従来の減算型BFの遅延器では、時間差は下記(1)式により算出される。 The conventional subtractive BF first calculates the time difference between signals arriving at each microphone by sounds that are present in a target direction (hereinafter also referred to as “target sound”) by a delay device, and adds a delay to the target sound. Match the phase. In the conventional subtractor BF delay unit, the time difference is calculated by the following equation (1).
下記の(1)式において、dはマイクロホン間の距離、cは音速、τiは遅延量である。また、下記の(1)式において、θLは、各マイクロホンを結んだ直線に対する垂直方向から目的方向への角度である。
τL=(dsinθL)/c …(1)
In the following formula (1), d is the distance between the microphones, c is the speed of sound, and τ i is the delay amount. In the following equation (1), θ L is an angle from a vertical direction to a target direction with respect to a straight line connecting the microphones.
τ L = (dsin θ L ) / c (1)
ここで、死角が第1のマイクロホンと第2のマイクロホンの中心に対し、第1のマイクロホンの方向に存在する場合、従来の減算型BFにおける遅延器は、第1のマイクロホンの入力信号x1(t)に対し遅延処理を行う。その後、遅延処理された入力信号x1(t)は、(2)式に従い減算処理される。
m1(t)=x2(t)−x1(t−τL) …(2)
Here, when the blind spot exists in the direction of the first microphone with respect to the center of the first microphone and the second microphone, the delay unit in the conventional subtractive BF has the input signal x 1 ( Delay processing is performed for t). Thereafter, the input signal x 1 (t) subjected to the delay process is subjected to a subtraction process according to the equation (2).
m 1 (t) = x 2 (t) −x 1 (t−τ L ) (2)
従来の減算型BFにおける減算処理は、周波数領域でも同様に行うことができ、その場合(2)式は(3)式のように変更される。
ここでθL=±π/2の場合、形成される指向性は図7(A)に示すように、カージオイド型の単一指向性となり、θL=0,πの場合は、図7(B)のような8の字型の双指向性となる。以下では、入力信号から単一指向性を形成するフィルタを単一指向性フィルタ、双指向性を形成するフィルタを双指向性フィルタと呼ぶものとする。 Here, when θ L = ± π / 2, the formed directivity is cardioid unidirectional as shown in FIG. 7A, and when θ L = 0, π, FIG. As shown in (B), the figure is bi-directional. Hereinafter, a filter that forms unidirectionality from an input signal is referred to as a unidirectional filter, and a filter that forms bidirectionality is referred to as a bidirectional filter.
また、従来の収音装置において、スペクトル減算法(Spectral Subtraction;以下「SS」とも呼ぶ)を用いることで、双指向性の死角に強い指向性を形成することもできる。SSによる指向性は、(4)式に従い全周波数、もしくは指定した周波数帯域で形成される。(4)式では、第1のマイクロホンの入力信号X1を用いているが、第2のマイクロホンの入力信号X2でも同様の効果を得ることができる。ここでβはSSの強度を調節するための係数である。減算時に値がマイナスなった場合は、0または元の値を小さくした値に置き換えるフロアリング処理を行う。この方式は、双指向性フィルタにより目的方向以外に存在する音(以下、「非目的音」とも呼ぶ)を抽出し、抽出した非目的音の振幅スペクトル|M1|を入力信号の振幅スペクトル|X1|から減算することで、目的音|Y1|を強調することができる。なお周波数毎の振幅スペクトル|X1k|,|M1k|は(5)式及び(6)式から算出する。ここでReとImはそれぞれ実数部と虚数部、kは周波数を表している。
ある特定のエリア内(収音対象のエリア内)に存在する音(以下、「目的エリア音」と呼ぶ)だけを収音したい場合、従来の減算型BFの指向性は直線的に形成されるため、その指向性を目的エリア方向に向けるだけでは、目的エリアの外に存在する音源(以下、「非目的エリア音」と呼ぶ)であっても、目的エリア方向に存在する音源は全て収音してしまう。 When it is desired to collect only sound (hereinafter referred to as “target area sound”) existing in a specific area (within the sound collection target area), the directivity of the conventional subtractive BF is linearly formed. Therefore, by directing the directivity in the direction of the target area, even if the sound source exists outside the target area (hereinafter referred to as “non-target area sound”), all the sound sources existing in the direction of the target area are collected. Resulting in.
そこで特許文献1では、複数のマイクロホンアレイを用い、それぞれ別々の方向から目的エリアへ指向性を向け、指向性を目的エリアで交差させることで目的エリア音を収音する手法(エリア収音)を提案している。
Therefore, in
特許文献1に記載されたエリア収音手法では、まず、各マイクロホンアレイのBF出力に含まれる目的エリア音のパワーの比率を推定し、それを補正係数とする。例えば、2つのマイクロホンアレイを用いて、特許文献1に記載されたエリア収音を行う場合、目的エリア音パワーの補正係数は、(7)式または(8)式により算出される。
(7)式、(8)式において、|Y1k|は第1のマイクロホンアレイのBF出力の振幅スペクトル、|Y2k|は第2のマイクロホンアレイのBF出力の振幅スペクトル、mは周波数ビンの総数、α1はBF出力に対するパワー補正係数である。また、(7)式、(8)式において、modeは最頻値、medianは中央値を表している。 In equations (7) and (8), | Y 1k | is the amplitude spectrum of the BF output of the first microphone array, | Y 2k | is the amplitude spectrum of the BF output of the second microphone array, and m is the frequency bin total, alpha 1 is a power correction factor for BF output. In the equations (7) and (8), mode represents the mode value and median represents the median value.
特許文献1に記載されたエリア収音手法では、その後、補正係数により各BF出力を補正し、SSすることで、目的エリア方向に存在する非目的エリア音を抽出する。特許文献1に記載されたエリア収音手法では、更に抽出した非目的エリア音を各BFの出力からSSすることにより目的エリア音を抽出することができる。
In the area sound collection method described in
そして、特許文献1に記載されたエリア収音手法では、第1のマイクロホンアレイからみた目的エリア方向に存在する非目的エリア音|N1|を抽出する際、(9)式に示すように、第1のマイクロホンアレイのBF出力|Y1|から、第2のマイクロホンアレイのBF出力|Y2|にパワー補正係数α1を掛けたものをSSする。
|N1|=|Y1|−α1|Y2| …(9)
In the area sound collection method described in
| N 1 | = | Y 1 | −α 1 | Y 2 | (9)
その後、特許文献1に記載されたエリア収音手法では、(10)式に従い、BF出力から非目的エリア音をSSして目的エリア音を抽出する。γ1はSS時の強度を変更するための係数である。
|Z1|=|Y1|−γ1|N1| …(10)
Thereafter, in the area sound collection method described in
| Z 1 | = | Y 1 | −γ 1 | N 1 | (10)
しかしながら、特許文献1のエリア収音手法では、背景雑音や非目的エリア音の音量レベルが大きい場合、目的エリア音抽出の際にSSを行うと、雑音の引き残しによりミュージカルノイズという耳障りな異音が発生したり、非目的エリア音だけでなく目的エリア音も抑圧してしまい音が歪んだりする可能性がある。そのため、特許文献1のエリア収音手法では、これらの影響により音が聞き取り難くなり、音による円滑なコミュニケーションが阻害される恐れがある。
However, in the area sound collection method of
そこで、エリア収音を行う際のミュージカルノイズ等を抑制し、かつ雑音レベルの変動に対応することができる収音装置、プログラム及び方法が望まれている。 Therefore, there is a demand for a sound collection device, program, and method that can suppress musical noise and the like when performing area sound collection and can cope with fluctuations in noise level.
第1の本発明の収音装置は、(1)入力信号からビームフォーマにより目的エリア方向に指向性を形成する指向性形成手段と、(2)前記指向性形成手段で形成された指向性による目的エリア方向に存在する非目的エリア音を抽出する非目的エリア音抽出手段と、(3)前記ビームフォーマの出力に含まれる非目的エリア音成分の振幅スペクトルと、前記非目的エリア音抽出手段で抽出した非目的エリア音成分の振幅スペクトルとの間を補正する補正係数を算出する補正係数算出手段と、(4)前記非目的エリア音抽出手段で抽出した非目的エリア音を前記補正係数算出手段で算出した補正係数で補正して補正済非目的エリア音を取得し、取得した補正済非目的エリア音の位相を反転させて位相反転済非目的エリア音を取得し、取得した位相反転済非目的エリア音を用いて、前記ビームフォーマの出力に含まれる非目的エリア音成分を抑圧して目的エリア音を強調する目的エリア音強調手段とを有することを特徴とする。
The sound collecting device according to the first aspect of the present invention includes (1) directivity forming means for forming directivity in the direction of a target area from an input signal by a beam former, and (2) directivity formed by the directivity forming means. A non-target area sound extracting means for extracting a non-target area sound existing in the direction of the target area; and (3) an amplitude spectrum of a non-target area sound component included in the output of the beamformer, and the non-target area sound extracting means. Correction coefficient calculating means for calculating a correction coefficient for correcting the amplitude spectrum of the extracted non-target area sound component; and (4) the correction coefficient calculating means for calculating the non-target area sound extracted by the non-target area sound extracting means. The corrected non-target area sound is acquired by correcting with the correction coefficient calculated in
第2の本発明の収音プログラムは、コンピュータを、(1)入力信号からビームフォーマにより目的エリア方向に指向性を形成する指向性形成手段と、(2)前記指向性形成手段で形成された指向性による目的エリア方向に存在する非目的エリア音を抽出する非目的エリア音抽出手段と、(3)前記ビームフォーマの出力に含まれる非目的エリア音成分の振幅スペクトルと、前記非目的エリア音抽出手段で抽出した非目的エリア音成分の振幅スペクトルとの間を補正する補正係数を算出する補正係数算出手段と、(4)前記非目的エリア音抽出手段で抽出した非目的エリア音を前記補正係数算出手段で算出した補正係数で補正して補正済非目的エリア音を取得し、取得した補正済非目的エリア音の位相を反転させて位相反転済非目的エリア音を取得し、取得した位相反転済非目的エリア音を用いて、前記ビームフォーマの出力に含まれる非目的エリア音成分を抑圧して目的エリア音を強調する目的エリア音強調手段として機能させることを特徴とする。 The sound collecting program of the second aspect of the present invention is formed by (1) directivity forming means for forming directivity in the direction of a target area by a beam former from an input signal, and (2) the directivity forming means. Non-target area sound extraction means for extracting non-target area sound existing in the direction of the target area due to directivity; (3) an amplitude spectrum of a non-target area sound component included in the output of the beamformer; and the non-target area sound Correction coefficient calculating means for calculating a correction coefficient for correcting the amplitude spectrum of the non-target area sound component extracted by the extracting means; and (4) correcting the non-target area sound extracted by the non-target area sound extracting means. A corrected non-target area sound is acquired by correcting with the correction coefficient calculated by the coefficient calculating means, and the phase of the acquired corrected non-target area sound is inverted to reverse the non-target area sound. Using the acquired phase-inverted non-target area sound, the non-target area sound component included in the beamformer output is suppressed to function as target area sound enhancement means for enhancing the target area sound. And
第3の本発明は、収音装置が行う収音方法において、(1)指向性形成手段、非目的エリア音抽出手段、補正係数算出手段、及び目的エリア音強調手段を有し、(2)指向性形成手段、非目的エリア音抽出手段、補正係数算出手段、及び目的エリア音強調手段を有し、(3)前記指向性形成手段は、入力信号からビームフォーマにより目的エリア方向に指向性を形成し、(4)前記非目的エリア音抽出手段は、前記指向性形成手段で形成された指向性による目的エリア方向に存在する非目的エリア音を抽出し、(5)前記補正係数算出手段は、前記ビームフォーマの出力に含まれる非目的エリア音成分の振幅スペクトルと、前記非目的エリア音抽出手段で抽出した非目的エリア音成分の振幅スペクトルとの間を補正する補正係数を算出し、(6)前記目的エリア音強調手段は、前記非目的エリア音抽出手段で抽出した非目的エリア音を前記補正係数算出手段で算出した補正係数で補正して補正済非目的エリア音を取得し、取得した補正済非目的エリア音の位相を反転させて位相反転済非目的エリア音を取得し、取得した位相反転済非目的エリア音を用いて、前記ビームフォーマの出力に含まれる非目的エリア音成分を抑圧して目的エリア音を強調することを特徴とする。 According to a third aspect of the present invention, there is provided a sound collection method performed by the sound collection device, comprising: (1) directivity formation means, non-target area sound extraction means, correction coefficient calculation means, and target area sound enhancement means; Directivity forming means, non-target area sound extracting means, correction coefficient calculating means, and target area sound emphasizing means. (3) The directivity forming means has directivity in the direction of the target area by a beamformer from the input signal. (4) the non-target area sound extracting means extracts non-target area sound existing in the target area direction by the directivity formed by the directivity forming means, and (5) the correction coefficient calculating means Calculating a correction coefficient for correcting between the amplitude spectrum of the non-target area sound component included in the output of the beamformer and the amplitude spectrum of the non-target area sound component extracted by the non-target area sound extraction unit; ) The target area sound enhancement means acquires the corrected non-target area sound by correcting the non-target area sound extracted by the non-target area sound extraction means with the correction coefficient calculated by the correction coefficient calculation means. Reversing the phase of the corrected non-target area sound to obtain a phase-inverted non-target area sound, and using the acquired phase-inverted non-target area sound, the non-target area sound component included in the beamformer output is obtained. It is characterized by emphasizing the target area sound by suppressing it.
本発明によれば、エリア収音を行う際のミュージカルノイズ等を抑制し、かつ雑音レベルの変動に対応することができる。 ADVANTAGE OF THE INVENTION According to this invention, the musical noise etc. at the time of performing area sound collection can be suppressed, and it can respond to the fluctuation | variation of a noise level.
(A)第1の実施形態
以下、本発明による収音装置、プログラム及び方法の第1の実施形態を、図面を参照しながら詳述する。
(A) First Embodiment Hereinafter, a first embodiment of a sound collection device, a program, and a method according to the present invention will be described in detail with reference to the drawings.
(A−1)第1の実施形態の構成
図1は、この実施形態の収音装置100の機能的構成について示したブロック図である。
(A-1) Configuration of the First Embodiment FIG. 1 is a block diagram showing the functional configuration of the
収音装置100は、2つのマイクロホンアレイMA(MA1、MA2)を用いて、目的エリアの音源からの目的エリア音を収音する目的エリア音収音処理を行う。
The
マイクロホンアレイMA1、MA2は、目的エリアが存在する空聞の任意の場所に配置される。目的エリアに対するマイクロホンアレイMA1、MA2の位置は、例えば、図2に示すように、指向性が目的エリアでのみ重なればどこでも良く、目的エリアを挟んで対向に配置しても良い。各マイクロホンアレイMAは2つ以上のマイクロホンMから構成され、各マイクロホンMにより音響信号を収音する。この実施形態では、各マイクロホンアレイMAに、音響信号を収音する2つのマイクロホンM(M1、M2)が配置されるものとして説明する。すなわち、各マイクロホンアレイMAは、2chマイクロホンアレイを構成している。なお、マイクロホンアレイMAの数は2つに限定するものではなく、目的エリアが複数存在する場合、全てのエリアをカバーできる数のマイクロホンアレイMAを配置する必要がある。なお、この実施形態では、マイクロホンアレイの代わりにショットガンマイクなどの指向性マイクロホンを使用するようにしてもよい。 The microphone arrays MA1 and MA2 are arranged at any place in the air where the target area exists. For example, as shown in FIG. 2, the positions of the microphone arrays MA1 and MA2 with respect to the target area may be anywhere as long as the directivities overlap only in the target area, and may be arranged opposite to each other with the target area interposed therebetween. Each microphone array MA is composed of two or more microphones M, and an acoustic signal is collected by each microphone M. In this embodiment, description will be made assuming that two microphones M (M1, M2) that collect sound signals are arranged in each microphone array MA. That is, each microphone array MA constitutes a 2ch microphone array. The number of microphone arrays MA is not limited to two. When there are a plurality of target areas, it is necessary to arrange a number of microphone arrays MA that can cover all areas. In this embodiment, a directional microphone such as a shotgun microphone may be used instead of the microphone array.
収音装置100は、データ入力部1、指向性形成部2、遅延補正部3、空間座標データ4、目的エリア音パワー補正係数算出部5、非目的エリア音抽出部6、非目的エリア音振幅スペクトル補正係数算出部7、目的エリア音強調部8を有している。収音装置100を構成する各機能ブロックの詳細処理については後述する。
The
収音装置100は、全てハードウェア(例えば、専用チップ等)により構成するようにしてもよいし一部又は全部についてソフトウェア(プログラム)として構成するようにしてもよい。収音装置100は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム(実施形態の収音プログラムを含む)をインストールすることにより構成するようにしてもよい。
The
(A−2)第1の実施形態の動作
次に、以上のような構成を有する第1の実施形態の収音装置100の動作(実施形態に係る収音方法)を説明する。
(A-2) Operation of First Embodiment Next, the operation (sound collection method according to the embodiment) of the
データ入力部1は、各マイクロホンアレイMA1、MA2で収音した音響信号をアナログ信号からデジタル信号に変換する。そして、データ入力部1は、当該デジタル信号について、変換処理(例えば、高速フーリエ変換等を用いて時間領域から周波数領域へ変換する処理)を行う。
The
指向性形成部2は、マイクロホンアレイMA毎に、目的方向以外に存在する非目的エリア音を抽出(例えば、双指向性フィルタにより抽出)し、抽出した非目的エリア音の振幅スペクトルを入力信号の振幅スペクトルから減算することで、目的エリア方向に指向性を形成した音(BF出力)を取得する。具体的には、指向性形成部2は、マイクロホンアレイ毎に、(4)式に従いBFにより目的エリア方向に指向性を形成した音をBF出力として取得する。なお、入力される信号が、マイクロホンアレイではなく、指向性マイクロホンから入力される信号である場合、指向性形成部2の処理を省略して、入力信号をそのまま後段側に供給するようにしてもよい。
The
遅延補正部3は、目的エリアと各マイクロホンアレイの距離の違いにより発生する遅延を算出し、補正する。まず空間座標データ4から目的エリアの位置とマイクロホンアレイの位置を取得し、各マイクロホンアレイへの目的エリア音の到達時間の差を算出する。次に最も目的エリアから遠い位置に配置されたマイクロホンアレイを基準として、全てのマイクロホンアレイに目的エリア音が同時に到達するように遅延を加える。
The
空間座標データ4は、全ての目的エリアと各マイクロホンアレイと各マイクロホンアレイを構成するマイクロホンの位置情報を保持する。 The spatial coordinate data 4 holds the position information of all the target areas, the microphone arrays, and the microphones constituting the microphone arrays.
目的エリア音パワー補正係数算出部5は、各BF出力(遅延補正部3により補正されたBF出力)に含まれる目的エリア音成分のパワーを同じにするための補正係数を(7)式または(8)式に従い算出する。 The target area sound power correction coefficient calculation unit 5 calculates a correction coefficient for equalizing the power of the target area sound component included in each BF output (the BF output corrected by the delay correction unit 3) using Equation (7) or ( 8) Calculate according to the equation.
非目的エリア音抽出部6は、目的エリア音パワー補正係数算出部5で算出した補正係数により補正した各BF出力を(9)式に従いSSし、目的エリア方向に存在する非目的エリア音を抽出する。
The non-target area
非目的エリア音振幅スペクトル補正係数算出部7は、BF出力(目的エリア音パワー補正係数算出部5で算出した補正係数により補正した各BF出力)に含まれる非目的エリア音成分の振幅スペクトルと、非目的エリア音抽出部6により抽出した非目的エリア音成分の振幅スペクトルを同じにするための補正係数(以下、「μ1」と表す)を算出する。言い換えると、補正係数μ1は、BF出力に含まれる非目的エリア音成分の振幅スペクトルと、非目的エリア音抽出部6により抽出した非目的エリア音成分の振幅スペクトルとの間を補正するための係数であるともいえる。具体的には、非目的エリア音振幅スペクトル補正係数算出部7は、BF出力の振幅スペクトルと、抽出した非目的エリア音の振幅スペクトルとの比に基づき、補正係数μ1(非目的エリア音振幅スペクトル補正係数)を算出する。
The non-target area sound amplitude spectrum correction coefficient calculating unit 7 includes an amplitude spectrum of the non-target area sound component included in the BF output (each BF output corrected by the correction coefficient calculated by the target area sound power correction coefficient calculating unit 5), A correction coefficient (hereinafter referred to as “μ 1 ”) for calculating the same amplitude spectrum of the non-target area sound component extracted by the non-target area
非目的エリア音振幅スペクトル補正係数算出部7は、まず、BF出力と抽出した非目的エリア音とで周波数毎(成分毎)に振幅スペクトルの比(比率)を求める。そして、非目的エリア音振幅スペクトル補正係数算出部7は、周波数毎の振幅スペクトルの比から最頻値を算出し、この最繁値を補正係数μ1として求める。 The non-target area sound amplitude spectrum correction coefficient calculation unit 7 first obtains the ratio (ratio) of the amplitude spectrum for each frequency (each component) between the BF output and the extracted non-target area sound. Then, the non-target area sound amplitude spectrum correction coefficient calculation unit 7 calculates the mode value from the ratio of the amplitude spectrum for each frequency, and obtains the most frequent value as the correction coefficient μ 1 .
具体的には、非目的エリア音振幅スペクトル補正係数算出部7は、例えば、(11)式を用いてμ1を求めることができる。 Specifically, the non-target area sound amplitude spectrum correction coefficient calculation unit 7 can obtain μ 1 using, for example, the equation (11).
(11)式において、|Y1k|はマイクロホンアレイMA1のBF出力の振幅スペクトル、|N1k|は抽出した非目的エリア音の振幅スペクトル、kは周波数、mは周波数ビンの総数、modeは最頻値(最繁値を求める関数)をそれぞれ示している。また、(11)式において|N1k|=0の場合、0割を避けるため|Y1k|/|N1k|は0とする。 In equation (11), | Y 1k | is the amplitude spectrum of the BF output of the microphone array MA1, | N 1k | is the amplitude spectrum of the extracted non-target area sound, k is the frequency, m is the total number of frequency bins, and mode is the maximum. Mode values (functions for obtaining the most frequent value) are shown. Further, in the expression (11), when | N 1k | = 0, | Y 1k | / | N 1k | is set to 0 to avoid 0%.
非目的エリア音抽出部6は、BF出力|Y1k|から非目的エリア音成分|N1k|を抽出している。すなわち、BF出力|Y1k|にも、抽出された|N1k|と同様の非目的エリア音成分が同じ割合・分布で含まれている。したがって、BF出力|Y1k|と抽出した非目的エリア音|N1k|の振幅スペクトルの比(|Y1k|/|N1k|)をもとめると、非目的エリア音成分での比率は同じになる。それに比べ非目的エリア音成分以外の成分(目的エリア音成分や、背景雑音成分など)はBF出力|Y1k|にしか含まれないため、上述の比率はばらつき、かつ大きな値となる。上述のような特性に基づき、非目的エリア音振幅スペクトル補正係数算出部7は、成分ごと(周波数ごと)の比率|Y1k|/|N1k|を算出し、予め定めた閾値(以下「Τ1」と呼ぶ)より大きな値の比率となる成分を排除した後、残りの成分の比率に対して最頻値を求める。これにより、非目的エリア音振幅スペクトル補正係数算出部7では、求めた最頻値が、BF出力|Y1k|中の非目的エリア音と、抽出した非目的エリア音の振幅スペクトル|N1k|を等しくする補正係数となる。
The non-target area
なお、非目的エリア音振幅スペクトル補正係数算出部7は、(11)式のような比率|Y1k|/|N1k|の最頻値(mode)ではなく、(12)式のように、近似として中央値(median)を補正係数μ1とするようにしてもよい。
目的エリア音強調部8は、ミュージカルノイズ発生の原因になり得る目的エリア音抽出時のSSを行わず、位相情報を用いて、BF出力から非目的エリア音を抑圧し、目的エリア音を強調する。
The target area
入力信号の位相情報は、離散フーリエ変換を行った入力信号の実数部と虚数部をそれぞれ入力信号の振幅スペクトルで除算して得ることが出来る。目的エリア音強調部8では、この位相情報を非目的エリア音とBF出力の振幅スペクトルに乗算することで、入力信号と同じ位相を持たせることができる。入力信号の位相情報には、もともとBFにおける目的音の位相が含まれている。BF出力には目的エリア音と非目的エリア音が含まれているので、BF出力に入力信号の位相情報を付与すれば、BF出力中の目的エリア音と非目的エリア音の位相を復元することができる。また、目的エリア音強調部8では、同様に抽出した非目的エリア音の位相も復元することができる。このことから、抽出した非目的エリア音の位相を逆位相にしてBF出力と足し合わせれば、BF出力中の非目的エリア音成分は、抽出した非目的エリア音成分と打ち消し合って抑圧される。その結果、目的エリア音強調部8では、BF出力中の目的エリア音のみを強調することが可能となる。
The phase information of the input signal can be obtained by dividing the real part and the imaginary part of the input signal subjected to the discrete Fourier transform by the amplitude spectrum of the input signal. The target area
以下、目的エリア音強調部8の具体的な処理の例について説明する。
Hereinafter, an example of specific processing of the target area
目的エリア音強調部8は、非目的エリア音抽出部6で抽出した非目的エリア音|N1|(周波数毎の成分|N1k|の各成分をベクトルとしてまとめたもの、以下同じ)を、非目的エリア音振幅スペクトル補正係数算出部7で算出した補正係数μ1により補正し、|N’1|として取得する。具体的には、目的エリア音強調部8は、(13)式に示すように、非目的エリア音|N1|に補正係数μ1を乗じることで、|N’1|を取得する。
The target area
そして、目的エリア音強調部8は、(14)式に従い、|N’1|に位相情報を与える。
Then, the target area
そして、目的エリア音強調部8は、(15)式に従い、BF出力|Y1|にも入力信号の位相情報を与える。
Then, the target area
そして、目的エリア音強調部8は、全帯域もしくは所定の範囲に制限した帯域で、(16)式に従い、N´1の位相を反転させてY1に足し合わせることで、BF出力中の非目的エリア音成分を抑圧し、目的エリア音を強調した信号Z1を取得する。
そして、目的エリア音強調部8は、目的エリア音を強調した信号Z1を出力(そのまま、又は、時間領域に変換して出力)する。
The objective area
(13)〜(16)式において、μ1は、非目的エリア音振幅スペクトル補正係数算出部7で算出した補正係数である。なお、目的エリア音強調部8において、非目的エリア音の抑圧は、周波数領域で行っても良いし、逆フーリエ変換により時間領域に戻した後に行っても良い。
In the equations (13) to (16), μ 1 is a correction coefficient calculated by the non-target area sound amplitude spectrum correction coefficient calculation unit 7. In the target area
上述の通り、エリア収音処理の過程で抽出された非目的エリア音は、振幅スペクトルであり位相情報が失われているので、目的エリア音強調部8では、これに入力信号の位相情報を付与する。また、BF出力も振幅スペクトルなので、目的エリア音強調部8は、同様に入力信号の位相情報を与える。
As described above, since the non-target area sound extracted in the area sound collection process is an amplitude spectrum and phase information is lost, the target area
(A−3)第1の実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
(A-3) Effects of First Embodiment According to this embodiment, the following effects can be achieved.
(A−3−1)第1の実施形態の収音装置100では、非目的エリア音の抑圧に、ミュージカルノイズ発生の原因になり得る目的エリア音抽出時のSSを行わずに、BF出力中の非目的エリア音成分に対して、抽出した非目的エリア音を逆位相にして打ち消すことにより目的エリア音を強調している。これにより、第1の実施形態の収音装置100では、ミュージカルノイズの発生を低減し、かつ、目的エリア音を抑圧して歪ませてしまうことを低減するという効果を奏する。
(A-3-1) In the
通常SSにより抽出した非目的エリア音の振幅スペクトルは、背景雑音などの影響でBF出力中の非目的エリア音の振幅スペクトルよりも小さくなる。この状態では、抽出した非目的エリア音の位相を逆位相にしてBF出力と足しあわせても、完全に打ち消すことができない。これに対して、第1の実施形態の収音装置100のように、非目的エリア音を逆位相にして打ち消す処理を行う場合、SSのように非線形的な処理ではなく線形的な処理となるため、SSのようにミュージカルノイズを発生させることを抑制することができる。
Usually, the amplitude spectrum of the non-target area sound extracted by the SS is smaller than the amplitude spectrum of the non-target area sound being output in the BF due to the influence of background noise or the like. In this state, even if the phase of the extracted non-target area sound is reversed and added to the BF output, it cannot be completely cancelled. On the other hand, when the process of canceling the non-target area sound with the opposite phase is performed as in the
(A−3−2)第1の実施形態の収音装置100では、補正係数μ1として、BF出力に含まれる非目的エリア音成分と、非目的エリア音抽出部6により抽出した非目的エリア音成分の振幅スペクトルを同じにするものを算出(例えば、(11)又は(12)式に従って算出)して取得している。
(A-3-2) In the
例えば、補正係数μ1を定数として非目的エリア音の抑圧を行う場合、BF出力中の非目的エリア音成分とBF出力から抽出した非目的エリア音成分の振幅スペクトルが同じ大きさであることを前提とすることになる。また、例えば、補正係数μ1を、背景雑音のレベルに応じて設定した場合、背景雑音のレベルが大きく変動するような環境では、抽出した非目的エリア音の振幅スペクトルの変化が線形とは限らないため、追従できない可能性がある。また背景雑音の種類によっても、抽出した非目的エリア音の振幅スペクトルの大きさが変わるため、補正係数μ1を背景雑音のレベルに比例させるだけでは対応すること(適切な補正係数μ1に変動させること)が難しい。 For example, when the non-target area sound is suppressed with the correction coefficient μ 1 as a constant, the amplitude spectrum of the non-target area sound component in the BF output and the non-target area sound component extracted from the BF output are the same size. It will be assumed. Also, for example, when the correction coefficient μ 1 is set according to the background noise level, the change in the amplitude spectrum of the extracted non-target area sound is not always linear in an environment where the background noise level varies greatly. There is a possibility that it cannot follow. Also depending on the type of background noise, since the magnitude of the amplitude spectrum of the extracted non-target area sound changes, just the corresponding possible to proportion the correction coefficient mu 1 to the level of background noise (variations in the appropriate correction coefficient mu 1 Is difficult).
以上のように、第1の実施形態の収音装置100では、BF出力と抽出した非目的エリア音の振幅スペクトル比から補正係数μ1を求めることで、背景雑音レベルの変化や種類の違いに頑健な位相抑圧によるエリア収音が可能となる。
As described above, in the
(A−3−3)次に、出願人が実際に第1の実施形態の収音装置100を構築して行った実験(以下、「本実験」と呼ぶ)について図3、図4のグラフを用いて説明する。
(A-3-3) Next, FIG. 3 and FIG. 4 are graphs of an experiment (hereinafter referred to as “main experiment”) that the applicant actually constructed and constructed the
図3は、本実験において目的エリア音強調部8で処理される入力信号の波形について示したグラフである。図3(a)は、収音装置100に入力される入力信号(いずれかのマイクロホンで取得される入力信号)の波形について示したグラフである。図3(b)は、図3(a)に示す入力信号に含まれる目的エリア音の波形について示したグラフである。図3(c)は、図3(a)に示す入力信号に含まれる背景雑音の波形について示したグラフである。図3(c)に示す背景雑音はいわゆるオフィスノイズであり、途中でパワーが6db大きくなっている。
FIG. 3 is a graph showing the waveform of the input signal processed by the target area
図4は、この実施形態の収音装置100(目的エリア音強調部8)を用いて、非目的エリア音成分を抑圧して目的エリア音を強調した場合の性能について示したグラフである。 FIG. 4 is a graph showing the performance when the target area sound is emphasized by suppressing the non-target area sound component by using the sound collecting device 100 (target area sound emphasizing unit 8) of this embodiment.
図4(a)は、補正係数μ1を背景雑音に比例した値として、図3(a)に示すような入力信号に基づく信号(BF出力)から非目的エリア音成分を抑圧して目的エリア音を強調した信号の波形について示したグラフである。 FIG. 4A shows the target area by suppressing the non-target area sound component from the signal (BF output) based on the input signal as shown in FIG. 3A with the correction coefficient μ 1 as a value proportional to the background noise. It is the graph shown about the waveform of the signal which emphasized the sound.
一方、図4(b)は、この実施形態の目的エリア音強調部8を用いて、図3(a)に示すような入力信号に基づく信号(BF出力)から非目的エリア音成分を抑圧して目的エリア音を強調した信号の波形について示したグラフである。すなわち、図4(b)に示す波形は、図3(a)に示す入力信号に基づく信号(BF出力)から、上述の(11)式又は(12)式に基づいて算出された補正係数μ1で補正した非目的エリア音を、逆位相にして打ち消した結果について示している。
On the other hand, FIG. 4B uses the target area
図4に示す実験結果から、グラフ上の見た目では、図4(a)の信号よりも、図4(b)の信号の方が、背景雑音を抑圧していることが分かる。特に、図4(b)の信号では、背景雑音がより大きくなっている領域(図3(c)参照)で、図4(a)の信号よりも背景雑音が抑圧されていることが分かる。 From the experimental results shown in FIG. 4, it can be seen that the background noise is suppressed more in the signal in FIG. 4B than in the signal in FIG. In particular, in the signal of FIG. 4B, it can be seen that the background noise is suppressed more than the signal of FIG. 4A in the region where the background noise is larger (see FIG. 3C).
したがって、図4に示す実験結果から、補正係数μ1を背景雑音に比例した値とするよりも、BF出力と抽出した非目的エリア音の振幅スペクトル比から補正係数μ1を求める方が、背景雑音を抑制する効果が高いことが分かる。 Therefore, from the experimental results shown in FIG. 4, it is more preferable to obtain the correction coefficient μ 1 from the BF output and the amplitude spectrum ratio of the extracted non-target area sound than to set the correction coefficient μ 1 to a value proportional to the background noise. It can be seen that the effect of suppressing noise is high.
(B)第2の実施形態
以下、本発明による収音装置、プログラム及び方法の第2の実施形態を、図面を参照しながら詳述する。
(B) Second Embodiment Hereinafter, a second embodiment of the sound collection device, program and method according to the present invention will be described in detail with reference to the drawings.
(B−1)第2の実施形態の構成
図5は、この実施形態の収音装置100Aの機能的構成について示したブロック図である。図5では、上述の図1と同一部分又は対応部分に同一符号又は対応符号を付している。
(B-1) Configuration of Second Embodiment FIG. 5 is a block diagram showing a functional configuration of the
以下では、第2の実施形態の収音装置100Aについて、第2の実施形態との差異を説明する。
Hereinafter, differences from the second embodiment will be described for the
収音装置100Aでは、目的エリア音強調部8が目的エリア音強調部8Aに置き換わっている点で、第2の実施形態と異なっている。
The
目的エリア音強調部8Aは、位相による非目的エリア音の抑圧と、SSによる非目的エリア音の抑圧を状況により切替えて目的エリア音を強調する。 The target area sound enhancement unit 8A enhances the target area sound by switching between suppression of the non-target area sound by the phase and suppression of the non-target area sound by the SS depending on the situation.
目的エリア音強調部8Aは、位相による非目的エリア音の抑圧処理を行う非目的エリア音位相抑圧部8−2と、SSによる非目的エリア音の抑圧処理を行う非目的エリア音スペクトル減算部8−1とを有し、いずれか一方に切り替えて非目的エリア音の抑圧(目的エリア音の強調)を行う。
The target area sound enhancement unit 8A includes a non-target area sound phase suppression unit 8-2 that performs non-target area sound suppression processing based on phase, and a non-target area sound
(B−2)第2の実施形態の動作
次に、以上のような構成を有する第2の実施形態の収音装置100Aの動作を説明する。
(B-2) Operation of Second Embodiment Next, the operation of the
以下では、第2の実施形態の収音装置100Aについて、第2の実施形態との差異点についてのみ説明する。
Below, only the difference with 2nd Embodiment is demonstrated about the
目的エリア音強調部8Aは、非目的エリア音スペクトル減算部8−1と非目的エリア音位相抑圧部8−2とを切替えて、BF出力から非目的エリア音の抑圧を行う。 The target area sound emphasizing unit 8A switches between the non-target area sound spectrum subtracting unit 8-1 and the non-target area sound phase suppressing unit 8-2, and suppresses the non-target area sound from the BF output.
非目的エリア音スペクトル減算部8−1は、スペクトル減算(SS)により非目的エリア音を抑圧し、目的エリア音を強調する処理を行う。具体的には、非目的エリア音スペクトル減算部8−1は、(10)式に従い非目的エリア音の抑圧を行う。この際、非目的エリア音スペクトル減算部8−1は、SS時の強度を調節する係数γ1の代わりに、非目的エリア音振幅スペクトル補正係数算出部7で算出したμ1を使用してもよい。 The non-target area sound spectrum subtracting unit 8-1 performs processing for suppressing the non-target area sound by spectrum subtraction (SS) and emphasizing the target area sound. Specifically, the non-target area sound spectrum subtraction unit 8-1 suppresses the non-target area sound according to the equation (10). At this time, the non-target area sound spectrum subtraction unit 8-1 may use μ 1 calculated by the non-target area sound amplitude spectrum correction coefficient calculation unit 7 instead of the coefficient γ 1 for adjusting the intensity at the time of SS. Good.
非目的エリア音位相抑圧部8−2は、第1の実施形態の目的エリア音強調部8と同様に、位相情報を用いて非目的エリア音を抑圧し、目的エリア音を強調する処理を行う。
The non-target area sound phase suppression unit 8-2 performs processing for suppressing the non-target area sound and emphasizing the target area sound using the phase information, similarly to the target area
具体的には、非目的エリア音位相抑圧部8−2は、(13)式に従い非目的エリア音の抑圧を行う。 Specifically, the non-target area sound phase suppression unit 8-2 suppresses the non-target area sound according to the equation (13).
目的エリア音強調部8Aでは、補正係数μ1の値に応じて、非目的エリア音の抑圧方式(非目的エリア音スペクトル減算部8−1と非目的エリア音位相抑圧部8−2との切り替え)を行う。 In the target area sound enhancement unit 8A, the non-target area sound suppression method (switching between the non-target area sound spectrum subtraction unit 8-1 and the non-target area sound phase suppression unit 8-2) is performed according to the value of the correction coefficient μ1. I do.
例えば、目的エリア音強調部8Aは、補正係数μ1が、所定の閾値Τ2よりも大きい場合(μ1>T2)、背景雑音の影響によりミュージカルノイズも大きい状態であると判断し、非目的エリア音位相抑圧部8−2による非目的エリア音の抑圧を行うものとする。 For example, when the correction coefficient μ 1 is larger than the predetermined threshold value Τ 2 (μ 1 > T 2 ), the target area sound enhancement unit 8A determines that the musical noise is also large due to the influence of the background noise, It is assumed that the non-target area sound is suppressed by the target area sound phase suppressing unit 8-2.
また、目的エリア音強調部8Aは、補正係数μ1が、所定の閾値Τ2以下の場合(μ1≦T2)、背景雑音の影響によるミュージカルノイズが少なくなる状態であると判断し、非目的エリア音スペクトル減算部8−1による非目的エリア音の抑圧を行うものとする。 Also, the object area sound enhancement unit 8A, the correction coefficient mu 1 is, for a given threshold value T 2 or less (μ 1 ≦ T 2), it is determined that the state in which musical noise is reduced due to the effect of background noise, non It is assumed that the non-target area sound is suppressed by the target area sound spectrum subtraction unit 8-1.
なお、目的エリア音強調部8Aにおいて、非目的エリア音の抑圧方式は、補正係数μ1(閾値T2)による自動判定ではなく、ユーザの操作によりが任意に切り替えるようにしてもよい。また、目的エリア音強調部8Aでは、非目的エリア音スペクトル減算部8−1と非目的エリア音位相抑圧部8−2の処理を同時に行い、それぞれの出力を混合して最終出力としても良い。 In the target area sound emphasizing unit 8A, the non-target area sound suppression method may be arbitrarily switched by a user operation instead of automatic determination based on the correction coefficient μ1 (threshold value T 2 ). The target area sound emphasizing unit 8A may perform the processes of the non-target area sound spectrum subtracting unit 8-1 and the non-target area sound phase suppressing unit 8-2 at the same time, and may mix the respective outputs to obtain the final output.
(B−3)第2の実施形態の効果
第2の実施形態によれば、以下のような効果を奏することができる。
(B-3) Effects of Second Embodiment According to the second embodiment, the following effects can be achieved.
第2の実施形態の収音装置100Aの目的エリア音強調部8Aでは、非目的エリア音位相抑圧部8−2と非目的エリア音スペクトル減算部8−1のうち、適切な手法(より高品質な処理を行うことができる手法)を選択して、非目的エリア音の抑圧(目的エリア音の強調)に適用している。
In the target area sound enhancement unit 8A of the
具体的には、第2の実施形態の収音装置100A(目的エリア音強調部8A)では、補正係数μ1が大きい場合に、非目的エリア音位相抑圧部8−2を適用することで、雑音の引き残しによるミュージカルノイズの発生や、目的エリア音も抑圧してしまうことを低減している。また、第2の実施形態の収音装置100A(目的エリア音強調部8A)では、補正係数μ1が小さい場合に非目的エリア音スペクトル減算部8−1を適用することで、精度良く非目的エリア音の抑圧を行うことができる。また、補正係数μ1が小さい場合には、SSによる目的エリア音の抑圧処理を行っても、ミュージカルノイズの発生や目的エリア音も抑圧してしまうことを低減することができ、さらに、非目的エリア音位相抑圧部8−2による処理よりも精度よく非目的エリア音の抑圧を行うことができる。
Specifically, in the second embodiment of the
(C)他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
(C) Other Embodiments The present invention is not limited to the above-described embodiments, and may include modified embodiments as exemplified below.
(C−1)第2の実施形態において、目的エリア音強調部8Aでは、非目的エリア音位相抑圧部8−2と非目的エリア音スペクトル減算部8−1の処理を同時に行い、それぞれの出力を混合して最終出力としても良い。 (C-1) In the second embodiment, the target area sound enhancement unit 8A simultaneously performs the processing of the non-target area sound phase suppression unit 8-2 and the non-target area sound spectrum subtraction unit 8-1, and outputs each of them. May be mixed to obtain the final output.
100…収音装置、1…データ入力部、2…指向性形成部、3…遅延補正部、4…空間座標データ、5…目的エリア音パワー補正係数算出部、6…非目的エリア音抽出部、7…非目的エリア音振幅スペクトル補正係数算出部、8…目的エリア音強調部。
DESCRIPTION OF
Claims (8)
前記指向性形成手段で形成された指向性による目的エリア方向に存在する非目的エリア音を抽出する非目的エリア音抽出手段と、
前記ビームフォーマの出力に含まれる非目的エリア音成分の振幅スペクトルと、前記非目的エリア音抽出手段で抽出した非目的エリア音成分の振幅スペクトルとの間を補正する補正係数を算出する補正係数算出手段と、
前記非目的エリア音抽出手段で抽出した非目的エリア音を前記補正係数算出手段で算出した補正係数で補正して補正済非目的エリア音を取得し、取得した補正済非目的エリア音の位相を反転させて位相反転済非目的エリア音を取得し、取得した位相反転済非目的エリア音を用いて、前記ビームフォーマの出力に含まれる非目的エリア音成分を抑圧して目的エリア音を強調する目的エリア音強調手段と
を有することを特徴とする収音装置。 Directivity forming means for forming directivity in the direction of the target area by a beamformer from an input signal;
Non-target area sound extracting means for extracting non-target area sound existing in the target area direction due to directivity formed by the directivity forming means;
Correction coefficient calculation for calculating a correction coefficient for correcting between the amplitude spectrum of the non-target area sound component included in the output of the beam former and the amplitude spectrum of the non-target area sound component extracted by the non-target area sound extraction means Means,
The non-target area sound extracted by the non-target area sound extraction means is corrected with the correction coefficient calculated by the correction coefficient calculation means to obtain a corrected non-target area sound, and the phase of the acquired corrected non-target area sound is calculated. Inverted to acquire phase-inverted non-target area sound, and using the acquired phase-inverted non-target area sound, suppress the non-target area sound component included in the output of the beam former to enhance the target area sound A sound collection device comprising: target area sound enhancement means.
取得した位相反転済非目的エリア音を用いて、前記ビームフォーマの出力に含まれる非目的エリア音成分を抑圧して目的エリア音を強調する第1の抑圧手段と、
前記ビームフォーマの出力から、前記非目的エリア音抽出手段が抽出した非目的エリア音に基づく信号をスペクトル減算することで、前記ビームフォーマの出力の非目的エリア音成分を抑圧する第2の抑圧手段とを有し、
前記目的エリア音強調手段は、前記補正係数算出手段が取得した補正係数の値に基づいて、前記第1の抑圧手段又は前記第2の抑圧手段のいずれかを選択して前記ビームフォーマの出力における非目的エリア音の成分を抑圧する
ことを特徴とする請求項1に記載の収音装置。 The target area sound enhancement means includes:
First suppression means for suppressing the non-target area sound component included in the output of the beam former by using the acquired phase-inverted non-target area sound and enhancing the target area sound;
Second suppression means for suppressing the non-target area sound component of the beamformer output by spectral subtracting the signal based on the non-target area sound extracted by the non-target area sound extraction means from the output of the beamformer. And
The target area sound enhancement unit selects either the first suppression unit or the second suppression unit on the basis of the value of the correction coefficient acquired by the correction coefficient calculation unit, and outputs the beamformer output. The sound collection device according to claim 1, wherein a component of the non-target area sound is suppressed.
入力信号からビームフォーマにより目的エリア方向に指向性を形成する指向性形成手段と、
前記指向性形成手段で形成された指向性による目的エリア方向に存在する非目的エリア音を抽出する非目的エリア音抽出手段と、
前記ビームフォーマの出力に含まれる非目的エリア音成分の振幅スペクトルと、前記非目的エリア音抽出手段で抽出した非目的エリア音成分の振幅スペクトルとの間を補正する補正係数を算出する補正係数算出手段と、
前記非目的エリア音抽出手段で抽出した非目的エリア音を前記補正係数算出手段で算出した補正係数で補正して補正済非目的エリア音を取得し、取得した補正済非目的エリア音の位相を反転させて位相反転済非目的エリア音を取得し、取得した位相反転済非目的エリア音を用いて、前記ビームフォーマの出力に含まれる非目的エリア音成分を抑圧して目的エリア音を強調する目的エリア音強調手段と
して機能させることを特徴とする収音プログラム。 Computer
Directivity forming means for forming directivity in the direction of the target area by a beamformer from an input signal;
Non-target area sound extracting means for extracting non-target area sound existing in the target area direction due to directivity formed by the directivity forming means;
Correction coefficient calculation for calculating a correction coefficient for correcting between the amplitude spectrum of the non-target area sound component included in the output of the beam former and the amplitude spectrum of the non-target area sound component extracted by the non-target area sound extraction means Means,
The non-target area sound extracted by the non-target area sound extraction means is corrected with the correction coefficient calculated by the correction coefficient calculation means to obtain a corrected non-target area sound, and the phase of the acquired corrected non-target area sound is calculated. Inverted to acquire phase-inverted non-target area sound, and using the acquired phase-inverted non-target area sound, suppress the non-target area sound component included in the output of the beam former to enhance the target area sound A sound collection program which functions as a target area sound enhancement means.
指向性形成手段、非目的エリア音抽出手段、補正係数算出手段、及び目的エリア音強調手段を有し、
前記指向性形成手段は、入力信号からビームフォーマにより目的エリア方向に指向性を形成し、
前記非目的エリア音抽出手段は、前記指向性形成手段で形成された指向性による目的エリア方向に存在する非目的エリア音を抽出し、
前記補正係数算出手段は、前記ビームフォーマの出力に含まれる非目的エリア音成分の振幅スペクトルと、前記非目的エリア音抽出手段で抽出した非目的エリア音成分の振幅スペクトルとの間を補正する補正係数を算出し、
前記目的エリア音強調手段は、前記非目的エリア音抽出手段で抽出した非目的エリア音を前記補正係数算出手段で算出した補正係数で補正して補正済非目的エリア音を取得し、取得した補正済非目的エリア音の位相を反転させて位相反転済非目的エリア音を取得し、取得した位相反転済非目的エリア音を用いて、前記ビームフォーマの出力に含まれる非目的エリア音成分を抑圧して目的エリア音を強調する
ことを特徴とする収音方法。 In the sound collection method performed by the sound collection device,
Directivity forming means, non-target area sound extraction means, correction coefficient calculation means, and target area sound enhancement means,
The directivity forming means forms directivity in the direction of the target area by a beamformer from an input signal,
The non-target area sound extracting means extracts non-target area sound existing in the target area direction due to the directivity formed by the directivity forming means,
The correction coefficient calculation means corrects the correction between the amplitude spectrum of the non-target area sound component included in the output of the beam former and the amplitude spectrum of the non-target area sound component extracted by the non-target area sound extraction means. Calculate the coefficient,
The target area sound enhancement unit corrects the non-target area sound extracted by the non-target area sound extraction unit with the correction coefficient calculated by the correction coefficient calculation unit to obtain a corrected non-target area sound, and the acquired correction The phase of the completed non-target area sound is inverted to acquire the phase-inverted non-target area sound, and the non-target area sound component included in the output of the beamformer is suppressed using the acquired phase-reversed non-target area sound. And picking up the target area sound.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016193486A JP6260666B1 (en) | 2016-09-30 | 2016-09-30 | Sound collecting apparatus, program and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016193486A JP6260666B1 (en) | 2016-09-30 | 2016-09-30 | Sound collecting apparatus, program and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6260666B1 JP6260666B1 (en) | 2018-01-17 |
JP2018056902A true JP2018056902A (en) | 2018-04-05 |
Family
ID=60989244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016193486A Expired - Fee Related JP6260666B1 (en) | 2016-09-30 | 2016-09-30 | Sound collecting apparatus, program and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6260666B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020053920A (en) * | 2018-09-28 | 2020-04-02 | 沖電気工業株式会社 | Sound collection device, sound collection program, and sound collection method |
WO2021027049A1 (en) * | 2019-08-15 | 2021-02-18 | 北京小米移动软件有限公司 | Sound acquisition method and device, and medium |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006006935A1 (en) * | 2004-07-08 | 2006-01-19 | Agency For Science, Technology And Research | Capturing sound from a target region |
JP2014502108A (en) * | 2010-12-03 | 2014-01-23 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | Apparatus and method for spatially selective sound acquisition by acoustic triangulation method |
JP2014072708A (en) * | 2012-09-28 | 2014-04-21 | Oki Electric Ind Co Ltd | Sound collecting device and program |
JP2015023508A (en) * | 2013-07-22 | 2015-02-02 | 沖電気工業株式会社 | Sound gathering device and program |
JP2016025469A (en) * | 2014-07-18 | 2016-02-08 | 沖電気工業株式会社 | Sound collection/reproduction system, sound collection/reproduction device, sound collection/reproduction method, sound collection/reproduction program, sound collection system and reproduction system |
JP2016127459A (en) * | 2015-01-05 | 2016-07-11 | 沖電気工業株式会社 | Sound pickup device, program and method |
-
2016
- 2016-09-30 JP JP2016193486A patent/JP6260666B1/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006006935A1 (en) * | 2004-07-08 | 2006-01-19 | Agency For Science, Technology And Research | Capturing sound from a target region |
JP2014502108A (en) * | 2010-12-03 | 2014-01-23 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | Apparatus and method for spatially selective sound acquisition by acoustic triangulation method |
JP2014072708A (en) * | 2012-09-28 | 2014-04-21 | Oki Electric Ind Co Ltd | Sound collecting device and program |
JP2015023508A (en) * | 2013-07-22 | 2015-02-02 | 沖電気工業株式会社 | Sound gathering device and program |
JP2016025469A (en) * | 2014-07-18 | 2016-02-08 | 沖電気工業株式会社 | Sound collection/reproduction system, sound collection/reproduction device, sound collection/reproduction method, sound collection/reproduction program, sound collection system and reproduction system |
JP2016127459A (en) * | 2015-01-05 | 2016-07-11 | 沖電気工業株式会社 | Sound pickup device, program and method |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020053920A (en) * | 2018-09-28 | 2020-04-02 | 沖電気工業株式会社 | Sound collection device, sound collection program, and sound collection method |
US11127396B2 (en) * | 2018-09-28 | 2021-09-21 | Oki Electric Industry Co., Ltd. | Sound acquisition device, computer-readable storage medium and sound acquisition method |
JP7158976B2 (en) | 2018-09-28 | 2022-10-24 | 沖電気工業株式会社 | Sound collecting device, sound collecting program and sound collecting method |
WO2021027049A1 (en) * | 2019-08-15 | 2021-02-18 | 北京小米移动软件有限公司 | Sound acquisition method and device, and medium |
US10945071B1 (en) | 2019-08-15 | 2021-03-09 | Beijing Xiaomi Mobile Software Co., Ltd. | Sound collecting method, device and medium |
Also Published As
Publication number | Publication date |
---|---|
JP6260666B1 (en) | 2018-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6703525B2 (en) | Method and device for enhancing sound source | |
JP5482854B2 (en) | Sound collecting device and program | |
JP6187626B1 (en) | Sound collecting device and program | |
CN111128210B (en) | Method and system for audio signal processing with acoustic echo cancellation | |
JP6065028B2 (en) | Sound collecting apparatus, program and method | |
JP2004187283A (en) | Microphone unit and reproducing apparatus | |
JP6131989B2 (en) | Sound collecting apparatus, program and method | |
JP2011124872A (en) | Sound source separation device, method and program | |
JP6763332B2 (en) | Sound collectors, programs and methods | |
JP2007336232A (en) | Specific direction sound collection device, specific direction sound collection program, and recording medium | |
JP2018132737A (en) | Sound pick-up device, program and method, and determining apparatus, program and method | |
JP6260666B1 (en) | Sound collecting apparatus, program and method | |
JP6436180B2 (en) | Sound collecting apparatus, program and method | |
JP6182169B2 (en) | Sound collecting apparatus, method and program thereof | |
JP6241520B1 (en) | Sound collecting apparatus, program and method | |
JP2016163135A (en) | Sound collection device, program and method | |
JP2019068133A (en) | Sound pick-up device, program, and method | |
WO2021019844A1 (en) | Sound pick-up device, storage medium, and sound pick-up method | |
JP2017181761A (en) | Signal processing device and program, and gain processing device and program | |
JP6624256B1 (en) | Sound pickup device, program and method | |
JP6822505B2 (en) | Sound collecting device, sound collecting program and sound collecting method | |
WO2021260260A1 (en) | Suppressing spatial noise in multi-microphone devices | |
JP6772890B2 (en) | Signal processing equipment, programs and methods | |
JP6863004B2 (en) | Sound collectors, programs and methods | |
WO2021070278A1 (en) | Noise suppressing device, noise suppressing method, and noise suppressing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6260666 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |