JP2018170718A - Sound collecting device, program, and method - Google Patents
Sound collecting device, program, and method Download PDFInfo
- Publication number
- JP2018170718A JP2018170718A JP2017068515A JP2017068515A JP2018170718A JP 2018170718 A JP2018170718 A JP 2018170718A JP 2017068515 A JP2017068515 A JP 2017068515A JP 2017068515 A JP2017068515 A JP 2017068515A JP 2018170718 A JP2018170718 A JP 2018170718A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- target area
- feature
- feature amount
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本発明は、収音装置、プログラム及び方法に関し、例えば、特定のエリアの音のみを強調し、それ以外のエリアの音を抑圧する場合に適用し得る。 The present invention relates to a sound collection device, a program, and a method, and can be applied to, for example, emphasizing only sounds in a specific area and suppressing sounds in other areas.
特定の方向に存在する音（音声や音響；以下、音声及び音響をまとめて「音響」と呼ぶこともある）を強調し、それ以外の音を抑圧する技術として、マイクアレイを用いたビームフォーマがある。ビームフォーマとは、各マイクに到達する信号の時間差を利用して指向性や死角を形成する技術である（非特許文献１、非特許文献２参照）。
A beamformer using a microphone array is a technology that emphasizes sound (sound and sound; hereinafter referred to as “sound” collectively), and suppresses other sounds. There is. The beamformer is a technique for forming directivity and blind spot using a time difference between signals reaching each microphone (see Non-Patent
しかし、単純にビームフォーマの指向性を収音目的とするエリア（以下、「目的エリア」と呼ぶ）に向けただけでは、目的エリアの周囲に雑音源が存在する場合、目的エリア内に存在する音源（以下、「目的エリア音」と呼ぶ）だけでなく、目的エリア外に存在する雑音源（以下、「非目的エリア音」と呼ぶ）も同時に収音してしまうという問題が存在する。 However, simply pointing the beamformer's directivity toward an area for sound collection (hereinafter referred to as “target area”), if there is a noise source around the target area, it exists in the target area. There is a problem that not only a sound source (hereinafter referred to as “target area sound”), but also a noise source (hereinafter referred to as “non-target area sound”) existing outside the target area is collected simultaneously.
この問題に対して、従来、複数のマイクアレイを用いて、別々の方向から指向性を目的エリアに向けて交差させ、目的エリア音を収音する方式が提案されている（特許文献１）。特許文献１に記載された方式では、各マイクアレイのビームフォーマ出力を同時に処理することで、目的エリアを抽出する。
In order to solve this problem, a method has been proposed in which a plurality of microphone arrays are used to cross the directivities from different directions toward the target area to collect the target area sound (Patent Document 1). In the method described in
図６は、従来の複数のマイクアレイを用いた収音処理の例について示した説明図である。 FIG. 6 is an explanatory diagram showing an example of sound collection processing using a plurality of conventional microphone arrays.
図６では、２つのマイクアレイＭＡ（ＭＡ１、ＭＡ２）の指向性を目的エリアに向けた場合の例について示している。 FIG. 6 shows an example in which the directivity of two microphone arrays MA (MA 1 , MA 2 ) is directed to the target area.
図６（ａ）は、２つのマイクアレイＭＡ１、ＭＡ２の指向性を目的エリアに向けた場合の各マイクアレイＭＡや、目的エリア音の音源との位置関係について示している。また、図６（ａ）では、マイクアレイＭＡ１、ＭＡ２に対応する指向性（ビームフォーマの指向性）Ｚ１、Ｚ２についても図示している。さらに、図６（ａ）の例では、目的エリアの音源の周囲に非目的エリア音の音源が存在している。従って、図６（ａ）の状態では、マイクアレイＭＡ１、ＭＡ２のビームフォーマ出力には、共に、目的エリアにある音源による目的エリア音だけでなく、同じ指向性方向の非目的エリアにある音源による非目的エリア音が含まれてしまうことになる。 FIG. 6A shows the positional relationship between each microphone array MA and the sound source of the target area sound when the directivities of the two microphone arrays MA 1 and MA 2 are directed to the target area. FIG. 6A also shows the directivity (beamformer directivity) Z1 and Z2 corresponding to the microphone arrays MA 1 and MA 2 . Further, in the example of FIG. 6A, a sound source of non-target area sound exists around the sound source of the target area. Therefore, in the state of FIG. 6A, the beamformer outputs of the microphone arrays MA 1 and MA 2 are both in the non-target area of the same directivity direction as well as the target area sound by the sound source in the target area. The non-target area sound by the sound source will be included.
図６（ｂ）、図６（ｃ）は、それぞれ、２つのマイクアレイＭＡ１、ＭＡ２のビームフォーマ出力の周波数成分を示している。音声のスパース性を仮定すると、図６（ｂ）、図６（ｃ）に示すように、一つの周波数成分には一つの音源（目的エリア音又は非目的エリア音）しか含まれない。そして、目的エリアは全てのマイクアレイの指向性に含まれているため、目的エリア音の周波数成分は、全てのビームフォーマ出力に、同じ割合、同じ分布で含まれる。これと比較して、非目的エリア音の周波数成分は、ビームフォーマ出力ごとに異なっている。このような特徴から、各ビームフォーマ出力に共通に含まれる周波数成分は、目的エリア音が有する成分と推定することができ、これに基づいて、特許文献１等に記載された従来の目的エリア音の収音方法が実現されている。
FIGS. 6B and 6C show the frequency components of the beamformer outputs of the two microphone arrays MA 1 and MA 2 , respectively. Assuming the sparseness of speech, as shown in FIGS. 6B and 6C, only one sound source (target area sound or non-target area sound) is included in one frequency component. Since the target area is included in the directivity of all microphone arrays, the frequency components of the target area sound are included in all beamformer outputs in the same ratio and with the same distribution. Compared with this, the frequency component of the non-target area sound is different for each beamformer output. From these characteristics, the frequency component that is commonly included in each beamformer output can be estimated as a component of the target area sound. Based on this, the conventional target area sound described in
図７は、従来の収音方法を適用した収音装置１０の機能的構成について示したブロック図である。
FIG. 7 is a block diagram showing a functional configuration of the
図７に示す従来の収音装置１０は、データ入力部２、周波数領域変換部３、指向性形成部４、伝搬遅延差補正部５、パワー補正部６、第１の減算部７、及び第２の減算部８を有している。
7 includes a
マイクアレイＭＡ１、ＭＡ２からの捕捉信号は、それぞれ、データ入力部２においてアナログ信号からデジタル信号（データ）に変換され、周波数領域変換部３において時間領域から周波数領域へと変換されて捕捉信号群Ｘ１及びＸ２が得られる。そして、指向性形成部４において図６（ａ）の指向性Ｚ１、指向性Ｚ２のような指向性を有するビームフォーマが適用されてビームフォーマ出力信号Ｘｍａ１（ｆ）及びＸｍａ２（ｆ）が得られる。そして、伝搬遅延差補正部５において各マイクアレイと目的エリアとの距離（既知の情報）に基づいていずれかのビームフォーマ出力信号Ｘｍａ１（ｆ）及びＸｍａ２（ｆ）を遅延させてタイミングを合わせて、遅延補正信号Ｘ’ｍａ１（ｆ）及びＸ’ｍａ２（ｆ）が得られる。
Capture signals from the microphone arrays MA 1 and MA 2 are converted from analog signals to digital signals (data) in the
パワー補正部６では、各マイクアレイと目的エリアとの距離による振幅差に加えて、目的エリア内の話者の向きに適応するため、（１）式によって振幅補正係数αｍａ１（アルファ）を算出する。なお、（１）式中の演算子ｍｏｄｅｆ（Ａ（ｆ））は、変数ｆにより値が変わる関数値Ａ（ｆ）のうち最も多く出現した値（最頻値）を得る演算子である。また、最頻値に代えて、（２）式のように中央値を用いても良い。なお、（２）式中の演算子ｍｅｄｉａｎｆ（Ａ（ｆ））は、変数ｆにより値が変わる関数値Ａ（ｆ）の中央値を得る演算子である。
そして、第１の減算部７において、マイクアレイＭＡ１に係る遅延補正信号Ｘ’ｍａ１（ｆ）から振幅補正係数αｍａ１によって振幅を補正したマイクアレイＭＡ２に係る遅延補正信号Ｘ’ｍａ２（ｆ）をスペクトル減算することにより、両ビームフォーマ出力で重なっている目的エリア音成分が消去され、マイクアレイＭＡ１に係る遅延補正信号Ｘ’ｍａ１（ｆ）に含まれている非目的エリア音成分Ｎｍａ１（ｆ）が抽出される。（３）式は、概ねこのような考え方に従っている算出式である。
Ｎｍａ１＝Ｘ’ｍａ１−αｍａ１・Ｘ’ｍａ２ …（３）
Then, in the first subtracting unit 7, 'delay correction signal X according ma1 from (f) to the microphone array MA 2 obtained by correcting the amplitude by the amplitude correction coefficient alpha ma1' ma2 delay correction signal X according to the microphone array MA 1 (f ) by spectral subtraction to both beamformer erased object area sound components overlapping in the output, the delay correction signal X 'ma1 (f) non-target area sound components contained in the N of the microphone array MA 1 ma1 (f) is extracted. Formula (3) is a calculation formula that generally follows such a concept.
N ma1 = X ′ ma1 −α ma1 · X ′ ma2 (3)
そして、第２の減算部８において、マイクアレイＭＡ１に係る遅延補正信号Ｘ’ｍａ１（ｆ）から非目的エリア音成分Ｎｍａ１（ｆ）をスペクトル減算することにより、目的エリア音Ｙｍａ１（ｆ）が抽出される。（４）式は、概ねこのような考え方に従っている算出式である。なお、（４）式中のβｍａ１（ベータ）は、非目的エリア音の除去強度を定めている一定値を取る係数である。
Ｙｍａ１＝Ｘ’ｍａ１−βｍａ１・Ｎｍａ１…（４）
Then, the
Y ma1 = X ′ ma1 −β ma1 · N ma1 (4)
以上のように、従来の収音方法を用いれば、目的エリアの周囲に非目的エリア音源が存在していても、目的エリア音のみを収音することができる。 As described above, if the conventional sound collection method is used, only the target area sound can be collected even if there is a non-target area sound source around the target area.
しかし、従来の収音方法では、目的エリア音のみを収音するために、２回のスペクトル減算を行っているため、抽出された目的エリア音に音質の問題が生じる可能性がある。 However, in the conventional sound collecting method, since the spectrum subtraction is performed twice in order to collect only the target area sound, there may be a problem in sound quality in the extracted target area sound.
スペクトル減算は、目的音成分と雑音成分が混在する観測信号と、適当な方法で推定した雑音成分とがあるときに、周波数成分ごとに、観測信号の振幅又はパワーから推定雑音成分の振幅又はパワーを減じることで、目的音の振幅又はパワーを推定する方法である。推定雑音成分は、実環境では推定誤差を必ず含んでしまう。そのため、スペクトル減算は、雑音成分が過大推定された周波数成分では目的音の成分までも減衰させてしまうため、目的音がひずむ課題と、雑音成分が過小推定された周波数成分では雑音成分を減衰させきれないため、雑音成分が残留する課題を有する。またさらに、周波数成分ごとにおいて、真の目的音の振幅又はパワーと真の雑音の振幅又はパワーとの和は、観測信号の振幅又はパワーと一致するとは限らないため、仮に推定雑音成分が推定誤差を含まなかったとしても、スペクトル減算は目的音がひずむ課題と雑音成分が残留する課題を有する。 Spectral subtraction is the measurement of the amplitude or power of the estimated noise component from the amplitude or power of the observed signal for each frequency component when there is an observed signal in which the target sound component and noise component are mixed and the noise component estimated by an appropriate method. This is a method for estimating the amplitude or power of the target sound. The estimated noise component necessarily includes an estimation error in the actual environment. For this reason, spectral subtraction attenuates the target sound component for the frequency component with an overestimated noise component, so the problem that the target sound is distorted and the noise component for the frequency component with an underestimated noise component are attenuated. Since it cannot be solved, there is a problem that a noise component remains. Furthermore, for each frequency component, the sum of the amplitude or power of the true target sound and the amplitude or power of the true noise does not always match the amplitude or power of the observation signal. Even if not included, spectral subtraction has a problem that the target sound is distorted and a problem that a noise component remains.
なお、残留した雑音成分は、ミュージカルノイズと呼ばれる極めて不快な雑音として知覚されるため、スペクトル減算の最大の課題として一般的に周知されている。ミュージカルノイズは雑音成分が強くひずんだ雑音である。 Since the remaining noise component is perceived as extremely unpleasant noise called musical noise, it is generally known as the biggest problem of spectrum subtraction. Musical noise is noise in which the noise component is strongly distorted.
従来の収音方法では、以上のような課題を有するスペクトル減算を２回適用するため、強調された目的エリア音がひずむ場合があるという課題があった。 In the conventional sound collection method, since the spectral subtraction having the above-described problems is applied twice, there is a problem that the emphasized target area sound may be distorted.
そのため、より少ないひずみで目的エリア音のみを強調する収音装置、プログラム及び方法が望まれている。 Therefore, a sound collection device, program, and method that emphasize only the target area sound with less distortion are desired.
第１の本発明の収音装置は、（１）２つのマイクから成る複数のマイクアレイごとに、音の到来方向に応じて変化するものであって、目的エリア方向から到来する音響に対して大きな値を取り、目的エリア方向以外の方向から到来する音響に対して小さな値を取る特徴を備える到来方向特徴量を算出する特徴量算出手段と、（２）周波数成分ごとに、それぞれの前記マイクアレイの前記到来方向特徴量を統合したエリア特徴量を取得する特徴量統合手段と、（３）前記エリア特徴量を用いて、前記マイクアレイが出力する捕捉信号に基づく信号から目的エリア音を抽出する目的エリア音抽出手段とを有することを特徴とする。 The sound collection device of the first aspect of the present invention is (1) for each of a plurality of microphone arrays composed of two microphones, which changes in accordance with the direction of arrival of sound, and for sound coming from the target area direction. Feature amount calculating means for calculating an arrival direction feature amount having a large value and a small value for sound arriving from directions other than the direction of the target area, and (2) each of the microphones for each frequency component Feature amount integration means for acquiring an area feature amount obtained by integrating the arrival direction feature amounts of the array; and (3) extracting a target area sound from a signal based on the captured signal output from the microphone array using the area feature amount. And a target area sound extraction means.
第２の本発明の収音プログラムは、コンピュータを、（１）２つのマイクから成る複数のマイクアレイごとに、音の到来方向に応じて変化するものであって、目的エリア方向から到来する音響に対して大きな値を取り、目的エリア方向以外の方向から到来する音響に対して小さな値を取る特徴を備える到来方向特徴量を算出する特徴量算出手段と、（２）周波数成分ごとに、それぞれの前記マイクアレイの前記到来方向特徴量を統合したエリア特徴量を取得する特徴量統合手段と、（３）前記エリア特徴量を用いて、前記マイクアレイが出力する捕捉信号に基づく信号から目的エリア音を抽出する目的エリア音抽出手段として機能させることを特徴とする。 The sound collection program according to the second aspect of the present invention allows a computer to (1) change sound for each of a plurality of microphone arrays composed of two microphones according to the direction of arrival of sound, and to receive sound coming from a target area direction. A feature amount calculation means for calculating an arrival direction feature amount having a feature that takes a large value for sound and a small value for sound coming from directions other than the target area direction, and (2) for each frequency component, Feature amount integration means for acquiring an area feature amount obtained by integrating the direction-of-arrival feature amounts of the microphone array; and (3) a target area from a signal based on a captured signal output by the microphone array using the area feature amount. It is made to function as a target area sound extraction means which extracts a sound.
第３の本発明の収音方法は、（１）特徴量算出手段、特徴量統合手段、及び目的エリア音抽出手段を備え、（２）前記特徴量算出手段は、２つのマイクから成る複数のマイクアレイごとに、音の到来方向に応じて変化するものであって、目的エリア方向から到来する音響に対して大きな値を取り、目的エリア方向以外の方向から到来する音響に対して小さな値を取る特徴を備える到来方向特徴量を算出し、（３）前記特徴量統合手段は、周波数成分ごとに、それぞれの前記マイクアレイの前記到来方向特徴量を統合したエリア特徴量を取得し、（５）前記目的エリア音抽出手段は、前記エリア特徴量を用いて、前記マイクアレイが出力する捕捉信号に基づく信号から目的エリア音を抽出することを特徴とする。 A sound collection method according to a third aspect of the present invention includes (1) a feature amount calculation unit, a feature amount integration unit, and a target area sound extraction unit. (2) The feature amount calculation unit includes a plurality of microphones including two microphones. Each microphone array changes according to the direction of arrival of sound, and takes a large value for sound coming from the target area direction and a small value for sound coming from directions other than the target area direction. (3) The feature amount integration unit acquires, for each frequency component, an area feature amount obtained by integrating the arrival direction feature amounts of the respective microphone arrays, and (5) The target area sound extraction means extracts the target area sound from the signal based on the captured signal output from the microphone array, using the area feature value.
本発明によれば、より少ないひずみで目的エリア音のみを強調する収音装置、プログラム及び方法を提供することができる。 According to the present invention, it is possible to provide a sound collection device, a program, and a method that emphasize only a target area sound with less distortion.
（Ａ）主たる実施形態
以下、本発明による収音装置、プログラム及び方法の一実施形態を、図面を参照しながら詳述する。
(A) Main Embodiment Hereinafter, an embodiment of a sound collection device, a program, and a method according to the present invention will be described in detail with reference to the drawings.
（Ａ−１）実施形態の構成
図１は、この実施形態の収音装置１００の機能的構成について示したブロック図である。
(A-1) Configuration of Embodiment FIG. 1 is a block diagram showing a functional configuration of the
収音装置１００は、Ｍ個のマイクアレイＭＡ（ＭＡ１〜ＭＡＭ）から供給される音響信号を用いて、目的エリアの音源からの目的エリア音を収音する目的エリア音収音処理を行う。
The
各マイクアレイＭＡは、目的エリアが存在する空間の、目的エリアを指向できる場所に配置される。各マイクアレイＭＡは、２つのマイク１（１１、１２）により構成されている。各マイクアレイＭＡでは、２つのマイク１１、１２によって捕捉された音響に基づく音響信号がデータ入力部１０２に供給される。
Each microphone array MA is arranged at a location where the target area can be directed in the space where the target area exists. Each microphone array MA is composed of two microphones 1 (1 1 , 1 2 ). In each microphone array MA, an acoustic signal based on the sound captured by the two
次に、収音装置１００の内部構成について図１を用いて説明する。
Next, the internal configuration of the
図１に示すように、この実施形態に係る収音装置１００は、データ入力部１０２、周波数領域変換部１０３、特徴量算出部１０４、特徴量統合部１０５、及び目的エリア音抽出部１０６を有している。収音装置１００内部の各構成要素の詳細については後述する。
As shown in FIG. 1, the
収音装置１００において、デジタル信号に変換された後の処理構成を、プロセッサやメモリ等を備えるコンピュータにプログラム（実施形態に係る収音プログラムを含む）を実行させるようにしてもよいが、その場合であっても、機能的には、図１で表すことができる。
In the
（Ａ−２）実施形態の動作
次に、以上のような構成を有するこの実施形態の収音装置１００の動作（この実施形態の収音方法）を説明する。
(A-2) Operation of Embodiment Next, the operation (sound collection method of this embodiment) of the
データ入力部１０２は、マイクアレイＭＡ１〜ＭＡＭで捕捉した音響信号を、マイク１ごとにアナログ信号からデジタル信号（データ）に変換する。データ入力部１０２は、得られた捕捉信号を、周波数領域変換部１０３に与える。
以下では、マイクアレイＭＡ１〜ＭＡＭのマイク１１で捕捉された捕捉信号をそれぞれｘ１，１（ｔ）〜ｘＭ，１（ｔ）と表し、マイクアレイＭＡ１〜ＭＡＭのマイク１２で捕捉された捕捉信号をそれぞれ、ｘ１，２（ｔ）〜ｘＭ，２（ｔ）と表す。
In the following, the
周波数領域変換部１０３は、捕捉信号ｘ１，１（ｔ）〜ｘＭ，１（ｔ）、ｘ１，２（ｔ）〜ｘＭ，２（ｔ）をそれぞれ時間領域から周波数領域へと変換する。
The frequency
以下では、捕捉信号ｘ１，１（ｔ）〜ｘＭ，１（ｔ）、ｘ１，２（ｔ）〜ｘＭ，２（ｔ）を周波数領域に変換した信号を、Ｘ１，１（ｔ）〜ＸＭ，１（ｔ）、Ｘ１，２（ｔ）〜ＸＭ，２（ｔ）と表す。 In the following, the signals obtained by converting the acquired signals x 1,1 (t) to x M, 1 (t) and x 1,2 (t) to x M, 2 (t) into the frequency domain are represented by X 1,1 ( t) to X M, 1 (t), X 1,2 (t) to X M, 2 (t).
周波数領域変換部１０３は、得られた周波数領域の捕捉信号Ｘ１，１（ｔ）〜ＸＭ，１（ｔ）、Ｘ１，２（ｔ）〜ＸＭ，２（ｔ）を、特徴量算出部１０４及び目的エリア音抽出部１０６に供給する。
The frequency
周波数領域変換部１０３が行う変換には、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）やウェーブレット変換、フィルタバンクなどを利用することができるが、ＦＦＴが最も好適である。ここで、ＦＦＴを行う際、ハミング窓などの各種窓関数を用いるようにしても良い。
For the transform performed by the frequency
特徴量算出部１０４は、捕捉信号Ｘ１，１（ｔ）〜ＸＭ，１（ｔ）、Ｘ１，２（ｔ）〜ＸＭ，２（ｔ）から、マイクアレイＭＡごとに、到来方向特徴量Ｄ１（ｆ）〜ＤＭ（ｆ）を算出する。特徴量算出部１０４は、得られた到来方向特徴量Ｄ１（ｆ）〜ＤＭ（ｆ）を、特徴量統合部１０５に供給する。
The feature
特徴量算出部１０４において、到来方向特徴量Ｄ１（ｆ）〜ＤＭ（ｆ）は捕捉信号Ｘ１，１（ｔ）〜ＸＭ，１（ｔ）、Ｘ１，２（ｔ）〜ＸＭ，２（ｔ）からマイクアレイＭＡごとに同様の算出方法によって算出される。以下ではｉ番目（ｉは１〜Ｍのいずれか）のマイクアレイＭＡｉにおける捕捉信号Ｘｉ，１（ｆ）、Ｘｉ，２（ｆ）と到来方向特徴量Ｄｉ（ｆ）について説明する。
In the feature
到来方向特徴量Ｄｉ（ｆ）は、目的エリア方向に対して大きな値を取り、目的エリア方向以外の方向に対して小さな値を取るような特徴を持つことが好ましい。到来方向特徴量Ｄｉ（ｆ）にそのような特徴を持たせられる算出方法であれば、どのような算出方法を用いても良い。目的エリアが、全てのマイクアレイＭＡの正面方向に位置している場合は、例えば（５）式を用いるのが好適である。
捕捉信号Ｘｉ，１（ｆ）、Ｘｉ，２（ｆ）は、目的エリア音と非目的エリア音とが混在した信号であるが、音声のスパース性を仮定すると、各周波数成分には目的エリア音と非目的エリア音のいずれかしか含まれないことになる。したがって、ある音源があるマイクアレイＭＡに到来する角度をθ（シータ）と定義すると、（５）式は（６）式のように展開できる。（６）式において、ｃは音速、ｄはマイクアレイを構成する２つのマイク１１、１２の間の距離である。なお、同様に音声のスパース性を仮定すると、到来方向特徴量Ｄｉ（ｆ）の算出方法として（７）式のような到来方向を明示的に求める算出方法を用いることもできる。（７）式の絶対値の内側が到来方向θの正弦関数の値（ｓｉｎθ）となっている。
次に、到来方向特徴量Ｄｉ（ｆ）の具体例について図２、図３を用いて説明する。 Next, a specific example of the arrival direction feature amount D i (f) will be described with reference to FIGS.
図２（ａ）、図３（ａ）は、それぞれマイクアレイＭＡ１、ＭＡ２に対応する到来方向特徴量Ｄ１（ｆ）、Ｄ２（ｆ）を（５）式を用いて求めた場合の例を３次元（縦、横、高さ）のグラフで示している。 2A and 3A show the cases where the arrival direction feature amounts D 1 (f) and D 2 (f) corresponding to the microphone arrays MA 1 and MA 2 are obtained using the equation (5), respectively. Is shown in a three-dimensional (vertical, horizontal, height) graph.
図２（ａ）、図３（ａ）のグラフは、マイクアレイＭＡ１からの距離を縦位置（グラフの縦方向の軸）とし、マイクアレイＭＡ２からの距離を横位置（グラフの横方向の軸）とし、到来方向特徴量Ｄ１（ｆ）、Ｄ２（ｆ）の値を高さ（グラフの高さ方向（上下方向）の軸）としている。そして、図２（ａ）、図３（ａ）のグラフは、ｆ＝３ｋＨｚとしたときの様々な縦位置と横位置から目的エリア音や非目的エリア音が到来した場合における到来方向特徴量Ｄ１（ｆ）、Ｄ２（ｆ）の値を示している。 Graph of FIG. 2 (a), FIG. 3 (a), the vertical position the distance from the microphone array MA 1 (vertical axis of the graph), the transverse direction of the transverse position (graph the distance from the microphone array MA 2 ) And the values of the arrival direction feature values D 1 (f) and D 2 (f) are heights (axis in the height direction (vertical direction) of the graph). The graphs of FIGS. 2 (a) and 3 (a) show arrival direction feature amounts D when target area sounds and non-target area sounds arrive from various vertical and horizontal positions when f = 3 kHz. The values of 1 (f) and D 2 (f) are shown.
図２（ｂ）は、図２（ａ）に図示したＰ４１１〜Ｐ４１６の各位置における到来方向特徴量Ｄ１（ｆ）の値を示している。図２（ｂ）に示す通り、Ｐ４１１〜Ｐ４１６のそれぞれの位置の到来方向特徴量Ｄ１（ｆ）の値は、−０．１３、１、−０．１３、０．７２、１、０．７２となる。 FIG. 2B shows the value of the arrival direction feature quantity D 1 (f) at each position of P411 to P416 shown in FIG. As shown in FIG. 2B, the values of the arrival direction feature amounts D 1 (f) at the respective positions of P411 to P416 are −0.13, 1 , −0.13, 0.72, 1, 0,. 72.
なお、図２（ａ）は、マイクアレイＭＡ１を横位置１．５ｍ、縦位置０ｍに設置したときの、マイクアレイＭＡ１に関するｆ＝３ｋＨｚの音の到来方向特徴量Ｄ１（ｆ）のグラフとなっている。図２（ａ）、図２（ｂ）に示すように、マイクアレイＭＡ１の正面方向（横位置が１．５ｍの場合）において、到来方向特徴量Ｄ１（ｆ）がピーク値となっていることがわかる。
Incidentally, FIG. 2 (a), the lateral position 1.5m microphone array MA 1, when installed in a vertical position 0 m, the arrival of sound f = 3 kHz about the microphone array MA 1
図３（ｂ）は、図３（ａ）に図示したＰ４２１〜Ｐ４２６の各位置における到来方向特徴量Ｄ２（ｆ）の値を示している。図３（ｂ）に示す通り、Ｐ４２１〜Ｐ４２６のそれぞれの位置の到来方向特徴量Ｄ２（ｆ）の値は、０．７２、−０．１３、１、−０．１３、０．７２、１となる。 FIG. 3B shows the value of the arrival direction feature value D 2 (f) at each position of P421 to P426 shown in FIG. As shown in FIG. 3B, the values of the arrival direction feature amounts D 2 (f) at the respective positions of P421 to P426 are 0.72, −0.13, 1, −0.13, 0.72, 1
なお、図３（ａ）は、マイクアレイＭＡ２を横位置０ｍ、縦位置１．５ｍに設置したときの、マイクアレイＭＡ２に関するｆ＝３ｋＨｚにおける到来方向特徴量Ｄ２（ｆ）のグラフである。図３（ａ）、図３（ｂ）に示すように、マイクアレイＭＡ２の正面方向（縦位置が１．５ｍの場合）において、到来方向特徴量Ｄ２（ｆ）がピーク値となっていることがわかる。 3 (a) is, the microphone array MA 2 lateral position 0 m, when placed in a vertical position 1.5 m, a graph of the arrival direction feature amount D 2 (f) in f = 3 kHz about the microphone array MA 2 is there. As shown in FIGS. 3A and 3B, the arrival direction feature amount D 2 (f) is a peak value in the front direction of the microphone array MA 2 (when the vertical position is 1.5 m). I understand that.
特徴量統合部１０５は、周波数成分ごとに、到来方向特徴量Ｄ１（ｆ）〜ＤＭ（ｆ）を統合してエリア特徴量Ｅ（ｆ）を算出する。得られたエリア特徴量Ｅ（ｆ）は、目的エリア音抽出部１０６に与えられる。
The feature
エリア特徴量Ｅ（ｆ）の算出方法（統合方法）は、全ての到来方向特徴量Ｄ１（ｆ）〜ＤＭ（ｆ）が大きいときにエリア特徴量Ｅ（ｆ）も大きくなるような算出方法（統合方法）であれば、どのような算出方法を用いても良いが、例えば、（８）式のように、周波数成分ごとに、全てのマイクアレイに関して最小となる到来方向特徴量Ｄ１（ｆ）〜ＤＭ（ｆ）を選択してエリア特徴量Ｅ（ｆ）とするようにしてもよい。
Ｅ（ｆ）＝ｍｉｎ［Ｄ１（ｆ），…，ＤＭ（ｆ）］ …（８）
The calculation method (integration method) of the area feature quantity E (f) is a calculation in which the area feature quantity E (f) increases when all the arrival direction feature quantities D 1 (f) to D M (f) are large. Any calculation method may be used as long as it is a method (integration method). For example, as shown in equation (8), for each frequency component, the arrival direction feature amount D 1 that is the minimum for all microphone arrays is used. (F) to D M (f) may be selected as the area feature amount E (f).
E (f) = min [D 1 (f),..., D M (f)] (8)
次に、エリア特徴量Ｅ（ｆ）の具体例について図４を用いて説明する。 Next, a specific example of the area feature amount E (f) will be described with reference to FIG.
図４（ａ）は、（８）式を用いて、エリア特徴量Ｅ（ｆ）を求めた場合の例を３次元（縦、横、高さ）のグラフで示している。 FIG. 4A shows a three-dimensional (vertical, horizontal, height) example when the area feature amount E (f) is obtained using the equation (8).
図４（ａ）は、図６のようにマイクアレイＭＡ１、ＭＡ２（マイク１が２個の）を配置した場合において、到来方向特徴量Ｄ１（ｆ）、Ｄ２（ｆ）をそれぞれ（５）式で算出し、算出した到来方向特徴量Ｄ１（ｆ）、Ｄ２（ｆ）を（８）式に適用してエリア特徴量Ｅ（ｆ）を算出した場合の例を示している。すなわち、図４（ａ）は、図２（ａ）、図３（ａ）に示す到来方向特徴量Ｄ１（ｆ）、Ｄ２（ｆ）を（８）式により統合したエリア特徴量Ｅ（ｆ）を示している。 FIG. 4A shows arrival direction feature amounts D 1 (f) and D 2 (f) when microphone arrays MA 1 and MA 2 ( two microphones 1) are arranged as shown in FIG. An example in which the area feature quantity E (f) is calculated by calculating the formula (5) and applying the calculated arrival direction feature quantities D 1 (f) and D 2 (f) to the formula (8) is shown. Yes. That is, FIG. 4A shows an area feature E () obtained by integrating the arrival direction features D 1 (f) and D 2 (f) shown in FIGS. 2A and 3A according to the equation (8). f).
図４（ａ）のグラフは、マイクアレイＭＡ１からの距離を縦位置（グラフの縦方向の軸）とし、マイクアレイＭＡ２からの距離を横位置（グラフの横方向の軸）とし、エリア特徴量Ｅ（ｆ）の値を高さ（グラフの高さ方向（上下方向）の軸）としている。なお、図４（ａ）は、ｆ＝３ｋＨｚのときの様々な縦位置と横位置におけるエリア特徴量Ｅ（ｆ）の値を示している。 Graph of FIG. 4 (a), the distance from the microphone array MA 1 and vertical position (vertical axis of the graph), the distance from the microphone array MA 2 to the lateral position (horizontal axis of the graph), the area The value of the feature amount E (f) is the height (axis in the height direction (vertical direction) of the graph). FIG. 4A shows values of area feature values E (f) at various vertical positions and horizontal positions when f = 3 kHz.
図４（ｂ）は、図４（ａ）に図示したＰ５１〜５９の各位置におけるエリア特徴量Ｅ（ｆ）の値を示している。図４（ｂ）に示す通り、Ｐ５１〜５９のそれぞれの位置のエリア特徴量Ｅ（ｆ）の値は、−０．１３、０．３６、−０．１３、０．３６、−０．１３、０．３６、０．７２、０．３６、１となっている。 FIG. 4B shows the value of the area feature amount E (f) at each position of P51 to P59 shown in FIG. As shown in FIG. 4B, the area feature value E (f) at each of the positions P51 to P59 is -0.13, 0.36, -0.13, 0.36, -0.13. , 0.36, 0.72, 0.36, and 1.
図４（ａ）、図４（ｂ）に示すように、マイクアレイＭＡ１とマイクアレイＭＡ２の正面方向（横位置と縦位置が共に１．５ｍとなる点の周辺）において、エリア特徴量Ｅ（ｆ）が大きな値となっていることがわかる。 As shown in FIG. 4A and FIG. 4B, in the front direction of the microphone array MA 1 and the microphone array MA 2 (around the point where both the horizontal position and the vertical position are 1.5 m), the area feature amount It can be seen that E (f) has a large value.
目的エリア音抽出部１０６は、捕捉信号Ｘ１，１（ｔ）〜ＸＭ，１（ｔ）、Ｘ１，２（ｔ）〜ＸＭ，２（ｔ）とエリア特徴量Ｅ（ｆ）とに基づいて目的エリア強調音Ｙ（ｆ）を算出する。そして、目的エリア音抽出部１０６は、得られた目的エリア強調音Ｙ（ｆ）を次段に供給（出力）する。
The target area
目的エリア音抽出部１０６において、目的エリア音の抽出（強調）対象となる捕捉信号の選択（Ｘ１，１（ｔ）〜ＸＭ，１（ｔ）、Ｘ１，２（ｔ）〜ＸＭ，２（ｔ）のいずれかの選択）は任意であり、例えば先頭のＸ１，１（ｆ）としても良いし、最も目的エリアに近いマイクに係る捕捉信号としても良いし、最も目的エリアに近いマイクアレイＭＡの捕捉信号群に遅延和ビームフォーマを適用して目的エリア音を少しだけ強調した信号（統合捕捉信号と呼ぶ）としても良い。以下、選択された捕捉信号又は統合捕捉信号を抽出対象信号Ｘ’（ｆ）と呼ぶ。
In the target area
目的エリア音抽出部１０６において、目的エリア音の抽出（強調）は、抽出対象信号Ｘ’（ｆ）の周波数成分の内、目的エリア音以外の周波数成分を減衰させることで達成される。そして、エリア特徴量Ｅ（ｆ）は目的エリアに近いほど大きな値となっていることから、目的エリア音抽出部１０６では、エリア特徴量Ｅ（ｆ）の大小に応じて抽出対象信号Ｘ’（ｆ）を減衰させることで、目的エリア音を抽出（強調）することができる。目的エリア音抽出部１０６では、例えば、（９）式のように、周波数成分ごとに所定の閾値Ｆ（ｆ）を事前に定めておいて、エリア特徴量Ｅ（ｆ）が閾値Ｆ（ｆ）より小さければ抽出対象信号Ｘ’（ｆ）の当該周波数成分を減衰させる（例えば、ゼロとする）ことで、目的エリア音の周波数成分だけが残った目的エリア強調音Ｙ（ｆ）を得ることができる。
目的エリア音抽出部１０６において、閾値Ｆ（ｆ）は、周波数成分によらず一定値としても良いが、その場合、周波数成分によって抽出（強調）されるエリアの範囲が変化してしまう。これは、目的エリアは、周波数が低いほど広く、周波数が高いほど狭くなるためである。そこで、目的エリア音抽出部１０６では、例えば（１０）式のように、周波数成分ごとに閾値Ｆ（ｆ）を定めることで、周波数の高低によらず目的エリア（周波数成分が減衰されない範囲）を一定の範囲に定めることができる。（１０）式において、φ（ファイ）は、各マイクアレイから見た目的エリアの広さ（角度）である。
In the target area
図５は、図２〜図４と同様に、図６のようにマイクアレイＭＡ１、ＭＡ２を配置した場合において、φ＝π／１０としたときに、目的エリアであると判定される範囲を示している。 FIG. 5 shows the range determined as the target area when φ = π / 10 when the microphone arrays MA 1 and MA 2 are arranged as shown in FIG. Is shown.
図５において、黒色に塗りつぶされた領域が閾値に基づき目的エリアでないと判定された範囲を示し、それ以外の領域（黒く塗りつぶされていない領域）が閾値に基づき目的エリアであると判定された範囲を示している。 FIG. 5 shows a range in which a black area is determined not to be the target area based on the threshold value, and other areas (areas that are not black) are determined to be the target area based on the threshold value. Is shown.
図５に示すように、縦横共に、およそ１〜２ｍの範囲が閾値に基づき目的エリアであると判定されていることがわかる。
（Ａ−３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
(A-3) Effects of Embodiment According to this embodiment, the following effects can be achieved.
この実施形態の収音装置１００では、スペクトル減算を行わないので、目的エリアが非目的エリア音源に囲まれている状況でも、少ないひずみで目的エリア音のみを強調することができる。
Since the
（Ｂ）他の実施形態
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
(B) Other Embodiments The present invention is not limited to the above-described embodiments, and may include modified embodiments as exemplified below.
（Ｂ−１）特徴量算出部１０４において、到来方向特徴量Ｄｉ（ｆ）の算出方法には、（１１）式や（１２）式も適用し得る。
(B-1) In the feature
また、特徴量統合部１０５において、エリア特徴量Ｅ（ｆ）の算出方法（到来方向特徴量Ｄ１（ｆ）〜ＤＭ（ｆ）の統合方法）には、（１３）式や（１４）式も適用し得る。
（Ｂ−２）目的エリア音抽出部１０６において、閾値Ｆ（ｆ）のある周波数（例えば２５０Ｈｚ）より小さい周波数成分では一定値としても良い。例えば２５０Ｈｚ未満におけるＦ（ｆ）の値として２５０ＨｚにおけるＦ（ｆ）を用いると、２５０Ｈｚ未満の周波数成分では目的エリアであると判定される範囲が広くなり、周波数の低い周波数成分がひずみにくくなり、よりひずみの少ない目的エリア強調音Ｙ（ｆ）を得られる。
(B-2) In the target area
また、目的エリア音抽出部１０６において、２つの閾値Ｆ１（ｆ）、Ｆ２（ｆ）を用意して、エリア強調ゲインＧ（ｆ）を算出して、得られたエリア強調ゲインＧ（ｆ）を抽出対象信号Ｘ’（ｆ）に乗じることで、目的エリア強調音Ｙ（ｆ）を算出しても良い。例えば、２つの閾値Ｆ１（ｆ）、Ｆ２（ｆ）を（１５）式にしたがって算出するものとして、φ１＝π／９、φ２−π／１１として、（１６）式によってエリア強調ゲインを算出しても良い。これにより、抽出対象信号Ｘ’（ｆ）の周波数成分の中で、目的エリアと非目的エリアの境界付近に存在する音源に由来する成分の減衰度合が緩やかになるため、よりひずみの少ない目的エリア強調音Ｙ（ｆ）が得られる。
１００…収音装置、１０２…データ入力部、１０３…周波数領域変換部、１０４…特徴量算出部、１０５…特徴量統合部、１０６…目的エリア音抽出部。
DESCRIPTION OF
Claims (8)
周波数成分ごとに、それぞれの前記マイクアレイの前記到来方向特徴量を統合したエリア特徴量を取得する特徴量統合手段と、
前記エリア特徴量を用いて、前記マイクアレイが出力する捕捉信号に基づく信号から目的エリア音を抽出する目的エリア音抽出手段と
を有することを特徴とする収音装置。 Each of a plurality of microphone arrays composed of two microphones changes according to the arrival direction of sound, takes a large value with respect to the sound coming from the target area direction, and comes from a direction other than the target area direction. A feature amount calculating means for calculating an arrival direction feature amount including a feature having a small value with respect to sound;
Feature quantity integration means for acquiring area feature quantities obtained by integrating the arrival direction feature quantities of the respective microphone arrays for each frequency component;
A sound collection apparatus comprising: a target area sound extraction unit that extracts a target area sound from a signal based on a captured signal output from the microphone array using the area feature amount.
２つのマイクから成る複数のマイクアレイごとに、音の到来方向に応じて変化するものであって、目的エリア方向から到来する音響に対して大きな値を取り、目的エリア方向以外の方向から到来する音響に対して小さな値を取る特徴を備える到来方向特徴量を算出する特徴量算出手段と、
周波数成分ごとに、それぞれの前記マイクアレイの前記到来方向特徴量を統合したエリア特徴量を取得する特徴量統合手段と、
前記エリア特徴量を用いて、前記マイクアレイが出力する捕捉信号に基づく信号から目的エリア音を抽出する目的エリア音抽出手段と
して機能させることを特徴とする収音プログラム。 Computer
Each of a plurality of microphone arrays composed of two microphones changes according to the arrival direction of sound, takes a large value with respect to the sound coming from the target area direction, and comes from a direction other than the target area direction. A feature amount calculating means for calculating an arrival direction feature amount including a feature having a small value with respect to sound;
Feature quantity integration means for acquiring area feature quantities obtained by integrating the arrival direction feature quantities of the respective microphone arrays for each frequency component;
A sound collection program that functions as a target area sound extraction unit that extracts a target area sound from a signal based on a captured signal output from the microphone array using the area feature amount.
特徴量算出手段、特徴量統合手段、及び目的エリア音抽出手段を備え、
前記特徴量算出手段は、２つのマイクから成る複数のマイクアレイごとに、音の到来方向に応じて変化するものであって、目的エリア方向から到来する音響に対して大きな値を取り、目的エリア方向以外の方向から到来する音響に対して小さな値を取る特徴を備える到来方向特徴量を算出し、
前記特徴量統合手段は、周波数成分ごとに、それぞれの前記マイクアレイの前記到来方向特徴量を統合したエリア特徴量を取得し、
前記目的エリア音抽出手段は、前記エリア特徴量を用いて、前記マイクアレイが出力する捕捉信号に基づく信号から目的エリア音を抽出する
ことを特徴とする収音方法。 In the sound collection method,
A feature amount calculating means, a feature amount integrating means, and a target area sound extracting means;
The feature amount calculation means changes according to the direction of arrival of sound for each of a plurality of microphone arrays composed of two microphones, and takes a large value with respect to the sound arriving from the direction of the target area. Calculate the direction-of-arrival feature with a feature that takes a small value for sound coming from directions other than the direction,
The feature amount integration unit acquires, for each frequency component, an area feature amount obtained by integrating the arrival direction feature amounts of the microphone arrays.
The sound collection method according to claim 1, wherein the target area sound extraction unit extracts a target area sound from a signal based on a captured signal output from the microphone array, using the area feature amount.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017068515A JP6863004B2 (en) | 2017-03-30 | 2017-03-30 | Sound collectors, programs and methods |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017068515A JP6863004B2 (en) | 2017-03-30 | 2017-03-30 | Sound collectors, programs and methods |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018170718A true JP2018170718A (en) | 2018-11-01 |
| JP6863004B2 JP6863004B2 (en) | 2021-04-21 |
Family
ID=64019248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017068515A Active JP6863004B2 (en) | 2017-03-30 | 2017-03-30 | Sound collectors, programs and methods |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6863004B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114578289A (en) * | 2022-04-26 | 2022-06-03 | 浙江大学湖州研究院 | High-resolution spectrum estimation acoustic array imaging method |
| JP7529065B1 (en) | 2023-01-20 | 2024-08-06 | 沖電気工業株式会社 | Sound collection device, sound collection program, and sound collection method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001204092A (en) * | 2000-01-18 | 2001-07-27 | Nippon Telegr & Teleph Corp <Ntt> | Each zone sound collection device |
| WO2014188735A1 (en) * | 2013-05-23 | 2014-11-27 | 日本電気株式会社 | Sound processing system, sound processing method, sound processing program, vehicle equipped with sound processing system, and microphone installation method |
-
2017
- 2017-03-30 JP JP2017068515A patent/JP6863004B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001204092A (en) * | 2000-01-18 | 2001-07-27 | Nippon Telegr & Teleph Corp <Ntt> | Each zone sound collection device |
| WO2014188735A1 (en) * | 2013-05-23 | 2014-11-27 | 日本電気株式会社 | Sound processing system, sound processing method, sound processing program, vehicle equipped with sound processing system, and microphone installation method |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114578289A (en) * | 2022-04-26 | 2022-06-03 | 浙江大学湖州研究院 | High-resolution spectrum estimation acoustic array imaging method |
| CN114578289B (en) * | 2022-04-26 | 2022-09-27 | 浙江大学湖州研究院 | High-resolution spectrum estimation acoustic array imaging method |
| WO2023207047A1 (en) * | 2022-04-26 | 2023-11-02 | 浙江大学湖州研究院 | Acoustic array imaging method for high-resolution spectrum estimation |
| JP7529065B1 (en) | 2023-01-20 | 2024-08-06 | 沖電気工業株式会社 | Sound collection device, sound collection program, and sound collection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6863004B2 (en) | 2021-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8654990B2 (en) | Multiple microphone based directional sound filter | |
| JP6526083B2 (en) | System and method for source signal separation | |
| JP6187626B1 (en) | Sound collecting device and program | |
| US10334360B2 (en) | Method for accurately calculating the direction of arrival of sound at a microphone array | |
| JP6763332B2 (en) | Sound collectors, programs and methods | |
| KR20090037692A (en) | Method and apparatus for extracting the target sound signal from the mixed sound | |
| EP3120355A2 (en) | Noise suppression | |
| JP2008236077A (en) | Target sound extracting apparatus, target sound extracting program | |
| JP6225245B2 (en) | Signal processing apparatus, method and program | |
| JP6131989B2 (en) | Sound collecting apparatus, program and method | |
| KR20090037845A (en) | Method and apparatus for extracting the target sound signal from the mixed sound | |
| JP2018170718A (en) | Sound collecting device, program, and method | |
| JP6436180B2 (en) | Sound collecting apparatus, program and method | |
| JP2016163135A (en) | Sound collection device, program and method | |
| JP2020076907A (en) | Signal processing device, signal processing program and signal processing method | |
| JP6241520B1 (en) | Sound collecting apparatus, program and method | |
| Levi et al. | A robust method to extract talker azimuth orientation using a large-aperture microphone array | |
| JP6065029B2 (en) | Sound collecting apparatus, program and method | |
| JP6879340B2 (en) | Sound collecting device, sound collecting program, and sound collecting method | |
| JP6624256B1 (en) | Sound pickup device, program and method | |
| JP6772890B2 (en) | Signal processing equipment, programs and methods | |
| JP2022135110A (en) | Sound pickup device, sound pickup program, and sound pickup method | |
| JP2020120263A (en) | Sound pickup device, sound pickup program, and sound pickup method | |
| JP6923025B1 (en) | Sound collectors, programs and methods | |
| JP2023177213A (en) | Sound collection device, sound collection program, and sound collection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191115 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200811 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201008 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210302 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210315 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6863004 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |