JP7152786B2 - Sound collector, directivity control device and directivity control method - Google Patents

Sound collector, directivity control device and directivity control method Download PDF

Info

Publication number
JP7152786B2
JP7152786B2 JP2019526684A JP2019526684A JP7152786B2 JP 7152786 B2 JP7152786 B2 JP 7152786B2 JP 2019526684 A JP2019526684 A JP 2019526684A JP 2019526684 A JP2019526684 A JP 2019526684A JP 7152786 B2 JP7152786 B2 JP 7152786B2
Authority
JP
Japan
Prior art keywords
signal
directional
signals
specific direction
types
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019526684A
Other languages
Japanese (ja)
Other versions
JPWO2019003716A1 (en
Inventor
好孝 村山
寧 本多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CEAR, INC.
Original Assignee
CEAR, INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CEAR, INC. filed Critical CEAR, INC.
Publication of JPWO2019003716A1 publication Critical patent/JPWO2019003716A1/en
Application granted granted Critical
Publication of JP7152786B2 publication Critical patent/JP7152786B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

本発明は、任意の方向に指向性を付ける指向性コントロールに関する。 The present invention relates to directivity control that provides directivity in any direction.

複数のマイクで周囲の音を収集し、複数の集音信号から特定方向に指向性を付けた音波信号を生成する技術が各種提案されている。複数のマイクには個体差があり、マイク固有の回路ノイズや風切り音といったマイク間で無相関のノイズが発生する。そこで、これらノイズを抑制する方法が検討されているところである。 Various techniques have been proposed for collecting surrounding sounds with a plurality of microphones and generating sound wave signals with directivity in a specific direction from a plurality of collected sound signals. Multiple microphones have individual differences, and uncorrelated noise such as microphone-specific circuit noise and wind noise occurs between microphones. Therefore, methods for suppressing these noises are being studied.

無相関のノイズを抑制する方法として、非線形性のアルゴリズムを使ったスペクトルサブトラクション法がある（例えば特許文献１参照）。このスペクトルサブトラクション法は、雑音のパワースペクトルの平均値を推定し、雑音を含んだ入力信号のパワースペクトルから差し引くことで雑音を低減させる方法である。 As a method of suppressing uncorrelated noise, there is a spectral subtraction method using a nonlinear algorithm (see, for example, Patent Document 1). This spectral subtraction method is a method for reducing noise by estimating the average value of the power spectrum of noise and subtracting it from the power spectrum of an input signal containing noise.

また、アンビソニックマイク（Ambisonic Microphones）を用い、再生時に記録済み信号同士を加算或いは減算処理することで、指向性を制御する方法が知られている（例えば非特許文献１参照）。アンビソニックマイクとは、正四面体の各頂点から外側に向く４つのマイクを配置したマイクロフォンユニットである。このマイクロフォンユニットは、指向性マイクを備え、指向性マイクで囲まれる中心に空間部を備える。 Also, there is known a method of controlling directivity by adding or subtracting recorded signals during playback using Ambisonic Microphones (see, for example, Non-Patent Document 1). An ambisonic microphone is a microphone unit in which four microphones are arranged facing outward from each vertex of a regular tetrahedron. This microphone unit is equipped with a directional microphone and has a central space surrounded by the directional microphone.

このアンビソニックマイクを用いた指向性制御方法では、まず４つの単一指向性マイクが出力した集音信号に基づいて、Ｂフォーマットと呼ばれる信号表現に変換する。Ｂフォーマットと呼ばれる信号表現には、０次である無指向性の集音信号と、１次と呼ばれる上下、左右及び前後に双方向性の各集音信号が含まれる。そして、０次の集音信号と１次の各周音信号を、指向性を与える特定方向に適した比率で足し合わせる。これにより、アンビソニックマイクを用いて特定方向に指向性が付けられる。 In the directivity control method using this ambisonic microphone, first, based on the collected sound signals output by the four unidirectional microphones, they are converted into a signal representation called B format. The signal representation called B format includes 0th-order omnidirectional collected sound signals and 1st-order bidirectional collected sound signals in up/down, left/right, and front/rear directions. Then, the 0th-order collected sound signal and each 1st-order peripheral sound signal are added together at a ratio suitable for a specific direction that provides directivity. As a result, the ambisonic microphone is used to provide directivity in a specific direction.

ここで、アンビソニックマイクでは、集音信号の位相差が正確に保持されている必要がある。集音信号の位相差が変わってしまうと、本来再生時の演算で信号が強調または減衰される効果が望めなくなってしまうためである。このため、アンビソニックマイクを用いた集音方法では、無相関性のノイズを信号処理で抑制することが困難である。そこで、アンビソニックマイクを用いる場合には、４つの単一指向性マイクの個体差が小さくなるように、４つの単一指向性マイクの選択を念入りに行っていた。 Here, in the ambisonic microphone, it is necessary to accurately maintain the phase difference of the collected sound signals. This is because if the phase difference of the collected sound signal changes, the effect of enhancing or attenuating the signal in the calculation at the time of reproduction cannot be expected. Therefore, in the sound collection method using the ambisonic microphone, it is difficult to suppress uncorrelated noise by signal processing. Therefore, when using ambisonic microphones, the four unidirectional microphones are carefully selected so that the individual differences between the four unidirectional microphones are small.

S.F.Boll、「Suppression of Acoustic Noise in Speech Using Spectral Subtraction」、IEEE Trans. ASSP.、1979年4月2日、Vol.27、pp.113-120S.F. Boll, "Suppression of Acoustic Noise in Speech Using Spectral Subtraction", IEEE Trans. ASSP., April 2, 1979, Vol.27, pp.113-120. D.G. Malham、「SPATIAL HEARING MECHANISMS and SOUND REPRODUCTION」、［online］、2008年5月6日、University of York、［平成29年6月23日検索］、インターネット〈URL：https://www.york.ac.uk/inst/mustech/3d_audio/ambis2.htm〉D.G. Malham, "SPATIAL HEARING MECHANISMS and SOUND REPRODUCTION", [online], May 6, 2008, University of York, [searched June 23, 2017], Internet <URL: https://www.york. ac.uk/inst/mustech/3d_audio/ambis2.htm>

非線形性のアルゴリズムを使ったスペクトルサブトラクション法で無相関のノイズを抑制しようとすると、１チャンネル毎に個別の挙動の処理が行われるため、４つのマイクの集音信号間の位相差が集音時から変化してしまうと、位相差が変化した信号同士を加算または減算して指向性を得ようとしても、信号の強調や減衰ができなくなり、指向性に影響を与えてしまう。そのため、アンビソニックマイクのマイク信号毎にノイズを抑制することはできず、ＳＮ比を向上させることができない。 When trying to suppress uncorrelated noise by the spectral subtraction method using a non-linear algorithm, the behavior of each channel is processed individually, so the phase difference between the sound signals of the four microphones is , even if an attempt is made to obtain directivity by adding or subtracting signals whose phase difference has changed, the signals cannot be emphasized or attenuated, and the directivity is affected. Therefore, noise cannot be suppressed for each microphone signal of the ambisonic microphone, and the SN ratio cannot be improved.

また、単一指向性マイクは、背面の音響ポートから風が進入する虞があり、乱気流が発生してウインドノイズが大きくなる。従って、風切り音を原因とするノイズは、アンビソニックマイクでは十分に解消できず、ＳＮ比が悪くなる。また、４つの単一指向性マイクの個体差が小さくなるように、４つの単一指向性マイクを選択しようとすると、多大なコストが発生してしまい、このコストを抑制しようとすると、４つの単一指向性マイクに固有の回路ノイズ等を起因として、ＳＮ比が悪くなってしまう。 In addition, the unidirectional microphone may be exposed to wind from the rear acoustic port, which causes turbulence and increases wind noise. Therefore, noise caused by wind noise cannot be sufficiently eliminated by the ambisonic microphone, resulting in a poor SN ratio. In addition, when trying to select four unidirectional microphones so that the individual differences between the four unidirectional microphones are small, a large amount of cost is incurred. The signal-to-noise ratio deteriorates due to circuit noise and the like inherent in the unidirectional microphone.

本発明は、上記のような従来技術の問題点を解決するために成されたものであり、その目的は、複数のマイクを用いて指向性を付ける際に良好なＳＮ比を達成することができる集音装置を提供することにある。 SUMMARY OF THE INVENTION The present invention has been made to solve the problems of the prior art as described above. To provide a sound collecting device capable of

上記の目的を達成するために、本発明に係る集音装置は、Ｎ次元で表現される特定方向に指向性を付ける集音装置であって、周囲の音を測定して集音信号を出力する、少なくともＮ＋２個の無指向性マイクと、前記無指向性マイクが出力する集音信号に基づき、特定方向に単一指向性を有する２種類の指向性信号を生成するビームフォーマと、前記２種類の指向性信号に基づいてノイズ成分を抑制するノイズ処理部と、を備え、前記ビームフォーマは、前記無指向性マイクの出力から選ばれるＮ＋１個の集音信号に基づき、特定方向に単一指向性を有する第１の指向性信号を生成するとともに、前記第１の指向性信号の生成に用いられた前記Ｎ＋１個の集音信号とは異なる組み合わせのＮ＋１個の集音信号に基づき、前記第１の指向性信号と同じ特定方向に単一指向性を有する第２の指向性信号を生成し、前記ノイズ処理部は、前記２種類の指向性信号間で無相関の音成分を抑制すること、を特徴とする。 In order to achieve the above object, a sound collector according to the present invention is a sound collector that provides directivity in a specific direction expressed in N dimensions, measures ambient sound, and outputs a collected sound signal. at least N+2 omnidirectional microphones; a beamformer that generates two types of directional signals having unidirectionality in a specific direction based on collected sound signals output by the omnidirectional microphones; and a noise processing unit that suppresses noise components based on the directional signals of the type, and the beamformer is configured to generate a single noise component in a specific direction based on N+1 collected sound signals selected from the outputs of the omnidirectional microphones. generating a first directional signal having directivity, and based on a combination of N+1 collected sound signals different from the N+1 collected sound signals used to generate the first directional signal, A second directional signal having unidirectionality in the same specific direction as the first directional signal is generated, and the noise processing unit suppresses uncorrelated sound components between the two types of directional signals. characterized by

前記少なくともＮ＋２個の無指向性マイクが出力する集音信号の感度を揃える感度補正部を更に備え、前記ノイズ処理部は、前記感度補正部による補正を経た前記２種類の指向性信号間で無相関の音成分を抑制するようにしてもよい。 It further comprises a sensitivity corrector that adjusts the sensitivities of the collected sound signals output by the at least N+2 omnidirectional microphones, and the noise processing unit is configured so that there is no difference between the two types of directional signals corrected by the sensitivity corrector. Correlation sound components may be suppressed.

３次元で表される特定方向に指向性を付け、少なくとも５個以上の前記無指向性マイクを備え、前記ビームフォーマは、前記無指向性マイクの出力から選ばれる４個の集音信号に基づき、特定方向に単一指向性を有する第１の指向性信号を生成するとともに、前記第１の指向性信号の生成に用いられた前記４個の集音信号とは異なる組み合わせの４個の集音信号に基づき、前記第１の指向性信号と同じ特定方向に単一指向性を有する第２の指向性信号を生成するようにしてもよい。 Directivity is provided in a specific direction represented in three dimensions, at least five or more of the omnidirectional microphones are provided, and the beamformer is based on four collected sound signals selected from the outputs of the omnidirectional microphones. , generating a first directional signal having unidirectionality in a specific direction, and combining four collections different from the four collected sound signals used to generate the first directional signal; A second directional signal having unidirectionality in the same specific direction as the first directional signal may be generated based on the sound signal.

前記無指向性マイクは、四面体の各頂点方向を向いた当該無指向性マイクの組み合わせを２種類選択できるように、立体配置され、前記２種類の四面体は、合同でも相似でもないか、位置が異なるか、向きが異なるか、又はこれらの組み合わせの関係を有するようにしてもよい。 The omnidirectional microphones are three-dimensionally arranged so that two types of combinations of the omnidirectional microphones facing each vertex of the tetrahedron can be selected, and the two types of tetrahedrons are neither congruent nor similar, They may have different positions, different orientations, or a combination of these relationships.

２次元で表される特定方向に指向性を付け、少なくとも４個以上の前記無指向性マイクを備え、前記ビームフォーマは、前記無指向性マイクの出力から選ばれる３個の集音信号に基づき、特定方向に単一指向性を有する第１の指向性信号を生成するとともに、前記第１の指向性信号の生成に用いられた前記３個の集音信号とは異なる組み合わせの３個の集音信号に基づき、前記第１の指向性信号と同じ特定方向に単一指向性を有する第２の指向性信号を生成するようにしてもよい。 Directivity is provided in a specific direction represented in two dimensions, and at least four or more of the omnidirectional microphones are provided, and the beamformer is based on three collected sound signals selected from the outputs of the omnidirectional microphones. , generating a first directional signal having unidirectionality in a specific direction, and combining three collections different from the three collected sound signals used to generate the first directional signal; A second directional signal having unidirectionality in the same specific direction as the first directional signal may be generated based on the sound signal.

前記特定方向の入力を受け付ける入力部を更に備え、前記ビームフォーマは、前記入力部が受け付けた前記特定方向に指向性を形成するようにしてもよい。 The beamformer may further include an input unit that receives an input in the specific direction, and the beamformer may form directivity in the specific direction received by the input unit.

複数のカメラを有し、周囲各方向を撮影するパノラマ撮像部を更に備え、前記少なくともＮ＋２個の無指向性マイクは、前記複数のカメラ間の合間に配分され、又は複数のカメラを支えるユーザ把持用の棒に取り付けられているようにしてもよい。 Further comprising a panorama imaging unit having a plurality of cameras and capturing each direction of the surroundings, wherein the at least N+2 omnidirectional microphones are distributed between the plurality of cameras or held by a user holding the plurality of cameras It may be attached to a bar for

前記ノイズ処理部は、前記第１の指向性信号と前記第２の指向性信号を１サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換部と、前記交換信号の片方に係数ｍを乗じた上で、前記交換信号の誤差信号を生成する誤差信号生成部と、前記誤差信号を含む係数ｍの漸化式を演算して係数ｍを１サンプル毎に更新する漸化式演算部と、逐次更新された係数ｍを前記第１の指向性信号又は前記第２の指向性信号に乗じて出力する積算部と、を備えるようにしてもよい。 The noise processing unit includes an exchange unit for generating a pair of exchange signals by alternately exchanging the first directional signal and the second directional signal for each sample, and a coefficient for one of the exchange signals. an error signal generation unit that generates an error signal of the exchange signal after multiplying by m; and an integrator that multiplies the sequentially updated coefficient m by the first directional signal or the second directional signal and outputs the result.

また、上記の目的を達成するために、本発明に係る指向性制御装置は、Ｎ次元で表現される特定方向に指向性を付ける指向性制御装置であって、少なくともＮ＋２個の無指向性マイクが生成した各集音信号を記憶する記憶部と、前記記憶部の集音信号に基づき、特定方向に単一指向性を有する２種類の指向性信号を生成するビームフォーマと、前記２種類の指向性信号に基づいてノイズ成分を抑制するノイズ処理部と、を備え、前記ビームフォーマは、前記記憶部から選ばれるＮ＋１個の集音信号に基づき、特定方向に単一指向性を有する第１の指向性信号を生成するとともに、前記第１の指向性信号の生成に用いられた前記Ｎ＋１個の集音信号とは異なる組み合わせのＮ＋１個の集音信号に基づき、前記第１の指向性信号と同じ特定方向に単一指向性を有する第２の指向性信号を生成し、前記ノイズ処理部は、前記２種類の指向性信号間で無相関の音成分を抑制すること、を特徴とする。 In order to achieve the above object, a directivity control device according to the present invention provides directivity in a specific direction expressed in N dimensions, and includes at least N+2 omnidirectional microphones. A storage unit for storing each collected sound signal generated by a beamformer for generating two types of directional signals having unidirectionality in a specific direction based on the collected sound signal in the storage unit, and the two types of a noise processing unit that suppresses noise components based on the directional signal, the beamformer having unidirectionality in a specific direction based on N+1 collected sound signals selected from the storage unit; and based on a combination of N + 1 collected sound signals different from the N + 1 collected sound signals used to generate the first directional signal, the first directional signal generating a second directional signal having unidirectionality in the same specific direction as the .

前記少なくともＮ＋２個の集音信号の感度を揃える感度補正部を更に備え、前記ノイズ処理部は、前記感度補正部による補正を経た前記２種類の指向性信号間で無相関の音成分を抑制するようにしてもよい。 It further comprises a sensitivity corrector that adjusts the sensitivities of the at least N+2 collected sound signals, and the noise processor suppresses uncorrelated sound components between the two types of directional signals corrected by the sensitivity corrector. You may do so.

前記ノイズ処理部は、前記第１の指向性信号と前記第２の指向性信号を１サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換部と、前記交換信号の片方に係数ｍを乗じた上で、前記交換信号の誤差信号を生成する誤差信号生成部と、前記誤差信号を含む係数ｍの漸化式を演算して係数ｍを１サンプル毎に更新する漸化式演算部と、逐次更新された係数ｍを前記第１の指向性信号又は前記第２の指向性信号に乗じて出力する積算部と、を備えるようにしてもよい。 The noise processing unit includes an exchange unit for generating a pair of exchange signals by alternately exchanging the first directional signal and the second directional signal for each sample, and a coefficient for one of the exchange signals. an error signal generation unit that generates an error signal of the exchange signal after multiplying by m; and an integrator that multiplies the sequentially updated coefficient m by the first directional signal or the second directional signal and outputs the result.

また、上記の目的を達成するために、本発明に係る指向性制御装置は、Ｎ次元で表現される特定方向に指向性を付ける指向性制御方法であって、少なくともＮ＋２個の無指向性マイクが生成した各集音信号に基づき、特定方向に単一指向性を有する２種類の指向性信号を生成するビームフォーミングステップと、前記２種類の指向性信号に基づいてノイズ成分を抑制するノイズ処理ステップと、を含み、前記ビームフォーミングステップは、少なくともＮ＋２個の前記集音信号のうちのＮ＋１個の集音信号に基づき、特定方向に単一指向性を有する第１の指向性信号を生成するとともに、前記第１の指向性信号の生成に用いられた前記Ｎ＋１個の集音信号とは異なる組み合わせのＮ＋１個の集音信号に基づき、前記第１の指向性信号と同じ特定方向に単一指向性を有する第２の指向性信号を生成し、前記ノイズ処理ステップは、前記２種類の指向性信号間で無相関の音成分を抑制すること、を特徴とする。 Further, in order to achieve the above object, a directivity control apparatus according to the present invention is a directivity control method for providing directivity in a specific direction expressed in N dimensions, comprising at least N+2 omnidirectional microphones. A beamforming step of generating two types of directional signals having unidirectionality in a specific direction based on each collected sound signal generated by, and a noise processing that suppresses noise components based on the two types of directional signals. wherein the beamforming step generates a first directional signal having unidirectionality in a specific direction based on N+1 collected sound signals among the at least N+2 collected sound signals. Also, based on the N + 1 collected sound signals in a combination different from the N + 1 collected sound signals used to generate the first directional signal, single in the same specific direction as the first directional signal A second directional signal having directivity is generated, and the noise processing step suppresses uncorrelated sound components between the two types of directional signals.

前記少なくともＮ＋２個の集音信号の感度を揃える感度補正ステップを更に含み、前記ノイズ処理ステップは、前記感度補正ステップによる補正を経た前記２種類の指向性信号間で無相関の音成分を抑制するようにしてもよい。 Further comprising a sensitivity correction step of matching sensitivities of the at least N+2 collected sound signals, wherein the noise processing step suppresses uncorrelated sound components between the two types of directional signals corrected by the sensitivity correction step. You may do so.

前記ノイズ処理ステップは、前記第１の指向性信号と前記第２の指向性信号を１サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換ステップと、前記交換信号の片方に係数ｍを乗じた上で、前記交換信号の誤差信号を生成する誤差信号生成ステップと、前記誤差信号を含む係数ｍの漸化式を演算して係数ｍを１サンプル毎に更新する漸化式演算ステップと、逐次更新された係数ｍを前記第１の指向性信号又は前記第２の指向性信号に乗じて出力する積算ステップと、を備えるようにしてもよい。 The noise processing step includes: an exchange step of generating a pair of exchange signals by alternately exchanging the first directional signal and the second directional signal for each sample; an error signal generation step of generating an error signal of the exchange signal after multiplying by m; and a recurrence formula calculation of calculating a recurrence formula of the coefficient m including the error signal and updating the coefficient m for each sample. and an accumulation step of multiplying the sequentially updated coefficient m by the first directional signal or the second directional signal and outputting the result.

本発明によれば、第１の指向性信号と第２の指向性信号に含まれるノイズ成分を無相関とすることができ、無相関成分を抑制する処理によって、良好なＳＮ比を達成することができる。 According to the present invention, the noise components contained in the first directional signal and the second directional signal can be uncorrelated, and a good SN ratio can be achieved by the process of suppressing the uncorrelated components. can be done.

集音装置の全体構成を示すブロック図である。1 is a block diagram showing the overall configuration of a sound collector; FIG. マイクロフォンユニットを示す模式図である。It is a schematic diagram which shows a microphone unit. マイクロフォンユニットから二種類のマイク群を選択する例を示す模式である。It is a model which shows the example which selects two types of microphone groups from a microphone unit. 指向性制御装置の詳細構成を示すブロック図である。2 is a block diagram showing the detailed configuration of a directivity control device; FIG. ６つの無指向性マイクのオリジナルのポーラーパターンを示す模式図である。Fig. 2 is a schematic diagram showing the original polar patterns of six omnidirectional microphones; 感度補正部の詳細構成を示すブロック図である。3 is a block diagram showing the detailed configuration of a sensitivity correction unit; FIG. 多点制御法に係り、４つの無指向性マイクロフォンの周りに設定される制御点を示す模式図である。FIG. 4 is a schematic diagram showing control points set around four omnidirectional microphones according to the multi-point control method; ビームフォーマの構成を示すブロック図である。3 is a block diagram showing the configuration of a beamformer; FIG. ビームフォーマが出力する２つの指向性信号を示すグラフである。Fig. 3 is a graph showing two directional signals output by a beamformer; ノイズ処理部の構成例を示すブロック図である。4 is a block diagram showing a configuration example of a noise processing unit; FIG. 集音装置の第１の適用例を示す模式図であり、（ａ）は斜視図、（ｂ）は側面図、（ｃ）は下面図である。It is a schematic diagram which shows the 1st application example of a sound collector, (a) is a perspective view, (b) is a side view, (c) is a bottom view. 集音装置の第２の適用例を示す模式図であり、（ａ）は斜視図、（ｂ）は側面図、（ｃ）は下面図である。It is a schematic diagram which shows the 2nd application example of a sound collector, (a) is a perspective view, (b) is a side view, (c) is a bottom view. 集音装置の第３の適用例を示す模式図であり、（ａ）は斜視図、（ｂ）は側面図、（ｃ）は下面図である。It is a schematic diagram which shows the 3rd application example of a sound collector, (a) is a perspective view, (b) is a side view, (c) is a bottom view.

（構成）
図１は、集音装置の全体構成を示すブロック図である。集音装置１は、マイクロフォンユニット２と指向性制御装置３とを備える。この集音装置１は、周囲の音を収録した後で、ユーザが選択した特定方向に事後的に指向性を付ける。マイクロフォンユニット２と指向性制御装置３は、各々が電源を有し、別々に駆動可能となっている。(Constitution)
FIG. 1 is a block diagram showing the overall configuration of a sound collector. A sound collector 1 includes a microphone unit 2 and a directivity control device 3 . This sound collector 1 post-records directivity in a specific direction selected by the user after recording ambient sounds. The microphone unit 2 and the directivity control device 3 each have a power source and can be driven separately.

ユーザは、マイクロフォンユニット２を持ち歩いて集音作業を行い、自宅やスタジオでマイクロフォンユニット２を指向性制御装置３に繋ぐ。マイクロフォンユニット２は、指向性制御装置３へ集音結果を転送し、指向性制御装置３は、ユーザからの特定方向の設定を受け付け、集音結果に対して特定方向に指向性を付けるように信号処理する。 A user carries the microphone unit 2 to collect sound, and connects the microphone unit 2 to the directivity control device 3 at home or in a studio. The microphone unit 2 transfers the collected sound result to the directivity control device 3, and the directivity control device 3 receives the setting of a specific direction from the user and directs the collected sound result in the specific direction. signal processing.

マイクロフォンユニット２は、複数の無指向性マイク２１ａ，２１ｂ・・・及びフラッシュメモリ等の不揮発性メモリ２２を備える。このマイクロフォンユニット２は、周囲の音をマルチチャンネルで集音し、各集音信号Ｓａ～Ｓｆをロウデータ（raw data）で各々記録する。集音信号Ｓａ～Ｓｆは、周囲各方向から到来する音成分が合成されて成る。 The microphone unit 2 includes a plurality of omnidirectional microphones 21a, 21b, . . . and a nonvolatile memory 22 such as a flash memory. The microphone unit 2 collects ambient sounds in multiple channels and records each of the collected sound signals Sa to Sf as raw data. The collected sound signals Sa to Sf are obtained by synthesizing sound components arriving from various directions.

無指向性マイク２１ａ，２１ｂ・・・がアナログ出力の場合、マイクロフォンユニット２には、各々の集音信号Ｓａ～Ｓｆを増幅するアンプと集音信号Ｓａ～Ｓｆをアナログ信号からデジタル信号へ変換するコンバータとが付設され、アンプとコンバータを経たデジタルの集音信号が不揮発性メモリ２２に記録される。 When the omnidirectional microphones 21a, 21b, . A converter is attached, and a digital collected sound signal that has passed through the amplifier and the converter is recorded in the nonvolatile memory 22 .

指向性制御装置３は、集音信号Ｓａ～Ｓｆをデジタル処理するマイコン、コンピュータ又はＤＳＰによる専用回路である。この指向性制御装置３は、装置内のハードディスクやＳＳＤや内部ストレージ等のメモリ３４に、マイクロフォンユニット２から転送された集音信号Ｓａ～Ｓｆを保存しておく。そして、指向性制御装置３は、各集音信号Ｓａ～Ｓｆを信号処理して、特定方向から到来した音成分を明瞭化し、無指向性マイク２１ａ，２１ｂ・・・の回路系ノイズや風雑音を除いた出力信号Ｓｏを生成する。出力信号Ｓｏは、出力するスピーカ数に合わせてマルチチャンネルであってもよい。 The directivity control device 3 is a dedicated circuit such as a microcomputer, computer, or DSP that digitally processes the collected sound signals Sa to Sf. The directivity control device 3 stores the collected sound signals Sa to Sf transferred from the microphone unit 2 in a memory 34 such as a hard disk, SSD, or internal storage in the device. Then, the directivity control device 3 performs signal processing on each of the collected sound signals Sa to Sf, clarifies sound components arriving from a specific direction, and detects circuit system noise and wind noise of the omnidirectional microphones 21a, 21b, . . . produces an output signal So excluding The output signal So may be multi-channel according to the number of speakers to be output.

即ち、この指向性制御装置３は、特定方向からマイクロフォンユニット２に到来した音成分を、特定方向以外から到来した音成分と比べて相対的に強調する。言い換えれば、指向性制御装置３は、特定方向以外の方向からマイクロフォンユニット２に到来した音成分を、その到来方向と特定方向との差が付けば付くほど大きく抑制する。更に、指向性制御装置３は、各無指向性マイク２１ａ，２１ｂ・・・の個体差に起因して生じる回路系ノイズ及び風雑音等のノイズを抑制してＳＮ比を向上させる。 That is, the directivity control device 3 relatively emphasizes sound components arriving at the microphone unit 2 from a specific direction, compared to sound components arriving from directions other than the specific direction. In other words, the directivity control device 3 suppresses sound components arriving at the microphone unit 2 from directions other than the specific direction as the difference between the direction of arrival and the specific direction increases. Further, the directivity control device 3 suppresses noise such as circuit system noise and wind noise caused by individual differences among the omnidirectional microphones 21a, 21b, . . . to improve the SN ratio.

（マイクロフォンユニット）
図２及び図３に示すように、マイクロフォンユニット２は円筒の支持部材２３を備える。６つの無指向性マイク２１ａ～２１ｆは、隣り合う他の無指向性マイク２１ａ～２１ｆと等しく距離を取りながら、支持部材２３の表面に取り付けられている。無指向性マイク２１ａ，２１ｂ・・・は、振動板の前方が音場に対して開放されていればよい。(microphone unit)
As shown in FIGS. 2 and 3, the microphone unit 2 has a cylindrical support member 23 . The six omnidirectional microphones 21a to 21f are attached to the surface of the support member 23 while maintaining equal distances from other adjacent omnidirectional microphones 21a to 21f. The omnidirectional microphones 21a, 21b, .

そのため、無指向性マイク２１ａ，２１ｂ・・・の背後に空間は不要である。従って、支持部材２３は中実であっても、支持部材２３の内部の、無指向性マイク２１ａ，２１ｂ・・・に囲まれた位置に他の部品が配置されていても、支持部材２３の内外が連通していなくともよい。また、無指向性マイク２１ａ～２１ｆの向き設定が容易であるため、支持部材２３は円筒としているが、支持部材２３の形状は何れでも良い。 Therefore, no space is required behind the omnidirectional microphones 21a, 21b, . . . Therefore, even if the support member 23 is solid, even if other parts are arranged inside the support member 23 at positions surrounded by the omnidirectional microphones 21a, 21b, . . . The inside and outside do not have to communicate. Further, since the direction setting of the omnidirectional microphones 21a to 21f is easy, the supporting member 23 is cylindrical, but the supporting member 23 may have any shape.

図３の（ａ）に示すように、支持部材２３に内接する正六角柱を考える。このとき、６つの無指向性マイク２１ａ～２１ｆは、正六角柱の角のうちの６箇所に分配配置される。各分配位置は、正六角柱の一辺を挟んで隣り合わないように選択される。即ち、正六角柱の軸周りに、一方の底面から１２０度間隔で一つ置きに３箇所の角を選択し、他方の底面から１２０度間隔で一つ置きに３箇所の角を選択し、一方の底面の３箇所と他方の底面の３箇所とは、正六角柱の軸周りに６０度ずらされる。 Consider a regular hexagonal prism inscribed in the support member 23 as shown in FIG. 3(a). At this time, the six omnidirectional microphones 21a to 21f are distributed at six corners of the regular hexagonal prism. Each distribution position is selected so as not to be adjacent across one side of the regular hexagonal prism. That is, around the axis of a regular hexagonal prism, three corners are selected at intervals of 120 degrees from one bottom surface, and three corners are selected at intervals of 120 degrees from the other bottom surface. The three points on the bottom surface of and the three points on the other bottom surface are shifted by 60 degrees around the axis of the regular hexagonal prism.

このマイク配置は次の規則に従ったものである。即ち、まず、指向性ではなく、無指向性マイク２１ａ，２１ｂ・・・が配置される。次に、図３の（ｂ）及び（ｃ）に示すように、マイクロフォンユニット２は、四面体の各頂点方向を向いた４つの無指向性マイク２１ａ，２１ｂ・・・の組み合わせを２種類選択できるように、少なくとも５つ以上の無指向性マイクを立体配置して備える。２種類の四面体は、合同でも相似でもないか、位置が異なるか、向きが異なるか、又はこれらの組み合わせの関係を有する。四面体は、正四面体が望ましいが、これに限られない。本実施形態では、無指向性マイク２１ａ，２１ｃ，２１ｄ，２１ｅが１つの四面体に配置される組み合わせグループＡであり、無指向性マイク２１ａ，２１ｂ，２１ｄ，２１ｆが他の１つの四面体に配置される組み合わせグループＢである。 This microphone placement complies with the following rules: First, omnidirectional microphones 21a, 21b, . . . are arranged instead of directivity. Next, as shown in (b) and (c) of FIG. 3, the microphone unit 2 selects two combinations of four omnidirectional microphones 21a, 21b, . At least 5 or more omnidirectional microphones are arranged in a three-dimensional arrangement as much as possible. The two types of tetrahedrons are neither congruent nor similar, have different positions, different orientations, or have a combination of these relationships. The tetrahedron is preferably a regular tetrahedron, but is not limited to this. In this embodiment, the omnidirectional microphones 21a, 21c, 21d, and 21e are a combination group A arranged in one tetrahedron, and the omnidirectional microphones 21a, 21b, 21d, and 21f are arranged in another tetrahedron. This is the combination group B to be arranged.

２種類の四面体に重複して属する無指向性マイク２１ａ，２１ｂ・・・が少ないほどよく、望ましくは、マイクロフォンユニット２は、８つの無指向性マイク２１ａ，２１ｂ・・・を有する。例えば、正八角柱の軸周りに、一方の底面から９０度間隔で一つ置きに４箇所の角を選択し、他方の底面から９０度間隔で一つ置きに４箇所の角を選択し、一方の底面の４箇所と他方の底面の４箇所とは、正八角柱の軸周りに４５度ずれている。無指向性マイク２１ａ，２１ｂ・・・は、これら選択位置に配置されることにより、無指向性マイク２１ａ，２１ｂ・・・が２種類の四面体に重複して属することなく、４つの無指向性マイク２１ａ，２１ｂ・・・のグループを２種類作出できる。 The less the omnidirectional microphones 21a, 21b, . For example, around the axis of a regular octagonal prism, select four corners at intervals of 90 degrees from one bottom surface, select four corners at intervals of 90 degrees from the other bottom surface, and select four corners at intervals of 90 degrees from the other bottom surface. The four points on the bottom surface of 1 and the four points on the other bottom surface are shifted by 45 degrees around the axis of the regular octagonal prism. By arranging the omnidirectional microphones 21a, 21b at these selected positions, the omnidirectional microphones 21a, 21b, . Two types of groups of the microphones 21a, 21b, . . . can be created.

無指向性マイク２１ａ，２１ｂ・・・が５つ以上という規則は、３次元で表される特定方向からの音成分を相対的に強調する場合に適用される。２次元で表される特定方向からの音成分を相対的に強調する場合には、少なくとも４つ以上の無指向性マイク２１ａ，２１ｂ・・・を備えていればよい。即ち、Ｎ次元で表現される特定方向からの音成分を相対的に強調する場合、少なくともＮ＋２個の無指向性マイク２１ａ，２１ｂ・・・を備え、２組に重複して属する無指向性マイク２１ａ，２１ｂ・・・をなるべく少なくするように、Ｎ＋１個の無指向性マイク２１ａ，２１ｂ・・・の組を２組作れればよい。 The rule that there are five or more omnidirectional microphones 21a, 21b, . In the case of relatively emphasizing a sound component from a specific direction expressed two-dimensionally, at least four or more omnidirectional microphones 21a, 21b, . . . should be provided. That is, when relatively emphasizing a sound component from a specific direction expressed in N dimensions, at least N+2 omnidirectional microphones 21a, 21b, . . . Two sets of N+1 omnidirectional microphones 21a, 21b, .

（指向性制御装置）
図４は、指向性制御装置３の詳細構成を示すブロック図である。まず、１つの四面体状の配置関係を有する無指向性マイク２１ａ，２１ｃ，２１ｄ，２１ｅからの集音信号を１つのグループＡとし、他の１つの四面体状の配置関係を有する無指向性マイク２１ａ，２１ｂ，２１ｄ，２１ｆからの集音信号を１つのグループＢとする。そして、この指向性制御装置３は、感度補正部３１、ビームフォーマ３２及びノイズ処理部３３を備える。(Directivity control device)
FIG. 4 is a block diagram showing the detailed configuration of the directivity control device 3. As shown in FIG. First, the collected sound signals from the omnidirectional microphones 21a, 21c, 21d, and 21e having a tetrahedral arrangement relationship are grouped as one group A, and another omnidirectional microphone having a tetrahedral arrangement relationship Assume that one group B is composed of sound signals collected from the microphones 21a, 21b, 21d, and 21f. The directivity control device 3 includes a sensitivity correction section 31 , a beamformer 32 and a noise processing section 33 .

感度補正部３１は、６つの無指向性マイク２１ａ～２１ｆの感度を統一する。ビームフォーマ３２は、グループＡの集音信号Ｓａ、Ｓｃ、Ｓｄ及びＳｅに基づいて特定方向に指向性を向けた第１の指向性信号Ｓ１を生成し、グループＢの集音信号Ｓａ、Ｓｂ、Ｓｄ及びＳｆに基づいて特定方向に指向性を向けた第２の指向性信号Ｓ２を生成する。 The sensitivity corrector 31 unifies the sensitivities of the six omnidirectional microphones 21a to 21f. The beamformer 32 generates a first directivity signal S1 directed in a specific direction based on the collected sound signals Sa, Sc, Sd, and Se of the group A, and generates the collected sound signals Sa, Sb, Sb, and A second directional signal S2 directed in a specific direction is generated based on Sd and Sf.

ノイズ処理部３３は、第１の指向性信号Ｓ１と第２の指向性信号Ｓ２の相関性成分を強調し、且つ無相関成分を抑圧する係数ｍを生成し、この係数ｍを第１の指向性信号Ｓ１に乗じることで、出力信号Ｓｏを生成する。係数ｍを乗じるのは、第２の指向性信号Ｓ２であってもよい。 The noise processing unit 33 generates a coefficient m that emphasizes the correlated component of the first directional signal S1 and the second directional signal S2 and suppresses the uncorrelated component, and applies this coefficient m to the first directional signal. By multiplying the sex signal S1, the output signal So is generated. It may be the second directional signal S2 that is multiplied by the factor m.

図５は、６つの無指向性マイク２１ａ～２１ｆのオリジナルのポーラーパターンを示す模式図である。図５に示すように、感度補正部３１は、６つの無指向性マイク２１ａ～２１ｆの各集音信号Ｓａ～Ｓｆの一つを選択し、選択した集音信号の音響パワーに他の集音信号Ｓａ～Ｓｆの音響パワーが等しくなるように、他の集音信号にゲインＧａ～Ｇｆをかける。 FIG. 5 is a schematic diagram showing the original polar patterns of the six omnidirectional microphones 21a-21f. As shown in FIG. 5, the sensitivity correction unit 31 selects one of the collected sound signals Sa to Sf of the six omnidirectional microphones 21a to 21f, and applies the acoustic power of the selected collected sound signal to the other collected sound. Gains Ga to Gf are applied to the other collected sound signals so that the signals Sa to Sf have the same acoustic power.

例えば、無指向性マイク２１ａが出力した集音信号Ｓａを選択し、この集音信号Ｓａの音響パワーＰａを基準にして、音響パワーＰｂ、Ｐｃ、Ｐｄ、Ｐｅ及びＰｆを有する他の集音信号Ｓｂ～Ｓｆの全てを音響パワーＰａに変化させる。即ち、音響パワーＰｂを有する集音信号Ｓｂに、基準となった音響パワーＰａに対する音響パワーＰｂの倍率の逆数をゲインＧｂとして、このゲインＧｂを乗算する。 For example, the collected sound signal Sa output by the omnidirectional microphone 21a is selected, and based on the acoustic power Pa of this collected sound signal Sa, other collected sound signals having acoustic powers Pb, Pc, Pd, Pe and Pf All of Sb to Sf are changed to acoustic power Pa. That is, the collected sound signal Sb having the acoustic power Pb is multiplied by the gain Gb, which is the reciprocal of the multiplier of the acoustic power Pb to the reference acoustic power Pa.

また、音響パワーＰｃを有する集音信号Ｓｃに、基準となった音響パワーＰａに対する音響パワーＰｃの倍率の逆数をゲインＧｃとして乗算する。音響パワーＰｄを有する集音信号Ｓｄに対しても、音響パワーＰｅを有する集音信号Ｓｅに対しても、音響パワーＰｆを有する集音信号Ｓｆに対しても同様に逆数を乗算する。 Also, the collected sound signal Sc having the acoustic power Pc is multiplied by the reciprocal of the magnification of the acoustic power Pc with respect to the reference acoustic power Pa as a gain Gc. The collected sound signal Sd having the acoustic power Pd, the collected sound signal Se having the acoustic power Pe, and the collected sound signal Sf having the acoustic power Pf are similarly multiplied by the reciprocals.

図６は、この感度補正部３１の詳細構成を示すブロック図である。この感度補正部３１は、６つの無指向性マイク２１ａ～２１ｆから入力された集音信号Ｓａ～Ｓｆに対して、バンドパスフィルタ３１１ａ～３１１ｆ及びパワー算出部３１２ａ～３１２ｆを備える。バンドパスフィルタ３１１ａ～３１１ｆは、各集音信号Ｓａ～Ｓｆから所定周波数領域を抽出する。所定周波数領域としては可聴域が望ましい。パワー算出部３１２ａ～３１２ｆは、バンドパスフィルタ３１１ａ～３１１ｆを経た信号から二乗平均平方根を算出し、各集音信号Ｓａ～Ｓｆのパワー値Ｐａ、Ｐｂ、Ｐｃ、Ｐｄ、Ｐｅ及びＰｆを得る。 FIG. 6 is a block diagram showing the detailed configuration of this sensitivity correction section 31. As shown in FIG. The sensitivity corrector 31 includes bandpass filters 311a to 311f and power calculators 312a to 312f for collected sound signals Sa to Sf input from the six omnidirectional microphones 21a to 21f. The bandpass filters 311a-311f extract predetermined frequency regions from the collected sound signals Sa-Sf. An audible range is desirable as the predetermined frequency range. The power calculators 312a-312f calculate the root mean square from the signals that have passed through the bandpass filters 311a-311f, and obtain the power values Pa, Pb, Pc, Pd, Pe, and Pf of the collected sound signals Sa-Sf.

また、感度補正部３１は、係数算出部３１３と乗算部３１４ａ～３１４ｆとを備える。係数算出部３１３は、各集音信号Ｓａ～Ｓｆのパワー値の１つを基準値とし、この基準値に対するパワー値の倍率の逆数で表される各ゲインＧａ～Ｇｆを得る。乗算部３１４ａ～３１４ｆは、各集音信号Ｓａ～Ｓｆが基準となった集音信号と音響パワーにおいて同一になるように、係数算出部３１３で得られたゲインＧａ～Ｇｆを、対応の集音信号に乗算する。 The sensitivity corrector 31 also includes a coefficient calculator 313 and multipliers 314a to 314f. The coefficient calculator 313 uses one of the power values of each of the collected sound signals Sa to Sf as a reference value, and obtains each of the gains Ga to Gf represented by the reciprocal of the magnification of the power value with respect to this reference value. The multiplication units 314a to 314f apply the gains Ga to Gf obtained by the coefficient calculation unit 313 to the corresponding collected sound signals so that the collected sound signals Sa to Sf have the same acoustic power as the reference collected sound signals. Multiply the signal.

次に、ビームフォーマ３２の信号処理を説明する。まず、４つの無指向性マイクロフォンＭ１～Ｍ４が存在する空間を仮定する。図７は、多点制御法に係り、４つの無指向性マイクロフォンＭ１～Ｍ４の周りに設定される制御点Ｄ１～Ｄｎを示す模式図である。図中では、説明の都合上、制御点を水平面にのみ配置しているが、マイクロフォンＭ１～Ｍ４の中心から等距離の球面にｎ個の制御点Ｄ１～Ｄｎを等配置しているものとする。 Next, signal processing of the beamformer 32 will be described. First, assume a space in which there are four omnidirectional microphones M1-M4. FIG. 7 is a schematic diagram showing control points D1 to Dn set around four omnidirectional microphones M1 to M4, according to the multipoint control method. In the figure, for the convenience of explanation, the control points are arranged only on the horizontal plane. .

そして、制御点Ｄｉ,（ｉ＝１～ｎ）から無指向性マイクＭｋ,（ｋ＝１～ｍ）までの経路において音に変化を与える伝達関数を伝達関数Ｃｉｋ（ω）とし、無指向性マイクＭｋの出力に畳み込む制御フィルタを伝達関数Ｈｋ（ω）とし、各制御点Ｄｉに対する所望応答を応答関数Ａｉ（ω）とする。このとき、各制御点Ｄｉから到来した音を無指向性マイクＭ１～Ｍ４で集音した結果を、所望応答伝達関数Ａｉ（ω）とするには、以下式（１）が満たされるような伝達関数Ｈｋ（ω）が要求される。Let the transfer function C ik (ω) be the transfer function that changes the sound in the path from the control point D i , (i=1 to n) to the omnidirectional microphone M k , (k=1 to m), Let the control filter convolved with the output of the omnidirectional microphone M k be the transfer function H k (ω), and let the desired response for each control point D i be the response function A i (ω). At this time, in order to obtain the desired response transfer function A i (ω) from the sound arriving from each control point D i collected by the omnidirectional microphones M1 to M4, the following equation (1) is satisfied. A transfer function H k (ω) is required.

Figure 0007152786000001
Figure 0007152786000001

ここで、上記式（１）において、特定方向にある制御点Ｄｊに対応する所望応答伝達関数Ａｊ（ω），（ｉ＝ｊ）を「１」にし、それ以外の抑圧すべき制御点Ｄｉに対応する所望応答伝達関数Ａｉ（ω），（ｉ≠ｊ）をゼロにすれば、上記式（１）は、制御点Ｄｊの存在方向を特定方向として、この特定方向に指向性を向けるための伝達関数Ｈｋ（ω）,（ｋ＝１～ｍ）を含む式となる。Here, in the above equation (1), the desired response transfer function A j (ω), (i=j) corresponding to the control point D j in a specific direction is set to "1", and the other control points to be suppressed If the desired response transfer function A i (ω), (i≠j) corresponding to D i is set to zero, the above equation (1) can be oriented in this specific direction with the direction in which the control point D j exists. It becomes an equation including a transfer function H k (ω), (k=1 to m) for directing the characteristics.

そこで、ビームフォーマ３２は、特定方向がユーザにより設定されると、特定方向に合った制御点Ｄｊに対応する所望応答伝達関数Ａｊ（ω）を１にセットし、その他の所望応答伝達関数Ａｉ（ω）をゼロにセットする。そして、ビームフォーマ３２は、一般化逆行列を用いて最小二乗解として伝達関数Ｈｋ（ω）,（ｋ＝１～ｍ）を求める。そして、無指向性マイクＭ１～Ｍ４に対応する伝達関数Ｈ１（ω）～Ｈ４（ω）を無指向性マイクＭ１～Ｍ４の集音信号に畳み込む。Therefore, when a specific direction is set by the user, the beamformer 32 sets the desired response transfer function A j (ω) corresponding to the control point D j matching the specific direction to 1, and the other desired response transfer functions Set A i (ω) to zero. Then, the beamformer 32 uses the generalized inverse matrix to find the transfer function H k (ω), (k=1 to m) as a least-squares solution. Then, the transfer functions H1(ω) to H4(ω) corresponding to the omnidirectional microphones M1 to M4 are convolved with the collected sound signals of the omnidirectional microphones M1 to M4.

ビームフォーマ３２は、以上のような多点制御法を適用して、無指向性マイク２１ａ～２１ｆに対応する伝達関数Ｈｋ（ω）を生成して適用することにより、グループＡの集音信号Ｓａ、Ｓｃ、Ｓｄ及びＳｅから特定方向に指向性を有する第１の指向性信号Ｓ１を生成し、またグループＢの集音信号Ｓａ、Ｓｂ、Ｓｄ及びＳｆから特定方向に指向性を有する第２の指向性信号Ｓ２を生成する。そして、両指向性信号Ｓ１、Ｓ２は、同一のポーラーパターンを有することになる。そのポーラーパターンとしては、特定方向に指向性を有する単一指向性のカーディオイド型でもよいし、特定方向と其の反対方向に指向性を有する双方向性であってもよい。The beamformer 32 applies the above-described multipoint control method to generate and apply the transfer function H k (ω) corresponding to the omnidirectional microphones 21a to 21f, thereby obtaining the collected sound signal of group A A first directivity signal S1 having directivity in a specific direction is generated from Sa, Sc, Sd and Se, and a second directivity signal S1 having directivity in a specific direction is generated from collected sound signals Sa, Sb, Sd and Sf of group B. to generate a directional signal S2. The bidirectional signals S1 and S2 will then have the same polar pattern. The polar pattern may be a unidirectional cardioid pattern having directivity in a specific direction, or a bidirectional pattern having directivity in a specific direction and the opposite direction.

尚、伝達関数Ｃｉｋ（ω）は、自由空間における理想が以下式（２）となる。ただし、伝達関数Ｃｉｋ（ω）は、各無指向性マイク２１ａ～２１ｆと各制御点ｉ間の減衰や遅れなどの伝達特性を実測することで、求めることが望ましい。The ideal transfer function C ik (ω) in free space is represented by the following equation (2). However, the transfer function C ik (ω) is desirably obtained by actually measuring transfer characteristics such as attenuation and delay between the omnidirectional microphones 21a to 21f and each control point i.

Figure 0007152786000002
但し、ｒは制御点からマイクまでの距離であり、ｒ／ｃは伝播時間である。
Figure 0007152786000002
 where r is the distance from the control point to the microphone, and r/c is the propagation time.

図８は、このビームフォーマ３２の構成を示すブロック図である。ビームフォーマ３２は、グループＡの集音信号Ｓａ、Ｓｃ、Ｓｄ及びＳｅが入力される制御フィルタ３２１ａ、３２１ｃ、３２１ｄ及び３２１ｅと、制御フィルタ３２１ａ、３２１ｃ、３２１ｄ及び３２１ｅの出力を合算して第１の指向性信号Ｓ１を出力する加算器３２２ａを備える。また、ビームフォーマ３２は、グループＢの集音信号Ｓａ、Ｓｂ、Ｓｄ及びＳｆが入力される制御フィルタ３２１ａ、３２１ｂ、３２１ｄ及び３２１ｆと、制御フィルタ３２１ａ、３２１ｂ、３２１ｄ及び３２１ｆの出力を合算して第２の指向性信号Ｓ２を出力する加算器３２２ｂを備える。 FIG. 8 is a block diagram showing the configuration of this beamformer 32. As shown in FIG. The beamformer 32 sums the outputs of the control filters 321a, 321c, 321d and 321e to which the collected sound signals Sa, Sc, Sd and Se of the group A are input, and the outputs of the control filters 321a, 321c, 321d and 321e to obtain a first and an adder 322a for outputting a directional signal S1. In addition, the beamformer 32 sums the outputs of the control filters 321a, 321b, 321d and 321f to which the collected sound signals Sa, Sb, Sd and Sf of the group B are input, and the outputs of the control filters 321a, 321b, 321d and 321f. An adder 322b is provided to output a second directional signal S2.

更に、ビームフォーマ３２は、伝達関数Ｈｋ（ω）を生成し、制御フィルタ３２１ａ～３２１ｆにセットする特定方向設定部３２３を備える。この特定方向設定部３２３は、特定方向が設定されると、特定方向に応じた所望応答伝達関数Ａｉ（ω）の行列Ａ（ω）を生成する。また、特定方向設定部３２３は、伝達関数Ｃｉｋ（ω）の行列Ｃ（ω）と伝達関数Ｈｋ（ω）の行列Ｈ（ω）の積を取る。Further, the beamformer 32 includes a specific direction setting unit 323 that generates a transfer function H k (ω) and sets it in the control filters 321a-321f. When the specific direction is set, the specific direction setting unit 323 generates a matrix A(ω) of desired response transfer functions A i (ω) corresponding to the specific direction. Further, the specific direction setting unit 323 takes the product of the matrix C(ω) of the transfer function C ik (ω) and the matrix H(ω) of the transfer function H k (ω).

そして、特定方向設定部３２３は、所望応答伝達関数行列Ａ（ω）に対して、伝達関数行列Ｃ（ω）と伝達関数行列Ｈ（ω）の乗算結果を差分して誤差ｅと生成する。特定方向設定部３２３は、最急降下法によって誤差ｅが最小になる伝達関数行列Ｈ（ω）を解き、伝達関数Ｈｋ（ω）を制御フィルタ３２１ａ～３２１ｆにセットする。Then, the specific direction setting unit 323 generates an error e by subtracting the desired response transfer function matrix A(ω) from the multiplication result of the transfer function matrix C(ω) and the transfer function matrix H(ω). The specific direction setting unit 323 solves the transfer function matrix H(ω) that minimizes the error e by the steepest descent method, and sets the transfer function H k (ω) to the control filters 321a to 321f.

ビームフォーマ３２は、対応の伝達関数Ｈｋ（ω）がセットされた制御フィルタ３２１ａ～３２１ｆに対し、グループＡの集音信号Ｓａ、Ｓｃ、Ｓｄ及びＳｅをフーリエ変換して入力し、グループＢの集音信号Ｓａ、Ｓｂ、Ｓｄ及びＳｆをフーリエ変換して入力する。そして、ビームフォーマ３２は、制御フィルタ３２１ａ、３２１ｃ、３２１ｄ及び３２１ｅから出力されるグループＡの集音信号Ｓａ、Ｓｃ、Ｓｄ及びＳｅを合算して第１の指向性信号Ｓ１を生成し、制御フィルタ３２１ａ、３２１ｂ、３２１ｄ及び３２１ｆから出力されるグループＢの集音信号Ｓａ、Ｓｂ、Ｓｄ及びＳｆを合算して第２の指向性信号Ｓ１を生成する。The beamformer 32 Fourier-transforms the collected sound signals Sa, Sc, Sd, and Se of the group A to the control filters 321a to 321f to which the corresponding transfer functions H k (ω) are set, and inputs the collected sound signals Sa, Sc, Sd, and Se of the group B. Collected sound signals Sa, Sb, Sd, and Sf are Fourier-transformed and input. Then, the beamformer 32 adds up the collected sound signals Sa, Sc, Sd, and Se of the group A output from the control filters 321a, 321c, 321d, and 321e to generate the first directional signal S1. Collected sound signals Sa, Sb, Sd, and Sf of group B output from 321a, 321b, 321d, and 321f are summed to generate a second directional signal S1.

図９の（ａ）はグループＡ由来の第１の指向性信号Ｓ１を示し、（ｂ）はグループＢ由来の第２の指向性信号Ｓ２を示し、横軸に周波数、縦軸に音圧を取ったグラフである。図９の（ａ）及び（ｂ）に示すように、第１及び第２の指向性信号Ｓ１、Ｓ２は、ビームフォーマによって、特定方向に単一の指向性が強調され、また感度補正部３１によって感度が統一されているため、共通の音成分Ｓｃを有している。一方、各周波数帯にノイズＮ１，Ｎ２が乗っている。 FIG. 9A shows the first directional signal S1 derived from group A, and FIG. 9B shows the second directional signal S2 derived from group B, with the horizontal axis representing frequency and the vertical axis representing sound pressure. This is the graph I took. As shown in FIGS. 9A and 9B, the first and second directivity signals S1 and S2 are emphasized in a single directivity in a specific direction by the beamformer, and the sensitivity corrector 31 Since the sensitivities are unified by , they have a common sound component Sc. On the other hand, noises N1 and N2 are present in each frequency band.

ここで、６つの無指向性マイク２１ａ～２１ｆの特性は揃えられておらず、６つの無指向性マイク２１ａ～２１ｆの個体差は顕著である。そのため、４つのマイクの組み合わせが異なるグループＡとグループＢを由来とする両指向性信号Ｓ１，Ｓ２に乗っているノイズＮ１及びノイズＮ２は相関性の低い。グループＡとグループＢに属する４つのマイクに重複が無い場合、グループＡとグループＢを由来とする両指向性信号Ｓ１、Ｓ２は、相関性の無いノイズＮ１，Ｎ２を有している。 Here, the characteristics of the six omnidirectional microphones 21a to 21f are not the same, and individual differences among the six omnidirectional microphones 21a to 21f are significant. Therefore, the noise N1 and the noise N2 on the bidirectional signals S1 and S2 originating from groups A and B with different combinations of four microphones have a low correlation. If the four microphones belonging to Group A and Group B do not overlap, the bidirectional signals S1, S2 originating from Group A and Group B will have uncorrelated noise N1, N2.

そこで、ノイズ処理部３３は、相関性の高い音成分を強調し、音成分の相関性が低ければ低いほど、その音成分を抑圧する信号処理を行う。両指向性信号Ｓ１、Ｓ２に含まれる、特定方向から到来した音成分は、感度補正部３１とビームフォーマ３２によって同一音圧に揃えられているので、このノイズ処理部３３によって強調され、相関性の小さい又は無いノイズＮ１，Ｎ２は抑圧されることになる。 Therefore, the noise processing unit 33 performs signal processing that emphasizes sound components with high correlation and suppresses the sound components as the correlation of the sound components is lower. Sound components coming from a specific direction, which are included in the bidirectional signals S1 and S2, are adjusted to have the same sound pressure by the sensitivity corrector 31 and the beamformer 32, and therefore are emphasized by the noise processor 33 and correlated. Noises N1, N2 with small or no n are to be suppressed.

このノイズ処理部３３は、第１の指向性信号Ｓ１（ｋ）と第２の指向性信号Ｓ２（ｋ）を１サンプルおきに交互に入れ替えて出力する。すなわち、交換信号Ｓｘ（ｋ）及び交換信号Ｓｙ（ｋ）のデータ列は、ｋ＝１、２、３、４・・・において、以下のようになる。
Ｓｘ（ｋ）＝｛Ｓ１（１） Ｓ２（２） Ｓ１（３） Ｓ２（４）・・・｝
Ｓｙ（ｋ）＝｛Ｓ２（１） Ｓ１（２） Ｓ２（３） Ｓ１（４）・・・｝The noise processor 33 alternately outputs the first directional signal S1(k) and the second directional signal S2(k) every other sample. That is, the data strings of exchange signal Sx(k) and exchange signal Sy(k) are as follows when k=1, 2, 3, 4 . . .
Sx(k)={S1(1) S2(2) S1(3) S2(4)...}
Sy(k)={S2(1) S1(2) S2(3) S1(4)...}

ノイズ処理部３３は、交換信号Ｓｘ（ｋ）と交換信号Ｓｙ（ｋ）の誤差を計算し、誤差に応じた係数ｍ（ｋ）を決定する。また、ノイズ処理部３３は、過去の係数ｍ（ｋ－１）を参照して逐次的に係数ｍ（ｋ）を更新する。 The noise processor 33 calculates the error between the exchange signal Sx(k) and the exchange signal Sy(k) and determines the coefficient m(k) according to the error. Also, the noise processing unit 33 sequentially updates the coefficient m(k) by referring to the past coefficient m(k−1).

同着の交換信号Ｓｘ（ｋ）と交換信号Ｓｙ（ｋ）の誤差信号ｅ（ｋ）を以下式（３）のように定義する。

Figure 0007152786000003
An error signal e(k) between exchange signal Sx(k) and exchange signal Sy(k) that arrive at the same point is defined as in the following equation (3).
Figure 0007152786000003

ノイズ処理部３３は、誤差信号ｅ（ｋ）を係数ｍ（ｋ－１）の関数とし、誤差信号ｅ（ｋ）を含む係数ｍ（ｋ）の隣接二項間漸化式を演算することで、誤差信号ｅ（ｋ）が最小となる係数ｍ（ｋ）を探索する。ノイズ処理部３３は、この演算処理により、第１の指向性信号Ｓ１（ｋ）と第２の指向性信号Ｓ２（ｋ）とに時間差が生じていればいるほど、係数ｍ（ｋ）を減少させる方向で更新し、時間差がなければ係数ｍ（ｋ）を１に近づける。そして、ノイズ処理部３３は、第１の指向性信号Ｓ１（ｋ）または第２の指向性信号Ｓ２（ｋ）とに任意の比率で係数ｍ（ｋ）を乗じて出力信号Ｓｏ（ｋ）を出力する。 The noise processing unit 33 makes the error signal e(k) a function of the coefficient m(k−1) and calculates the recurrence formula between adjacent binomials of the coefficient m(k) including the error signal e(k). , the coefficient m(k) that minimizes the error signal e(k). Through this arithmetic processing, the noise processing unit 33 reduces the coefficient m(k) as the time difference between the first directional signal S1(k) and the second directional signal S2(k) increases. The coefficient m(k) is approached to 1 if there is no time difference. Then, the noise processing unit 33 multiplies the first directional signal S1(k) or the second directional signal S2(k) by a coefficient m(k) at an arbitrary ratio to produce an output signal So(k). Output.

図１０は、このノイズ処理部３３の構成例を示すブロック図である。図１０に示すように、ノイズ処理部３３は、前段に、第１の指向性信号Ｓ１（ｋ）と第２の指向性信号Ｓ２（ｋ）の信号列を交互に入れ替えて交換信号Ｓｘ（ｋ）交換信号Ｓｙ（ｋ）を生成する回路である交換部３３１を備え、中段に、係数ｍ（ｋ）を更新する複数の積算器と加算器を備え、後段に、係数ｍ（ｋ）を第１の指向性信号Ｓ１（ｋ）若しくは第２の指向性信号Ｓ２（ｋ）に乗じて出力信号Ｓｏ（ｋ）を生成する積算部３３２を備える。 FIG. 10 is a block diagram showing a configuration example of the noise processing section 33. As shown in FIG. As shown in FIG. 10, the noise processing unit 33 alternately replaces the signal trains of the first directional signal S1(k) and the second directional signal S2(k) in the previous stage to obtain the exchanged signal Sx(k). ) An exchange unit 331, which is a circuit for generating an exchange signal Sy(k), has a plurality of integrators and adders for updating the coefficient m(k) in the middle stage, and has the coefficient m(k) in the second stage. An integrator 332 is provided for multiplying one directional signal S1(k) or the second directional signal S2(k) to generate an output signal So(k).

中段は、隣接二項間漸化式を体現した回路であり、過去の係数ｍ（ｋ－１）を参照して係数ｍ（ｋ）を漸次更新するものである。ノイズ処理部３３において、長いタップ数を有する適応フィルタは排除されている。 The middle stage is a circuit that embodies the recurrence formula between adjacent binomials, and refers to the past coefficient m(k-1) to gradually update the coefficient m(k). An adaptive filter with a long number of taps is eliminated in the noise processor 33 .

このノイズ処理部３３において、中段では、交換信号Ｓｙ（ｋ）を参照信号として用いて誤差信号ｅ（ｋ）を生成する。すなわち、交換信号Ｓｘ（ｋ）は、積算器３３５に入力される。積算器３３５は、交換信号Ｓａ（ｋ）に対して１サンプル前の係数ｍ（ｋ－１）の－１倍を掛け合わせる。積算器３３５の出力側には、加算器３３６が接続されている。この加算器３３６には、積算器３３５から出力された信号と交換信号Ｓｙ（ｋ）とが入力され、これら信号を加算することで、瞬時の誤差信号ｅ（ｋ）を得る。 In the middle stage of the noise processing section 33, the exchange signal Sy(k) is used as a reference signal to generate an error signal e(k). That is, exchange signal Sx(k) is input to integrator 335 . The accumulator 335 multiplies the exchange signal Sa(k) by −1 times the coefficient m(k−1) one sample before. An adder 336 is connected to the output side of the integrator 335 . The adder 336 receives the signal output from the accumulator 335 and the exchange signal Sy(k), and adds these signals to obtain an instantaneous error signal e(k).

誤差信号ｅ（ｋ）は、入力信号をμ倍する積算器３３７に入力される。係数μは、１未満のステップサイズパラメータである。積算器３３７の出力側には、積算器３３８が接続される。積算器３３８には、交換信号Ｓｘ（ｋ）と積算器を経た信号μｅ（ｋ）とが入力される。この積算器３３８は、交換信号Ｓｘ（ｋ）と信号μｅ（ｋ）とを乗じ、以下式（４）で表される瞬時二乗誤差の微分信号∂Ｅ（ｍ）２／∂ｍを得る。

Figure 0007152786000004
The error signal e(k) is input to an accumulator 337 that multiplies the input signal by μ. The factor μ is a step size parameter less than one. An integrator 338 is connected to the output side of the integrator 337 . The integrator 338 receives the exchange signal Sx(k) and the signal .mu.e(k) that has passed through the integrator. The accumulator 338 multiplies the exchange signal Sx(k) and the signal μe(k) to obtain a differential signal ∂E(m) 2 /∂m of the instantaneous squared error expressed by the following equation (4).
Figure 0007152786000004

積算器３３８には加算器３３９が接続されている。加算器３３９は、以下式（５）を演算することで係数ｍ（ｋ）を完成させ、積算部３３２に係数ｍ（ｋ）をセットする。すなわち、以下式（５）のように、加算器３３９は微分信号∂Ｅ（ｍ）２／∂ｍに対して信号β・ｍ（ｋ－１）を加算することで係数ｍ（ｋ）を完成させる。

Figure 0007152786000005
An adder 339 is connected to the accumulator 338 . The adder 339 completes the coefficient m(k) by computing Equation (5) below, and sets the coefficient m(k) in the accumulator 332 . That is, the adder 339 completes the coefficient m(k) by adding the signal β·m(k−1) to the differential signal ∂E(m) 2 /∂m, as shown in equation (5) below. Let
Figure 0007152786000005

信号β・ｍ（ｋ－１）は、加算器３３９の出力側に１サンプル分だけ信号を遅延させる遅延器３３３と定数βを積算する積算器３３４とが接続されており、１サンプル前の信号処理により更新された係数ｍ（ｋ－１）に対して積算器３３４で定数βを乗じることにより生成される。 A signal β·m(k−1) is connected to the output side of an adder 339 to a delayer 333 that delays the signal by one sample and an integrator 334 that integrates a constant β. It is generated by multiplying the coefficient m(k−1) updated by the process by a constant β in an accumulator 334 .

これにより、ノイズ処理部３３では、以下の漸化式（６）の演算処理が実現し、係数ｍ（ｋ）を生成され、サンプリング毎に漸次更新していく。

Figure 0007152786000006
As a result, in the noise processing unit 33, the arithmetic processing of the following recurrence formula (6) is realized, the coefficient m(k) is generated, and the coefficient m(k) is gradually updated for each sampling.
Figure 0007152786000006

即ち、ノイズ処理部３３は、交換信号Ｓｘ，Ｓｙの片方に係数ｍを乗じた上で交換信号Ｓｘ，Ｓｙの誤差信号ｅを生成する誤差信号生成部と、誤差信号ｅを含む係数ｍの漸化式を演算して係数ｍを１サンプル毎に更新する漸化式演算部を備える。誤差信号生成部は、交換信号Ｓａ（ｋ）に対して１サンプル前の係数ｍ（ｋ－１）の－１倍を掛け合わせる積算器３３５と、積算器３３５から出力された信号と交換信号Ｓｙ（ｋ）とが入力され、これら信号を加算する加算器３３６である。漸化式演算部は、積算器３３５と加算器３３６以外の積算器と加算器である。 That is, the noise processing unit 33 includes an error signal generation unit that multiplies one of the exchange signals Sx and Sy by a coefficient m to generate an error signal e of the exchange signals Sx and Sy, and a gradation of the coefficient m that includes the error signal e. A recurrence formula calculation unit is provided for calculating a recurrence formula and updating the coefficient m for each sample. The error signal generator includes an integrator 335 that multiplies the exchange signal Sa(k) by −1 times the coefficient m(k−1) one sample before, and the signal output from the integrator 335 and the exchange signal Sy (k) are input and an adder 336 that adds these signals. The recurrence formula calculator is an integrator other than the integrator 335 and the adder 336 and an adder.

そして、ノイズ処理部３３は、以下の数式（７）を交互に演算し、数式（７）で得られる係数ｍ（ｋ）を指向性信号に乗じる。

Figure 0007152786000007
Then, the noise processing unit 33 alternately calculates the following formula (7), and multiplies the directional signal by the coefficient m(k) obtained by the formula (7).
Figure 0007152786000007

数式（７）において、信号の二乗の項は、ホワイトノイズ等の無相関成分を時間の経過とともに小さくなるように作用する。一方、その隣接項は、相関係数を逐次的に算出する以下の数式（８）の分子部分と同等であり、相関成分の影響を係数ｍに反映させていくこととなる。

Figure 0007152786000008
In Equation (7), the signal squared term acts to reduce uncorrelated components such as white noise over time. On the other hand, the adjacent term is equivalent to the numerator of the following formula (8) for sequentially calculating the correlation coefficient, and the influence of the correlation component is reflected in the coefficient m.
Figure 0007152786000008

つまり、第１の指向性信号Ｓ１に対して第２の指向性信号Ｓ２を近似させようとしたときには、第１の指向性信号Ｓ１の無相関成分は増幅方向となり、第２の指向性信号Ｓ２の無相関成分は抑制方向となる。また、第２の指向性信号Ｓ２に対して第１の指向性信号Ｓ１を近似させようとしたときには、第１の指向性信号Ｓ１の無相関成分は増幅方向となり、第１の指向性信号Ｓ１の無相関成分は抑制方向となる。 That is, when trying to approximate the second directional signal S2 to the first directional signal S1, the non-correlated component of the first directional signal S1 is amplified, and the second directional signal S2 The uncorrelated component of is in the suppression direction. Further, when trying to approximate the first directional signal S1 to the second directional signal S2, the non-correlated component of the first directional signal S1 becomes the direction of amplification, and the first directional signal S1 The uncorrelated component of is in the suppression direction.

そこで、ノイズ処理部３３は、第１の指向性信号Ｓ１に対して第２の指向性信号Ｓ２を近似させて同期加算しようとする働きと、第２の指向性信号Ｓ２に対して第１の指向性信号Ｓ１を近似させて同期加算しようとする働きとを交互に繰り返す。そのため、無相関成分を増幅及び抑制しようとする働きは、交互に打ち消し合うことになる。即ち、係数ｍ（ｋ）には相関成分の影響を濃く反映させていくことになり、この係数ｍ（ｋ）が乗じられた指向性信号Ｓ１，Ｓ２からは、無指向性マイク２１ａ～２１ｆに固有のノイズが抑制される。 Therefore, the noise processing unit 33 has the function of approximating the second directional signal S2 to the first directional signal S1 and synchronously adding the second directional signal S2, and the first directional signal S1 to the second directional signal S2. The operation of approximating the directivity signal S1 and attempting to perform synchronous addition is alternately repeated. Therefore, the actions of amplifying and suppressing uncorrelated components cancel each other out. In other words, the influence of the correlation component is strongly reflected in the coefficient m(k). Inherent noise is suppressed.

（効果）
以上のように、集音装置１は、Ｎ次元で表現される特定方向に指向性を付けるものであり、少なくともＮ＋２個の無指向性マイク２１ａ，２１ｂ，・・・とビームフォーマ３２とノイズ処理部３３を備えるようにした。ビームフォーマ３２は、無指向性マイク２１ａ，２１ｂ，・・・が出力する集音信号Ｓａ，Ｓｂ，・・・に基づき、特定方向に単一指向性を有する２種類の指向性信号Ｓ１，Ｓ２を生成する。ノイズ処理部３３は、２種類の指向性信号Ｓ１，Ｓ２に基づいてノイズ成分を抑制する。(effect)
As described above, the sound collector 1 has directivity in a specific direction expressed in N dimensions, and includes at least N+2 omnidirectional microphones 21a, 21b, . A part 33 is provided. The beamformer 32 generates two types of directional signals S1 and S2 having unidirectionality in a specific direction based on the collected sound signals Sa, Sb, . to generate The noise processor 33 suppresses noise components based on the two types of directional signals S1 and S2.

このビームフォーマは、無指向性マイク２１ａ，２１ｂ・・・の出力から選ばれるＮ＋１個の集音信号Ｓａ，Ｓｂ，・・・に基づき、特定方向に単一指向性を有する第１の指向性信号Ｓ１を生成するとともに、第１の指向性信号Ｓ１の生成に用いられたＮ＋１個の集音信号Ｓａ，Ｓｂ・・・とは異なる組み合わせのＮ＋１個の集音信号Ｓｅ，Ｓｆ，・・・に基づき、第１の指向性信号Ｓ１と同じ特定方向に単一指向性を有する第２の指向性信号Ｓ２を生成するようにした。そして、ノイズ処理部３３は、２種類の指向性信号Ｓ１，Ｓ２間で無相関の音成分を抑制するようにした。 This beam former has a first directivity having unidirectionality in a specific direction based on N+1 collected sound signals Sa, Sb, . In addition to generating the signal S1, N+1 collected sound signals Se, Sf, . , a second directional signal S2 having unidirectionality in the same specific direction as the first directional signal S1 is generated. The noise processing unit 33 suppresses uncorrelated sound components between the two types of directional signals S1 and S2.

これにより、第１の指向性信号Ｓ１と第２の指向性信号Ｓ２に含まれるノイズ成分は無相関となるため、無相関の音成分を抑制することで、無指向性マイク２１ａ，２１ｂ・・・に固有の回路系ノイズや風雑音を抑制でき、ＳＮ比が向上する。 As a result, the noise components contained in the first directional signal S1 and the second directional signal S2 are uncorrelated.・Can suppress circuit system noise and wind noise unique to the system, improving the SN ratio.

しかも、集音信号Ｓａ，Ｓｂ・・・を収録した機器に固有の回路系ノイズや風雑音が存在することを寧ろ積極的に利用するものであり、無指向性マイク２１ａ，２１ｂ・・・の特性を揃える作業が不要となり、労力の飛躍的な軽減がもたらされ、集音装置１の単価を軽減できる。 Moreover, the existence of circuit system noise and wind noise unique to the device that recorded the collected sound signals Sa, Sb, . . . This eliminates the need for the work of aligning the characteristics, dramatically reduces labor, and reduces the unit price of the sound collector 1. - 特許庁

また、少なくともＮ＋２個の無指向性マイク２１ａ，２１ｂ・・・が出力する集音信号の感度を揃える感度補正部３１を更に備え、ノイズ処理部３３は、感度補正部３１による補正を経た２種類の指向性信号Ｓ１，Ｓ２間で無相関の音成分を抑制するようにした。 Further, it further includes a sensitivity corrector 31 that adjusts the sensitivities of the collected sound signals output by at least N+2 omnidirectional microphones 21a, 21b, . . . The uncorrelated sound component is suppressed between the directional signals S1 and S2.

これにより、無指向性マイク２１ａ，２１ｂ・・・が得た、特定方向から到来した音成分が精度良く揃えられ、第１の指向性信号Ｓ１と第２の指向性信号Ｓ２に含まれる、特定方向の音成分の相関性をより高くできる。従って、特定方向の音成分とノイズ成分との相対的な強調又は抑制にメリハリが大きくなり、ＳＮ比がより良好となる。 As a result, sound components coming from specific directions obtained by the omnidirectional microphones 21a, 21b, . Correlation of direction sound components can be made higher. Therefore, the relative enhancement or suppression of the sound component and the noise component in the specific direction becomes sharper, and the SN ratio becomes better.

ここで、周囲の音を収録するマイクが異なる方向に向く指向性を有すると、各マイクの音圧差が到来方向に由来するのか、感度差に由来するのか不明であり、特定方向から到来した音成分を揃えることは難しい。しかしながら、この集音装置１では、無指向性マイク２１ａ，２１ｂ・・・を利用するため、各マイクの音圧差は感度差に由来するものあることに限定でき、特定方向から到来した音成分を揃えることが可能となったものである。 Here, if the microphones that record ambient sounds have directivity that points in different directions, it is unclear whether the difference in sound pressure of each microphone is due to the direction of arrival or the difference in sensitivity. Aligning the ingredients is difficult. However, since the sound collector 1 uses the omnidirectional microphones 21a, 21b, . It has become possible to align.

ノイズ処理部３３は、まず、第１の指向性信号Ｓ１と第２の指向性信号Ｓ２を１サンプル毎に交互に入れ替える。次に、交換信号Ｓｘ，Ｓｙの片方に係数ｍを乗じた上で、交換信号Ｓｘ，Ｓｙの誤差信号を生成する。そして、誤差信号ｅを含む係数ｍの漸化式を演算して係数ｍを１サンプル毎に更新する。この逐次更新された係数ｍを第１の指向性信号Ｓ１又は第２の指向性信号Ｓ２に乗じて出力する。 The noise processor 33 first alternately replaces the first directional signal S1 and the second directional signal S2 for each sample. Next, after multiplying one of the exchange signals Sx and Sy by a coefficient m, an error signal of the exchange signals Sx and Sy is generated. Then, a recurrence formula for the coefficient m including the error signal e is calculated to update the coefficient m for each sample. The sequentially updated coefficient m is multiplied by the first directional signal S1 or the second directional signal S2 and output.

これにより、第１の指向性信号Ｓ１に対して第２の指向性信号Ｓ２を近似させて同期加算しようとする働きと、第２の指向性信号Ｓ２に対して第１の指向性信号Ｓ１を近似させて同期加算しようとする働きとを交互に繰り返す。そのため、無相関成分を増幅及び抑制しようとする働きは、交互に打ち消し合うことになる。即ち、係数ｍ（ｋ）には相関成分の影響を濃く反映させていくことになり、この係数ｍ（ｋ）が乗じられた指向性信号Ｓ１，Ｓ２からは、無指向性マイク２１ａ～２１ｆに固有のノイズが抑制される。 As a result, the function of approximating the second directional signal S2 to the first directional signal S1 and attempting to synchronously add the first directional signal S1 to the second directional signal S2. The function of approximating and trying to perform synchronous addition is alternately repeated. Therefore, the actions of amplifying and suppressing uncorrelated components cancel each other out. In other words, the influence of the correlation component is strongly reflected in the coefficient m(k). Inherent noise is suppressed.

（適用例）
集音装置１の適用例を図１１及び図１２に示す。図１１及び図１２は、各方位及び各仰角を撮影可能な全方向カメラの例を示す模式図である。マイクロフォンユニット２とパノラマ撮像部１００は一体であり、共に同一の支持部材２３を筐体とし、この支持部材２３にパノラマ撮像部１００が備える複数のカメラ１０１と無指向性マイク２１ａ～２１ｆが取り付けられている。(Application example)
An application example of the sound collector 1 is shown in FIGS. 11 and 12. FIG. 11 and 12 are schematic diagrams showing an example of an omnidirectional camera capable of photographing each azimuth and each elevation angle. The microphone unit 2 and the panorama imaging section 100 are integrated, and both have the same support member 23 as a housing, and the plurality of cameras 101 and the omnidirectional microphones 21a to 21f included in the panorama imaging section 100 are attached to the support member 23. ing.

例えば、図１１に示すように、支持部材２３は四角柱形状を有する。この支持部材２３の側面のうち、一対の対向面に魚眼レンズにより成る２つのカメラ１０１が１つずつ配分されている。一対の対向面の四隅には余白が生じている。無指向性マイク２１ａ～２１ｆは、この四隅に配分されている。例えば、一方の対向面の三つの隅に無指向性マイク２１ａ～２１ｃが１つずつ配分され、他方の対向面の三つの隅に無指向性マイク２１ｄ～２１ｆが１つずつ配分される。 For example, as shown in FIG. 11, the support member 23 has a square prism shape. Two cameras 101 each having a fish-eye lens are distributed one by one to a pair of opposing surfaces of the side surfaces of the support member 23 . There are blank spaces at the four corners of the pair of facing surfaces. The omnidirectional microphones 21a-21f are distributed at these four corners. For example, the omnidirectional microphones 21a to 21c are distributed one by one to the three corners of one facing surface, and the omnidirectional microphones 21d to 21f are distributed one by one to the three corners of the other facing surface.

また、図１２に示すように、支持部材２３は球形を有する。この支持部材２３に魚眼レンズにより成る２つのカメラ１０１が１８０度離されて配分されている。無指向性マイク２１ａ～２１ｆは、２つのカメラ１０１の脇に配分されている。例えば、一方のカメラ１０１の真上をゼロ度として、当該カメラ１０１に向かい合う方向から見て時計回りに４５度位置、２２５度位置及び３１５度位置に無指向性マイク２１ａ～２１ｃが１つずつ配分され、他方のカメラ１０１の真上をゼロ度として、当該カメラ１０１に向かい合う方向から見て時計回りに１３５度位置、２２５度位置及び３１５度位置に無指向性マイク２１ｄ～２１ｆが１つずつ配分される。 Also, as shown in FIG. 12, the support member 23 has a spherical shape. Two cameras 101 each having a fish-eye lens are distributed 180 degrees apart on the support member 23 . The omnidirectional microphones 21 a - 21 f are distributed beside the two cameras 101 . For example, with zero degrees right above one camera 101, the omnidirectional microphones 21a to 21c are distributed one by one at positions of 45 degrees, 225 degrees, and 315 degrees clockwise when viewed from the direction facing the camera 101. 135 degrees, 225 degrees, and 315 degrees clockwise from the direction facing the camera 101, with the position directly above the other camera 101 being zero degrees, omnidirectional microphones 21d to 21f are distributed one by one. be done.

即ち、同じ支持部材２３にカメラ１０１もマイクロフォンユニット２も一体的に備えられているため、全方向カメラはコンパクトに収まっている。その理由は、集音装置１が無指向性マイク２１ａ～２１ｆを積極的に用いるため、無指向性マイク２１ａ～２１ｆの背後には指向性マイクのような空間が不要だからである。 That is, since the camera 101 and the microphone unit 2 are integrally provided on the same supporting member 23, the omnidirectional camera is compact. The reason is that since the sound collector 1 positively uses the omnidirectional microphones 21a to 21f, a space like the directional microphones is unnecessary behind the omnidirectional microphones 21a to 21f.

また、集音装置１の他の適用例を図１３に示す。パノラマ撮像部１００は、ユーザが把持する棒状の支持部材２３に取り付けられている。マイクロフォンユニット２は、このユーザが把持する支持部材２３に内蔵されている。即ち、この支持部材２３に内接する仮想の六角柱の各隅に無指向性マイク２１ａ～２１ｆが取り付けられている。このように、無指向性マイク２１ａ～２１ｆはユーザの把持する棒に内蔵させることもできるので、全方向カメラはコンパクトに収まる。無指向性マイク２１ａ～２１ｆの背後には指向性マイクのような空間が不要だからである。 Another application example of the sound collector 1 is shown in FIG. The panorama imaging unit 100 is attached to a rod-shaped support member 23 held by the user. The microphone unit 2 is built in the support member 23 held by the user. That is, omnidirectional microphones 21a to 21f are attached to the respective corners of a virtual hexagonal column inscribed in the supporting member 23. As shown in FIG. As described above, the omnidirectional microphones 21a to 21f can be built in a stick held by the user, so that the omnidirectional camera can be compact. This is because a space like the directional microphones is unnecessary behind the omnidirectional microphones 21a to 21f.

パノラマ撮像部１００の撮像データと集音信号Ｓａ～Ｓｆは、ユーザのパーソナルコンピュータ１０２に転送される。パーソナルコンピュータ１０２には、撮像データから特定方向の画像をレンダリングする画像処理と、指向性制御装置３を実現するためのアプリ１０３がインストールされている。アプリ１０３に対してユーザがキーボードやマウス等のマンマシンインターフェースを用いて入力した特定方向を示す情報は、ビームフォーマ３２に渡され、ビームフォーマ３２は当該特定方向を示す情報に従って所望応答伝達関数行列Ａ（ω）を生成する。 The imaging data of the panorama imaging unit 100 and the collected sound signals Sa to Sf are transferred to the personal computer 102 of the user. The personal computer 102 is installed with an application 103 for implementing image processing for rendering an image in a specific direction from imaging data and the directivity control device 3 . Information indicating a specific direction input by the user to the application 103 using a man-machine interface such as a keyboard or mouse is passed to the beamformer 32, and the beamformer 32 calculates a desired response transfer function matrix according to the information indicating the specific direction. Generate A(ω).

このように、特定方向の入力を受け付けるキーボードやマウス等の入力部を更に備え、ビームフォーマ３２は、入力部が受け付けた特定方向に指向性を形成するようにすればよい。 As described above, an input unit such as a keyboard or a mouse that receives input in a specific direction may be further provided, and the beamformer 32 may form directivity in the specific direction received by the input unit.

また、複数のカメラ１０１を有し、周囲各方向を撮影するパノラマ撮像部１００を更に備え、少なくともＮ＋２個の無指向性マイク２１ａ，２１ｂ・・・は、複数のカメラ１０１間の合間に配分されて取り付けられているようにした。これにより、複数のカメラ１０１に無指向性マイク２１ａ，２１ｂ・・・が写り難くなり、品質の高い撮影が可能となる。複数のカメラ１０１間の合間に配分できるのは、無指向性マイク２１ａ，２１ｂ・・・の裏に空間を必要としないためである。 Further, it has a plurality of cameras 101 and further includes a panorama image capturing unit 100 for capturing images in each direction around the camera. At least N+2 omnidirectional microphones 21a, 21b, installed. This makes it difficult for the omnidirectional microphones 21a, 21b, . The reason why it can be distributed among the plurality of cameras 101 is that no space is required behind the omnidirectional microphones 21a, 21b, . . . .

（その他の実施形態）
以上のように、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これら新規な実施形態は、そのほかの様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。(Other embodiments)
Although embodiments of the present invention have been described above, the embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and equivalents thereof.

例えば、ノイズ処理部３３は、交換信号の片方に係数ｍを乗じた上で、交換信号の誤差信号を生成し、この誤差信号を含む係数ｍの漸化式を演算して係数ｍを１サンプル毎に更新するようにすれば、上記実施形態に限定することなく、その他の態様で実現可能である。 For example, the noise processor 33 multiplies one of the exchange signals by a coefficient m, generates an error signal of the exchange signal, and calculates a recurrence formula of the coefficient m including this error signal to obtain one sample of the coefficient m. If it is updated every time, it can be implemented in other aspects without being limited to the above embodiment.

また、この集音装置１は、ＣＰＵやＤＳＰのソフトウェア処理として実現してもよいし、専用のデジタル回路で構成するようにしてもよい。ソフトウェア処理として実現する場合には、ＣＰＵ、外部メモリ、ＲＡＭを備えるコンピュータにおいて、感度補正部３１、ビームフォーマ３２及びノイズ処理部３３と同一の処理内容を記述したプログラムをＲＯＭやハードディスクやフラッシュメモリ等の外部メモリに記憶させ、ＲＡＭに適宜展開し、ＣＰＵで其のプログラムに従って演算を行うようにすればよい。 Further, the sound collector 1 may be realized as software processing of a CPU or DSP, or may be configured by a dedicated digital circuit. When implemented as software processing, a computer having a CPU, an external memory, and a RAM stores a program describing the same processing content as the sensitivity correction unit 31, beamformer 32, and noise processing unit 33 in a ROM, hard disk, flash memory, or the like. The program may be stored in an external memory, expanded in a RAM as appropriate, and the CPU performing calculations according to the program.

１ 集音装置
２ マイクロフォンユニット
２１ａ～２１ｆ 無指向性マイク
２２ 不揮発性メモリ
２３ 支持部材
３ 指向性制御装置
３１ 感度補正部
３１１ａ～３１１ｆ バンドパスフィルタ
３１２ａ～３１２ｆ パワー算出部
３１３ 係数算出部
３１４ａ～３１４ｆ 乗算部
３２ ビームフォーマ
３２１ａ～３２１ｆ 制御フィルタ
３２２ａ、３２２ｂ 加算器
３２３ 特定方向設定部
３３ ノイズ処理部
３３１ 交換部
３３２ 積算部
３３３ 遅延器
３３４ 積算器
３３５ 積算器
３３６ 加算器
３３７ 積算器
３３８ 積算器
３３９ 加算器
３４ メモリ
１００ パノラマ撮像部
１０１ カメラ
１０２ パーソナルコンピュータ
１０３ アプリ1 Sound collector 2 Microphone units 21a to 21f Omnidirectional microphone 22 Nonvolatile memory 23 Support member 3 Directivity control device 31 Sensitivity corrector 311a to 311f Bandpass filter 312a to 312f Power calculator 313 Coefficient calculator 314a to 314f Multiplication Section 32 Beam formers 321a to 321f Control filters 322a and 322b Adder 323 Specific direction setting section 33 Noise processing section 331 Exchange section 332 Integrator 333 Delayer 334 Integrator 335 Integrator 336 Adder 337 Integrator 338 Integrator 339 Adder 34 memory 100 panoramic imaging unit 101 camera 102 personal computer 103 application

Claims (11)

３次元で表現される特定方向に指向性を付ける集音装置であって、
周囲の音を測定して集音信号を出力する、少なくとも５個の無指向性マイクと、
前記無指向性マイクが出力する集音信号に基づき、特定方向に単一指向性を有する２種類の指向性信号を生成するビームフォーマと、
前記２種類の指向性信号に基づいてノイズ成分を抑制するノイズ処理部と、
を備え、
前記無指向性マイクは、四面体の各頂点方向を向いた当該無指向性マイクの組み合わせを２種類選択できるように、立体配置され、
前記２種類の四面体は、合同でも相似でもないか、位置が異なるか、向きが異なるか、又はこれらの組み合わせの関係を有し、
前記ビームフォーマは、
前記無指向性マイクの出力から選ばれる４個の集音信号に基づき、特定方向に単一指向性を有する第１の指向性信号を生成するとともに、
前記第１の指向性信号の生成に用いられた前記４個の集音信号とは異なる組み合わせの４個の集音信号に基づき、前記第１の指向性信号と同じ特定方向に単一指向性を有する第２の指向性信号を生成し、
前記ノイズ処理部は、
前記２種類の指向性信号間で無相関の音成分を抑制すること、
を特徴とする集音装置。 A sound collector that provides directivity in a specific direction expressed in three dimensions,
at least five omnidirectional microphones that measure ambient sound and output a collected sound signal;
a beamformer that generates two types of directional signals having unidirectionality in a specific direction based on the collected sound signal output by the omnidirectional microphone;
a noise processing unit that suppresses noise components based on the two types of directional signals;
with
The omnidirectional microphones are arranged three-dimensionally so that two types of combinations of the omnidirectional microphones facing each vertex of the tetrahedron can be selected,
The two types of tetrahedrons are neither congruent nor similar, have different positions, different orientations, or have a combination of these relationships,
The beamformer is
generating a first directional signal having unidirectionality in a specific direction based on four collected sound signals selected from the output of the omnidirectional microphone;
Unidirectivity in the same specific direction as the first directional signal based on four collected sound signals in a combination different from the four collected sound signals used to generate the first directional signal generating a second directional signal having
The noise processing unit is
suppressing uncorrelated sound components between the two types of directional signals;
A sound collecting device characterized by 前記少なくとも５個の無指向性マイクが出力する集音信号の感度を揃える感度補正部を更に備え、
前記ノイズ処理部は、前記感度補正部による補正を経た前記２種類の指向性信号間で無相関の音成分を抑制すること、
を特徴とする請求項１記載の集音装置。 further comprising a sensitivity correction unit that adjusts the sensitivity of the collected sound signals output by the at least five omnidirectional microphones;
The noise processing unit suppresses uncorrelated sound components between the two types of directional signals corrected by the sensitivity correction unit;
The sound collector according to claim 1, characterized by: 前記特定方向の入力を受け付ける入力部を更に備え、
前記ビームフォーマは、前記入力部が受け付けた前記特定方向に指向性を形成すること、
を特徴とする請求項１又は２記載の集音装置。 further comprising an input unit that receives input in the specific direction;
the beamformer forming directivity in the specific direction received by the input unit;
3. The sound collector according to claim 1 or 2, characterized by: 複数のカメラを有し、周囲各方向を撮影するパノラマ撮像部を更に備え、
前記少なくとも５個の無指向性マイクは、前記複数のカメラ間の合間に配分され、又は複数のカメラを支えるユーザ把持用の棒に取り付けられていること、
を特徴とする請求項１乃至３の何れかに記載の集音装置。 It has a plurality of cameras and further comprises a panorama imaging unit that shoots in each direction of the surroundings,
said at least five omni-directional microphones are distributed between said plurality of cameras or attached to a user grip bar supporting said plurality of cameras;
4. The sound collector according to any one of claims 1 to 3, characterized by: 前記ノイズ処理部は、
前記第１の指向性信号と前記第２の指向性信号を１サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換部と、
前記交換信号の片方に係数ｍを乗じた上で、前記交換信号の誤差信号を生成する誤差信号生成部と、
前記誤差信号を含む係数ｍの漸化式を演算して係数ｍを１サンプル毎に更新する漸化式演算部と、
逐次更新された係数ｍを前記第１の指向性信号又は前記第２の指向性信号に乗じて出力する積算部と、
を備えること、
を特徴とする請求項１乃至４の何れかに記載の集音装置。 The noise processing unit is
an exchange unit that alternately exchanges the first directional signal and the second directional signal for each sample to generate a pair of exchange signals;
an error signal generator that generates an error signal of the exchange signal after multiplying one of the exchange signals by a coefficient m;
a recurrence formula calculator that calculates a recurrence formula for the coefficient m including the error signal and updates the coefficient m for each sample;
an integrator that multiplies the sequentially updated coefficient m by the first directional signal or the second directional signal and outputs the result;
to provide
5. The sound collector according to any one of claims 1 to 4, characterized by: ３次元で表現される特定方向に指向性を付ける指向性制御装置であって、
少なくとも５個の無指向性マイクが生成した各集音信号を記憶する記憶部と、
前記記憶部の集音信号に基づき、特定方向に単一指向性を有する２種類の指向性信号を生成するビームフォーマと、
前記２種類の指向性信号に基づいてノイズ成分を抑制するノイズ処理部と、
を備え、
前記無指向性マイクは、四面体の各頂点方向を向いた当該無指向性マイクの組み合わせを２種類選択できるように、立体配置され、
前記２種類の四面体は、合同でも相似でもないか、位置が異なるか、向きが異なるか、又はこれらの組み合わせの関係を有し、
前記ビームフォーマは、
前記記憶部から選ばれる４個の集音信号に基づき、特定方向に単一指向性を有する第１の指向性信号を生成するとともに、
前記第１の指向性信号の生成に用いられた前記４個の集音信号とは異なる組み合わせの４個の集音信号に基づき、前記第１の指向性信号と同じ特定方向に単一指向性を有する第２の指向性信号を生成し、
前記ノイズ処理部は、
前記２種類の指向性信号間で無相関の音成分を抑制すること、
を特徴とする指向性制御装置。 A directivity control device that provides directivity in a specific direction expressed in three dimensions,
a storage unit that stores each collected sound signal generated by at least five omnidirectional microphones;
a beamformer that generates two types of directional signals having unidirectionality in a specific direction based on the collected sound signals in the storage unit;
a noise processing unit that suppresses noise components based on the two types of directional signals;
with
The omnidirectional microphones are arranged three-dimensionally so that two types of combinations of the omnidirectional microphones facing each vertex of the tetrahedron can be selected,
The two types of tetrahedrons are neither congruent nor similar, have different positions, different orientations, or have a combination of these relationships,
The beamformer is
generating a first directional signal having unidirectionality in a specific direction based on the four collected sound signals selected from the storage unit;
Unidirectivity in the same specific direction as the first directional signal based on four collected sound signals in a combination different from the four collected sound signals used to generate the first directional signal generating a second directional signal having
The noise processing unit is
suppressing uncorrelated sound components between the two types of directional signals;
A directional control device characterized by: 前記少なくとも５個の集音信号の感度を揃える感度補正部を更に備え、
前記ノイズ処理部は、前記感度補正部による補正を経た前記２種類の指向性信号間で無相関の音成分を抑制すること、
を特徴とする請求項６記載の指向性制御装置。 further comprising a sensitivity correction unit that adjusts the sensitivities of the at least five collected sound signals;
The noise processing unit suppresses uncorrelated sound components between the two types of directional signals corrected by the sensitivity correction unit;
7. The directivity control device according to claim 6, characterized by: 前記ノイズ処理部は、
前記第１の指向性信号と前記第２の指向性信号を１サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換部と、
前記交換信号の片方に係数ｍを乗じた上で、前記交換信号の誤差信号を生成する誤差信号生成部と、
前記誤差信号を含む係数ｍの漸化式を演算して係数ｍを１サンプル毎に更新する漸化式演算部と、
逐次更新された係数ｍを前記第１の指向性信号又は前記第２の指向性信号に乗じて出力する積算部と、
を備えること、
を特徴とする請求項６又は７記載の指向性制御装置。 The noise processing unit is
an exchange unit that alternately exchanges the first directional signal and the second directional signal for each sample to generate a pair of exchange signals;
an error signal generator that generates an error signal of the exchange signal after multiplying one of the exchange signals by a coefficient m;
a recurrence formula calculator that calculates a recurrence formula for the coefficient m including the error signal and updates the coefficient m for each sample;
an integrator that multiplies the sequentially updated coefficient m by the first directional signal or the second directional signal and outputs the result;
to provide
8. The directivity control device according to claim 6 or 7, characterized by: ３次元で表現される特定方向に指向性を付ける指向性制御方法であって、
少なくとも５個の無指向性マイクが生成した各集音信号に基づき、特定方向に単一指向性を有する２種類の指向性信号を生成するビームフォーミングステップと、
前記２種類の指向性信号に基づいてノイズ成分を抑制するノイズ処理ステップと、
を含み、
前記無指向性マイクは、四面体の各頂点方向を向いた当該無指向性マイクの組み合わせを２種類選択できるように、立体配置され、
前記２種類の四面体は、合同でも相似でもないか、位置が異なるか、向きが異なるか、又はこれらの組み合わせの関係を有し、
前記ビームフォーミングステップは、
少なくとも５個の前記集音信号のうちの４個の集音信号に基づき、特定方向に単一指向性を有する第１の指向性信号を生成するとともに、
前記第１の指向性信号の生成に用いられた前記４個の集音信号とは異なる組み合わせの４個の集音信号に基づき、前記第１の指向性信号と同じ特定方向に単一指向性を有する第２の指向性信号を生成し、
前記ノイズ処理ステップは、
前記２種類の指向性信号間で無相関の音成分を抑制すること、
を特徴とする指向性制御方法。 A directivity control method for giving directivity to a specific direction expressed in three dimensions,
a beamforming step of generating two types of directional signals having unidirectionality in a specific direction based on the collected sound signals generated by at least five omnidirectional microphones;
a noise processing step of suppressing noise components based on the two types of directional signals;
including
The omnidirectional microphones are arranged three-dimensionally so that two types of combinations of the omnidirectional microphones facing each vertex of the tetrahedron can be selected,
The two types of tetrahedrons are neither congruent nor similar, have different positions, different orientations, or have a combination of these relationships,
The beamforming step includes:
generating a first directional signal having unidirectionality in a specific direction based on four of the at least five collected sound signals;
Unidirectivity in the same specific direction as the first directional signal based on four collected sound signals in a combination different from the four collected sound signals used to generate the first directional signal generating a second directional signal having
The noise processing step includes:
suppressing uncorrelated sound components between the two types of directional signals;
A directivity control method characterized by: 前記少なくとも５個の集音信号の感度を揃える感度補正ステップを更に含み、
前記ノイズ処理ステップは、前記感度補正ステップによる補正を経た前記２種類の指向性信号間で無相関の音成分を抑制すること、
を特徴とする請求項９記載の指向性制御方法。 further comprising a sensitivity correction step of matching the sensitivity of the at least five collected sound signals;
The noise processing step suppresses uncorrelated sound components between the two types of directional signals that have been corrected by the sensitivity correction step;
10. The directivity control method according to claim 9 , characterized by: 前記ノイズ処理ステップは、
前記第１の指向性信号と前記第２の指向性信号を１サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換ステップと、
前記交換信号の片方に係数ｍを乗じた上で、前記交換信号の誤差信号を生成する誤差信号生成ステップと、
前記誤差信号を含む係数ｍの漸化式を演算して係数ｍを１サンプル毎に更新する漸化式演算ステップと、
逐次更新された係数ｍを前記第１の指向性信号又は前記第２の指向性信号に乗じて出力する積算ステップと、
を備えること、
を特徴とする請求項９又は１０記載の指向性制御方法。 The noise processing step includes:
an exchange step of generating a pair of exchange signals by alternately exchanging the first directional signal and the second directional signal for each sample;
an error signal generating step of multiplying one of the exchange signals by a coefficient m to generate an error signal of the exchange signal;
a recurrence formula calculation step of calculating a recurrence formula of the coefficient m including the error signal and updating the coefficient m for each sample;
an accumulation step of multiplying the sequentially updated coefficient m by the first directional signal or the second directional signal and outputting the result;
to provide
11. The directivity control method according to claim 9 or 10, characterized by:
JP2019526684A 2017-06-27 2018-05-21 Sound collector, directivity control device and directivity control method Active JP7152786B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017125687 2017-06-27
JP2017125687 2017-06-27
PCT/JP2018/019488 WO2019003716A1 (en) 2017-06-27 2018-05-21 Sound collecting device, directivity control device, and directivity control method

Publications (2)

Publication Number Publication Date
JPWO2019003716A1 JPWO2019003716A1 (en) 2020-07-30
JP7152786B2 true JP7152786B2 (en) 2022-10-13

Family

ID=64740587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019526684A Active JP7152786B2 (en) 2017-06-27 2018-05-21 Sound collector, directivity control device and directivity control method

Country Status (2)

Country Link
JP (1) JP7152786B2 (en)
WO (1) WO2019003716A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021113888A (en) * 2020-01-17 2021-08-05 Ｔｖｓ Ｒｅｇｚａ株式会社 Environmental sound output device, system, method and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090279714A1 (en) 2008-05-06 2009-11-12 Samsung Electronics Co., Ltd. Apparatus and method for localizing sound source in robot
JP2016025469A (en) 2014-07-18 2016-02-08 沖電気工業株式会社 Sound collection/reproduction system, sound collection/reproduction device, sound collection/reproduction method, sound collection/reproduction program, sound collection system and reproduction system
JP2016127459A (en) 2015-01-05 2016-07-11 沖電気工業株式会社 Sound pickup device, program and method
JP2016146547A (en) 2015-02-06 2016-08-12 パナソニックＩｐマネジメント株式会社 Sound collection system and sound collection method
JP2017067666A5 (en) 2015-09-30 2018-11-15

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3146804B2 (en) * 1993-11-05 2001-03-19 松下電器産業株式会社 Array microphone and its sensitivity correction device
JP6598064B2 (en) * 2015-09-30 2019-10-30 パナソニックＩｐマネジメント株式会社 Object detection apparatus, object detection system, and object detection method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090279714A1 (en) 2008-05-06 2009-11-12 Samsung Electronics Co., Ltd. Apparatus and method for localizing sound source in robot
JP2016025469A (en) 2014-07-18 2016-02-08 沖電気工業株式会社 Sound collection/reproduction system, sound collection/reproduction device, sound collection/reproduction method, sound collection/reproduction program, sound collection system and reproduction system
JP2016127459A (en) 2015-01-05 2016-07-11 沖電気工業株式会社 Sound pickup device, program and method
JP2016146547A (en) 2015-02-06 2016-08-12 パナソニックＩｐマネジメント株式会社 Sound collection system and sound collection method
JP2017067666A5 (en) 2015-09-30 2018-11-15

Also Published As

Publication number Publication date
JPWO2019003716A1 (en) 2020-07-30
WO2019003716A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
JP6023779B2 (en) Audio information processing method and apparatus
US8666090B1 (en) Microphone modeling system and method
US8873762B2 (en) System and method for efficient sound production using directional enhancement
JP4724054B2 (en) Specific direction sound collection device, specific direction sound collection program, recording medium
JP6204312B2 (en) Sound collector
US11863952B2 (en) Sound capture for mobile devices
CN112201273A (en) Noise power spectral density calculation method, system, equipment and medium
JP2012169895A (en) Multipole speaker group and arrangement method thereof, acoustic signal output device and method thereof, active noise control device and sound field reproduction device using method, and methods thereof and program
JP4928382B2 (en) Specific direction sound collection device, specific direction sound collection method, specific direction sound collection program, recording medium
JP7152786B2 (en) Sound collector, directivity control device and directivity control method
US9648435B2 (en) Sound-source separation method, apparatus, and program
CN113889137B (en) Microphone array speech enhancement method and device, electronic equipment and storage medium
EP3920557B1 (en) Loudspeaker control
JP2009130854A (en) Sound signal processor, sound signal processing method, and image pickup device
JP6182169B2 (en) Sound collecting apparatus, method and program thereof
JP2008141593A (en) Audio sound pickup apparatus, method therefor, program thereof, and recording medium thereof
EP2809086B1 (en) Method and device for controlling directionality
WO2021212287A1 (en) Audio signal processing method, audio processing device, and recording apparatus
JP2017181761A (en) Signal processing device and program, and gain processing device and program
JP6889883B2 (en) Controller design equipment and programs for acoustic signals
CN115665606B (en) Sound reception method and sound reception device based on four microphones
JPH11205900A (en) Stereophonic operation processor and stereophonic recording device
WO2018066376A1 (en) Signal processing device, method, and program
JP7115353B2 (en) Processing device, processing method, reproduction method, and program
WO2016136284A1 (en) Signal processing device, signal processing method, signal processing program and terminal device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200205

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200326

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220922

R150 Certificate of patent or registration of utility model

Ref document number: 7152786

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150