KR20200020233A - Method for estimating direction of incidence of sound source using spherical microphone arrays - Google Patents
Method for estimating direction of incidence of sound source using spherical microphone arrays Download PDFInfo
- Publication number
- KR20200020233A KR20200020233A KR1020180095685A KR20180095685A KR20200020233A KR 20200020233 A KR20200020233 A KR 20200020233A KR 1020180095685 A KR1020180095685 A KR 1020180095685A KR 20180095685 A KR20180095685 A KR 20180095685A KR 20200020233 A KR20200020233 A KR 20200020233A
- Authority
- KR
- South Korea
- Prior art keywords
- sound source
- spherical
- calculating
- matrix
- frequency
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
- G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
- G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/403—Linear arrays of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/23—Direction finding using a sum-delay beam-former
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
본 발명은 음원의 입사 방향 추정방법에 관한 것이다.The present invention relates to a method for estimating the incident direction of a sound source.
음원의 입사 방향은, 여러 개의 마이크로폰으로 이루어진 마이크로폰 어레이로부터 얻은 음압 신호를 처리하여 추정될 수 있다. 구 표면상에 마이크로폰을 배치하여 사용하는 구형 마이크로폰 어레이를 이용하는 기법 중에 eigenbeam-ESPRIT (EB-ESPRIT) 방법이 있다. The direction of incidence of the sound source can be estimated by processing a sound pressure signal obtained from a microphone array composed of several microphones. The eigenbeam-ESPRIT (EB-ESPRIT) method is one of the techniques using a spherical microphone array that uses a microphone on a sphere surface.
EB-ESPRIT 기법은 구면 조화 함수(spherical harmonics)의 점화식(recurrence relation)을 이용해서 음원들의 입사방향을 직접 계산할 수 있는 장점이 있다. 하지만, 음원의 입사 방향을 나타내는 방향 파라미터의 고도각()을 나타내는 항이 탄젠트 함수이기 때문에, 음원이 적도 () 근처에 위치하는 경우에 음원 파라미터가 발산하며 결과적으로 음원의 방향을 찾는 것이 불가능해진다. The EB-ESPRIT technique has the advantage of directly calculating the incidence direction of sound sources using the recurrence relation of spherical harmonics. However, the elevation angle of the direction parameter indicating the direction of incidence of the sound source ( Since the term representing) is a tangent function, the sound source If it is located near), the sound source parameter diverges, and as a result, it becomes impossible to find the direction of the sound source.
이러한 점을 해결하기 위해, 종래 기술에서는 특이성을 갖는 방향에서 음원이 입사하는 경우, 기준 좌표를 회전하여 특이성을 해결하려는 시도를 하였다. 그러나, 이러한 경우 특이성을 해결하기 위해 추가적인 계산이 필요하다는 단점이 있다.In order to solve this problem, in the prior art, when a sound source is incident in a direction having specificity, an attempt is made to solve specificity by rotating a reference coordinate. However, in this case, there is a disadvantage that additional calculation is required to solve the specificity.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은, 두 개의 사인 함수 기반의 구면 조화 함수 점화식을 이용하여 상기와 같은 eigenbeam-ESPRIT (EB-ESPRIT) 기법의 특이성을 해결할 수 있도록 하는 구형 마이크로폰 어레이를 이용한 음원의 입사 방향 추정방법을 제공하는 것을 그 목적으로 한다.The present invention aims to solve the above and other problems. Another object is to provide a method for estimating the direction of incidence of a sound source using a spherical microphone array which can solve the specificity of the above eigenbeam-ESPRIT (EB-ESPRIT) technique by using two sine function based spherical harmonic function ignition equations. It is for that purpose.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 구면에 배치된 구형 마이크로폰 어레이에 입사되는 신호를 수신하고, 상기 수신한 신호를 주파수 영역으로 변환하는 단계; 상기 수신한 신호의 주파수별 방향 조화 계수를 산출하는 단계; 상기 방향 조화 계수를 이용하여, 주파수별 구면 조화 공분산 행렬을 생성하는 단계; 상기 공분산 행렬에 고유값 분해를 적용하여 신호 고유벡터를 추출하는 단계; 상기 신호 고유백터를 사인함수 기반의 점화식에 대입하여, 음원의 입사 방향 정보를 나타내는 행렬을 산출하는 단계; 및 상기 행렬에 고유값 분해를 적용하여 고유값을 산출하고, 음원의 방향을 추정하는 단계;를 포함하는 것을 특징으로 하는 음원의 입사 방향 추정방법을 제공한다. According to an aspect of the present invention to achieve the or another object, receiving a signal incident on the spherical microphone array disposed on the sphere, and converting the received signal into a frequency domain; Calculating a direction harmonic coefficient for each frequency of the received signal; Generating a spherical harmonic covariance matrix for each frequency using the directional harmonic coefficients; Extracting a signal eigenvector by applying eigenvalue decomposition to the covariance matrix; Calculating a matrix representing the incident direction information of a sound source by substituting the signal eigenvector into a sine function based ignition equation; And calculating eigenvalues by applying eigenvalue decomposition to the matrix and estimating the direction of the sound source.
실시 예에 있어서, 상기 수신한 신호의 주파수별 방향 조화 계수를 산출하는 단계;는, 구형 푸리에 변환을 통해 상기 주파수별 방향 조화 계수를 산출하는 단계;를 포함할 수 있다. The calculating of the direction harmonic coefficients for each frequency of the received signal may include calculating the direction harmonic coefficients for each frequency through a spherical Fourier transform.
또 다른 실시 예에 있어서, 상기 행렬에 고유값 분해를 적용하여 고유값을 산출하고, 음원의 방향을 추정하는 단계;는, 상기 고유값을 이용해서 구면 좌표계의 방위각()과 고도각()을 각각 독립적으로 산출하는 단계;를 포함할 수 있다. In another embodiment, the step of calculating the eigenvalue by applying eigenvalue decomposition to the matrix, and estimating the direction of the sound source, the azimuth angle of the spherical coordinate system using the eigenvalue ( ) And elevation angle ( ) May be calculated independently of each other.
또 다른 실시 예에 있어서, 상기 추정된 음원의 방향과 사인함수의 대칭성에 의해 산출되는 후보방향 중 최종 방향을 결정하기 위해, EB-MUSIC의 빔파워를 산출하고 비교하는 단계;를 포함할 수 있다.In another exemplary embodiment, the method may include calculating and comparing beam powers of the EB-MUSIC to determine a final direction among candidate directions calculated by the symmetry of the estimated sound source and the sine function. .
본 발명에 따른 구형 마이크로폰 어레이를 이용한 음원의 입사 방향 추정방법의 효과에 대해 설명하면 다음과 같다.The effect of the method of estimating the incident direction of the sound source using the spherical microphone array according to the present invention will be described.
본 발명의 실시 예들 중 적어도 하나에 의하면, 구형 마이크로폰 어레이를 이용한 음원 방향 추정기법인 EB-ESPRIT 방법을 사용함에 있어, 본질적인 적도 근처의 음원들에 대한 특이성을 추가적인 연산 없이 새로운 구면조화함수의 점화식들을 이용해서 극복 할 수 있다.According to at least one of the embodiments of the present invention, in using the EB-ESPRIT method, which is a sound source direction estimation method using a spherical microphone array, the ignition equations of the new spherical harmonic function are added without additional calculation of the specificity of the sound sources near the equator. Can be overcome.
또한, 본 발명은 종래의 EB-ESPRIT 방법에 비해 독립된 식들을 더 많이 생성할 수 있기 때문에, 더 많은 음원들의 입사 방향을 추정할 수 있다.In addition, since the present invention can generate more independent equations than the conventional EB-ESPRIT method, it is possible to estimate the incident direction of more sound sources.
그리고, 본 발명을 이용하면 추가적인 마이크로폰 없이 주어진 마이크로폰을 사용하면서 더 많은 음원들을 추정할 수 있게 된다.And, using the present invention, it is possible to estimate more sound sources using a given microphone without an additional microphone.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.Further scope of the applicability of the present invention will become apparent from the following detailed description. However, various changes and modifications within the spirit and scope of the present invention can be clearly understood by those skilled in the art, and therefore, specific embodiments, such as the detailed description and the preferred embodiments of the present invention, should be understood as given by way of example only.
도 1은 구형 마이크로폰 어레이와 일반적인 구면 좌표계에서 음원의 입사 방향을 설명하기 위한 개념도이다.
도 2는 본 발명에 따른 구형 마이크로폰 어레이를 이용한 음원의 입사 방향 추정방법의 실시 예를 설명하기 위한 흐름도이다.
도 3은 두 가지 구면 조화 함수의 점화식에 대한 독립적인 식 개수의 실시 예를 설명하기 위한 개념도이다.
도 4는 구면조화함수의 최대 차수(N)와 음원의 개수(D)에 따른 방향추정 오차 결과를, 본 발명의 방법과 종래의 방법에 대해 비교한 시뮬레이션 결과 그래프이다.
도 5 및 도 6은 본 발명의 방법과 종래의 방법을 이용한 음원의 입사 방향 추정 오차 값을 신호 대 잡음비(SNR: Signal to Noise Ratio)에 따라 비교한 시뮬레이션 결과 그래프이다.1 is a conceptual diagram illustrating an incidence direction of a sound source in a spherical microphone array and a general spherical coordinate system.
2 is a flowchart illustrating an embodiment of a method for estimating an incident direction of a sound source using a spherical microphone array according to the present invention.
3 is a conceptual diagram illustrating an embodiment of an independent number of equations for an ignition equation of two spherical harmonic functions.
4 is a graph of simulation results comparing the results of the direction estimation error according to the maximum order (N) of the spherical harmonic function and the number (D) of the sound source with respect to the method of the present invention and the conventional method.
5 and 6 are graphs showing simulation results of comparing an incident direction estimation error value of a sound source using a method of the present invention and a conventional method according to a signal-to-noise ratio (SNR).
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, exemplary embodiments disclosed herein will be described in detail with reference to the accompanying drawings, and the same or similar components will be given the same reference numerals regardless of the reference numerals, and redundant description thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or mixed in consideration of ease of specification, and do not have distinct meanings or roles. In addition, in the following description of the embodiments disclosed herein, when it is determined that the detailed description of the related known technology may obscure the gist of the embodiments disclosed herein, the detailed description thereof will be omitted. In addition, the accompanying drawings are intended to facilitate understanding of the embodiments disclosed herein, but are not limited to the technical spirit disclosed herein by the accompanying drawings, all changes included in the spirit and scope of the present invention. It should be understood to include equivalents and substitutes.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is said to be "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that another component may be present in the middle. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Singular expressions include plural expressions unless the context clearly indicates otherwise.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, the terms "comprises" or "having" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 기술할 것이다. 이하의 설명에서 본 발명의 모든 실시형태가 개시되는 것은 아니다. 본 발명은 매우 다양한 형태로 구현될 수 있으며, 여기에 개시되는 실시형태에 한정되는 것으로 해석되어서는 안 된다. 본 실시형태들은 출원을 위한 법적 요건들을 충족시키기 위해 제공되는 것이다. 동일한 구성요소에는 전체적으로 동일한 참조부호가 사용된다.Hereinafter, with reference to the accompanying drawings will be described in more detail the present invention. In the following description, not all embodiments of the present invention are disclosed. The invention may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. The present embodiments are provided to satisfy legal requirements for an application. The same reference numerals are used throughout the same component.
본 발명에서는 앞서 설명한 본질적인 EB-ESPRIT의 특이성 문제를 해결하기 위하여, 두 개의 사인 함수 기반의 구면 조화 함수의 점화식을 이용한 EB-ESPRIT 방법을 고안하였다. 종래 기술인 EB-ESPRIT 방법에서 사용했던 탄젠트 함수 대신 특이성이 없는 사인 함수를 사용함으로써 기존 방법의 특이성 문제를 해결할 뿐만 아니라, 기존의 EB-ESPRIT 방법에 비해 더 많은 음원들의 입사 방향을 추정할 수 있는 장점을 가진다. In the present invention, in order to solve the problem of the specificity of the EB-ESPRIT inherent in the above, the EB-ESPRIT method using the ignition equation of the two sine function-based spherical harmonic function. By using a sine function without specificity instead of the tangent function used in the conventional EB-ESPRIT method, it not only solves the specificity problem of the existing method but also estimates the direction of incidence of more sound sources than the conventional EB-ESPRIT method. Has
이하, 본 발명의 실시 방법을 첨부된 도면을 참조하여 상세히 설명하면 아래와 같다. 그리고 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Hereinafter, described in detail with reference to the accompanying drawings, an embodiment of the present invention. If it is determined that the gist of the present invention may be unnecessarily obscured, the detailed description thereof will be omitted.
본 발명은 구형 마이크로폰 어레이를 통해 수신하는 음향 신호의 입사 방향을 추정하는 방법에 대한 것으로, 다음에서 도 1을 통해 먼저 구형 마이크로폰 어레이와 음원의 위치와 구면좌표계에 대한 정의에 대해 설명하고자 한다.The present invention relates to a method for estimating the direction of incidence of an acoustic signal received through a spherical microphone array. Next, the definition of the position and spherical coordinate system of the spherical microphone array and the sound source will be described with reference to FIG. 1.
도 1은 구형 마이크로폰 어레이와 일반적인 구면 좌표계에서 음원의 입사 방향을 설명하기 위한 개념도이다. 1 is a conceptual diagram illustrating an incidence direction of a sound source in a spherical microphone array and a general spherical coordinate system.
도 1의 구면좌표계는 구형 마이크로폰 어레이(101)의 중심이 기준이 된다. 구형 마이크로폰 어레이에 입사하는 음향신호는 음원(102)으로부터 발생된다고 가정한다. 음원이 z축과의 이루는 각을 고도각 (103), x축과 이루는 각을 방위각 (104)이라고 설정한다.In the spherical coordinate system of FIG. 1, the center of the
도 2는 본 발명에 따른 구형 마이크로폰 어레이를 이용한 음원의 입사 방향 추정방법의 실시 예를 설명하기 위한 흐름도이다. 2 is a flowchart illustrating an embodiment of a method for estimating an incident direction of a sound source using a spherical microphone array according to the present invention.
도 2를 참조하면, 먼저 구형 마이크로폰 어레이를 이루고 있는 각 마이크로폰으로부터 음향 신호(음압 신호)를 수신하고, 주파수 영역으로 변환(FFT; Fast Fourier Transform)한다(201). Referring to FIG. 2, first, an acoustic signal (sound pressure signal) is received from each microphone constituting an old microphone array, and a fast Fourier transform (FFT) is performed (201).
하나의 평면파가 마이크로폰 어레이에 입사한다고 가정했을 때, 임의의 l번째 마이크로폰에 수신된 음향신호는 다음의 수학식 1과 같이 표현할 수 있다.Assuming that one plane wave is incident on the microphone array, an acoustic signal received by an arbitrary l-th microphone may be expressed by
여기서, k와 r은 구면좌표계에서 각각 파수 벡터와 마이크로폰 위치 벡터를 나타낸다. 그리고 p(k,r)은 각 마이크로폰에서 측정된 음압데이터를 의미하고 s(k)는 각 주파수(파수)별로 k방향에서 오는 평면파의 복소 크기(complex amplitude)를 나타낸다. Where k and r represent the wavenumber vector and the microphone position vector, respectively, in the spherical coordinate system. P (k, r) denotes sound pressure data measured at each microphone, and s (k) denotes the complex amplitude of plane waves coming from the k direction for each frequency (wave number).
임의의 음장은 구형 마이크로폰 어레이를 이용해서 측정하면 구형 푸리에 변환(Spherical Fourier transform)을 이용해 구면 조화 영역(spherical harmonics domain)으로 변환할 수 있다. Any sound field can be measured using a spherical microphone array and transformed into a spherical harmonics domain using a spherical Fourier transform.
이를 다음의 수학식 2와 같이 표현할 수 있다.This can be expressed as
여기서, 는 마이크로폰이 위치한 방향을 나타내며, 는 차수(order) n과 등급(degree) m에 대한 구면 조화 함수를 나타낸다. here, Indicates the direction in which the microphone is located, Denotes the spherical harmonic function for order n and degree m.
이는 다음의 수학식 3과 같이 연관 르장드르 함수(associated Legendre function; )로 표현할 수 있다.This is performed by the associated Legendre function as shown in
평면파로 입사하는 하나의 음원에 대해서 구면 조화 계수(spherical harmonic coefficients; )는 다음의 수학식 4와 같이 표현할 수 있다.Spherical harmonic coefficients for one sound source incident on plane waves; ) Can be expressed as
여기서, 은 방향 조화 계수(directional harmonic coefficients, 202)로써 각 음원의 입사 방향 정보()를 포함하며, 거리 의존 항인 은 파수(wave number)와 구형 마이크로폰 어레이의 반지름에 의해 결정되는 항(term)을 의미하며, 이는 구형 마이크로폰 어레이의 임계 조건에 따라 달라진다. 예를 들어 마이크로폰이 딱딱한 구표현상에 위치하는 구형 어레이를 구성한 경우 이다. 여기서 은 1차 구형 한켈 함수(spherical Hankel function of first kind)의 미분값을 의미한다.here, Is directional harmonic coefficients (202). ) And distance dependent terms Denotes a term determined by the wave number and the radius of the spherical microphone array, which depends on the critical conditions of the spherical microphone array. For example, if the microphone consists of a spherical array with rigid sphere representations. to be. here Is the derivative of the spherical Hankel function of first kind.
D개의 평면파 음원들이 동시에 입사한다고 가정하면 방향 조화 계수는 다음의 수학식 5와 같이 표현할 수 있다.Assuming that the D plane wave sources are incident at the same time, the directional harmonic coefficient can be expressed by
여기서, a(k)는 파수 k에 대한 각각의 n과 m에 대한 방향 조화 계수로 이루어진 열벡터를 나타내며, s(k)는 파수 k에 대한 D개의 음원에 대한 복소 크기로 이루어진 열벡터를 나타낸다. Here, a (k) represents a column vector composed of the direction harmonic coefficients for each of n and m for the wavenumber k, and s (k) represents a column vector of complex magnitudes for the D sound sources for the wavenumber k. .
구면 조화 함수 행렬 Y는 크기의 구면 조화 함수를 원소로 하는 행렬이다. 방향 조화 계수 a를 이용해서 파수 k에 대한 공분산 행렬 R을 다음 의 수학식 6과 같이 계산한다(203).Spherical harmonic matrix Y Matrix whose size is the spherical harmonic function. The covariance matrix R for the wave number k is calculated using the directional harmonic coefficient a as shown in
음원의 개수 D를 이미 알고 있을 때, 파수 k에 대한 공분산 행렬 R을 고유값 분해를 통해 D개의 큰 고유값에 대응하는 고유벡터를 추출할 수 있고, 이는 신호 부분 공간(signal subspace)을 생성(span)하는 고유벡터 이다(204).If we already know the number D of sound sources, we can extract the eigenvectors corresponding to the D large eigenvalues by eigenvalue decomposition of the covariance matrix R for wavenumber k, which produces a signal subspace ( eigenvectors spanning (204).
본 발명에서는 종래기술인 EB-ESPRIT에서 사용한 탄젠트 함수 기반의 구면 조화함수의 점화식 대신 다음의 수학식 7로 표현되는 사인 함수 기반의 점화식들을 사용한다. 하기 수학식 7로 표현되는 구면 조화 함수의 점화식들은 연관 르장드르 함수의 점화식들로부터 유도할 수 있다.In the present invention, instead of the tangent function-based spherical harmonic function used in the prior art EB-ESPRIT, a sine function-based ignition equation represented by the following equation (7) is used. The ignition equations of the spherical harmonic function represented by Equation (7) can be derived from the ignition equations of the associative Rejangre function.
과 는 n과 m에 의해 정해지는 상수이다. 구면 조화 영역에서 점화식 1번과 2번을 그림으로 도식화 할 수 있으며, 2차에 대한 예시를 도 3에 나타내었다. and Is a constant determined by n and m.
1번 점화식은 과 인 경우를 제외하고 를 만족하는 과 에 대해서 사용될 수 있다(304). 따라서 1번 점화식을 이용해서는 개의 독립적인 식을 생성할 수 있다(301).
2번 점화식은 를 만족하는 과 에 대한 식은 사용할 수 없다(305). 따라서 2번 점화식을 이용해서는 개의 독립적인 식을 생성할 수 있다(302).
예외적인 경우로 인 경우(306)에는 두 점화식이 서로 중복되는 식이 된다. 따라서 개의 중복되는 식이 존재하게 된다(303). 최종적으로 점화식 1번과 2번을 이용해서 개의 독립적인 식을 생성할 수 있다.In exceptional cases In the case of 306, the two ignition equations overlap with each other. therefore There are two overlapping equations (303). Finally, using
고유벡터를 생성하는 단계(204)에서 추출한 신호 고유벡터 를 구면 조화 함수의 점화식(수학식 7)으로부터 계산된 다음의 수학식 8에 대입한다.Signal eigenvector extracted in
여기서, 는 음원이 입사하는 방향을 의미한다. 대각 행렬 는 각각 , , 를 대각성분으로 하는 대각행렬을 나타낸다. 는 의 각각의 성분(element)들을 각각 만큼 차수(n)와 등급(m)에 대해서 이동시킨 행렬을 의미한다. 는 음원의 입사 방향 정보를 담고 있는 행렬이다.here, Means the direction in which the sound source is incident. Diagonal matrix Are each , , Represents the diagonal matrix with. Is Each of the elements of Means a matrix shifted by order n and class m by. Is a matrix containing the incidence direction information of the sound source.
상기 수학식 8을 블록 행렬의 형태로 표현하면 다음의 수학식 9와 같이 표현할 수 있다.If
상기 수학식 9로 표현된 식의 에 대한 해는 유사 역행렬(pseudo inverse)을 이용해서 최소자승법(Least squares method)의 해로 다음의 수학식 10과 같이 구할 수 있다(205). 여기서 최소자승법이란 과결정 연립방정식(overdetermined system)에 대한 해를 구하는 방법으로써 각 방정식의 결과로 생성되는 나머지(오차) 값의 제곱의 합을 최소화하는 해를 구하는 과정을 의미한다.
상기 수학식 10으로부터 구한 의 크기의 윗 부분 블록 행렬의 고유값 분해를 통해 고유값()을 계산해서, D개의 음원에 대한 입사 고도각과 방위각을 다음의 수학식 11을 통해 계산할 수 있다(206).Obtained from
고유값의 절대값을 사인함수의 역함수(arc sine function)에 대입하여 고도각을 추정하며, 고유값의 복소 편각(complex argument)을 이용해서 방위각을 추정한다. 여기서 복소 편각은 극좌표(complex polar coordinate)에서 실수축과 이루는 각도를 의미한다.The altitude angle is estimated by substituting the absolute value of the eigenvalue into the arc sine function of the sine function and the azimuth angle is estimated using the complex argument of the eigenvalue. Here, the complex declination means an angle formed with the real axis in the complex polar coordinate.
본 발명은 종래기술과 마찬가지로 추정한 방향이 모호성을 가진다. 0에서 180도내에서 사인함수가 가지는 대칭성 때문에 방향 파라미터 는 과 이 같은 값을 가진다. In the present invention, as in the prior art, the estimated direction has ambiguity. Direction parameter because of the symmetry of the sine function within 0 to 180 degrees Is and Has the same value.
이러한 모호성을 해결하기 위해 두 후보 방향(과 )에 대해서 EB-MUSIC의 빔파워를 비교하여 최종적으로 입사 방향을 확정한다(207).To resolve this ambiguity, two candidate directions ( and ), The beam direction of the EB-MUSIC is compared to finally determine the incident direction (207).
도 3은 두 가지 구면 조화 함수의 점화식에 대한 독립적인 식 개수의 실시 예를 설명하기 위한 개념도이다. 3 is a conceptual diagram illustrating an embodiment of an independent number of equations for an ignition equation of two spherical harmonic functions.
도 3을 참조하면, 본 발명은 종래의 EB-ESPRIT 방법에 비해 독립된 식들을 더 많이 생성할 수 있기 때문에, 더 많은 음원들의 입사 방향을 추정할 수 있다.Referring to FIG. 3, since the present invention can generate more independent equations than the conventional EB-ESPRIT method, it is possible to estimate the incident direction of more sound sources.
도 4는 구면조화함수의 최대 차수(N)와 음원의 개수(D)에 따른 방향추정 오차 결과를, 본 발명의 방법과 종래의 방법에 대해 비교한 시뮬레이션 결과 그래프이다. 4 is a graph of simulation results comparing the results of the direction estimation error according to the maximum order (N) of the spherical harmonic function and the number (D) of the sound source with respect to the method of the present invention and the conventional method.
도 4를 참조하면, 구면 조화 함수의 최대 차수 (N)과 추정 음원의 개수 (D)에 따라서 추정한 결과에 대한 방향 추정 오차를 Root-mean-squared error (RMSE)로 표현하였다. Referring to FIG. 4, a direction estimation error for a result estimated according to the maximum order (N) of the spherical harmonic function and the number (D) of estimated sound sources is expressed as a root-mean-squared error (RMSE).
그래프에서 알 수 있듯이 종래의 EB-ESPRIT은 최대 개 음원의 방향을 추정할 수 있는데 반해, 본 발명에서 제안하는 방법은 최대 개 음원의 방향을 추정할 수 있다. As can be seen from the graph, the conventional EB-ESPRIT is While the direction of the dog sound source can be estimated, the method proposed in the present invention The direction of the dog sound source can be estimated.
이렇듯 본 발명을 이용하면 추가적인 마이크로폰 없이 주어진 마이크로폰을 사용하면서 더 많은 음원들을 추정할 수 있게 된다.As described above, the present invention enables the estimation of more sound sources while using a given microphone without an additional microphone.
도 5 및 도 6은 본 발명의 방법과 종래의 방법을 이용한 음원의 입사 방향 추정 오차 값을 신호 대 잡음비(SNR: Signal to Noise Ratio)에 따라 비교한 시뮬레이션 결과 그래프이다. 5 and 6 are graphs showing simulation results of comparing an incident direction estimation error value of a sound source using a method of the present invention and a conventional method according to a signal-to-noise ratio (SNR).
도 5 및 도 6을 참조하면, 본 발명의 방법이 높은 방향 추정 성능을 가지는 것을 확인할 수 있다.5 and 6, it can be seen that the method of the present invention has high direction estimation performance.
본 발명은 구형 마이크로폰 어레이를 사용하여 입사 방향에 따른 특이성 없이 음원의 입사 방향을 추정하는 방법에 관한 것이다. 본 발명을 활용할 수 있는 예시는 다음과 같다. The present invention relates to a method for estimating the direction of incidence of a sound source without specificity according to the direction of incidence using a spherical microphone array. Examples that can utilize the present invention are as follows.
반사파가 없는 야외 환경에서 구형 마이크로폰 어레이로 측정한 데이터로부터 음원들의 입사 방향 정보를 실시간으로 예측 한 후, 각 음원의 분리(source separation)나 특정 방향에서 오는 소리를 강조 혹은 저감하고자 할 때 활용할 수 있다.It can be used to predict the direction of incidence of sound sources in real time from the data measured by the spherical microphone array in an outdoor environment without reflection waves, and to be used to emphasize or reduce the source separation of each sound source or sound coming from a specific direction. .
또한, 가상현실(Virtual Reality) 용도로 구형 마이크로폰으로 3차원 음장(sound field)을 취득하여 스피커 혹은 헤드폰을 이용하여 재현(reproduction)하고자 할 때, 본 발명에서 제안하는 방법을 이용해 예측한 음원들의 입사 방향 정보를 활용할 수 있다.In addition, when a 3D sound field is acquired with an old microphone for virtual reality and reproduced using a speaker or headphones, the incident of the sound sources predicted using the method proposed by the present invention is expected. Direction information can be used.
본 발명에 따른 구형 마이크로폰 어레이를 이용한 음원의 입사 방향 추정방법의 효과에 대해 설명하면 다음과 같다.The effect of the method of estimating the incident direction of the sound source using the spherical microphone array according to the present invention will be described.
본 발명의 실시 예들 중 적어도 하나에 의하면, 구형 마이크로폰 어레이를 이용한 음원 방향 추정기법인 EB-ESPRIT 방법을 사용함에 있어, 본질적인 적도 근처의 음원들에 대한 특이성을 추가적인 연산 없이 새로운 구면조화함수의 점화식들을 이용해서 극복 할 수 있다. According to at least one of the embodiments of the present invention, in using the EB-ESPRIT method, which is a sound source direction estimation method using a spherical microphone array, the ignition equations of the new spherical harmonic function are added without additional calculation of the specificity of the sound sources near the equator. Can be overcome.
또한, 본 발명은 종래의 EB-ESPRIT 방법에 비해 독립된 식들을 더 많이 생성할 수 있기 때문에, 더 많은 음원들의 입사 방향을 추정할 수 있다. In addition, since the present invention can generate more independent equations than the conventional EB-ESPRIT method, it is possible to estimate the incident direction of more sound sources.
그리고, 본 발명을 이용하면 추가적인 마이크로폰 없이 주어진 마이크로폰을 사용하면서 더 많은 음원들을 추정할 수 있게 된다. And, using the present invention, it is possible to estimate more sound sources using a given microphone without an additional microphone.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. The present invention described above can be embodied as computer readable codes on a medium on which a program is recorded. The computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. This also includes those implemented in the form of carrier waves (eg, transmission over the Internet). Accordingly, the above detailed description should not be construed as limiting in all aspects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.
Claims (4)
상기 수신한 신호의 주파수별 방향 조화 계수를 산출하는 단계;
상기 방향 조화 계수를 이용하여, 주파수별 구면 조화 공분산 행렬을 생성하는 단계;
상기 공분산 행렬에 고유값 분해를 적용하여 신호 고유벡터를 추출하는 단계;
상기 신호 고유백터를 사인함수 기반의 점화식에 대입하여, 음원의 입사 방향 정보를 나타내는 행렬을 산출하는 단계; 및
상기 행렬에 고유값 분해를 적용하여 고유값을 산출하고, 음원의 방향을 추정하는 단계;를 포함하는 것을 특징으로 하는 음원의 입사 방향 추정방법.Receiving a signal incident on a spherical microphone array disposed on a sphere, and converting the received signal into a frequency domain;
Calculating a direction harmonic coefficient for each frequency of the received signal;
Generating a spherical harmonic covariance matrix for each frequency using the directional harmonic coefficients;
Extracting a signal eigenvector by applying eigenvalue decomposition to the covariance matrix;
Calculating a matrix representing the incident direction information of a sound source by substituting the signal eigenvector into a sine function based ignition equation; And
Calculating an eigenvalue by applying eigenvalue decomposition to the matrix, and estimating the direction of the sound source.
상기 수신한 신호의 주파수별 방향 조화 계수를 산출하는 단계;는,
구형 푸리에 변환을 통해 상기 주파수별 방향 조화 계수를 산출하는 단계;를 포함하는 것을 특징으로 하는 음원의 입사 방향 추정방법.The method of claim 1,
Calculating a direction harmonic coefficient for each frequency of the received signal;
And calculating a direction harmonic coefficient for each frequency through a spherical Fourier transform.
상기 행렬에 고유값 분해를 적용하여 고유값을 산출하고, 음원의 방향을 추정하는 단계;는,
상기 고유값을 이용해서 구면 좌표계의 방위각()과 고도각()을 각각 독립적으로 산출하는 단계;를 포함하는 것을 특징으로 하는 음원의 입사 방향 추정방법.The method of claim 1,
Calculating eigenvalues by applying eigenvalue decomposition to the matrix and estimating the direction of the sound source;
Using the eigenvalues, the azimuth angle of the spherical coordinate system ( ) And elevation angle ( Calculating independently of each other; the incident direction estimation method of the sound source, characterized in that it comprises a.
상기 추정된 음원의 방향과 사인함수의 대칭성에 의해 산출되는 후보방향 중 최종 방향을 결정하기 위해, EB-MUSIC의 빔파워를 산출하고 비교하는 단계;를 포함하는 것을 특징으로 하는 음원의 입사 방향 추정방법.The method of claim 1,
Calculating and comparing beam powers of the EB-MUSIC to determine a final direction among candidate directions calculated by the estimated symmetry of the direction of the sound source and the sine function; Way.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180095685A KR102097641B1 (en) | 2018-08-16 | 2018-08-16 | Method for estimating direction of incidence of sound source using spherical microphone arrays |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180095685A KR102097641B1 (en) | 2018-08-16 | 2018-08-16 | Method for estimating direction of incidence of sound source using spherical microphone arrays |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200020233A true KR20200020233A (en) | 2020-02-26 |
KR102097641B1 KR102097641B1 (en) | 2020-04-06 |
Family
ID=69637955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180095685A KR102097641B1 (en) | 2018-08-16 | 2018-08-16 | Method for estimating direction of incidence of sound source using spherical microphone arrays |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102097641B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111812581A (en) * | 2020-06-16 | 2020-10-23 | 重庆大学 | Spherical array sound source direction of arrival estimation method based on atomic norm |
CN115061089A (en) * | 2022-05-12 | 2022-09-16 | 苏州清听声学科技有限公司 | Sound source positioning method, system, medium, equipment and device |
WO2024038948A1 (en) * | 2022-08-16 | 2024-02-22 | 한국표준과학연구원 | Target map inference system and method using artificial intelligence neural network |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102414021B1 (en) * | 2020-09-07 | 2022-06-29 | 한국표준과학연구원 | Method and system for high resolution sound source maps based on artificial neural network. |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030077797A (en) * | 2002-03-27 | 2003-10-04 | 삼성전자주식회사 | Orthogonal circular microphone array system and method for detecting 3 dimensional direction of sound source using thereof |
KR20130065029A (en) * | 2011-12-09 | 2013-06-19 | 현대자동차주식회사 | Method for sound source localization |
JP2017130899A (en) * | 2016-01-22 | 2017-07-27 | 日本電信電話株式会社 | Sound field estimation device, method therefor and program |
-
2018
- 2018-08-16 KR KR1020180095685A patent/KR102097641B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030077797A (en) * | 2002-03-27 | 2003-10-04 | 삼성전자주식회사 | Orthogonal circular microphone array system and method for detecting 3 dimensional direction of sound source using thereof |
KR20130065029A (en) * | 2011-12-09 | 2013-06-19 | 현대자동차주식회사 | Method for sound source localization |
JP2017130899A (en) * | 2016-01-22 | 2017-07-27 | 日本電信電話株式会社 | Sound field estimation device, method therefor and program |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111812581A (en) * | 2020-06-16 | 2020-10-23 | 重庆大学 | Spherical array sound source direction of arrival estimation method based on atomic norm |
CN111812581B (en) * | 2020-06-16 | 2023-11-14 | 重庆大学 | Spherical array sound source direction-of-arrival estimation method based on atomic norms |
CN115061089A (en) * | 2022-05-12 | 2022-09-16 | 苏州清听声学科技有限公司 | Sound source positioning method, system, medium, equipment and device |
CN115061089B (en) * | 2022-05-12 | 2024-02-23 | 苏州清听声学科技有限公司 | Sound source positioning method, system, medium, equipment and device |
WO2024038948A1 (en) * | 2022-08-16 | 2024-02-22 | 한국표준과학연구원 | Target map inference system and method using artificial intelligence neural network |
Also Published As
Publication number | Publication date |
---|---|
KR102097641B1 (en) | 2020-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20200020233A (en) | Method for estimating direction of incidence of sound source using spherical microphone arrays | |
EP3210391B1 (en) | Reverberation estimator | |
WO2020108614A1 (en) | Audio recognition method, and target audio positioning method, apparatus and device | |
US6700832B2 (en) | Method and apparatus for passive acoustic imaging using a horizontal line array | |
JP2017530580A (en) | Planar sensor array | |
Zhao et al. | Open‐Lake Experimental Investigation of Azimuth Angle Estimation Using a Single Acoustic Vector Sensor | |
US11120819B2 (en) | Voice extraction device, voice extraction method, and non-transitory computer readable storage medium | |
Jo et al. | Extended vector-based EB-ESPRIT method | |
Cox | Multi-rate adaptive beamforming (MRABF) | |
Choi et al. | Multiarray eigenbeam-ESPRIT for 3D sound source localization with multiple spherical microphone arrays | |
JP4676893B2 (en) | Signal arrival direction estimation device, signal arrival direction estimation method, signal arrival direction estimation program, and recording medium | |
JP2018077139A (en) | Sound field estimation device, sound field estimation method and program | |
US20230239616A1 (en) | Target sound signal generation apparatus, target sound signal generation method, and program | |
Warner et al. | Bowhead whale localization using asynchronous hydrophones in the Chukchi Sea | |
Guo-Long et al. | Match‐Mode Autoregressive Method for Moving Source Depth Estimation in Shallow Water Waveguides | |
JP2017085265A (en) | Impulse response generation device and program | |
JP2017055156A (en) | Sound field measurement device, sound field measurement method, program | |
CN117214815A (en) | Sound source direction of arrival estimation method and system based on spherical arrays | |
CN116482602B (en) | Unmanned aerial vehicle positioning method and positioning system based on radio waves | |
Jo et al. | Extended vector-based EB-ESPRIT using additional constraints for increasing the maximum number of detectable sources | |
Zavala et al. | Generalized inverse beamforming investigation and hybrid estimation | |
US11886996B2 (en) | Training data extension apparatus, training data extension method, and program | |
KR101534781B1 (en) | Apparatus and method for estimating sound arrival direction | |
Zhu et al. | Multifrequency matched-field source localization based on Wasserstein metric for probability measures | |
JP2018093379A (en) | Sound field estimation device, sound field estimation method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |