KR101645135B1 - 마이크로폰 어레이와 좌표변환 기법을 이용하는 음원 추적 방법 및 시스템 - Google Patents

Abstract

정사면체 형태의 마이크로폰 어레이와 좌표변환 기법을 이용하는 음원 추적 방법 및 시스템이 개시된다. 음원 추적 방법은, 복수의 마이크로폰들로부터 프레임 단위의 음향 데이터를 수집하는 단계, 복수의 마이크로폰들로 이루어진 다면체 형태의 마이크로폰 어레이에서 각 가상표면상의 복수의 마이크로폰들 간의 시간지연차를 추정하는 단계, 시간지연차를 토대로 마이크로폰 어레이의 각 가상표면에 대한 음원 후보를 생성하는 단계, 마이크로폰 어레이의 복수의 가상표면들 중 어느 하나의 기준면의 기준좌표계로 각 가상표면의 상기 음원 후보에 대한 좌표값을 좌표변환하는 단계, 기준좌표계에서의 기준면과 각 가상표면에 대한 좌표값들을 비교하는 단계, 및 기준면과 각 가상표면에 대한 좌표값들의 교차 구간에서의 교차 음원 후보들을 토대로 음향 데이터의 음원에 대한 방향각과 고도각을 추정하는 단계를 포함한다.

Description

마이크로폰 어레이와 좌표변환 기법을 이용하는 음원 추적 방법 및 시스템{METHOD AND SYSTEM FOR ACOUSTIC SOUND LOCALIZATION BASED ON MICROPHONE ARRAY AND COORDINATE TRANSFORM METHOD}

본 발명의 실시예들은 음원 추적 시스템에 관한 것으로, 더욱 상세하게는, 마이크로폰 어레이와 좌표변환 기법을 이용하는 음원 추적 방법 및 시스템에 관한 것이다.

임의 공간에서 인위적으로 발생하는 음원에 대한 음원 추적 기술은 다양한 분야에서 응용 가능한 기반 기술이다. 음원 추적 기술은 원격회의 시스템, 음향/영상 통신시스템, 로봇인지 시스템, 인공지능 시스템에서 청각 기능을 향상시켜주는 시스템에 이용될 수 있을 뿐 아니라 각종 재해감시, 교통감시, 노약자 및 아동 보호, 일반가정을 비롯한 사업장 등 일상생활에서 고 신뢰성 지능형 보안감시 서비스에 적용 가능하여 그 수요가 급증하고 있는 추세이다.

또한, 대표적인 보안감시 장치인 CCTV(Closed-circuit television)의 경우 카메라 음영 지역이나 저조도 등으로 인하여 사건현장을 정확하게 촬영하지 못하는 한계가 있다. 따라서 이러한 마이크로폰 어레이 기반의 음원 추적 기술을 보완하고자 하는 영상/음향 융합형 스마트(smart) CCTV 보안감시 시스템에 대한 관심과 수요가 높아지고 있는 실정이다.

이론적으로 스마트 CCTV 보안감시 시스템은 일정 높이에 설치되며 시스템의 수평면 아래가 일반적인 감시대상이고 음원의 방향성 정보가 중요하기 때문에 최소 3개 이상의 마이크로폰으로 시스템 수평면 이하 약 5m ~10m까지 비교적 원거리 방향 추적이 가능하여야 한다.

기존 CCTV 보안감시 시스템에 음원 추적 기술을 접목하게 되면, 첫째, 마이크로폰 어레이를 이용해 비명소리나 비정상 소음 등의 사건 정보를 수집함으로써 카메라 음영지역이나 저조도 지역에 대한 보안감시를 할 수 있고 그에 의해 영상감시 장비의 취약점을 보완할 수 있다. 둘째, 마이크로폰 어레이로 추적한 위험 지역을 관찰하여 범죄자나 피해자의 얼굴, 또는 의심 장소를 확대 검출하는 기능 등을 통해 범죄감시 또는 범죄예방 효과를 얻을 수 있는 장점이 있다.

그러나, 종래의 일반적인 음원 추적 시스템은 적용 공간과 시스템 특성에 따라 다양한 잡음 및 반향 등의 성능 저하 요소에 의해 음원 추적 성능에 많은 영향을 받는다. 이러한 성능 저하 요소는 모두 공간 내의 특정 능동 음원으로부터 마이크로폰 센서까지의 전달 과정에서 발생하게 되며, 음원과 마이크로폰 센서 사이의 거리가 증가할수록 상대적으로 심각한 악영향을 주게 된다.

기존의 국·내외 음원 추적 알고리즘 관련 연구는 주로 주변 잡음 및 음향 반향 등의 장애 요소들의 영향을 최소화하여 가급적 음원 방향각 및 위치 추정 오차를 최소화할 수 있는 방안을 제안하는 방향으로 진행되어 왔다. 최근의 대표적인 음원추적(또는 지연시간 추정) 알고리즘은 마이크로폰 수신 신호 간의 상관관계를 이용한 크로스 코릴레이션(Cross-Correlation) 방식과 크로스 코릴레이션에 가중함수를 부여하는 GCC(Generalized Cross-Correlation) 방식 등 크게 2가지 기술로 구분할 수 있다. 그 중에, GCC 방식의 음원 추적 알고리즘으로는 Roth Processor, SCOT(Smoothed Coherence Transform), CPSP(Cross-Power Spectrum Phase), Eckart Processor 등이 알려져 있다. 이 음원 추적 알고리즘은 비교적 정확한 지연 시간 추정과 적은 계산량 등의 장점을 가지지만 SNR(Signal to Noise Ratio)이 낮거나 저주파 대역 잡음이 많은 환경에서는 성능이 크게 떨어지는 단점이 있다.

음원 추적 기술을 적용한 영상/음향 융합형 보안감시 시스템 연구로는 국·내외 연구 대부분이 산업계를 중심으로 이루어지고 있으나 실험실 연구 단계에 머물러 있으며 상용화된 제품은 없는 실정이다. 국내 관련 연구로서 한국과학기술원(KIST)은 2012년에 사람의 비명소리에 자동적으로 반응하는 “귀달린 CCTV" 시스템을 발표한 바 있다. 이 융합형 CCTV 시스템은 소리 난 곳의 방향을 감지해 촬영하는 CCTV 장치로서 성폭력이나 학교폭력 예방에 대처하기 위해 개발되었다. 또한, 한국표준과학연구원(KRISS)은 2013년에 음원 추적 카메라 시스템을 개발하였다. 이 음원 추적 카메라 시스템은 음원 추적 기술을 적용해 소리가 발생한 방향으로 카메라를 움직일 수 있으며, 동시에 음향 정보를 취득할 수 있다. 하지만 이들 연구들은 현재 실험실 단계 연구이며 실제 적용을 위해 상용화 연구가 진행 중인 것으로 알려져 있다.

이와 같이, 국내외 연구 대부분은 실험실 연구 수준이며, 일부 몇몇 기업에서만 시장 선도효과를 위해 음향기반 단일 CCTV 장비나, 마이크로폰 감시 장치 등을 개발하여 공급하고 있으나 국·내외 모두 현재까지 규격화된 기술이나 기준은 없는 상태이다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 기존 CCTV 보안감시 장치 등에 적용 가능한 음원 추적 시스템에 관련된 연구로 기존 3개 마이크로폰을 이용하는 음원 추적 시스템에 1개의 마이크로폰을 추가한 정사면체 형태(tetrahedron shaper)의 음원 추적 시스템을 구성하고 마이크로폰 어레이에서 감지되는 추정 음원의 위치를 좌표변환 기법을 통해 추적하여 기존 음원 추적 시스템의 성능을 개선할 수 있는, 마이크로폰 어레이와 좌표변환 기법을 이용하는 음원 추적 방법 및 시스템을 제공하는데 있다.

본 발명의 다른 목적은, 정사면체의 변형 형태의 마이크로폰 어레이 구성과 이들에 대한 좌표변환 기법을 이용하여 상대적으로 적은 개수의 센서로 상대적으로 구조가 간단하고 우수한 음원 추적 성능을 발휘할 수 있는, 마이크로폰 어레이와 좌표변환 기법을 이용하는 음원 추적 방법 및 시스템을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면에서는, 복수의 다각형의 가상표면들을 가진 다면체의 꼭지점에 배치되는 복수의 마이크로폰들을 구비한 마이크로폰 어레이에 연결되는 컴퓨터 장치에 의해 수행되는 음원 추적 방법으로서, 마이크로폰 어레이로부터 각 마이크로폰의 음향 데이터를 수집하고, 가상표면들 중 어느 하나의 기준면과 상기의 기준면을 제외한 나머지 표면들 중 적어도 일부의 표면들에서 음향 데이터에 대한 음원 후보군을 추출하고, 음원 후보군에 대한 적어도 일부의 표면들의 좌표값을 기준면의 좌표값(기준좌표계)으로 좌표변환하고, 기준면에서의 제1 음원 후보 좌표값과 기준면 상의 적어도 일부의 표면들에 대한 복수의 제2 음원 후보 좌표값을 미리 설정된 크기만큼 확대하여 확대 음원 후보들을 생성하고, 확대 음원 후보들을 상호 비교하여 확대 음원 후보들 간의 교차 구간에서 교차 음원 후보들을 생성하고, 교차 음원 후보들을 토대로 음원의 방향각과 고도각을 추정하는, 음원 추적 방법을 제공한다.

여기에서, 음향 데이터에 대한 음원 후보군의 추출은, 각 표면에 위치하는 복수의 마이크로폰들을 통해 수집된 음향 데이터들의 지연시간 차를 추정하여 각 표면에서의 음원 후보들을 추정할 수 있다.

여기에서, 확대 음원 후보들의 생성은, 음원 후보군에 대한 각 표면의 음원 후보의 방향각, 고도각 또는 이들 모두의 좌표값을 각 음원 부호의 좌표값에서의 포지티브 각도 및 네거티브 각도 중 적어도 어느 하나를 부가하여 미리 설정된 크기만큼 확대하도록 구현될 수 있다.

여기에서, 음원의 방향각과 고도각의 추정은, 교차 음원 후보들의 평균을 토대로 구해질 수 있다.

여기에서, 다면체 형태는 4개의 삼각면들을 구비한 사면체 또는 정사면체 형태를 구비하고, 마이크로폰 어레이는 4개의 꼭지점에 하나 이상의 마이크로폰들이 각각 배치되도록 구현될 수 있다.

여기에서, 다면체 형태는 6개의 삼각면들을 구비한 정육면체 또는 육면체 형태를 구비하고, 마이크로폰 어레이는 5개의 꼭지점에 하나 이상의 마이크로폰들이 각각 배치되도록 구현될 수 있다.

상기 목적을 달성하기 위한 본 발명의 다른 측면에서는, 복수의 다각형 가상표면들을 구비한 다면체의 꼭지점에 배치되는 복수의 마이크로폰들로 이루어지는 마이크로폰 어레이에 연결되어 음원 추적 방법을 수행하는 음원 추적 시스템으로서, 마이크로폰 어레이로부터 각 마이크로폰의 음향 데이터를 수집하고, 가상표면들에서의 각 마이크로폰의 음향 데이터의 지연시간차를 토대로 가상표면들 중 어느 하나의 기준면과 상기 기준면을 제외한 나머지 표면들 중 적어도 일부의 표면들에 대한 음원 후보군을 추출하는 지연시간 추정부; 및 음원 후보군에 대한 적어도 일부의 표면들의 좌표값을 기준면의 좌표값으로 좌표변환하고, 기준면에서의 제1 음원 후보 좌표값과 기준면 상의 적어도 일부의 표면들에 대한 복수의 제2 음원 후보 좌표값을 미리 설정된 크기만큼 확대하여 확대 음원 후보들을 생성하고, 확대 음원 후보들을 상호 비교하여 확대 음원 후보들 간의 교차 구간에서 교차 음원 후보들을 생성하고, 교차 음원 후보들을 토대로 음원의 방향각과 고도각을 추정하는 음원 방향 및 위치 추정부를 포함하는, 음원 추적 시스템을 제공할 수 있다.

상기 목적을 달성하기 위한 본 발명의 또 다른 측면에서는, 복수의 마이크로폰들로부터 프레임 단위의 음향 데이터를 수집하는 단계; 복수의 마이크로폰들로 이루어진 다면체 형태의 마이크로폰 어레이에서 각 가상표면상의 복수의 마이크로폰들 간의 시간지연차를 추정하는 단계; 시간지연차를 토대로 마이크로폰 어레이의 각 가상표면에 대한 음원 후보를 생성하는 단계; 마이크로폰 어레이의 복수의 가상표면들 중 어느 하나의 기준면의 기준좌표계로 각 가상표면의 음원 후보에 대한 좌표값을 좌표변환하는 단계; 기준좌표계에서의 기준면과 각 가상표면에 대한 좌표값들을 비교하는 단계; 및 기준면과 각 가상표면에 대한 좌표값들의 교차 구간에서의 교차 음원 후보들을 토대로 음향 데이터의 음원에 대한 방향각과 고도각을 추정하는 단계를 포함하는, 음원 추적 방법을 제공한다.

여기에서, 기준면은 다면체 형태의 내부에 위치할 수 있다.

상술한 바와 같은 본 발명의 실시예에 따른 마이크로폰 어레이와 좌표변환 기법을 이용하는 음원 추적 방법 및 시스템을 사용할 경우에는, 기존 CCTV 보안감시 장치에 적용 가능한 음원 추적 시스템으로서 기존 3개 마이크로폰 구조에 1개의 마이크로폰을 추가한 정사면체 형태의 음원 추적 시스템을 구성하고 이에 대한 좌표변환 기법을 통해 음원을 추적함으로써 기존 음원 추적 시스템의 성능을 크게 개선할 수 있다.

또한, 정사면체 변형 형태의 음원 추적 시스템을 구성하여 상대적으로 구조가 간단하면서 마이크로폰 개수 대비 성능을 크게 개선한 음원 추적 방법 및 음원 추적 시스템을 제공할 수 있는 장점이 있다.

도 1은 본 발명의 일실시예에 따른 마이크로폰 어레이와 좌표변환 기법을 이용하는 음원 추적 방법(이하, 간략히 음원 추적 방법이라 한다)에 대한 흐름도이다.
도 2는 도 1의 음원 추적 방법에 적용가능한 음원 추적 시스템의 개략적인 블록도이다.
도 3은 도 1의 음원 추적 방법에 적용가능한 음원의 도착지연시간 추정원리를 설명하기 위한 개념도이다.
도 4는 도 1의 음원 추적 방법에 적용가능한 삼각형 기반 음원추적 원리를 설명하기 위한 개념도이다.
도 5는 도 1의 음원 추적 방법을 수행하는 음원 추적 시스템(이하, 간략히 음원 추적 시스템이라 한다)의 마이크로폰 어레이 구조에 대한 예시도이다.
도 6은 도 5의 마이크로폰 어레이 구조에 채용가능한 좌표변환 기법을 설명하기 위한 도면이다.
도 7은 도 5의 마이크로폰 어레이를 구비한 음원 추적 시스템에 의해 위치 추정된 가상음원에 대한 예시도이다.
도 8은 도 5의 마이크로폰 어레이를 구비한 음원 추적 시스템에 의해 위치 추정된 다른 가상음원에 대한 예시도이다.
도 9는 도 5의 마이크로폰 어레이를 구비한 음원 추적 시스템의 최종 방위각 산출 과정을 도시한 흐름도이다.
도 10은 도 9의 음원 추적 시스템의 최종 음원 방향성 결과값 산출 과정을 좀더 구체적으로 나타낸 예시도이다.
도 11은 도 5의 마이크로폰 어레이 구조의 구현예에 대한 예시도이다.
도 12는 도 11의 마이크로폰 어레이를 구비한 음원 추적 시스템의 사용자 인터페이스 화면에 대한 예시도이다.
도 13 내지 도 16은 본 실시예의 음원 추적 시스템과 비교예의 음원 추적 시스템의 성능 비교를 나타낸 그래프들이다.
도 17은 본 발명의 다른 실시예에 따른 음원 추적 방법에 대한 흐름도이다.
도 18은 도 17의 음원 추적 방법에 이용되는 마이크로폰 어레이 구조에 대한 예시도이다.
도 19는 도 17의 음원 추적 방법에 의해 위치 추정된 가상음원에 대한 예시도이다.
도 20은 도 17의 음원 추적 방법을 수행하는 음원 추적 시스템에 대한 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 본 명세서에서 오해의 소지가 없는 한 어떤 문자의 첨자가 다른 첨자를 가질 때, 표시의 편의를 위해 첨자의 다른 첨자는 첨자와 동일한 형태로 표시될 수 있다.

본 명세서에서 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 마이크로폰 어레이와 좌표변환 기법을 이용하는 음원 추적 방법(이하, 간략히 음원 추적 방법이라 한다)에 대한 흐름도이다.

도 1을 참조하면, 본 실시예에 따른 음원 추적 방법은 먼저 4개의 마이크를 통해 프레임 단위의 음향 데이터를 수집한다(S11). 4개의 마이크는 mic0, mic1, mic2 및 mic3로 각각 표시될 수 있고, 정사면체의 꼭지점에 배치되는 마이크로폰 어레이 구조를 가질 수 있다. 마이크로폰(microphone)은 마이크(mic)라고도 하며, 가청음을 전기적인 에너지 변환기나 센서로 전달하여 소리를 전기 신호로 변환하는데 이용되는 장치를 지칭한다.

한편, 음원 추적 방법은 음향 데이터를 수집하는 단계(S11) 전에, 4개의 마이크에 결합된 변환부를 통해 아날로그 음향 신호를 디지털 음향 신호로 변환하는 단계(S10)를 더 포함할 수 있다. 변환부로는 NI-9234 등의 아날로그 디지털 변환기(ADC)가 이용될 수 있다.

다음으로, 본 실시예에 따른 음원 추적 방법은 정사면체 마이크로폰 어레이의 4개의 삼각면들에서 음원에 대한 시간 지연을 각각 추정한다(S12). 본 단계에서의 시간 지연 추정은 CPSP(Cross Power Spectrum Phase)를 이용할 수 있으나, 이에 한정되지는 않는다.

다음, 각 삼각면에서의 시간 지연 추정을 토대로 삼각형 기반 방향각 및 고도각 결과값을 산출한다(S13). 본 단계에서는 CPSP 문턱값 설정을 통해 각 삼각면(A, B, C, R)에서의 음원 도달 방향을 추정할 수 있으나, 이에 한정되지는 않는다.

다음, 3개의 삼각면(A, B, C)에 대한 음원 방향각 및 고도각 결과값을 기준 삼각면 즉 기준면(R)의 기준 좌표계로 좌표변환한다(S14). 본 단계에서는 특정 삼각면(R)을 기준면으로 선택하나, 이에 한정되지는 않으며, 다른 삼각면들(A, B, C) 중 어느 하나를 기준면으로 선택할 수 있다.

다음, 좌표 변환된 각 삼각면에서의 방향각과 고도각을 교차 비교한다(S15). 본 단계에서는 4개의 음원 후보군 값들이 서로 교차하는 구간을 갖도록 설정을 조정할 수 있다. 설정은 오차 범위를 소정 크기만큼 크게 설정하는 것을 포함할 수 있다. 예를 들어, 방향각 및/또는 고도각의 오차 범위를 약 ±5 내지 약 ±10으로 설정하는 것을 포함할 수 있다.

다음, 음원 추적 시스템은 4개의 음원 후보군 값들이 서로 교차하는 구간을 이용하여 음원에 대한 최종 방향각과 고도각을 산출한다(S16). 본 단계에서는 4개의 음원 후보군 값들이 서로 교차하는 구간에서 평균을 취하여 음원의 최종 방향각과 고도각을 추정할 수 있으나, 이에 한정되지는 않는다. 예를 들어, 다른 구현에 의하면, 음원 추적 시스템은 4개의 음원 후보군 값들이 서로 교차하는 구간에서 가중 산술 평균, 절단 평균, 사분 평균, 가중 평균, 비가중 평균, 편차, 표준편차 등을 이용하여 음원의 최종 방향각과 고도각을 추정할 수 있다.

도 2는 도 1의 음원 추적 방법에 적용가능한 음원 추적 시스템의 개략적인 블록도이다.

도 2를 참조하면, 본 실시예에 따른 음원 추적 시스템은 지연 시간 추정부(10)와 음원 방향 및 위치 추정부(20)를 포함한다. 지연 시간 추정부(10)와 음원 방향 및 위치 추정부(20)는 음원 추적 시스템의 메모리의 소프트웨어 모듈 형태로 탑재될 수 있고, 메모리에 연결된 프로세서에 의해 수행되어 해당 기능부로서 동작할 수 있다.

지연 시간 추정부(10)는 음향 데이터를 수집하고, 수집된 음향 데이터를 토대로 정사면체 형태의 마이크로폰 어레이 구조의 각 삼각면에서 지연 시간을 추정하여 음원 후보군을 준비할 수 있다.

음원 방향 및 위치 추정부(20)는 4개의 음원 후보군 중 3개의 음원 후보군을 어느 하나의 기준면으로 좌표변환하고 좌표변환된 음원 후보군 값들이 서로 교차하는 구간에서 평균 등을 취하여 음원의 방향 및 위치를 추정할 수 있다.

즉, 본 실시예의 음원 추적 시스템은 첫 번째 단계에서 2개 혹은 그 이상의 마이크로폰에 수신되는 음원 신호(m1, m2, …, mn)들로부터 음향 신호의 도착 지연시간(TDOA, Time Delay Of Arrival) {Di, K}을 추정하고, 두 번째 단계에서 앞서 추정된 지연 시간을 이용한 음원의 방향각과 마이크로폰 배치 기하학을 이용한 음원의 위치 {x,y,x}나 방향성 {φ,θ}을 추적할 수 있다.

이하에서 설명하는 본 실시예의 음원 추적 시스템은 폐쇄된 공간 내에서 음원을 추적하는 방법을 주로 예시하나, 이에 한정되지는 않으며, 폐쇄되지 않은 공간에서도 적용할 수 있음은 후술하는 실시예들로부터 명백하다.

도 3은 도 1의 음원 추적 방법에 적용가능한 음원의 도착지연시간 추정원리를 설명하기 위한 개념도이다.

도 3에 나타낸 바와 같이, 2개 마이크로폰(m₁, m₂)으로 구성된 음원 추적 시스템의 경우, 두 마이크로폰(m₁, m₂)에 수신된 신호를 각각 x₁(t), x₂(t)라고 할 때, 수신 신호는 수학식 1과 같이 표현될 수 있다. 여기서 음원 신호의 전파경로상 감쇠상수는 1로 가정하였다.

수학식 1에서 τ는 각 마이크로폰(m₁, m₂)에 도착하는 음원 신호 간의 상대적인 지연시간, s(t)는 음원 신호, n₁(t), n₂(t)는 공간 내에 존재하는 잡음 신호와 반향 등의 음향 잡음을 의미한다.

일반적으로 음원 신호 s(t)는 잡음 신호와 비 상관관계에 있고, 잡음신호 n₁(t),n₂(t)는 AWGN(Additive White Gaussian Noise)로 가정되며 지연시간 추정 알고리즘은 음원의 도착 지연시간 차인 τ를 계산하는 것으로 표현될 수 있다.

음원의 도착 지연시간 차인 τ를 이용한 음원의 방향각 계산은 각 마이크로폰(m₁, m₂)의 기하학적 좌표를 이용하여 수학식 2와 같이 근사하여 구할 수 있다.

수학식 2에서 ν는 음속(340m/sec)을 의미하고, θ는 2개의 마이크로폰(m₁, m₂) 사이의 중심에서 음원으로의 방향각, m_i, m_j는 2개의 마이크로폰(m₁, m₂)에 대한 벡터 좌표값, τ는 두 개의 마이크로폰에 수신되는 신호의 지연시간을 의미한다.

음원(S)의 지연시간차 τ를 구하는 크로스 코릴레이션(Cross-Correlation) 방식은 각 마이크로폰(m₁, m₂)에 수신된 2개 신호의 크로스 코릴레이션 함수를 구하고 이 함수를 최대화하는 지연 시간을 계산하는 방식으로 표현가능하며, 그것의 크로스 코릴레이션은 다음의 수학식 3과 같이 정의된다.

수학식 3에서

는 크로스 파워 스펙트럼(Cross Power Spectrum)을 나타내며, 이러한 크로스 코릴레이션 방식은 공간 내 주변잡음과 반향에 상당히 민감하게 반응하는 단점이 있다.

한편, 일반화된 크로스 코릴레이션(Generalized Cross-Correlation, GCC)은 수학식 3의 크로스 파워 스펙트럼에 가중함수를 주어 기존의 크로스 코릴레이션 방법의 단점을 보완하는 것으로서 다음의 수학식 4와 같이 정의된다.

수학식 4에서

는 가중함수로서 실제 구하고자 하는 지연시간 값은 가중 크로스 파워 스펙트럼(Weighted Cross Power Spectrum),

의 역 푸리에 변환값인 GCC 함수를 최대화하는 값으로 구해진다. 참고로 수학식 4에서 가중 함수를

로 하면 크로스 코릴레이션 방법과 동일함을 알 수 있다. 수학식 4에서 가중함수의 형태에 따라 Roth Processor, SCOT(Smoothed Coherence Transform), CPSP(Cross-Power Spectrum Phase), Eckart Processor 등의 다양한 알고리즘이 적용가능하다.

도 4는 도 1의 음원 추적 방법에 적용가능한 삼각형 기반 음원추적 원리를 설명하기 위한 개념도이다.

도 4를 참조하면, 본 실시예에 따른 음원 추적 방법은 삼각형 기반의 음원 추적 원리를 이용한다. 즉, 도 3에 나타낸 바과 같이 2개 마이크로폰으로 구성된 시스템의 경우 2차원 공간에서 좌·우의 음원 방향만을 추정할 수 있을 뿐이다. 3차원 공간에서 음원의 정확한 좌표 위치를 추정하기 위해서는 최소 4개의 마이크로폰이 필요하나, 음원의 방향성(방향각과 고도각)만을 추정하기 위해서는 최소 3개 이상의 마이크로폰으로도 가능하다. 본 실시예에서는 3차원 공간에서 음원의 방향성을 추적하기 위한 정사면체 마이크포폰 어레이의 각 면을 구성하는 3개 마이크로폰 어레이 구조를 이용한다.

본 실시예에서 3개의 마이크로폰은 정삼각형을 이루고 있으며, S는 음원(sound source)의 3차원 위치 좌표를 나타내고, mic0(M0), mic1(M1), mic2(M2)는 3개 마이크로폰의 벡터 좌표값을 나타낸다. 또한 r은 좌표계 원점에서 음원과의 거리를, θ와 φ는 각각 음원의 방향각과 고도각을 나타낸다.

만일 3개의 마이크로폰(mic0, mic1, mic2) 어레이의 중심점 (0,0,0)에서 제1 마이크(mic0)까지의 거리를 a라고 하면, 음원 위치(S)와 각 마이크로폰 위치(M0, M1, M2)는 다음의 수학식 5와 같이 표현될 수 있다.

여기서 음향이 발생한 음원 위치(S)에서 각 마이크로폰 위치(M0, M1, M2)에 도착하는 음원 신호의 도착 지연시간(TDOA)은 다음의 수학식 6과 같이 구해질 수 있다.

여기서 TD(TimeDelay)₁₀은 두 마이크로폰 위치들(M1, M0)에 음향신호가 도착한 지연 시간차를 의미하며, distance(S-M0)는 음원과 마이크로폰(M0) 간의 거리를 나타낸다.

수학식 6에서 음원과 각 마이크로폰 간의 거리 연산은 비선형 항을 포함하고 있기 때문에 수학식 5와 6을 연산하여 풀 때, 연산량이 많아지고 또한 오차가 많이 발생하는 문제가 있다. 이를 보완하기 위해 비선형 거리 연산항인 distance(S-M0)을 수학식 7의 테일러급수(Taylor series) 전개를 이용해 처음 몇 개의 급수 항만 선택해서 선형 근사치 연산을 수행할 수 있다.

한편, 음원과 마이크로폰 사이의 거리가 상당히 크다는 가정(r>>a)하에 테일러급수를 이용하여 근사식을 유추하면 다음의 수학식 8과 같은 거리를 얻을 수 있다.

위와 유사한 방식으로 음원 S와 각 마이크로폰 간의 거리도 다음의 수학식 9와 같이 구할 수 있다.

수학식 8을 이용하여 수학식 9를 다시 정리하면 다음의 수학식 10과 같이 마이크로폰들 간의 지연 시간차를 구할 수 있다.

삼각함수 공식을 활용하여 수학식 10을 정리하면, 다음의 수학식 11과 같다.

그리고 수학식 10과 11을 이용하면 다음의 수학식 12를 얻을 수 있다.

수학식 12로부터 음원의 고도각 φ를 구하면 다음의 수학식 13과 같다.

한편, 구해진 고도각 φ를 이용하여 cosφ 값을 수학식 10에 대입한 후 3개의 후보 방향각에 대해 평균을 취하여 최종 방향각 θ를 구하면, 다음의 수학식 14와 같다.

아래의 표 1은 다양한 방향각과 고도각으로 설정된 가상 음원에 대해 삼각형 기반 음원 추적 기법에 대한 컴퓨터 시뮬레이션 결과이다. 수학식 7에서의 가정과 근사식으로 인해 연산 오차가 발생함을 볼 수 있다. 고도각 0도에서는 최대 5도까지 오차가, 방위각 0도에서는 1도의 방향각 오차가 이론적으로 발생하고 있다.

도 5는 도 1의 음원 추적 방법을 수행하는 음원 추적 시스템(이하, 간략히 음원 추적 시스템이라 한다)의 마이크로폰 어레이 구조에 대한 예시도이다.

본 실시예에 따른 음원 추적 시스템은 정사면체 형태의 마이크로폰 어레이 구조를 포함할 수 있다. 즉, 도 4의 삼각형 기반의 음원 추정 과정에서는 주변 잡음 및 반향 등으로 인해 3개의 지연 시간 연산(TD₁₀,TD₂₁,TD₀₂)에서 1개의 검출 오차라도 발생한다면 정확한 음원 위치 추정이 불가능할 뿐만 아니라 음원의 위치 추정에 대한 정확성이 떨어지는 한계가 있다. 따라서 본 실시예에서는 1개의 마이크로폰을 추가하여 도 5와 같은 정사면체 형태(tetrahedron shaper)의 마이크로폰 어레이를 구성하고 좌표변환 기법을 이용하여 주변 잡음이나 오류에 강인한 새로운 음원 추정 알고리즘을 제공한다.

도 5에 나타낸 바와 같이, 본 실시예에 따른 음원 추적 시스템에서는 추가로 설치한 마이크로폰(mic3)에 의해 총 4개의 삼각면, 즉 기준 삼각면인 R면(mic0-mic1-mic2), A면(mic0-mic1-mic3), B면(mic1-mic2-mic3) 그리고 C면(mic0-mic2-mic3)을 구비한다. 각 삼각면에서는 3개의 마이크로폰 어레이에 기반해 앞서 설명한 삼각형 기반 음원 추적 시스템을 구성할 수 있고, 또한 음원의 후보 방향각 θ와 후보 고도각 φ를 연산할 수 있다.

따라서, 본 실시예에 따른 음원 추적 시스템에서는 총 4개의 삼각면에서 4개의 후보 방향각과 고도각의 쌍을 얻을 수 있으며, 각 A, B, C 삼각면들에서 구한 방향각과 고도각 값을 기준면(R면)으로 좌표 변환하고, 이들 4개 후보군 값들이 서로 교차하는 구간에서 평균을 취하여 음원의 최종 방향각 θ과 고도각 φ을 연산할 수 있다. 이러한 방법은 어느 하나의 마이크로폰에 오차가 발생하더라도 오차가 발생하지 않은 나머지 마이크로폰의 결과를 조합하여 최종 결과를 도출할 수 있기 때문에 주변 잡음이나 오류에 강인한 장점이 있다.

한편, 본 실시예에서 따른 음원 추적 시스템에서의 음원 추정 알고리즘은 총 4개 삼각면들(R면, A면, B면, C면)에서의 후보 음원 위치 추정 결과 값을 이용하는 것으로, 각 삼각면에서의 마이크로폰 배치 좌표가 다르기 때문에 세 삼각면(A면, B면, C면)에서 구한 음원의 방향각과 고도각 값을 기준면(R면)의 마이크로폰 좌표에 맞추어 변환해주어야 한다.

도 6은 도 5의 마이크로폰 어레이 구조에 채용가능한 좌표변환 기법을 설명하기 위한 도면이다. 도 7은 도 5의 마이크로폰 어레이를 구비한 음원 추적 시스템에 의해 위치 추정된 가상음원에 대한 예시도이다.

본 실시예에서는 도 6에 도시한 바와 같이 4개의 마이크들(mic0, mic1, mic2, mic3)를 가진 정사면체 형태의 마이크로폰 어레이의 4개의 삼각면들 중 하나인 R면(mic0-mic1-mic2)을 나머지 삼각면들 중 하나인 A면(mic0-mic1-mic3)으로 좌표 변환하는 5단계 과정을 보여준다.

도 6의 (a)는 삼각면 R면이 3차원 직각 좌표계의 x-y 평면에 평행하고, 삼각면 R면의 일측 마이크(mic0)가 y축 및 z축의 값이 0인 x축 상에 위치하고, 일측 마이크(mic0)에서 내린 수선 길이가 a × 3/2일 때 일측 마이크(mic0)로부터 수선 길이의 2/3 지점인 a에 원점(0,0,0)이 위치한 형태를 나타낸다.

다음, 도 6의 (b)는 R면을 +x축 방향으로 a의 1/2만큼 평행 이동한 상태를 보여준다. 그리고 도 6의 (c)는 R면을 y축을 기준으로 +z축 방향으로 약 70.52도만큼 회전한 상태를 보여준다. 이것은 R면을 B면과 중첩하도록 배치하는 것에 대응된다.

다음, 도 6의 (d)는 R면을 -x축 방향으로 a의 1/2만큼 평행 이동한 상태를 보여준다. 그리고 도 6의 (e)는 제2 마이크(mic1)와 제4 마이크(mic3)을 연결하는 선분을 회전축으로 하여 제3 마이크(mic2)가 제1 마이크(mic0)의 위치로 이동하도록 -120도 회전한 상태를 보여준다.

본 실시예에 의하면, 정사면체 마이크로폰 어레이에서 4개의 삼각면들 중 R면을 A면으로 좌표 변환할 수 있다. 한편, 본 실시예의 음원 추적 시스템에서는 R면을 A면으로 좌표 변환하는 것을 이용하나, 이에 한정되지는 않으며, 본 발명은 마이크로폰 어레이의 네 삼각면들 중 임의의 삼각면을 기준면으로 설정하고 나머지 삼각면들을 기준삼각면으로 좌표 변환하도록 구현될 수 있다.

아래의 수학식 15는 도 6의 좌표 변환 과정과 유사하게 마이크로폰 어레이의 하나의 삼각면인 A면의 좌표값(x_A,y_A,z_A)을 기준 삼각면인 R면의 좌표값(x_AR,y_AR,z_AR)으로 변환하는 행렬 수식이다.

수학식 15와 유사하게, 나머지 삼각면들인 B면의 좌표값 (x_B,y_B,z_B)과 C면의 좌표값(x_C,y_C,z_C)을 다음의 수학식 16 및 17과 같이 기준면인 R면의 좌표값 (x_BR,y_BR,z_BR)과 (x_CR,y_CR,z_CR)로 각각 변환할 수 있다.

아래의 표 2는 좌표변환의 일례로, R면의 중심에서 거리 10m, 방위각 60도, 고도각 50도 즉, (x,y,z)=(3.2139m, 5.5667m, 7.6604m에 위치한 가상 음원에 대해 R면에서의 방향각과 고도각, 그리고 각 삼각면(A면, B면, C면)에서의 상대적인 방향각과 고도각, 그리고 좌표변환 후 값들을 나타낸다. 위의 수학식 15, 16 및 17에 따라 좌표변환을 하면 R면에서의 방향각과 고도각이 일치함을 볼 수 있다.

표 2에 나타낸 바와 같이, 본 실시예에서 이용하는 삼각면들인 A면, B면 및 C면 각각의 음원 후보군에서는 위의 표 1에서 설명한 바와 유사하게 삼각형 기반 음원 추적 알고리즘의 오차에 의해 각각의 방위각 및 고도각에 대해서 1도 이상의 오차를 보이고 있다. 그러나, 본 실시예에 따른 음원 추적 시스템에 의해 추적되는 가상음원(S)은 표 2 및 도 7에 나타낸 바와 같이 기준면 R면의 중심을 기준으로 음원(S)의 실제 위치에 상응하는 방향각(θ_R)과 고도각(φ_R)을 가지는 것을 확인할 수 있다.

도 8은 도 5의 마이크로폰 어레이를 구비한 음원 추적 시스템에 의해 위치 추정된 다른 가상음원에 대한 예시도이다.

도 8을 참조하면, 본 실시예에 따른 음원 추적 시스템은 제1 마이크(mic0), 제2 마이크(mic1), 제3 마이크(mic2) 및 제4 마이크(mic3)로 구성되는 정사면체 마이크로폰 어레이를 구비한다.

본 실시예의 음원 추적 시스템에서 기준 삼각면인 R면 상에 놓인 3차원 x-y-z 직각 좌표계의 원점에서 거리 10m인 (x,y,z)=(-3.2139m, 5.5667m, 7.6604m)에 위치하는 가상 음원(S)에 대해 R면에서의 방향각과 고도각, 그리고 각 삼각면(A면, B면 및 C면)에서의 상대적인 방향각과 고도각, 그리고 좌표변환 후 값들을 산출하고, 이를 아래의 표 3에 나타내었다.

표 3에 나타낸 바와 같이, 삼각면 C면에서 가상 음원의 고도각은 마이크로폰 평면 좌표 아래쪽에 위치하기 때문에 고도각의 값이 음수가 되며, 표 1이나 표 2의 경우와 유사하게 삼각형 기반 추적 알고리즘의 이론적 오차에 의해 그 방향각과 고도각에서 각 1도 정도의 오차를 보이고 있다. 그러나, 본 실시예에 따른 음원 추적 시스템에 의해 추적된 가상 음원(S)은 표 3 및 도 8에 나타낸 바와 같이 기준면 R면의 중심을 기준으로 음원(S)의 실제 위치에 상응하는 방향각(θ_R) 120도와 고도각 (φ_R) 50도를 가지는 것을 확인할 수 있다.

도 9는 도 5의 마이크로폰 어레이를 구비한 음원 추적 시스템의 최종 방위각 산출 과정을 도시한 전체 블록 다이어그램이다.

도 9에 도시한 바와 같이, 본 실시예에 따른 음원 추적 시스템은 4개의 마이크로폰을 이용하는 마이크로폰 어레이 구조를 구비하며 마이크로폰 어레이의 4개의 삼각면(R면, A면, B면, C면) 각각에서 음원 후보군(θ_R,Φ_R; θ_A,Φ_A; θ_B,Φ_B; θ_C,Φ_C)을 추정하고(S1), 각 삼각면에서 추정한 음원 후보군을 오차 범위를 확대하여 확대된 음원 후보군(θ_R,Φ_R; θ_R,-Φ_R; θ_A,Φ_A; θ_A,-Φ_A; θ_B,Φ_B; θ_B,-Φ_B; θ_C,Φ_C; θ_C,-Φ_C)을 생성하고(S2), 기준면인 R면을 제외한 A면, B면 및 C면의 확대된 음원 후보군의 좌표값들을 좌표변환(S3)하여 R면의 좌표값들(θ_R,Φ_R; θ_R,-Φ_R; θ_AR,Φ_AR; θ_AR,Φ_AR-; θ_BR,Φ_BR; θ_BR,Φ_BR-; θ_CR,Φ_CR; θ_CR,Φ_{CR -})을 생성하고(S4), R면에서 8개의 음원 후보군들 간의 서로 교차하는 구간에서 교차각 산출에 의한 최종 방위각과 고도각(θ,Φ)을 추정할 수 있다(S5).

즉, 본 실시예에 따른 음원 추적 시스템은 총 4개의 삼각면에서 4개의 후보 방향각과 고도각 쌍을 추정하고, 4개의 음원 후보군을 확대하여 8개의 확대된 음원 후보를 생성하고, 3개의 삼각면(A면, B면, C면)에서 구한 방향각과 고도각 값을 기준면인 R면으로 좌표변환한 후, 이들 8개 후보군 값들이 서로 교차하는 구간에서 평균을 취하여 음원의 최종 방향각(θ)과 고도각(Φ)을 추정할 수 있다.

도 10은 도 9의 음원 추적 시스템의 최종 음원 방향성 결과 값 산출 과정을 좀더 구체적으로 나타낸 예시도이다.

본 실시예는 4개의 후보 방향각과 고도각 쌍을 대상으로 이들 값들이 서로 교차하는 구간을 설정하고 이 구간에서 평균을 구해 최종 방향각과 고도각을 추정하는 절차를 나타낸다.

도 10을 참조하면, 본 실시예에 따른 음원 추적 시스템은 먼저 정사면체를 구성하는 4개의 삼각면들에서의 음원 후보군을 추정한다(S1). 각 삼각면은 3개의 꼭지점들에 3개의 마이크로폰들이 배치된 형태를 구비한다. 본 실시예에서는 음원 후보군으로서 기준면 R면에서 추정한 방위각과 고도각 {117도, 50도}, A면에서 추정하여 R면으로 변환한 A면 방위각과 고도각 {114도, 51도}, B면에서 추정하여 R면으로 변환한 B면 방위각과 고도각 {151도, 51도}, 및 C면에서 추정하여 R면으로 변환한 C면 방위각과 고도각 {114도, 51도}을 예를 들어 설명한다.

다음, 각 삼각면에서의 연산 오차범위를 감안하여, 각 삼각면에서의 방위각들을 ±10도 확대한다. 예를 들어, R면에서 측정한 방위각이 117도이기 때문에 이를 ±10도 확대할 경우 R면에서 추정한 방위각은 107도에서 127도까지 확대된다(S2). 이와 유사하게, A면에서의 방위각은 114도이므로 104도에서 124도까지 확대된다(S2). 이때 기준면 R면과 A면의 방위각의 교차각 범위(RA)는 107도 ~ 124도 범위가 되며(S4), 이것을 평균하면 116도가 된다(S5a). 동일한 방식으로 표 4에 나타낸 바와 같이 각 삼각면 후보값 쌍들에 대해 교차각 범위와 평균을 구하고, 이들 값들의 평균을 구해 최종 방위각을 산출한다(S5b). 최종 고도각 또한 최종 방위각과 같은 방식으로 구해질 수 있다.

도 11은 도 5의 마이크로폰 어레이 구조의 구현예에 대한 예시도이다.

도 11을 참조하면, 본 실시예에 따른 음원 추적 시스템의 정사면체 형태로 배치되는 4개의 마이크로폰들(mic0, mic1, mic2, mic3)을 구비한 마이크로폰 어레이는 삼각면 좌표 변환 방식에 따라 음원 후보군을 추정하기 위해 정사면체의 각 삼각면에서 음원 신호를 습득한다. 여기서, 마이크로폰은 내셔널 인스트루먼트(National Instrument) 사의 ADC(Analog Digital Convertor) 장비인 NI-9234 장비를 이용하였으며, 습득 신호는 25.6㎑로 샘플링되어 각 채널당 30,000 샘플 블록 단위(1 프레임)의 데이터를 포함하였다.

마이크로폰 어레이에 유선 또는 무선 네트워크로 연결되는 음원 추적 시스템(도 2 참조)은 습득 신호(음향 데이터)를 처리하여 총 4개 마이크로폰 조합으로부터 신호 도착 지연시간(TDOA)을 추정한다. 추정된 지연시간에 기반해 기준 삼각면인 R면에서 삼각형 기반의 음원 방향성, 즉 음원의 방향각과 고도각을 산출하고, 또한 나머지 삼각면들인 A면, B면 그리고 C면에서 각각의 방향각과 고도각을 구해 수학식 15 내지 수학식 17에 따라 좌표변환을 거쳐 이들 4개 후보군들의 교차 구간에서 평균값을 구하여 최종 음원 방향각과 고도각을 추정한다.

즉, 본 실시예에 따른 음원 추적 시스템은 크게 3단계의 음원 추적 알고리즘에 따라 음원을 추적할 수 있다. 첫 번째 단계에서 음원 추적 시스템은 마이크로폰 조합의 각 삼각면에서 습득한 음향 신호에 대해 CPSP(Cross Power Spectrum Phase) 알고리즘을 이용한 도착 지연시간(Time Dedlay Of Arrival)을 측정할 수 있다. 두 번째 단계에서 음원 추적 시스템은 기준 R면, A면, B면, C면의 4개 삼각면에서 삼각형 기반의 방향각과 고도각을 추정할 수 있다. 그리고 세 번째 단계에서 음원 추적 시스템은 좌표변환 기법을 통해 각 삼각면에서의 음원 방향각과 고도각 값들을 기준 R면으로 변환한 후 이들 값들의 교차 구간에서의 최종 방향각과 최종 고도각을 구하여 음원을 추정할 수 있다.

도 12는 도 11의 마이크로폰 어레이를 구비한 음원 추적 시스템의 사용자 인터페이스 화면에 대한 예시도이다.

도 12를 참조하면, 본 실시예에 따른 음원 추적 시스템에 채용할 수 있는 사용자 인터페이스 화면(8)에는 마이크의 4개의 마이크로폰의 소정의 기준면 중심 또는 3차원 xyz 좌표계의 원점에서부터의 상대적인 위치가 각각 표시될 수 있다. 즉, 사용자 인터페이스 화면(8)에서 제1 마이크 내지 제4 마이크(Mic 0, Mic 1, Mic 2, Mic 3)는 미리 설정된 원점을 기준으로 소정의 방향각과 고도각을 갖는 것으로 표시될 수 있다. 또한, 사용자 인터페이스 화면(8)에는 정사면체 마이크로폰 어레이와 좌표변환을 이용한 음원 추적 결과가 레이더 화면 형태의 그래프와 자세 지시계형태의 그래프와 파형 그래프가 함께 표시될 수 있으나, 이에 한정되지는 않는다.

실험예

본 실시예에 따른 음원 추적 방법의 성능을 입증하기 위하여 비교예로서 도 4의 삼각형 기반 음원 추적 기법을 이용하는 시스템과 본 실시예로서 도 5의 정사면체 기반 음원 추적 시스템에 대하여 실시간 비교 실험을 수행하였다.

실험을 위해 총 150초 분량의 음향 데이터를 준비하였고, 음향 크기 및 잡음에 따른 음원 추적 성능을 평가하기 위해 신호대 잡음비(SNR)가 약 20㏈인 음향과 SNR이 0㏈ 이하인 음향을 무작위로 조합하여 사용하였다. 25.6㎑ 샘플링, 1 프레임당 30,000 샘플 블록 단위로 알고리즘을 실시간 수행하여 약 100번의 음원 추적 연산 결과를 바탕으로 성능을 비교하였다.

실험에서 본 실시예와 비교예의 음원 추적 시스템과 음원 간의 직선거리는 기존 CCTV 방범 장치를 감안하여 각각 5m와 10m로 설정하였다. 각각의 거리에서 음원의 고도각은 0도와 20도에서, 각 고도각에서의 방향각은 30도에서 330도까지 30도 간격으로 설정하여 실험하였다. 두 음원 추적 시스템의 성능을 비교하기 위해, 실시간 알고리즘 수행 후 설정된 음원 위치에 대해 추정된 음원 방향성이 각각 방향각 ±10도(360도 전방향에 대해 5.4% 오차 범위), 고도각 ±5도(90도 대해 11% 오차 범위) 미만의 오차 범위에 대해서만 검출 성공으로 간주하고, 그 이상의 오차 범위에 대해서는 검출실패로 간주하였다.

아래의 표 5는 거리 5m, 방향각 60도, 고도각 20도에 설정된 음원에 대해 비교예의 음원 추적 시스템과 본 실시예의 음원 추적 시스템의 연산 결과에 대한 성능 비교를 보이고 있다. 표 5에서 정사면체 방항각과 고도각은 본 실시예의 음원 추적 시스템에서 추정한 결과를 나타내며, 정삼각형 방향각과 고도각은 비교예의 삼각형 기반 음원 추적 알고리즘에 의해 추정한 결과를 나타낸다. 표 5에서 허용된 오차 범위내(방향각 ±10도, 고도각 ±5도 미만)에 연산된 결과는 검출 여부 1로, 그렇지 못한 결과는 검출여부 0으로 표기하였다. 표 5에서 볼 수 있듯이, 허용 오차 범위 내로 검출된 음향 프레임에 대해서는 비교예의 음원 추적 시스템과 본 실시예의 음원 추적 시스템 모두 오차범위 2% 내외로 방향각과 고도각을 연산해낼 수 있음을 알 수 있다. 하지만 SNR이 비교적 낮은 프레임 번호 12, 36, 46, 59, 76, 79, 96, 97, 100번 등 9개 음향 프레임에 대해서는 비교예의 음원 추적 시스템에 비해 본 실시예의 음원 추적 시스템이 우수한 결과를 보임을 알 수 있다. 총 100개 음향 프레임에 대해 비교예의 음원 추적 시스템은 총 64 프레임을, 반면 본 실시예의 음원 추적 시스템은 총 69개 프레임을 허용 오차범위 내에서 연산해낼 수 있음을 알 수 있다.

아래의 표 6 내지 표 9는 음원 거리 5m 및 10m에서 고도각 0도와 20도, 그리고 각 고도각에서 방향각 30도 내지 330도 사이를 30도 단계로 설정하였을 때의 실험결과를 요약한 것이다. 본 실시예에서는 표 5의 경우와 마찬가지로 추정된 음원방향성이 각각 방향각 ±10도, 고도각 ±5도 미만의 오차 범위에 대해서만 검출 성공으로 간주하고, 그 이상의 오차 범위에 대해서는 검출 실패로 간주하였다.

도 13 내지 도 16은 본 실시예의 음원 추적 시스템과 비교예의 음원 추적 시스템의 성능 비교를 나타낸 그래프들이다.

도 13 내지 도 16을 참조하면, 본 실시예에 따른 음원 추적 시스템은 표 6에 나타낸 바와 같이 음원과의 거리 5m에서는 평균 12% 내외의 성능이 향상되며, 음원과의 거리가 멀어질수록 예컨대, 거리 10m에서는 25% ~ 30%의 성능차를 보임을 확인할 수 있었다. 또한, 거리 10m, 방향각 90도, 고도각 20도에서는 최대 46%에 가까운 성능 향상을 볼 수 있었다.

본 실시예에 따른 음원 추적 시스템은 기존의 삼각형 기반 음원 추적 시스템과 실시간 비교실험을 통하여 그 우수성을 입증하였다. 실시간 실험 결과, 본 실시예의 음원 추적 시스템은 기존의 삼각형 기반 음원 추적 시스템에 비해 약 46%의 성능 향상을 꾀할 수 있음을 알 수 있다. 또한 본 실시예에 따른 음원 추적 시스템은 거리 5m에서 평균 12% 내외의 성능 향상을, 거리가 멀어질수록 25% ~ 46%의 성능 향상을 보임을 확인할 수 있다.

전술한 실시예들에 의하면, 기존 CCTV 보안감시 시스템에 적용 가능한 음원 추적 시스템으로서 기존 3개 마이크로폰 구조에 1개의 마이크로폰을 추가한 정사면체 형태(tetrahedron shaper)의 마이크로폰 어레이를 구성하고 좌표변환 기법을 이용하여 주변 잡음이나 오류에 강인한 새로운 음원 추적 시스템을 제공할 수 있다. 즉, 임의 3차원 공간에서 음원 추적을 위해서는 최소 3개 이상의 마이크로폰이 필요하다. 3개 마이크로폰으로 구성된 음원 추적 시스템의 경우 만약 1개의 마이크로폰이라도 신호 오차가 발생한다면 정확한 음원 방향성 추정이 불가능하다. 따라서, 본 실시예에서는 이러한 문제점을 개선하기 위하여 1개의 마이크로폰을 추가한 정사면체 형태(tetrahedron shaper)의 마이크로폰 어레이를 구성하고 좌표변환 기법을 이용하여 주변 잡음이나 오류에 강인한 새로운 음원 추적 알고리즘을 제공할 수 있다.

한편, 전술한 실시예에서는 음원추적 단서로 각 마이크로폰 쌍에 도착하는 음원의 도착 지연시간(TDOA)을 이용하여 음원 추적을 설명하였지만, 본 발명은 그러한 구성으로 한정되지 않고, 음원의 도착 지연시간과 함께 음원의 크기차(ILD, Interaural level difference)를 동시에 활용하여 보다 정확한 성능의 음원추적 시스템으로 구현될 수 있다.

또 한편으로, 전술한 실시예에서는 정사면체 형태의 마이크로폰 어레이를 구비하는 음원 추적 방법 및 시스템을 중심으로 설명하였지만, 본 발명은 그러한 구성으로 한정되지 않는다. 본 실시예에 따른 음원 추적 방법이나 음원 추적 시스템은 정사면체 형태를 가질 때 계산이 용이한 장점이 있으나, 4개의 이상의 마이크로폰을 이용한 다양한 형태의 사면체 형태의 마이크로폰 어레이를 구비할 수 있다. 이 경우, 사면체 형태의 마이크로폰 어레이에서 4개의 삼각면들 중 3개의 삼각면에서의 음원 후보군에 대한 좌표값들을 사면체 형태에 따라 미리 설정된 좌표변환 과정을 통해 기준 삼각면의 좌표값으로 변환할 수 있다면 본 실시예에 포함할 수 있다.

또 한편으로, 전술한 실시예에서는 음원 후보를 확대할 때 방향각 ±10도와 고도각 ±5도를 확대하는 것으로 설명하나, 이에 한정되지는 않으며, 주변 환경이나 잡음 등에 의해 확대 크기를 더 크게 혹은 더 작게 추가로 조정할 수 있다. 그리고, 또한, 전술한 실시예에서는 음원 후보의 확대 시 음원 후보군에 대한 각 표면의 음원 후보의 방향각을 포지티브 각도와 네거티브 각도로 동일한 크기 만큼 확대하는 것을 설명하나, 이에 한정되지는 않으며, 주변 환경이나 잡음 환경 등에 의해 포지티브 각도와 네거티브 각도가 서로 다른 크기로 확대되거나 확대를 위한 포지티브 각도와 네거티브 각도 중 어느 하나를 생략하거나 0으로 설정할 수 있다.

도 17은 본 발명의 다른 실시예에 따른 음원 추적 방법에 대한 흐름도이다.

도 17을 참조하면, 본 실시예에 따른 음원 추적 방법은 먼저 5개의 마이크로폰을 이용하여 구성한 두 개의 정사면체를 공통 기준면을 사이에 두고 일체화한 형태의 마이크로폰 어레이를 준비한다(S21). 마이크로폰 어레이는 음원 추적 방법을 수행하는 음원 추적 시스템의 본체에 연결될 수 있다.

여기서 두 개의 정사면체는 설명의 편의상 앞서 설명한 정사면체 형태를 이용하여 설명한 것으로, 본 발명에서는 5개의 마이크로폰을 이용하여 6개의 외표면 삼각면들을 구비하고 서로 교차하지 않는 하나의 내부 삼각면을 그릴 수 있는 형태라면 특별히 제한하지 않고 이용할 수 있다. 삼각면은 정삼각형을 포함하나 이에 한정되지는 않는다. 삼각면이 정삼각형이 아닌 경우, 본 실시예에 따른 음원 추적 시스템은 삼각면들 간의 좌표변환을 위한 알고리즘이나 룩업테이블을 추가로 포함할 수 있다.

다음, 음원 추적 시스템은 공통 기준면과 이 공통 기준면을 제외한 6개의 삼각면 중 하나 이상의 삼각면에서 삼각형 기반 음원 추적을 수행한다(S22). 본 단계에서는 마이크로폰 어레이의 7개의 삼각면 중 공통 기준면 또는 공통 기준면과 다른 기준 삼각면을 포함하는 적어도 2개의 삼각면들에서 음원 후보군을 추정하는 것을 포함할 수 있다.

다음, 음원 추적 시스템은 하나 이상의 삼각면에서의 음원 추적 결과를 공통 기준면으로 좌표변환한다(S23). 본 좌표변환 단계(S23) 이전에 음원 후보군의 오차 범위를 확대하여 확대된 음원 후보군을 생성하는 것도 가능하다.

다음, 음원 추적 시스템은 공통 기준면에서의 음원 후보군들의 각 방향각과 고도각을 교차 비교한다(S24). 본 단계에서는 음원 후보군들 간의 교차 구간에서의 방향각 및 고도각을 구할 수 있다.

다음, 음원 추적 시스템은 음원 후보군들 간의 교차 구간에서의 방향각과 고도각의 평균을 구하여 음원에 대한 최종 방향각과 고도각을 산출한다(S25).

본 실시예에 의하면, 5개의 마이크로폰을 이용하여 초고성능의 음원 추적이 가능하고 상대적으로 저렴한 음원 추적 시스템을 제공할 수 있다.

또한, 본 실시예에 의하면, 2개의 삼각면들에서만 음원 후보군을 추정하고 좌표 변환 기법을 이용하는 경우, 어느 하나의 마이크로폰도 오류가 발생하지 않는다면, 음원의 실제 위치를 효과적으로 추정하는 것이 가능하다. 또한, 본 실시예에 의하면, 다양한 환경에서 주변 잡음과 반향 조건에 따라 음원 추적에 이용하는 삼각면들의 개수를 최대 7개까지 확장하여 정밀하게 음원을 추적하는 것이 가능하다.

도 18은 도 17의 음원 추적 방법에 이용되는 마이크로폰 어레이 구조에 대한 예시도이다. 도 19는 도 17의 음원 추적 방법에 의해 추적한 가상음원에 대한 예시도이다.

도 18을 참조하면, 본 실시예에 따른 음원 추적 시스템은 5개의 마이크로폰을 이용하여 구성한 6면체 형태의 마이크로폰 어레이를 구비할 수 있다. 6면체 형태의 마이크로폰 어레이는 6개의 삼각형 표면들 즉 6개의 삼각면들을 구비할 수 있다. 6개의 삼각면들 중 적어도 하나 이상의 정삼각형 형태를 가질 수 있으나, 이에 한정되지는 않는다. 마이크로폰 어레이는 센서 어레이로 지칭될 수 있다.

좀더 구체적으로 설명하면, 도 19에 도시한 바와 같이 음원 S(x,y,x)에서 센서 어레이의 소정 3차원 좌표계의 중심 또는 원점에 놓은 제1 마이크로폰 M0(0,0.0)과 6면체 형태의 센서 어레이의 각 꼭지점에 위치하는 나머지 제2 내지 제5 마이크로폰들 M1(x₁,y₁,z₁), M2(x₂,y₂,z₂), M3(x₃,y₃,z₃) 및 M4(x₄,y₄,z₄)까지의 거리를 각각 R₀, R₁, R₂, R₃, R₄라고 정의할 때 각 거리는 다음의 수학식 18과 같이 정리될 수 있다.

여기서 음원의 위치 S(x,y,x)에서 임의의 마이크로폰 Mm(x_m,y_m,z_m)과 좌표축의 중심에 있는 M0(0,0.0)까지 소리의 지연 시간차 t_dm는 다음의 수학식 19와 같다.

그리고 임의의 마이크로폰과 좌표축 중심 간의 거리의 차이를 나타내면, 다음의 수학식 20과 같다.

위의 수학식 18 내지 20을 정리하면, 다음의 수학식 21과 같이 나타낼 수 있다.

위의 수학식 21은 좌표 중심 마이크로폰과 임의의 마이크로폰에 대한 지연 시간차에 대한 것이다. 수학식 21을 좌표 중심의 마이크로폰과 임의의 마이크로폰에 대한 지연 시간차에 대한 식으로 다시 정리하면, 다음의 수학식 22와 같다.

여기서 임의의 마이크로폰 Mm(x_m, y_m, z_m)과 제2 마이크로폰 M1(x₁, y₁, z₁)을 연립하여 다시 정리하면 다음의 수학식 23과 같다.

다음, 음원 소스 S(x,y,z)와 임의의 Mm(xm, ym, zm)까지의 거리 Rm은 다음의 수학식 24와 같이 정의할 수 있다.

수학식 24의 마지막 2개의 항과 수학식 23의 마지막 항을 정리하여 상수 성분끼리 묶으면, 다음의 수학식 25와 같다.

수학식 25에 나타낸 바와 같이, M0(0,0,0), M1(x₁,y₁,z₁), Mm(x_m,y_m,z_m)의 좌표 값과 중심 마이크로폰에서의 지연시간 값에 대한 x_m, y_m, z_m, x₁, y₁, z₁, t_dm, t_d1의 값에 의해서 A_m, B_m, C_m, D_m에 대한 값을 구할 수 있으며, 미지수인 x, y, z에 대한 4차 연립방정식을 풀면 음원의 위치 S(x,y,z)를 구할 수 있다. 즉, 아래의 방정식 1 내지 방정식 5를 풀면 음원의 위치를 구할 수 있다.

M0(0,0,0), M1(x₁,y₁,z₁) 및 M2(x₂,y₂,z₂)에 의한 A_m,B_m,C_m,D_m 관련 방정식 1

M0(0,0,0), M1(x₁,y₁,z₁) 및 M3(x₃,y₃,z₃)에 의한 A_m,B_m,C_m,D_m 관련 방정식 2

M0(0,0,0), M1(x₁,y₁,z₁) 및 M4(x₄,y₄,z₄)에 의한 A_m,B_m,C_m,D_m 관련 방정식 3

M0(0,0,0), M2(x₂,y₂,z₂) 및 M4(x₄,y₄,z₄)에 의한 A_m,B_m,C_m,D_m 관련 방정식 4

M0(0,0,0), M3(x₃,y₃,z₃) 및 M4(x₄,y₄,z₄)에 의한 A_m,B_m,C_m,D_m 관련 방정식 5

도 20은 도 17의 음원 추적 방법을 수행하는 음원 추적 시스템에 대한 블록도이다.

도 20을 참조하면, 본 실시예에 따른 음원 추적 시스템은 프로세서(30), 메모리(40) 및 통신 인터페이스(50)를 포함할 수 있다. 음원 추적 시스템은 통신 인터페이스(50)를 통해 유선 또는 무선으로 마이크로폰 어레이와 연결될 수 있다. 무선 연결의 경우, 마이크로폰 어레이는 5개의 마이크로폰으로 이루어지고 외표면 상의 6개의 삼각면들을 가진 6면체 형태를 구비하고, 무선 통신을 위한 통신 모듈을 구비할 수 있다.

프로세서(30)는 지연시간 추정부(10)와 음원 방향 및 위치 추정부(20)를 포함할 수 있다. 지연시간 추정부(10)는 수집부(11) 및 추정부(12)를 포함할 수 있다. 그리고 음원 방향 및 위치 추정부(20)는 제1 산출부(21), 좌표변환부(22), 비교부(23) 및 제2 산출부(24)를 포함할 수 있다.

각 구성요소를 좀더 구체적으로 설명하면, 수집부(11)는 마이크로폰 어레이로부터 입력되는 음향 데이터를 미리 설정된 사이즈의 프레임 단위로 수집할 수 있다. 수집부(11)는 음향 데이터가 아날로그 신호로 입력되는 경우, 아날로그 신호를 디지털 신호로 변환하기 위한 아날로그 디지털 컨버터(ADC)를 구비할 수 있다. 이러한 ADC는 수집부(11)의 입력단에 배치될 수 있다.

추정부(12)는 수집된 음향 데이터를 토대로 마이크로폰 어레이의 적어도 일부 삼각면들에서 음원 후보군을 추정한다.

제1 산출부(21)는 추정부(12)에서 추정한 음원 후보군의 방향각 및/또는 고도각을 확대하여 확대된 음원 후보군으로서의 방위각 및/또는 고도각을 산출할 수 있다. 한편, 본 실시예의 음원 추적 시스템은 각 삼각면의 좌표값을 기준면의 좌표값으로 좌표변환하기 전에 각 삼각면의 음원 후보의 좌표값을 확대할 수 있으나, 이에 한정되지는 않으며, 좌표변환부(22)를 통해 다른 삼각면의 좌표값을 기준면의 좌표값으로 좌표변환한 후에 좌표변화된 각 삼각면의 좌표값에 대하여 수행될 수 있다.

좌표변환부(22)는 추정부(12)에 의해 추정된 일부 삼각면들의 음원 후보군을 기준 삼각면으로 좌표변환한다. 좌표변환부(22)는 구현에 따라서 제1 산출부(21)에서 음원 후보군을 확대하기 전에 수행될 수 있다.

비교부(23)는 확대된 음원 후보들 간의 교차 영역을 교차 음원 후보로 추출하기 위하여 확대된 음원 후보들을 비교한다. 비교부(23)의 비교 결과에 의하면, 음원 추적 시스템은 확대된 음원 후보들 간에 교차 구간이 있는 경우 교차 음원 후보를 생성하고, 교차 구간이 없는 경우에 음원 후보를 삭제할 수 있다.

제2 산출부(24)는 교차 음원 구간의 평균을 구하여 최종 방향각 및/또는 최종 고도각을 산출한다. 제2 산출부(24)는 산술 평균, 절단 평균, 사분 평균, 가중 평균, 비가중 평균 등의 평균 이외에 편차, 표준편차 등을 이용하여 음원의 최종 방향각 및/또는 최종 고도각을 추정할 수 있다.

전술한 프로세서(30)는 하나 이상의 코어, 캐시 메모리, 메모리 인터페이스 및 주변장치 인터페이스를 포함할 수 있다. 프로세서(30)가 멀티 코어 구조를 구비하는 경우, 멀티 코어(multi-core)는 두 개 이상의 독립 코어를 단일 집적 회로로 이루어진 하나의 패키지로 통합한 것을 지칭한다. 단일 코어는 중앙 처리 장치를 지칭할 수 있다. 중앙처리장치(CPU)는 MCU(micro control unit)와 주변 장치(외부 확장 장치를 위한 집적회로)가 함께 배치되는 SOC(system on chip)로 구현될 수 있으나, 이에 한정되지는 않는다. 코어는 처리할 명령어를 저장하는 레지스터(register), 비교, 판단, 연산을 담당하는 산술논리연산장치(arithmetic logical unit, ALU), 명령어의 해석과 실행을 위해 CPU를 내부적으로 제어하는 제어부(control unit), 내부 버스 등을 구비할 수 있다.

또한, 프로세서(30)는 하나 이상의 데이터 프로세서, 이미지 프로세서, 또는 코덱(CODEC)을 포함할 수 있으나, 이에 한정되지는 않는다. 데이터 프로세서, 이미지 프로세서 또는 코덱은 별도로 구성될 수도 있다. 또한, 프로세서(30)는 주변장치 인터페이스와 메모리 인터페이스를 구비할 수 있고, 그 경우, 주변장치 인터페이스는 프로세서(30)와 입출력 시스템 및 여러 다른 주변 장치를 연결하고, 메모리 인터페이스는 프로세서(30)와 메모리(40)를 연결할 수 있다.

전술한 구성의 프로세서(30)는 여러 가지의 소프트웨어 프로그램을 실행하여 음원을 추적하기 위하여 데이터 입력, 데이터 처리 및 데이터 출력을 수행할 수 있다. 또한, 프로세서(30)는 메모리(40)에 저장되어 있는 특정한 소프트웨어 모듈(명령어 세트)을 실행하여 해당 모듈에 대응하는 특정한 여러 가지의 기능을 수행할 수 있다. 즉, 프로세서(30)는 메모리(40)에 저장된 소프트웨어 모듈들에 포함되는 음원 추적 방법을 위한 모듈들에 의해 데스크탑 컴퓨터, 모바일 장치 등의 사용자 단말에서 마이크로폰 어레이와 통신하며 마이크로폰 어레이 주변의 음원을 추적할 수 있다.

메모리(40)는 하나 이상의 자기 디스크 저장 장치와 같은 고속 랜덤 액세스 메모리 및/또는 비휘발성 메모리, 하나 이상의 광 저장 장치 및/또는 플래시 메모리를 포함할 수 있다. 메모리(40)는 소프트웨어, 프로그램, 명령어 집합 또는 이들의 조합을 저장할 수 있다. 메모리(40)는 마이크로폰 어레이의 하나의 삼각면의 좌표값을 다른 삼각면의 좌표값으로 좌표변환하기 위한 테이블이나 공식 또는 설정을 저장할 수 있다.

전술한 메모리(40)에 저장되는 소프트웨어의 구성요소는 운영 체제(operating system) 모듈, 통신 모듈, 그래픽 모듈, 사용자 인터페이스 모듈, MPEG(moving picture experts group) 모듈, 마이크 위치 제어 모듈, 하나 이상의 애플리케이션 모듈 등을 포함할 수 있다. 모듈은 명령어들의 집합으로서 명령어 세트(instruction set) 또는 프로그램으로 표현될 수 있다.

통신 인터페이스(50)는 음원 추적 시스템과 유선 또는 무선 네트워크를 통해 마이크로폰 어레이를 연결되는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부를 포함할 수 있다. 예를 들어, 통신 인터페이스(50)는 케이블, 무선 통신 서브시스템 등을 포함하고, 이것을 통한 데이터의 송수신을 위해 하나 이상의 통신 프로토콜을 지원할 수 있다. 무선 통신 서브시스템은 무선 주파수(radio frequency) 수신기 및 송수신기 및/또는 광(예컨대, 적외선) 수신기 또는 송수신기를 포함할 수 있다.

또한, 통신 인터페이스(50)는 Wi-Fi(Wireless Fidelity) 네트워크, Bluetooth 네트워크 등의 네트워크를 위한 통신 프로토콜을 지원할 수 있으나, 이에 한정되지는 않는다. 통신 인터페이스(50)는 예를 들어, GSM(Global System for Mobile Communication) 네트워크, EDGE(Enhanced Data GSM Environment) 네트워크, CDMA(Code Division Multiple Access) 네트워크, W-CDMA(W-Code Division Multiple Access) 네트워크, LTE(Long Term Evolution) 네트워크, OFDMA(Orthogonal Frequency Division Multiple Access) 네트워크, WiMax 네트워크를 위한 적어도 하나 이상의 통신 프로토콜을 더 지원할 수 있다.

한편, 전술한 실시예에 있어서, 음원 추적 시스템의 구성요소들(11, 12, 21, 22, 23, 24)은 플립플롭 등의 논리회로나 마이크로프로세서 등에 의해 하드웨어적으로 구현되는 구성부일 수 있으나, 이에 한정되지 않는다. 전술한 구성요소들은 이들이 수행하는 일련의 기능(음원 추적 방법)을 구현하기 위한 소프트웨어 형태로 컴퓨터 판독 가능 매체(기록매체)에 저장되거나 혹은 캐리어 형태로 원격지에 전송되어 다양한 컴퓨터 장치에서 동작하도록 구현될 수 있다. 여기서 컴퓨터 판독 가능 매체는 네트워크를 통해 연결되는 복수의 컴퓨터 장치나 클라우드 시스템을 포함할 수 있고, 복수의 컴퓨터 장치나 클라우드 시스템 중 적어도 하나 이상은 메모리 시스템에 본 실시예의 음원 추적 시스템에서 음원 추적 방법을 수행하기 위한 프로그램이나 소스 코드 등을 저장할 수 있다.

즉, 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하는 형태로 구현될 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것을 포함할 수 있다.

또한, 컴퓨터 판독 가능 매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 하드웨어 장치는 본 실시예의 음원 추적 방법을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

한편, 전술한 실시예에서는 복수의 마이크로폰들이 다면체의 꼭지점들에 배치되는 다면체 형태의 마이크로폰 어레이에서 다면체가 삼각형 또는 정삼각형인 경우를 중심으로 설명하였으나, 본 발명은 이에 한정되지는 않는다. 일례로, 본 실시예에 따른 음원 추적 시스템은 3각형 이상의 다각형 또는 정다각형 형태의 마이크로폰 어레이 구조를 구비할 수 있으며, 그 경우 마이크로폰 어레이 구조의 하나의 가상표면의 좌표값을 다른 가상표면의 좌표값으로 좌표변환하는 것은, 가상표면의 형태나 크기가 동일할 때 미리 설정된 쉬프트와 회전 등을 통해 수행될 수 있다. 또한, 본 실시예에 따른 음원 추적 시스템에서의 좌표변환은, 마이크로폰 어레이의 가상표면의 형태나 크기가 동일하지 않을 때, 좌표변환하고자 하는 두 가상표면의 내접원들 또는 외접원들이 기준면에서 동심원 형태로 배치되도록 일측 가상표면의 좌표값을 타측 가상표면의 좌표값으로 좌표변환하는 것을 포함할 수 있다.

다시 말해서, 본 실시예에 따른 음원 추적 시스템은 고가인 마이크로폰의 개수와 음원 추적 시스템의 성능이나 효율을 고려할 때 전술한 실시예들과 같이 4개의 마이크로폰을 구비한 사면체(또는 정사면체) 형태의 마이크로폰 어레이 구조나 5개의 마이크로폰을 구비하고 6개의 삼각형 가상표면을 가지는 육면체(또는 정육면체) 형태의 마이크로폰 어레이 구조를 구비하는 것이 바람직하나, 이에 한정되지는 않고, 다양한 다면체 형태를 가질 수 있다. 여기서 다면체 형태는 4개의 삼각면들을 구비한 사면체 또는 정사면체 형태 혹은 6개의 삼각면들을 구비한 정육면체 또는 육면체 형태를 구비할 수 있고, 이때 마이크로폰 어레이는 4개 또는 5개의 꼭지점에 하나 이상의 마이크로폰들이 각각 배치되는 구조를 구비할 수 있다. 각 꼭지점에 배치되는 마이크로폰은 마이크로폰의 성능이나 종류에 따라 하나 이상의 마이크로폰으로 구성될 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

1. 마이크로폰 어레이에 연결되는 컴퓨터 장치에 의해 수행되는 음원 추적 방법으로서, 상기 마이크로폰 어레이는 복수의 다각형의 가상표면들을 구비한 다면체 형태의 꼭지점에 배치되는 복수의 마이크로폰들로 이루어지며,
   상기 마이크로폰 어레이로부터 각 마이크로폰의 음향 데이터를 수집하고,
   상기 가상표면들 중 어느 하나의 기준면과 상기 기준면을 제외한 나머지 표면들 중 적어도 일부의 표면들에서 음향 데이터에 대한 음원 후보군을 추출하고,
   상기 음원 후보군에 대한 상기 적어도 일부의 표면들의 좌표값을 상기 기준면의 좌표값으로 좌표변환하고,
   상기 기준면에서의 제1 음원 후보 좌표값과 상기 기준면 상의 상기 적어도 일부의 표면들에 대한 복수의 제2 음원 후보 좌표값을 미리 설정된 크기만큼 확대하여 확대 음원 후보들을 생성하고,
   상기 확대 음원 후보들을 상호 비교하여 상기 확대 음원 후보들 간의 교차 구간에서 교차 음원 후보들을 생성하고,
   상기 교차 음원 후보들을 토대로 음원의 방향각과 고도각을 추정하는,
   음원 추적 방법.
2. 청구항 1에 있어서,
   상기 음향 데이터에 대한 음원 후보군의 추출은, 각 표면에 위치하는 복수의 마이크로폰들을 통해 수집된 상기 음향 데이터들의 지연시간 차를 추정하여 각 표면에서의 음원 후보들을 추정하는, 음원 추적 방법.
3. 청구항 2에 있어서,
   상기 확대 음원 후보들의 생성은, 상기 음원 후보군에 대한 각 표면의 음원 후보의 방향각, 고도각 또는 이들 모두의 좌표값을 상기 좌표값에서의 포지티브 각도 및 네거티브 각도 중 적어도 어느 하나를 부가하여 미리 설정된 크기만큼 확대하는 것을 포함하는 음원 추적 방법.
4. 청구항 1에 있어서,
   상기 음원의 방향각과 고도각의 추정은, 상기 교차 음원 후보들의 평균을 산출하여 구하는 음원 추적 방법.
5. 청구항 1에 있어서,
   상기 다면체 형태는 4개의 삼각면들을 구비한 사면체 또는 정사면체 형태를 구비하고, 상기 마이크로폰 어레이는 4개의 꼭지점에 하나 이상의 마이크로폰들이 각각 배치되는, 음원 추적 방법.
6. 청구항 1에 있어서,
   상기 다면체 형태는 6개의 삼각면들을 구비한 정육면체 또는 육면체 형태를 구비하고, 상기 마이크로폰 어레이는 5개의 꼭지점에 하나 이상의 마이크로폰들이 각각 배치되는, 음원 추적 방법.
7. 복수의 다각형 가상표면들을 구비한 다면체의 꼭지점에 배치되는 복수의 마이크로폰들로 이루어지는 마이크로폰 어레이에 연결되어 음원 추적 방법을 수행하는 음원 추적 시스템으로서,
   상기 마이크로폰 어레이로부터 각 마이크로폰의 음향 데이터를 수집하고, 상기 가상표면들에서의 각 마이크로폰의 음향 데이터의 지연시간차를 토대로 상기 가상표면들 중 어느 하나의 기준면과 상기 기준면을 제외한 나머지 표면들 중 적어도 일부의 표면들에 대한 음원 후보군을 추출하는 지연시간 추정부; 및
   상기 음원 후보군에 대한 상기 적어도 일부의 표면들의 좌표값을 상기 기준면의 좌표값으로 좌표변환하고, 상기 기준면에서의 제1 음원 후보 좌표값과 상기 기준면 상의 상기 적어도 일부의 표면들에 대한 복수의 제2 음원 후보 좌표값을 미리 설정된 크기만큼 확대하여 확대 음원 후보들을 생성하고, 상기 확대 음원 후보들을 상호 비교하여 상기 확대 음원 후보들 간의 교차 구간에서 교차 음원 후보들을 생성하고, 상기 교차 음원 후보들을 토대로 음원의 방향각과 고도각을 추정하는 음원 방향 및 위치 추정부를 포함하는, 음원 추적 시스템.
8. 청구항 7에 있어서,
   상기 지연시간 추정부는,
   상기 마이크로폰 어레이로부터 각 마이크로폰의 음향 데이터를 수집하는 수집부; 및
   상기 가상표면들에서의 각 마이크로폰의 음향 데이터의 지연시간차를 토대로 상기 가상표면들 중 어느 하나의 기준면과 상기 기준면을 제외한 나머지 표면들 중 적어도 일부의 표면들에 대한 음원 후보군을 추출하는 추정부를 포함하는,
   음원 추적 시스템.
9. 청구항 8에 있어서,
   상기 음원 방향 및 위치 추정부는,
   상기 음원 후보군에 대한 상기 적어도 일부의 표면들의 좌표값을 상기 기준면의 좌표값으로 좌표변환하는 좌표변환부;
   상기 기준면에서의 제1 음원 후보 좌표값과 상기 기준면 상의 상기 적어도 일부의 표면들에 대한 복수의 제2 음원 후보 좌표값을 미리 설정된 크기만큼 확대하여 확대 음원 후보들을 생성하는 제1 산출부;
   상기 확대 음원 후보들을 상호 비교하여 상기 확대 음원 후보들 간의 교차 구간에서 교차 음원 후보들을 생성하는 비교부;
   상기 교차 음원 후보들을 토대로 음원의 방향각과 고도각을 추정하는 제2 산출부를 포함하는, 음원 추적 시스템.
10. 청구항 7에 있어서,
    상기 지연시간 추정부 및 상기 음원 방향 및 위치 추정부에 대응하는 지연시간 추정 모듈과 음원 방향 및 위치 추정 모듈을 저장하는 메모리;
    상기 메모리에 연결되어 상기 지연시간 추정 모듈과 상기 음원 방향 및 위치 추정 모듈을 수행하는 프로세서를 포함하는, 음원 추적 시스템.
11. 청구항 10에 있어서,
    상기 프로세서와 상기 마이크로폰 어레이를 연결하는 유선 또는 무선 통신 인터페이스를 더 포함하는, 음원 추적 시스템.
12. 청구항 7에 있어서,
    상기 음원 방향 및 위치 추정부는 상기 교차 음원 후보들의 평균을 산출하여 상기 음원의 방향각과 고도각을 추정하는, 음원 추적 시스템.
13. 청구항 7에 있어서,
    상기 다면체는 4개의 삼각면들을 구비한 사면체 또는 정사면체 형태를 구비하고, 상기 마이크로폰 어레이는 4개의 꼭지점에 하나 이상의 마이크로폰들이 각각 배치된 구조를 포함하는, 음원 추적 시스템.
14. 청구항 7에 있어서,
    상기 다면체는 6개의 삼각면들을 구비한 정육면체 또는 육면체 형태를 구비하고, 상기 마이크로폰 어레이는 5개의 꼭지점에 하나 이상의 마이크로폰들이 각각 배치된 구조를 포함하는, 음원 추적 시스템.
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제

Images