KR100916497B1 - 음원추적 방법 및 이를 이용한 홈네트워크 시스템 - Google Patents

Abstract

소리차를 이용하여, 음원의 영역을 파악할 수 있는 음원추적 방법 및 이를 이용한 홈네트워크 시스템이 개시된다. 지능형 모바일 로봇 등에 음원추적장치와 전자 나침반을 장착함으로써 음원의 방향 또는 절대 방위를 기준으로 목표물을 찾아가는 방법을 제시한다. 비젼 정보를 활용할 수 없는 위치에 있는 음원을 추적하기 위하여, 음성 정보를 상보적으로 활용하여 보다 정확하게 음원의 위치를 추적할 수 있을 뿐만 아니라, 홈 서버 등과 연동되어 가정용 서비스 로봇의 협동을 통해 사용자에게 보다 다양한 인터페이스와 응용서비스를 제공할 수 있다.

지능형 모바일 로봇, 음원추적, 홈 네트워크 시스템

Description

음원추적 방법 및 이를 이용한 홈네트워크 시스템{METHOD FOR SOUND SOURCE TRACKING AND HOME NETWORK SYSTEM USING THE SAME}

도 1은 대한민국 공개특허 2004-74702호에 제시된 개념도이다.

도 2는 본 발명에 따른 구성도를 도시한 것이다.

도 3은 본 발명에 따른 마이크의 구성을 도시한 것이다.

도 4는 피크값 검출회로에 의하여 추출된 피크값의 파형을 나타낸 것이다.

도 5는 비교기의 구성을 도시한 것이다.

도 6은 홈 네트워크 시스템에서 활용되는 본 발명의 예를 도시한 간략도이다.

도 7은 본 발명에 따라 음원이 추적되는 알고리즘을 나타낸 순서도이다.

<도면의 주요부분에 대한 부호의 설명>

100: 음원추적장치 110: 마이크

120: 증폭기 130: 피크값검출회로

140: 비교기 150: A/D 컨버터

160: MCU

본 발명은 음원추적 방법 및 이를 이용한 홈네트워크 시스템에 관한 것으로, 보다 더 자세히 설명하면 비젼 정보를 활용할 수 없는 위치에 있는 음원을 추적하기 위하여, 음성 정보를 상보적으로 활용하여 보다 정확하게 음원의 위치를 추적할 수 있을 뿐만 아니라, 홈 서버 등과 연동되어 가정용 서비스 로봇의 협동을 통해 사용자에게 보다 다양한 인터페이스와 응용서비스를 제공할 수 있는 음원추적 방법 및 이를 이용한 홈네트워크 시스템에 관한 것이다.

생활 수준이 높아짐에 따라 제품에 대한 소비자의 요구 수준이 높아지고 있다. 가정용 로봇의 경우에는, 로봇 스스로가 소비자의 목소리를 포함한 음원에 반응하여 그 위치를 정확히 찾아가는 기술에 대한 관심이 높아지고 있는 실정이다.

소리의 경우에는 비젼(vision)보다 데이터량이 적고, 단조로운 데이터 형태를 가지는 단점이 있으나, 조명이 없는 곳이나 장애물이 있어 시야를 벗어나 보이지 않는 곳 등의 환경에서도 유용하다는 점에서, 소리는 비젼이 인식하지 못하는 것들을 보완해줄 수 있는 중요한 정보이다.

이러한 소리를 이용하여, 소비자의 위치 등 그 음원을 탐색하는 방법에 대한 다양한 연구가 진행중에 있다. 그 일예로, 도 1을 제시한다. 도 1은 대한민국 공개특허 2004-74702호에 제시된 개념도이다.

상기 특허는 음원의 크기값을 2개 이상의 마이크로폰을 이용하여 수신하고, 그 음원의 크기값을 백터패닝(Vector based amplitude panning)에 의한 방법으로 음원의 위치를 탐지하여, 감시 대상의 소음이 발생하면 감시 시스템에서 감시 대상의 위치를 파악하는 방법에 관한 것이다.

그러나, 상기 특허는 음원의 크기값을 받아들여 마이크로부터 거리와 이득을 각각 마이크마다 디지털하여, 복잡한 계산을 수행하는 과정을 거쳐야 하므로, 음원의 방향을 알아내는 시간과 비용이 많이 드는 문제점이 있다.

또한, 노이즈를 제거하기 위한 필터링 과정도 로우패스 필터와 밴드패스 필터 등을 두번 통과하는 과정을 거치는 등 필터링 과정도 매우 복잡한 문제점이 발생한다.

따라서, 보다 단순하면서도 음원 포착의 정확성을 향상시킬 수 있는 방법이 요청된다고 하겠다.

따라서 본 발명은 전술한 문제점을 해결하기 위한 것으로서,

본 발명의 일목적은 비젼 정보를 활용할 수 없는 위치에 있는 음원을 추적하기 위하여, 음성 정보를 상보적으로 활용하여 보다 정확하게 음원의 위치를 추적할 수 있는 음원추적 방법 및 이를 이용한 홈네트워크 시스템을 제공함에 있다.

본 발명의 다른 목적은 홈 서버 등과 연동되어 가정용 서비스 로봇의 협동을 통해 사용자에게 보다 다양한 인터페이스와 응용서비스를 제공할 수 있는 음원추적 방법 및 이를 이용한 홈네트워크 시스템을 제공함에 있다.

본 발명의 또 다른 목적은 단순한 대칭 구조를 이용하여 마이크의 배치쌍을 늘림으로써, 음원의 방향 및 영역을 더욱 정확하게 알아낼 수 있는 음원추적 방법 및 이를 이용한 홈네트워크 시스템을 제공함에 있다.

본 발명의 음원추적 방법은 각각이 서로 마주보도록 배치된 복수 쌍의 마이크를 배치하여 직교좌표축을 형성하는 단계, 상기 마이크에서 소리를 감지하여 전기신호로 변환하는 단계, 상기 전기신호의 피크값(peak value)을 피크값 검출회로로 검출하는 단계, 서로 마주보도록 배치된 마이크의 전기신호의 피크값을 비교기를 통해 비교하여 음원의 좌표 방향을 파악하는 단계, 상기 좌표 방향을 이동이 가능한 로봇에 전달하는 단계, 상기 로봇의 좌표와 음원이 발생한 영역의 좌표가 같은 공간인지를 판단하는 단계, 상기 판단 결과에 따라 로봇이 음원이 발생한 영역과 같은 영역으로 이동하는 단계를 포함한다.

상기 로봇이 음원이 발생한 영역과 같은 영역으로 이동하는 단계는 비젼 정보에 따라 목표물을 인식하여 이동하며, 상기 로봇이 음원이 발생한 영역과 같은 영역으로 이동하는 단계는 로봇 내부의 맵 정보 및 내부의 나침반을 이용하여 이동하는 것이 좋다.

상기 복수 쌍의 마이크를 배치하여 직교좌표축을 형성하는 단계는 4개의 마이크를 서로 직교하도록 배치하여, 각 쌍이 서로 마주보도록 배치되며, 상기 좌표 방향을 이동이 가능한 로봇의 제어기에 전달하는 단계는 로봇 내부에 저장된 전자 나침반의 정북과 맵의 정북 및 로봇의 이동 모터의 엔코더의 0도를 일치시키는 단계를 더 포함하는 것이 바람직하다.

또한, 본 발명에 따른 홈네트워크 시스템은 각각이 서로 마주보도록 배치된 복수 쌍의 마이크, 상기 신호의 피크값(peak value)을 검출하는 피크값 검출회로, 서로 마주보도록 배치된 마이크의 전기신호의 피크값을 비교하는 비교기, 이동이 가능한 이동 로봇, 상기 비교된 결과에 따라 음원의 좌표 방향을 결정하여 상기 이동로봇에 송신하는 홈서버를 포함한다.

이하, 본 발명의 실시예를 자세히 설명하면 다음과 같다.

도 2는 본 발명에 따른 구성도를 도시한 것이다. 이에 도시된 바와 같이, 본 발명에 따른 음원추적 장치(100)는 마이크(110), 증폭기(120), 피크값 검출회로(130), 비교기(140), A/D 컨버터(converter, 150), MCU(Micro Controller unit, 160)으로 구성된다.

마이크(110)는 일반적으로 소리 신호를 전기 신호로 바꾸어주는 장치로서, 그 구조는 공지의 기술이므로 설명을 생략한다. 본 발명에 따른 마이크(110)는 서로 마주보도록 배치된 두 쌍의 마이크를 배치하게 되는데, 이러한 구성은 도 3에 자세히 도시된 바와 같다.

마이크(110)는 제1 마이크(111), 제2 마이크(112), 제3 마이크(113) 및 제4 마이크(114)로 구성된다. 제1 마이크(111)와 제3 마이크(113)는 서로 마주보도록 배치된다. 또한, 제2 마이크(112)와 제4 마이크(114)도 서로 마주보도록 배치되며, 4개의 마이크는 각각이 서로 대략 직교하도록 배치되어 직교좌표축을 형성하도록 배치된다. 즉 4개의 마이크를 통해, A1, A2, A3, A4 의 4개의 영역으로 구획된 직교좌표축이 형성되게 된다.

증폭기(120)는 두 쌍의 마이크에서 수신되어 변환된 전기신호를 증폭하게 되는데, 이는 전기신호가 mV 단위정도로 미약하므로, 이를 증폭기(120)에서 수 V 단위로 증폭하는 것이 좋다.

증폭기(120)에 의하여 증폭된 전기신호는 피크값 검출회로(130)로 보내어지며, 음성 신호의 특성상 +/- 전압을 나타내게 되므로, 피크값 검출회로(130)는 다이오드를 이용하여 양의 값만 피크값을 추출하여 사용할 수도 있다. 이러한 결과를 도 4에 나타내었으며, 도 4는 피크값 검출회로에 의하여 추출된 피크값의 파형을 나타낸 것이다.

추출된 양의 값의 피크값은 비교기(140)를 이용하여 두 값을 비교하게 된다. 이때, 서로 마주보도록 배치된 마이크의 전기신호의 피크값을 비교기를 통해 비교하여 음원의 좌표 방향을 파악된다. 즉, 도 3에서 제1 마이크(111)와 제3 마이크(113)의 피크값을 비교하며, 제2 마이크(112)와 제4 마이크(114)의 값을 비교한다. 이러한 비교기(140)의 구성이 도 5에 도시되어 있다.

비교기에 입력된 신호를 비교하여 출력값 X, Y를 얻을 수 있는데, 이를 통하여 영역 A1 ~ A4 중 음원 위치 영역을 결정할 수 있다. 비교기 및 증폭기는 OP 엠프로 구성될 수 있다.

비교기의 출력 X, Y에 대하여 다음과 같은 방법으로 영역을 결정한다.

[수학식 1]

X ≥ 0, Y ≥ 0 -> A1

[수학식 2]

X < 0, Y ≥ 0 -> A2

[수학식 3]

X < 0, Y < 0 -> A3

[수학식 4]

X ≥ 0, Y < 0 -> A4

또한, 정확한 방향을 찾아내기 위해 비교기에서 추출된 방향 벡터(X, Y)의 비를 이용하여 수학식 5 및 6을 이용하여 방향 벡터의 방위값(θ)을 구할 수 있다.

[수학식 5]

θ = arctan(Y/X) (X > 0)

[수학식 6]

θ = 180° + arctan(Y/X) (X < 0)

이와 같이 계산할 경우, 음원 방향의 정밀한 값을 구할 수 있다. 또한, 음원 추적 센서로부터의 거리는 다르고 방향은 같은 경우 X, Y의 비를 이용하므로 동일한 결과를 얻을 수 있다.

이러한 음원의 위치 좌표가 설정되게 되면, 위치 정보가 가정용 로봇이나 카메라 등에 통신되어 음원의 위치를 향하도록 하는 등으로 제어될 수 있다.

어떤 공간의 천정 중앙에 음원 추적센서를 설치하면 센서를 중심으로 하는 음원의 좌표를 생성할 수 있다. 음원이 발생하면 센서로부터 음원의 대략적인 방위를 유추할 수 있으며 그 결과를 유선 또는 무선으로 연결된 홈서버로 전송한다. 홈서버는 음원에 대한 추가적인 대응을 직접 또는 로봇을 이용하여 간접적으로 행할 수 있다. 이때, 전술한 음원추적장치는 로봇에도 장착되어 있다고 가정한다.

이 경우 음원이 사용자의 로봇에 대한 명령정보라고 가정하여 음성인식 모듈과 연동한다면 홈네트워크 시스템으로서의 가정용 서비스 로봇의 협동을 통해 사용자에게 보다 다양한 인터페이스와 응용서비스를 제공할 수 있을 것이다. 특히 그림 6과 같이 각 방(230, 250, 290)과 거실(240), 주방(260)에 홈서버(300)와 유/무선으로 연결된 센서(211, 212, 213, 214)를 설치하면 사용자가 로봇(220)과 다른 공간에 있는 경우 음원의 위치한 공간과 센서를 중심으로 한 방향을 홈서버를 통하여 무선통신으로 받게 되고 등록된 공간의 지도에 영역를 대응시켜 찾아 가게 되므로 로봇의 인지 영역이 네트워크 전체 영역으로 확대되어 유용할 것이다. 도면 중 미설명부호 280은 화장실이다.

그림 6과 같은 경우에 음원이 큰 방(250)에서 발생하였다고 가정하자. 이 때 로봇(220)이 거실(240)에 있는 경우 로봇(220)은 홈서버(300)에서 알려주는 음원 발생 공간인 큰 방(250)으로 이동하게 된다. 이 때 로봇 혹은 홈서버에 내장된 전자나침반의 정북이 내장된 맵의 정북, 로봇(220)의 이동 모터 정보를 0°와 일치하도록 보정하고 현재 위치를 맵에 나타내고 큰 방(250)까지 최단경로를 선택하여 이동한다. 하지만 로봇(220)이 음원이 발생한 큰 방(250) 안에 위치할 경우는 홈서버(300)의 정보와 로봇(220)에 장착된 음원 추적 장치로부터 감지한 정보 모두 활용 하여 목표물을 추적하게 된다.

그림 7은 음원 위치 영역과 절대 방위를 이용한 목표물 추적 알고리즘을 나타낸다. 홈 네트워크 환경에서 홈 서버에 연결된 음원 추적 장치를 이용하여 로봇이 목표물을 추적하는 과정은 다음과 같다.

먼저, 음원이 발생하면(S1), 전술한 바와 같이 음원추적장치에서 마이크로 들어오는 음원의 방향벡터(X, Y)를 계산하고, 위치 영역(A1 ~ A4)을 결정한다(S2).

다음, 음원추적장치는 홈서버와 로봇으로 음원의 발생 정보와 위치 영역정보를 보낸다(S3). 이 때 전자나침반의 정북이 내장된 맵의 정북, 로봇의 이동 모터 absolute encoder의 0°와 일치하도록 보정한다. 이 과정은 부팅과 동시에 이루어지며 수시로 보정하게 된다.

다음, 홈서버는 로봇에게 음원이 발생한 방향벡터, 영역(A1～4), 공간(방, 거실, 주방) 정보를 보낸다. 이 때 방향벡터는 각 음원 추적 장치의 중심을 시작점으로 한다. 로봇은 음원 발생 영역이 속한 공간과 자신의 현재 위치 공간을 비교하고 공간이 같은 경우만 영역을 비교한다(S4, S6).

이때, 공간 또는 영역 비교 값이 다를 경우 전자나침반의 정보와 지도를 이용하여 음원 발생 공간으로 이동한다(S4, S5, S8).　

비교 값이 같을 경우 홈서버와 로봇을 중심으로 한 반직선(방향벡터)으로 지도상에 나타내고 그 교점으로 이동한다(S4, S6, S7).

다음, 카메라를 이용하여 비전 정보로 목표물을 인식한다(S9).

이와 같이, 비젼 정보를 활용할 수 없는 위치에 있는 음원을 추적하기 위하 여, 음성 정보를 상보적으로 활용하여 보다 정확하게 음원의 위치를 추적할 수 있는 효과가 있게 된다.

이상에서 본 바와 같이, 본 발명에 따르면,

비젼 정보를 활용할 수 없는 위치에 있는 음원을 추적하기 위하여, 음성 정보를 상보적으로 활용하여 보다 정확하게 음원의 위치를 추적할 수 있는 효과가 있다.

본 발명의 다른 목적은 피크(peak)값 검출 회로를 통하여 신호를 감지한 시간을 동기화할 필요가 없으며, 피크값 검출 회로가 로우패스 필터의 역할도 수행하게 하여 노이즈를 줄일 수 있는 효과가 있다.

본 발명의 또 다른 목적은 단순한 대칭 구조를 이용하여 마이크의 배치쌍을 늘림으로써, 음원의 방향 및 영역을 더욱 정확하게 알아낼 수 있는 효과가 있다.

본 발명의 또 다른 목적은 홈서버와 같은 네트워크 환경에서 여러대의 음원추적장치를 연동하여 사용함으로써 음원 추적의 영역을 확장하는 것이 용이한 효과가 있다.

상술한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만 해당 기술분야의 숙련된 당업자라면 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (12)

1. 각각이 서로 마주보도록 배치된 복수 쌍의 마이크를 배치하여 좌표축을 형성하는 단계;

   상기 마이크에서 소리를 감지하여 전기신호로 변환하는 단계;

   상기 전기신호의 피크값(peak value)을 피크값 검출회로로 검출하는 단계;

   서로 마주보도록 배치된 마이크의 전기신호의 피크값을 비교기를 통해 비교하여 음원의 좌표 방향을 파악하는 단계;

   상기 좌표 방향을 이동이 가능한 로봇에 전달하는 단계;

   상기 로봇의 좌표와 음원이 발생한 영역의 좌표가 같은 공간인지를 판단하는 단계;

   상기 판단 결과에 따라 로봇이 음원이 발생한 영역과 같은 영역으로 이동하는 단계;

   를 포함하고, 상기 좌표 방향을 이동이 가능한 로봇의 제어기에 전달하는 단계는 로봇 내부에 저장된 전자 나침반의 정북과 맵의 정북 및 로봇의 이동 모터의 엔코더의 0도를 일치시키는 단계를 더 포함하는 것을 특징으로 하는 음원추적 방법.
2. 제1항에 있어서,

   상기 로봇이 음원이 발생한 영역과 같은 영역으로 이동하는 단계는 비젼 정보에 따라 목표물을 인식하여 이동하는 것을 특징으로 하는 음원추적 방법.
3. 제1항에 있어서,

   상기 로봇이 음원이 발생한 영역과 같은 영역으로 이동하는 단계는 로봇 내부의 맵 정보 및 내부의 나침반을 이용하여 이동하는 것을 특징으로 하는 음원추적 방법.
4. 제1항에 있어서,

   상기 복수 쌍의 마이크를 배치하여 좌표축을 형성하는 단계는 4개의 마이크를 서로 직교하도록 배치하여, 각 쌍이 서로 마주보도록 배치하는 것을 특징으로 하는 음원추적 방법.
5. 삭제
6. 제1항에 있어서,

   상기 일치시키는 단계는 수시로 보정되는 것을 특징으로 하는 음원추적 방법.
7. 제1항에 있어서,

   상기 마이크에서 소리를 감지하여 전기신호로 변환하는 단계는 상기 전기신 호를 증폭하는 단계를 더 포함하는 음원추적 방법.
8. 소리를 감지하여 전기신호로 변환하되, 각각이 서로 마주보도록 배치된 복수 쌍의 마이크;

   상기 전기신호의 피크값(peak value)을 검출하는 피크값 검출회로;

   서로 마주보도록 배치된 마이크의 전기신호의 피크값을 비교하는 비교기;

   이동이 가능한 이동 로봇;

   상기 비교된 결과에 따라 음원의 좌표 방향을 결정하여 상기 이동로봇에 송신하는 홈서버;

   를 포함하고, 상기 피크값 검출회로는 다이오드를 이용하여 양의 값의 피크값만 추출하는 것을 특징으로 하는 홈네트워크 시스템.
9. 제 8항에 있어서,

   상기 이동 로봇은 카메라를 구비하며, 상기 로봇이 음원이 발생한 영역과 같은 영역으로 이동한 후에는 비젼 정보에 따라 목표물을 인식하여 이동하는 것을 특징으로 하는 홈네트워크 시스템.
10. 제8항에 있어서,

    상기 이동 로봇은 내부에 맵 정보 및 나침반을 구비하여 이동하는 것을 특징으로 하는 홈네트워크 시스템.
11. 제8항에 있어서,

    상기 마이크는 4개의 마이크를 서로 직교하도록 배치하여, 각 쌍이 서로 마주보도록 배치하여 직교좌표축을 형성하는 것을 특징으로 하는 홈네트워크 시스템.
12. 삭제

Images