KR20170121794A - 이동 단말기의 오디오 주밍 방법 - Google Patents

Abstract

본 발명에 따른 EMA를 구비한 이동 단말기에서 오디오 주밍을 위한 방법은, 동영상 촬영시 상기 EMA를 이용하여 카메라 방향의 전방과 후방을 구분하기 위한 선택적 오디오 주밍을 하는 단계, 상기 EMA를 이용하여 방사 빔폭을 좁게 함으로써 오디오 주밍의 성능을 향상시키는 단계, 스피커폰 통화시 상기 EMA를 이용하여 화자의 음성을 2차원으로 확장된 빔포밍을 통한 오디오 주밍을 하는 단계, 혹은 상기 스피커폰 통화시 상기 EMA를 이용하여 EMA 포인팅 방향으로 주밍을 하는 단계들 중 적어도 하나를 포함할 수 있다.

Description

이동 단말기의 오디오 주밍 방법{METHOD FOR AUDIO ZOOMING IN MOBILE TERMINAL}

본 발명은 이동 단말기의 오디오 주밍을 위한 장치 및 방법에 관한 것이다.

이동 단말기에서 동영상 촬영 또는 스피커폰 통화 시 오디오를 보다 효과적으로 취음하는 빔포밍(beamforming) 기술이 있다. 이는 원하는 특정 위치의 소리를 증폭 또는 확대해서 취음하는 기술을 최근 오디오 주밍 또는 사운드 주밍이라는 용어로 불려지기도 한다.

일반적으로 복수의 마이크를 통해 빔포밍 기술을 사용하면 특정 위치의 소리를 증폭하여 취음할 수 있다. 이는 마이크 어레이의 각 마이크에 도달하는 신호의 위상이 마이크들마다 다르게 되고, 그 위상 차이 정도가 취음하고자 하는 소리의 위치(각도)에 따라 달라지기 때문에 가능하게 된다. 이 위상 차를 시간 지연으로도 이해할 수 있는데, 각 마이크에 도달하는 신호에 취음하고자 하는 특정 위치(각도)에 해당하는 시간 지연 값을 시간적으로 빼주고 이 신호들을 모두 더해주면 각 마이크에 수신된 신호 중 그 특정 위치에서 온 신호만 위상이 모두 일치되어 가장 큰 신호를 얻을 수 있다. 이 신호는 위상을 모두 일치시켜 합해주는 효과를 가지게 되어, 최종적으로 취음하고자 하는 소리 신호를 n(마이크 개수)배 만큼 증폭한 결과를 얻게 된다. 이러한 빔포밍을 지연 & 합(delay & sum) 빔포밍이라고 한다.

본 발명의 목적은 이동 단말기에서 동영상 촬영 시 카메라 방향의 전방과 후방을 구분하는 선택적 주밍이 불가능한 점과 스피커폰 통화 시 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍이 불가능하다는 점을 해결하기 위한 것이다.

또한, 본 발명의 목적은 오디오 주밍 성능도 향상시킬 수 있는 장치 및 방법을 제시하는데 있다.

본 발명의 실시 예에 따른 EMA(extendable microphone array)를 구비한 이동 단말기에서 오디오 주밍을 위한 방법은, 동영상 촬영시 상기 EMA를 이용하여 카메라 방향의 전방과 후방을 구분하기 위한 선택적 오디오 주밍을 하는 단계, 상기 EMA를 이용하여 방사 빔폭을 좁게 함으로써 오디오 주밍의 성능을 향상시키는 단계, 스피커폰 통화시 상기 EMA를 이용하여 화자의 음성을 2차원으로 확장된 빔포밍을 통한 오디오 주밍을 하는 단계, 혹은 상기 스피커폰 통화시 상기 EMA를 이용하여 EMA 포인팅 방향으로 주밍을 하는 단계들 중 적어도 하나를 포함할 수 있다.

실시 예에 있어서, 상기 EMA는, 상기 이동 단말기의 안테나의 본체에 삽입 및 추출을 할 수 있고, EMA를 추출하면 마이크가 on 되고, 삽입하면 off 되도록 하는 단계, 상기 EMA는 길이가 단계별로 조절이 가능하고, x, y, z축 전방향으로 움직임이 가능하도록 하는 단계, 혹은, 상기 EMA는 길이를 단계별로 조절 시에는 추출된 단계의 마이크만 on 되어 동작하도록 하고, n개의 단계별 조절이 가능하도록 하는 단계, 상기 EMA는 단말기의 기존 마이크와 정확히 수평 또는 수직 각도를 유지하기 위해서 x, y, z축 방향과 일치되는 위치에 걸림쇠가 작용하여 정확히 고정이 될 수 있다.

실시 예에 있어서, 사용자가 각 기능들을 따로 지정해주지 않아도 EMA 위치만으로 상황에 맞게 자동으로 기능이 동작하도록 단말기내에 EMA의 위치를 감지하는 EMA 위치감지센서를 두는 단계, 및 상기 EMA 위치감지센서로부터 얻은 EMA 위치 정보에 따라 해당 기능 상태로 만들어 주는 단계를 포함할 수 있다.

실시 예에 있어서, 상기 EMA 위치 정보에 따라 해당 기능 상태로 만들어 주는 단계는, EMA 위치가 z축 방향인 경우, 동영상 촬영 시 전방과 후방을 구분하는 선택적 주밍 기능 상태로 만들어 주는 것과, EMA 위치가 x축 방향인 경우, 방사 빔폭을 좁게 하여 오디오 주밍의 성능을 향상시키는 기능 상태로 만들어 주는 것, EMA 위치가 y축 방향인 경우, 스피커폰 통화 시 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍 기능 상태로 만들어 주는 것, 혹은 EMA 위치가 x, y, z축 방향이 아닌 경우, 스피커폰 통화 시 EMA 포인팅 방향으로 주밍하는 기능 상태로 만들어 주는 것을 포함할 수 있다.

실시 예에 있어서, 사용자가 단말기의 화면에서 원하는 기능을 설정하도록 하는 단계, 및 상기 사용자가 설정한 정보에 따라 해당 기능 상태로 만들어 주는 단계를 포함할 수 있다.

실시 예에 있어서, EMA를 이용하여 동영상 촬영 시 카메라 방향의 전방과 후방을 구분하는 선택적 주밍 방법은, EMA를 z축 방향으로 위치시켜 전방과 후방으로의 주밍 위치 조절이 되도록 하는 단계, 상기 EMA 주밍 위치 조절이 되는 것을 단말기의 기존 마이크에 의해 좌우 방향으로의 주밍 위치 조절이 되는 것과 연동하여 전방과 후방을 구분하는 선택적 주밍을 하는 단계, 및 전방과 후방의 선택을 오디오 주밍 셋팅 메뉴에 두어 사용자가 설정할 수 있도록 하고 기본값으로 전방이 되도록 하는 단계를 포함할 수 있다.

실시 예에 있어서, EMA를 이용하여 방사 빔폭을 좁게 하여 오디오 주밍의 성능을 향상시키는 방법은, EMA를 x축 방향으로 위치시켜 기존 마이크의 연장선 상에 놓이게 하여 전체 선형 마이크 어레이의 길이를 증가시키는 단계, 및 상기 선형 마이크 어레이의 개수와 길이를 증가시켜 음향의 방사 빔폭을 좁게 하여 주밍 성능을 향상시키는 단계를 포함할 수 있다.

실시 예에 있어서, EMA를 이용하여 스피커폰 통화 시 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍 방법은, EMA를 y축 방향으로 위치시켜 좌우 방향으로의 주밍 위치 조절이 되도록 하는 단계, 상기 EMA 주밍 위치 조절이 되는 것을 단말기의 기존 마이크에 의해 앞뒤 방향으로의 주밍 위치 조절이 되는 것과 연동하여 전후좌우를 구분하여 주밍을 하는 단계, 및 기존 마이크와 EMA로 2차원으로 확장된 빔포밍을 통해 화자의 전후좌우 음성 위치를 음원 추적(sound localization)을 통해 먼저 찾아내고, 그 방향으로 오디오 주밍을 하는 단계를 포함할 수 있다.

실시 예에 있어서, EMA를 이용하여 스피커폰 통화 시 EMA 포인팅 방향으로 주밍하는 방법은, EMA의 빔포밍 방향을 축 방향인 0도로 고정시키고 사용자가 주밍하고자 하는 위치로 EMA가 향하도록 해주어 EMA가 포인팅하는 임의의 방향으로 주밍이 되도록 하는 단계를 포함할 수 있다.

실시 예에 있어서, 이동 단말기에 내장되는 EMA 대신 임의의 다른 마이크 어레이를 외부에서 연결하여 사용할 수 있도록 하는 단계를 더 포함할 수 있다.

본 발명은, 이동 단말기에서 오디오 주밍을 함에 있어서 동영상 촬영 시 전방과 후방을 구분하는 선택적 주밍이 가능하고, 스피커폰 통화 시 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍을 하거나 EMA 포인팅 방향으로 주밍을 하여 화자의 방향으로 정확히 주밍을 할 수 있다.

본 발명은 방사 빔폭을 좁게 하여 오디오 주밍 성능을 향상시킬 수 있는 효과도 있다.

도 1은 음원과 마이크 어레이 및 지연 & 합 빔포밍에 대한 개략적인 구성을 보여주는 도면이다.
도 2는 빔포밍하고자 하는 특정 위치(각도)에 해당하는 시간 지연 값을 구하기 위한 개념도이다.
도 3은 일반적인 이동 단말기에서 동영상 촬영 시 오디오 주밍을 사용하는 경우에 대한 실시 예를 예시적으로 보여주는 도면이다.
도 4는 본 발명의 실시 예에 따른 이동 단말기에 장착되는 EMA 구성도를 예시적으로 보여주는 도면이다.
도 5는 EMA를 이용하여 카메라 방향의 전방과 후방을 구분하는 선택적 주밍 기능에 대한 실시 예를 예시적으로 보여주는 도면이다.
도 6은 EMA를 이용하여 방사 빔폭을 좁게 하여 오디오 주밍의 성능을 향상시키는 기능에 대한 실시 예를 예시적으로 보여주는 도면이다.
도 7은 EMA를 이용하여 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍 기능에 대한 실시 예를 예시적으로 보여주는 도면이다.
도 8은 EMA를 이용하여 EMA 포인팅 방향으로 주밍하는 기능에 대한 실시 예를 예시적으로 보여주는 도면이다.
도 9는 본 발명의 실시 예에 따른 이동 단말기에서 EMA을 이용한 오디오 주밍 동작에 대한 구성도를 예시적으로 보여주는 도면이다.
도 10은 본 발명의 실시 예에 따른 이동 단말기에서 오디오 주밍을 수행하는 방법을 예시적으로 보여주는 도면이다.

아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다. 본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 혹은 대체물을 포함한다.

도 1은 음원과 마이크 어레이 및 지연 & 합 빔포밍에 대한 개략적인 구성을 보여주는 도면이다. 도 1을 참조하면, S는 θ 각도에 위치한 음원이고, 청색원들은 마이크 어레이이다. 각 마이크에서 해당 시간 지연된 신호가 수신되고, 따라서 각 마이크의 출력을 모두 더한 값은 아래 수학식과 같다.

여기서, S(t)는 첫 번째(제일 왼쪽) 마이크의 출력 신호이고,

은 각 마이크의 시간 지연 값이다. n은 마이크 인덱스이다.

이 수학식 1을 푸리에 변환을 통해 주파수 영역에서 표현하면 아래 수학식과 같다.

도 2는 빔포밍하고자 하는 특정 위치(각도)에 해당하는 시간 지연 값을 구하기 위한 개념도이다. 도 2를 참조하면, s는 마이크 간 거리, n은 마이크 인덱스, θ는 빔포밍하고자 하는 각도이다. 따라서, 시간 지연 값은 아래 수학식과 같다.

여기서, 343 m/s는 음성 속도이다. 이와 같이 구한 시간 지연 값을 각 마이크의 출력(수학식 2 참조)에 시간적으로 빼주게 되면 아래 수학식과 같다.

이 수학식4는 각 마이크의 출력을 모두 더한 것을 주파수 영역에서 표현한 것이다. 그런데,

= 0이 될 때, 출력값은 최대가 된다.즉 이는 빔포밍하고자 하는 위치에서 온 신호만 위상이 모두 일치되는 것을 의미한다.

= 0을 대입시키고, 역 푸리에 변환을 하면 아래 수학식과 같이 된다.

따라서, 최종적으로 취음하고자 하는 신호의 n(마이크 개수)배 만큼 증폭한 결과를 얻을 수 있다.

도 3은 일반적인 이동 단말기에서 동영상 촬영 시 오디오 주밍을 사용하는 경우에 대한 실시 예를 예시적으로 보여주는 도면이다. 도 3을 참조하면, 전방에 A, B 두사람을 동영상 촬영을 하면서, 특정 한 사람만 선택하여(예를 들어 A라고 하면) A음성만 오디오 주밍을 하는 상황이 도시된다. 이때, 오디오 주밍을 위한 마이크로 1차원 선형 어레이를 사용하고 있어서 1차원 빔포밍에 의한 오디오 주밍을 하게 되므로, 카메라 방향의 전방과 후방을 구분하여 주밍이 불가능하다. 이럴 경우, 동영상 촬영을 하고 있는 전방의 소리만 오디오 주밍해야 하는데 원하지 않는 촬영자의 목소리나 기타 후방에서 발생하는 잡음들도 같이 주밍이 되어 버리는 문제점이 있다.

또 다른 사용의 경우를 보면, 이동 단말기를 테이블 위에 올려두고 스피커폰으로 통화하는 상황에서 화자의 음성은 전후좌우 공간 상에 위치하게 되는데, 기존 이동 단말기에서는 1차원 빔포밍에 의한 오디오 주밍을 하게 되므로 화자의 음성을 전후 혹은 좌우만 구분하여 주밍이 되어 정확한 화자 방향으로의 주밍이 불가능한 문제점이 있다.

본 발명이 이루고자 하는 기술적 과제는 이동 단말기에서 동영상 촬영 또는 스피커폰 통화 시 오디오를 효과적으로 취음할 수 있는 오디오 주밍을 함에 있어서, 기존 이동 단말기의 오디오 주밍의 문제점인 동영상 촬영 시 카메라 방향의 전방과 후방을 구분하는 선택적 주밍이 불가능한 것과 스피커폰 통화 시 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍이 불가능한 것을 해결하는 것이다. 또한, 방사 빔폭을 좁게 하여 오디오 주밍 성능도 향상시킬 수 있는 장치 및 방법을 제시함에 있다.

도 4는 본 발명의 실시 예에 따른 이동 단말기에 장착되는 EMA 구성도를 예시적으로 보여주는 도면이다. 도 4를 참조하면, 일반적인 이동 단말기에 연장 가능한 마이크 어레이(extendable microphone array, 이하 "EMA")를 장착하였다. 그리고, 사용하고자 하는 기능에 맞게 EMA의 방향과 위치가 설정될 수 있다.

예를 들어, EMA를 z축 방향(녹색)으로 위치시키면 동영상 촬영 시 전방과 후방을 구분하는 선택적 주밍이 가능하게 되고, y축 방향(적색)으로 위치시키면 스피커폰 통화 시 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍이 가능하고, x축 방향(청색)으로 위치시키면 마이크 어레이 길이가 늘어나서 방사 빔폭이 좁게 됨으로써, 오디오 주밍 성능이 향상될 수 있다.

실시 예에 있어서, 이러한 EMA는 이동 단말기의 안테나와 같이 단말기 본체에 삽입 및 추출될 수 있다. 예를 들어, 이동 단말기에서 EMA를 추출하면, 마이크가 턴온(turn-on) 될 수 있다. 단면에 이동 단말기에서 EMA를 삽입하면, 마이크가 턴-오프(turn-off) 될 수 있다.

한편, EMA의 길이도 단계별로 조절이 가능하며, x, y, z축 전방향으로 움직임이 가능하게 제작될 수 있다. EMA의 길이를 단계별로 조절 시, 추출된 단계의 마이크만 턴온되도록 동작할 수 있다.

또한, n개의 단계별 조절이 가능하도록 구현 될 수 있다. 이때, n 값이 클수록 성능은 더욱 향상될 것이다. 그리고, 이동 단말기의 마이크와 정확히 수평 또는 수직 각도를 유지하기 위해서 x, y, z축 방향과 일치되는 위치에 걸림쇠가 작용하여 정확히 고정이 될 수 있다.

또한, 사용자가 각 기능들을 따로 지정해주지 않아도 EMA 위치만으로 상황에 맞게 자동으로 기능이 동작할 수 있다. 이를 위해, 이동 단말기 내부에 EMA 위치감지센서를 둠으로써, EMA 위치에 따라 해당 기능 상태가 될 수 있다.

본 발명의 EMA를 사용하여 적용할 수 있는 기능은 크게 네 가지로 분류가 되는데, 세부적인 설명은 다음과 같다. 첫째, 동영상 촬영 시 카메라 방향의 전방과 후방을 구분하여 선택 주밍하는 기능이다. 둘째, 방사 빔폭을 좁게 하여 오디오 주밍의 성능을 향상시키는 기능이다. 셋째, 스피커폰 통화 시 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍 기능이다. 넷째, 스피커폰 통화 시 EMA 포인팅 방향으로 주밍하는 기능이다. 상술 된 기능들에 대한 자세한 설명은 아래의 도 5 내지 도 8에서 설명하겠다.

도 5는 EMA를 이용하여 카메라 방향의 전방과 후방을 구분하는 선택적 주밍 기능에 대한 실시 예를 예시적으로 보여주는 도면이다. 도 5를 참조하면, EMA를 z축 방향(녹색)으로 위치시킨다. x축 방향으로 위치되어 있는 이동 단말기의 마이크로는 전술한 빔포밍 기술에 의해 좌우 방향으로의 주밍 위치 조절이 되고, z축 방향으로 위치되어 있는 EMA로는 전방/후방 방향으로의 주밍 위치 조절이 되며, 최종 주밍 위치는 두 개의 교차점이 되므로, 전후방을 구분함으로써 선택 주밍이 가능하다.

그리고, EMA가 z축 방향으로 위치되면, 이동 단말기 내부에서는 EMA 위치감지센서 또는 단말기 화면에서 사용자의 설정에 의해 그 위치를 감지함으로써, 전방/후방 선택 주밍 기능 상태로 만들어 주게 된다. 이러한 기능에 맞게 EMA로 수신되는 신호가 처리될 수 있다.

이동 단말기로 동영상 촬영 중에 특정 인물(위치)의 음성을 주밍하고자 하는 경우, 단말기 화면에서 해당 인물(위치)을 터치하면 카메라의 초점거리, 화각 및 화면상의 센터로부터의 거리 정보에 의해 단말기 내부적으로 계산이 된 실제 주밍 각도로 오디오 주밍이 이루어질 수 있다. 이때, 카메라 방향의 전방과 후방의 선택은 오디오 주밍 셋팅 메뉴에 두어 사용자가 설정할 수 있도록 하며, 일반적으로 전방으로 주밍을 하기 때문에 기본값으로 전방이 될 수 있다.

본 기능의 사용에 대한 실시 예는 다음과 같다. 이동 단말기로 동영상 촬영을 하고자 할 때, 먼저 이동 단말기에 삽입되어 있는 EMA를 빼내고 z축 방향으로 위치시킨다. 그리고, 동영상을 촬영하면서 주밍 기능을 턴온시키고 주밍하고자 하는 인물(위치)을 터치한다. 특별히 후방으로 오디오 주밍을 하고자 하는 경우는 촬영 전에 주밍 셋팅 메뉴에 들어가서 후방으로 설정하면 된다.

그리고, 이 기능에 있어서 부가적인 효과는 종래의 마이크만 사용한 경우보다 주밍 성능이 조금 향상시킬 수 있다. 여기서 오디오 주밍 성능이 향상된다 함은, 음향의 방사 빔폭이 좁게 됨으로써 주변음과의 구분 정도를 결정하는 해상도가 좋아지는 것을 의미한다. 이는 종래의 마이크에 의한 주밍과 EMA에 의한 주밍의 교차점으로 최종 주밍이 결정되고, EMA에 의한 주밍 기능이 추가됨으로써 주밍 성능이 향상되는 것이다.

도 6은 EMA를 이용하여 방사 빔폭을 좁게 하여 오디오 주밍의 성능을 향상시키는 기능에 대한 실시 예를 예시적으로 보여주는 도면이다. 도 6을 참조하면, 이 기능은 전술한 첫 번째 기능에서 부가적인 효과로 주밍 성능이 향상되는 것과 달리, 오디오 주밍 성능만을 향상시키는 것에 집중되어 있다. 따라서, 그만큼 주밍 성능의 향상 효과는 훨씬 크다.

EMA를 x축 방향(청색)으로 위치시켜야 되는데, x축 방향으로 위치되어 있는마이크의 연장선 상에 EMA 놓이게 됨으로써, 전체 선형 마이크 어레이의 길이가 증가하게 된다. 마이크 어레이의 길이가 증가하면, 음향의 방사 빔폭이 좁게 된다. 그결과로써 주밍 성능이 향상되는데, 빔폭은 아래 수학식과 같다.

여기서, Aperture Length는 마이크 어레이의 길이이고,

는 수신되는 신호의 파장이다. 마이크 어레이의 길이가 길수록, 수신되는 음향의 주파수가 높을수록, 빔폭은 좁게 된다.

그리고, EMA가 x축 방향으로 위치되면, 이동 단말기 내부에서는 EMA 위치감지센서 또는 단말기 화면에서 사용자의 설정에 의해 그 위치를 감지함으로써, 오디오 주밍 성능 향상 기능 상태로 만들어 주고, 그 기능에 맞게 EMA로 수신되는 신호를 처리해 줄 수 있다.

이러한 기능은 동영상 촬영 시에도 사용 가능하고, 스피커폰 통화 시에도 사용 가능하다. 다만, 1차원 빔포밍을 사용하므로 주밍하고자 하는 위치의 소리 외에 마이크 어레이의 축을 기준으로 대칭되는 위치의 소리도 주밍을 하게 됨으로써, 대칭되는 위치 방향에 소리가 나지 않는 경우에만 사용해야 한다.

본 기능의 사용에 대한 실시 예는 다음과 같다. 이동 단말기로 오디오 주밍 성능을 향상시키고자 할 때, 먼저 이동 단말기에 삽입되어 있는 EMA를 빼내고 x축 방향으로 위치시킨다. 그리고, 일반적인 동영상 촬영이나 스피커폰 통화를 할 때와 동일하게 한다.

도 7은 EMA를 이용하여 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍 기능에 대한 실시 예를 예시적으로 보여주는 도면이다. 도 7을 참조하면, EMA를 y축 방향(적색)으로 위치시켜야 되는데, x축 방향으로 위치되어 있는 단말기의 마이크로는 전술한 빔포밍 기술에 의해 앞뒤 방향으로의 주밍 위치 조절이 되고, y축 방향으로 위치되어 있는 EMA로는 좌우 방향으로의 주밍 위치 조절이 된다.

최종 주밍 위치는 두 개의 교차점이 되므로 전후좌우를 구분하여 주밍을 할 수 있다. 그리고, EMA가 y축 방향으로 위치되면 이동 단말기 내부에서는 EMA 위치감지센서 또는 단말기 화면에서 사용자의 설정에 의해 그 위치를 감지함으로써, 2차원 빔포밍을 통한 주밍 기능 상태로 만들어 주고, 그 기능에 맞게 EMA로 수신되는 신호를 처리해 줄 수 있다.

이동 단말기를 테이블 위에 올려두고 스피커폰으로 통화하는 경우, 화자의 음성을 주밍하려면 화자의 위치를 정확히 알아야 한다. 이를 위해 음원 추적(Sound Localization) 기술이 필요하다. 음원 추적은 오디오 주밍과 같이 빔포밍 기술을 이용하는 것으로, 소리가 나는 곳의 위치를 찾아내는 것이다.

마이크와 EMA로 2차원 빔포밍을 통해 화자의 전후좌우 음성 위치를 음원 추적을 통해 먼저 찾아내고, 그 방향으로 오디오 주밍이 이루어 질 수 있다.

본 기능의 사용에 대한 실시 예는 다음과 같다. 이동 단말기로 스피커폰 통화를 하고자 할 때, 먼저 단말기에 삽입되어 있는 EMA를 빼내고 y축 방향으로 위치시킨다. 그리고, 스피커폰 통화 기능을 턴온시키면 된다.

도 8은 EMA를 이용하여 EMA 포인팅 방향으로 주밍하는 기능에 대한 실시 예를 예시적으로 보여주는 도면이다. 도 8에 도시된 기능은, 스피커폰 통화 시 EMA 포인팅 방향으로 주밍하는 것이다. 이것은 스피커폰 통화 시 여러명이 동시에 말하거나 주변 소리가 화자의 음성과 비슷하거나 더 큰 세기의 소리가 나는 경우, 도 7에서 상술된 기능에서 화자의 위치 추적이 잘 안될 수 있는 부분을 보완할 수 있다

이 기능은 EMA의 축 방향이 가리키는 방향으로 오디오 주밍을 하는 것인데, 이를 위해 EMA의 빔포밍 방향을 축 방향인 0도로 고정시키고, 도 8에 도시된 바와 같이 사용자가 주밍하고자 하는 위치로 EMA가 향하도록 움직여 주면 된다.

또한, 이 기능은 단말기의 마이크는 사용하지 않고 EMA만 사용할 수 있다. 그리고, EMA가 x, y, z축 방향과 일치되지 않는, 즉, 걸림쇠가 작용하지 않는 방향(회색)으로 위치되면, 이동 단말기 내부에서는 EMA 위치감지센서 또는 단말기 화면에서 사용자의 설정에 의해 그 위치를 감지함으로써 EAM 포인팅 방향 주밍 기능 상태로 만들어 주고, 그 기능에 맞게 EMA로 수신되는 신호를 처리해 줄 수 있다.

본 기능의 사용에 대한 실시 예는 다음과 같다. 이동 단말기로 스피커폰 통화를 하고자 할 때, 먼저 단말기에 삽입되어 있는 EMA를 빼내고 x, y, z축이 아닌 즉, 걸림쇠가 작용하지 않는 방향으로 위치시킨다. 그리고, 스피커폰 통화 기능을 턴온 시킨다. 또한, 도 7에 설명된 기능을 사용 중에 주변 소리가 너무 시끄러워서 화자의 위치 추적이 잘 안될 것 같은 경우에 EMA를 화자의 방향으로 움직이면, 이 기능으로 자동 전환되어 보다 정확하게 화자의 음성이 주밍 될 수 있다.

도 9는 본 발명의 실시 예에 따른 이동 단말기에서 EMA을 이용한 오디오 주밍 동작에 대한 구성도를 예시적으로 보여주는 도면이다. 도 9를 참조하면, 먼저, EMA 위치감지센서에서 EMA가 추출되어 있는지 삽입되어 있는지의 상태를 감지하고, 추출되어 있다면, EMA가 어떤 방향으로 위치하고 있는지를 감지하고, 감지 결과값이 오디오 주밍 신호처리부에 전달될 수 있다.

오디오 주밍 신호처리부는 EMA 마이크에서 수신된 신호와 마이크에서 수신된 신호를 받아서 EMA 상태 및 위치 정보를 토대로 해당 기능 상태를 판단할 수 있다.

도 10은 본 발명의 실시 예에 따른 이동 단말기에서 오디오 주밍을 수행하는 방법을 예시적으로 보여주는 도면이다. 도 10을 참조하면, 상술한 바와 같이 구성되는 본 발명의 이동 단말기의 동작은 다음과 같다.

먼저, EMA 위치감지센서를 체크하여 현재 EMA가 추출 상태인 지 판단한다. 추출 상태가 아니면 계속 EMA 상태를 체크하고, 추출 상태가 되면 EMA의 마이크를 on 한다. 그런 다음, 추출된 EMA가 z축 방향으로 위치되어 있는 지 판단하여, z축 방향이면 EMA가 전방/후방 선택 주밍 기능으로 동작하도록 한다. z축 방향이 아니면 x축 방향으로 위치되어 있는 지 판단하여, x축 방향이면 EMA가 주밍 성능 향상 기능으로 동작하도록 한다. x축 방향이 아니면 y축 방향으로 위치되어 있는 지 판단하여, y축 방향이면 EMA가 2차원 빔포밍 주밍 기능으로 동작하도록 한다. 마지막으로, y축 방향이 아니면 x, y, z축 방향으로 위치되어 있지 않은 것으로 판단하여, EMA가 EMA 포인팅 방향 주밍 기능으로 동작하도록 한다.

이러한 일련의 동작 프로세싱은 시작부터 끝까지 주기적으로 계속 반복해서 처리해 주어야 한다. 이는 사용자가 필요에 따라 EMA의 방향을 바꾸는 것에 맞게 계속적인 처리가 필요하기 때문이다. 추가적으로, 위치감지센서가 없는 단말기의 경우에는 위치감지센서의 기능을 사용자가 단말기 화면에서 직접 설정해서 할 수도 있다.

이상에서 설명한 바와 같이 본 발명에 의하면, 이동 단말기에서 오디오 주밍을 함에 있어서 동영상 촬영 시 전방과 후방을 구분하는 선택적 주밍이 가능하고, 스피커폰 통화 시 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍을 하거나 EMA 포인팅 방향으로 주밍을 하여 화자의 방향으로 정확히 주밍을 할 수 있는 효과가 있다. 추가적으로, 방사 빔폭을 좁게 하여 오디오 주밍 성능을 향상시킬 수 있는 효과도 있다.

본 발명의 실시 예에 따른 EMA(extendable microphone array)를 구비한 이동 단말기에서 오디오 주밍을 위한 방법은, 동영상 촬영시 상기 EMA를 이용하여 카메라 방향의 전방과 후방을 구분하기 위한 선택적 오디오 주밍을 하는 단계, 상기 EMA를 이용하여 방사 빔폭을 좁게 함으로써 오디오 주밍의 성능을 향상시키는 단계, 스피커폰 통화시 상기 EMA를 이용하여 화자의 음성을 2차원으로 확장된 빔포밍을 통한 오디오 주밍을 하는 단계, 혹은 상기 스피커폰 통화시 상기 EMA를 이용하여 EMA 포인팅 방향으로 주밍을 하는 단계를 포함할 수 있다.

실시 예에 있어서, 상기 EMA는, 상기 이동 단말기의 안테나의 본체에 삽입 및 추출을 할 수 있고, EMA를 추출하면 마이크가 on 되고, 삽입하면 off 되도록 하는 단계, 상기 EMA는 길이가 단계별로 조절이 가능하고, x, y, z축 전방향으로 움직임이 가능하도록 하는 단계, 혹은, 상기 EMA는 길이를 단계별로 조절 시에는 추출된 단계의 마이크만 on 되어 동작하도록 하고, n개의 단계별 조절이 가능하도록 하는 단계, 상기 EMA는 단말기의 기존 마이크와 정확히 수평 또는 수직 각도를 유지하기 위해서 x, y, z축 방향과 일치되는 위치에 걸림쇠가 작용하여 정확히 고정이 될 수 있다.

실시 예에 있어서, 사용자가 각 기능들을 따로 지정해주지 않아도 EMA 위치만으로 상황에 맞게 자동으로 기능이 동작하도록 단말기내에 EMA의 위치를 감지하는 EMA 위치감지센서를 두는 단계, 및 상기 EMA 위치감지센서로부터 얻은 EMA 위치 정보에 따라 해당 기능 상태로 만들어 주는 단계를 포함할 수 있다.

실시 예에 있어서, 상기 EMA 위치 정보에 따라 해당 기능 상태로 만들어 주는 단계는, EMA 위치가 z축 방향인 경우, 동영상 촬영 시 전방과 후방을 구분하는 선택적 주밍 기능 상태로 만들어 주는 것과, EMA 위치가 x축 방향인 경우, 방사 빔폭을 좁게 하여 오디오 주밍의 성능을 향상시키는 기능 상태로 만들어 주는 것, EMA 위치가 y축 방향인 경우, 스피커폰 통화 시 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍 기능 상태로 만들어 주는 것, 혹은 EMA 위치가 x, y, z축 방향이 아닌 경우, 스피커폰 통화 시 EMA 포인팅 방향으로 주밍하는 기능 상태로 만들어 주는 것을 포함할 수 있다.

실시 예에 있어서, 사용자가 단말기의 화면에서 원하는 기능을 설정하도록 하는 단계, 및 상기 사용자가 설정한 정보에 따라 해당 기능 상태로 만들어 주는 단계를 포함할 수 있다.

실시 예에 있어서, EMA를 이용하여 동영상 촬영 시 카메라 방향의 전방과 후방을 구분하는 선택적 주밍 방법은, EMA를 z축 방향으로 위치시켜 전방과 후방으로의 주밍 위치 조절이 되도록 하는 단계, 상기 EMA 주밍 위치 조절이 되는 것을 단말기의 기존 마이크에 의해 좌우 방향으로의 주밍 위치 조절이 되는 것과 연동하여 전방과 후방을 구분하는 선택적 주밍을 하는 단계, 및 전방과 후방의 선택을 오디오 주밍 셋팅 메뉴에 두어 사용자가 설정할 수 있도록 하고 기본값으로 전방이 되도록 하는 단계를 포함할 수 있다.

실시 예에 있어서, EMA를 이용하여 방사 빔폭을 좁게 하여 오디오 주밍의 성능을 향상시키는 방법은, EMA를 x축 방향으로 위치시켜 기존 마이크의 연장선 상에 놓이게 하여 전체 선형 마이크 어레이의 길이를 증가시키는 단계, 및 상기 선형 마이크 어레이의 개수와 길이를 증가시켜 음향의 방사 빔폭을 좁게 하여 주밍 성능을 향상시키는 단계를 포함할 수 있다.

실시 예에 있어서, EMA를 이용하여 스피커폰 통화 시 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍 방법은, EMA를 y축 방향으로 위치시켜 좌우 방향으로의 주밍 위치 조절이 되도록 하는 단계, 상기 EMA 주밍 위치 조절이 되는 것을 단말기의 기존 마이크에 의해 앞뒤 방향으로의 주밍 위치 조절이 되는 것과 연동하여 전후좌우를 구분하여 주밍을 하는 단계, 및 기존 마이크와 EMA로 2차원으로 확장된 빔포밍을 통해 화자의 전후좌우 음성 위치를 음원 추적(sound localization)을 통해 먼저 찾아내고, 그 방향으로 오디오 주밍을 하는 단계를 포함할 수 있다.

실시 예에 있어서, EMA를 이용하여 스피커폰 통화 시 EMA 포인팅 방로 주밍하는 방법은, EMA의 빔포밍 방향을 축 방향인 0도로 고정시키고 사용자가 주밍하고자 하는 위치로 EMA가 향하도록 해주어 EMA가 포인팅하는 임의의 방향으로 주밍이 되도록 하는 단계를 포함할 수 있다.

실시 예에 있어서, 이동 단말기에 내장되는 EMA 대신 임의의 다른 마이크 어레이를 외부에서 연결하여 사용할 수 있도록 하는 단계를 더 포함할 수 있다.

한편, 상술 된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 활용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.

100: 이동 단말기
110: 마이크
120: EMA 마이크
130: EMA 위치 감지 센서
140: 오디오 주밍 신호 처리부

Claims (1)

1. EMA(extendable microphone array)를 구비한 이동 단말기에서 오디오 주밍을 위한 방법에 있어서:
   동영상 촬영시 상기 EMA를 이용하여 카메라 방향의 전방과 후방을 구분하기 위한 선택적 오디오 주밍을 하는 단계;
   상기 EMA를 이용하여 방사 빔폭을 좁게 함으로써 오디오 주밍의 성능을 향상시키는 단계;
   스피커폰 통화시 상기 EMA를 이용하여 화자의 음성을 2차원으로 확장된 빔포밍을 통한 오디오 주밍을 하는 단계; 및
   상기 스피커폰 통화시 상기 EMA를 이용하여 EMA 포인팅 방향으로 주밍을 하는 단계들 중 적어도 하나를 포함하는 방법.

Images