KR20160076059A

KR20160076059A - 디스플레이장치 및 그 반향 제거방법

Info

Publication number: KR20160076059A
Application number: KR1020140185742A
Authority: KR
Inventors: 블라디미로비치 우샤코프 유리
Original assignee: 삼성전자주식회사
Priority date: 2014-12-22
Filing date: 2014-12-22
Publication date: 2016-06-30
Also published as: US20160182770A1; US9866792B2

Abstract

본 발명은 디스플레이장치 및 그 반향 제거방법에 관한 것으로서, 디스플레이장치는, 영상을 표시하는 디스플레이부와; 임펄스 응답의 입력 신호를 수신하는 음성 수신부와; 입력 신호를 복수의 부대역으로 분할하고 분할된 복수의 부대역 신호를 이용하여 입력 신호로부터 1차 반향 제거를 수행하고, 복수의 부대역 각각에 대하여 1차 반향 제거에서 획득된 반향 경로 정보를 이용하여 잔여 반향을 추정하여 1차 반향이 제거된 입력 신호로부터 추정된 잔여 반향을 제거하는 2차 반향 제거를 수행하는 적어도 하나의 프로세서를 포함할 수 있다. 이에 의하여, 1차 반향제거에서 획득된 정보를 이용하여 2차 반향 제거를 수행함으로써, 연산량과 메모리 사용량을 줄이고 처리 속도를 향상시켜 반향 억제 성능이 개선된다.

Description

디스플레이장치 및 그 반향 제거방법{DISPLAY APPARATUS AND METHOD FOR ECHO CANCELLATION THEREOF}

본 발명은 디스플레이장치 및 그 반향 제거방법에 관한 것으로서, 보다 상세하게는 잔여 반향(Residual Echo)를 억제하는 디스플레이장치 및 그 반향 제거방법에 관한 것이다.

TV와 같은 디스플레이장치, 모바일 단말과 같은 휴대장치 등을 포함하는 전자장치는 사용자의 음성을 인식하여 장치를 제어하는 음성인식, 사용자의 음성 신호를 이용하는 화상통화 또는 화상회의와 같은 기능들을 지원할 수 있으며, 음성을 이용하는 기능들은 사용 범위가 점차 확대되고 있다. 이러한 기능들을 수행하는 장치는 마이크로 폰을 통해 음성 신호를 입력 받게 되며, 입력된 음성 신호는 반향을 포함할 수 있다.

반향 즉 에코(echo)란, 음원(音源)에서 나온 음파가 물체 면에서 반사하여 다시 들려오는 현상을 일컫는 것이다. 이런 반향은 일상 생활에서도 쉽게 찾을 수 있는 것으로 단순한 1회 반사의 예로 메아리가 있다.

반향과 구별되는 것으로 직접 음이 있다. 직접 음이란, 물체 면에서 반사되지 않고 직접 들리는 음을 말한다. 따라서 반향은 직접 음보다 소정 시간 지연되어 도달하는 반사 음이 된다.

일반적으로 TV가 설치되는 실내와 같이 반사면을 가진 구조물의 내부에서는 반사가 여러 차례 반복될 뿐 아니라 반사파의 방향도 각각이어서 복잡하게 울린다. 이것은 다중 반향의 예이며, 잔여 반향 즉, 잔향(殘響)(Residual Echo)이 발행되는 원인의 하나가 된다. 잔여 방향은 예를 들어 스피커로 출력된 음성이 여러 번의 반사를 거쳐 다시 마이크로 폰으로 입력되는 경우를 포함할 수 있다.

이러한 반향 및 잔여 반향이 입력 신호로부터 적절하게 제거되지 않으면, 해당 기능을 이용하는 사용자에게 불편을 초래할 수 있으며, 동작의 오류가 발생될 가능성도 있다. 따라서, 정상적인 동작을 위해서는 반향뿐 아니라 잔향까지도 음성신호로부터 제거될 필요가 있다.

또한, 기존의 반향 제거 또는 잔향 제거는 대체적으로 복잡한 연산을 수행하게 되므로, 처리 시간이나 부하 측면에서 장치에 부담을 초래할 수 있으며, 잔여 반향이 효과적으로 제거되지 못하는 문제점을 가질 수 있다.

본 발명 실시예에 따른 디스플레이장치는, 영상을 표시하는 디스플레이부와; 임펄스 응답의 입력 신호를 수신하는 음성 수신부와; 입력 신호를 복수의 부대역으로 분할하고 분할된 복수의 부대역 신호를 이용하여 입력 신호로부터 1차 반향 제거를 수행하고, 복수의 부대역 각각에 대하여 1차 반향 제거에서 획득된 반향 경로 정보를 이용하여 잔여 반향을 추정하여 1차 반향이 제거된 입력 신호로부터 추정된 잔여 반향을 제거하는 2차 반향 제거를 수행하는 적어도 하나의 프로세서를 포함할 수 있다. 이에 의해, 1차 반향제거에서 획득된 정보를 이용하여 2차 반향제거를 수행함으로써, 연산량 및 메모리 사용량을 최소화하면서도 효과적으로 잔여반향 신호를 제거할 수 있다.

적어도 하나의 프로세서는, 1차 반향 제거를 수행하는 반향 제거기와, 반향 제거기로부터 획득된 반향 경로 정보를 이용하여 2차 반향 제거를 수행하는 잔향 제거기를 포함할 수 있다. 이에, 간단하고 저렴한 구성으로 반향 억제 성능을 개선시킬 수 있다.

잔향 제거기는, 부대역 별로 추정된 반향 경로 정보를 이용하여 1차 반향이 제거된 복수의 부대역 각각에 대응하는 임펄스 응답의 감쇠 계수를 결정할 수 있다. 이에, 연산량을 감소시켜 처리 속도가 보다 향상될 수 있다.

잔향 제거기는, 부대역 각각에 대응하는 임펄스 응답의 최대값과 임펄스 응답의 감쇠 꼬리에서의 로컬 최대값을 결정하고, 결정된 최대값 및 로컬 최대값을 이용하여 감쇠 계수를 결정할 수 있다. 이에, 임펄스 응답의 직선 기울기를 이용하는 간단한 방식에 의해 연산량이 감소된다.

잔향 제거기는, 부대역 각각에 대응하는 임펄스 응답을 복수의 서치 영역으로 분할하고, 분할된 서치 영역 각각에 대하여 인덱스를 증가시키면서 최대값 또는 로컬 최대값을 업데이트하여 부대역 각각에 대한 최대값과 로컬 최대값을 결정할 수 있다. 이에, 임펄스 응답의 서치영역 분할을 통해 필요한 값을 찾는 방식으로 보다 효율적인 연산이 가능할 수 있다.

잔향 제거기는, 임펄스 응답의 초기 구간에서 최대값이 결정되면 당해 서치 영역에서는 로컬 최대값을 결정하기 위한 과정을 스킵하고, 다음 서치 영역에서 로컬 최대값을 업데이트할 수 있다. 이에, 불필요한 연산 과정이 생략될 수 있다.

감쇠 계수는 수학식 ρ _b = f _sb ln(H _max / Max ₁) / (i ₁ - i _max )에 의해 결정되며, H _max 는 임펄스 응답의 최대값, i _max 는 H _max 의 인덱스, Max ₁는 최종 업데이트된 로컬 최대값, i ₁ 은 로컬 최대값의 인덱스를 나타내며, f _sb 는 임펄스 응답의 다운 샘플링에 따른 샘플링 주파수를 나타낼 수 있다. 이에, 간단한 수식에 의해 필요한 값을 용이하게 찾을 수 있다.

잔향 제거기는, 감쇠 계수를 이용하여 1차 반향이 제거된 복수의 부대역 각각에 대응하는 임펄스 응답의 후기 잔향 구간에 대한 초기 전력을 추정할 수 있다. 이에, 제한된 탭수를 사용하는 환경에서 임펄스 응답의 무한한 감쇠 꼬리에 대응하는 후기 잔향의 추정이 보다 용이하다.

복수의 부대역 각각에서의 초기 전력은 수학식

에 의해 결정되며, C _b 는 초기 전력, ρ _b 는 부대역 임펄스 응답의 감쇠 계수, L _b 는 부대역 임펄스 응답의 길이, N _w 는 부대역 임펄스 응답의 감쇠 꼬리의 길이f _sb 는 임펄스 응답의 다운 샘플링에 따른 샘플링 주파수,

는 부대역 임펄스 응답을 나타낼 수 있다. 이에, 간단한 수식의 연산으로 후기 잔향의 초기 전력값을 획득할 수 있다.

잔향 제거기는, 복수의 부대역 각각에 대하여 적응 필터링을 수행하여 반향 경로를 추정하고, 부대역 별로 추정된 반향 경로를 스피커 신호와 컨벌루션하여 반향을 추정하고, 부대역 별로 추정된 반향을 합성한 전대역 반향 신호를 입력 신호로부터 제거할 수 있다. 이에, 각 부대역 별 간단한 연산에 의한 효율적인 반향 제거가 가능하다.

한편, 본 발명 실시예에 따른 디스플레이장치의 반향 제거방법은, 임펄스 응답의 입력 신호를 수신하는 단계와; 수신된 입력 신호를 복수의 부대역으로 분할하고, 분할된 복수의 부대역 신호를 이용하여 입력 신호로부터 1차 반향 제거를 수행하는 단계와; 복수의 부대역 각각에 대하여 1차 반향 제거에서 획득된 반향 경로 정보를 이용하여 잔여 반향을 추정하고, 1차 반향이 제거된 입력 신호로부터 추정된 잔여 반향을 제거하는 2차 반향 제거를 수행하는 단계를 포함할 수 있다. 이에 의해, 1차 반향제거에서 획득된 정보를 이용하여 2차 반향제거를 수행함으로써, 연산량 및 메모리 사용량을 최소화하면서도 효과적으로 잔여반향 신호를 제거할 수 있다.

2차 반향 제거를 수행하는 단계는, 부대역 별로 추정된 반향 경로 정보를 이용하여 1차 반향이 제거된 복수의 부대역 각각에 대응하는 임펄스 응답의 감쇠 계수를 결정하는 단계를 포함할 수 있다. 이에, 연산량을 감소시켜 처리 속도가 보다 향상될 수 있다.

2차 반향 제거를 수행하는 단계는, 부대역 각각에 대응하는 임펄스 응답의 최대값과 임펄스 응답의 감쇠 꼬리에서의 로컬 최대값을 결정하고, 결정된 최대값 및 로컬 최대값을 이용하여 감쇠 계수를 결정할 수 있다. 이에, 임펄스 응답의 직선 기울기를 이용하는 간단한 방식에 의해 연산량이 감소된다.

2차 반향 제거를 수행하는 단계는, 부대역 각각에 대응하는 임펄스 응답을 복수의 서치 영역으로 분할하고, 분할된 서치 영역 각각에 대하여 인덱스를 증가시키면서 최대값 또는 로컬 최대값을 업데이트하여 부대역 각각에 대한 최대값과 로컬 최대값을 결정할 수 있다. 이에, 임펄스 응답의 서치영역 분할을 통해 필요한 값을 찾는 방식으로 보다 효율적인 연산이 가능할 수 있다.

2차 반향 제거를 수행하는 단계는, 임펄스 응답의 초기 구간에서 최대값이 결정되면 당해 서치 영역에서는 로컬 최대값을 결정하기 위한 과정을 스킵하고, 다음 서치 영역에서 로컬 최대값을 업데이트할 수 있다. 이에, 불필요한 연산 과정이 생략될 수 있다.

2차 반향 제거를 수행하는 단계는, 감쇠 계수를 이용하여 1차 반향이 제거된 복수의 부대역 각각에 대응하는 임펄스 응답의 후기 잔향 구간에 대한 초기 전력을 추정하는 단계를 더 포함할 수 있다. 이에, 제한된 탭수를 사용하는 환경에서 임펄스 응답의 무한한 감쇠 꼬리에 대응하는 후기 잔향의 추정이 보다 용이하다.

복수의 부대역 각각에서의 초기 전력은 수학식

1차 반향 제거를 수행하는 단계는, 복수의 부대역 각각에 대하여 적응 필터링을 수행하여 반향 경로를 추정하는 단계와; 부대역 별로 추정된 반향 경로를 스피커 신호와 컨벌루션하여 반향을 추정하는 단계와; 부대역 별로 추정된 반향을 합성한 전대역 반향 신호를 입력 신호로부터 제거하는 단계를 포함할 수 있다. 이에, 각 부대역 별 간단한 연산에 의한 효율적인 반향 제거가 가능하다.

도 1은 본 발명의 실시예에 의한 전자장치에 구비된 반향 제거장치의 블록 구성도이며,
도 2는 본 발명 실시예에 따른 반향 제거장치의 구성을 간략하게 도시한 블록도이며,
도 3은 본 발명의 실시예에 따라 도 2의 잔향 제거기의 동작을 보완하기 위해 제안된 반향 제거장치를 도시한 블록도이며,
도 4는 본 발명 실시예에 따라 도 2 및 도 3의 잔향 제거기의 동작을 보완하기 위해 제안된 반향 제거장치를 도시한 블록도이며,
도 5는 본 발명의 일실시예에 따른 임펄스 응답 신호의 파형을 도시한 도면이며,
도 6은 본 발명 일실시예에 따른 부대역 임펄스 응답 감쇠 계수를 추정하는 알고리즘에 따른 동작을 도시한 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 명칭을 사용하며, 동일 또는 유사한 참조부호를 붙이도록 한다.

도 1은 본 발명의 실시예에 의한 전자장치에 구비된 반향 제거장치의 블록 구성도이다.

도 1에 도시된 바와 같이, 본 발명 실시예에 의한 전자장치(10)에는 음성을 수신하는 음성 수신부(12)와, 음성 즉, 사운드를 출력하는 음성 출력부(13)와, 입력된 음성 신호로부터 반향을 제거하는 반향 제거장치(100)가 마련될 수 있다.

음성 수신부(11)는 입력신호를 수신하는 마이크로 폰(microphone)으로, 음성 출력부(12)는 사운드를 출력하는 스피커(speaker)로 구현될 수 있다.

반향 제거장치(100)는 적어도 하나의 프로세서를 포함한다. 예를 들어, 반향 제거장치(100)는 도 1에 도시된 바와 같이 제1 반향 제거를 위한 하나의 프로세서(제1프로세서)로서 반향 제거기(Acoustic Echo Canceller (AEC), 이하 AEC 라고도 한다)(110)와, 제2 반향 제거를 위한 다른 하나의 프로세서(제2프로세서)로서 잔향 제거기(Residual Echo Suppression (RES), 이하 RES 라고도 한다)(120)를 포함할 수 있다.

적어도 하나의 프로세서는 프로그램이 저장된 비휘발성 메모리(ROM)로부터 휘발성 메모리(RAM)으로 대응되는 프로그램을 로드하여 실행한다.

적어도 하나의 프로세서는 후술하는 적어도 하나의 알고리즘을 수행하기 위한 프로그램과 해당 프로그램을 실행하는 전용 프로세서로서 마련되는 칩(chip) 예를 들어, IC(integrated circuit) 칩이 결합된 형태로 구현될 수 있다.

예를 들어, 본 발명은 반향 제거기(110)와 잔향 제거기(120)가 각각 그 대응하는 알고리즘에 따라 동작을 수행하는 2개의 칩으로서 구비되거나, 반향 제거기(110)와 잔향 제거기(120)를 모두 포함하는 하나의 칩으로 구비될 수 있다. 하나의 칩으로 구비되는 경우, 하나의 프로세서가 제1 반향 제거를 위한 프로그램과 제2 반향 제거를 위한 프로그램을 구동하는 형태에 대응될 수 있을 것이다.

본 발명의 반향 제거장치(100)는 경우에 따라 CPU(Central Processing Unit), AP(Application Processor), 마이컴(Micro Computer, MICOM)과 같은 범용 프로세서(단일 프로세서)로 구현되어, 예를 들어, ROM에 저장된 소정 알고리즘에 따라 대응하는 프로그램을 RAM에 로드하여 실행함으로써 예를 들면 제1 반향 제거와 제2 반향 제거(잔여 반향 제거)를 각각 독립적으로 수행하도록 구현 가능하다. 즉, 하나의 프로세서가 제1 반향 제거를 위한 프로그램과 제2 반향 제거를 위한 프로그램을 구동하는 형태로 구현될 수도 있을 것이다.

아울러, 반향 제거장치(100)가 하나의 프로세서 예를 들어 CPU로 구현되는 경우, CPU는 반향 제거 기능뿐 아니라, 전자장치(100)에서 수행 가능한 다양한 기능들 예를 들어, 디스플레이부에 표시되는 영상에 대한 디코딩, 디모듈레이팅, 스케일링 등의 다양한 영상처리 프로세스의 진행에 대한 제어, 리모트 컨트롤러를 포함하는 사용자 입력부로부터 수신된 커맨드에 대한 대응, 외부장치와의 유무선 네트워크 통신의 제어 등을 더 실행 가능하도록 마련될 수 있다. 여기서, 프로세서가 더 실행 가능한 기능들에는 본 실시예에 따라 반향이 제거된 음성신호를 인식하는 음성인식에 따라 대응하는 제어 동작(예를 들어, TV의 채널 변경, 볼륨 조절 등)이나, 화상통신을 위한 동작들(예를 들어, 영상입력부인 카메라를 통해 입력되는 통화자의 영상 및 통신부를 통해 수신된 통화 상대방의 영상을 화면에 표시하고, 음성 수신부(11)인 마이크로폰으로부터 입력된 통화자의 반향이 제거된 음성 신호를 상대방에게 송신하고, 상대방으로부터 수신된 음성 신호를 음성 출력부(12)인 스피커를 통해 음성으로 출력하는 등)이 포함될 수 있다.

본 발명에서는 전자장치(10)가 TV 또는 셋탑 박스(set top box)와 같은 디스플레이장치로 구현된 것을 일 실시예로 한다. 디스플레이장치는 방송국과 같은 적어도 하나의 외부의 영상공급원(image source)로부터 제공되는 영상신호를 디스플레이부에 영상으로 표시 가능하도록 기 설정된 영상처리 프로세스에 따라서 처리한다.

이러한 본 실시예는, 디스플레이장치가 방송국의 송출장비로부터 수신되는 방송신호/방송정보/방송데이터에 기초한 방송 영상을 표시하는 텔레비전(TV)으로 구현된 경우에 관한 것이다. 그러나, 디스플레이장치는 표시 가능한 영상의 종류가 방송 영상에 한정되지 않는 바, 예를 들면 디스플레이장치는 다양한 형식의 영상공급원으로부터 수신되는 신호/데이터에 기초한 동영상, 정지영상, 어플리케이션(application), OSD(on-screen display), 다양한 동작 제어를 위한 사용자 인터페이스(UI: user interface, 이하, GUI(graphic user interface) 라고도 한다) 등의 영상을 표시할 수 있다.

본 발명의 실시예에 따르면, 디스플레이장치는 스마트 TV 또는 IP TV(Internet Protocol TV)로 구현될 수 있다. 스마트 TV는 실시간으로 방송신호를 수신하여 표시할 수 있고, 웹 브라우징 기능을 가지고 있어 실시간 방송신호의 표시와 동시에 인터넷을 통하여 다양한 컨텐츠 검색 및 소비가 가능하고 이를 위하여 편리한 사용자 환경을 제공할 수 있는 TV이다. 또한, 스마트 TV는 개방형 소프트웨어 플랫폼을 포함하고 있어 사용자에게 양방향 서비스를 제공할 수 있다. 따라서, 스마트 TV는 개방형 소프트웨어 플랫폼을 통하여 다양한 컨텐츠, 예를 들어 소정의 서비스를 제공하는 어플리케이션을 사용자에게 제공할 수 있다. 이러한 어플리케이션은 다양한 종류의 서비스를 제공할 수 있는 응용 프로그램으로서, 예를 들어 SNS, 금융, 뉴스, 날씨, 지도, 음악, 영화, 게임, 전자 책 등의 서비스를 제공하는 어플리케이션을 포함한다.

본 실시예의 디스플레이장치는 음성인식 기능 및/또는 화상통화 기능을 수행하기 위한 어플리케이션을 제공할 수 있다. 또한, 음성인식 기능을 위해 디스플레이장치의 내부 또는 외부(예를 들어, 클라우드 서버)에 입력 음성신호에 대한 음성인식을 수행하기 위한 음성인식 엔진이 마련될 수 있다.

본 발명의 사상은 본 실시예와 상이한 디스플레이장치, 예를 들면 디스플레이장치가 컴퓨터 본체에 접속된 모니터 등인 경우에도 적용될 수 있다.

아울러, 본 실시예의 전자장치(10)는 TV 즉, 디스플레이장치에 한정되는 것은 아니다. 구체적으로, 전자장치(10)는 스마트 폰을 포함하는 휴대폰, 태블릿(스마트 패드), 휴대용 미디어 플레이어(MP3 플레이어 포함), 디지털 카메라, 캠코더 등을 포함하는 모바일 단말 즉, 휴대장치로 구현될 수 있다.

휴대폰과 같은 휴대장치에서는 사용자의 편의를 위해 송수화기를 사용하지 않고 마이크로 폰과 스피커를 이용하는 핸드프리(hand-free) 방식의 통화를 지원할 수 있다. 이러한 핸드프리 방식은 자동차용 핸드프리 전화기, 원거리 회의 시스템, 스피커 폰(speaker-phone) 시스템 등의 다양한 방식으로 휴대장치에 응용된다. 또한, 휴대장치에서도 음성인식 및/또는 화상통화 기능이 구현 가능하며, 음성인식을 위해 내부 또는 외부에 마련된 음성인식 엔진을 이용할 수 있다.

따라서, 본 실시예의 전자장치(10) 내에 마련된 반향 제거장치(100)는 음성인식과 화상통화뿐 아니라, 위와 같은 핸드프리 기능들을 수행하는데 있어 입력 신호로부터 반향을 제거하도록 이용될 수 있을 것이다.

도 2는 본 발명 실시예에 따른 반향 제거장치의 구성을 간략하게 도시한 블록도이다.

도 2에 도시된 바와 같이, 전자장치(200)를 이용하는 오늘날의 통신 시스템(modern telecommunication systems)에서 원단화자(far-end speaker)는 음성생성장치(sound producing device)와 근단(near-end)의 마이크로 폰(200) 사이의 음향 경로(acoustic path)로 인한 자신의 딜레이된 음성(반사음)을 들을 수 있다. 이러한 반사음은 반향 즉, 어쿠스틱 에코(Acoustic Echo, 이하 에코 라고도 한다)가 되며, 이를 제어하기 위한 반향 제거(Acoustic Echo Cancellation)가 필요하게 되는 원인이 된다.

대체적으로 이러한 문제들에 대해서는 스피커(22)와 마이크로 폰(21)이 동일한 음향 환경(same acoustic environment)을 공유하는 근단에서 분석이 이루어진다. 여기서, 실제 케이스에서 반향 제거의 문제는 추가적인 소음원 즉, 노이즈 소스들(noise sources) 예를 들어, 도시된 바와 같이 근단 스피치(near-end speech) (s(t)) 또는 구동중인 장치들(working devices)에서 발생하는 소음 v(t)에 의해 보다 복잡하게 된다. 이러한 모든 사운드들은 마이크로 폰 신호 d(t)=h(t)*x(t)+s(t)+v(t)로 합성 즉, 합쳐지며(summed), 이는 반향 경로(acoustic echo path) h(t)와 스피커 신호(speaker signal) x(t)를 컨벌루션(convolution)하여 생성된다. 여기서, 컨벌루션된 신호 h(t)*x(t)는 반향을 나타내며, 스피커 신호 x(t)는 원단화자 신호 또는 기준 신호(reference signal) 라고도 한다. 이러한 마이크로폰 신호 즉, 입력 신호와, 컨벌루션된 반향 신호는 임펄스 응답(impulse response, 이하 IS 라고도 한다)의 형태를 가지게 된다.

따라서, 본 실시예의 반향 제거기(AEC)(210)는 적어도 사용자의 직접음에 대응하는 근단 스피치(near-end speech) s(t)는 보존하고(preserving), 마이크로 폰으로 수신되는 입력 신호 d(t)로부터 반향의 감소(echo suppression)가 가능하도록 구현된다.

반향 제거기AEC)(210)의 동작은 반향 경로(echo path) h(t)에 대한 특정 알고리즘에 따른 유한 임펄스 응답 적응 필터(Finite Impulse Response (FIR) adaptive filter (AF))에 기초한다. 반향 제거기(AEC)(110)는 예를 들어, NLMS 알고리즘과 같은 적응 알고리즘에 따라, 추정된 반향 신호와 실제 반향 성분 간의 오차가 작아지도록 적응 필터의 필터 계수를 조정하는 방식으로 동작할 수 있다.

경로 추정(path estimation)

은 사용 가능한 기준신호(available reference signal) 즉, 스피커 신호 x(t)와 컨벌루션되고, 해당 컨벌루션은 입력 신호인 마이크로폰 신호 d(t)로부터 감해진다(subtracted).

적응 필터(AF)는 마이크로 폰(21)으로 전달되는 스피커 진동을 통해 물리적 환경에 의해 수행되는 방식으로 스피커 신호를 필터링하고자 할 수 있으며, 상기와 같은 감산(subtraction) 결과인 e(t)는 필터 적응(filter adaptation)을 위해 사용된다. 추정된 반향 경로

에 대하여, 근단-스피치를 포함하여 다른 부가적인 잡음이 없는 경우, e(t)는 0 즉, 제로(zero)가 되도록 하는 경향이 있다.

다만, 반향 제거기(AEC)(210)는 그 수행(performance)에 있어 모든 반향을 제거하지 못하는 한계를 가질 수 있으며, 이는 적응 필터의 한정된 개수의 계수들(coefficients) 즉, 반향 신호의 경로 길이인 적응 필터의 탭들(taps)이 이론상으로 무한하거나 또는 적어도 매우 긴 감쇠 꼬리(very long decaying tail)에서의 유의미한 값(significant values)을 포함하는 실제 반향 경로(real echo path) h(t)를 완전하게 추정하지 못하는 사실로부터 기인한다. 또 다른 한계는 유한 임펄스 응답 적응 필터(FIR AF)의 선형성(linearity)에 기인하여, 반향의 비선형성 주파수 영역 성분(nonlinear frequency domain component)을 고려하기가 어렵기 때문이다.

상기와 같은 이유로, 에러 신호 e(t)는 대체적으로 어느 정도의 잔여 반향(residual echo)을 포함할 수 있으며, 도 2에 도시된 잔향 제거기(RES)(220)에 의한 2차 반향 제거(suppression)가 이루어지게 된다.

통상적으로, 잔향 제거기(RES)(220)는 소음 환경(noisy environments)에 대한 음성 강화(speech enhancement)와 관련된다. 예를 들어, 입력 신호에서의 소음 강도(noise intensity) λ _d 와 음성 존재 확률(probability of speech presence) p 을 측정하고, 상기 2개의 값을 가지고 최적의 음성 증폭(speech amplification) 및 소음 감소(noise suppression)를 제공하는 이득(gain)을 결정하게 된다. 이러한 과정들은 음성신호의 짧은 프레임 각각에 대하여 주파수 영역에서 수행될 수 있다.

따라서, 잔향 제거기(RES)(220)는 주어진 기준 신호 x(t)와 반향 제거기(AEC)(110)로부터 획득된 반향 경로

를 이용하여 에러 신호 e(t) 내의 잔여 반향 강도를 측정할 수 있다. 여기서, 잔여 반향은 독립적은 소음으로 고려되며, 그 강도 λ _e는 상기의 소음 강도 λ _d와 같은 방식으로 사용된다.

잔향 제거기(RES)(220)는 각 프레임에 대하여 주파수 영역에서 동작되므로, 에러 신호 e(t)는 불연속 푸리에 변환(Discrete Fourier Transform)에 의해 주파수 영역에 대응하도록 전환된다. 그리고, E(l, k)의 결과값은 각 k에 대하여 소정 알고리즘 예를 들어, Wiener 필터나 MMSE(Minimum Mean Square Error) 추정 기반의 알고리즘에 의해 처리될 수 있다. 여기서, l 은 프레임 번호(number of frame)이고, k 는 주파수 빈 인덱스(frequency bin index)가 된다. 또한, 에러 신호와 다른 신호들에 대한 불연속 변수(discrete variable) n이 시간 변수(time variable) t 를 대신하여 사용될 수 있다.

상기와 같은 잔향 제거기(RES)(220)는 반사 시간(reverberation time) T ₆₀(l,k) 및 잔여 반향의 초기 전력(initial power) c(l,k)에 대한 추정(estimation)을 필요로 할 수 있고, 이에 λ _e(l,k) 추정에 있어 계산의 복잡성(computational complexity)이 존재할 가능성이 있다.

도 3은 본 발명의 실시예에 따라 도 2의 잔향 제거기의 동작을 보완하기 위해 제안된 반향 제거장치를 도시한 블록도이다.

도 3에 도시된 본 발명 실시예에서는, 도 2의 잔향 제거기(RES)(220)의 계산의 복잡성을 보완하는 방식으로서, 도 3에 도시된 바와 같이 추정 반향 경로 를 다수의 밴드 패스 필터(a number of narrow band-pass filters)에 의해 1차로 필터링하고, 이에 따른 부대역 반향 경로들(sub-band echo paths) 에 대응하는 알고리즘을 적용할 수 있다. 여기서, b 는 부대역 번호(sub-band number)를 나타낸다.

구체적으로, 부대역 임펄스 응답(sub-band impulse response)에 대한 에너지 감쇠 곡선(Energy Decay Curve, EDC)을 이용할 수 있으며, 각각의 포인트(point)는 다음의 수학식 1을 이용하여 연산된다.

for m = 0, 1, N-1,

여기서, N 는 대응하는 부대역에 대한 반향 경로의 길이(length of

)를 나타낸다.

그리고, 상기 포인트들의 세트(set of C _m points)에 대한 선형 근사식(linear approximation)이 수행되며, 이는 감쇠 계수(regression coefficients)

,

의 연산을 필요로 한다. 여기서, m _s 와 m _e 는

의 불연속 시간 스케일 및 그 EDC에 대한 시작 시간(start-time)과 종료 시간(end-time)을 각각 나타내며, 상기의 모든 동작은 각각의 부대역(sub-band) b 에 대하여 수행된다.

그리고, 도 3의 잔향 제거기(RES)(320)에서 초기 전력 c(l,k)의 추정은 각 주파수 인덱스(frequency index) k 에 대하여 아래의 수학식 2에 의해 수행될 수 있다.

여기서, A(k)는 T ₆₀(l,k)에 의존적인 특정 계수이며, N _w 는 꼬리 영역 내의

샘플들의 특정 번호이고(N _w < N),

, N _DFT 는 사용된 불연속 푸리에 변환의 길이(a length of the used Discrete Fourier Transform)가 된다.

상기와 같은 도 3의 잔향 제거기(RES)(320)는 도 2의 잔향 제거기(RES)(220)와 비교하여 연산량을 감소시키고자 하는 것이다. 여기서, 잔향 제거기(RES)(320)는 반향 제거(acoustic echo suppression)를 위한 실시간 시스템(real-time system)에서 사용 시에는 복잡한 연산을 포함한다고 볼 수도 있다.

도 4는 본 발명 실시예에 따라 도 2 및 도 3의 잔향 제거기의 동작을 보완하기 위해 제안된 반향 제거장치를 도시한 블록도이고, 도 5는 본 발명의 일실시예에 따른 임펄스 응답 신호의 파형을 도시한 도면이다.

도 4에 도시된 본 발명 실시예에서는 부대역 기반 반향 제거 이후의 전대역 잔여 반향 억제를 위한 장치 및 방법(Apparatus and method of full-band Residual Echo Suppression after a sub-band Acoustic Echo Cancellation)을 제공한다.

음성인식 기능이 지원되는 스마트 TV에서 음성 명령(voice command)는 주변 소음(surrounding noise)과 함께 TV 마이크로폰으로 입력되는 경향이 있으며, 주요 소음원은 방송을 재생하는 TV 스피커에 의한 TV 반향(TV echo)이 된다.

음성인식 엔진은 소음에 민감한 특징을 가질 수 있다. 따라서, 스마트TV와 같은 음성 인식 기능을 가지는 전자장치는, 분석 대상이 되는 음성 명령은 인식을 위해 보존되는 상태에서, TV 반향은 가능하면 마이크로 폰으로 수신되는 입력 신호로부터 제거될 필요가 있다.

반향 제거기(AEC)(410)는 동시 통화 시나리오(double-talk scenario)에 의해 동작할 수 있다. 예를 들어, 근단 스피치(명령) s(n) 와 원단 스피치 즉, 기준신호 x(n) 가 동시에 제로가 되지는 않는다(non-zero simultaneously). 이 시나리오는 실시간으로 마이크로폰 신호를 처리하기 위한 적응 알고리즘(non-trivial adaptive algorithms)을 필요로 한다.

AEC 필터링 알고리즘의 복잡성은 L ² 또는 적어도 LlogL 로서 증가된다. 여기서, L 은 필터 길이를 나타낸다.

적응 필터를 위해 연속되는 신호 프레임들 간에는 빠른 신호 또는 환경 변경을 추적하기 위해 긴 오버랩(long overlap)이 적용될 수 있으며, 그에 따라 상기 L·logL과 같은 복잡함을 제공하는 주파수 영역 동작의 사용으로부터 이득을 획득하는 것이 쉽지 않다. 또한, AEC의 경우 대체로 출력 결과 저하(output result degradation)없이 적응 필터 길이 L 가 크게 감소되기 어렵다.

이런 점을 고려하여 본 발명의 실시간 시스템에서는 부대역 반향 제거기 알고리즘(sub-band AEC algorithms)이 사용될 수 있다.

구체적으로, 1차 반향 제거를 위한 반향 제거기(AEC)(410)는 임펄스 응답의 입력 신호를 복수의 부대역으로 분할하여 복수의 서브 프레임을 생성하고, 분할된 복수의 부대역(서브 프레임) 각각에 대하여 적응 필터링을 수행하여 반향 경로를 추정하고, 추정된 반향 경로를 스피커 신호와 컨벌루션하여 반향을 추정한다. 이러한 컨벌루션은 각 부대역에 대하여 수행된다.

이렇게 부대역 별 반향은 전대역(full-band) 반향으로 합쳐지고(sum), 전대역 반향이 입력 신호로부터 제거되는 방식으로, 1차 반향 제거를 수행한다.

본 실시예에서 반향 제거기(AEC)(410)에는 16개의 서브 프레임을 생성하는 16 부대역 AEC(16 sub-band AEC)가 적용될 수 있다.

반향 제거기(AEC)(410)는 분석 대상 영역에 포함되는 복수의 부대역 각각에 대하여 1차 반향 제거를 수행하게 되며, 분석 대상 영역은 임펄스 응답의 감쇠 꼬리에 대응하는 후기 잔향 구간을 제외한 구간으로서, 예를 들어 직접음 구간과, 초기 반사음 구간을 포함할 수 있다.

2차 반향 제거를 위한 잔향 제거기(RES)(420)는 복수의 부대역(이하, 서브 밴드 또는 서브 프레임 이라고도 한다) 각각에 대하여 1차 반향 제거에서 획득된 반향 경로 정보를 이용하여 입력 신호 즉, 임펄스 응답의 잔여 반향을 추정하고, 1차 반향이 제거된 입력 신호로부터 추정된 잔여 반향을 제거하는 2차 반향 제거를 수행한다. 여기서, 잔향 제거기(RES)(420)는 분석 대상 영역(a)의 복수의 부대역 각각에 대하여 추정된 반향 경로 정보를 이용하여 임펄스 응답의 감쇠 꼬리에 대응하는 후기 잔향 구간에 대한 잔여 반향을 추정할 수 있다.

즉, 실제 마이크로 폰의 입력 신호는 무한 임펄스 응답의 형태로 구현되므로, 본 실시예에서는 후술하는 도 5의 임펄스 응답에서는 도시되지 않는 무한한 감쇠 꼬리에 대응하는 후기 잔향구간의 잔여 반향을, 반향 제거기(AEC)(410)에 의해 추정된 분석 대상 영역의 반향 경로 정보를 이용하여 추정하는 방식을 사용함으로써, 적은 연산량으로 잔향의 추정 및 제거가 가능하게 되는 것이다.

도 4에 도시된 바와 같이, 본 실시예에 따른 반향 제거기(AEC)(410)는 제1 부대역(sub-band) 생성 모듈(analysis)(411), 제2 부대역 생성모듈(412), 전대역(full-band) 합성 모듈(synthesis)(413), 반향 추정 모듈(414)을 포함한다.

도 4의 반향 제거기(AEC)(410)는 도 2 또는 도 3의 실시예와 비교하여, 각 부대역에서의 적응 필터가 충분히 짧아질 수 있으며(quite short), 같은 시간에서 부대역 길이의 합계에 대응하는 전체 길이의 필요한 값이 보존된다. 다만, 반향 제거기(AEC)(410)를 통과한 이후에도 마이크로폰 신호 내의 잔여 반향은 존재하므로, 도 2 및 도 3의 실시예와 마찬가지로 잔향 제거기(RES)(420)가 동작하는 것이 바람직하다. 따라서, RES 시스템이 예를 들어 스마트 TV의 반향 제거에 적용될 수 있다.

이러한 도 4의 실시예에 따른 잔향 제거기(RES)(420)는 부대역 기반 반향 제거기(AEC)(410)를 위해 잔여 반향을 제거하도록 마련된다. 잔향 제거기(RES)(420)에 의해 요구되는 값들의 추정을 위해 부대역 임펄스 응답이 사용된다. 이에, 이 값들을 위한 효율적인 추정 알고리즘이 제안될 수 있다.

도 4에 도시된 부대역 기반 반향 제거기(AEC)(410)에서는, 스피커 신호(기준 신호) x(n) 뿐 아니라, 마이크로폰 신호(입력 신호) d(n)도 입력받는다. 입력 신호 d(n)은 제1 부대역 생성 모듈(411)에 의해 부대역으로 분할되고, 기준 신호 x(n)는 제2 부대역 생성 모듈(412)에 의해 부대역으로 분할되며, 이에 따라 복수(예를 들어, M 개)의 부대역 즉, 서브 프레임(sub-frame)이 생성된다(analyze into). 제1 및 제2 부대역 생성 모듈(411, 412)(Analysis block)은 M 개의 밴드 패스 필터(band-pass filters)와 다운 샘플링 유닛(down-sampling units)을 포함할 수 있다.

반향 추정 모듈(414)은 제1 및 제2 부대역 생성 모듈(411, 412)의 출력에 기초하여 각 부대역에 대응하는 서브 프레임들 각각에 대하여 적응 필터링(adaptive filtration)을 수행하여 반향 경로를 추정한다. 그리고, 반향 추정 모듈(414)은 추정된 부대역 별 반향 경로를 스피커 신호 x(n)와 컨벌루션하여 반향을 추정하게 된다. 여기서, 적응 필터링에는 도 2와 관련되어 설명한 적응 알고리즘 예를 들어, FIR AF 가 이용될 수 있다.

그리고, 모든 부대역의 필터링된 신호 즉, 추정된 반향은 전대역 합성 모듈(412)에 의해 전대역 신호로 합성된다(collected into). 전대역 합성 모듈(412)은 M 개의 업 샘플링 유닛(up-sampling units)과 업 샘플링의 영상 효과(imaging effect)를 방지(preventing)하기 위한 밴드 패스 필터(band-pass filters)를 포함할 수 있다.

그리고, 그 전대역에 대하여 추정된 반향 h(n)*x(n)이 입력 신호인 임펄스 응답 d(n)으로부터 1차 제거된다.

상기와 같은 각 부대역에서의 AEC 동작 동안 한 세트의 임펄스 응답(a set of impulse responses)

이 추정된다(estimated). 여기서, b = 0, 1, , M-1 이며, M 은 부대역 즉, 서브 프레임의 개수가 된다.

본 실시예에서는 도 4와 같이 잔향 제거기(420)가 반향 제거기(410)에서 추정된 각 부대역의 임펄스 응답 를 입력 받고, 이를 이용하여 잔여 반향을 추정하여, 추정된 잔여 반향을 제거하는 2차 반향제거를 수행하게 된다.

도 4에 도시된 본 발명 실시예의 잔향 제거기(420)는, 도 5에 도시된 임펄스 응답의 지수함수형 붕괴 계수 (exponential decay coefficient) ρ(l,k)를 필요로 한다. 여기서, 도 5의 가로축(x axis)은 샘플수 즉, 시간(t)에, 세로축(y axis)은 에너지(E)에 대응하며, 계수 ρ(l,k)는 ρ(l,k)=3 ln10 / T ₆₀(l,k)로서 도 3의 실시예에서 설명된 반사 시간 T ₆₀(l,k)와 연관된다.

본 실시예의 반향 제거장치(400)는, 후술하는 ρ _b (l) 연산 알고리즘(calculation algorithm)에 의해 동작되며, 도 4에 도시된 바와 같이 각 부대역 별로 추정된

로부터 부대역 감쇠 계수(sub-band decaying coefficient) ρ _b (l)를 획득 가능하도록 부대역 반향 제거기(AEC)(410)와 전대역 잔향 제거기(RES)(420)의 연결 구조(connection scheme)를 갖는다.

도 6은 도 4의 RES에서 부대역 임펄스 응답 감쇠 계수(sub-band IR decaying coefficient) ρ _b (l)를 추정하는 알고리즘에 따른 동작을 도시한 흐름도이다.

도 6에 따른 본 실시예의 알고리즘은

의 샘플들에 대하여 하나의 사이클 내의 결과를 제공하며, 이는 도 3의 실시예와 비교하여 수행에 있어 보다 편리할 수 있다.

도 5를 참조하면, 도 6의 알고리즘은 임펄스 응답으로 나타나는

의 초기 구간(beginning)에서의 최대 절대값(maximal absolute value) H _max (51)를 찾고(find), 또한

의 감쇠 꼬리(decaying tail)에서의 대응되는 로컬 최대값(corresponding local maximum) H _min (52)를 찾고자 하는 것이다. 즉, 본 알고리즘은 임펄스 응답(IR)의 끝단(end)에서의 가장 큰 로컬 최대값(highest local maximum)을 찾아야 하는 것이다.

상기 2개의 값 H _max 와 H _min 은 다음의 지수 함수(exponential function)를 이용한 수학식 3을 만족하게 된다.

여기서, i _min 과 i _max 는 각각 H _min 과 H _max 의 인덱스에 대응한다.

도 5에 도시된 바와 같이,

커브에 대응하는 임펄스 응답 단위(impulse response module)의 전체 최대값(global maximum) H _max 은 간단하게 찾을 수 있다. 동시에, H _min 를 획득하기 위해서는 다음의 2가지를 인지할 필요가 있다.

1) 반드시 로컬 최대값 이어야 함(it must be a local maximum)

2) 근처에 더 작은 값을 가지는 다른 로컬 최대값이 존재할 수 있음(in the vicinity there can be other local maximums, which are less than the desired one)

이 가정들은 임펄스 응답이 대체로 특정 최초 패턴의 감쇠 반복(decaying repetitions of some initial pattern)으로 구성된다는 경험(observation)으로부터 기인한다.

상기와 같은 도 6의 실시예에 따른 부대역 임펄스 응답의 감쇠계수의 연산을 위한 알고리즘( Algorithm : estimation of the sub-band IR decaying coefficient)은 다음과 같이 동작한다.

Step 0. Initialize L _search = L _b / D, where D is some integer value. Initialize: H _max = Max ₁ = Max ₂ = -1; i ₁ = i ₂ = i _max = 0; i = 0; m = 0.

Step 10. If (i == L _b - 1), then go to Step 80.

Step 20. If (

> H _max ), then: H _max =

; i _max = i ₁ = i; m = 0; Max ₁ = Max ₂ = -1; go to Step 70.

Step 30. If (

or

), then: m = m + 1; go to Step 70.

Step 40. If (

> Max ₁), then: Max ₁ =

; i ₁ = i; Max ₂ = -1; m = 0; go to Step 70.

Step 50. If (

> Max ₂), then: Max ₂ =

; i ₂ = i; m = m + 1.

Step 60. If (m ≥ L _search ), then: m = 0; Max ₁ = Max ₂; i ₁ = i ₂; Max ₂ = -1.

Step 70 . i = i + 1. Go to Step 10.

Step 80. Return: ρ _b = f _sb ln(H _max / Max ₁) / (i ₁ - i _max ), where f _sb is a sampling frequency in a band b, which due to down-sampling is M times less, than the input signal sampling frequency.

도 6 및 상기 알고리즘에 도시된 바와 같이, 단계 S0에서는 L _search = L _b / D 로 초기화되며, D 는 소정 정수값을 가진다. 또한, H _max = Max ₁ = Max ₂ = -1; i ₁ = i ₂ = i _max = 0; i = 0; m = 0로 초기화된다.

여기서, L _search 는 각 부대역에 대하여 추정된

를 소정 개수의 서치 영역으로 분할하기 위한 것으로, 예를 들어, L _b = 256 또는 L _b = 64 인 경우, 바람직한 결과를 얻기 위해 D = 8이 될 수 있다. 즉, L _b 는 각 부대역의 임펄스 응답

의 길이로서, 분석 대상 영역에 대응할 수 있다.

H _max 와 그 인덱스인 i _max 는 고정된 값으로 가정되고,

의 최대 절대값(maximal absolute value)이 발견된다(found). 변수(variables) Max ₁, Max ₂ 및 대응되는 인덱스 i ₁, i ₂는 H _max 이후

의 로컬 최대값(local maximums)의 서치를 위해 사용된다. 변수 H _max , Max ₁, 및 Max ₂ 에 대한 초기값은 -1이 되며, 이는 어떤 양수 또는 제로 즉, 영(0)(any positive or zero number)보다 확실하게 작은 수일 필요가 있기 때문이다. 변수 i 는 임펄스 응답의 인덱스 샘플을 위해 사용된다. 변수 m 은 특정 서치 영역(certain search window)의 추적(tracking)을 위해 사용된다.

다음, 단계 S10에서는 i 와 L _b 를 비교하며 i < L _b 인 경우, 단계 S20으로 진행한다. 여기서, i == L _b - 1인 경우 바로 단계 S80으로 진행할 수 있다.

즉, 단계 S10에서 한번(once) 도 5와 같은 임펄스 응답

의 끝단(end)에 도달되면(reached), 단계 S80으로 점프(jump)하여 결과값을 연산할 수 있다(calculate the result). 다만, 그렇지 않은 경우 단계 S20으로 진행된다. 예를 들어, 단계 S0에서 i = 0으로 초기화된 직후 단계 S10으로 진행된 경우, 단계 S10의 판단 결과에 따라 단계 S20으로 진행된다.

단계 S20에서는

와 H _max 를 비교하며,

> H _max 인 경우 단계 S21로 진행하여 H _max =

로 업데이트하고, i _max = i ₁ = i; m = 0; Max ₁ = Max ₂ = -1로 리셋하고 단계 S70으로 진행하게 된다. 여기서, 단계 S20에서

≤H _max 인 경우 단계 S30으로 진행한다.

단계 S20은 H _max 를 찾고자 하는 것(searching for)이다. 한번(once) 이것이 수행되면, 단계 S20은 체크된 상태에 따라 항상 스킵되고(skipped), 본 알고리즘은 각

에 대하여 H _max 에 대응하는 로컬 최대값(some local maximum)을 찾기 위해 이후의 단계들(following steps)을 수행하게 된다. 즉, 도 5의 임펄스 응답의 초기 구간에 존재하는 H _max 의 값이 결정된 이후에는 단계 S20에 의해 바로 단계 S30으로 진행된다.

단계 S30에서는

의 로컬 최대값이 존재하는지 여부를 판단한다. 구체적으로,

와 ,

와

를 각각 비교하며, 비교 결과

또는

인 경우, 단계 S31으로 진행하여 m = m + 1 가 되고(m++), 단계 S70으로 진행될 수 있다. 즉,

가 로컬 최대값이 아닌 경우 단계 S31에서 해당 검색 영역 내에서 인덱스 m 을 1 증가시키고(increase), 단계 S70을 통해 인덱스 i 를 1 증가시켜 다음(next)

에 대하여 로컬 최대값을 찾는 과정들을 수행 할 수 있다.

여기서, 단계 S30의 비교 결과 로컬 최대값이 발견되는 경우 즉,

또는

인 경우, 단계 S40으로 진행할 수 있다.

그리고, 단계 S40에서는

와 Max ₁를 비교하고,

> Max ₁인 경우 단계 S41로 진행하여 Max ₁ =

로 업데이트되고, i ₁ = i; Max ₂ = -1; m = 0으로 리셋하고 단계 S70으로 진행한다.

즉, 이전 단계 S30에서

가 로컬 최대값으로 결정되면, 그 값이 이전 값 Max ₁ 보다 큰지 여부를 체크할 필요가 있다(whether it is higher than the previous value of Max ₁ or not). 체크 결과

가 Max ₁ 보다 큰 경우, Max ₁와 그 인덱스 i는 업데이트되고, Max ₂ 와 m 은 리셋된다.

실제로 Max ₁ 은 로컬 서치 영역(local search interval (window))에서 발견되는 전체 최대값(value of a global maximum)을 저장하려고 하는 반면, Max ₂ 는 이 서치 영역에서의 로컬 최대값(this global-on-interval local maximum)를 서치하고자 하는 것이다.

이는 Max ₁이 업데이트되면, 현재 서치 영역에서의 Max ₂이 필요하지 않게 되므로 다음의 단계 S50는 스킵(skip)되고, 그 서치 영역에서도 불필요하게 되어 이 m 이 리셋 및 단계 S60이 스킵되기 때문이다. 이 단계에서 m 을 리셋하는 것은 Max ₁의 새로운 값(new value) 직후에 새로운 서치 영역(new search window)이 시작된다는 것을 의미한다.

즉, 본 알고리즘에서는 당해 서치 영역에서 H _max 가 결정되면 그 값을 Max ₁로 저장하며, 그 당해 서치 영역에서는 로컬 최대값 H _min 을 결정하기 위한 S50 이하의 단계들을 수행하지 않고, 다음 영역에 대하여 단계 S10 내지 S40의 동작들을 각 조건에 대응하여 계속 수행하게 된다.

한편, 단계 S40에서

가 Max ₁ 이하인 경우, 단계 S50으로 진행되어 해당 서치 영역에서 로컬 최대값을 찾는 과정이 수행되게 된다.

단계 S50에서는

와 Max ₂를 비교하여,

> Max ₂인 경우, S51로진행하여 Max ₂ =

로 업데이트되고, i ₂ = i; m = m + 1(m++)가 되어 단계 S60으로 진행한다.

여기서, 단계 S50에서 S51로 진행되는 것은, 당해

가 로컬 최대값에 대응하고 Max ₁ 보다 작은 경우를 의미한다.

가 Max ₂ 의 이전 값보다 큰 경우, Max ₂ 와 그 인덱스 i ₂ 는 적절하게 업데이트될 필요가 있다. 이것이 구획된 서치 영역(bounded search window) 내에서(within) 최대값(global maximum)을 서치하는 절차(procedure)가 된다.

한편, 단계 S50에서

≤ Max ₂인 경우 단계 S60으로 진행한다.

단계 S60에서는 m 과 L _search 를 비교한다. 비교 결과, m ≥ L _search 인 경우, 단계 S61로 진행하여 m = 0, Max ₁ = Max ₂, i ₁ = i ₂ , Max ₂ = -1 이 된다.

즉, 다음 서치 영역으로 진입되면(entered), Max ₂ 의 값은 Max ₂가 다음 번 서치(following search)를 위해 자유롭게 가변되도록(to free Max ₂ variable) Max ₁ 에 저장된다.

단계 S70는 i 를 i = i + 1(i++)로 증가시켜, 단계 S10으로 진행하는 것으로, 임펄스 응답 어레이의 인덱스의 증가를 의미한다.

단계 S70에 따라 S10에서 i == L _b - 1이 되면, 단계 S80으로 진행된다.

그리고, 단계 S80에서 ρ _b 값이 다음의 수학식 4와 같이 리턴된다.

여기서, f _sb 는 밴드 b 에서의 샘플링 주파수(sampling frequency)이며, 이는 입력 신호 샘플링 주파수(input signal sampling frequency) 보다는 M 배수 이하 (M times less)의 다운 샘플링(down-sampling)에 따른 것이다.

단계 S80에서는, 본 알고리즘의 단계들 이전에 작성된 수식 내에서 Max ₁ 이 H _min 로, i ₁ 이 i _min으로 사용된다.

도 6에 도시된 바와 같이, 단계 S21, S31, S41, S61에서 Max ₁, Max ₂, m 값들의 업데이트/리셋이 수행된 후에는 단계 S70으로 진행되며, 단계 S70에서는 i를 증가시키고 단계 S10으로 진행한다.

상기의 알고리즘은 AEC(140)으로부터 수신된 정보에 기초하여 각 부대역 별로 RES(420)에 의해 수행된다. 즉, 상기 알고리즘은 소정 부대역에 대응하는

에서 분할된 서치 영역들 L _search 에 대해 각 단계들의 조건에 응답하여 i 와 m 을 증가시키면서 Max ₁ 과 Max ₂ 를 업데이트하는 방식으로 최대 계수 H _max 및 로컬 최대값 H _min 을 결정하고, 결정된 값들을 수학식 4에 적용하여 각 부대역에 대한 임펄스 응답의 감쇠 계수 ρ _b 를 결정하게 된다.

감쇠 계수 ρ _b 는 도 5에 도시된 임펄스 응답의 절대값(absolute magnitude) 제곱의 로그(log)에 해당하는 직선으로서, 이 직선의 기울기에 대응하게 된다.

상기와 같은 도 6의 알고리즘에 따르면, 도 3의 실시예에서 T ₆₀(l,k) 에 도달하기까지의 연산과 비교하여 수학 연산량(mathematical operations)이 감소할 수 있게 된다.

상기와 같이 ρ _b 가 연산되면, 그 값은 처리된 임펄스 응답(IR)

의 b번째 서브 밴드(b ^th sub-band)에 대응하는 현재 신호 프레임(서브 프레임) l 과 각 주파수 영역 인덱스 k 에 대하여 ρ(l,k)에 할당된다.

잔여 반향의 초기 전력 c(l,k)의 연산은 서브 밴드 임펄스 응답 를 이용하여 다음의 수학식 5에 의해 이루어진다.

여기서, C _b 는 해당 서브 밴드에서의 초기 전력, ρ _b 는 서브 밴드 임펄스 응답의 감쇠 계수, L _b 는 서브 밴드 임펄스 응답의 길이, N _w 는 서브 밴드 임펄스 응답의 감쇠 꼬리의 길이(length of decaying tail of

)를 나타낸다.

즉, C _b 는 각 부대역의 임펄스 응답의 끝부분의 에너지(E)를 감쇠 커브로 씌워 구한 값으로, 제한된 탭(taps) 수로 인해 도 5와 같은 임펄스 응답 신호에서 도시되지 않는 실제 환경에서의 임펄스 응답 끝부분의 초기 파워 추정치에 대응할 수 있다.

상기의 수학식 5를 이용하는 경우, 초기 전력을 연산하는데 있어 각 서브 밴드 당 한번만 연산이 수행되므로, 수학식 2를 이용하는 도 3의 실시예와 비교하여 연산 부하가 감소하게 되는 장점이 있다. 아울러, 잔여 반향의 초기 전력의 값들이 c(l,k) = c _b / N _f 로서 간단하게 복구될 수 있다(retrieved).

여기서, N _f 는 b번째 서브 밴드(b ^th sub-band)에 대응하는 인덱스 k의 번호(number)를 나타낸다. 인덱스 k는 푸리에 변환(Fourier transform)의 주파수 인덱스로서, N 샘플의 신호에 대해 푸리에 변환을 수행하는 경우 N 개의 주파수 성분을 획득할 수 있으며 1부터 N 까지의 인덱스는 0에서 나이퀴스트(Nyquist) 주파수를 N 으로 나눈 주파수 대역에 해당할 수 있다.

본 실시예의 잔향 제거기(RES)(420)는 상기와 같은 수학식 5에 의해 각 부대역 별로 초기 전력 C _b 을 연산하고, 해당 초기 전력 C _b 과 감쇠 계수 ρ _b 를 이용하여 도 5의 임펄스 응답의 도시되지 않은 이후 구간인 후기 잔향 구간에 대응하는 잔여 반향을 추정한다.

그리고, 이렇게 추정된 잔여 반향을 이용하여 전대역 입력신호로부터 잔여 반향을 제거하는 2차 반향 제거가 수행된다. 여기서, 잔향 제거기(420)는 각 부대역 별 추정된 잔여 반향을 이용하여 전대역 잔여 반향 신호를 생성하고, 반향 제거기(410)로부터 1차 반향 제거가 수행된 신호를 수신할 수 있다. 그리고, 수신된 1차 반향 제거된 신호로부터 생성된 전대역 잔여 반향 신호를 제거하는 방식으로 2차 반향 제거가 이루어질 수 있게 된다.

본 발명은 2개의 근단 스피커(two near-end speakers)를 포함하는 스테레오 또는 멀티 채널 AEC 시스템에 적용될 수 있다. 스피커의 개수가 증가할수록 연산량도 대체로 선형적으로 증가할 수 있다.

ACE 이후의 비-반사 시스템(de-reverberation systems)에서 반사시간(reverberation time) T ₆₀의 연산이 필요하게 되며, 상기 알고리즘은 임펄스 응답을 이용하여 풀밴드에서 평균 T ₆₀ 연산을 위해 사용 가능하다.

본 발명의 RES는 스마트 TV에 적용되어 RES 복잡성을 감소시켜서 멀티 레퍼런스 AEC 시스템의 성능을 향상시킨다. 성능 및 연산의 복잡성의 관점에서 최적화된 AEC 알고리즘은 저렴한 오디오 처리 칩(audio processing chips)으로 적용되어 비용을 감소시킬 수 있다. 동시에 소비자의 문제에 좀더 빠르게 대처할 수 있다.

이와 같이, 본 발명의 실시예에 의하면 마이크로 폰에서 수신된 입력 신호로부터 1차 반향 제거(AEC의 반향 제거) 및 2차 반향 제거(RES의 잔여반향 제거)를 수행하여, 간단하면서도 효과적으로 반향 신호를 제거함으로써, 주파수 영역에서 음향학적 반향 억제 성능을 개선시킬 수 있게 된다.

또한, 2차 반향 제거에 있어서 1차 반향제거에서 획득된 정보를 이용함으로써, 연산량 및 메모리 사용량을 줄이고 처리 속도를 향상시킬 수 있게 되어 사용자 편의성을 보다 높일 수 있게 된다.

한편, 상기와 같은 본 발명의 다양한 실시예들은 컴퓨터가 판독 가능한 기록매체로 실시될 수 있다. 컴퓨터가 판독 가능한 기록매체는 전송매체 및 컴퓨터 시스템에 의해 판독 가능한 데이터를 저장하는 저장매체를 포함한다. 전송매체는 컴퓨터 시스템이 상호 결합된 유무선 네트워크를 통해 구현 가능하다.

본 발명의 다양한 실시예들은 하드웨어와 하드웨어 및 소프트웨어의 결합에 의해 구현될 수 있다. 하드웨어로서, AEC/RES는 소프트웨어인 컴퓨터프로그램이 저장되는 비휘발성메모리와, 비휘발성메모리에 저장된 컴퓨터프로그램이 로딩되는 RAM과, RAM에 로딩된 컴퓨터프로그램을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 비휘발성메모리는 하드디스크드라이브, 플래쉬메모리, ROM, CD-ROMs, 자기테이프(magnetic tapes), 플로피 디스크, 광기억 장치(optical storage), 인터넷을 이용한 데이터 전송장치 등을 포함하며, 이에 한정되지 않는다. 비휘발성메모리는 본 발명의 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체(computer-readable recording medium)의 일례이다.

컴퓨터프로그램은 프로세서가 읽고 실행할 수 있는 코드로서, AEC 또는 RES로서 장치 내에 마련되는 프로세서가 동작을 수행하도록 하는 코드를 포함한다.

컴퓨터프로그램은 디스플레이장치에 구비된 운영체제(operating system) 또는 어플리케이션을 포함하는 소프트웨어 및/또는 외부장치와 인터페이스하는 소프트웨어에 포함되어 구현될 수 있다.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.

10 : 전자장치
11, 21, 31, 41 : 음성 수신부
12, 22, 32, 42 : 음성 출력부
100, 200, 300, 400 : 반향 제거장치
110, 210, 310, 410 : 반향 제거기
120, 220, 320, 420 : 잔향 제거기

Claims

디스플레이장치에 있어서,
영상을 표시하는 디스플레이부와;
임펄스 응답의 입력 신호를 수신하는 음성 수신부와;
상기 입력 신호를 복수의 부대역으로 분할하고 상기 분할된 복수의 부대역 신호를 이용하여 상기 입력 신호로부터 1차 반향 제거를 수행하고, 상기 복수의 부대역 각각에 대하여 상기 1차 반향 제거에서 획득된 반향 경로 정보를 이용하여 잔여 반향을 추정하여 상기 1차 반향이 제거된 입력 신호로부터 상기 추정된 잔여 반향을 제거하는 2차 반향 제거를 수행하는 적어도 하나의 프로세서를 포함하는 것을 특징으로 하는 디스플레이장치.
제1항에 있어서,
상기 적어도 하나의 프로세서는,
상기 1차 반향 제거를 수행하는 반향 제거기와, 상기 반향 제거기로부터 획득된 상기 반향 경로 정보를 이용하여 상기 2차 반향 제거를 수행하는 잔향 제거기를 포함하는 것을 특징으로 하는 디스플레이장치.
제2항에 있어서,
상기 잔향 제거기는,
상기 부대역 별로 추정된 반향 경로 정보를 이용하여 상기 1차 반향이 제거된 복수의 부대역 각각에 대응하는 임펄스 응답의 감쇠 계수를 결정하는 것을 특징으로 하는 디스플레이장치.
제3항에 있어서,
상기 잔향 제거기는,
상기 부대역 각각에 대응하는 임펄스 응답의 최대값과 상기 임펄스 응답의 감쇠 꼬리에서의 로컬 최대값을 결정하고, 상기 결정된 최대값 및 로컬 최대값을 이용하여 상기 감쇠 계수를 결정하는 것을 특징으로 하는 디스플레이장치.
제4항에 있어서,
상기 잔향 제거기는,
상기 부대역 각각에 대응하는 임펄스 응답을 복수의 서치 영역으로 분할하고, 상기 분할된 서치 영역 각각에 대하여 인덱스를 증가시키면서 상기 최대값 또는 상기 로컬 최대값을 업데이트하여 상기 부대역 각각에 대한 최대값과 로컬 최대값을 결정하는 것을 특징으로 하는 디스플레이장치.
제5항에 있어서,
상기 잔향 제거기는,
상기 임펄스 응답의 초기 구간에서 상기 최대값이 결정되면 당해 서치 영역에서는 상기 로컬 최대값을 결정하기 위한 과정을 스킵하고, 다음 서치 영역에서 상기 로컬 최대값을 업데이트하는 것을 특징으로 하는 디스플레이장치.
제5항에 있어서,
상기 감쇠 계수는 수학식 ρ _b = f _sb ln(H _max / Max ₁) / (i ₁ - i _max )에 의해 결정되는 것을 특징으로 하는 디스플레이장치.
여기서, H _max 는 상기 임펄스 응답의 최대값, i _max 는 H _max 의 인덱스, Max ₁는 최종 업데이트된 로컬 최대값, i ₁ 은 로컬 최대값의 인덱스를 나타내며, f _sb 는 임펄스 응답의 다운 샘플링에 따른 샘플링 주파수를 나타냄
제3항에 있어서,
상기 잔향 제거기는,
상기 감쇠 계수를 이용하여 상기 1차 반향이 제거된 복수의 부대역 각각에 대응하는 임펄스 응답의 후기 잔향 구간에 대한 초기 전력을 추정하는 것을 특징으로 하는 디스플레이장치.
제8항에 있어서,
상기 복수의 부대역 각각에서의 상기 초기 전력은 수학식
에 의해 결정되는 것을 특징으로 하는 디스플레이장치.
여기서, C _b 는 초기 전력, ρ _b 는 부대역 임펄스 응답의 감쇠 계수, L _b 는 부대역 임펄스 응답의 길이, N _w 는 부대역 임펄스 응답의 감쇠 꼬리의 길이f _sb 는 임펄스 응답의 다운 샘플링에 따른 샘플링 주파수,
는 부대역 임펄스 응답을 나타냄
제2항 내지 제9항 중 어느 한 항에 있어서,
상기 잔향 제거기는,
상기 복수의 부대역 각각에 대하여 적응 필터링을 수행하여 반향 경로를 추정하고, 상기 부대역 별로 추정된 반향 경로를 스피커 신호와 컨벌루션하여 반향을 추정하고, 상기 부대역 별로 추정된 반향을 합성한 전대역 반향 신호를 상기 입력 신호로부터 제거하는 것을 특징으로 하는 디스플레이장치.
디스플레이장치의 반향 제거방법에 있어서,
임펄스 응답의 입력 신호를 수신하는 단계와;
상기 수신된 상기 입력 신호를 복수의 부대역으로 분할하고, 상기 분할된 복수의 부대역 신호를 이용하여 상기 입력 신호로부터 1차 반향 제거를 수행하는 단계와;
상기 복수의 부대역 각각에 대하여 상기 1차 반향 제거에서 획득된 반향 경로 정보를 이용하여 잔여 반향을 추정하고, 상기 1차 반향이 제거된 입력 신호로부터 상기 추정된 잔여 반향을 제거하는 2차 반향 제거를 수행하는 단계를 포함하는 것을 특징으로 하는 디스플레이장치의 반향 제거방법.
제11항에 있어서,
상기 2차 반향 제거를 수행하는 단계는,
상기 부대역 별로 추정된 반향 경로 정보를 이용하여 상기 1차 반향이 제거된 복수의 부대역 각각에 대응하는 임펄스 응답의 감쇠 계수를 결정하는 단계를 포함하는 것을 특징으로 하는 디스플레이장치의 반향 제거방법.
제12항에 있어서,
상기 2차 반향 제거를 수행하는 단계는,
상기 부대역 각각에 대응하는 임펄스 응답의 최대값과 상기 임펄스 응답의 감쇠 꼬리에서의 로컬 최대값을 결정하고, 상기 결정된 최대값 및 로컬 최대값을 이용하여 상기 감쇠 계수를 결정하는 것을 특징으로 하는 디스플레이장치의 반향 제거방법.
제13항에 있어서,
상기 2차 반향 제거를 수행하는 단계는,
상기 부대역 각각에 대응하는 임펄스 응답을 복수의 서치 영역으로 분할하고, 상기 분할된 서치 영역 각각에 대하여 인덱스를 증가시키면서 상기 최대값 또는 상기 로컬 최대값을 업데이트하여 상기 부대역 각각에 대한 최대값과 로컬 최대값을 결정하는 것을 특징으로 하는 디스플레이장치의 반향 제거방법.
제14항에 있어서,
상기 2차 반향 제거를 수행하는 단계는,
상기 임펄스 응답의 초기 구간에서 상기 최대값이 결정되면 당해 서치 영역에서는 상기 로컬 최대값을 결정하기 위한 과정을 스킵하고, 다음 서치 영역에서 상기 로컬 최대값을 업데이트하는 것을 특징으로 하는 디스플레이장치의 반향 제거방법.
제14항에 있어서,
상기 감쇠 계수는 수학식 ρ _b = f _sb ln(H _max / Max ₁) / (i ₁ - i _max )에 의해 결정되는 것을 특징으로 하는 디스플레이장치의 반향 제거방법.
여기서, H _max 는 상기 임펄스 응답의 최대값, i _max 는 H _max 의 인덱스, Max ₁는 최종 업데이트된 로컬 최대값, i ₁ 은 로컬 최대값의 인덱스를 나타내며, f _sb 는 임펄스 응답의 다운 샘플링에 따른 샘플링 주파수를 나타냄
제12항에 있어서,
상기 2차 반향 제거를 수행하는 단계는,
상기 감쇠 계수를 이용하여 상기 1차 반향이 제거된 복수의 부대역 각각에 대응하는 임펄스 응답의 후기 잔향 구간에 대한 초기 전력을 추정하는 단계를 더 포함하는 것을 특징으로 하는 디스플레이장치의 반향 제거방법.
제17항에 있어서,
상기 복수의 부대역 각각에서의 상기 초기 전력은 수학식
에 의해 결정되는 것을 특징으로 하는 디스플레이장치의 반향 제거방법.
여기서, C _b 는 초기 전력, ρ _b 는 부대역 임펄스 응답의 감쇠 계수, L _b 는 부대역 임펄스 응답의 길이, N _w 는 부대역 임펄스 응답의 감쇠 꼬리의 길이f _sb 는 임펄스 응답의 다운 샘플링에 따른 샘플링 주파수,
는 부대역 임펄스 응답을 나타냄
제11항 내지 제18항 중 어느 한 항에 있어서,
상기 1차 반향 제거를 수행하는 단계는,
상기 복수의 부대역 각각에 대하여 적응 필터링을 수행하여 반향 경로를 추정하는 단계와;
상기 부대역 별로 추정된 반향 경로를 스피커 신호와 컨벌루션하여 반향을 추정하는 단계와;
상기 부대역 별로 추정된 반향을 합성한 전대역 반향 신호를 상기 입력 신호로부터 제거하는 단계를 포함하는 것을 특징으로 하는 디스플레이장치의 반향 제거방법.