KR101424327B1 - 잡음 제거 장치 및 방법 - Google Patents

잡음 제거 장치 및 방법 Download PDF

Info

Publication number
KR101424327B1
KR101424327B1 KR1020120051243A KR20120051243A KR101424327B1 KR 101424327 B1 KR101424327 B1 KR 101424327B1 KR 1020120051243 A KR1020120051243 A KR 1020120051243A KR 20120051243 A KR20120051243 A KR 20120051243A KR 101424327 B1 KR101424327 B1 KR 101424327B1
Authority
KR
South Korea
Prior art keywords
signal
noise
difference
magnitude
coefficient
Prior art date
Application number
KR1020120051243A
Other languages
English (en)
Other versions
KR20130127597A (ko
Inventor
고한석
박진수
문성규
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020120051243A priority Critical patent/KR101424327B1/ko
Publication of KR20130127597A publication Critical patent/KR20130127597A/ko
Application granted granted Critical
Publication of KR101424327B1 publication Critical patent/KR101424327B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

잡음 제거 장치 및 방법이 개시된다. 개시된 잡음 제거 장치는 복수의 음성입력장치로 입력된 신호에서 잡음을 제거하는 장치로서, 제1 음성입력장치 및 제2 음성입력장치에서 각각 입력된 제1 신호 및 제2 신호간의 위상 차를 계산하는 위상 차 계산부; 상기 제1 신호 및 제2 신호에서 잡음 성분을 추출하고, 상기 추출된 잡음 성분과 상기 제1 신호와의 크기(magnitude) 차를 산출하는 크기 차 산출부; 및 상기 위상 차 및 크기 차를 이용하여 잡음제거 계수를 산출하는 잡음제거 계수 산출부를 포함한다. 본 발명에 따르면, 복수의 음성입력장치로 입력된 신호에서 원하지 않는 방향성을 갖는 신호를 잡음으로 제거함에 있어서 오류의 발생률을 줄일 수 있는 장점이 있다. 또한, 본 발명에 따르면, 적응 필터를 사용하지 않아 적응 필터 수렴 문제로 인한 출력의 발산이나 수렴 속도의 저하 문제가 발생되지 않는 장점을 갖는다.

Description

잡음 제거 장치 및 방법{APPARATUS AND METHOD FOR ELIMINATING NOISE}
본 발명의 실시예들은 잡음 제거 장치 및 방법에 관한 것으로서, 더욱 상세하게는 음성 인식 장치로 입력된 신호의 잡음을 정확히 제거할 수 있는 잡음 제거 장치 및 방법에 관한 것이다.
마이크로폰은 음파 또는 초음파를 받아서 그 진동에 따른 전기신호를 발생하는 장치를 의미한다.
최근 로봇 관련 기술의 발전에 따라, 로봇과 사용자의 의사 소통을 위한 인터페이스로 마이크로폰이 사용되고 있으며, 로봇은 마이크로폰을 통해 입력되는 음성신호를 전기신호로 변환하여 사용자의 음성을 인식하게 된다.
이러한 인식 과정에는 마이크로폰의 주변 환경에서 발생되는 잡음이 항상 수반되며, 보다 다양한 명령을 정확하게 인식하여 사용자의 편의성을 향상시키기 위해서는 음성신호에서 잡음을 제거하는 과정이 필수적이다.
또한, 이동 통신 단말기 및 네비게이션 장치 등 많은 수의 장치들이 사용자의 음성 인식 기능을 구비하고 있으며, 이러한 장치에서도 정확한 음성인식에 기반한 동작을 위해서는 잡음 제거가 필수적이다.
음성신호에서 잡음을 제거하기 위한 종래의 기술로는 일반적으로, 정면에서 입력되는 신호 외의 방향성을 갖는 신호는 잡음으로 볼 수 있다는 점에서 방향성 신호를 제거하는 방식이 주로 활용된다.
이러한 방식으로는 GSC(Generalized Sidelobe Canceller)를 이용한 방법과 두 개의 마이크로폰으로 입력되는 신호의 위상 차를 이용하는 방법이 있다.
전자의 방법은 GSC 내부의 적응 필터 수렴 문제로 인해 출력이 발산하거나 수렴 속도가 느려지는 문제점을 갖는다.
그리고, 후자의 방법은 적응 필터를 사용하지 않아 수렴 문제는 갖지 않으나, 두 개의 마이크로폰간의 위상 정보만을 사용하는 한계로 인하여 위상의 작은 변화에도 시스템이 민감하게 반응하여 일시적인 오류가 자주 발생하는 문제점을 갖는다.
대한민국 공개특허 제2008-0000478호(발명명칭: 휴대 단말기에서 복수의 마이크들로 입력된 신호들의 잡음을 제거하는 방법 및 장치)는 휴대 단말기로 입력되는 위상 차가 있는 신호로부터 잡음을 제거하는 방법 및 장치를 개시하고 있다.
그러나, 앞서 설명한 바와 같이, 상기의 종래특허는 방향성 신호를 제거하기 위해 위상 차만을 이용함으로써 시스템의 안정성이 낮아 음성신호에서 잡음을 효과적으로 제거할 수 없게 된다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 복수의 음성입력장치로 입력된 신호에서 원하지 않는 신호를 잡음으로 제거함에 있어서 오류의 발생률을 줄여 음성 인식 장치가 보다 안정적으로 작동할 수 있도록 하는 잡음 제거 장치 및 방법을 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 복수의 음성입력장치로 입력된 신호에서 잡음을 제거하는 장치로서, 제1 음성입력장치 및 제2 음성입력장치에서 각각 입력된 제1 신호 및 제2 신호간의 위상 차를 계산하는 위상 차 계산부; 상기 제1 신호 및 제2 신호에서 잡음 성분을 추출하고, 상기 추출된 잡음 성분과 상기 제1 신호와의 크기(magnitude) 차를 산출하는 크기 차 산출부; 및 상기 위상 차 및 크기 차를 이용하여 잡음제거 계수를 산출하는 잡음제거 계수 산출부를 포함하는 잡음 제거 장치가 제공된다.
상기 제1 신호와 상기 제2 신호가 음성 구간인지 또는 비음성 구간인지 판단하는 음성 구간 판단부를 더 포함하되, 상기 잡음제거 계수 산출부는 음성 구간인 경우의 잡음제거 계수를 비음성 구간인 경우보다 크게 설정할 수 있다.
상기 위상 차 계산부는, 상기 제1 신호와 상기 제2 신호를 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 각각 변환하고, 상기 변환된 제1 신호와 상기 변환된 제2 신호간의 위상 차를 주파수빈(frequency bin)별로 산출할 수 있다.
상기 크기 차 산출부는, 상기 제1 신호 및 상기 제2 신호로부터 추출된 잡음 성분을 상기 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 변환하고, 상기 변환된 잡음 성분과 상기 변환된 제1 신호간의 크기 차를 상기 주파수빈별로 산출할 수 있다.
상기 잡음제거 계수 산출부는, 상기 위상 차에 반비례하고 상기 크기 차에 비례하는 잡음제거 계수를 상기 주파수빈별로 산출할 수 있다.
상기 주파수빈별 잡음제거 계수를 상기 제1 신호에 반영하고, 상기 잡음제거 계수가 반영된 제1 신호를 시간 영역으로 역변환하여 상기 입력 신호에서 잡음이 제거된 출력 신호를 생성하는 출력 신호 생성부를 더 포함할 수 있다.
상기 잡음제거 계수 산출부는, 상기 음성 구간 또는 비음성 구간에서 상기 위상 차 및 크기 차에 따라 미리 생성된 퍼지 규칙을 이용하여 상기 잡음제거 계수를 산출할 수 있다.
상기 크기 차 산출부는, 상기 변환된 잡음 성분의 크기와 상기 변환된 제1 신호의 크기를 각각 0에서 1 사이의 값을 갖도록 정규화하고, 상기 정규화된 제1 신호의 크기에서 상기 정규화된 잡음 성분의 크기를 뺀 차에 해당하는 값을 상기 크기 차로 산출할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 복수의 음성입력장치로 입력된 신호에서 잡음을 제거하는 방법으로서, 제1 음성입력장치 및 제2 음성입력장치에서 각각 입력된 제1 신호 및 제2 신호간의 위상 차를 계산하는 단계; 상기 제1 신호 및 제2 신호에서 잡음 성분을 추출하고, 상기 추출된 잡음 성분과 상기 제1 신호와의 크기(magnitude) 차를 산출하는 단계; 및 상기 위상 차 및 크기 차를 이용하여 잡음제거 계수를 산출하는 단계를 포함하는 잡음 제거 방법이 제공된다.
본 발명에 따르면, 복수의 음성입력장치로 입력된 신호에서 원하지 않는 방향성을 갖는 신호를 잡음으로 제거함에 있어서 오류의 발생률을 줄일 수 있는 장점이 있다.
또한, 본 발명에 따르면, 적응 필터를 사용하지 않아 적응 필터 수렴 문제로 인한 출력의 발산이나 수렴 속도의 저하 문제가 발생되지 않는 장점을 갖는다.
도 1은 본 발명의 일 실시예에 따른 잡음 제거 장치의 잡음 제거 원리에 관한 개략도를 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 잡음 제거 장치의 동작에 관한 블록도를 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 잡음 제거 장치가 처리하는 음성신호에 대한 스펙트로그램을 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 잡음 제거 장치의 상세한 구성을 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 잡음 제거 장치가 입력 신호로부터 방향성 잡음을 제거하는 동작에 관한 상세 블록도를 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 잡음 제거 장치에 의한 음성신호에서의 잡음 제거 결과를 스펙트로그램으로 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 음성신호에서의 음성신호에서의 잡음 제거 방법을 시간의 흐름에 따라 상세하게 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
본 발명의 일 실시예에 따른 잡음 제거 장치는 입력 신호에서 잡음을 제거하기 위한 장비에는 제한 없이 적용될 수 있다.
특히, 본 발명의 일 실시예에 따른 잡음 제거 장치는 사용자의 음성을 인식하여 소정의 제어를 수행하는 음성 인식 장치, 예를 들어, 휴먼 로봇이나, 텔레메틱스 등에 용이하게 사용될 수 있으므로, 아래에서는 음성 인식 장치에 잡음 제거 장치를 적용한 일례를 중심으로 하여 설명하기로 한다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 잡음 제거 장치(100)의 잡음 제거 원리에 관한 개략도를 도시하는 도면이다.
그리고, 도 2는 본 발명의 일 실시예에 따른 잡음 제거 장치(100)의 동작에 관한 블록도를 도시하는 도면이다.
먼저, 도 1에 도시된 바와 같이, 잡음 제거 장치(100)는 정면에서 입력되는 신호 외의 신호를 잡음으로 간주하고, 입력된 신호에서 잡음을 제거한다.
이를 위해, 잡음 제거 장치(100)는 두 개의 음성입력장치(102, 104, 이하, 설명의 편의를 위해, '마이크로폰'이라 함)를 이용하여 방향성 잡음을 제거한다.
즉, 잡음 제거 장치(100)는 입력 신호가 두 개의 마이크로폰으로 입력될 때, 제1 마이크로폰(102)으로 입력된 신호(이하, '제1 신호'라 함)를 기준으로, 제2 마이크로폰(104)으로 입력된 신호(이하, '제2 신호'라 함)와 비교 분석함으로써 입력 신호에서 방향성 잡음이 제거될 수 있도록 한다.
보다 상세하게, 도 2를 참조하면, 본 발명의 일 실시예에 따른 잡음 제거 장치(100)는 제1 신호 및 제2 신호에서 크기 차(ND, Noise Difference)와 위상 차(PD, Phase Difference)를 산출한다.
그리고, 제1 신호 및 제2 신호의 음성 구간, 비음성 구간 여부에 따라 앞서 산출된 ND 및 PD에 관한 정보에 퍼지 규칙을 적용하여 잡음제거 계수를 산출한다.
이때, 음성 구간, 비음성 구간 여부의 판단은 일례로, SVAD(Spatial Voice Activity Detection)가 적용되어 시간 영역에서 수행될 수 있으며, ND 및 PD에 관한 정보는 주파수 영역에서 수행될 수 있다.
SVAD는 두 개의 마이크로폰 신호로부터 음성 구간과 비음성 구간에서의 상호 시간 차이(Interaural Time Difference, ITD)와 상호 크기 차이(Interaural Level Difference, ILD)를 추출하고, 각각 ITD, ILD 분포를 확률모델로 생성하여 이를 기반으로 음성구간을 검출한다.
계속하여, 잡음 제거 장치(100)는 산출된 잡음제거 계수를 기준 신호인 제1 신호에 반영하고, 잡음제거 계수가 반영된 제1 신호를 시간 영역으로 역변환함으로써, 최종적으로 입력 신호에서 잡음이 제거된 출력 신호를 생성하게 된다.
이와 같이, 본 발명에 따르면, 복수의 음성입력장치로 입력된 신호에서 원하지 않는 방향성을 갖는 신호를 잡음으로 제거함에 있어서 위상 차(PD)뿐만 아니라 크기 차(ND) 및 음성 구간, 비음성 구간 여부를 추가로 고려함으로써 잡음 제거의 오류의 발생률을 줄여 음성 인식 장치가 보다 안정적으로 작동할 수 있도록 하는 장점이 있다.
또한, 본 발명에 따르면, 적응 필터를 사용하지 않아 적응 필터 수렴 문제로 인한 출력의 발산이나 수렴 속도의 저하 문제가 발생되지 않는 장점을 갖는다.
본 발명의 일 실시예에 따른 잡음 제거 장치(100)의 상세한 구성을 설명하기에 앞서, 잡음 제거 장치(100)에서 음성신호가 처리되는 방식을 먼저 살펴보기로 한다.
도 3은 본 발명의 일 실시예에 따른 잡음 제거 장치(100)가 처리하는 음성신호에 대한 스펙트로그램을 도시하는 도면이다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 잡음 제거 장치(100)는 제1 신호와 제2 신호를 분석함에 있어서 소정의 시간 간격으로 나누어진 프레임 단위로 신호들을 처리한다.
소정의 시간 간격은 필요에 따라 다양하게 설정될 수 있으나, 본 발명의 일 실시예에 따른 잡음 제거 장치는 20ms로 나누어진 프레임 단위로 음성신호를 처리하는 것으로 설명한다.
일례로, 잡음 제거 장치(100)는 제1 신호 및 제2 신호를 각각 20ms의 시간 간격을 갖는 프레임 단위로 나누고, 첫 번째 프레임에서부터 마지막 프레임까지 각각의 프레임상에서 음성신호들을 순차적으로 비교 분석할 수 있다.
그리고, 본 발명의 일 실시예에 따른 잡음 제거 장치(100)는 음성신호의 처리를 위해 시간 영역의 음성신호를 주파수 영역의 신호로 변환할 수 있으며, 이때, 변환된 음성신호들은 주파수빈(frequency bin)별로 비교 분석되게 된다.
즉, 잡음 제거 장치(100)는 음성신호들의 N번째 프레임을 주파수 영역으로 변환할 수 있으며, N번째 프레임에 대한 주파수 영역에서 주파수빈별로 음성신호들을 비교 분석하게 된다.
이하, 도 4 내지 도 6을 참조하여, 본 발명의 일 실시예에 따른 잡음 제거 장치가 입력 신호로부터 잡음을 제거하는 과정을 보다 상세히 살펴보기로 한다.
도 4는 본 발명의 일 실시예에 따른 잡음 제거 장치(100)의 상세한 구성을 도시하는 도면이다.
도 4에 도시된 바와 같이, 잡음 제거 장치(100)는 위상 차 계산부(110), 크기 차 산출부(120), 잡음제거 계수 산출부(130) 및 출력 신호 생성부(140)를 포함한다.
먼저, 위상 차 계산부(110)는 제1 신호와 제2 신호를 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 각각 변환하고, 주파수 영역의 제1 신호와 변환된 제2 신호간의 위상 차를 주파수빈별로 산출한다.
이때, 음성신호들의 주파수 영역으로의 변환은 고속퓨리에변환에 의해 수행될 수 있으며, 일례로, STFFT(Short Time Fast Fourier Transform)이 적용될 수 있다.
그리고, 프레임 단위의 소정의 시간 간격은 앞서 설명한 바와 같이, 20ms일 수 있다.
본 발명의 일 실시예에 따르면, 위상 차 계산부(110)는 하기의 수학식에 따라, 음성신호들간의 위상 차(PD)를 산출할 수 있다.
Figure 112012038581046-pat00001
여기서, PD는 위상 차, N은 소정의 시간 간격으로 나누어진 프레임의 인덱스, Z는 주파수빈의 인덱스, Phase_1은 제1 신호의 위상, Phase_2는 제2 신호의 위상을 각각 의미한다.
그리고, 크기 차 산출부(120)는 제1 신호 및 제2 신호로부터 추출된 잡음 성분을 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 변환하고, 주파수 영역의 잡음 성분과 주파수 영역의 제1 신호간의 크기(magnitude) 차를 주파수빈별로 산출한다.
즉, 크기 차 산출부(120)는 제1 신호 및 제2 신호로부터 잡음 성분을 추출하고, 제1 신호가 기준 신호라는 점에서, 추출된 잡음 성분과 제1 신호의 크기 차를 산출하게 된다.
이때, 크기 차 산출부(120)는 제1 신호 및 제2 신호로부터 잡음 성분의 추출을 위해, 차단 행렬(BM, Blocking Matrix)을 적용할 수 있다.
그리고, 추출된 시간 영역의 잡음 성분은 위상 차 계산부(110)와 동일하게 STFFT에 의해 주파수 영역으로 변환될 수 있다.
한편, 주파수 영역의 추출된 잡음 성분과 주파수 영역의 제1 신호는 서로 다른 스케일을 가지므로, 크기 차를 산출하기 위해서는 정규화하는 과정이 필요하다.
이에, 본 발명의 일 실시예에 따른 크기 차 산출부(120)는 주파수 영역의 추출된 잡음 성분의 크기와 주파수 영역의 제1 신호의 크기를 각각 0에서 1 사이의 값을 갖도록 정규화하고, 정규화된 제1 신호의 크기에서 정규화된 잡음 성분의 크기를 뺀 차에 해당하는 값을 ND로 산출한다.
본 발명의 일 실시예에 따르면, 크기 차 산출부(120)는 하기의 수학식에 따라 크기 차(ND)를 산출할 수 있다.
Figure 112012038581046-pat00002
여기서, ND는 크기 차, N은 소정의 시간 간격으로 나누어진 프레임의 인덱스, Z는 주파수빈의 인덱스, N_MF_1은 정규화된 주파수 영역의 제1 신호의 크기, N_BM은 정규화된 주파수 영역의 잡음 성분의 크기를 각각 의미한다.
다음으로, 본 발명의 일 실시예에 따른 잡음제거 계수 산출부(130)는 위상 차 계산부(110)에 의해 산출된 위상 차(PD)에 반비례하고, 크기 차 산출부(120)에 의해 산출된 크기 차(ND)에 비례하는 잡음제거 계수를 주파수빈별로 산출한다.
즉, 두 신호간의 위상 차(PD)가 클수록 해당 주파수 성분은 잡음일 확률이 높고, 기준 신호인 제1 신호와 잡음 성분의 크기 차(ND)가 작을수록 해당 주파수 성분은 잡음일 확률이 높다는 점에서, 잡음제거 계수 산출부(130)는 위상 차(PD)에 반비례하고, 크기 차(ND)에 비례하는 잡음제거 계수를 산출한다.
이때, 잡음제거 계수는 이하 설명하는 바와 같이, 제1 신호의 소정의 프레임 구간에 주파수빈별로 곱 연산으로 반영되는 것이므로, 작은 값을 가질수록 기준 신호인 제1 신호는 소멸되게 되며, 큰 값을 가질수록 제1 신호는 유지되게 된다.
이에, 소정의 프레임 구간에서 주파수빈별로 잡음일 확률이 높은 부분은 제거될 수 있으며, 잡음일 확률이 낮은 부분은 유지되어, 결과적으로 제1 신호에서 잡음이 제거될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 잡음제거 계수 산출부(130)는 미리 생성된 퍼지 규칙을 이용하여 잡음제거 계수를 산출할 수 있다.
즉, 잡음제거 계수 산출부(130)는 위상 차(PD) 및 크기 차(ND)에 따라 미리 생성된 퍼지 규칙 테이블을 이용하여 잡음제거 계수를 산출할 수 있다.
본 발명의 일 실시예에 따른 음성 구간 판단부(140)는 제1 신호와 제2 신호를 소정의 시간 간격으로 나누어진 프레임 단위로 음성 구간인지 또는 비음성 구간인지 판단하여, 음성 구간 또는 비음성 구간에 따라 서로 다른 퍼지 규칙 테이블이 적용될 수 있도록 한다.
해당 프레임이 사용자 음성신호인 경우에는 주파수 성분들의 잡음일 확률이 위상 차(PD) 및 크기 차(ND)와는 별개로 비음성의 경우보다 전체적으로 높게 형성되기 때문이다.
여기서, 소정의 시간 간격은 앞서 설명한 위상 차 계산부(110) 및 크기 차 산출부(120)와 동일하게 20ms로 설정되는 것이 바람직하다.
하기의 표들은 제1 신호 및 제2 신호가 음성 구간 판단부(140)에 의해 음성 구간으로 판단된 경우의 퍼지 규칙 테이블과, 비음성 구간으로 판단된 경우의 퍼지 규칙 테이블을 각각 나타낸다.
Figure 112012038581046-pat00003
이때, SVAD=1은 제1 신호 및 제2 신호가 음성 구간으로 판단된 경우를 의미한다.
Figure 112012038581046-pat00004
이때, SVAD=0은 제1 신호 및 제2 신호가 비음성 구간으로 판단된 경우를 의미한다. 그리고, VH, H, M, L, VL 는 순서대로 Very High, High, Medium, Low, Very Low의 약자이며 각각의 값들은 실험을 통해 경험적으로 구해질 수 있다.
상기의 표 1과 표 2에서 볼 수 있듯이, 신호들이 음성 구간으로 판단된 경우에 비음성 구간으로 판단된 경우보다 잡음제거 계수가 크게 설정될 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 잡음제거 계수 산출부(130)는 소정의 프레임 구간에서 주파수빈별로 잡음제거 계수를 산출하여 잡음일 확률이 높은 부분은 소멸되도록 하고, 잡음일 확률이 낮은 부분은 유지되도록 할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 출력 신호 생성부(150)는 잡음제거 계수 산출부(140)에 의해 산출된 주파수빈별 잡음제거 계수를 제1 신호에 반영하고, 잡음제거 계수가 반영된 제1 신호를 시간 영역으로 역변환함으로써, 최종적으로 입력 신호에서 잡음이 제거된 출력 신호를 생성한다.
본 발명의 일 실시예에 따르면, 출력 신호 생성부(150)는 하기의 수학식에 따라 잡음이 제거된 출력 신호를 생성할 수 있다.
Figure 112012038581046-pat00005
여기서, MF_1은 주파수 영역의 제1 신호, N은 소정의 시간 간격으로 나누어진 프레임의 인덱스, Z는 주파수빈의 인덱스, Gain은 잡음제거 계수, Filtered Signal은 잡음제거 계수가 반영된 주파수 영역의 제1 신호를 각각 의미한다.
한편, 상기한 수학식 1 내지 수학식 3은 소정의 프레임 단위에서 주파수빈별로 위상 차 및 크기 차가 산출되고, 제1 신호에 잡음제거 계수가 반영되는 동작에 관한 것이나, 이에 한정되는 것은 아니며, 본 발명의 일 실시예에 따르면, 모든 프레임 단위에 대하여 각각 상기의 과정이 수행되어 최종적으로 입력 신호로부터 잡음이 제거된 출력 신호가 생성될 수 있다.
도 5는 본 발명의 일 실시예에 따른 잡음 제거 장치(100)가 입력 신호로부터 방향성 잡음을 제거하는 동작에 관한 상세 블록도를 도시하는 도면이다.
도 5에 도시된 바와 같이, 위상 차 계산부(110)는 제1 마이크로폰으로 입력된 제1 신호와 제2 마이크로폰으로 입력된 제2 신호를 소정의 간격으로 나누어진 프레임 단위로 고속퓨리에변환을 적용하여 주파수 영역으로 변환한다.
그리고, 변환된 제1 신호와 제2 신호의 위상 차를 주파수빈별로 산출하여 잡음제거 계수 산출부(130)가 이용할 수 있도록 한다.
다음으로, 크기 차 산출부(120)는 제1 신호와 제2 신호에 차단 행렬(BM)을 적용하여 잡음 성분을 추출하고, 추출된 잡음 성분을 소정의 시간 간격으로 나누어진 프레임 단위로 고속퓨리에변환을 적용하여 주파수 영역으로 변환한다.
그리고, 변환된 잡음 성분과 상기 변환된 제1 신호간의 크기 차를 주파수빈별로 산출하여 잡음제거 계수 산출부(130)가 이용할 수 있도록 한다.
음성 구간 판단부(140)는 제1 신호 및 제2 신호에 SVAD를 적용하여 소정의 시간 간격으로 나누어진 프레임 단위로 음성 구간인지, 비음성 구간인지를 판단하며, 해당 정보를 잡음제거 계수 산출부(130)에 제공한다.
소정의 시간 간격으로 나누어진 프레임 단위에 대하여, 음성 구간 여부, 주파수빈별 위상 차 및 크기 차에 관한 정보가 주어지면, 잡음제거 계수 산출부(130)는 제공된 정보들에 미리 생성된 퍼지 규칙을 적용하여 잡음제거 계수를 산출한다.
마지막으로, 출력 신호 생성부(150)는 잡음제거 계수를 제1 신호에 적용하고, 잡음제거 계수가 적용된 제1 신호를 역변환함으로써 입력 신호로부터 방향성 잡음이 제거된 최종 출력 신호를 생성한다.
이와 같이, 본 발명에 따르면, 복수의 음성입력장치로 입력된 신호에서 원하지 않는 방향성을 갖는 신호를 잡음으로 제거함에 있어서 위상 차(PD)뿐만 아니라 크기 차(ND) 및 음성 구간, 비음성 구간 여부를 추가로 고려함으로써 잡음 제거의 오류의 발생률을 줄여 음성 인식 장치가 보다 안정적으로 작동할 수 있도록 하는 장점이 있다.
또한, 본 발명에 따르면, 적응 필터를 사용하지 않아 적응 필터 수렴 문제로 인한 출력의 발산이나 수렴 속도의 저하 문제가 발생되지 않는 장점을 갖는다.
도 6은 본 발명의 일 실시예에 따른 잡음 제거 장치(100)에 의한 음성신호에서의 잡음 제거 결과를 스펙트로그램으로 도시하는 도면이다.
먼저, 도 6a에 도시된 바와 같이, 입력 신호에는 저주파 성분의 음성(세로축 하단의 밝은 영역)과 함께 방향성 잡음(흰색 사각형으로 도시된 부분)이 다수 포함되어 있으나, 도 6b에 도시된 바와 같이, 출력 신호에는 저주파 성분의 음성을 제외한 방향성 잡음이 대부분 제거되었음을 확인할 수 있다.
도 7은 본 발명의 일 실시예에 따른 음성신호에서의 잡음 제거 방법을 시간의 흐름에 따라 상세하게 도시한 순서도이다.
도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 잡음 제거 방법은 위상 차를 계산하는 단계(S710), 크기 차를 산출하는 단계(S720), 잡음제거 계수를 산출하는 단계(S730) 및 출력 신호를 생성하는 단계(S740)를 포함한다.
먼저, 단계(S710)에서는 제1 음성입력장치 및 제2 음성입력장치에서 각각 입력된 제1 신호 및 제2 신호간의 위상 차를 계산한다.
이때, 제1 음성입력장치로 입력된 기준 음성신호인 제1 신호와 제2 음성입력장치로 입력된 제2 신호를 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 각각 변환하고, 주파수 영역의 제1 신호와 제2 신호간의 위상 차를 주파수빈별로 산출할 수 있다.
다음으로, 단계(S720)에서는 제1 신호 및 제2 신호에서 잡음 성분을 추출하고, 추출된 잡음 성분과 제1 신호와의 크기(magnitude) 차를 산출한다.
이때, 제1 신호 및 제2 신호로부터 추출된 잡음 성분을 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 변환하고, 주파수 영역의 잡음 성분과 단계(S710)에서 변환된 주파수 영역의 제1 신호간의 크기 차를 주파수빈별로 산출할 수 있다.
한편, 본 발명의 일 실시예에 따른 단계(S720)에서는 주파수 영역의 잡음 성분의 크기와 주파수 영역의 제1 신호의 크기를 각각 0에서 1 사이의 값을 갖도록 정규화하고, 정규화된 제1 신호의 크기에서 정규화된 잡음 성분의 크기를 뺀 차에 해당하는 값을 크기 차로 산출할 수 있다.
그리고, 단계(S730)에서는 단계(S710)에서 산출된 위상 차에 반비례하고 단계(S720)에서 산출된 크기 차에 비례하는 잡음제거 계수를 주파수빈별로 산출한다.
이때, 본 발명의 일 실시예에 따르면, 제1 신호와 제2 신호를 소정의 시간 간격으로 나누어진 프레임 단위로 음성 구간인지 또는 비음성 구간인지를 판단하는 단계(미도시)를 더 포함할 수 있으며, 단계(S730)에서는 음성 구간의 잡음제거 계수를 비음성 구간의 잡음제거 계수보다 크게 설정할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 단계(S730)에서는 음성 구간 또는 비음성 구간에서 위상 차 및 크기 차에 따라 미리 생성된 퍼지 규칙을 이용하여 잡음제거 계수를 산출할 수 있다.
마지막으로, 단계(S740)에서는 단계(S730)에서 산출된 주파수빈별 잡음제거 계수를 제1 신호에 반영하고, 잡음제거 계수가 반영된 제1 신호를 시간 영역으로 역변환하여 입력 신호에서 잡음이 제거된 출력 신호를 생성할 수 있다.
지금까지 본 발명에 따른 음성신호에서의 잡음 제거 방법의 실시예들에 대하여 설명하였고, 앞서 도 1 내지 도 6에서 설명한 잡음 제거 장치(100)에 관한 구성이 본 실시예에도 그대로 적용 가능하다. 이에, 보다 상세한 설명은 생략하기로 한다.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100 : 잡음 제거 장치 102 : 제1 마이크로폰
104 : 제2 마이크로폰 110 : 위상 차 계산부
120 : 크기 차 산출부 130 : 잡음제거 계수 산출부
140 : 음성 구간 판단부 150 : 출력 신호 생성부

Claims (14)

  1. 복수의 음성입력장치로 입력된 신호에서 잡음을 제거하는 장치로서,
    제1 음성입력장치 및 제2 음성입력장치에서 각각 입력된 제1 신호 및 제2 신호간의 위상 차를 계산하는 위상 차 계산부;
    상기 제1 신호 및 제2 신호에서 잡음 성분을 추출하고, 상기 추출된 잡음 성분과 상기 제1 신호와의 크기(magnitude) 차를 산출하는 크기 차 산출부;
    상기 제1 신호와 상기 제2 신호가 음성 구간인지 또는 비음성 구간인지 판단하는 음성 구간 판단부; 및
    상기 위상 차 및 크기 차를 이용하여 잡음제거 계수를 산출하는 잡음제거 계수 산출부를 포함하되,
    상기 잡음제거 계수 산출부는 음성 구간인 경우의 잡음제거 계수를 비음성 구간인 경우보다 크게 설정하는 잡음 제거 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 위상 차 계산부는,
    상기 제1 신호와 상기 제2 신호를 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 각각 변환하고, 상기 변환된 제1 신호와 상기 변환된 제2 신호간의 위상 차를 주파수빈(frequency bin)별로 산출하는 것을 특징으로 하는 잡음 제거 장치.
  4. 제3항에 있어서,
    상기 크기 차 산출부는,
    상기 제1 신호 및 상기 제2 신호로부터 추출된 잡음 성분을 상기 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 변환하고, 상기 변환된 잡음 성분과 상기 변환된 제1 신호간의 크기 차를 상기 주파수빈별로 산출하는 것을 특징으로 하는 잡음 제거 장치.
  5. 제4항에 있어서,
    상기 잡음제거 계수 산출부는,
    상기 위상 차에 반비례하고 상기 크기 차에 비례하는 잡음제거 계수를 상기 주파수빈별로 산출하는 것을 특징으로 하는 잡음 제거 장치.
  6. 제5항에 있어서,
    상기 주파수빈별 잡음제거 계수를 상기 제1 신호에 반영하고, 상기 잡음제거 계수가 반영된 제1 신호를 시간 영역으로 역변환하여 상기 입력 신호에서 잡음이 제거된 출력 신호를 생성하는 출력 신호 생성부를 더 포함하는 것을 특징으로 하는 잡음 제거 장치.
  7. 제1항에 있어서,
    상기 잡음제거 계수 산출부는,
    상기 음성 구간 또는 비음성 구간에서 상기 위상 차 및 크기 차에 따라 미리 생성된 퍼지 규칙을 이용하여 상기 잡음제거 계수를 산출하는 것을 특징으로 하는 잡음 제거 장치.
  8. 제4항에 있어서,
    상기 크기 차 산출부는,
    상기 변환된 잡음 성분의 크기와 상기 변환된 제1 신호의 크기를 각각 0에서 1 사이의 값을 갖도록 정규화하고, 상기 정규화된 제1 신호의 크기에서 상기 정규화된 잡음 성분의 크기를 뺀 차에 해당하는 값을 상기 크기 차로 산출하는 것을 특징으로 하는 잡음 제거 장치.
  9. 복수의 음성입력장치로 입력된 신호에서 잡음을 제거하는 방법으로서,
    제1 음성입력장치 및 제2 음성입력장치에서 각각 입력된 제1 신호 및 제2 신호간의 위상 차를 계산하는 단계;
    상기 제1 신호 및 제2 신호에서 잡음 성분을 추출하고, 상기 추출된 잡음 성분과 상기 제1 신호와의 크기(magnitude) 차를 산출하는 단계;
    상기 제1 신호와 상기 제2 신호가 음성 구간인지 또는 비음성 구간인지 판단하는 단계; 및
    상기 위상 차 및 크기 차를 이용하여 잡음제거 계수를 산출하는 단계를 포함하되,
    상기 잡음제거 계수를 산출하는 단계는 음성 구간인 경우의 잡음제거 계수를 비음성 구간인 경우보다 크게 설정하는 잡음 제거 방법.
  10. 삭제
  11. 제9항에 있어서,
    상기 위상 차를 계산하는 단계는,
    상기 제1 신호와 상기 제2 신호를 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 각각 변환하고, 상기 변환된 제1 신호와 상기 변환된 제2 신호간의 위상 차를 주파수빈(frequency bin)별로 산출하는 것을 특징으로 하는 잡음 제거 방법.
  12. 제11항에 있어서,
    상기 크기 차를 산출하는 단계는,
    상기 제1 신호 및 상기 제2 신호로부터 추출된 잡음 성분을 상기 소정의 시간 간격으로 나뉘어진 프레임 단위로 주파수 영역으로 변환하고, 상기 변환된 잡음 성분과 상기 변환된 제1 신호간의 크기 차를 상기 주파수빈별로 산출하는 것을 특징으로 하는 잡음 제거 방법.
  13. 제12항에 있어서,
    상기 잡음제거 계수를 산출하는 단계는,
    상기 위상 차에 반비례하고 상기 크기 차에 비례하는 잡음제거 계수를 상기 주파수빈별로 산출하는 것을 특징으로 하는 잡음 제거 방법.
  14. 제13항에 있어서,
    상기 주파수빈별 잡음제거 계수를 상기 제1 신호에 반영하고, 상기 잡음제거 계수가 반영된 제1 신호를 시간 영역으로 역변환하여 상기 입력 신호에서 잡음이 제거된 출력 신호를 생성하는 단계를 더 포함하는 것을 특징으로 하는 잡음 제거 방법.
KR1020120051243A 2012-05-15 2012-05-15 잡음 제거 장치 및 방법 KR101424327B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120051243A KR101424327B1 (ko) 2012-05-15 2012-05-15 잡음 제거 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120051243A KR101424327B1 (ko) 2012-05-15 2012-05-15 잡음 제거 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130127597A KR20130127597A (ko) 2013-11-25
KR101424327B1 true KR101424327B1 (ko) 2014-07-31

Family

ID=49855027

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120051243A KR101424327B1 (ko) 2012-05-15 2012-05-15 잡음 제거 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101424327B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102324283B1 (ko) * 2015-07-31 2021-11-12 현대오토에버 주식회사 듀얼 마이크를 이용한 위상오류필터 기반의 음원 방향 검출 시스템 및 그 방법
KR102478951B1 (ko) * 2017-09-04 2022-12-20 삼성전자주식회사 비선형 특성을 갖는 오디오 필터를 이용하여 오디오 신호를 처리하는 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030040399A (ko) * 2000-08-14 2003-05-22 클리어 오디오 리미티드 음성 강화 시스템
JP2011033717A (ja) * 2009-07-30 2011-02-17 Secom Co Ltd 雑音抑圧装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030040399A (ko) * 2000-08-14 2003-05-22 클리어 오디오 리미티드 음성 강화 시스템
JP2011033717A (ja) * 2009-07-30 2011-02-17 Secom Co Ltd 雑音抑圧装置

Also Published As

Publication number Publication date
KR20130127597A (ko) 2013-11-25

Similar Documents

Publication Publication Date Title
US7383178B2 (en) System and method for speech processing using independent component analysis under stability constraints
KR101210313B1 (ko) 음성 향상을 위해 마이크로폰 사이의 레벨 차이를 활용하는시스템 및 방법
US9633654B2 (en) Low power voice detection
US11475907B2 (en) Method and device of denoising voice signal
US9384760B2 (en) Sound processing device and sound processing method
JP4753821B2 (ja) 音信号補正方法、音信号補正装置及びコンピュータプログラム
US20030177007A1 (en) Noise suppression apparatus and method for speech recognition, and speech recognition apparatus and method
EP3276621B1 (en) Noise suppression device and noise suppressing method
CN105103230B (zh) 信号处理装置、信号处理方法、信号处理程序
KR20150032390A (ko) 음성 명료도 향상을 위한 음성 신호 처리 장치 및 방법
US8423360B2 (en) Speech recognition apparatus, method and computer program product
CN110875054A (zh) 一种远场噪声抑制方法、装置和***
KR101424327B1 (ko) 잡음 제거 장치 및 방법
CN108053834B (zh) 音频数据处理方法、装置、终端及***
Loweimi et al. Robust Source-Filter Separation of Speech Signal in the Phase Domain.
JP2019020678A (ja) ノイズ低減装置および音声認識装置
JP2021152623A (ja) 信号処理装置、信号処理方法およびプログラム
López-Espejo et al. Feature enhancement for robust speech recognition on smartphones with dual-microphone
EP2645738B1 (en) Signal processing device, signal processing method, and signal processing program
US10706870B2 (en) Sound processing method, apparatus for sound processing, and non-transitory computer-readable storage medium
CN111226278B (zh) 低复杂度的浊音语音检测和基音估计
KR102012522B1 (ko) 방향성 음향 신호 처리 장치
Bharathi et al. Speaker verification in a noisy environment by enhancing the speech signal using various approaches of spectral subtraction
US11600273B2 (en) Speech processing apparatus, method, and program
Sunitha et al. Noise Robust Speech Recognition under Noisy Environments

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170707

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190715

Year of fee payment: 6