KR101551236B1 - 패킷 손실 은닉에서의 적응형 뮤팅 방법 - Google Patents
패킷 손실 은닉에서의 적응형 뮤팅 방법 Download PDFInfo
- Publication number
- KR101551236B1 KR101551236B1 KR1020130125969A KR20130125969A KR101551236B1 KR 101551236 B1 KR101551236 B1 KR 101551236B1 KR 1020130125969 A KR1020130125969 A KR 1020130125969A KR 20130125969 A KR20130125969 A KR 20130125969A KR 101551236 B1 KR101551236 B1 KR 101551236B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- packet loss
- sigmoid function
- previous frame
- parameter
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 49
- 238000004458 analytical method Methods 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 13
- 238000011835 investigation Methods 0.000 claims 2
- 230000006870 function Effects 0.000 description 33
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 6
- 230000001052 transient effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 101100438378 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) fac-1 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 244000240602 cacao Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
- G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Telephonic Communication Services (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
본 발명은 패킷 손실 은닉 방법에 관한 것으로서, 손실된 패킷 복원 시 불필요한 잡음의 발생을 막기 위한 적응형 뮤팅 방법에 있어서, 시그모이드 함수를 이용한 적응형 뮤팅 이득 값을 통해 복원신호를 생성하는 것을 특징으로 함으로써, 손실된 패킷을 복원 시 불필요한 잡음의 발생을 제거할 수 있다.
Description
본 발명은 패킷 손실 은닉 방법에 관한 것으로서, 더욱 상세하게는 시그모이드 함수를 이용한 적응형 뮤팅 이득 값을 통해 복원신호를 생성하는 패킷 손실 은닉 방법에 관한 것이다.
최근 스마트폰 등 인터넷 망을 이용한 음성통신의 수요가 증가하면서 VoIP (Voice over Internet Protocol) 서비스에 대한 관심이 고조되고 있다. VoIP 서비스는 IP 네트워크를 이용하여 패킷 기반으로 음성 통신을 수행한다. 이 과정에서 음성 데이터를 압축 부호화하는 기술로 표준 ITU-T G.722, G.722.2, G.729 코덱을 주로 사용한다. 이 중 G.722는 광대역(wideband) 코덱으로서 7 kHz 대역폭의 고품질 오디오 신호를 64 kbit/s 이하로 압축하는 기술로 1986년 ITU-T에 의해 표준으로 채택되었다. 또한 G.722는 비교적 큰 대역폭을 갖는 대신 높은 수준의 음성 품질을 제공함으로써, 대역폭이 보장된 인터넷 망에서 음성 데이터의 압축 부호화 기술로 널리 사용되고 있다. 하지만 패킷 기반의 통신에서는 지연, 지터 등으로 인하여 음성 데이터의 전송 과정에서 패킷 손실이 발생하고, 이로 인하여 음성 서비스 품질을 보장받을 수 없다.
패킷 손실로 인한 급격한 음질저하 문제를 해결하기 위해 패킷 네트워크망에 사용되는 대부분의 표준 음성 부호화기는 자체적인 패킷 손실 은닉 (PLC, Packet Loss Concealment) 방법을 사용하고 있다. 패킷 손실 은닉 방법은 크게 송신단 기반의 방법과 수신단 기반의 방법으로 분류할 수 있다. 송신단 기반의 방법은 패킷 손실이 발생할 경우를 대비해 추가 비트 할당과 지연시간을 감수하여 현재 패킷의 정보를 다음 패킷과 함께 전송시키는 방법이며, 전진 오류 수정(FEC, Forward Error Correction)이 대표적인 방법이다. 이에 비해 수신단 기반의 방법은 송신단에서 손실된 패킷에 대한 부가 정보를 보내지 않기 때문에 이전 또는 이후에 수신되는 패킷의 정보를 이용하여 손실된 패킷을 복원한다.
ITU-T G.722의 패킷 손실 은닉 방법의 경우 2006년에 Appendix III와 IV로 표준화 작업이 이루어졌다. 그 중 Appendix IV는 패킷 손실 은닉을 위한 저 복잡도 알고리즘으로서 수신단에서 패킷 손실이 일어나기 이전의 패킷 정보를 이용하여 손실 패킷을 복원한다. 하지만 연속적인 패킷 손실에 대해서 손실된 패킷을 복원하는 과정에서 불필요한 잡음 또는 기계음이 발생할 수 있기 때문에 패킷 손실 은닉 마지막 단계에서 적응형 뮤팅 기법을 사용한다. 적응형 뮤팅 기법은 손실된 패킷에 대한 복원 신호에 매 샘플마다 0부터 1사이의 이득을 곱하는 형태로써 연속된 손실 패킷이 발생할수록 이득이 작아지는 특성을 갖고 있다. 이러한 적응형 뮤팅의 이득은 음성의 특성에 따라 다르게 적용되며 미리 결정된 임의의 값을 사용하여 프레임마다 선형적으로 이루어진다.
본 발명이 해결하고자 하는 첫 번째 과제는 시그모이드 함수를 이용한 적응형 뮤팅 이득 값을 통해 복원신호를 생성하는 패킷 손실 은닉 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는 시그모이드 함수를 이용한 적응형 뮤팅 이득 값을 통해 복원신호를 생성하는 패킷 손실 은닉 장치를 제공하는 것이다.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 손실된 패킷 복원 시 불필요한 잡음의 발생을 막기 위한 적응형 뮤팅 방법에 있어서, 시그모이드 함수를 이용한 적응형 뮤팅 이득 값을 통해 복원신호를 생성하는 것을 특징으로 하는 패킷 손실 은닉 방법을 제공한다.
본 발명의 실시예에 의하면, 상기 시그모이드 함수의 기울기는, 패킷 손실이 없는 음성신호와 패킷 손실이 발생한 신호로부터 복원된 신호간의 평균제곱오차가 최소가 되도록 설정되는 것을 특징으로 하는 패킷 손실 은닉 방법일 수 있다.
본 발명의 실시예에 의하면, 상기 시그모이드 함수의 기울기를 결정하는 파라미터는, 파라미터를 산출하는 시간 및 상기 시그모이드 함수의 모양을 고려한 범위 내에서 결정될 수 있고, 전수 조사를 이용하여 결정되는 것을 특징으로 하는 패킷 손실 은닉 방법일 수 있다.
본 발명의 실시예에 의하면, 상기 적응형 뮤팅 이득 값은, 소정의 프레임 이상 연속적으로 패킷 손실이 발생하는 경우, 상기 적응형 뮤팅 이득 값은 0인 것을 특징으로 하는 패킷 손실 은닉 방법일 수 있다.
본 발명의 실시예에 의하면, 선형예측 분석을 이용하여 패킷 손실이 발생하지 않은 이전 프레임 신호로부터 선형예측 부호화 계수를 산출하는 단계; LTP(long trace profiler) 분석을 이용하여 상기 이전 프레임 신호로부터 피치 구간을 산출하고 신호의 종류를 구분하는 단계; 상기 산출된 선형예측 부호화 계수, 피치 구간, 및 신호의 종류를 이용한 상기 이전 프레임 신호의 변조 및 피치반복을 통해 제 1 복원신호를 생성하는 단계; 및 상기 적응형 뮤팅 이득 값을 이용하여 상기 제 1 복원신호로부터 제 2 복원신호를 생성하는 단계를 포함하는 패킷 손실 은닉 방법일 수 있다.
본 발명은 상기 두 번째 과제를 달성하기 위하여, 손실된 패킷 복원 시 적응형 뮤팅을 이용하여 이전 프레임의 신호로부터 현재 프레임의 신호를 복원하는 패킷 손실 은닉 장치에 있어서, 선형예측 분석을 이용하여 패킷 손실이 발생하지 않은 이전 프레임 신호로부터 선형예측 부호화 계수를 산출하고, LTP(long trace profiler) 분석을 이용하여 상기 이전 프레임 신호로부터 피치 구간을 산출하며 신호의 종류를 구분하는 신호분석부; 및 상기 산출된 선형예측 부호화 계수, 피치 구간, 및 신호의 종류를 이용한 상기 이전 프레임 신호의 변조 및 피치반복을 통해 제 1 복원신호를 생성하고, 시그모이드 함수를 이용한 적응형 뮤팅 이득 값을 통해 상기 제 1 복원신호로부터 제 2 복원신호를 생성하는 신호복원부를 포함하는 장치를 제공한다.
본 발명에 따르면, 손실된 패킷을 복원 시 불필요한 잡음의 발생을 제거할 수 있다. 또한, 본 발명에 따르면, 최적화된 시그모이드 함수를 적응형 뮤팅에 적용함으로써 복원된 신호와 원본 신호와의 차를 최소화할 수 있다. 나아가, 본 발명에 따르면, 패킷손실을 복원하는 과정에서 좀 더 향상된 적응형 뮤팅을 통하여 음성통화 품질을 높일 수 있고 VoIP 음성통신 시스템의 사용률을 높일 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 패킷 손실 은닉 장치의 블록도이다.
도 2는 본 발명의 실시예에 따른 패킷 손실 은닉 과정을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 복원신호를 생성하는 과정을 나타낸 블록도이다.
도 4는 기존 패킷 손실 은닉 과정에서 이용되는 뮤팅 이득 값의 그래프이다.
도 5는 본 발명의 실시예에 따른 패킷 손실 은닉 과정에서 이용되는 뮤팅 이득 값의 그래프이다.
도 6은 본 발명의 일 실시예에 따른 패킷 손실 은닉 방법의 흐름도이다.
도 7은 본 발명의 실시예에 따른 패킷 손실 은닉 방법에 따른 결과를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 패킷 손실 은닉 과정을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 복원신호를 생성하는 과정을 나타낸 블록도이다.
도 4는 기존 패킷 손실 은닉 과정에서 이용되는 뮤팅 이득 값의 그래프이다.
도 5는 본 발명의 실시예에 따른 패킷 손실 은닉 과정에서 이용되는 뮤팅 이득 값의 그래프이다.
도 6은 본 발명의 일 실시예에 따른 패킷 손실 은닉 방법의 흐름도이다.
도 7은 본 발명의 실시예에 따른 패킷 손실 은닉 방법에 따른 결과를 도시한 것이다.
본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.
본 발명의 일 실시예에 따른 패킷 손실 은닉 방법은 손실된 패킷 복원 시 불필요한 잡음의 발생을 막기 위한 적응형 뮤팅 방법에 있어서, 시그모이드 함수를 이용한 적응형 뮤팅 이득 값을 통해 복원신호를 생성하는 것을 특징으로 한다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 실시 예를 상세히 설명한다. 그러나 이들 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.
본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 패킷 손실 은닉 장치의 블록도이다.
본 발명의 일 실시예에 따른 패킷 손실 은닉 장치(100)는 신호 분석부(110) 및 신호 복원부(120)로 구성된다. 패킷 손실 은닉 장치(100)는 휴대폰 단말기, 또는 VoIP 음성통신용 단말기 등일 수 있다.
신호 분석부(110)는 선형예측 분석을 이용하여 패킷 손실이 발생하지 않은 이전 프레임 신호로부터 선형예측 부호화 계수를 산출하고, LTP(long trace profiler) 분석을 이용하여 상기 이전 프레임 신호로부터 피치 구간을 산출하며 신호의 종류를 구분한다.
보다 구체적으로, 신호 분석부(110)는 패킷 손실이 발생한 경우, 패킷 손실이 발생하지 않은 이전 프레임 신호로부터 현재 프레임의 신호를 복원하기 위하여, 이전 프레임 신호를 분석한다. 선형예측 분석(LP analysis)을 이용하여 패킷 손실이 발생하지 않은 이전 프레임 신호로부터 선형예측 부호화(LPC) 계수를 산출한다. 또한, LTP 분석을 이용하여 피치 구간 T0를 산출하고, 신호의 종류를 구분한다. 상기 신호는 Transient class, UV Transient class, 또는 other cases class로 구분된다. Transient 신호는 에너지가 매우 크게 변화하는 신호이고, UV Transient는 유성음에서 무성음 또는 무성음에서 유성음으로 변화하는 신호이고, 그 외의 신호는 other cases 신호이다. 상기 other cases 신호로는 무성음, 유성음, 약한 유성음이 포함되며, 실제 음성에 가장 큰 영향을 미치는 신호의 특성이므로 손실 복원을 가장 잘해야 하는 신호이다.
신호 복원부(120)는 상기 산출된 선형예측 부호화 계수, 피치 구간, 및 신호의 종류를 이용한 상기 이전 프레임 신호의 변조 및 피치반복을 통해 제 1 복원신호를 생성하고, 시그모이드 함수를 이용한 적응형 뮤팅 이득 값을 통해 상기 제 1 복원신호로부터 제 2 복원신호를 생성한다.
보다 구체적으로, 신호 분석부(110)가 분석한 결과인 선형예측 부호화 계수, 피치 구간, 및 신호의 종류를 이용하여 상기 이전 프레임 신호의 변조 및 피치반복을 수행함으로써 제 1 복원신호를 생성한다. 상기 제 1 복원신호는 적응형 뮤팅 이득 값을 적용하기 전의 복원신호로 피치의 주기적인 반복으로 인해 기계음과 같은 불필요한 잡음이 생성된다. 상기 제 1 복원신호에 시그모이드 함수를 이용한 적응형 뮤팅 이득 값을 적용함으로써 제 2 복원신호를 생성한다. 상기 시그모이드 함수를 이용한 적응형 뮤팅 이득 값을 적용함으로써 상기 불필요한 잡음이 제거된 복원신호를 생성할 수 있다.
상기 제 2 복원신호를 생성하는데 이용되는 시그모이드 함수의 기울기는 패킷 손실이 없는 음성신호와 패킷 손실이 발생한 신호로부터 복원된 신호간의 평균제곱오차가 최소가 되도록 설정될 수 있다. 상기 시그모이드 함수를 이용한 적응형 뮤팅 이득은 복원신호와 원신호간의 차이를 줄이고자 하는 것이고, 이를 위하여, 패킷 손실이 없는 음성신호와 패킷 손실이 발생한 신호로부터 복원된 신호간의 평균제곱오차를 이용할 수 있다. 즉, 패킷 손실이 없는 음성신호와 패킷 손실이 발생한 신호로부터 복원된 신호간의 평균제곱오차가 최소가 되는 시그모이드 함수의 기울기를 이용한다.
상기 시그모이드 함수의 기울기를 결정하는 파라미터는 파라미터를 산출하는 시간 및 상기 시그모이드 함수의 모양을 고려한 범위 내에서 전수 조사를 통해 결정될 수 있다. 최적화된 시그모이드 함수의 파라미터 값을 구하기 위하여 전수 조사(exhaustive search)를 이용할 수 있다. 즉, 파리미터 값을 계속 변화시켜가면서 신호를 복원시켰을 때 패킷 손실이 없을 때 디코딩된 신호인 목표 신호(desired signal)와의 오차가 최소화되는 값을 찾을 수 있다. 이 때 파라미터를 산출하는데 걸리는 시간 및 시그모이드 함수의 모양을 고려하여 파라미터 값의 범위를 설정하여, 해당 범위 내에서 상기 파라미터 값을 결정할 수 있다. 상기 파라미터 값의 범위는 신호의 크기 또는 샘플의 수에 따라 달라질 수 있다. 또는 목표하는 음질에 따라 달라질 수도 있다.
상기 적응형 뮤팅 이득 값은 소정의 프레임 이상 연속적으로 패킷 손실이 발생하는 경우, 상기 적응형 뮤팅 이득 값은 0일 수 있다. 반복적인 신호의 복원의 경우, 기계음과 같은 불필요한 잡음의 생성이 반복되는바, 이를 방지하기 위하여, 일정 프레임 이상 연속적으로 패킷 손실이 발생할 경우, 상기 적응형 뮤팅 이득 값은 0으로 할 수 있다. 4 프레임 연속으로 패킷 손실이 발생할 경우, 상기 적응형 뮤팅 이득 값은 0으로 할 수 있다.
도 2는 본 발명의 실시예에 따른 패킷 손실 은닉 과정을 나타낸 블록도이고, 도 3은 본 발명의 실시예에 따른 복원신호를 생성하는 과정을 나타낸 블록도이다.
패킷손실이 발생했을 때 이전 프레임의 정보를 이용하여 현재 프레임을 추정하여 복원한다. 도 2에서 이전 프레임 신호 zl(n)에는 패킷 손실이 발생하지 않다가(good 프레임) 현재 프레임에 패킷 손실이 발생하면(bad 프레임) 이전 프레임 신호 zl(n)(210)을 이용해서 현재 프레임 신호 yl(n)(220)을 복원(230)한다. 그 뒤에 패킷 손실이 발생하지 않은 프레임 신호 xl(n)(240)이 들어오게 되면 이전에 복원한 신호 yl(n)(220)과의 불연속점을 없애기 위해 cross-fading(250)을 해준다. 이는 G.722 Appendix IV의 과정에 대응하고, 기존 G.722의 인코더에는 변화가 없고, 디코더에서 패킷 손실 은닉을 위한 로직들이 추가된다. 도 2의 유색 블록들이 기존 G.722에 추가된 블록에 대응한다. G.722는 sub band 방식의 코덱이고, 대부분의 음성 정보가 lower band 쪽에 있다. 따라서 lower band에서는 LPC-based pitch repetition 방식을 이용하여 신호를 복원하고, higher band에서는 계산복잡도를 줄이기 위해 단순히 이전 프레임 zl(n)의 피치 주기만을 이용하여 신호를 복원한다.
상기 도 2의 과정 중 본 발명의 실시예에 따른 패킷 손실 은닉은 LPC-based pitch repetition을 최적화하여 패킷 손실 은닉 과정에서 발생하는 불필요한 잡음을 제거한다. 상기 LPC-based pitch repetition을 구체적으로 보면 도 3과 같다. 상기 LPC-based pitch repetition는 분석과정과 복원과정으로 나눌 수 있다.
이전의 good 프레임 zl(n)의 정보를 이용하여 현재 프레임 yl(n)을 만들어내는 과정이다. 이 과정에서 zl(n) 신호의 선형예측 분석(LP analysis, 310)를 통해 LPC 계수를 추출하여 사용하고, LTP 분석(LTP analysis, 320)를 통해서는 피치 구간 T0와 신호의 클래스를 추출(330)해낸다. 이런 정보를 가지고 신호의 modification 및 pitch repetition(340)을 통해 제 1 복원신호인 ylpre(n)신호(350)를 만들어낸다. 하지만 연속적인 패킷손실에 대해 이 ylpre(n)신호(350)를 그대로 사용하게 되면 피치의 주기적인 반복으로 인해 기계음과 같은 불필요한 잡음이 생성된다. 따라서 muting factor computation(360)을 통해 적응형 뮤팅 이득 값을 곱해주어 신호를 점차적으로 감쇄시켜준다. 상기 과정을 통하여, 최종적으로 제 2 복원신호인 yl(n)신호(370)을 생성한다. 상기 yl(n)은 다음과 같이 나타낼 수 있다.
[수학식 1]
yl(n) = G(n) · ylpre(n)
여기서, 상기 G(n)는 적응형 뮤팅 이득 값이다.
기존의 방법에서는 상기 뮤팅 이득 값은 다음과 같이 산출되었다.
[수학식 2]
이때 G(n)은 현재 프레임에서의 뮤팅 이득 값이고 G(n+1)은 다음 프레임에서의 뮤팅 이득 값으로써, 뮤팅 이득 값은 매 프레임마다 산출된다. 각 파라미터 값 fac1, fac2p, 및 fac3p는 위의 표의 값을 가지고 있고, 신호의 종류를 분류한 것을 기준으로 각각 다른 값을 갖는다. 상기 수학식 2를 이용하여 그래프를 그리면 도 4와 같이 그려지고, 4프레임 (320 sample)이상 연속적인 패킷손실이 발생하면 이득 값이 0이 되어 무음을 복원시키게 된다. 도 4에서 보는 것과 같이 신호의 종류에 따라 (Other cases class, UV Transition class, Transient class) 뮤팅 이득 값이 서로 다르다. 하지만 수학식 2로부터 산출되는 뮤팅 이득 값은 불필요한 잡음을 효율적으로 제거하지 못하는바, 본 발명의 실시예에 따른 시그모이드를 이용한 적응형 뮤팅 이득 값을 이용하여 패킷 손실된 신호를 복원할 필요가 있다.
본 발명의 실시예에 따른 패킷 손실 은닉에서는 다음 수학식 3의 적응형 뮤팅 이득 값을 이용한다.
[수학식 3]
상기 수학식 3은 시그모이드 함수를 이용한 것으로써, 시그모이드 함수의 기울기를 결정하는 파라미터 α, β, 및 γ를 사용한다. 4 프레임 이상의 연속적인 패킷 손실에 대해서는 이득 값으로 0을 사용한다. 또한, 본 식은 신호의 클래스가 실제 소리에 가장 많은 영향을 미치는 other cases clsss에 대해서만 적용하고 나머지 클래스에 대해서는 기존과 같은 방법이 적용할 수 있다. 상기 수학식 3을 사용하여 뮤팅 커브를 그리면 도 5와 같다. 파라미터 값에 따라 커브의 형태가 다르다. 본 커브는 샘플에 대하여 연속적이고 시그모이드 함수는 기존방법에 비하여 뮤팅 이득 값에 유연성을 가져다준다.
최적화된 시그모이드 함수의 파라미터 값을 구하기 위해 전수조사(exhaustive search) 방식을 사용한다. 이는 파라미터 값을 계속 변화시켜가면서 신호를 복원시켰을 때, 패킷 손실이 없을 때 디코딩된 신호인 desired signal과의 오차가 최소화 되는 지점을 찾는 방식이다. 이때 파라미터를 찾는데 시간량을 고려하여 파라미터 값의 범위를 지정해주는데, 시그모이드 함수의 모양을 고려하여 아래와 같은 범위 내에서 찾는다.
구체적으로 파라미터를 찾는 과정은 다음 수학식 4와 같다.
[수학식 4]
여기서 dl(n)은 패킷 손실이 전혀 발생하지 않는 상황에서 G.722 코덱을 통과한 음성신호를 의미하고, yl(n)은 패킷 손실이 발생하는 상황에서 G.722 Appendix IV를 통해 복원된 신호를 의미한다. 이 둘의 차를 ε로 표현하고 위의 식과 같다. 따라서 ε2의 평균 값이 최소가 될 때의 α, β, γ을 구하는 것이다. 이를 식으로 표현하면 다음 수학식 5와 같다.
[수학식 5]
ε2의 평균값이 E[ε2(n)]이고 k는 음성파일, m은 음성파일의 총 개수를 의미한다. 따라서 총 m개의 파일에 대해 위의 값을 구한 뒤, 아래 수학식 6과 같이 
을 가장 작게 하는 파라미터 값 
을 구하여 수학식 3에 대입하여 사용한다.
[수학식 6]
이 방식은 기존 뮤팅 기법에 비해 desired signal과의 차이를 최소화 할 수 있으므로 더 좋은 성능을 보인다. 이때 사용하는 음성 파일로 일반적으로 널리 사용되는 음성 데이터베이스인 NTT korean 데이터 베이스를 사용할 수 있으며, 이는 8초짜리 음성이 총 100개의 파일로 이루어질 수 있다.
상기 과정을 통해 패킷 손실이 1%, 3%, 5%일 때의 파라미터 값들은 다음과 구할 수 있다.
최종적으로 평균 값인 
을 시그모이드 함수의 기울기를 결정하는 파라미터로 결정할 수 있다.
도 6은 본 발명의 일 실시예에 따른 패킷 손실 은닉 방법의 흐름도이다.
본 발명의 일 실시예에 따른 패킷 손실 은닉 방법은 손실된 패킷 복원 시 불필요한 잡음의 발생을 막기 위한 적응형 뮤팅 방법에 있어서, 시그모이드 함수를 이용한 적응형 뮤팅 이득 값을 통해 복원신호를 생성하는 것을 특징으로 한다. 손실된 패킷 복원 시 불필요한 잡음의 발생을 막기 위한 적응형 뮤팅 방법에서의 적응형 뮤팅 이득 값을 적용할 때, 시그모이드 함수를 이용한 적응형 뮤팅 이득 값을 이용함으로써 복원신호를 생성한다. 불연속적인 뮤팅 이득 값을 이용하는 경우보다 불필요한 잡음을 효율적으로 제거할 수 있다, 상기 적용되는 시그모이드 함수의 기울기는 패킷 손실이 없는 음성신호와 패킷 손실이 발생한 신호로부터 복원된 신호간의 평균제곱오차가 최소가 되도록 설정할 수 있다. 상기 시그모이드 함수의 기울기를 결정하는 파라미터는, 파라미터를 산출하는 시간 및 상기 시그모이드 함수의 모양을 고려한 범위 내에서 결정될 수 있으며, 전수 조사를 이용하여 결정될 수 있다. 또한, 상기 적응형 뮤팅 이득 값은, 소정의 프레임 이상 연속적으로 패킷 손실이 발생하는 경우, 상기 적응형 뮤팅 이득 값은 0일 수 있다.
610단계는 선형예측 분석을 이용하여 패킷 손실이 발생하지 않은 이전 프레임 신호로부터 선형예측 부호화 계수를 산출하는 단계이다.
보다 구체저으로, 패킷 손실이 발생한 경우, 이전 프레임 신호로부터 신호를 복원하기 위하여, 패킷 손실이 발생하지 않은 이전 프레임 신호로부터 선형예측 부호화 계수를 산출한다. 본 단계에 대한 상세한 설명은 도 1의 신호 분석부(110)에 대한 상세한 설명에 대응하는바, 도 1의 신호 분석부(110)에 대한 상세한 설명으로 대신한다.
620단계는 LTP(long trace profiler) 분석을 이용하여 상기 이전 프레임 신호로부터 피치 구간을 산출하고 신호의 종류를 구분하는 단계이다.
보다 구체적으로, 610단계와 같이, 패킷 손실이 발생한 경우, 이전 프레임 신호로부터 신호를 복원하기 위하여, LTP(long trace profiler) 분석을 이용하여 상기 이전 프레임 신호로부터 피치 구간을 산출하고 신호의 종류를 구분한다. 본 단계에 대한 상세한 설명은 도 1의 신호 분석부(110)에 대한 상세한 설명에 대응하는바, 도 1의 신호 분석부(110)에 대한 상세한 설명으로 대신한다.
630단계는 상기 산출된 선형예측 부호화 계수, 피치 구간, 및 신호의 종류를 이용한 상기 이전 프레임 신호의 변조 및 피치반복을 통해 제 1 복원신호를 생성하는 단계이다.
보다 구체적으로, 610단계 및 620단계에서 산출된 선형예측 부호화 계수, 피치 구간, 및 신호의 종류를 이용하여 상기 이전 프레임 신호의 변조 및 피치반복을 수행함으로써 제 1 복원신호를 생성한다. 상기 제 1 복원신호는 피치의 반복에 의해 불필요한 잡음이 포함되어 있다. 본 단계에 대한 상세한 설명은 도 1의 신호 복원부(120)에 대한 상세한 설명에 대응하는바, 도 1의 신호 복원부(120)에 대한 상세한 설명으로 대신한다.
640단계는 상기 적응형 뮤팅 이득 값을 이용하여 상기 제 1 복원신호로부터 제 2 복원신호를 생성하는 단계이다.
보다 구체적으로, 610단계에서 생성된 제 1 복원신호는 불필요한 잡음이 포함되어 있는바, 적응형 뮤팅 이득 값을 이용하여 상기 제 1 복원신호로부터 불필요한 잡음이 제거된 제 2 복원신호를 생성한다. 본 단계에 대한 상세한 설명은 도 1의 신호 복원부(120)에 대한 상세한 설명에 대응하는바, 도 1의 신호 복원부(120)에 대한 상세한 설명으로 대신한다.
도 7은 본 발명의 실시예에 따른 패킷 손실 은닉 방법에 따른 결과를 도시한 것이다.
본 발명의 실시예에 따른 패킷 손실 은닉 방법에 따른 결과를 다른 경우와 비교하면 도 7과 같다. (a)는 적응형 뮤팅기법을 사용하지 않은 경우이고, (b)는 기존 G.722 Appendix IV에서 사용하고 있는 뮤팅기법이며, (c)는 본 발명의 실시예에 따른 패킷 손실 은닉 방법을 사용할 때의 음성파형 결과이다. 도 7에서 보이는 바와 같이, 본 발명의 실시예에 따른 패킷 손실 은닉 방법이 Desired speech signal에 제일 가깝게 복원신호(Decoded speech signal)를 생성하는 것을 알 수 있다.
또한 음성 평가 툴에 의해서도 성능향상을 확인할 수 있다.
위의 표는 객관적 음성평가 툴인 SNR, segmental SNR, PESQ와 주관적 음성평가 툴인 MOS에 의한 실험결과 표이다. 실험은 패킷손실 1%, 5%, 10% 상황에 대해 테스트 하였다. 실험결과를 보아 본 발명의 실시예에 따른 패킷 손실 은닉 방법이 패킷손실 상황에서 더 우수한 음질을 보장하는 것을 알 수 있다.
본 발명의 일 실시예에 따른 음성통신 시스템은 상기 본 발명의 실시예에 따른 패킷 손실 은닉 방법을 이용하여 복원된 음성신호를 이용하여 음성통신을 수행할 수 있다. 현 VoIP 음성통신 시스템과 카카오톡 등을 이용한 음성통신시스템은 패킷손실에 취약하다. 패킷손실로 인한 음성통화 품질이 현저하게 낮기 때문에 그 사용도가 일반 유선전화 또는 모바일 음성통화에 비하여 낮은 편이다. 본 발명의 실시예에 따른 패킷 손실 은닉 방법을 통해 패킷손실을 복원하는 과정에서 좀 더 향상된 적응형 뮤팅을 통하여 음성통화 품질을 높일 수 있고 VoIP 음성통신 시스템의 사용률을 높일 수 있을 것이다. 상기 음성통신 시스템에 대한 상세한 설명은 상기 패킷 손실 은닉 장치 및 방법에 대한 설명에 대응하는바, 상기 패킷 손실 은닉 장치 및 방법에 대한 설명으로 대신한다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100: 패킷 손실 은닉 장치
110: 신호 분석부
120: 신호 복원부
110: 신호 분석부
120: 신호 복원부
Claims (10)
- 손실된 패킷 복원 시 불필요한 잡음의 발생을 막기 위한 적응형 뮤팅 방법에 있어서,
선형예측 분석을 이용하여 패킷 손실이 발생하지 않은 이전 프레임 신호로부터 선형예측 부호화 계수를 산출하는 단계;
LTP(long trace profiler) 분석을 이용하여 상기 이전 프레임 신호로부터 피치 구간을 산출하고 신호의 종류를 구분하는 단계;
상기 산출된 선형예측 부호화 계수, 피치 구간, 및 신호의 종류를 이용한 상기 이전 프레임 신호의 변조 및 피치반복을 통해 제 1 복원신호를 생성하는 단계; 및
시그모이드 함수를 이용한 적응형 뮤팅 이득 값을 이용하여 상기 제 1 복원신호로부터 제 2 복원신호를 생성하는 단계를 포함하고,
상기 시그모이드 함수의 기울기는,
패킷 손실이 없는 음성신호와 패킷 손실이 발생한 신호로부터 복원된 신호간의 평균제곱오차가 최소가 되도록 설정되는 것을 특징으로 하는 패킷 손실 은닉 방법. - 삭제
- 제 1 항에 있어서,
상기 시그모이드 함수의 기울기를 결정하는 파라미터는,
파라미터를 산출하는 시간 및 상기 시그모이드 함수의 모양을 고려한 범위 내에서 결정되는 것을 특징으로 하는 패킷 손실 은닉 방법. - 제 1 항에 있어서,
상기 시그모이드 함수의 기울기를 결정하는 파라미터는,
전수 조사를 이용하여 결정되는 것을 특징으로 하는 패킷 손실 은닉 방법. - 제 1 항에 있어서,
상기 적응형 뮤팅 이득 값은,
소정의 프레임 이상 연속적으로 패킷 손실이 발생하는 경우, 상기 적응형 뮤팅 이득 값은 0인 것을 특징으로 하는 패킷 손실 은닉 방법. - 삭제
- 제 1 항, 및 제 3 항 내지 제 5 항 중 어느 한 항의 방법을 이용하여 패킷 손실을 은닉하는 음성통신 시스템.
- 손실된 패킷 복원 시 적응형 뮤팅을 이용하여 이전 프레임의 신호로부터 현재 프레임의 신호를 복원하는 패킷 손실 은닉 장치에 있어서,
선형예측 분석을 이용하여 패킷 손실이 발생하지 않은 이전 프레임 신호로부터 선형예측 부호화 계수를 산출하고, LTP(long trace profiler) 분석을 이용하여 상기 이전 프레임 신호로부터 피치 구간을 산출하며 신호의 종류를 구분하는 신호분석부; 및
상기 산출된 선형예측 부호화 계수, 피치 구간, 및 신호의 종류를 이용한 상기 이전 프레임 신호의 변조 및 피치반복을 통해 제 1 복원신호를 생성하고, 시그모이드 함수를 이용한 적응형 뮤팅 이득 값을 통해 상기 제 1 복원신호로부터 제 2 복원신호를 생성하는 신호복원부를 포함하고,
상기 시그모이드 함수의 기울기는,
패킷 손실이 없는 음성신호와 패킷 손실이 발생한 신호로부터 복원된 신호간의 평균제곱오차가 최소가 되도록 설정되는 것을 특징으로 하는 장치. - 삭제
- 제 8 항에 있어서,
상기 시그모이드 함수의 기울기를 결정하는 파라미터는,
파라미터를 산출하는 시간 및 상기 시그모이드 함수의 모양을 고려한 범위 내에서 전수 조사를 통해 결정되는 것을 특징으로 하는 패킷 손실 은닉 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130125969A KR101551236B1 (ko) | 2013-10-22 | 2013-10-22 | 패킷 손실 은닉에서의 적응형 뮤팅 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130125969A KR101551236B1 (ko) | 2013-10-22 | 2013-10-22 | 패킷 손실 은닉에서의 적응형 뮤팅 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150046569A KR20150046569A (ko) | 2015-04-30 |
| KR101551236B1 true KR101551236B1 (ko) | 2015-09-09 |
Family
ID=53037899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130125969A KR101551236B1 (ko) | 2013-10-22 | 2013-10-22 | 패킷 손실 은닉에서의 적응형 뮤팅 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101551236B1 (ko) |
-
2013
- 2013-10-22 KR KR1020130125969A patent/KR101551236B1/ko not_active IP Right Cessation
Non-Patent Citations (2)
| Title |
|---|
| ITU-T Recommendation G.722 Appendix IV, "A low-complexity algorithm for packet loss concealment with G.722", November 2006.* |
| 김종웅 외 1명, "스펙트럼 변이 기반의 향상된 음성 존재 불확실성 추적기법을 이용한 Global Soft Decision", 한국음향학회지 제32권 제3호, pp.279~285, 2013년 5월.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150046569A (ko) | 2015-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7330934B2 (ja) | 音響信号の帯域幅拡張を行う装置及び方法 | |
| US9406307B2 (en) | Method and apparatus for polyphonic audio signal prediction in coding and networking systems | |
| RU2418324C2 (ru) | Поддиапазонный речевой кодекс с многокаскадными таблицами кодирования и избыточным кодированием | |
| CN107077851B (zh) | 使用用于增强隐藏的参数对音频内容进行编码和解码的编码器、解码器和方法 | |
| TWI464734B (zh) | 用於在一語音訊框內避免資訊流失的系統與方法 | |
| KR101290425B1 (ko) | 소거된 스피치 프레임을 복원하는 시스템 및 방법 | |
| TWI499247B (zh) | 用於關鍵性臨限控制之系統、方法、裝置及電腦可讀媒體 | |
| KR101344174B1 (ko) | 오디오 신호 처리 방법 및 오디오 디코더 장치 | |
| CA2984573C (en) | Audio decoder and method for providing a decoded audio information using an error concealment based on a time domain excitation signal | |
| CA2985115C (en) | Audio encoder, audio decoder, method for providing an encoded audio information, method for providing a decoded audio information, computer program and encoded representation using a signal-adaptive bandwidth extension | |
| US9830920B2 (en) | Method and apparatus for polyphonic audio signal prediction in coding and networking systems | |
| JP5706445B2 (ja) | 符号化装置、復号装置およびそれらの方法 | |
| US20110007827A1 (en) | Concealment of transmission error in a digital audio signal in a hierarchical decoding structure | |
| JP2017078870A (ja) | フレームエラー隠匿装置 | |
| AU4675999A (en) | Improved lost frame recovery techniques for parametric, lpc-based speech coding systems | |
| Lindblom | A sinusoidal voice over packet coder tailored for the frame-erasure channel | |
| JP6584431B2 (ja) | 音声情報を用いる改善されたフレーム消失補正 | |
| JP5604572B2 (ja) | 複雑さ分散によるデジタル信号の転送誤り偽装 | |
| KR101551236B1 (ko) | 패킷 손실 은닉에서의 적응형 뮤팅 방법 | |
| Bhatt | Implementation and overall performance evaluation of CELP based GSM AMR NB coder over ABE | |
| JP2006350373A (ja) | 音声符号変換方法および装置 | |
| KR101591597B1 (ko) | G.722 코덱 패킷손실은닉 및 최급강하법을 이용한 적응형 뮤팅 시스템 및 방법 | |
| Bakri et al. | Implementing the PLC Techniques with G 729 Coded to Improving the Speech Quality for VoIP Transmission | |
| Chibani | Increasing the robustness of CELP speech codecs against packet losses. | |
| Kashyap et al. | A low complexity packet loss concealment algorithm for G. 711 and G. 722 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |