KR101291198B1

KR101291198B1 - The Apparatus For Frame Error Concealment

Info

Publication number: KR101291198B1
Application number: KR1020120109728A
Authority: KR
Inventors: 성호상; 주기현; 김중회; 오은미; 손창용; 이강은
Original assignee: 삼성전자주식회사
Priority date: 2012-10-02
Filing date: 2012-10-02
Publication date: 2013-07-31
Also published as: KR20120126042A

Abstract

프레임 오류 은닉방법 및 장치가 개시된다. 이 프레임 오류 은닉방법 및 장치는 오류가 발생된 프레임과 유사한 복수 개의 이전 신호들을 합성하여 새로운 신호를 생성하고, 생성된 신호를 이용하여 오류가 발생된 프레임의 신호를 복원함으로써 동일 신호를 반복함으로 인한 모듈레이션 노이즈의 발생을 방지할 수 있다.Frame error concealment methods and apparatus are disclosed. This frame error concealment method and apparatus generates a new signal by synthesizing a plurality of previous signals similar to the frame in which the error occurred, and recovers the signal of the frame in which the error occurred using the generated signal, thereby repeating the same signal. Generation of modulation noise can be prevented.

Description

프레임 오류 은닉장치{The Apparatus For Frame Error Concealment}The Apparatus For Frame Error Concealment}

본 발명은 시간 영역(time domain)에서 프레임에 발생된 오류(error)를 은닉(concealment)하는 방법 및 장치에 관한 것으로서, 보다 상세하게는 오류가 발생된 프레임(frame)의 이전 프레임 및/또는 다음 프레임의 신호를 이용하여 오류가 발생된 프레임의 신호를 복원함으로써 프레임에 발생된 오류를 은닉하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for concealing an error occurring in a frame in a time domain, and more particularly, a previous frame and / or a next frame of an errored frame. A method and apparatus for concealing an error generated in a frame by recovering a signal of an errored frame using a signal of the frame.

유무선 망을 통하여 부호화된 오디오 신호를 전송하는 과정에서 일부 패킷이 손실되거나 왜곡되는 경우, 전송상의 오류로 인해 복호화된 오디오 신호의 일부 프레임에 오류가 발생될 수 있다. 프레임에 발생된 오류를 은닉하는 방법은 주파수 영역(frequency domain)에서 은닉하는 방법과 시간 영역(time domain)에서 은닉하는 방법으로 나뉜다. 주파수 영역에서 프레임 오류를 은닉하는 방법에는 이전 프레임(previous frame)의 스펙트럼 계수(spectrum coefficient)를 오류가 발생된 프레임에서 재사용함으로써 프레임 오류를 은닉하는 반복법, 이전 프레임과 다음 프레임(next frame)의 스펙트럼 계수를 보간하여 오류가 발생된 프레임의 스펙트럼 계수를 복원함으로써 프레임 오류를 은닉하는 보간법 등이 있다. 그러나 시간 영역 신호를 주파수 영역으로 변환하는 수정 이산 여현 변환(Modulated Discrete Cosine Transformation, 이하 'MDCT'라함))의 특성상 이전 프레임과 현재 프레임의 윈도우 타입(window type)이 다르거나 버스트 오류(burst error)가 발생한 경우에는 주파수 영역에서 반복법(repetition) 또는 보간법(interpolation) 등을 사용하여 프레임 오류를 은닉할 수 없게 된다. 따라서 이러한 경우에는 시간 영역에서 프레임 오류를 은닉할 필요가 있다.If some packets are lost or distorted during the transmission of the encoded audio signal through the wired / wireless network, errors may occur in some frames of the decoded audio signal due to transmission errors. A method of concealing an error generated in a frame is divided into a method of concealing in the frequency domain and a method of concealing in the time domain. The method of concealing frame errors in the frequency domain includes repetition of concealing frame errors by reusing the spectrum coefficients of the previous frame in the frame in which the error occurred, the spectrum of the previous frame and the next frame. Interpolation methods conceal frame errors by restoring spectral coefficients of frames in which an error has occurred by interpolating the coefficients. However, due to the nature of the Modified Discrete Cosine Transformation (MDCT), which transforms the time-domain signal into the frequency domain, the window type of the previous frame and the current frame is different, or a burst error When is generated, frame errors cannot be concealed by using repetition or interpolation in the frequency domain. In this case, therefore, it is necessary to conceal frame errors in the time domain.

시간 영역에서 프레임 오류를 은닉하는 방법에는 이전 프레임의 시간 영역 샘플(time domain sample)을 오류가 발생한 프레임에서 반복하여 재생하므로 프레임 오류를 은닉하는 반복법(repetition), 이전 프레임과 다음 프레임의 시간 영역 샘플을 보간하여 오류가 발생한 프레임의 시간 영역 샘플(time domain sample)을 복원하는 보간법(interpolation), 기타 이전 프레임의 신호를 분석하여 오류가 발생된 프레임의 신호를 복원하는 기타 다양한 방법이 있다. 그러나 시간 영역에서 반복 방식에 의해 프레임 오류를 은닉할 경우, 이전 프레임의 신호가 반복되는 구간이 길어지면 동일한 스펙트럼 신호의 반복으로 인한 변조 노이즈(modulation noise)가 발생되어 문제가 된다. 또한, 시간 영역에서 보간 방식은 다음 프레임을 참조하여 오류를 은닉해야 하므로 오류가 발생된 프레임 구간이 길어지는 경우에는 사용하기 어려운 문제가 있다. 그리고 기타 방법들은 이전 프레임의 신호를 분석하기 위한 복잡도가 증가하는 문제가 있다.The method of concealing frame errors in the time domain includes the repetition of concealing frame errors, the repetition of concealing frame errors, and the time domain samples of previous and next frames. Interpolation to restore a time domain sample of an error frame by interpolating, and various other methods of restoring a signal of an error frame by analyzing a signal of another previous frame. However, when the frame error is concealed by the repetition method in the time domain, if a section in which the signal of the previous frame is repeated is long, modulation noise due to repetition of the same spectrum signal is generated. In addition, in the time domain, the interpolation method needs to conceal an error with reference to the next frame, which makes it difficult to use the frame in which the error occurs. And other methods have a problem of increasing complexity for analyzing the signal of the previous frame.

따라서 본 발명이 이루고자 하는 기술적 과제는 복수 개의 이전 신호를 합성하여 오류가 발생된 프레임의 신호를 복원함으로써 변조 노이즈 발생을 방지할 수 있는 중첩(overlapping)방식에 의한 프레임 오류 은닉방법 및 장치를 제공하는 것이다.Accordingly, an aspect of the present invention is to provide a method and apparatus for concealing a frame error by an overlapping method that can prevent modulation noise by restoring a signal of an error frame by synthesizing a plurality of previous signals. will be.

또한, 본 발명이 이루고자 하는 다른 기술적 과제는 본 발명에 따른 중첩방식에 의한 프레임 오류 은닉방식을 포함한 시간 영역의 다수의 프레임 오류 은닉방식들을 적절하게 조합하여 시간 영역에서 복수 개의 프레임들에 발생된 오류를 은닉하기 위한 은닉방식을 구성함으로써 오류가 발생된 프레임의 복원된 신호의 음질을 극대화할 수 있는 은닉방식 구성방법 및 장치를 제공하는 것이다.In addition, another technical problem to be achieved by the present invention is an error generated in a plurality of frames in the time domain by appropriately combining a plurality of frame error concealment schemes in the time domain including the frame error concealment scheme by the overlapping scheme according to the present invention. The present invention provides a method and apparatus for concealing a method of maximizing sound quality of a restored signal of a frame in which an error is generated by constructing a concealing method for concealing a frame.

또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는 상기 본 발명에 따른 은닉방식 구성방법을 이용하여 복수 개의 프레임들에 발생된 오류를 은닉하기 위한 방식을 구성하고, 구성된 방식에 따라 프레임 오류를 은닉함으로써 오류가 발생된 프레임의 복원된 신호의 음질을 극대화할 수 있는 적응적인 프레임 오류 은닉(adaptive frame error concealment)방법 및 장치를 제공하는 것이다.In addition, another technical problem to be achieved by the present invention is to configure a method for concealing errors occurring in a plurality of frames using the concealment method configuration method according to the present invention, by concealing a frame error according to the configured method It is an object of the present invention to provide an adaptive frame error concealment method and apparatus capable of maximizing the sound quality of a restored signal of an errored frame.

또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는 상기 본 발명에 따른 중첩방식에 의한 프레임 오류 은닉방법, 오류은닉방식 구성방법 및 적응적 프레임 오류 은닉방법 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 것이다.In addition, another technical problem to be achieved by the present invention is a program for executing any one method of the frame error concealment method, the error concealment configuration method and the adaptive frame error concealment method by the overlapping method according to the present invention in a computer It is to provide a computer-readable recording medium that recorded the.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 중첩방식을 이용한 프레임 오류 은닉방법은 (a) 오류가 발생된 프레임의 이전 프레임에서 상기 오류가 발생된 프레임의 신호와 유사한 제1 및 제2 신호를 추출하는 단계; (b) 상기 추출된 제1 및 제2 신호를 이용하여 상기 오류가 발생된 프레임의 신호를 복원하기 위한 합성신호를 생성하는 단계; 및 (c) 상기 생성된 합성신호를 이용하여 상기 오류가 발생된 프레임의 신호를 복원하는 단계를 포함한다.Frame error concealment method using the overlapping method according to the present invention for solving the technical problem is (a) extracts the first and second signals similar to the signal of the frame in which the error occurs in the previous frame of the frame in which the error occurs; Making; (b) generating a composite signal for restoring a signal of the frame in which the error occurs using the extracted first and second signals; And (c) restoring a signal of the frame in which the error occurs using the generated synthesized signal.

또한, 상기 (a)단계는 (a1) 상기 이전 프레임에서 상기 오류가 발생된 프레임의 바로 이전 블록과 유사한 제1 및 제2 블록을 검색하는 단계; 및 (a2) 상기 검색된 제1 및 제2 블록의 위치를 참조하여 상기 제1 및 제2 신호를 추출하는 단계를 포함할 수 있다. 또한, 상기 제1 및 제2 블록은 상기 바로 이전 블록과의 상관도(correlation)가 가장 높은 두 개의 블록들일 수 있다.In addition, step (a) may include: (a1) searching for first and second blocks similar to the immediately preceding block of the frame in which the error occurred in the previous frame; And (a2) extracting the first and second signals with reference to the found positions of the first and second blocks. In addition, the first and second blocks may be two blocks having the highest correlation with the immediately preceding block.

또한, 상기 (b)단계는 (b1) 상기 추출된 제1 및 제2 신호를 윈도윙(windowing)하는 단계; 및 (b2) 상기 윈도윙된 제1 및 제2 신호를 중첩하여 더하는(Overlap and Add) 단계를 포함할 수 있다. In addition, the step (b) may include (b1) windowing the extracted first and second signals; And (b2) overlapping and adding the windowed first and second signals.

또한, 상기 (b1)단계는 (b11) 상기 제1 및 제2 블록과 상기 바로 이전 블록과의 상관도에 기초하여 상기 제1 및 제2 신호를 윈도윙하기 위한 제1 및 제2 윈도우 함수를 결정하는 단계; 및 (b12) 상기 제1 및 제2 신호에 상기 결정된 제1 및 제2 윈도우 함수를 각각 곱하여 윈도윙하는 단계를 포함할 수 있다.Also, the step (b1) may include (b11) a first and second window function for windowing the first and second signals based on a correlation between the first and second blocks and the immediately preceding block. Determining; And (b12) multiplying the first and second signals by the determined first and second window functions, respectively, to window the first and second signals.

또한, 상기 (b11)단계는 상기 제1 및 제2 윈도우 함수의 크기의 합이 일(one)이 되도록 상기 제1 및 제2 윈도우 함수를 결정할 수 있다. 또한, 상기 (b11)단계는 상기 제1 및 제2 블록과 상기 바로 이전 블록간의 상관도를 고려하여 상기 제1 및 제2 윈도우 함수를 결정할 수 있다. 또한, 상기 (b11)단계는 제1 및 제2 신호 중에서 상기 바로 이전 블록과의 상관도가 더 큰 블록을 포함하는 신호에 더 큰 가중치를 부여하도록 상기 제1 및 제2 윈도우 함수를 결정할 수 있다. 또한, 상기 (b11)단계는 제1 및 제2 신호 중에서 상기 바로 이전 블록과의 상관도가 더 큰 블록을 포함하는 신호는 페이드아웃(fade-out)되고 나머지 신호는 페이드인(fade-in)되도록 상기 제1 및 제2 윈도우 함수를 결정할 수 있다.In operation (b11), the first and second window functions may be determined such that the sum of the sizes of the first and second window functions is one. In operation (b11), the first and second window functions may be determined in consideration of the correlation between the first and second blocks and the immediately preceding block. In operation (b11), the first and second window functions may be determined to give a greater weight to a signal including a block having a higher correlation with the previous block among the first and second signals. . In addition, in step (b11), a signal including a block having a higher correlation with the previous block among the first and second signals fades out and the remaining signals fade in. The first and second window functions may be determined to be equal.

또한, 상기 (c)단계는 상기 합성신호를 상기 오류가 발생된 프레임에서 적어도 일회 이상 반복하여 출력하는 단계를 포함할 수 있다.In addition, step (c) may include outputting the synthesized signal by repeating at least one or more times in the frame in which the error occurs.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 다른 중첩방식을 이용한 프레임 오류 은닉방법은 오류가 발생된 프레임의 이전 프레임에서 상기 오류가 발생된 프레임의 신호와 유사한 복수 개의 신호들을 추출하는 단계;According to another aspect of the present invention, there is provided a method for concealing a frame error using another overlapping method, the method including: extracting a plurality of signals similar to signals of the frame in which the error occurs from a previous frame of the frame in which the error occurs;

상기 추출된 복수 개의 신호들을 이용하여 상기 오류가 발생된 프레임의 신호를 복원하기 위한 합성신호를 생성하는 단계; 및 상기 생성된 합성신호를 이용하여 상기 오류가 발생된 프레임의 신호를 복원하는 단계를 포함한다.Generating a composite signal for restoring a signal of the frame in which the error has occurred using the extracted plurality of signals; And restoring a signal of the frame in which the error occurs using the generated synthesized signal.

상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오류은닉방식 구성방법은 (a) 오류가 발생된 프레임의 이전(previous) 및 다음(next) 프레임의 오류은닉상황을 분석하는 단계; 및 (b) 상기 분석된 결과를 고려하여 시간 영역에서의 중첩법, 반복법 및 보간법 중에서 상기 프레임에 발생된 오류를 은닉하기 위한 방식을 선정하는 단계를 포함한다.The method for constructing an error concealment method according to the present invention for solving the other technical problem comprises the steps of: (a) analyzing the error concealment status of the previous (previous) and the next (next) frame of the error frame; And (b) selecting a method for concealing an error generated in the frame among the superposition method, the repetition method, and the interpolation method in the time domain in consideration of the analyzed result.

또한, 상기 (a)단계는 상기 이전 프레임의 오류발생여부, 상기 이전 프레임에 오류가 발생되었다면 상기 이전 프레임의 오류를 은닉하기 위해 사용된 방식 및 상기 다음 프레임의 오류발생여부 중 적어도 어느 하나를 분석할 수 있다.Also, the step (a) may analyze at least one of whether an error occurs in the previous frame, a method used for concealing an error in the previous frame, and an error occurs in the next frame if an error occurs in the previous frame. can do.

상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 적응적인 프레임 오류 은닉방법은 오류가 발생된 프레임의 이전 및 다음 프레임의 오류은닉상황을 고려하여 시간 영역에서의 중첩법, 반복법 및 보간법 중에서 상기 프레임에 발생된 오류를 은닉하기 위한 방식을 선정하는 단계; 및 상기 선정된 방식에 따라 상기 프레임에 발생된 오류를 은닉하는 단계를 포함한다.In accordance with another aspect of the present invention, an adaptive frame error concealment method according to the present invention takes into account the error concealment state of a frame before and after a frame in which an error occurs and the frame among the overlapping, iterative, and interpolation methods in a time domain. Selecting a method for concealing an error that has occurred; And concealing an error generated in the frame according to the selected scheme.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 중첩방식을 이용한 프레임 오류 은닉장치는 오류가 발생된 프레임의 이전 프레임에서 상기 오류가 발생된 프레임의 신호와 유사한 제1 및 제2 신호를 추출하는 유사신호 추출부; 상기 추출된 제1 및 제2 신호를 이용하여 상기 오류가 발생된 프레임의 신호를 복원하기 위한 합성신호를 생성하는 합성신호 생성부; 및 상기 생성된 합성신호를 이용하여 상기 오류가 발생된 프레임의 신호를 복원하는 복원부를 포함한다.Frame error concealment apparatus using the overlapping method according to the present invention for solving the technical problem is a similar signal for extracting the first and second signals similar to the signal of the frame in which the error occurs from the previous frame of the frame in which the error occurs; Extraction unit; A synthesized signal generator configured to generate a synthesized signal for restoring a signal of the frame in which the error has occurred, using the extracted first and second signals; And a reconstruction unit for reconstructing a signal of the frame in which the error occurs using the generated synthesized signal.

또한, 상기 유사신호 추출부는 상기 이전 프레임에서 상기 오류가 발생된 프레임의 바로 이전 블록과 유사한 제1 및 제2 블록을 검색하고, 상기 검색된 제1 및 제2 블록의 위치를 참조하여 상기 제1 및 제2 신호를 추출할 수 있다.In addition, the similar signal extractor searches for the first and second blocks similar to the immediately preceding block of the frame in which the error occurs in the previous frame, and refers to the positions of the first and second blocks to search for the first and second blocks. The second signal can be extracted.

또한, 상기 제1 및 제2 블록은 상기 바로 이전 블록과의 상관도(correlation)가 가장 높은 두 개의 블록들일 수 있다.In addition, the first and second blocks may be two blocks having the highest correlation with the immediately preceding block.

또한, 상기 합성신호 생성부는 상기 추출된 제1 및 제2 신호를 윈도윙(windowing)하는 윈도윙부; 및 상기 윈도윙된 제1 및 제2 신호를 중첩하여 더하는(Overlap and Add) 합성부를 포함할 수 있다.The synthesized signal generator may further include: a window wing configured to window the extracted first and second signals; And a synthesizer configured to overlap and add the windowed first and second signals.

또한, 상기 윈도윙부는 상기 제1 및 제2 블록과 상기 바로 이전 블록과의 상관도에 기초하여 상기 제1 및 제2 신호를 윈도윙하기 위한 제1 및 제2 윈도우 함수를 결정하는 윈도우 함수 결정부; 및 상기 제1 및 제2 신호에 상기 결정된 제1 및 제2 윈도우 함수를 각각 곱하여 윈도윙하는 합성부를 포함할 수 있다.The window wing unit may determine a window function to determine first and second window functions for windowing the first and second signals based on a correlation between the first and second blocks and the immediately preceding block. part; And a synthesizer configured to multiply and window the first and second signals by the determined first and second window functions, respectively.

또한, 상기 윈도우 함수 결정부는 상기 제1 및 제2 윈도우 함수의 크기의 합이 일(one)이 되도록 상기 제1 및 제2 윈도우 함수를 결정할 수 있고, 상기 제1 및 제2 블록과 상기 바로 이전 블록간의 상관도를 고려하여 상기 제1 및 제2 윈도우 함수를 결정할 수 있고, 상기 제1 및 제2 신호 중에서 상기 바로 이전 블록과의 상관도가 더 큰 블록을 포함하는 신호에 더 큰 가중치를 부여하도록 상기 제1 및 제2 윈도우 함수를 결정할 수 있고, 상기 제1 및 제2 신호 중에서 상기 바로 이전 블록과의 상관도가 더 큰 블록을 포함하는 신호는 페이드아웃(fade-out)되고 나머지 신호는 페이드인(fade-in)되도록 상기 제1 및 제2 윈도우 함수를 결정할 수 있다.The window function determiner may determine the first and second window functions such that the sum of the magnitudes of the first and second window functions is one, and immediately before the first and second blocks. The first and second window functions may be determined in consideration of a correlation between blocks, and a greater weight is given to a signal including a block having a higher correlation with the previous block among the first and second signals. The first and second window functions may be determined such that a signal including a block having a higher correlation with the previous block among the first and second signals is faded out and the remaining signals are The first and second window functions may be determined to fade in.

또한, 상기 복원부는 상기 합성신호를 상기 오류가 발생된 프레임에서 적어도 일회 이상 반복하여 출력할 수 있다.The restoration unit may repeatedly output the synthesized signal at least once in the frame in which the error occurs.

상기 기술적 과제를 위한 본 발명에 따른 다른 중첩방식을 이용한 프레임 오류 은닉장치는 오류가 발생된 프레임의 이전 프레임에서 상기 오류가 발생된 프레임의 신호와 유사한 복수 개의 신호들을 추출하는 유사신호 추출부; 상기 추출된 복수 개의 신호들을 이용하여 상기 오류가 발생된 프레임의 신호를 복원하기 위한 합성신호를 생성하는 합성신호 생성부; 및 상기 생성된 합성신호를 이용하여 상기 오류가 발생된 프레임의 신호를 복원하는 복원부를 포함한다.Frame error concealment apparatus using another overlapping method according to the present invention for the technical problem is a signal extraction unit for extracting a plurality of signals similar to the signal of the error frame from the previous frame of the error frame; A synthesized signal generator configured to generate a synthesized signal for restoring a signal of the frame in which the error has occurred, using the extracted plurality of signals; And a reconstruction unit for reconstructing a signal of the frame in which the error occurs using the generated synthesized signal.

또한, 상기 다른 기술적 과제를 위한 본 발명에 따른 오류은닉방식 구성장치는 오류가 발생된 프레임의 이전(previous) 및 다음(next) 프레임의 오류은닉상황을 분석하는 분석부; 및 상기 분석된 결과를 고려하여 시간 영역에서의 중첩법, 반복법 및 보간법 중에서 상기 프레임에 발생된 오류를 은닉하기 위한 방식을 선정하는 선정부를 포함한다.In addition, the error concealment configuration apparatus according to the present invention for the other technical problem is an analysis unit for analyzing the error concealment situation of the previous (previous) and the next (next) frame of the error frame; And a selection unit for selecting a method for concealing an error occurring in the frame among the superposition method, the repetition method, and the interpolation method in the time domain in consideration of the analyzed result.

또한, 상기 선정부는 상기 이전 프레임의 오류발생여부, 상기 이전 프레임에 오류가 발생되었다면 상기 이전 프레임의 오류를 은닉하기 위해 사용된 방식 및 상기 다음 프레임의 오류발생여부 중 적어도 어느 하나를 분석할 수 있다.The selector may analyze at least one of whether an error occurs in the previous frame, a method used for concealing an error in the previous frame, and an error occurs in the next frame if an error occurs in the previous frame. .

상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 적응적인 프레임 오류 은닉장치는 오류가 발생된 프레임의 이전 및 다음 프레임의 오류은닉상황을 고려하여 시간 영역에서의 중첩법, 반복법 및 보간법 중에서 상기 프레임에 발생된 오류를 은닉하기 위한 방식을 선정하는 은닉방식 선정부; 및 상기 선정된 방식에 따라 상기 프레임에 발생된 오류를 은닉하는 은닉부를 포함한다.In accordance with another aspect of the present invention, an adaptive frame error concealment apparatus according to the present invention takes into account the error concealment state of a frame before and after an error in which the frame is concealed. A concealment method selection unit for selecting a method for concealing an error generated in the network; And a concealment unit for concealing an error generated in the frame according to the selected scheme.

상기 또 다른 기술적 과제를 해결하기 위하여 본 발명에 따른 중첩방식에 의한 프레임 오류 은닉방법, 오류은닉방식 구성방법 및 적응적 프레임 오류 은닉방법 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.In order to solve the above another technical problem, a computer recording a program for executing one of the methods of the frame error concealment method, the error concealment method, and the adaptive frame error concealment method by the overlapping method according to the present invention. Provide a readable recording medium.

본 발명에 따른 중첩방식에 의한 프레임 오류 은닉방법 및 장치는 복수 개의 이전신호를 합성하여 오류가 발생된 프레임 신호를 복원함으로써 변조 노이즈의 발생을 방지할 수 있다.The frame error concealment method and apparatus according to the present invention can prevent generation of modulation noise by combining a plurality of previous signals and restoring a frame signal in which an error occurs.

또한, 본 발명에 따른 오류은닉방식 구성방법 및 장치는 중첩법, 반복법 및 보간법을 적절히 조합하여 연속하여 오류가 발생된 복수의 프레임들의 오류은닉방식을 구성함으로서 복원된 신호의 음질을 극대화할 수 있다.In addition, the method and apparatus for constructing an error concealment method according to the present invention can maximize the sound quality of a restored signal by constructing an error concealment method of a plurality of frames in which an error occurs in succession by appropriately combining an overlapping method, an iteration method, and an interpolation method. .

또한, 본 발명에 따른 적응적 프레임 오류 은닉방법 및 장치는 중첩법, 반복법 및 보간법을 적절히 조합하여 연속하여 오류가 발생된 복수의 프레임들의 오류를 은닉함으로써 복원된 신호의 음질을 극대화할 수 있다.In addition, the adaptive frame error concealment method and apparatus according to the present invention can maximize the sound quality of the reconstructed signal by concealing the error of a plurality of consecutively generated frames by properly combining the superposition method, the repetition method and the interpolation method.

도 1은 일 실시예에 따른 반복방식에 의한 프레임 오류 은닉방법을 설명하기 위한 참고도이다.
도 2는 본 발명의 일 실시예에 따른 중첩방식에 의한 프레임 오류 은닉방법을 나타내는 플로우차트이다.
도 3은 본 발명의 일 실시예에 따른 중첩방식에 의한 프레임 오류 은닉방법을 설명하기 위한 참고도이다.
도 4는 도 2에 도시된 제 220단계의 일 실시예를 설명하기 위한 참고도이다.
도 5는 본 발명의 일 실시예에 따른 중첩방식에 의한 프레임 오류 은닉장치의 구성을 도시한 블록도이다.
도 6은 일 실시예에 따른 보간방식에 의한 프레임 오류 은닉방법을 설명하기 위한 참고도이다.
도 7은 본 발명의 일 실시예에 따른 오류은닉방식 구성방법을 이용하는 적응적 프레임 오류 은닉방법을 나타내는 플로우차트이다.
도 8은 주파수 영역에서의 프레임 오류가 시간 영역의 프레임에 미치는 영향을 설명하기 위한 참고도이다.
도 9a 내지 도 9c는 본 발명의 일 실시예에 따른 오류은닉방식 구성방법에 의해 구성된 오류 프레임의 은닉방식의 얘들을 도시한 참고도이다.
도 10은 본 발명의 일 실시예에 따른 프레임 오류 은닉장치의 구성을 도시한 블록도이다.1 is a reference diagram for explaining a frame error concealment method by an iterative method according to an embodiment.
2 is a flowchart illustrating a frame error concealment method using an overlapping method according to an embodiment of the present invention.
3 is a reference diagram for explaining a frame error concealment method by an overlapping method according to an embodiment of the present invention.
FIG. 4 is a reference diagram for explaining an exemplary embodiment of step 220 shown in FIG. 2.
5 is a block diagram showing the configuration of a frame error concealment apparatus according to an overlapping method according to an embodiment of the present invention.
6 is a reference diagram for explaining a frame error concealment method using an interpolation method, according to an exemplary embodiment.
7 is a flowchart illustrating an adaptive frame error concealment method using an error concealment method construction method according to an embodiment of the present invention.
8 is a reference diagram for explaining an effect of a frame error in a frequency domain on a frame in a time domain.
9A to 9C are reference diagrams illustrating those of a concealment method of an error frame constructed by a method for constructing an error concealment method according to an embodiment of the present invention.
10 is a block diagram showing the configuration of a frame error concealment apparatus according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예에 따른 중첩방식에 의한 프레임 오류 은닉방법 및 장치, 본 발명에 일 실시예에 따른 은닉방식 구성방법 및 장치, 본 발명에 일 실시예에 따른 적응적인 프레임 오류 은닉방법 및 장치에 관해 상세히 설명한다. Hereinafter, a method and apparatus for concealing a frame error by an overlapping method according to an embodiment of the present invention with reference to the accompanying drawings, a method and apparatus for concealing a method according to an embodiment of the present invention, according to an embodiment of the present invention An adaptive frame error concealment method and apparatus are described in detail.

첫째로, 본 발명의 일 실시예에 따른 중첩방식에 의한 프레임 오류 은닉방법(이하 '중첩법'이라 함)에 관하여 살펴보기로 하자. 우선, 중첩법에 대해 설명하기 전에 반복방식에 의한 프레임 오류 은닉방법(이하 '반복법'이라 함)에 관해 살펴보기로 하자.First, a frame error concealment method (hereinafter, referred to as an overlapping method) by an overlapping method according to an embodiment of the present invention will be described. First, before describing the overlapping method, let's take a look at a method of concealing frame errors by an iterative method (hereinafter, referred to as a "repeat method").

도 1은 일 실시예에 따른 반복법을 설명하기 위한 참고도이다. 반복방식이란 오류가 발생된 현재 프레임의 신호와 유사한 신호를 이전 프레임에서 검색하고, 검색된 신호를 현재 프레임에 복사하여 현재 프레임의 신호를 복원하는 방식이다.1 is a reference diagram for explaining a repetition method according to an exemplary embodiment. The repetition method is a method of retrieving a signal of the current frame by searching for a signal similar to the signal of the current frame in which an error has occurred, and copying the retrieved signal to the current frame.

먼저, 현재 n 프레임(100)에 오류가 발생되었다고 판단되면, n 프레임의 바로 이전에 위치한 직전블록(110)의 신호와 상관도가 가장 높은 유사블록(120)을 이전 프레임의ㅇ검색 구간(search region)에서 검색한다. 예를 들어, 상관도응 다음 수학식 1을 이용하여 계산할 수 있다.First, when it is determined that an error has occurred in the current n frame 100, the similar block 120 having the highest correlation with the signal of the immediately preceding block 110 located immediately before the n frame is searched for the previous frame. region). For example, the correlation may be calculated using Equation 1 below.

여기서, R(d)는 상관도이며, s(n)은 이전 프레임 신호이고, d는 검색 범위의 샘플 위치를 말한다. 도 1에 도시된 바와 같이, 검색 구간에서 직전블록(110)과의 상관도가 가장 높은 유사블록(120)이 검색되면, 검색된 유사블록(120) 및 유사블록(120) 이후의 소정 길이의 다음 신호(130, 140)를 포함하는 이전 신호(150)를 오류가 발생된 프레임에 복사한다. 도 1을 참조하면, 이전 신호(150)는 직접 n 프레임의 신호로서 출력되는 신호(130)의 앞뒤로 각각 유사블록(120) 및 유사블록(120)과 동일한 크기의 중첩블록(140)을 포함한다. 직접 n 프레임의 신호로 출력되는 신호(130)에 유사블록(120)과 중첩블록(140)을 함께 부가하여 n 프레임으로 복사하는 이유는 (n-1) 프레임의 경계에 위치한 직전블록(110)과 n 프레임으로 복사된 유사블록(120)을 오버랩하여 더함(overlap and add)으로써 (n-1) 프레임과 n 프레임의 경계에서 불연속한 신호가 출력되는 것을 방지하기 위함이다. 마찬가지로, 중첩블록(140)을 함께 복사하는 이유는 n 프레임과 (n+1) 프레임이 정상 프레임인 경우, n 프레임과 (n+1) 프레임의 경계에 불연속이 생기지 않도록 n 프레임으로 복사된 중첩블록(140)과 (n+1) 프레임 시작 부분을 중첩하여 더하기(overlap and add)위함이다. 따라서 (n-1) 프레임 신호를 복사하여 n 프레임을 복원하기 위해 (n-1) 프레임 신호를 윈도윙(windowing)할 때, 오버랩이 이루어지는 유사블록(120) 또는 중첩블록(140) 부분에서는 일차 함수, 다차 함수 또는 삼각 함수 등을 이용하여 윈도우 함수의 크기를 결정하고, 오버랩이 이루어지지 않는 부분(130)에서는 직각 윈도우(rectangular window)를 사용할 수 있다. 여기서, 주의할 점은 두 블록을 오버랩할 때 두 함수에 곱해지는 가중치의 합이'1'이 되어야한다는 것이다. 따라서 유사블록(120) 또는 중첩블록(140)과 오버랩 되는 블록을 윈도윙할 때는 유사블록(120) 또는 중첩블록(134)에서 사용된 윈도우와 위상이 반대인 윈도우를 사용하는 것이 바람직하다.Here, R (d) is a correlation, s (n) is a previous frame signal, and d is a sample position of a search range. As shown in FIG. 1, when a similar block 120 having the highest correlation with the previous block 110 is found in a search section, the next similar length after the found similar block 120 and the similar block 120 is found. The previous signal 150 including the signals 130 and 140 is copied to the frame in which the error occurs. Referring to FIG. 1, the previous signal 150 includes an overlap block 140 of the same size as the similar block 120 and the similar block 120, respectively, before and after the signal 130 directly output as a signal of n frames. . The reason why the pseudo block 120 and the overlapping block 140 are added to the signal 130 directly output as the signal of the n frame and copied to the n frame is (n-1) immediately before the block 110 located at the boundary of the frame. This is to prevent the discontinuous signal from being output at the boundary between the (n-1) frame and the n frame by overlapping and adding the similar block 120 copied to and n frames. Similarly, the reason why the overlapping block 140 is copied together is that when the n frame and the (n + 1) frame are normal frames, the overlapped copy is copied to the n frame so that there is no discontinuity at the boundary between the n frame and the (n + 1) frame. This is to overlap and add the block 140 and the beginning of the (n + 1) frame. Therefore, when windowing the (n-1) frame signal to copy the (n-1) frame signal to restore the n frame, the primary block is similar to the similar block 120 or the overlapping block 140 where the overlap is performed. The size of the window function may be determined using a function, a polynomial function, or a trigonometric function, and a rectangular window may be used in the portion 130 where the overlap is not made. Note that the sum of the weights multiplied by the two functions when overlapping two blocks should be '1'. Therefore, when windowing a block overlapping with the similar block 120 or the overlapping block 140, it is preferable to use a window whose phase is opposite to the window used in the similar block 120 or the overlapping block 134.

그러나 앞서 언급한 바와 같이, 반복법은 이전 신호가 반복되는 구간이 길어지면 동일 스펙트럼을 갖는 신호가 긴 구간 반복됨으로 인한 변조 노이즈가 발생되어 문제가 된다. 따라서 이전 신호를 이용하여 오류가 발생된 프레임을 복원하되, 변조 노이즈 발생을 방지할 필요가 있다.However, as mentioned above, the repetition method becomes a problem because modulation noise is generated due to repetition of a long section of a signal having the same spectrum when a section in which a previous signal is repeated becomes long. Therefore, while using the previous signal to restore the frame in which the error occurs, it is necessary to prevent the generation of modulation noise.

이하, 도 2 및 도 3을 참조하여 본 발명의 일 실시예에 따른 중첩법에 관해 살펴보기로 한다. 도 2는 본 발명의 일 실시예에 따른 중첩법의 흐름도이고, 도 3은 본 발명의 일 실시예에 따른 중첩법을 설명하기 위한 참고도이다. 중첩방식이란 오류가 발생된 현재 프레임의 신호와 유사한 복수 개의 신호들을 이전 프레임에서 검색하고, 검색된 복수 개의 신호들을 합성하여 새로운 신호를 생성하고, 생성된 새로운 신호를 현재 프레임에 복사하여 현재 프레임의 신호를 복원하는 방식이다. Hereinafter, an overlapping method according to an embodiment of the present invention will be described with reference to FIGS. 2 and 3. 2 is a flowchart of a superposition method according to an embodiment of the present invention, Figure 3 is a reference diagram for explaining the superposition method according to an embodiment of the present invention. The superposition method searches for a plurality of signals similar to the signal of the current frame in which an error has occurred in the previous frame, synthesizes the plurality of detected signals to generate a new signal, and copies the generated new signal to the current frame to signal the current frame. It is a way to restore.

먼저, 현재 n 프레임(300)에 오류가 발생되었는지 판단한다(제 200단계). First, it is determined whether an error has occurred in the current n frame 300 (step 200).

제 200단계에서 n 프레임에 오류가 발생된 것으로 판단되면, n 프레임의 바로 이전에 위치한 직전블록(310)의 신호와 가장 상관도가 높은 두 개의 유사블록을 이전 프레임의 검색 구간에서 검색한다(제 210단계). 이전 프레임에서 첫 번째로 검색된 유사블록을 제1 유사블록(320)이라고 하고, 두 번째로 검색된 유사블록을 제2 유사블록(325)이라고 하자.If it is determined in step 200 that an error occurs in the n-frame, two similar blocks having the highest correlation with the signal of the immediately preceding block 310 located immediately before the n-frame are searched for in the search section of the previous frame. Step 210). The first similar block found in the previous frame is called the first similar block 320 and the second similar block is called the second similar block 325.

제 210단계에서 제1 및 제2 유사블록(320, 325)을 검색한 후에, 검색된 제1 및 제2 유사블록(320, 325) 각각과 그 이후 소정 길이의 제1 제2 다음신호(330, 335)로 구성된 제1 및 제2 이전신호(350, 355)를 합성하여 n 프레임을 복원하기 위한 합성신호(360)를 생성한다(제 220 내지 제 240단계). 도 3을 참조하면, 제1 및 제2 이전신호(350, 355)를 합성하여 생성된 합성신호(360)는 유사블록(370), n 프레임 신호를 복원하는데 직접 사용되는 부분(380) 및 중첩블록(390)을 포함한다.After searching for the first and second similar blocks 320 and 325 in operation 210, each of the found first and second similar blocks 320 and 325 and the first second next signal 330 of a predetermined length thereafter. The first and second transfer signals 350 and 355 constituted by 335 are synthesized to generate a synthesized signal 360 for reconstructing n frames (steps 220 through 240). Referring to FIG. 3, the synthesized signal 360 generated by synthesizing the first and second transfer signals 350 and 355 may include a pseudo block 370, a portion 380 directly used to recover an n-frame signal, and an overlap. Block 390.

제1 및 제2 유사블록(320, 325)은 직전블록(310)과 상관도가 가장 높은 두 개의 블록이므로, 제1 및 제2 유사블록(320, 325) 이후에 각각 연속되는 제1 및 제2 다음신호(330, 340, 335, 345)는 n 프레임의 신호와 유사할 것이다. 여기서, 제1 및 제2 이전신호(350, 355)에 제1 및 제2 유사블록(320, 325)과 제1 및 제2 중첩블록(340, 345)을 포함시켜서 합성신호(360)에도 유사블록(370) 및 중첩블록(390)이 포함되도록 하는 이유는 앞에서 언급하였듯이 합성신호(360)를 현재 프레임에 복사했을 때, 합성신호(360)의 이전에 출력된 신호 또는 합성신호(360)의 이후에 출력되는 신호와 합성신호(360)의 경계에서 불연속이 생기는 것을 방지하기 위함이다. 즉, 유사블록(370)과 합성신호(360) 이전에 출력된 신호를 중첩하여 더함으로 합성신호(360)를 스무딩(smoothing)하고 또는 중첩블록(390)과 합성신호(360) 이후에 출력된 신호를 중첩하여 더함으로 합성신호(360)를 스무딩하기 위함이다. Since the first and second similar blocks 320 and 325 are the two blocks having the highest correlation with the previous block 310, the first and second similar blocks 320 and 325 are continuous after the first and second similar blocks 320 and 325, respectively. 2 The next signal 330, 340, 335, 345 will be similar to the signal of n frames. Here, the first and second similar blocks 320 and 325 and the first and second overlapping blocks 340 and 345 are included in the first and second transfer signals 350 and 355 to thereby be similar to the composite signal 360. The reason why the block 370 and the overlapping block 390 are included is as described above, when the synthesized signal 360 is copied to the current frame, the previously output signal of the synthesized signal 360 or the synthesized signal 360 is included. This is to prevent discontinuity at the boundary between the output signal and the synthesized signal 360. That is, the superimposed signal 370 and the output signal before the synthesized signal 360 are overlapped and added to smooth the composite signal 360 or are output after the superposed block 390 and the synthesized signal 360. This is to smooth the synthesized signal 360 by superimposing and adding the signals.

제1 및 제2 이전신호(350, 355)를 합성하여 합성신호(360)를 생성하는 과정(제 220 내지 제 240단계)를 보다 자세하게 살펴보자.The process of generating the synthesized signal 360 by synthesizing the first and second transfer signals 350 and 355 will be described in more detail.

먼저, 제1 및 제2 유사블록(320, 325)과 직전블록(310)간의 상관도에 기초하여 제1 및 제2 이전신호(350, 355)를 윈도윙 하기 위한 제1 및 제2 윈도우 함수를 결정한다(제 220단계). 여기서, 제1 및 제2 윈도우 함수의 합은 '1'이 되도록 함이 바람직하다. 또한, 제1 및 제2 유사블록(320, 325) 중에서 직전블록(310)과의 상관도가 더 큰 유사블록을 포함하는 이전신호에 부여되는 가중치가 나머지 다른 이전신호에 부여되는 가중치보다 더 크도록 제1 및 제2 윈도우 함수를 결정하는 것이 바람직하다. 이렇게 함으로써 윈도우 함수를 곱하여 윈도윙된 이전신호들을 합성하여 생성된 합성신호(360)에서 오류가 발생된 프레임의 신호와 더 유사한 이전신호가 나머지 다른 이전신호보다 더 큰 비중을 차지하게 될 것이고, 오류가 발생된 프레임의 신호에 보다 근접한 합성신호(360)가 생성될 수 있을 것이다.First, first and second window functions for windowing the first and second transfer signals 350 and 355 based on a correlation between the first and second similar blocks 320 and 325 and the immediately preceding block 310. Determine (step 220). Here, the sum of the first and second window functions is preferably '1'. In addition, the weight given to the previous signal including the similar block having a higher correlation with the previous block 310 among the first and second similar blocks 320 and 325 is greater than the weight given to the other previous signals. Preferably, the first and second window functions are determined. By doing so, in the synthesized signal 360 generated by multiplying the window function by synthesizing the windowed previous signals, the previous signal more similar to the signal of the frame in which the error has occurred will occupy a greater weight than the other previous signals. The synthesized signal 360 may be generated closer to the signal of the generated frame.

또한, 제1 및 제2 이전신호(350, 355)를 합성하여 생성된 합성신호(360)에서 제1 및 제2 유사블록(320, 325) 중에서 직전블록(310)과의 상관도가 더 큰 유사블록을 포함하는 이전신호는 페이드아웃(fade-out)되고 나머지 신호는 페이드인(fade-in)되도록 제1 및 제2 윈도우 함수를 결정할 수 도 있다.In addition, in the synthesized signal 360 generated by synthesizing the first and second transfer signals 350 and 355, the correlation with the previous block 310 among the first and second similar blocks 320 and 325 is greater. The first and second window functions may be determined such that the previous signal including the pseudoblock fades out and the remaining signals fade in.

도 4는 제1 및 제2 유사블록(320, 325)과 직전블록(310)의 상관도에 기초하여 제1 및 제2 윈도우 함수를 결정하는 방법의 구체적인 일 실시예를 설명하기 위한 참고도이다. 본 발명의 바람직한 실시예에 따르면, 제1 및 제2 윈도우 함수는 다음 수학식 2을 이용하여 설정된다. 4 is a reference diagram for describing a specific embodiment of a method of determining the first and second window functions based on a correlation between the first and second similar blocks 320 and 325 and the previous block 310. . According to a preferred embodiment of the present invention, the first and second window functions are set using Equation 2 below.

여기서, m은 제1 및 제2 이전신호(350, 355) 또는 합성신호(360)를 구성하는 시간 영역 샘플의 개수이다. 도 4에 도시된 바와 같이, 상기 F(x)는 k = 0인 경우, '1'에서 '0'으로 감소하는 일차 함수(410)가 되고, k = 1인 경우는 크기가 1인 상수 함수(430)가 된다. 따라서 k가 0≤ k ≤1 인 경우, F(x)는 일차 함수(410)와 상수함수(430) 사이에 위치하게 된다.Here, m is the number of time domain samples constituting the first and second transfer signals 350 and 355 or the combined signal 360. As shown in FIG. 4, when k = 0, F (x) becomes a linear function 410 that decreases from '1' to '0', and when k = 1, a constant function having a size of 1 (430). Therefore, when k is 0 ≦ k ≦ 1, F (x) is located between the linear function 410 and the constant function 430.

도 4에 도시된 바와 같이 제1 유사블록(320)의 상관도가 제2 유사블록(325)의 상관도보다 더 큰 경우에는 제1 및 제2 윈도우 함수(

,

)를 다음 수학식 3과 같이 결정하고, 제2 유사블록(325)의 상관도가 제1 유사블록(320)의 상관도보다 더 큰 경우에는 제1 윈도우 함수(

) 및 제2 윈도우 함수(

)를 다음 수학식 4와 같이 결정한다.As shown in FIG. 4, when the correlation of the first similar block 320 is greater than that of the second similar block 325, the first and second window functions (

,

) Is determined as in Equation 3 below, and the first window function (

) And the second window function (

) Is determined as in Equation 4.

k = 1 - (BC1 - BC2)/2 k = 1-(BC1-BC2) / 2

여기서, BC1은 제1 유사블록(320)과 직전블록(310)간의 상관도이고, BC2는 제2 유사블록(325)과 직전블록(310)간의 상관도이다. m은 제1 및 제2 이전신호(350. 355) 또는 합성신호(360)에 포함된 시간 영역 샘플의 개수이다.Here, BC1 is a correlation between the first similar block 320 and the immediately preceding block 310, and BC2 is a correlation between the second similar block 325 and the immediately preceding block 310. m is the number of time-domain samples included in the first and second transfer signals 350. 355 or the synthesized signal 360.

살펴본 바와 같이 본 발명의 일 실시예에 따르면 제1 및 제2 유사블록(320, 325) 중 상관도가 더 큰 유사블록을 포함하는 이전신호에 더 큰 가중치가 부여되도록 제1 및 제2 윈도우 함수를 결정한다. 또한, 제1 및 제2 유사블록(320, 325) 중 상관도가 더 큰 유사블록을 포함하는 이전신호가 앞부분에서 출력되도록 제1 및 제2 윈도우 함수를 결정한다. 이는 제1 및 제2 윈도우 함수에 의해 윈도윙된 제1 및 제2 이전신호(350, 355)를 합성하여 생성된 합성신호(360)를 n 프레임의 신호에 더 근접하도록 하기 위함이다.As described above, according to an exemplary embodiment of the present invention, the first and second window functions may be weighted to give a greater weight to a previous signal including a similar block having a higher correlation among the first and second similar blocks 320 and 325. Determine. Also, the first and second window functions are determined such that a previous signal including a similar block having a higher correlation among the first and second similar blocks 320 and 325 is output from the front part. This is to bring the synthesized signal 360 generated by synthesizing the first and second transfer signals 350 and 355 windowed by the first and second window functions closer to the signal of n frames.

제 220단계에서 제1 및 제2 윈도우 함수가 설정되면, 설정된 제1 및 제2 윈도우 함수를 각각 제1 및 제2 이전신호(350, 355)에 곱하여 제1 및 제2 이전신호(350, 355)를 윈도윙하고(제 230단계), 윈도윙된 제1 및 제2 이전신호(350, 355)를 중첩하여 더함으로써 합성신호(360)를 생성한다(제 240단계).When the first and second window functions are set in operation 220, the first and second window signals 350 and 355 are multiplied by the first and second transfer signals 350 and 355 respectively, respectively. ) Is synthesized (step 230), and the synthesized signal 360 is generated by adding the windowed first and second transfer signals 350 and 355 overlapping each other (step 240).

제 240단계에서 생성된 합성신호(360)를 적어도 일회 이상 n 프레임에 복사하여 출력한다(제 250단계). 합성신호(360)와 다른 신호와의 경계에서 불연속이 생기지 않도록 합성신호(360)의 유사블록(370)을 이전 (n-1) 프레임의 직전블록(310)과 중첩하여 더함으로써 합성신호(360)의 시작부분을 스무딩한다. 또는 합성신호(360)의 중첩블록(390)을 (n+1) 프레임의 시작부분 블록과 중첩하여 더함으로써 합성신호(360)의 끝부분을 스무딩한다.The synthesized signal 360 generated in operation 240 is copied at least once into n frames and output (n. 250). In order to prevent discontinuity at the boundary between the synthesized signal 360 and other signals, the similar block 370 of the synthesized signal 360 is added to the previous block 310 of the previous (n-1) frame so as to overlap the synthesized signal 360. Smooth the beginning of the). Alternatively, the overlapping block 390 of the synthesized signal 360 is added to overlap with the beginning block of the (n + 1) frame to smooth the end of the synthesized signal 360.

둘째로, 도 3 및 5를 참조하여 본 발명의 일 실시예에 따른 중첩방식에 의한 프레임 오류 은닉장치에 대해 살펴보겠다. 도 5는 본 발명의 일 실시예에 따른 중첩방식에 이한 프레임 오류 은닉장치의 구성을 도시한 블록도로서, 유사신호 추출부(500), 합성신호 생성부(510) 및 복원부(520)를 포함하고, 합성신호 생성부(510)는 윈도우 함수 결정부(530) 및 합성부(540)를 포함한다.Secondly, a frame error concealment apparatus based on an overlapping method according to an embodiment of the present invention will be described with reference to FIGS. 3 and 5. FIG. 5 is a block diagram showing a configuration of a frame error concealment apparatus according to an overlapping method according to an embodiment of the present invention, wherein the pseudo signal extractor 500, the synthesized signal generator 510, and the reconstructor 520 are illustrated. The synthesized signal generator 510 includes a window function determiner 530 and a combiner 540.

유사신호 추출부(500)는 오류가 발생된 n 프레임의 바로 이전에 위치한 직전블록(310)의 신호와 가장 상관도가 높은 두 개의 유사블록을 이전 프레임의 검색 구간에서 검색한다. 이전 프레임에서 첫 번째로 검색된 유사블록을 제1 유사블록(320)이라고 하고, 두 번째로 검색된 유사블록을 제2 유사블록(325)이라고 하자.The similar signal extractor 500 searches two similar blocks having the highest correlation with the signal of the immediately preceding block 310 located immediately before the n-frame in which an error occurs in the search section of the previous frame. The first similar block found in the previous frame is called the first similar block 320 and the second similar block is called the second similar block 325.

합성신호 생성부(510)는 검색된 제1 및 제2 유사블록(320, 325) 각각과 그 이후 소정 길이의 제1 제2 다음신호(330, 335)로 구성된 제1 및 제2 이전신호(350, 355)를 합성하여 n 프레임을 복원하기 위한 합성신호(360)를 생성한다. 도 3을 참조하면, 제1 및 제2 이전신호(350, 355)를 합성하여 생성된 합성신호(360)는 유사블록(370), n 프레임 신호를 복원하는데 직접 사용되는 부분(380) 및 중첩블록(390)을 포함한다. 제1 및 제2 유사블록(320, 325)은 직전블록(310)과 상관도가 가장 높은 두 개의 블록이므로, 제1 및 제2 유사블록(320, 325) 이후에 각각 연속되는 제1 및 제2 다음신호(330, 340, 335, 345)는 n 프레임의 신호와 유사할 것이다. 여기서, 제1 및 제2 이전신호(350, 355)에 제1 및 제2 유사블록(320, 325)과 제1 및 제2 중첩블록(340, 345)을 포함시켜서 합성신호(360)에도 유사블록(370) 및 중첩블록(390)이 포함되도록 하는 이유는 앞에서 언급하였듯이 합성신호(360)를 현재 프레임에 복사했을 때, 합성신호(360)의 이전에 출력된 신호 또는 합성신호(360)의 이후에 출력되는 신호와 합성신호(360)의 경계에서 불연속이 생기는 것을 방지하기 위함이다. 즉, 유사블록(370)과 합성신호(360) 이전에 출력된 신호를 중첩하여 더함으로 합성신호(360)를 스무딩(smoothing)하고 또는 중첩블록(390)과 합성신호(360) 이후에 출력된 신호를 중첩하여 더함으로 합성신호(360)를 스무딩하기 위함이다.The synthesized signal generator 510 includes first and second similar blocks 320 and 325 each of which are searched for and first and second previous signals 330 and 335 of a predetermined length thereafter. 355 is synthesized to generate a synthesized signal 360 for restoring n frames. Referring to FIG. 3, the synthesized signal 360 generated by synthesizing the first and second transfer signals 350 and 355 may include a pseudo block 370, a portion 380 directly used to recover an n-frame signal, and an overlap. Block 390. Since the first and second similar blocks 320 and 325 are the two blocks having the highest correlation with the previous block 310, the first and second similar blocks 320 and 325 are continuous after the first and second similar blocks 320 and 325, respectively. 2 The next signal 330, 340, 335, 345 will be similar to the signal of n frames. Here, the first and second similar blocks 320 and 325 and the first and second overlapping blocks 340 and 345 are included in the first and second transfer signals 350 and 355 to thereby be similar to the composite signal 360. The reason why the block 370 and the overlapping block 390 are included is as described above, when the synthesized signal 360 is copied to the current frame, the previously output signal of the synthesized signal 360 or the synthesized signal 360 is included. This is to prevent discontinuity at the boundary between the output signal and the synthesized signal 360. That is, the superimposed signal 370 and the output signal before the synthesized signal 360 are overlapped and added to smooth the composite signal 360 or are output after the superposed block 390 and the synthesized signal 360. This is to smooth the synthesized signal 360 by superimposing and adding the signals.

합성신호 생성부(510)를 구성하는 윈도우 함수 결정부(530) 및 곱셉부(540)의 동작에 대해 살펴보자.The operation of the window function determining unit 530 and the multiplication unit 540 constituting the synthesized signal generator 510 will be described.

윈도우 함수 결정부(530)는 제1 및 제2 유사블록(320, 325)과 직전블록(310)간의 상관도에 기초하여 제1 및 제2 이전신호(350, 355)를 윈도윙 하기 위한 제1 및 제2 윈도우 함수를 결정한다. 여기서, 제1 및 제2 윈도우 함수의 합은 '1'이 되도록 함이 바람직하다. 또한, 제1 및 제2 유사블록(320, 325) 중에서 직전블록(310)과의 상관도가 더 큰 유사블록을 포함하는 이전신호에 부여되는 가중치가 나머지 다른 이전신호에 부여되는 가중치보다 더 크도록 제1 및 제2 윈도우 함수를 결정하는 것이 바람직하다. 이렇게 함으로써 윈도우 함수를 곱하여 윈도윙된 이전신호들을 합성하여 생성된 합성신호(360)에서 오류가 발생된 프레임의 신호와 더 유사한 이전신호가 나머지 다른 이전신호보다 더 큰 비중을 차지하게 될 것이고, 오류가 발생된 프레임의 신호에 보다 근접한 합성신호(360)가 생성될 수 있을 것이다.The window function determiner 530 is configured to window the first and second transfer signals 350 and 355 based on a correlation between the first and second similar blocks 320 and 325 and the previous block 310. Determine the first and second window functions. Here, the sum of the first and second window functions is preferably '1'. In addition, the weight given to the previous signal including the similar block having a higher correlation with the previous block 310 among the first and second similar blocks 320 and 325 is greater than the weight given to the other previous signals. Preferably, the first and second window functions are determined. By doing so, in the synthesized signal 360 generated by multiplying the window function by synthesizing the windowed previous signals, the previous signal more similar to the signal of the frame in which the error has occurred will occupy a greater weight than the other previous signals. The synthesized signal 360 may be generated closer to the signal of the generated frame.

도 4는 제1 및 제2 유사블록(320, 325)과 직전블록(310)의 상관도에 기초하여 제1 및 제2 윈도우 함수를 결정하는 방법의 구체적인 일 실시예를 설명하기 위한 참고도이다. 본 발명의 바람직한 실시예에 따르면, 제1 및 제2 윈도우 함수는 다음 수학식 5를 이용하여 설정된다. 4 is a reference diagram for describing a specific embodiment of a method of determining the first and second window functions based on a correlation between the first and second similar blocks 320 and 325 and the previous block 310. . According to a preferred embodiment of the present invention, the first and second window functions are set using Equation 5 below.

,

)를 다음 수학식 6과 같이 결정하고, 제2 유사블록(325)의 상관도가 제1 유사블록(320)의 상관도보다 더 큰 경우에는 제1 윈도우 함수(

) 및 제2 윈도우 함수(

)를 다음 수학식 7과 같이 결정한다.As shown in FIG. 4, when the correlation of the first similar block 320 is greater than that of the second similar block 325, the first and second window functions (

,

) Is determined as in Equation 6 below, and the first window function (

) And the second window function (

) Is determined as in Equation 7 below.

k = 1 - (BC1 - BC2)/2 k = 1-(BC1-BC2) / 2

합성부(540)는 윈도우 함수 설정부(530)에서 설정된 제1 및 제2 윈도우 함수를 각각 제1 및 제2 이전신호(350, 355)에 곱하여 제1 및 제2 이전신호(350, 355)를 윈도윙하고(제 230단계), 윈도윙된 제1 및 제2 이전신호(350, 355)를 중첩하여 더함으로써 합성신호(360)를 생성한다.The synthesis unit 540 multiplies the first and second transfer signals 350 and 355 by the first and second window functions set by the window function setting unit 530, respectively, to the first and second transfer signals 350 and 355. Next, the synthesized signal 360 is generated by adding the windowed first and second transfer signals 350 and 355 overlapped with each other.

복원부(520)는 합성신호 생성부(510)에서 생성된 합성신호(360)를 적어도 일회 이상 n 프레임에 복사하여 출력함으로써 n 프레임 신호를 복원한다. 이때, 복원부(520)는 합성신호(360)와 다른 신호와의 경계에서 불연속이 생기지 않도록 합성신호(360)의 유사블록(370)을 이전 (n-1) 프레임의 직전블록(310)과 중첩하여 더함으로써 합성신호(360)의 시작부분을 스무딩한다. 또는 합성신호(360)의 중첩블록(390)을 (n+1) 프레임의 시작부분 블록과 중첩하여 더함으로써 합성신호(360)의 끝부분을 스무딩한다.The reconstructor 520 reconstructs the n frame signal by copying the synthesized signal 360 generated by the synthesized signal generator 510 to n frames at least once or more. At this time, the reconstructor 520 moves the similar block 370 of the synthesized signal 360 and the previous block 310 of the previous (n-1) frame so that discontinuity does not occur at the boundary between the synthesized signal 360 and another signal. By superimposing, the start of the synthesized signal 360 is smoothed. Alternatively, the overlapping block 390 of the synthesized signal 360 is added to overlap with the beginning block of the (n + 1) frame to smooth the end of the synthesized signal 360.

살펴본 바와 같이 본 발명의 일 실시예에 따른 중첩방식에 의한 프레임 오류 은닉방법 및 장치는 오류가 발생된 프레임 신호와 유사한 복수 개의 이전신호를 이용하여 새로운 합성신호를 생성하고, 이 합성신호를 오류가 발생된 프레임에 복사하여 오류를 은닉함으로 반복방식에 의해 프레임 오류를 은닉하는 경우에 문제가 되는 변조 노이즈의 발생을 방지할 수 있다.As described above, the method and apparatus for concealing a frame error by an overlapping method according to an embodiment of the present invention generate a new composite signal using a plurality of previous signals similar to the frame signal in which the error has occurred, and then generate the synthesized signal in error. By copying the generated frame to conceal the error, it is possible to prevent the generation of the modulation noise which is a problem when concealing the frame error by the iterative method.

셋째로, 본 발명의 일 실시예에 따른 오류은닉방식 구성방법을 이용하는 적응적 프레임 오류 은닉방법에 관하여 살펴보기로 하자. 본 발명의 일 실시예에 따른 오류은닉방식 구성방법은 복수의 프레임에 연속하여 오류가 발생된 경우, 중첩법, 반복법 및 보간 방식에 의한 프레임 오류 은닉방법(이하, '보간법'이라 함)을 적절히 조합하여 복수의 프레임의 오류은닉방식을 구성함으로써 복원된 음질을 극대화할 수 있는 방법에 관한 것이다. 반복법과 중첩법은 앞에서 설명되었으므로 도 6을 참조하여 보간법에 관해서 살펴본 후에, 본 발명의 일 실시예에 따른 오류은닉방식 구성방법을 이용하는 적응적 프레임 오류 은닉방법에 관하여 살펴보기로 하자. 도 6은 일 실시예에 따른 보간법을 설명하기 위한 참고도이다.Third, an adaptive frame error concealment method using an error concealment configuration method according to an embodiment of the present invention will be described. The error concealment method configuration method according to an embodiment of the present invention is a frame error concealment method (hereinafter, referred to as an interpolation method) by a superposition method, a repetition method, and an interpolation method when an error occurs continuously in a plurality of frames. By combining the error concealment method of a plurality of frames in combination to a method that can maximize the restored sound quality. Since the repetition method and the superposition method have been described above, the interpolation method will be described with reference to FIG. 6, and then an adaptive frame error concealment method using the error concealment method configuration according to an embodiment of the present invention will be described. 6 is a reference diagram for explaining an interpolation method, according to an exemplary embodiment.

도 6을 참조하면, 보간법은 이전 프레임(previous frame, 600)과 오류가 없는 다음 프레임(next good frame, 620)간에 선형 보간법(linear interpolation)을 적용한다. 지연 문제로 인해 미래 신호가 프레임 단위로 마련되어 있으므로 오버랩를 위해 윈도우를 수정하여 릴렉스드 보간법(relaxed interpolation)을 적용한다. 릴렉스드 보간법에서 사용되는 윈도우는 도 6에 도시되어 있다. 여기서 사용되는 윈도우 구조는 장방 윈도우와 일차 함수, 다차 함수, 또는 사인 함수가 사용될 수 있다. 도 6은 일차 함수를 사용하는 윈도우의 일 실시예를 도시한 것이다. 여기서, 주의할 점은 이전 윈도우(800)와 다음 윈도우(820)가 중첩된(overlap) 경우 두 윈도우 함수의 합은 '1'이 되어야 한다는 것이다. 도 6에 의하면 프레임과 동일한 크기의 두 윈도우를 중첩하여 더하는(overlap and add) 릴렉스드 보간법(relaxed interpolation)에 의해서 출력되는 신호는 프레임 크기의 신호에 소정 크기(overlap size, OV_SIZE)의 블록의 신호를 더 포함한다. 이렇게 더 포함된 블록의 신호는 다음 프레임(820)의 신호와 중첩되어 더해짐(overlap and add)으로 보간법에 의하여 복원된 신호의 뒷부분 경계를 스무딩한다. 그리고 보간법에 의하여 복원된 신호의 앞부분 경계는 이전 프레임(800)의 신호와 중첩되어 더해짐(overlap and add) 스무딩된다. Referring to FIG. 6, the interpolation method applies linear interpolation between the previous frame 600 and the next good frame 620 without errors. Due to the delay problem, the future signal is provided in units of frames, so that the window is modified for overlap and relaxed interpolation is applied. The window used in the relaxed interpolation method is shown in FIG. As the window structure used herein, a rectangular window and a linear function, a linear function, or a sine function may be used. 6 illustrates one embodiment of a window using a linear function. Note that the sum of the two window functions should be '1' when the previous window 800 and the next window 820 overlap. According to FIG. 6, a signal output by relaxed interpolation by overlapping and adding two windows having the same size as a frame is a signal of a block of a predetermined size (overlap size, OV_SIZE) to a signal of a frame size. It further includes. The signal of the block further included is added to overlap with the signal of the next frame 820 to smooth the rear boundary of the signal reconstructed by interpolation. The front boundary of the signal reconstructed by the interpolation method is overlapped and added to the signal of the previous frame 800 and smoothed.

이렇게 하여 시간 영역에서 오류가 발생된 프레임의 신호를 복원함으로써 프레임 오류를 은닉하는 방식들인 중첩법, 반복법 및 보간법에 대하여 살펴보았다. 각 방식들의 특성을 고려해보자. In this way, the overlapping, iterative, and interpolation methods that cover the frame error by restoring the signal of the frame in which the error occurred in the time domain have been described. Consider the characteristics of each method.

우선, 본 발명에 따른 중첩법은 복수 개의 이전신호를 합성하여 새롭게 생성된 합성신호에 의해 오류 프레임 신호를 복원하므로 변조 노이즈가 크게 문제되지 않는다. 그러나 버스트 오류와 같이 오류 프레임 구간이 길어지는 경우에 중첩법에 의해 오류가 발생된 프레임의 신호를 복원하면 복원된 신호의 에너지가 감쇠(attenuation)되는 문제가 있을 수 있다. 반복법은 버스트 오류와 같이 오류가 발생된 프레임 구간의 길이가 길어지는 경우 변조 노이즈가 문제될 수 있다. 그러나, 반복법은 중첩법과 달리 복원된 신호의 에너지를 감쇄시키지 않으므로 이전 신호의 에너지를 그대로 유지시켜주는 특성이 있다. 보간법은 이전 프레임과 다음 프레임을 모두 이용하여 오류 프레임을 복원하므로 복원된 신호의 정확성을 높일 수 있으나, 다음 프레임이 오류가 발생되지 않은 정상 프레임이어야 한다는 제약이 있다.First, since the superposition method according to the present invention restores an error frame signal by synthesizing a plurality of previous signals and a newly generated synthesized signal, modulation noise is not a problem. However, when the error frame section is long, such as a burst error, when the signal of the frame in which the error is generated by the overlapping method is restored, there may be a problem in that the energy of the restored signal is attenuated. In the repetition method, modulation noise may be a problem when the length of the frame section in which an error occurs such as a burst error becomes long. However, since the repetition method does not attenuate the energy of the restored signal unlike the superposition method, the repetition method maintains the energy of the previous signal as it is. Since the interpolation method restores an error frame using both the previous frame and the next frame, the accuracy of the restored signal can be improved, but there is a restriction that the next frame should be a normal frame without an error.

이처럼 중첩법, 반복법 및 보간법은 프레임 오류를 은닉하는데 있어서 각각의 특성을 가지고 있다. 따라서 복수의 프레임에 연속하여 오류가 발생된 경우, 중첩법, 반복법 및 보간법을 각 방식을 특성에 맞게 적절히 조합하여 이 복수 프레임의 오류를 은닉하기 위한 방식을 구성함으로써 복원된 신호의 음질을 극대화할 수 있다.As such, superposition, iteration, and interpolation have their characteristics in concealing frame errors. Therefore, when an error occurs in a plurality of frames in succession, the overlapping, repeating, and interpolation methods are appropriately combined with each other to form a method for concealing the error of the plurality of frames to maximize the sound quality of the restored signal. Can be.

이하. 도 7을 참조하여 본 발명의 일 실시예에 따른 오류은닉방식 구성방법을 이용하는 적응적 프레임 오류 은닉방법에 관하여 살펴보기로 하자.Below. An adaptive frame error concealment method using an error concealment configuration method according to an embodiment of the present invention will be described with reference to FIG. 7.

우선, 오류가 발생된 현재 프레임의 이전 프레임 및 다음 프레임의 오류은닉상황을 분석한다(제 700단계). 제 700단계에서 분석된 결과를 고려하여 현재 프레임의 오류은닉방식을 선정하고, 선정된 방식에 따라 현재 프레임의 오류를 은닉한다(제 710 내지 제 795단계). 우선, 다음 프레임에 오류가 발생되었는지 여부를 판단한다(제 710단계). 제 710단계에서 다음 프레임에 오류가 발생되지 않은 것으로 판단되면, 즉, 다음 프레임이 정상 프레임(good frame)인 것으로 판단되면, 보간법을 현재 프레임의 오류은닉방식으로 선정한다(제 720단계). 제 710단계에서 다음 프레임에 오류가 발생된 것으로 판단되면, 현재 프레임의 이전 프레임에 오류가 발생되었는지 여부를 판단한다(제 730단계). 제 730단계에서 이전 프레임에 오류가 발생되지 않은 것으로 판단되면, 즉, 이전 프레임이 정상 프레임인 것으로 판단되면, 중첩법을 현재 프레임의 오류은닉방식으로 선정한다(제 740단계). 제 730단계에서 이전 프레임에 오류가 발생된 것으로 판단되면, 이전 프레임의 오류가 중첩법에 의해 은닉되었는지 아니면 반복법에 의해 은닉되었는지 여부를 판단한다(제 750단계). 이전 프레임의 오류가 보간법에 의해 은닉되었는지 여부를 판단하지 않는 이유는 현재 프레임이 오류가 발생된 프레임이므로 이전 프레임에서 보간법에 의해 오류를 은닉할 수 없었을 것이기 때문이다. 제 750단계에서 반복법에 의해 이전 프레임의 오류가 은닉된 것으로 판단되면, 중첩법을 현재 프레임의 오류은닉방식으로 선정한다(제 760단계). 제 750단계에서 중첩법에 의해 이전 프레임의 오류가 은닉된 것으로 판단되면, 이전 프레임들에 발생된 오류를 은닉하기 위해 중첩법이 연속하여 소정횟수 이상 사용되었는지 여부를 판단한다(제 770단계). 이를 판단하는 이유는 중첩법이 연속하여 소정횟수 이상 사용되는 경우 중첩법에 의해 복원된 신호의 에너지가 제안기준 이하의 크기로 감쇄되는 것을 방지하기 위함이다. 제 770단계에서 중첩법이 연속하여 소정횟수 이상 사용된 것으로 판단되면, 반복법을 현재 프레임의 오류은닉방식으로 선정하고(제 780단계), 소정횟수 이상 사용되지 않은 것으로 판단되면, 중첩법 또는 반복법 중 어느 하나를 현재 프레임의 오류은닉방식으로 선정한다(제 790단계). 제 710 내지 제 790단계에서 현재 프레임의 오류은닉방식의 선정이 끝난 후에, 선정된 방식에 의해 현재 프레임 신호를 복원한다(제 795단계).First, the error concealment of the previous frame and the next frame of the current frame in which the error occurred is analyzed (step 700). The error concealment method of the current frame is selected in consideration of the result analyzed in operation 700, and the error of the current frame is concealed according to the selected method (steps 710 to 795). First, it is determined whether an error has occurred in the next frame (step 710). If it is determined in step 710 that no error occurs in the next frame, that is, if it is determined that the next frame is a good frame, the interpolation method is selected as an error concealment method of the current frame (step 720). If it is determined in step 710 that an error occurs in the next frame, it is determined whether an error occurs in the previous frame of the current frame (step 730). If it is determined in step 730 that no error occurs in the previous frame, that is, if it is determined that the previous frame is a normal frame, the superposition method is selected as an error concealment method of the current frame (step 740). If it is determined in step 730 that an error occurs in the previous frame, it is determined whether an error of the previous frame is concealed by an overlapping method or by an iterative method (step 750). The reason for not determining whether the error of the previous frame is concealed by interpolation is that the current frame may not have concealed the error by interpolation in the previous frame since the current frame is the frame in which the error occurred. If it is determined in step 750 that the error of the previous frame is concealed by the repetition method, the overlapping method is selected as an error concealment method of the current frame (step 760). If it is determined in step 750 that the error of the previous frame is concealed by the overlapping method, it is determined whether or not the overlapping method is continuously used a predetermined number of times or more in order to conceal errors occurring in the previous frames (step 770). The reason for determining this is to prevent the energy of the signal restored by the superposition method from being reduced to a magnitude below the proposed criterion when the superposition method is used a predetermined number of times in succession. If it is determined in step 770 that the overlapping method is used more than a predetermined number of times in succession, the repetition method is selected as an error concealment method of the current frame (step 780). One is selected as an error concealment method of the current frame (step 790). After selecting the error concealment method of the current frame in steps 710 to 790, the current frame signal is restored by the selected method (step 795).

도 8은 주파수 영역의 프레임 오류가 시간 영역에서 미치는 영향을 설명하기 위한 참고도이다. 도 8을 참조하면, 부호화 단계에서 시간 영역 샘플들을 MDCT(Modulated Discrete Cosine Transformation)할 때, 일반적으로 50% 오버랩(overlap) 윈도우에 의해 MDCT가 수행한다. 따라서 부호화된 오디오 신호가 전송되는 과정에서 주파수 영역상의 N(1 이상의 정수) 개의 프레임에 오류가 발생되는 경우, 시간 영역에서는 N+1개의 프레임에 오류가 발생되게 된다. 따라서 주파수 영역상의 한 프레임에 오류가 발생된 경우, 반복법에 의해 오류가 발생된 프레임 신호를 복원하는 경우, 적어도 세 번 동일한 신호가 반복되므로 변조 노이즈가 발생될 수 있다. 따라서 중첩법, 반복법 및 보간법을 적절히 조합하여 오류은닉방식을 구성할 필요가 있으며, 반복법의 경우 한 프레임 이상 연속하여 사용되지 않도록 하므로 변조 노이즈 발생을 방지할 수 있다.8 is a reference diagram for explaining an effect of a frame error in the frequency domain in the time domain. Referring to FIG. 8, when modulating Discrete Cosine Transformation (MDCT) of time-domain samples in an encoding step, MDCT is generally performed by a 50% overlap window. Therefore, when an error occurs in N (integer or greater) frames in the frequency domain while an encoded audio signal is transmitted, an error occurs in N + 1 frames in the time domain. Therefore, when an error occurs in one frame in the frequency domain, and when restoring a frame signal in which an error is generated by the repetition method, the same signal is repeated at least three times, and thus modulation noise may be generated. Therefore, it is necessary to construct an error concealment method by appropriately combining the superposition method, the repetition method, and the interpolation method. In the case of the repetition method, modulation noise can be prevented because it is not used continuously for more than one frame.

도 9a 내지 9c는 본 발명의 일 실시예에 따른 오류은닉방식 구성방법에 의해 구성된 오류가 발생된 프레임의 은닉방식을 도시한 것이다. 도 9a는 주파수 영역에서 하나의 프레임에 오류가 발생된 경우이고, 도 9b는 두 개의 프레임에 오류가 발생된 경우, 도 9c는 세 개의 프레임에 오류가 발생된 경우이다. W/O error는 오류가 발생되지 않은 정상 프레임임을 의미하며, Overlapping은 중첩법에 의해 프레임 오류가 은닉되도록 선정되었음을 의미한다. Repetition은 반복법에 의해 프레임 오류가 은닉되도록 선정되었음을 의미하고, Interpolation은 보간법에 의해 프레임 오류가 은닉되도록 선정되었음을 의미한다. 도 9a 내지 9c에 도시된 바와 같이, 다음 프레임이 정상 프레임이면 보간법에 의해 현재 프레임의 오류를 은닉되고, 이전 프레임이 정상프레임이면 즉, 현재 프레임에서 오류가 시작되면 중첩법에 의해 현재 프레임의 오류가 은닉되도록 구성되었음을 알 수 있다. 또한, 중첩법에 의해 오류를 은닉하는 프레임들 사이에 반복법에 의해 오류가 은닉되는 프레임이 삽입되며, 반복법에 의해 연속하여 프레임 오류가 은닉되지 않도록 구성되었음을 알 수 있다.9A to 9C illustrate a concealment method of a frame in which an error is generated by the error concealment method configuration method according to an embodiment of the present invention. FIG. 9A illustrates a case where an error occurs in one frame in the frequency domain, and FIG. 9B illustrates a case where an error occurs in two frames and FIG. 9C illustrates a case where an error occurs in three frames. W / O error means normal frame where no error occurred, and overlapping means that frame error is selected to be concealed by overlapping method. Repetition means that the frame error is selected to be concealed by the repetition method, and Interpolation means that the frame error is selected to be concealed by the interpolation method. As shown in Figs. 9A to 9C, if the next frame is a normal frame, the error of the current frame is concealed by interpolation. If the previous frame is a normal frame, that is, if the error starts in the current frame, the error of the current frame is overlapped. It can be seen that is configured to conceal. In addition, it can be seen that a frame in which an error is concealed by an iterative method is inserted between frames concealing an error by an overlapping method, and it is understood that the frame error is not concealed continuously by the iterative method.

네 번째로, 도 10을 참조하여 본 발명의 일 실시예에 따른 오류은닉방식 구성장치를 포함하는 적응적 프레임 오류 은닉장치에 관해 살펴보기로 하자. 도 10은 본 발명의 일 실시예에 따른 오류은닉방식 구성장치를 포함하는 적응적 프레임 오류 은닉장치의 구성을 도시한 블록도로서, 오류은닉방식 선정부(1000) 및 오류 은닉부(1010)를 포함하고, 오류은닉방식 선정부(1000)는 분석부(1020) 및 선정부(1030)를 포함한다.Fourth, an adaptive frame error concealment apparatus including an error concealment configuration apparatus according to an embodiment of the present invention will be described with reference to FIG. 10. FIG. 10 is a block diagram illustrating a configuration of an adaptive frame error concealment apparatus including an error concealment configuration apparatus according to an embodiment of the present invention, and includes an error concealment selection unit 1000 and an error concealment unit 1010. In addition, the error concealment method selection unit 1000 includes an analysis unit 1020 and the selection unit 1030.

분석부(1020)는 오류가 발생된 현재 프레임의 이전(previous) 및 다음(next) 프레임의 오류은닉상황을 분석한다. 여기서, 이전 및 다음 프레임의 오류은닉상황에는 이전 프레임의 오류발생여부, 이전 프레임에 오류가 발생되었다면 이전 프레임의 오류를 은닉하기 위해 사용된 방식, 다음 프레임의 오류발생여부 및 이전 프레임의 오류를 은닉하기 위하여 연속하여 소정회수 이상 중첩법이 사용되었는지 여부 등이 포함될 수 있다.The analysis unit 1020 analyzes the error concealment status of the previous and next frames of the current frame in which the error occurs. Here, the error concealment of the previous frame and the next frame concealed whether an error occurred in the previous frame, the method used to conceal the error of the previous frame if an error occurred in the previous frame, whether the error occurred in the next frame, and the error of the previous frame. To this end, it may include whether or not the overlapping method is used a predetermined number of times in succession.

선정부(1030)는 상기 분석부(1020)에서 분석된 결과를 고려하여 시간 영역에서의 중첩법, 반복법 및 보간법 중에서 상기 프레임에 발생된 오류를 은닉하기 위한 방식을 선정한다.The selecting unit 1030 selects a method for concealing an error generated in the frame among the superposition method, the repetition method, and the interpolation method in the time domain in consideration of the result analyzed by the analysis unit 1020.

예를 들어, 선정부(1030)는 분석결과 이전 프레임이 정상 프레임인 것으로 판단되면 중첩법을 현재 프레임의 오류은닉방식으로 선정할 수 있다. 또, 선정부(1030)는 분석결과 이전 프레임에 발생된 오류를 은닉하기 위해 반복법이 사용된 것으로 판단되면 반복법 외의 나머지 방식들 중 어느 하나를 현재 프레임의 오류은닉방식으로 선정할 수 있다. 또, 선정부(1030)는 이전 프레임에 발생된 오류를 은닉하기 위해 중첩법이 연속하여 소정 횟수이상 사용된 것으로 판단되면 중첩법 외의 나머지 방식들 중 어느 하나를 현재 프레임의 오류은닉방식으로 선정할 수 있다. 또, 선정부(1030)는 다음 프레임이 정상 프레임인 것으로 판단되면 보간법을 상기 현재 프레임의 오류은닉방식으로 선정할 수 있다.For example, if it is determined that the previous frame is a normal frame, the selector 1030 may select the superposition method as an error concealment method of the current frame. In addition, if it is determined that the repetition method is used to conceal an error occurring in the previous frame as a result of the analysis, the selecting unit 1030 may select any one of the remaining methods other than the repetition method as the error concealment method of the current frame. In addition, if it is determined that the superposition method is used a predetermined number of times consecutively to conceal an error occurring in the previous frame, the selecting unit 1030 may select one of the remaining methods other than the superposition method as the error concealment method of the current frame. Can be. In addition, if it is determined that the next frame is a normal frame, the selector 1030 may select the interpolation method as an error concealment method of the current frame.

보다 구체적으로 선정부(1030)의 동작을 살며보면 다음과 같다. 우선, 분석부(1020)에서 분석된 결과를 고려하여 다음 프레임에 오류가 발생되었는지 여부를 판단한다. 다음 프레임이 정상 프레임(good frame)인 것으로 판단되면, 보간법을 현재 프레임의 오류은닉방식으로 선정한다. 다음 프레임에 오류가 발생된 것으로 판단되면, 현재 프레임의 이전 프레임에 오류가 발생되었는지 여부를 판단한다. 이전 프레임이 정상 프레임인 것으로 판단되면, 중첩법을 현재 프레임의 오류은닉방식으로 선정한다. 이전 프레임에 오류가 발생된 것으로 판단되면, 이전 프레임의 오류가 중첩법에 의해 은닉되었는지 아니면 반복법에 의해 은닉되었는지 여부를 판단한다. 이전 프레임의 오류가 보간법에 의해 은닉되었는지 여부를 판단하지 않는 이유는 현재 프레임이 오류가 발생된 프레임이므로 이전 프레임에서 보간법에 의해 오류를 은닉할 수 없었을 것이기 때문이다. 이전 프레임이 반복법에 의해 오류가 은닉된 것으로 판단되면, 중첩법을 현재 프레임의 오류은닉방식으로 선정한다. 그러나 이전 프레임이 중첩법에 의해 오류가 은닉된 것으로 판단되면, 이전 프레임들에 발생된 오류를 은닉하기 위해 중첩법이 연속하여 소정횟수 이상 사용되었는지 여부를 판단한다. 이를 판단하는 이유는 중첩법이 연속하여 소정횟수 이상 사용되는 경우 중첩법에 의해 복원된 신호의 에너지가 제안기준 이하의 크기로 감쇄되는 것을 방지하기 위함이다. 중첩법이 연속하여 소정횟수 이상 사용된 것으로 판단되면, 반복법을 현재 프레임의 오류은닉방식으로 선정하고, 소정횟수 이상 사용되지 않은 것으로 판단되면, 중첩법 또는 반복법 중 어느 하나를 현재 프레임의 오류은닉방식으로 선정한다.More specifically, the operation of the selection unit 1030 is as follows. First, it is determined whether an error occurs in the next frame in consideration of the result analyzed by the analysis unit 1020. If it is determined that the next frame is a good frame, the interpolation method is selected as an error concealment method of the current frame. If it is determined that an error occurs in the next frame, it is determined whether an error occurs in the previous frame of the current frame. If it is determined that the previous frame is a normal frame, the superposition method is selected as an error concealment method of the current frame. If it is determined that an error occurs in the previous frame, it is determined whether the error of the previous frame is concealed by the overlapping method or by the iterative method. The reason for not determining whether the error of the previous frame is concealed by interpolation is that the current frame may not have concealed the error by interpolation in the previous frame since the current frame is the frame in which the error occurred. If it is determined that an error is concealed by the repetition method, the superposition method is selected as an error concealment method of the current frame. However, if it is determined that an error is concealed by the overlapping method in the previous frame, it is determined whether or not the overlapping method is used a predetermined number of times consecutively in order to conceal errors occurring in the previous frames. The reason for determining this is to prevent the energy of the signal restored by the superposition method from being reduced to a magnitude below the proposed criterion when the superposition method is used a predetermined number of times in succession. If it is determined that the overlapping method is used more than a predetermined number of times consecutively, the repetition method is selected as the error concealment method of the current frame. To select.

오류 은닉부(1010)는 선정부(1030)에서 선정된 현재 프레임의 오류은닉방식에 따라 현재 프레임 신호를 복원함으로써 현재 프레임에 발생된 오류를 은닉한다.The error concealment unit 1010 conceals an error generated in the current frame by restoring the current frame signal according to the error concealment method of the current frame selected by the selecting unit 1030.

살펴본 바와 같이 본 발명의 일 실시예에 따른 오류은닉방식 구성방법을 이용한 적응적 프레임 오류 은닉방법 및 장치는 중첩법, 반복법 및 보간법을 각 은닉방식의 특성들에 맞게 적절히 조합하여 오류가 발생된 프레임의 오류은닉방식을 구성함으로써, 복원된 음질을 극대화할 수 있는 방식에 의해 각 프레임 신호가 복원될 수 있도록 한다. 또한, 본 발명에 따른 적응적 프레임 오류은닉방법 및 장치는 시간 영역에서 프레임 오류를 은닉하는 방식에 의해 오류 프레임의 신호를 복원함으로써 코더 코덱(core codec)과 독립적인(independent) 스탠드어론((stand alone) 구조에 의해 구현될 수 있다. 즉, 오류가 발생된 현재 프레임의 이전 프레임 또는 다음 프레임의 시간 영역 신호만을 통하여 현재 프레임 신호를 복원할 수 있다. 또한, 이전 프레임의 신호를 분석하는 등의 복잡한 절차 없이 중첩법, 반복법 및 보간법에 의해서만 프레임 오류를 은닉하므로 단순한 구조로 구현될 수 있다. 또한, 단순히 구조에 의해 한 프레임의 지연만으로 프레임 오류를 은닉할 수 있다.As described above, an adaptive frame error concealment method and apparatus using an error concealment method construction method according to an embodiment of the present invention is a frame in which an error is generated by appropriately combining an overlapping method, an iteration method, and an interpolation method according to the characteristics of each concealment method. By constructing an error concealment method, each frame signal can be recovered in a manner that can maximize the restored sound quality. In addition, the adaptive frame error concealment method and apparatus according to the present invention can recover a signal of an error frame by a method of concealing a frame error in the time domain. alone) structure, that is, the current frame signal can be recovered only through the time-domain signal of the previous frame or the next frame of the current frame in which the error has occurred. Since the frame error is concealed only by superposition, iteration, and interpolation without complicated procedures, the structure can be implemented in a simple structure, and the frame error can be concealed by simply delaying one frame by the structure.

본 발명은 컴퓨터로 읽을 수있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.The present invention can be embodied as code that can be read by a computer (including all devices having an information processing function) in a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of computer-readable recording devices include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like.

이러한 본 발명에 대한 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. . Accordingly, the true scope of the present invention should be determined by the appended claims.

1010 ... 오류은닉부 1020 ... 분석부
1030 ... 선정부1010 ... Error concealment unit 1020 ... Analysis unit
1030 ... Selection

Claims

오류가 발생된 프레임의 인접 프레임의 오류발생여부를 분석하는 분석부;
상기 분석된 결과를 고려하여 중첩법, 반복법 및 보간법을 포함하는 복수의 방식들 중에서 상기 오류가 발생한 프레임의 오류은닉방식을 선정하는 선정부; 및
상기 선정된 방식에 따라 상기 오류가 발생된 프레임의 오류를 은닉하는 은닉부를 포함하는 프레임 오류은닉장치.An analysis unit for analyzing whether an error occurs in an adjacent frame of an error frame;
A selection unit for selecting an error concealment method of a frame in which the error occurs among a plurality of methods including an overlapping method, an iterative method, and an interpolation method in consideration of the analyzed result; And
And a concealment unit for concealing an error of the frame in which the error has occurred according to the selected scheme.

제1항에 있어서, 상기 분석부는
다음 프레임의 오류발생여부 및 이전 프레임의 오류발생여부와 함께, 상기 이전 프레임에 오류가 발생되었다면 상기 이전 프레임의 오류를 은닉하기 위해 사용된 방식 및 상기 이전 프레임들의 오류를 은닉하기 위하여 연속하여 소정회수 이상 중첩법이 사용되었는지 여부 중 적어도 어느 하나를 추가로 분석하는 것을 특징으로 하는 프레임 오류은닉장치.The method of claim 1, wherein the analysis unit
In addition to whether an error occurred in the next frame and an error occurred in the previous frame, if the error occurred in the previous frame, the method used to conceal the error of the previous frame and the predetermined number of times consecutively to conceal the error of the previous frames. Frame error concealment device characterized in that it further analyzes at least one of whether or not the above superposition method is used.

제1항에 있어서, 상기 선정부는
이전 프레임이 정상 프레임인 것으로 판단되면 상기 중첩법을 상기 오류가 발생된 프레임의 오류은닉방식으로 선정하는 것을 특징으로 하는 프레임 오류은닉장치.The method of claim 1, wherein the selection unit
And if the previous frame is determined to be a normal frame, selecting the superposition method as an error concealment method of the frame in which the error occurs.

제2항에 있어서, 상기 선정부는
상기 이전 프레임에 발생된 오류를 은닉하기 위해 상기 반복법이 사용된 것으로 판단되면 상기 반복법 외의 나머지 방식들 중 어느 하나를 상기 오류가 발생된 프레임의 오류은닉방식으로 선정하는 것을 특징으로 하는 프레임 오류은닉장치.The method of claim 2, wherein the selecting unit
If it is determined that the repetition method is used to conceal an error occurring in the previous frame, the frame error concealment apparatus is characterized in that any one of the remaining methods other than the repetition method is selected as an error concealment method of the frame in which the error occurs. .

제2항에 있어서, 상기 선정부는
상기 이전 프레임에 발생된 오류를 은닉하기 위해 상기 중첩법이 연속하여 소정 횟수이상 사용된 것으로 판단되면 상기 중첩법 외의 나머지 방식들 중 어느 하나를 상기 오류가 발생된 프레임의 오류은닉방식으로 선정하는 것을 특징으로 하는 프레임 오류은닉장치.The method of claim 2, wherein the selecting unit
If it is determined that the superposition method is used a predetermined number of times consecutively to conceal an error occurring in the previous frame, selecting one of the remaining methods other than the superposition method as the error concealment method of the frame in which the error has occurred. Frame error concealment device characterized in that.

제1항에 있어서, 상기 선정부는
다음 프레임이 정상 프레임인 것으로 판단되면 상기 보간법을 상기 오류가 발생된 프레임의 오류은닉방식으로 선정하는 것을 특징으로 하는 프레임 오류은닉장치.
The method of claim 1, wherein the selection unit
And if the next frame is determined to be a normal frame, selecting the interpolation method as an error concealment method of the frame in which the error occurs.