KR100739785B1

KR100739785B1 - 관심 영역 기반 영상 부호화, 복호화 방법 및 장치

Info

Publication number: KR100739785B1
Application number: KR20060002366A
Authority: KR
Inventors: 류광렬
Original assignee: 삼성전자주식회사
Priority date: 2006-01-09
Filing date: 2006-01-09
Publication date: 2007-07-13
Also published as: EP1806932A2; CN100542294C; JP5110883B2; EP1806932A3; US20070189623A1; US7792372B2; KR20070074356A; JP2007184942A; CN101001372A

Abstract

본 발명은 영상의 특성에 따라 관심 영역의 데이터를 가변적으로 중복 생성하거나, 비관심 영역의 데이터를 축소함으로써 에러 발생시 복원력을 높이는 관심 영역 기반 영상 부호화, 복호화 방법 및 장치에 관한 것으로, 본 발명에 따른 관심 영역 기반 영상 부호화 방법 및 장치는 영상의 관심 영역 내에 위치한 각 블록들의 복잡도를 계산한 다음, 큰 복잡도를 갖는 관심 영역의 블록은 더 많은 중복 블록을 생성하고 작은 복잡도를 갖는 관심 영역의 블록은 더 적은 중복 블록을 생성함으로써 변환된 영상을 부호화하는 데에 특징이 있다.

Description

관심 영역 기반 영상 부호화, 복호화 방법 및 장치{Method and apparatus for encoding, decoding image based on region of interest}

도 1a 및 1b는 종래 기술에 따른 관심 영역 기반 영상 부호화 방법의 일 예를 나타낸 도면이다.

도 2는 종래 기술에 따른 관심 영역 기반 영상 부호화 방법을 설명하기 위한 도면이다.

도 3은 본 발명에 따른 관심 영역 기반 영상 부호화 장치의 일 실시예를 나타낸 도면이다.

도 4는 본 발명에 따른 관심 영역 기반 영상 부호화 장치에서 관심 영역을 변환하는 과정을 설명하기 위한 도면이다.

도 5는 본 발명에 따라서 관심 영역 내의 각 블록을 복잡도에 따라 분류하는 과정을 설명하기 위한 도면이다.

도 6은 도 4의 중복 변환된 영상에 대응되는 변환맵의 일 예를 나타낸 도면이다.

도 7은 본 발명에 따른 관심 영역 기반 영상 부호화 방법을 나타낸 플로우 차트이다.

도 8은 본 발명에 따른 관심 영역 기반 영상 복호화 장치의 구성을 나타낸 블록도이다.

도 9a 내지 9c는 본 발명에 따른 관심 영역 기반 영상 복호화 방법을 나타낸 플로우 차트이다.

본 발명은 영상 부호화, 복호화 방법 및 장치에 관한 것으로, 보다 상세하게는 영상의 부호화 이전 단계 또는 복호화 이후의 단계에서 영상의 특성에 따라 관심 영역의 데이터를 가변적으로 중복 생성하거나, 비관심 영역의 데이터를 축소함으로써 에러 발생시 복원력을 높이는 관심 영역 기반 영상 부호화, 복호화 방법 및 장치에 관한 것이다.

일반적으로 영상의 압축은 중복되는 정보(redundancy)를 제거함으로써 수행된다. 영상의 중복되는 정보를 제거하기 위해서 보통 움직임 예측, 보상에 의한 시간적 예측 부호화 및 동일 프레임 내에서 유사한 색이나 객체 간의 중복을 제거하는 공간적(temporal/spatial) 예측 부호화를 수행하며, 부가적으로 변환/양자화 및 엔트로피 부호화 과정을 수행한다.

상기와 같은 과정을 거쳐 압축된 영상을 소정의 전송 매체 등을 통해 전송할 때에 패킷 손실 등의 에러가 발생할 수 있다. 에러가 발생한 패킷에 구비된 영상은 정상적으로 복호화될 수 없다. 특히 에러가 발생한 패킷이 관심 영역(ROI:Region Of Interest)의 영상을 포함하고 있을 경우 영상의 품질이 떨어질 수 있다. 이러한 문제점을 해결하기 위하여 종래에는 영상의 부호화 이전의 전처리 단계에서 상대적으로 더 높은 중요성을 갖는 부분인 관심 영역을 중복 생성하는 관심 영역 기반 영상 부호화 방법이 제안된 바 있다. 종래 기술에 따른 관심 영역 기반 영상 부호화 방법은 관심 영역의 정보의 일부가 손실된 경우에도 다른 중복 블록 정보를 이용하여 영상을 복원할 수 있도록 함으로써 에러 발생시에 적어도 관심 영역의 에러 복원력을 향상시키기 위한 것이다.

도 1a 및 1b는 종래 기술에 따른 관심 영역 기반 영상 부호화 방법의 일 예를 나타낸 도면이고, 도 2는 종래 기술에 따른 관심 영역 기반 영상 부호화 방법을 설명하기 위한 도면이다.

Ali Jerbi, Jian Wang 및 Shahram Shirani의 논문 "Error-Resilient Region-of-Interest Video Coding"(IEEE Transactions on the Circuits and Systems for video Technology, 2005년 9월)에서는 도 1a에 도시된 바와 같은 아나운서의 얼굴에 해당하는 관심 영역을 블록 단위로 두 배로 확장하여 중복 블록을 생성하고, 비관심 영역은 상기 관심 영역과의 상대적인 위치에 따라 적당한 비율로 축소하여 도 1b에 도시된 바와 같은 변환 영상을 구성한 다음, 변환된 영상을 부호화하는 방법을 개시하고 있다.

도 2를 참조하면, 종래 기술에 따른 관심 영역 기반 영상 부호화 방법은 관심 영역(20) 내에 위치한 블록들(A 내지 F)을 2개씩 중복 생성한다. 즉, 관심 영역 내에 위치한 블록 A는 A1 및 A2로, 블록 B는 B1 및 B2로,..., 블록 F는 F1 및 F2로 중복 생성된다. 또한, 상기 관심 영역의 상하에 위치한 비관심 영역의 블록 들(a 내지 l)은 상기 관심 영역 블록들의 중복 생성으로 인해 축소 변환된다. 이와 같이 관심 영역 내의 블록들을 중복 생성함으로써 재구성된 영상을 부호화하는 경우에는, 상기 재구성된 영상의 관심 영역의 일부가 채널 에러에 의해 손실되는 경우에도 중복된 다른 블록의 정보를 이용할 수 있기 때문에 관심 영역 영상의 복원 가능성을 향상시킬 수 있다.

그러나, 상기 종래 기술에 따른 관심 영역 기반 영상 부호화 방법은 관심 영역의 영상 특성을 고려하지 않고 일괄적으로 관심 영역의 모든 블록을 동일한 배율로 중복 생성한다. 즉, 단순한 블록이든지 복잡한 블록이든지 간에 관심 영역 내의 블록은 모두 동일한 배율로 중복 생성한다. 이로 인해 종래 기술에 따르면 제한된 대역폭 내에서 상대적으로 더 많은 비트 할당이 요구되는 복잡한 영상 부분에 적절히 비트를 할당할 수 없었다. 따라서, 종래 기술에 따르면 단순한 영상에 대응되는 관심 영역의 블록은 필요 이상의 비트량을 소요하게 되고, 복잡한 영상에 대응되는 관심 영역의 블록은 필요한 데이터를 충분히 제공하지 못함으로써 에러 발생시에 정상적인 영상의 복원이 어려운 문제점이 있다.

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 관심 영역 내에 위치한 블록들의 영상 특성에 따라 상기 블록들이 중복 생성되는 배율을 다르게 설정함으로써 제한적인 대역폭의 한계 내에서 효율적인 영상 데이터의 전송을 실현하고 에러에 탄력적인(resilient) 영상을 얻을 수 있는 영상 부호화, 복호화 방법 및 장치를 제공하는 데에 목적이 있다.

상기와 같은 기술적 과제를 해결하기 위하여 본 발명에 따른 관심 영역 기반 영상 부호화 방법은, 영상 내에서 중복하여 부호화할 관심 영역을 결정하는 단계; 상기 관심 영역 내에 위치한 블록들의 영상 특성을 계산하는 단계; 상기 계산된 블록들의 영상 특성을 이용하여 상기 관심 영역 내에 위치한 각 블록들의 중복 생성 배율을 설정하는 단계; 상기 설정된 중복 생성 배율에 따라 상기 관심 영역 내에 위치한 블록들을 소정 방향으로 중복 생성하여 영상을 변환하는 단계; 및 상기 변환된 영상을 부호화하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 관심 영역 기반 영상 부호화 장치는, 영상 내에서 중복하여 부호화할 관심 영역을 결정하는 관심 영역 결정부; 상기 관심 영역 내에 위치한 블록들의 영상 특성을 계산하는 관심 영역 특성 계산부; 상기 계산된 블록들의 영상 특성을 이용하여 상기 관심 영역 내에 위치한 각 블록들의 중복 생성 배율을 설정하는 중복 생성 배율 설정부; 상기 설정된 중복 생성 배율에 따라 상기 관심 영역 내에 위치한 블록들을 소정 방향으로 중복 생성하여 영상을 변환하는 영상 변환부; 및 상기 변환된 영상을 부호화하는 영상 부호화부를 포함하는 것을 특징으로 한다.

본 발명에 따른 관심 영역 기반 영상 복호화 방법은, 관심 영역에 위치한 블록들은 소정의 중복 생성 배율에 따라 중복 생성하고, 비관심 영역에 위치한 블록들 중 상기 관심 영역에 위치한 블록들의 중복 생성 방향에 위치한 블록들은 상기 관심 영역에 위치한 블록들의 중복 생성 배율에 따라 축소 변환함으로써 변환된 영상을 부호화한 비트스트림을 수신하는 단계; 상기 변환된 영상을 복호화하고, 상기 관심 영역에 위치한 블록들의 중복 생성 배율 정보를 구비한 변환맵 정보를 추출하는 단계; 상기 변환맵 정보를 이용하여 상기 관심 영역에 대응되는 복수 개의 중복 블록들 중 손실없는 블록을 이용하여 상기 관심 영역에 대응되는 영상을 복원하는 단계; 및 상기 변환맵 정보를 이용하여 상기 축소 변환된 블록 부분의 영상을 소정 배율로 확대하여 상기 비관심 영역에 대응되는 영상을 복원하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 관심 영역 기반 영상 복호화 장치는, 관심 영역에 위치한 블록들은 소정의 중복 생성 배율에 따라 중복 생성되고, 비관심 영역에 위치한 블록들 중 상기 관심 영역에 위치한 블록들의 중복 생성 방향에 위치한 블록들은 상기 관심 영역에 위치한 블록들의 중복 생성 배율에 따라 축소 변환함으로써 변환된 영상을 부호화한 비트스트림을 복호화하고, 상기 비트스트림으로부터 상기 관심 영역에 위치한 블록들의 중복 생성 배율을 나타내는 변환맵 정보를 추출하는 영상 복호화부; 및 상기 변환맵 정보를 이용하여 상기 관심 영역 및 비관심 영역의 영상을 역변환하여 영상을 복원하는 영상 역변환부를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.

본 발명에 따른 관심 영역 기반 영상 부호화 장치는 영상의 관심 영역 내에 위치한 각 블록들의 복잡도를 계산한 다음, 큰 복잡도를 갖는 관심 영역의 블록은 더 많은 중복 블록을 생성하고 작은 복잡도를 갖는 관심 영역의 블록은 더 적은 중 복 블록을 생성함으로써 영상을 변환한 다음, 변환된 영상을 부호화하는 데에 특징이 있다.

도 3을 참조하면, 본 발명에 따른 영상 부호화 장치(300)는 관심 영역 결정부(310), 관심 영역 특성 계산부(320), 중복 생성 배율 설정부(330), 영상 변환부(340) 및 영상 부호화부(350)를 포함한다.

관심 영역 결정부(310)는 입력 영상 내에서 사용자의 관심 영역이 되는 부분을 결정한다. 관심 영역은 사용자에게 특히 의미가 있는 영상 부분을 의미한다. 예를 들어 상기 도 1a 및 도 1b에 도시된 바와 같은 영상에서 말하고 있는 사람의 얼굴 부분이나 어깨 부분과 같이 움직임이 많은 부분에 사용자의 시선이 집중되며, 이러한 영상 부분을 관심 영역으로 정의한다. 상기 관심 영역을 제외한 영상 부분은 비관심 영역으로 정의한다. 관심 영역 결정부(310)는 미도시된 소정의 입력부를 통해 사용자가 선택한 영상 부분을 관심 영역으로 결정하거나 널리 알려진 관심 영역 검출 알고리즘을 이용하여 영상에서 중복하여 부호화할 관심 영역으로 결정한다. 관심 영역 검출 알고리즘의 일 예로 현재 프레임과 이전 프레임 사이의 움직임을 비교하여 소정 임계값 이상의 움직임을 갖는 영상 부분을 관심 영역으로 검출하는 알고리즘이 이용될 수 있다.

중복 부호화할 관심 영역이 결정되면, 관심 영역 특성 계산부(320)는 결정된 관심 영역에 위치한 블록들의 영상 특성을 계산한다. 먼저, 상기 관심 영역 특성 계산부(320)는 관심 영역 내에 위치한 각 블록의 복잡도를 계산한다. 관심 영역내에 위치한 블록들의 특성을 결정하기 위한 복잡도로는 분산, MSE(Mean Squared Error), SAD(Squared Absolute Difference) 등이 이용될 수 있다. 여기서, 분산, MSE 및 SAD는 관심 영역 내에 위치한 각 블록에 대해서 계산된다. 즉, 분산, MSE 및 SAD는 관심 영역 내에 위치한 한 블록의 픽셀들의 평균값과 한 블록의 픽셀들 사이의 차이를 이용하여 블록별로 계산된다.

또한, 관심 영역 특성 계산부(320)는 관심 영역 내에 위치한 각 블록의 복잡도를 이용하여 관심 영역 내의 동일한 열 또는 행에 위치한 전체 블록의 평균 복잡도 및 표준 편차를 계산한다. 관심 영역 특성 계산부(320)는 관심 영역 내의 영상이 수직 방향으로 중복하여 생성되는 경우에는 관심 영역 내의 동일한 열에 위치한 전체 블록의 평균 복잡도 및 표준 편차를 계산하고, 관심 영역 내의 영상이 수평 방향으로 중복하여 생성될 경우에는 관심 영역 내의 동일한 행에 위치한 전체 블록의 평균 복잡도 및 표준 편차를 계산한다.

중복 생성 배율 설정부(330)는 관심 영역 내의 각 블록의 복잡도 및 동일한 열 또는 행에 위치한 전체 블록의 평균 복잡도 및 표준 편차를 이용하여, 관심 영역 내에 위치한 각 블록을 얼마만큼 중복하여 생성할 것인지를 나타내는 중복 생성 배율을 설정한다. 여기서, 중복 생성 배율은 관심 영역 내의 블록을 얼마만큼 중복하여 생성할 지를 나타내는 값이다. 예를 들어 중복 생성 배율이 1.5인 블록은 원래 블록과 동일한 1개의 블록에 추가하여 0.5, 즉 1/2배의 영상이 중복 생성되는 것을 의미하며, 중복 생성 배율이 2.5인 블록은 원래 블록과 동일한 2개의 블록에 추가하여 1/2배의 영상이 중복 생성되는 것을 의미한다.

구체적으로, 중복 생성 배율 설정부(330)는 관심 영역 내의 각 블록의 복잡도와 관심 영역 내의 동일한 열 또는 행에 위치한 모든 블록의 평균 복잡도를 비교하고, 관심 영역 내의 각 블록을 복잡도에 따라 분류하는 블록 분류부(331) 및 분류된 블록들의 중복 생성 배율을 나타내는 변환맵을 생성하는 변환맵 생성부(332)를 포함한다. 여기서, 변환맵 생성부(332)에 의해 생성되는 변환맵은 각 블록에 할당되는 중복 생성 배율 정보를 구비한다. 또한, 변환맵 생성부(332)는 복잡도가 높은 것으로 분류된 블록들에는 복잡도가 낮은 블록들에 비하여 더 큰 중복 생성 배율이 설정되도록 하며, 중간 복잡도를 갖는 것으로 분류된 블록들에는 기본적으로 설정된 관심 영역의 블록들의 중복 생성 배율인 중복 생성 배율 기본값(M)을 설정한다.

영상 변환부(340)는 변환맵 생성부(332)에서 설정된 변환맵에 기초하여 동일한 열 또는 행에 위치한 관심 영역 내의 각 블록을 중복 생성하여 영상을 변환한다. 또한, 영상 변환부(340)는 비관심 영역에 위치한 블록들 중 관심 영역에 위치한 블록들의 중복 생성 방향에 위치한 블록들은 중복 생성 배율에 따라 축소 변환하고, 중복 생성 방향에 위치하지 않은 비관심 영역의 블록들은 축소나 확대하지 않고 그대로 유지한다.

영상 부호화부(350)는 영상 변환부에서 변환된 영상을 압축 부호화한다. 영상 부호화부(350)는 MPEG-2, MPEG-4, H.264 등 널리 알려진 다양한 영상 압축 방법들을 이용할 수 있다. 또한 영상 부호화부(350)는 압축 부호화 결과 출력되는 비 트스트림의 헤더에 각 블록의 중복 생성 배율을 나타내는 변환맵 정보를 부가함으로써, 복호화단에 관심 영역 내의 블록들이 어떠한 배율로 중복되었는지를 전달한다.

이하에서는 도 4 내지 도 6을 참조하여 본 발명에 따른 관심 영역 기반 영상 부호화 장치의 구체적인 동작에 대하여 설명한다.

도 4는 본 발명에 따른 관심 영역 기반 영상 부호화 장치에서 관심 영역을 변환하는 과정을 설명하기 위한 도면이다. 도 4에서는 관심 영역(41)내의 블록들을 수직 방향으로 중복 생성하여 변환하는 경우를 도시하고 있다. 그러나, 본 발명은 도시된 바에 한정되지 않고 관심 영역 내의 블록들을 수평 방향으로 중복 생성하여 변환하는 경우에도 적용될 수 있다.

도 4를 참조하면, 관심 영역 결정부(310)는 사용자의 선택 또는 소정의 관심 영역 결정 알고리즘에 따라서 원영상(40) 중에서 중복 부호화할 관심 영역(41)을 결정한다.

관심 영역 특성 계산부(320)는 결정된 관심 영역(41)에 위치한 블록들(A 내지 F)의 영상 특성을 계산한다. 먼저, 관심 영역 특성 계산부(320)는 관심 영역(41)내에 위치한 블록들(A 내지 F) 각각의 복잡도를 계산한다. 전술한 바와 같이 복잡도로는 분산, MSE 및 SAD 등이 이용될 수 있다. 다음, 관심 영역 특성 계산부(320)는 관심 영역 내의 블록들이 중복 생성되는 방향에 따라서, 관심 영역 내의 동일한 열 또는 행에 위치한 모든 블록의 평균 복잡도 및 표준 편차를 계산한다. 즉, 관심 영역 특성 계산부(320)는 관심 영역 내의 블록들이 중복 생성되는 방향이 수직 방향인 경우에는 관심 영역 내의 동일한 열에 위치한 모든 블록의 평균 복잡도 및 표준 편차를 계산하고, 중복 생성되는 방향이 수평 방향인 경우에는 관심 영역 내의 동일한 행에 위치한 모든 블록의 평균 복잡도 및 표준 편차를 계산한다. 예를 들어 도 4에 도시된 바와 같이 관심 영역 내의 블록을 수직 방향으로 중복하여 생성하는 경우, 관심 영역 특성 계산부(320)는 관심 영역 내의 동일한 열에 위치한 모든 블록의 평균 복잡도 및 표준 편차를 계산한다. 즉, 관심 영역 특성 계산부(320)는 관심 영역 내의 블록 A 및 D의 평균 복잡도 및 표준편차, 블록 B 및 E의 평균 복잡도 및 표준편차, 블록 C 및 F의 평균 복잡도 및 표준편차를 계산한다.

도 5는 본 발명에 따른 블록 분류부(331)에서 관심 영역 내의 각 블록을 복잡도에 따라 분류하는 과정을 설명하기 위한 도면이다. 블록 분류부(331)는 각 블록의 복잡도와 동일한 열 또는 행에 위치한 모든 블록의 복잡도 평균 및 표준 편차를 이용하여, 관심 영역 내의 각 블록을 복잡도에 따라 분류한다. 도 5를 참조하면, 블록 분류부(331)는 관심 영역 내의 동일한 행 또는 열에 위치한 모든 블록들의 복잡도 평균에 비하여 소정 임계값(Th2) 이상의 큰 복잡도를 갖는 블록들을 높은 복잡도를 갖는 블록(53)으로 분류하고, 평균 복잡도보다 소정 임계값(Th1) 이하의 작은 복잡도를 갖는 블록들은 낮은 복잡도를 갖는 블록(51)으로 분류하며, 복잡도 평균을 기준으로 소정 임계값 Th1 내지 Th2 사이의 복잡도를 갖는 블록들은 중간 복잡도를 갖는 블록들(52)로 분류한다.

구체적으로, 관심 영역 내의 동일한 행 또는 열에 위치한 모든 블록들의 복잡도 평균을 m, 복잡도의 표준 편차를 σ, 복잡도 구간을 나누기 위한 변환 계수를 a(a는 실수)라고 하면, 블록 분류부(331)는 m+(σ×a) 이상의 복잡도를 갖는 블록들을 높은 복잡도를 갖는 블록들(53)로 분류하고, m-(σ×a) 이하의 복잡도를 갖는 블록들을 낮은 복잡도를 갖는 블록들(51)로 분류하며, m-(σ×a)에서 m+(σ×a) 사이의 복잡도를 갖는 블록들을 중간 복잡도를 갖는 블록들(52)로 분류한다. 여기서, 블록 분류부(331)는 변환 계수 a의 값을 조절하여 높은 복잡도를 갖는 블록들과 낮은 복잡도를 갖는 블록들의 개수가 동일하도록 설정한다. 예를 들어, 도 4에서 동일한 열에 위치한 블록 A 및 D의 복잡도 평균을 m1, 표준 편차를 σ1, 변환 계수를 a1이라고 하면, 블록 분류부(331)는 소정의 임계값 m1-(σ1×a1) 및 m1+(σ1×a1)을 기준으로 상기 관심 영역 내의 블록 A 및 D 각각을 그 복잡도에 따라 분류한다. 마찬가지로 도 4에서 관심 영역 내의 블록 D 및 E, C 및 F에 대해서도 동일한 열의 모든 블록의 복잡도 평균 및 표준 편차를 이용하여 복잡도에 따라 분류한다. 여기서, 상기 블록 분류부(331)는 중복 생성 방향에 따라 행 또는 열 단위로 관심 영역 내의 각 블록을 분류하는 것임에 유의한다.

변환맵 생성부(332)는 상기 분류된 블록들의 중복 생성 배율을 나타내는 변환맵을 생성한다. 관심 영역 내의 각 블록에 대해서 미리 설정된 중복 생성 배율 기본값을 M이라고 할 때에, 변환맵 생성부(332)는 관심 영역 내의 각 블록의 복잡도에 따라 높은 복잡도를 갖는 블록들에는 M+α의 중복 생성 배율을 설정하고, 낮은 복잡도를 갖는 블록들에는 M-α의 중복 생성 배율을 설정하며, 중간 복잡도를 갖는 블록들에는 M의 기본값을 중복 생성 배율로 설정한다. 여기서, α는 각 블록의 복잡도에 따라 중복 블록의 확대 또는 축소 비율을 나타내기 위한 복잡도 적용 계수를 의미한다. 또한, 변환맵 생성부(332)는 비관심 영역에 위치한 블록들 중 관심 영역에 위치한 블록들의 중복 생성 방향에 위치한 블록들은 상기 중복 생성 배율에 따라 축소되도록 중복 생성 배율을 설정하고, 비관심 영역에 위치하지만 중복 생성 방향에 위치하지 않은 블록들은 중복 생성 배율을 1로 설정한다.

도 6은 도 4의 중복 변환된 영상(45)에 대응되는 변환맵의 일 예를 나타낸 도면이다.

상기 도 4의 관심 영역(41)내의 각 열에 위치한 블록들에 있어서, 블록 A는 낮은 복잡도, 블록 D는 높은 복잡도, 블록 B 및 E는 중간 복잡도, 블록 C는 높은 복잡도, 블록 F는 낮은 복잡도를 갖으며, 중복 생성 배율 기본값(M)은 2, 복잡도 적용 계수(α)를 0.5라고 가정한다. 관심 영역(41)내의 각 블록이 복잡도에 따라 분류되면, 전술한 바와 같이 변환맵 생성부(332)는 각 블록의 복잡도에 따라서 높은 복잡도를 갖는 블록의 중복 생성 배율로 M+α, 낮은 복잡도를 갖는 블록의 중복 생성 배율로 M-α, 중간 복잡도를 갖는 블록의 중복 생성 배율로 M을 설정한다. 예를 들어, 변환맵 생성부(332)는 블록 A의 중복 생성 배율로 1.5, 블록 D의 중복 생성 배율로 2.5, 블록 B 및 E의 중복 생성 배율로 2, 블록 C의 중복 생성 배율로 2.5, 블록 F의 중복 생성 배율로 1.5를 설정하여 변환맵을 생성한다. 또한, 변환맵 생성부(332)는 상기 관심 영역 내의 블록들의 중복 생성으로 인해 축소 변환되어야 하는 블록들(60,63)에는 0.5를 중복 생성 배율로 설정한다.

영상 변환부(340)는 상기 영상의 각 블록별로 설정된 중복 생성 배율에 따라서 관심 영역의 블록을 중복 생성하고, 비관심 영역을 구성하는 블록들 중 상기 관 심 영역의 중복 생성에 의하여 겹치는 부분은 축소 변환하여 영상을 재구성한다. 예를 들어 다시 도 4 및 도 6을 참조하면, 상기 영상 변환부(340)는 1.5의 중복 생성 배율값을 갖는 블록 A를 원래 블록 A와 동일한 값과 크기를 갖는 1개의 중복 블록(A1)과 0.5배 축소된 중복 블록(A2)으로 변환하며, 2.5의 중복 생성 배율값을 갖는 블록 D를 원래 블록 D와 동일한 값과 크기를 갖는 2개의 중복 블록(D1,D2)과 0.5배 축소된 중복 블록(D3)으로 변환한다. 유사하게, 상기 영상 변환부(340)는 2의 중복 생성 배율값을 갖는 원 영상(40)의 블록 B 및 블록 D를 원래 블록과 동일한 값과 크기를 갖는 2개의 중복 블록(B1 및 B2, E1 및 E2)으로 각각 변환한다.

단계 710에서, 영상에서 사용자의 선택 또는 소정의 관심 영역 결정 알고리즘에 따라서 중복 생성할 관심 영역을 결정한다.

단계 720에서, 상기 결정된 관심 영역 내에 위치한 각 블록의 복잡도를 계산한다. 전술한 바와 같이 각 블록의 복잡도는 분산, MSE, SAD 등을 이용할 수 있다.

단계 730에서, 상기 관심 영역 내의 블록들이 중복 생성되는 방향에 따라서, 관심 영역 내의 동일한 열 또는 행에 위치한 모든 블록들의 복잡도 평균 및 표준 편차를 계산한다.

단계 740에서, 관심 영역 내의 동일한 열 또는 행에 위치한 블록들의 평균 복잡도와 각 블록의 복잡도를 비교하여 관심 영역 내의 각 블록을 복잡도에 따라 분류한다. 구체적으로, 상기 소정 임계값(Th2)이상의 큰 복잡도를 갖는 블록들을 높은 복잡도를 갖는 블록으로 분류하고, 상기 소정 임계값(Th1) 이하의 작은 복잡도를 갖는 블록들은 낮은 복잡도를 갖는 블록으로 분류하며, Th1 내지 Th2 사이의 복잡도를 갖는 블록들은 중간 복잡도를 갖는 블록들로 분류한다. 전술한 바와 같이, 관심 영역 내의 동일한 행 또는 열에 위치한 모든 블록들의 복잡도 평균을 m, 복잡도의 표준 편차를 σ, 복잡도 구간을 나누기 위한 변환 계수를 a(a는 실수)라고 하면, m+(σ×a) 이상의 복잡도를 갖는 블록들을 높은 복잡도를 갖는 블록들로 분류하고, m-(σ×a) 이하의 복잡도를 갖는 블록들을 낮은 복잡도를 갖는 블록들로 분류하며, m-(σ×a)에서 m+(σ×a) 사이의 복잡도를 갖는 블록들을 중간 복잡도를 갖는 블록들로 분류할 수 있다.

단계 750에서, 상기 분류된 블록들 각각의 중복 생성 배율을 설정한다. 전술한 바와 같이 관심 영역 내의 각 블록에 대해서 미리 설정된 중복 생성 배율 기본값을 M, 복잡도 적용 계수를 α라고 할 때에 관심 영역 내의 각 블록의 복잡도에 따라 높은 복잡도를 갖는 블록들에는 M+α의 중복 생성 배율을 설정하고, 낮은 복잡도를 갖는 블록들에는 M-α의 중복 생성 배율을 설정하며, 중간 복잡도를 갖는 블록들에는 M의 기본값을 중복 생성 배율로 설정한다. 또한, 비관심 영역에 위치한 블록들 중 중복 생성 방향에 위치한 블록들은 상기 중복 생성 배율에 따라 축소되도록 중복 생성 배율을 설정하고, 비관심 영역에 위치하지만 중복 생성 방향에 위치하지 않은 블록들은 중복 생성 배율을 1로 설정한다.

단계 760에서, 상기 설정된 중복 생성 배율에 따라서 각 블록을 변환함으로 써 영상을 재구성한다.

단계 770에서, 상기 재구성된 영상을 압축 부호화하여 비트스트림을 생성한다. 이 때, 생성된 비트스트림의 헤더에 각 블록의 중복 생성 배율을 나타내는 변환맵 정보를 부가함으로써 복호화단에 각 블록의 중복 생성 배율을 전달한다.

도 8을 참조하면, 본 발명에 따른 관심 영역 기반 영상 복호화 장치(800)는 영상 복호화부(810), 영상 역변환부(820) 및 에러 은닉부(830)를 포함한다.

상기 영상 복호화부(810)는 본 발명에 따른 관심 영역 기반 영상 부호화 방법 및 장치에 의하여 부호화된 비트스트림을 수신하고 상기 수신된 비트스트림을 복호화한다. 또한, 상기 영상 복호화부(810)는 상기 비트스트림으로부터 영상을 구성하는 각 블록의 중복 생성 배율 정보를 구비한 변환맵 정보를 추출한다. 여기서, 영상 복호화부(810)로부터 출력되는 영상은 상기 도 4의 변환된 영상(45)과 같이 소정의 중복 생성 배율에 따라 중복 생성된 관심 영역의 블록들 및 축소 변환되거나 원 블록 그대로 복사된 비관심 영역의 블록들로 구성된 변환 영상이다.

영상 역변환부(820)는 관심 영역 역변환부(821) 및 비관심 영역 역변환부(822)를 포함한다.

관심 영역 역변환부(821)는 관심 영역의 동일한 영역에 대응되는 복수 개의 중복 블록들 중에서 정상적으로 검출된 블록을 이용하여 관심 영역의 영상을 역변환한다. 예를 들어 다시 도 4를 참조하면, 복호화된 변환 영상(45)에서 원영상의 블록 D에 대응되는 블록 D1 내지 D3 중 손실없이 검출된 블록을 이용하여 원영상의 블록 D 부분에 대응되는 영상을 복원한다. 즉, 상기 영상 복호화부(810)에서 복호화된 변환 영상에서 블록 D1이 채널 에러 등으로 손실된 경우에는 상기 블록 D1과 동일한 블록 D2를 이용하여 원영상의 블록 D를 복원할 수 있으며, 만약 블록 D2도 손실된 경우에는 블록 D3를 이용하여 원영상의 블록 D를 복원할 수 있다.

비관심 영역 역변환부(821)는 비관심 영역을 구성하는 블록이 축소 변환된 경우에는 소정 배율로 확대함으로써 원영상의 블록을 복원하며, 원영상 그대로 부호화된 비관심 영역의 블록은 복호화된 상태 그대로 복원한다.

한편, 상기 관심 영역의 중복 블록이 모두 손실된 경우 또는 비관심 영역의 블록이 손실된 경우에는 이전/이후의 프레임에서 손실된 블록과 대응되는 블록이나 손실된 블록의 주변 블록을 이용하여 손실된 블록을 복원할 수 있다.

에러 은닉부(830)는 종래 제안된 다양한 에러 은닉 기술을 이용하여 부가적으로 채널 에러 등에 의해 손실된 에러를 복원할 수 있다.

도 9a를 참조하면, 단계 905에서 소정의 중복 생성 배율에 따라 중복 생성된 관심 영역의 블록들 및 축소 변환되거나 원 블록 그대로 복사된 비관심 영역의 블록들로 재구성된 변환 영상을 부호화한 비트스트림을 수신한다.

단계 910에서, 상기 재구성된 변환 영상을 복호화하고, 비트스트림으로부터 각 블록의 중복 생성 배율 정보를 나타내는 변환맵 정보를 추출한다.

단계 915에서, 변환 영상으로부터 원영상을 복원하기 위해서 현재 처리되는 블록이 관심 영역 내에 위치한 블록인지를 판단한다.

도 9b를 참조하여 관심 영역 내의 블록을 복원하는 과정을 설명하면 다음과 같다.

단계 915의 판단 결과 현재 처리되는 블록이 관심 영역 내의 블록으로 판단된 경우, 단계 920에서 원본 블록이 손실되었는지를 판단한다. 단계 925에서, 원본 블록이 손실되지 않은 경우에는 현재 처리되는 원본 블록을 이용하여 영상을 복원한다.

단계 930에서 원본 블록이 손실된 경우에는 원 영상의 동일 영역에 대응되는 중복 블록이 존재하는지를 판단한다.

단계 935에서 중복 블록이 존재하는 경우에는 중복 블록을 이용하여 원영상을 복원하며, 단계 950에서 중복 블록이 존재하지 않는 경우에는 손실된 블록에 대응되는 이전/이후 프레임의 블록이나 손실된 블록의 주변 블록을 이용하여 손실된 블록을 복원한다.

도 9c를 참조하여 비관심 영역 내의 블록을 복원하는 과정을 설명한다.

단계 945에서 비관심 영역 내의 블록이 축소 변환된 블록인지 여부를 판단한다. 전술한 바와 같이, 관심 영역의 중복 생성 방향에 위치한 비관심 영역의 블록들은 축소 변환되고, 그 외의 비관심 영역 블록들은 원 상태 그대로 부호화되므로, 비관심 영역의 블록이 축소 변환된 블록인지 여부를 판단하는 과정이 필요하다.

단계 950에서 축소 변환된 비관심 영역의 블록을 소정 배율로 확대하여 원영 상의 해당 부분을 복원하며, 단계 955에서 원상태 그대로 부호화된 비관심 영역의 블록은 해당 블록을 그래도 이용하여 영상을 복원한다.

한편, 전술한 관심 영역 기반 영상의 부호화, 복호화 방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 소정의 연산 장치에 의하여 읽혀지고 실행됨으로써 관심 영역 기반 영상 부호화, 복호화 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체, 및 캐리어 웨이브 매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

본 발명에 따르면 관심 영역 내의 블록들의 중복 생성 배율을 각 블록의 복잡도에 따라서 가변적으로 설정함으로써 부호화시 발생되는 비트율을 줄일 수 있고, 제한된 대역폭 환경에서 더 중요한 정보를 에러에 탄력적으로 부호화할 수 있 다. 또한, 본 발명에 따르면 에러 발생시 정상적으로 수신된 중복 블록을 이용하여 손실된 블록을 복원함으로써 에러를 은닉할 수 있다.

Claims

관심 영역 기반 영상 부호화 방법에 있어서,

영상 내에서 중복하여 부호화할 관심 영역을 결정하는 단계;

상기 관심 영역 내에 위치한 블록들의 영상 특성을 계산하는 단계;

상기 계산된 블록들의 영상 특성을 이용하여 상기 관심 영역 내에 위치한 각 블록들의 중복 생성 배율을 설정하는 단계;

상기 설정된 중복 생성 배율에 따라 상기 관심 영역 내에 위치한 블록들을 소정 방향으로 중복 생성하여 영상을 변환하는 단계; 및

상기 변환된 영상을 부호화하는 단계를 포함하는 것을 특징으로 하는 관심 영역 기반 영상 부호화 방법.
제 1항에 있어서,

상기 블록들의 영상 특성을 계산하는 단계는,

상기 관심 영역 내에 위치한 각 블록의 복잡도를 계산하는 단계; 및

상기 계산된 각 블록의 복잡도를 이용하여 상기 관심 영역 내의 동일한 열 또는 행에 위치한 블록들의 평균 복잡도 및 복잡도의 표준편차를 계산하는 단계를 더 포함하는 것을 특징으로 하는 관심 영역 기반 영상 부호화 방법.
제 2항에 있어서,

상기 복잡도는,

각 블록의 분산, MSE(Mean Square Error) 및 SAD(Sum of Absolute Difference) 중 적어도 하나를 이용하여 계산되는 것을 특징으로 하는 관심 영역 기반 영상 부호화 방법.
제 1항에 있어서,

상기 관심 영역 내에 위치한 각 블록의 중복 생성 배율을 설정하는 단계는,

상기 관심 영역 내에 위치한 각 블록의 복잡도와 상기 관심 영역 내의 동일한 열 또는 행에 위치한 블록들의 평균 복잡도를 비교하여 상기 관심 영역 내에 위치한 각 블록을 복잡도에 따라 분류하는 단계; 및

상기 분류된 블록들의 복잡도에 비례하여 상기 분류된 블록들의 중복 생성 배율을 설정하는 단계를 더 포함하는 것을 특징으로 하는 관심 영역 기반 영상 부호화 방법.
제 4항에 있어서,

상기 관심 영역 내의 동일한 열 또는 행에 위치한 각 블록들을 복잡도에 따라 분류하는 단계는,

상기 관심 영역 내의 동일한 열 또는 행에 위치한 모든 블록들의 평균 복잡도보다 소정의 제 1 임계값 이상의 큰 복잡도를 갖는 블록들을 복잡도가 높은 블록들로 분류하고, 상기 평균 복잡도보다 소정의 제 2 임계값 이하의 작은 복잡도를 갖는 블록들은 복잡도가 낮은 블록들로 분류하며, 상기 제 1 임계값과 제 2 임계값 사이의 복잡도를 갖는 블록들은 중간 복잡도를 갖는 블록들로 분류하는 단계를 더 포함하는 것을 특징으로 하는 관심 영역 기반 영상 부호화 방법.
제 5항에 있어서,

상기 관심 영역 내에 동일한 열 또는 행에 위치한 블록들의 복잡도의 평균을 m, 표준 편차를 σ, 상기 복잡도의 구간을 나누기 위한 변환 계수를 a(a는 실수)라 할 때, 상기 제 1 임계값은 m+(σ×a)이고 상기 제 2 임계값은 m-(σ×a) 인 것을 특징으로 하는 관심 영역 기반 영상 부호화 방법.
제 6항에 있어서,

상기 변환 계수 a는, 상기 복잡도가 높은 블록의 개수와 상기 복잡도가 낮은 블록의 개수가 동일하도록 결정하는 것을 특징으로 하는 관심 영역 기반 영상 부호화 방법.
제 4항에 있어서,

상기 분류된 블록들의 중복 생성 배율을 설정하는 단계는,

상기 관심 영역 내에 위치한 블록들의 중복 블록 생성 배율 기본값을 M, 각 블록의 복잡도에 따라 중복 블록의 확대 또는 축소 비율을 나타내기 위한 복잡도 적용 계수를 α(α는 실수)라고 할 때, 상기 분류된 블록들 중 복잡도가 높은 블록 들의 중복 블록 생성 배율은 M+α, 복잡도가 낮은 블록들의 중복 블록 생성 배율은 M-α, 중간 복잡도를 갖는 블록들의 중복 생성 배율은 M으로 설정하는 단계를 더 포함하는 것을 특징으로 하는 관심 영역 기반 영상 부호화 방법.
제 1항에 있어서,

상기 영상을 변환하는 단계는,

비관심 영역에 위치한 블록들 중 상기 관심 영역에 위치한 블록들의 중복 생성 방향에 위치한 블록들을 축소 변환하는 단계를 더 포함하는 것을 특징으로 하는 관심 영역 기반 영상 부호화 방법.
제 1항에 있어서,

상기 변환된 영상을 부호화하는 단계는,

상기 재구성된 영상의 부호화 결과 생성된 비트스트림의 소정 영역에 상기 각 블록의 중복 생성 배율 정보를 나타내는 변환맵 정보를 부가하는 단계를 더 포함하는 것을 특징으로 하는 관심 영역 기반 영상 부호화 방법.
관심 영역 기반 영상 부호화 장치에 있어서,

영상 내에서 중복하여 부호화할 관심 영역을 결정하는 관심 영역 결정부;

상기 관심 영역 내에 위치한 블록들의 영상 특성을 계산하는 관심 영역 특성 계산부;

상기 계산된 블록들의 영상 특성을 이용하여 상기 관심 영역 내에 위치한 각 블록들의 중복 생성 배율을 설정하는 중복 생성 배율 설정부;

상기 설정된 중복 생성 배율에 따라 상기 관심 영역 내에 위치한 블록들을 소정 방향으로 중복 생성하여 영상을 변환하는 영상 변환부; 및

상기 변환된 영상을 부호화하는 영상 부호화부를 포함하는 것을 특징으로 하는 관심 영역 기반 영상 부호화 장치.
제 11항에 있어서,

상기 관심 영역 특성 계산부는,

상기 관심 영역 내의 동일한 열 또는 행에 위치한 블록들의 복잡도와, 상기 관심 영역 내의 동일한 열 또는 행에 위치한 전체 블록의 평균 복잡도 및 복잡도의 표준편차를 계산하는 것을 특징으로 하는 관심 영역 기반 영상 부호화 장치.
제 12항에 있어서,

상기 관심 영역 특성 계산부는,

각 블록의 분산, MSE(Mean Square Error) 및 SAD(Sum of Absolute Difference) 중 적어도 하나를 이용하여 상기 블록들의 복잡도를 계산하는 것을 특징으로 하는 관심 영역 기반 영상 부호화 장치.
제 11항에 있어서,

상기 중복 생성 배율 설정부는,

상기 관심 영역 내의 동일한 열 또는 행에 위치한 각 블록의 복잡도와 상기 관심 영역 내의 동일한 열 또는 행에 위치한 블록들의 평균 복잡도를 비교하여 상기 관심 영역 내에 위치한 각 블록을 복잡도에 따라 분류하는 블록 분류부; 및

상기 분류된 블록들의 복잡도에 비례하여 설정된 상기 분류된 블록들의 중복 생성 배율을 나타내는 변환맵을 생성하는 변환맵 생성부를 더 포함하는 것을 특징으로 하는 관심 영역 기반 영상 부호화 장치.
제 13항에 있어서,

상기 블록 분류부는,

상기 관심 영역 내의 블록 전체의 평균 복잡도보다 소정의 제 1 임계값 이상의 큰 복잡도를 갖는 블록들을 복잡도가 높은 블록들로 분류하고, 상기 평균 복잡도보다 소정의 제 2 임계값 이하의 작은 복잡도를 갖는 블록들은 복잡도가 낮은 블록들로 분류하며, 상기 제 1 임계값과 제 2 임계값 사이의 복잡도를 갖는 블록들은 중간 복잡도를 갖는 블록들로 분류하는 것을 특징으로 하는 관심 영역 기반 영상 부호화 장치.
제 15항에 있어서,

상기 관심 영역 내에 동일한 열 또는 행에 위치한 블록들의 복잡도의 평균을 m, 표준 편차를 σ, 상기 복잡도의 구간을 나누기 위한 변환 계수를 a(a는 실수)라 할 때, 상기 제 1 임계값은 m+(σ×a)이고 상기 제 2 임계값은 m-(σ×a) 인 것을 특징으로 하는 관심 영역 기반 영상 부호화 장치.
제 16항에 있어서,

상기 변환 계수 a는, 상기 복잡도가 높은 블록의 개수와 상기 복잡도가 낮은 블록의 개수가 동일하도록 결정하는 것을 특징으로 하는 관심 영역 기반 영상 부호화 장치.
제 14항에 있어서,

상기 변환맵 생성부는,

상기 관심 영역 내에 위치한 블록들의 중복 블록 생성 배율 기본값을 M, 각 블록의 복잡도에 따라 중복 블록의 확대 또는 축소 비율을 나타내기 위한 복잡도 적용 계수를 α(α는 실수)라고 할 때, 상기 분류된 블록들 중 복잡도가 높은 블록들의 중복 블록 생성 배율은 M+α, 복잡도가 낮은 블록들의 중복 블록 생성 배율은 M-α, 중간 복잡도를 갖는 블록들의 중복 생성 배율은 M으로 설정하는 것을 특징으로 하는 관심 영역 기반 영상 부호화 장치.
제 11항에 있어서,

상기 영상 변환부는,

비관심 영역에 위치한 블록들 중 상기 관심 영역에 위치한 블록들의 중복 생성 방향에 위치한 블록들을 축소 변환하는 단계를 더 포함하는 것을 특징으로 하는 관심 영역 기반 영상 부호화 장치.
제 11항에 있어서,

상기 영상 부호화부는,

상기 재구성된 영상의 부호화 결과 생성된 비트스트림의 소정 영역에 상기 각 블록의 중복 생성 배율 정보를 구비한 변환맵 정보를 부가하는 것을 특징으로 하는 관심 영역 기반 영상 부호화 장치.
관심 영역 기반 영상 복호화 방법에 있어서,

관심 영역에 위치한 블록들은 소정의 중복 생성 배율에 따라 중복 생성하고, 비관심 영역에 위치한 블록들 중 상기 관심 영역에 위치한 블록들의 중복 생성 방향에 위치한 블록들은 상기 관심 영역에 위치한 블록들의 중복 생성 배율에 따라 축소 변환함으로써 변환된 영상을 부호화한 비트스트림을 수신하는 단계;

상기 변환된 영상을 복호화하고, 상기 관심 영역에 위치한 블록들의 중복 생성 배율 정보를 구비한 변환맵 정보를 추출하는 단계;

상기 변환맵 정보를 이용하여 상기 관심 영역에 대응되는 복수 개의 중복 블록들 중 손실없는 블록을 이용하여 상기 관심 영역에 대응되는 영상을 복원하는 단계; 및

상기 변환맵 정보를 이용하여 상기 축소 변환된 블록 부분의 영상을 소정 배 율로 확대하여 상기 비관심 영역에 대응되는 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 관심 영역 기반 영상 복호화 방법.
제 21항에 있어서,

상기 관심 영역에 대응되는 영상을 복원하는 단계는,

현재 복원할 블록이 손실되었는지를 판단하는 단계; 및

상기 현재 복원할 블록이 손실된 경우 상기 복수 개의 중복 블록들 중 손실되지 않은 다른 블록을 이용하여 상기 관심 영역의 영상분을 복원하는 단계를 더 포함하는 것을 특징으로 하는 관심 영역 기반 영상 복호화 방법.
제 21항에 있어서,

상기 관심 영역의 중복 블록 또는 비관심 영역의 블록이 손실된 경우, 이전/이후의 영상 프레임에서 대응되는 블록 부분 또는 손실된 블록 주변의 블록으로부터 상기 손실된 블록을 복원하는 것을 특징으로 하는 관심 영역 기반 영상 복호화 방법.
관심 영역 기반 영상 복호화 장치에 있어서,

관심 영역에 위치한 블록들은 소정의 중복 생성 배율에 따라 중복 생성되고, 비관심 영역에 위치한 블록들 중 상기 관심 영역에 위치한 블록들의 중복 생성 방향에 위치한 블록들은 상기 관심 영역에 위치한 블록들의 중복 생성 배율에 따라 축소 변환함으로써 변환된 영상을 부호화한 비트스트림을 복호화하고, 상기 비트스트림으로부터 상기 관심 영역에 위치한 블록들의 중복 생성 배율을 나타내는 변환맵 정보를 추출하는 영상 복호화부; 및

상기 변환맵 정보를 이용하여 상기 관심 영역 및 비관심 영역의 영상을 역변환하여 영상을 복원하는 영상 역변환부를 포함하는 것을 특징으로 하는 관심 영역 기반 영상 복호화 장치.
제 24항에 있어서,

상기 영상 역변환부는,

상기 변환맵 정보를 이용하여 상기 관심 영역에 대응되는 복수 개의 중복 블록들 중 손실없는 블록을 이용하여 상기 관심 영역에 대응되는 영상을 복원하는 관심 영역 역변환부; 및

상기 변환맵 정보를 이용하여 상기 축소 변환된 비관심 영역에 대응되는 블록을 소정 배율로 확대하여 상기 비관심 영역에 대응되는 영상을 복원하는 비관심 영역 역변환부를 더 포함하는 것을 특징으로 하는 관심 영역 기반 영상 복호화 장치.
제 24항에 있어서,

상기 영상 역변환부는,

상기 관심 영역의 중복 블록 또는 비관심 영역의 블록이 손실된 경우, 이전/ 이후의 영상 프레임에서 대응되는 블록 부분 또는 손실된 블록 주변의 블록으로부터 상기 손실된 블록을 복원하는 것을 특징으로 하는 관심 영역 기반 영상 복호화 장치.