KR20150102874A - 적응적 부호화 방법을 이용한 영상의 부호화 방법 및 이를 이용한 인코딩 장치 - Google Patents

Abstract

적응적 부호화 방법을 이용한 영상의 부호화 방법이 개시된다. 이 방법은 이전 프레임과 현재 프레임의 동일한 위치의 영상 블록에서 화면 내 부호화 모드의 변화 여부를 판단하는 과정과, 상기 영상 블록의 변화 여부에 따라, 이전 프레임에서 설정된 제1 양자화 파라미터 또는 상기 제1 양자화 파라미터보다 작은 제2 양자화 파라미터로 상기 영상블록을 양자화하는 과정 및 상기 제1 또는 제2 양자화 파라미터로 상기 영상 블록을 부호화하는 과정을 포함한다.

Description

적응적 부호화 방법을 이용한 영상의 부호화 방법 및 이를 이용한 인코딩 장치{METHOD FOR CODING IMAGE BY USING ADAPTIVE CODING SCHEME AND DEVICE FOR CODING IMAGE USING THE METHOD}

본 발명은 적응적 부호화 방법을 이용한 영상의 부호화 방법 및 이를 이용한 인코딩 시스템에 관한 것으로서, 다양한 전송 매체를 통해 디스플레이 장치로 전달되는 영상 특성에 따라 선택적으로 압축방식을 선택하여 화질 열화 및 화면의 떨림 현상을 방지하는 적응적 부호화 구조를 이용한 영상의 부호화 방법 및 이를 이용한 인코딩 시스템에 관한 것이다.

최근에 출시되는 스마트 폰과 같은 장치들은 Terminal mode를 이용하여 다른 IT 기기들과 연동한다. 차량에서도 내비게이션(Navigation)과 같은 IT 기기들이 스마트 폰과 연동하여 다양한 영상 서비스를 제공하고 있으며, 대용량의 영상 서비스에 대한 소비자의 욕구는 점점 커지고 있다. 하지만, 네트워크의 대역폭의 한계로 대용량의 영상 서비스를 원활히 제공하기는 어려운 실정이다. 이에 차량 내의 IT 기기들이 대용량의 영상 데이터를 스마트 폰으로 효과적으로 전송하기 위한 다양한 영상 압축 기술들이 사용되고 있다.

그러나 현재까지 개발된 영상 압축 기술들은 동영상과, Text, Computer Graphics 화면과 같은 다양한 특성을 가진 영상을 효율적으로 부호화하는 데 한계가 있다. 즉, 영상 데이터의 특성에 따라 적절한 영상 부호화 방식을 선택하여 압축률은 높이고, 동시에 영상의 화질 저하를 최소화할 수 있는 영상 부호화 기술에 대한 개발이 미비한 실정이다.

따라서, 본 발명의 목적은 영상 데이터의 특성에 따라 적절한 영상 압축 방식을 선택하여 압축률은 높이고, 동시에 영상의 화질 저하를 최소화할 수 있는 적응적 부호화 방법을 이용한 영상의 부호화 방법 및 이를 이용한 인코딩 장치를 제공하는 데 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 적응적 부호화 방법을 이용한 영상의 부호화 방법은, 이전 프레임과 현재 프레임의 동일한 위치의 영상 블록에서 화면 내 부호화 모드의 변화 여부를 판단하는 과정과, 상기 영상 블록의 변화 여부에 따라, 이전 프레임에서 설정된 제1 양자화 파라미터 또는 상기 제1 양자화 파라미터보다 작은 제2 양자화 파라미터로 직교 변환된 상기 영상블록을 양자화하는 과정 및 상기 제1 또는 제2 양자화 파라미터로 상기 영상 블록을 부호화하는 과정을 포함한다.

본 발명의 다른 일면에 따른 인코딩 장치는, 매 프레임단위로 화면 내 부호화 모드 정보에 기초해, 이전 프레임과 현재 프레임의 동일한 위치의 영상 블록에서 화면 내 부호화 모드의 변화 여부를 판단하여, 상기 이전 프레임에서 설정된 제1 양자화 파라미터 또는 상기 제1 양자화 파라미터보다 작은 제2 양자화 파라미터를 지시하는 QP 정보를 출력하는 적응적 부호화 구조 선택기와, 상기 영상 블록을 직교 변환한 변환 계수를 출력하는 변환기와, 상기 제1 또는 제2 양자화 파라미터를 이용하여 상기 변환 계수를 양자화하는 양자화기 및 상기 양자화된 변환 계수를 부호화하는 부호화기를 포함한다.

본 발명에 의하면, 다양한 전송 선로를 통해 영상을 전송하는 과정에서 적응적 부호화 구조를 사용함으로써, 부호화 효율을 높이고, 화면의 떨림 현상과 같은 화질 저하를 방지하여 화질의 품질을 향상시킬 수 있다.

도 1은 H. 264/AVC 에서 화면 내 부호화 방법에 근거한 Intra prediction에서 4 X 4 block들의 9가지 예측 모드를 나타내는 도면이다.
도 2는 동일한 연속적인 화면에서 Quantization parameter 변화에 따른 화질의 변화를 보여주는 영상들이다.
도 3은 본 발명의 일 실시 예에 따른 적응적 부화화 방식에 따라 입력 영상을 부호화하는 인코딩 장치를 보여주는 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 부호화 방법을 보여주는 순서도이다.
도 5는 화면 특성에 따른 인트라 모드 변환 비율을 보여주는 테이블이다.

본 발명은 다양한 전송 매체를 통해 영상 표기가 가능한 장치로 전달되는 영상 특성에 따라 선택적으로 압축 방식을 선택하여 화질 열화를 최소화할 수 있는 방안을 제안한다. 이를 위해 본 발명은 시간적으로 연속한 프레임을 부호화 하는 방법에서 현재 영상이 이전 영상들과 비교하여 변화가 있는지를 파악하는 것으로부터 출발한다. 본 발명은 이러한 변화를 파악하는 방안으로 화면 내 픽셀(Pixel)들의 방향성을 고려하여 부호화하는 화면 내 부호화 방식의 변화를 기록하는 적응적 부호화 방법을 사용함으로써 화질 향상을 꾀한다.

이하, 본 발명의 일 실시 예에 대해 상세히 설명하기로 한다.

먼저, 본 발명의 기술적 특징을 이해하고, 또한 본 발명에 이용될 수도 있는 관련 기술에 대해 설명하기로 한다.

도 1은 H. 264/AVC 에서 화면 내 부호화 방법에 근거한 Intra prediction에서 4 X 4 block들의 9가지 예측 모드를 도식적으로 보여주는 도면이다.

도 1을 참조하면, 9가지 예측 모드들이 도시된다. 이 모드들 중 최적의 모드는 아래의 수학식 (1)에서 최소의 RD cost(J)를 갖는 모드로 결정된다.

일반적으로 전송선로를 통한 비디오의 전송에 있어서 화면의 특성에 따라 발생하는 Bitrates은 변화한다. 따라서 전송선로의 대역폭 이하로 Bitrates를 제한하기 위해 Rate control 방법이 사용된다. 이러한 Rate control에서 Quantization Parameter(QP)를 변화시켜 발생하는 Bitrate를 조절하는 방법이 있다.

하지만 동일한 영상에 있어서 Quantization parameter의 변화에 따른 화질의 변화는 시청자에게 화면이 떨리는 것으로 시인되어, 심각한 주관적 화질 저하를 야기한다.

도 2는 동일한 연속적인 화면에서 Quantization parameter 변화에 따른 화질의 변화를 보여주는 영상들이다.

도 2에 도시된 바와 같이, 화소 값의 변화가 전혀 없는 동일한 연속적인 화면에서 QP의 변화에 따라 시청자가 화질의 변화를 시인하여 심각한 주관적 화질 저하를 야기하는 것을 알 수 있다.

본 발명은 다양한 전송 매체를 통해 디스플레이 장치로 전달되는 영상 특성에 따라 선택적으로 압축 방식을 선택하여 화질 열화를 막는데 그 주안점이 있다.

이를 위하여 본 발명에서는 시간적으로 연속적인 프레임에서, 이전 영상과 현재 영상을 비교하여 변화가 있는지 파악한다. 구체적으로 화면 내 픽셀들의 방향성을 고려하여 부호화하는 화면 내 부호화 모드(intra-frame coding mode)의 변화를 기록하는 적응적 부호화 방법을 사용함으로써, 화질 향상을 가져올 수 있다. 이러한 본 발명은 향후 MOST(Media Oriented System Transport)를 통한 영상 전송과 터미널 모드(Terminal mode) 등에 적용될 수 있다.

이하 도 3 및 도 4를 참조하여 본 발명의 일 실시 예에 대해 상세히 설명하기로 한다.

도 3은 본 발명의 일 실시 예에 따른 인코딩 시스템을 나타내는 블록도이다.

도 3을 참조하면, 본 발명의 일 실시 예에 따른 인코딩 시스템(300)은 적응적 부호화 구조 선택기(100: Adaptive Coding Structure Selection unit)와 인코더(200)를 포함한다.

상기 적응적 부호화 구조 선택기(100)는 상기 인코더(200)로부터 화면 내 부호화 모드의 변화여부를 나타내는 인트라 모드 정보(intra mode information: 화면 내 부호화 모드 정보)를 프레임 단위로 전달받고, 전달받은 상기 인트라 모드 정보에 따라 양자화 파라미터(Quantization Parameter: QP)를 선택하고, 선택된 QP를 지시하는 QP 정보를 상기 인코더(200)로 출력한다. 상기 인코더(200)는 이미지 블록(Image Block: IB)을 입력 받고, 상기 적응적 부호화 구조 선택기(100)로부터의 QP 정보에 따라 선택된 QP를 이용하여 압축률과 복원될 영상의 화질을 조절하도록 상기 입력된 이미지 블록을 부호화한 비트스트림(bitstream)을 출력한다.

상기 적응적 부호화 구조 선택기(100)는 상기 인코더(200)로부터 전달받은 인트라 모드 정보를 분석하여, 현재 프레임의 IB의 인트라 모드(Intra mode: 화면 내 부호화 모드)와 상기 현재 프레임의 IB와 동일한 위치에 있는 이전 프레임의 IB의 인트라 모드 간에 차이가 없는 경우, 이전 프레임의 부호화 과정에서 설정된 QP(이하, “제1 QP”라 함)를 선택하고, 이를 지시하는 QP 정보를 상기 인코더(200)로 전달한다. 그러면, 인코더(200)는 현재 프레임에 이전 프레임에서 설정된 제1 QP와 동일한 QP를 적용하여 압축률과 화면의 떨림 현상과 화질 저하를 조절한다. 만일 이전 프레임의 인트라 모드와 현재 프레임의 인트라 모드간에 변화가 있다면, 상기 적응적 부호화 구조 선택기(100)는 상기 제1 QP보다 작은 QP(이하, “제2 QP”라 함)로 부호화 한다. 지시하는 QP 정보를 상기 인코더(200)로 전달한다.

그러면, 상기 인코더(200)는 현재 프레임에 상기 제1 QP보다 작은 제2 QP를 적용하여 부호화함으로써, 주관적 화질을 향상시킨다. 이를 위해, 상기 인코더(200)는 제1 합산기(214), 변환기(216)(Transform unit: T), 양자화기(218)(Quantization unit: Q), 역 양자화기(220)(Inverse Quantization unit: IQ), 역변환기(224)(IT: Inverse Transform unit), 제2 합산기(226), 프레임 저장부(228)(FS: Frame Store), 움직임 추정/보상(ME/MC: 230), 인트라 예측기(234)(Intra P), 가변 길이 부호화기(Variable Length Coding: 236) 및 비디오 버퍼(238)를 포함한다.

상기 제1 합산기(214)는 + 입력단과 - 입력단을 포함하며, + 입력단을 통해 이미지 블록(IB: Image Block)으로부터, - 입력단을 통해 입력된 인트라 예측기(234)로부터의 예측 화상 또는 움직임 추정/보상기(230)로부터의 예측 화상을 합산한다. 즉, 제1 합산기(214)는 이미지 블록(IB: Image Block)으로부터, 인트라 예측기(234)로부터의 예측 화상 또는 움직임 추정/보상기(230)로부터의 예측 화상을 차분하고, 그 차분 정보를 상기 변환기(216)에 출력한다.

상기 변환기(216)는 상기 제1 합산기(214)로부터의 상기 차분 정보에 대하여 정보 압축에 용이한 방법으로 변환을 수행하고, 그 변환 계수를 상기 양자화기(218)에 출력한다.

상기 양자화기(218)는 상기 변환기(216)가 출력하는 변환 계수를 양자화하며, 특히, 상기 적응적 부호화 구조 선택기(100)에 의해 선택된 QP에 따라 상기 변환 계수를 양자화한다. 구체적으로, 상기 양자화기(218)는 이전 프레임과 현재 프레임 간의 인트라 모드에 변화가 없는 경우, 상기 적응적 부호화 구조 선택기(100)로부터 이전 프레임과 동일한 제1 QP를 지시하는 QP 정보에 따라 상기 변환기(216)로부터 출력된 상기 변환 계수를 상기 제1 QP에 따른 양자화 레이트로 양자화하고, 이전 프레임과 현재 프레임 간의 인트라 모드에 변화가 있는 경우, 상기 제1 QP와 비교하여 감소된 제2 QP에 따른 양자화 레이트로 상기 변환 계수를 양자화 한다. 이렇게 함으로써, 상기 변환기(216)에 의한 이미지 블록(IB)의 직교 변환 후 보다 많은 고주파 성분까지도 부호화하여 주관적 화질 향상을 꾀할 수 있게 된다.

상기 가변 길이 부호화기(236)(Variable Length Coding unit: VLC)는 상기 양자화기(218)에 의해 양자화된 변환 계수를 부호화한다. 여기서, 부화화는 가변 길이 부호화, 산술 부호화 등의 일 수 있다. 가변 길이 부호화로서는, H.264/AVC 방식에서 정해져 있는 CAVLC(Context-Adaptive Variable Length Coding) 등을 들 수 있으며, 산술 부호화로서는, CABAC(Context-Adaptive Binary Arithmetic Coding) 등을 들 수 있다. 또한, 상기 가변 길이 부호화기(236)는 양자화된 변환 계수를 부호화하고 동시에 인트라 예측을 나타내는 정보 또는 인터 예측 모드를 나타내는 정보를 등을 부호화하고, 이를 압축 이미지에 있어서 헤더 정보의 일부로 구성할 수도 있다.

상기 비디오 버퍼(238)(Video Buffer: VB)는 상기 가변 길이 부호화기(236)에 의해 부호화된 결과 데이터 예컨대, H.264/AVC 방식으로 부호화된 압축 이미지를 비트스트림 형태로 스마트 폰, 기록 장치 또는 전송로 등의 복호측에 출력한다.

한편, 양자화기(218)로부터 출력된 양자화된 변환 계수는 상기 가변 길이 부호화기(236)외에 상기 역 양자화기(220)로도 출력하고, 이 역 양자화기(220)에 의해 역 양자화된 변환 계수는 역 변환기(224)로 출력되어 역 변환기(224)에 의해 역 직교 변환된다.

역 직교 변환된 결과는 제2 합산기(226)에 출력되고, 상기 제2 합산기(226)는 움직임 예측/보상기(230)에 의해 예측 및 보상된 이미지와 상기 역 직교 변환된 결과를 합산하여 국부적으로 복호화 된 이미지를 출력한다.

스위치(232)는 비디오 버퍼(228)에 축적된 상기 복호화 된 이미지를 참조 이미지로서 제1 합산기(214)에 출력하거나 인트라 예측기(234)에 의해 생성된 예측하는 예측 이미지를 상기 제1 합산기(214)에 출력한다.

상기 인트라 예측기(234)는 후보가 되는 모든 인트라 예측 모드의 인트라 예측 처리를 수행하고, 예측 이미지를 생성한다.

도 4는 본 발명의 일 실시 예에 따른 부호화 방법을 보여주는 순서도이다.

도 4를 참조하면, 우선, 입력 영상은 소정의 블록 단위 예컨대, 매크로 블록 단위의 이미지 블록 단위로 프레임 단위로 입력됨을 가정한다.

S410에서, 적응적 부호화 구조 선택기(100)가 인코더(200)의 인트라 예측기(234)로부터 제공되는 인트라 모드 정보에 기초하여 상기 이전 프레임의 이미지 블록과 상기 이전 프레임의 동일한 위치인 현재 프레임의 이미지 블록에서 인트라 모드의 변화 여부를 판단하는 과정이 수행된다.

S420에서, 인트라 모드의 변화가 없는 경우, 인코더(200)는 상기 적응적 부호화 구조 선택기(100)로부터 이전 프레임과 동일한 제1 QP를 지시하는 QP 정보에 따라 입력된 이미지 블록을 상기 제1 QP에 따른 양자화 레이트로 양자화하는 과정이 수행된다.

S430에서, 이전 프레임과 현재 프레임 간의 인트라 모드에 변화가 있는 경우, 상기 제1 QP와 비교하여 감소된 제2 QP에 따른 양자화 레이트로 이미지 블록을 양자화하는 과정이 수행된다.

이와 같이, 상기 S420 또는 S430에 의해 양자화된 이미지 블록은 가변 길이 부호화, 산술 부호화 등의 부호화 방식에 따라 압축되어 복호측으로 전달된다.

도 5는 화면 특성에 따른 인트라 모드 변환 비율을 보여주는 테이블이다.

연속적인 화면에서 동일 위치의 블록의 화면내 부호화 모드의 변화와 화면 변환 특성을 파악하기 위해 각 Test sequence에서 연속적인 화면에서 화면의 변화에 따른 인트라 모드의 변화는 도 5에 도시된 테이블로 나타낼 수 있다. 도 5의 테이블로부터 동일한 화면의 반복에서는 인트라 모드(Intra mode)의 변화가 없는 것을 확인 할 수 있다.

본 발명에서는 도 5의 테이블로부터 알 수 있는 통계적 특성을 이용하여, 연속적인 화면에서 인트라 모드의 변화의 관찰을 인트라 모드의 변화가 없을 때는 이전 QP와 동일한 값을 사용하여 부호화하고, 변화가 있을 때는 QP 값을 증가시켜 영상의 직교변환 후, 보다 많은 고주파 성부까지도 부호화하여 주관적 화질을 향상시킬 수 있게 된다.

이상에서와 같이 본 발명은 상기한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (6)

1. 이전 프레임과 현재 프레임의 동일한 위치의 영상 블록에서 화면 내 부호화 모드의 변화 여부를 판단하는 과정;
   상기 영상 블록의 변화 여부에 따라, 이전 프레임에서 설정된 제1 양자화 파라미터 또는 상기 제1 양자화 파라미터 보다 작은 제2 양자화 파라미터로 상기 영상블록을 양자화하는 과정; 및
   상기 제1 또는 제2 양자화 파라미터로 상기 영상 블록을 부호화하는 과정
   을 포함하는 적응적 부호화 방법을 이용한 영상의 부호화 방법.
2. 제1항에 있어서, 상기 영상 블록을 양자화하는 과정은,
   상기 화면 내 부호화 모드의 변화가 없는 경우, 상기 제1 양자화 파라미터를 적용하여 직교 변환된 상기 영상 블록을 양자화 하는 것을 특징으로 하는 적응적 부호화 방법을 이용한 영상의 부호화 방법.
3. 제1항에 있어서, 상기 영상 블록을 양자화 하는 과정은,
   상기 화면 내 부호화 모드의 변화가 있는 경우, 상기 제2 양자화 파라미터를 적용하여 직교 변환된 상기 영상 블록을 양자화하는 것을 특징으로 하는 적응적 부호화 방법을 이용한 영상의 부호화 방법.
4. 매 프레임단위로 화면 내 부호화 모드 정보에 기초해, 이전 프레임과 현재 프레임의 동일한 위치의 영상 블록에서 화면 내 부호화 모드의 변화 여부를 판단하여, 상기 이전 프레임에서 설정된 제1 양자화 파라미터 또는 상기 제1 양자화 파라미터보다 작은 제2 양자화 파라미터를 지시하는 QP 정보를 출력하는 적응적 부호화 구조 선택기;
   상기 영상 블록을 직교 변환한 변환 계수를 출력하는 변환기;
   상기 제1 또는 제2 양자화 파라미터를 이용하여 상기 변환 계수를 양자화하는 양자화기; 및
   상기 양자화된 변환 계수를 부호화하는 부호화기
   를 포함하는 인코더 장치.
5. 제 4 항에 있어서, 상기 양자화기는,
   상기 화면 내 부호화 모드의 변화가 없는 경우, 상기 제1 양자화 파라미터를 이용하여 상기 변환 계수를 양자화하는 것을 특징으로 하는 인코더 장치.
6. 제 4 항에 있어서, 상기 양자화기는,
   상기 화면 내 부호화 모드의 변화가 있는 경우, 상기 제2 양자화 파라미터를 이용하여 상기 변환 계수를 양자화하는 것을 특징으로 하는 인코더 장치.

Images