KR101444667B1

KR101444667B1 - 양방향 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치

Info

Publication number: KR101444667B1
Application number: KR1020110004303A
Authority: KR
Inventors: 임정연; 한종기; 이영렬; 문주희; 김해광; 전병우; 서찬원
Original assignee: 에스케이 텔레콤주식회사
Priority date: 2011-01-15
Filing date: 2011-01-15
Publication date: 2014-09-30
Also published as: US9544584B2; KR20120082960A; WO2012096550A3; CN103329538A; WO2012096550A2; US20130301709A1

Abstract

본 발명의 실시예는 양방향 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 상세하게는, 인트라예측을 하는 데 있어서 단방향 예측뿐만 아니라 양방향 예측을 적응적으로 사용하여 인트라 예측의 효율을 향상시키기 위한 양방향 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다.

Description

양방향 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치{Video Coding Method and Apparatus Using Bi-Direction Intra Prediction}

이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 반드시 종래기술을 구성하는 것은 아니다.

H.264/AVC는 현재까지 표준화된 비디오 코덱(Video Coder and Decode)들 중 가장 압축률이 뛰어난 비디오 코덱에 대한 표준이다. H.264/AVC 표준에는 압축 효율을 높이기 위하여 방향성을 고려한 인트라 예측(Intra Prediction), 4x4 화소 단위의 정수 변환(Integer Transform), 16x16 화소 크기부터 4x4 화소 크기까지의 다양한 크기를 가지는 블록 모드(Block Mode), 디블록킹 필터(Deblocking Filter) 등을 이용하여 영상을 예측 부호화한다.

최근 표준화 논의가 진행중인 HEVC(High Efficiency Video Coding)에서는 H.264/AVC보다 효율적인 인트라 예측을 수행하기 위하여 4x4~16x16 뿐만 아니라 그 이상의 블록에 대해서도 인트라 예측을 수행한다. 또한, 도 1에 도시한 바와 같이 최대 34가지 방향을 고려하여 예측을 수행하여 기존보다 정밀하게 현재 블록을 예측할 수 있다.

기존 인트라 예측 방법들은 단방향의 예측을 수행한다. 그러나 현재 블록의 크기가 충분히 작거나 현재 블록이 한가지 특성을 갖는 경우에는 현재 블록을 예측함에 있어서 다수개의 주변 화소 정보를 이용하는 것이 예측의 효율성을 높일 수 있다. 그러나, 기존 인트라 예측은 단순한 단방향 예측만을 사용하고 있어 부호화 효율 향상에 한계가 있다.

전술한 문제점을 해결하기 위해 본 발명은, 인트라예측을 하는 데 있어서 단방향 예측뿐만 아니라 양방향 예측을 적응적으로 사용하여 인트라 예측의 효율을 향상시키는 데 주된 목적이 있다.

전술한 목적을 달성하기 위하여 본 발명의 일 실시예는, 영상을 부호화/복호화하는 장치에 있어서, 인트라예측의 방향에 대응되는 주변블록 화소간의 오프셋을 구하고 적응적으로 상기 오프셋을 고려하여 현재블록에 대하여 인트라 예측하여 예측블록을 생성하고 상기 현재블록을 인트라예측 부호화하는 영상부호화기; 및 비트스트림으로부터 인트라예측의 모드를 포함하는 예측정보를 복호하고 복호된 인트라예측의 방향에 대응되는 주변블록 화소간의 오프셋을 구하고 상기 오프셋을 고려하여 현재블록에 대하여 인트라 예측하여 예측블록을 생성하고 상기 현재블록을 복원하는 영상복호화기를 포함하는 것을 특징으로 하는 영상 부호화/복호화 장치를 제공한다.

또한, 전술한 목적을 달성하기 위한 본 발명의 다른 실시예는, 영상을 부호화하는 장치에 있어서, 인트라예측의 방향에 대응되는 주변블록 화소간의 오프셋을 구하는 오프셋 계산부; 및 적응적으로 상기 오프셋을 고려하여 현재블록에 대하여 인트라 예측하여 예측블록을 생성하고 상기 현재블록을 인트라예측 부호화하는 인트라예측 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.

상기 오프셋계산부는, 상기 인트라예측의 방향에서 바라본 경우 현재블록의 최외곽라인에 위치하는 화소와 동일한 선상에 위치하는 제1주변화소를 선택하고, 상기 인트라예측의 방향에서 바라본 경우 현재블록의 최근접라인과 가장 가까운 이웃라인의 제2 주변화소들을 선택한 후, 상기 제1 주변화소와 제2 주변화소 사이의 오프셋을 구할 수 있다.

상기 인트라예측 부호화부는, 적응적으로 상기 오프셋을 고려하여 현재블록에 대하여 인트라 예측하여 예측블록을 생성하는 예측부; 상기 현재블록에서 상기 예측블록을 감산하여 잔차블록을 생성하는 감산부; 상기 잔차블록을 변환하여 주파수변환블록을 생성하는 변환부; 상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하는 양자화부; 적응적으로 예측블록을 생성하였는지 여부를 반영하도록 상기 양자화된 주파수변환블록의 양자화계수의 값을 조정하는 양자화계수 조정부; 및 상기 양자화된 주파수변환블록을 부호화하여 비트스트림을 생성하는 비트스트림 생성부를 포함할 수 있다.

상기 양자화계수의 값의 조정은, 상기 양자화된 주파수변환블록의 양자화계수들의 절대값의 합이 짝수 혹은 홀수가 되도록 어느 하나의 양자화계수값을 조정할 수 있다.

상기 제1주변화소는, 상기 현재블록의 최외곽라인에 인접하는 화소를 포함하여 나란히 연결된 화소들일 수 있다.

상기 오프셋은, 상기 제1주변화소와 상기 제2주변화소 사이의 평균 차이일 수 있다.

상기 제1주변화소 및 상기 제2주변화소의 갯수는, 각각 상기 현재블록의 한 변 크기의 1/2배일 수 있다.

상기 인트라예측 부호화부는, 모든 인트라예측 모드에 대하여 상기 오프셋을 고려한 경우 및 상기 오프셋을 고려하지 않은 경우를 포함한 모드 중에서 율-왜곡 비용이 가장 우수한 경우를 선택하여 상기 현재블록을 인트라예측 부호화할 수 있다.

상기 인트라예측 부호화부는, 상기 인트라예측의 모드에 따라 발생하는 예측화소값에 상기 오프셋을 더한 값을 상기 최외곽라인에 위치하는 현재블록 화소 라인의 마지막줄 예측값으로 생성하고, 상기 최외곽라인에 위치하는 현재블록 화소 라인 이외의 나머지 화소 라인의 예측화소값은 상기 인트라예측의 모드에 따라 관련된 주변 참조화소값들과 상기 마지막줄 예측값을 이용하여 양방향 보간하여 생성될 수 있다.

상기 인트라예측 부호화부는, 상기 인트라예측의 모드에 따라 발생하는 예측화소값에 상기 오프셋을 더한 값을 상기 최외곽라인에 위치하는 현재블록 화소 라인의 마지막줄 예측값으로 생성한 후, 상기 최외곽라인내의 소정갯수의 화소와 최외곽라인에 인접하는 주변블록의 예측에 사용되는 화소라인의 소정갯수의 화소값을 필터링하고 상기 최외곽라인에 위치하는 현재블록 화소 라인 이외의 나머지 화소 라인의 예측화소값은 상기 인트라예측의 모드에 따라 관련된 주변 참조화소값들과 상기 마지막줄 예측값을 이용하여 양방향 보간하여 생성될 수 있다.

상기 인트라예측 부호화부는, 상기 오프셋의 절대값이 제1문턱치보다 작은 경우에는 상기 오프셋을 '0'으로 설정할 수 있다.

상기 인트라예측 부호화부는, 상기 오프셋의 절대값이 제2문턱치보다 큰 경우에는 상기 오프셋의 절대값이 상기 제2문턱치가 되도록 상기 오프셋을 설정할 수 있다.

상기 인트라예측의 방향이 하방의 방향성분을 포함하는 경우에 상기 최외곽라인은 상기 현재블록의 최하단 라인이고, 상기 인트라예측의 방향이 상방의 방향성분을 포함하거나 수평방향인 경우에 상기 최외곽라인은 상기 현재블록의 최우측 라인이고, 상기 최근접라인은 상기 현재블록 내에서 상기 최외곽라인에서 가장 멀리 떨어져 있는 라인일 수 있다.

또한, 전술한 목적을 달성하기 위한 본 발명의 다른 실시예는, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 인트라예측의 모드를 포함하는 예측정보를 복호하는 예측정보 복호화부; 상기 인트라예측의 방향에 대응되는 주변블록 화소간의 오프셋을 구하는 오프셋 계산부; 및 상기 오프셋을 고려하여 현재블록에 대하여 인트라 예측하여 예측블록을 생성하고 상기 현재블록을 복원하는 인트라예측 복호화부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.

상기 제1 주변화소는, 상기 현재블록의 최외곽라인에 인접하는 화소를 포함하여 나란히 연결된 화소들일 수 있다.

상기 오프셋은, 상기 제1 주변화소와 상기 제2 주변화소 사이의 평균 차이일 수 있다. 상기 제1 주변화소와 상기 제2 주변화소의 갯수는 같을 수 있다.

상기 제1 주변화소 및 상기 제2주변화소의 갯수는, 각각 상기 현재블록의 한 변 크기의 1/2배일 수 있다.

상기 인트라예측 복호화부는, 상기 인트라예측의 모드에 따라 발생하는 예측화소값에 상기 오프셋을 더한 값을 상기 최외곽라인에 위치하는 현재블록 화소 라인의 마지막줄 예측값으로 생성하고, 상기 최외곽라인에 위치하는 현재블록 화소 라인 이외의 나머지 화소 라인의 예측화소값은 상기 인트라예측의 모드에 따라 관련된 주변 참조화소값들과 상기 마지막줄 예측값을 이용하여 양방향 보간하여 생성할 수 있다.

상기 인트라예측 복호화부는, 상기 인트라예측의 모드에 따라 발생하는 예측화소값에 상기 오프셋을 더한 값을 상기 최외곽라인에 위치하는 현재블록 화소 라인의 마지막줄 예측값으로 생성한 후, 상기 최외곽라인내의 소정갯수의 화소와 최외곽라인에 인접하는 주변블록의 예측에 사용되는 화소라인의 소정갯수의 화소값을 필터링하고 상기 최외곽라인에 위치하는 현재블록 화소 라인 이외의 나머지 화소 라인의 예측화소값은 상기 인트라예측의 모드에 따라 관련된 주변 참조화소값들과 상기 마지막줄 예측값을 이용하여 양방향 보간하여 생성할 수 있다.

상기 인트라예측 복호화부는, 상기 비트스트림으로부터 양자화된 주파수변환블록을 복호하는 블록복호화부; 상기 오프셋을 고려하여 현재블록에 대하여 인트라예측하여 예측블록을 생성하는 예측부; 상기 양자화된 주파수변환블록을 역양자화하여 주파수변환블록을 복원하는 역양자화부; 상기 주파수변환블록을 역변환하여 잔차블록을 복원하는 역변환부; 및 상기 복원된 잔차블록과 상기 예측블록을 가산하여 상기 현재블록을 복원하는 가산부를 포함할 수 있다.

상기 예측부는, 상기 양자화된 양자화계수들의 절대값들의 합이 짝수 혹은 홀수가 되는지 여부에 따라 상기 복호된 인트라예측의 모드에 따라 적응적으로 현재블록을 예측할 수 있다.

또한, 전술한 목적을 달성하기 위한 본 발명의 다른 실시예는, 영상을 부호화/복호화하는 방법에 있어서, 인트라예측의 방향에 대응되는 주변블록 화소간의 오프셋을 구하고 적응적으로 상기 오프셋을 고려하여 현재블록에 대하여 인트라 예측하여 예측블록을 생성하고 상기 현재블록을 인트라예측 부호화하는 영상부호화단계; 및 비트스트림으로부터 인트라예측의 모드를 포함하는 예측정보를 복호하고 복호된 인트라예측의 방향에 대응되는 주변블록 화소간의 오프셋을 구하고 상기 오프셋을 고려하여 현재블록에 대하여 인트라 예측하여 예측블록을 생성하고 상기 현재블록을 복원하는 영상복호화단계를 포함하는 것을 특징으로 하는 영상 부호화/복호화 방법을 제공한다.

또한, 전술한 목적을 달성하기 위한 본 발명의 다른 실시예는, 영상을 부호화하는 방법에 있어서, 인트라예측의 방향에 대응되는 주변블록 화소간의 오프셋을 구하는 오프셋 계산단계; 및 적응적으로 상기 오프셋을 고려하여 현재블록에 대하여 인트라 예측하여 예측블록을 생성하고 상기 현재블록을 인트라예측 부호화하는 인트라예측 부호화단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.

또한, 전술한 목적을 달성하기 위한 본 발명의 다른 실시예는, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 인트라예측의 모드를 포함하는 예측정보를 복호하는 예측정보 복호화단계; 상기 인트라예측의 방향에 대응되는 주변블록 화소간의 오프셋을 구하는 오프셋 계산단계; 및 상기 오프셋을 고려하여 현재블록에 대하여 인트라 예측하여 예측블록을 생성하고 상기 현재블록을 복원하는 인트라예측 복호화단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.

이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 인트라예측을 하는 데 있어서 단방향 예측뿐만 아니라 양방향 예측을 적응적으로 사용하여 인트라 예측의 효율을 향상시킬 수 있다.

또한, 양방향 예측을 적응적으로 사용하더라도 양자화계수열을 조정함으로써 추가적인 비트의 전송없이 화질의 열화를 최소화하면서 적응적 예측에 대한 정보를 전송할 수 있어 효율적인 적응적 예측을 수행할 수 있다.

그리고, 양방향예측을 수행하기 전에 양방향 예측의 기준이 되는 최외곽라인의 화소 및 인접 참조화소를 필터링함으로써 화질의 열화를 방지하는 효과가 있다.

도 1은 종래의 인트라예측 모드를 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
도 3은 인트라예측의 방향이 하방의 방향성분을 포함하는 경우에, 종래의 인트라예측 블록의 생성 방법을 예시한 도면이다.
도 4는 인트라예측의 방향이 하방의 방향성분을 포함하는 경우에, 본 발명의 실시예에 따른 인트라예측을 위하여 오프셋을 계산하여 최외곽라인의 예측라인을 생성하는 방법을 예시한 도면이다.
도 5는 인트라예측 방향이 상방의 방향성분을 포함하는 경우에, 본 발명의 실시예에 따른 인트라예측을 위하여 오프셋을 계산하여 최외곽라인의 예측라인을 생성하는 방법을 예시한 도면이다.
도 6은 양방향 선형보간을 수행한 예측블록을 도시한 도면이다.
도 7은 최외곽라인의 예측화소값 및 주변참조화소값을 필터링하는 경우를 예시한 도면이다.
도 8은 인트라예측의 방향이 상방의 방향성분을 포함하는 경우에 새로운 인트라예측을 수행하는 순서를 예시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 영상 복호화 장치(900)의 구성을 간략하게 나타낸 블록 구성도이다.
도 10은 본 발명의 일 실시예에 따른 영상 부호화 방법을 예시한 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 영상 복호화 방법을 예시한 흐름도이다.

이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 인터 또는 인트라 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.

또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.

통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다.

도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 영상 부호화 장치(200)는 영상을 부호화하는 장치로서, 인트라예측 부호화부(200a) 및 오프셋계산부(250)를 포함하며, 인트라예측 부호화부(200a)는 예측부(210), 감산부(220), 변환부(230), 양자화부(240), 양자화계수 조정부(245), 비트스트림 생성부(260), 역양자화부(270), 역변환부(280), 가산부(290) 및 메모리(292)를 포함하여 구성될 수 있다.

부호화하고자 하는 입력 영상은 블록(Block) 단위로 입력이 되는데, 본 발명에서, 블록은 M×N 형태이며 M과 N은 다양한 크기를 가질 수 있으며, M과 N은 동일하거나 다를 수 있다.

오프셋계산부(250)는 인트라예측의 방향에 대응되는 주변블록 화소간의 오프셋을 구한다.

도 3은 인트라예측의 방향이 하방의 방향성분을 포함하는 경우에, 종래의 인트라예측 블록의 생성 방법을 예시한 도면이고 도 4는 본 발명의 실시예에 따른 인트라예측을 위하여 오프셋을 계산하여 예측블록을 생성하는 방법을 예시한 도면이다.

도 3에서처럼, 종래의 인트라예측은 인트라예측모드에 따른 예측화소값을 현재 블록의 상단과 왼쪽에 이웃하는 이미 부호화된 화소값들을 이용하여 계산한 결과를 현재블록의 예측블록으로 사용한다.

하지만, 도 4에 도시한 바와 같이, 본 발명의 실시예에 따른 새로운 인트라예측 방법은 종래와는 달리 계산된 오프셋을 인트라예측모드에 따른 예측화소값에 반영하여 현재블록의 예측블록으로 사용한다.

즉, 도 4의 (C)에 예시하듯이, 새로운 인트라예측 방법에서는 현재블록의 맨 아래 라인의 예측화소값을 기존의 인트라예측모드에 따른 예측화소값에 주위화소로부터 계산된 오프셋을 더한 값으로 사용한다.

도 4와 같이 인트라예측의 방향이 하방의 방향성분을 포함하는 경우에 현재블록의 최외곽라인에 위치한다는 의미는 현재블록의 최하단 라인을 의미하고, 이 경우에 최근접라인은 현재블록 내에서 최외곽라인에서 가장 멀리 떨어져 있는 라인, 즉, 현재블록의 최상단 라인을 의미한다.

도 4의 (B)에 예시하듯이, 오프셋계산부(250)는 인트라예측의 방향에서 바라본 경우 현재블록의 최외곽라인에 위치하는 화소와 동일한 선상에 위치하는 제1주변화소들을 선택하고, 인트라예측의 방향에서 바라본 경우의 현재블록의 최근접라인과 가장 가까운 이웃라인의 제2주변화소들을 선택한 후, 제1주변화소들과 제2주변화소들 사이의 오프셋을 구한다. 여기서 선택되는 제1 주변화소는 현재블록의 최외곽라인에 인접하는 화소를 포함하여 나란히 연결된 화소들일 수 있다. 또한 제2 주변화소는 현재 블록에 이웃하는 화소들 중 최근접라인과 가장 가까우면서 최근접라인과 평행라인인 이웃 참조화소라인과 나란히 연결된 화소일 수 있다. 그리고 제1주변화소들은 각각의 제2주변화소들과 인트라예측의 방향에서 볼 때 동일한 방향선상에 위치하는 화소들일 수 있다.

도 5와 같이 인트라예측의 방향이 수평의 방향성분을 포함하는 경우에 현재블록의 최외곽라인에 위치한다는 의미는 현재블록의 최우측 라인을 의미하고, 이 경우에 최근접라인은 현재블록 내에서 최외곽라인에서 가장 멀리 떨어져 있는 라인, 즉, 현재블록의 최좌측 라인을 의미한다.

도 5의 (B)에 예시하듯이, 오프셋계산부(250)는 인트라예측의 방향에서 바라본 경우 현재블록의 최외곽라인에 위치하는 화소와 동일한 수직선상에 위치하는 제1 주변화소들을 선택하고, 인트라예측의 방향에서 바라본 경우의 현재블록의 최근접라인과 가장 가까운 이웃참조화소라인의 제2 주변화소들을 선택한 후, 제1 주변화소들과 제2 주변화소들 사이의 오프셋을 구한다. 여기서 선택되는 제1 주변화소는 현재블록의 최외곽라인에 인접하는 화소를 포함하여 수직방향으로 연결된 화소들일 수 있다. 또한, 제2 주변화소는 현재 블록에 이웃하는 화소들 중 최근접라인과 가장 가까우면서 최근접라인과 같은 방향인 이웃참조화소라인과 나란히 연결된 화소일 수 있다.

또한, 제1주변화소의 갯수는 현재블록의 한 변 크기의 1/2배를 사용할 수 있다. 예를 들어, 도 4의 (B)와 같이 4X4 블록인 경우에 한 변의 길이가 4이므로 제1주변화소의 갯수는 2가 될 수 있다. 또한, 오프셋을 구하는 방법은, 선택되는 제주변화소들과 제2주변화소들 간의 차이를 계산하여 그 평균 차이를 오프셋으로 정의할 수 있다.

예측부(210)는, 도 4에서 (B)와 같이, 인트라예측의 방향이 좌상 방향에서 우하 방향으로 향하는 경우에, 최외곽라인인 최하단 라인의 예측화소값은 (A)와 같이 인트라예측의 결과 발생하는 화소값을 그대로 쓰는 것이 아니라 오프셋을 고려하여 예측화소값을 발생시킨다. 즉, 인트라예측의 모드에 따라 발생하는 예측화소값에 상기 오프셋을 더한 값을 최외곽라인에 위치하는 현재블록 화소 라인의 마지막줄 예측값으로 생성할 수 있다. 이 경우에, 최외곽라인에 위치하는 현재블록 화소 라인 이외의 나머지 화소 라인의 예측화소값은 인트라예측의 모드에 따라 관련된 주변 참조화소값들과 상기의 마지막줄 예측값을 이용하여 양방향 선형보간(Bi-linear Interpolation)하여 도 6과 같이 예측블록이 생성될 수 있다.

한편, 오프셋의 절대값이 제1문턱치보다 작은 경우에는 오프셋을 '0'으로 설정하여 오프셋이 최외곽라인인 최하단 라인의 예측화소값에 반영되지 않도록 할 수 있다. 여기서, 제1문턱치는 (2^Binc)로 설정하는 등 다양한 방법으로 설정될 수 있다(B_inc: IBDI(internal bit depth increaing)를 사용하기 위하여 설정되는 파라미터).

또한, 오프셋의 절대값이 제2문턱치보다 큰 경우에는 오프셋의 절대값이 제2문턱치를 넘지 않도록 제한할 수 있다. 예를 들어, 제2문턱치는 10 등으로 설정할 수 있다.

여기서, 제1문턱치 및 제2문턱치에 대한 정보를 발생하는 문턱치 발생부(미도시)를 추가로 구비하여 후술하는 비트스트림 발생부(260)로 전달하고 비트스트림 발생부(260)가 비트스트림으로 만들어 후술하는 영상 복호화 장치로 전송할 수도 있다. 또한 영상 부호화 장치와 후술하는 영상 복호화 장치에서 약속된 문턱치 값을 사용함으로써 제1문턱치 및 제2문턱치에 대한 정보를 전송하지 않을 수 있다.

도 7은 최외곽라인의 예측화소값 및 주변참조화소값을 필터링하는 경우를 예시한 도면이다.

도 7에 도시한 바와 같이, 양방향 선형보간을 수행하기 전에 오프셋을 반영한 최외곽라인의 예측화소값 및 그 주변의 참조화소값을 필터링하여 현재블록의 예측화소값을 계산하기 위한 참조화소값으로 사용할 수 있다. 즉, 최외곽라인에 인접하는 주변블록의 참조화소값(들)을 필터링할 수 있다. 이때 필터링되는 주변블록의 참조화소는 현재블록에 인접하는 화소들일 수 있다. 또한, 상기 필터링이 적용되는 주변화소(들)의 갯수는 후술하는 영상 복호화 장치와 약속된 동일한 값을 사용할 수 있다.

도 7에 도시한 바와 같이, 필터링되는 화소는 B와 C일 수 있다. 예를 들어, B와 C는 수학식 1과 같이 각각 B' 및 C'으로 필터링된 후 양방향 선형보간에 사용될 수 있다.

도 8은 인트라예측의 방향이 상방의 방향성분을 포함하는 경우에 새로운 인트라예측을 수행하는 순서를 예시한 도면이다.

도 8에 예시하듯이, 인트라예측의 방향이 상방의 방향성분을 포함하는 경우에는, 현재블록의 최외곽라인은 현재블록의 최우측 라인이 되고, 현재블록의 최근접라인은 현재블록 내에서 최외곽라인에서 가장 멀리 떨어져 있는 라인이 되며, 인트라예측의 방향이 수평인 경우도 인트라예측의 방향이 상방의 방향성분을 포함하는 경우와 동일하게 최외곽라인 및 최근접라인이 정의될 수 있다.

한편, 예측부(210)는 적응적으로 오프셋을 고려하여 현재블록에 대하여 인트라 예측하여 예측블록을 생성할 수 있다. 즉, 예측부(210)는 모든 인트라예측 모드에 대하여 오프셋을 고려한 경우 및 오프셋을 고려하지 않은 경우를 포함한 모드 중에서 율-왜곡 비용이 가장 우수한 경우를 선택하여 현재블록을 인트라예측 부호화할 수 있다. 즉, 율-왜곡 비용을 고려하여 종래의 인트라예측 방법과 새로운 인트라예측 방법을 적응적으로 선택할 수 있다.

예측부(210)는 영상에서 현재 부호화하고자 하는 대상 블록을 예측하여 예측 블록을 생성한다. 즉, 예측부(210)는 영상에서 부호화하고자 하는 대상 블록의 각 화소의 화소값(Pixel Value)을 결정된 최적의 예측 모드(Prediction Mode)에 따라 예측하여 예측된 각 화소의 예측 화소값(Predicted Pixel Value)을 갖는 예측 블록(Predicted Block)을 생성한다. 또한, 예측부(210)는 예측모드에 대한 정보를 비트스트림 생성부(260)로 전달하여 비트스트림 생성부(260)로 하여금 예측모드에 대한 정보를 부호화하도록 할 수 있다. 여기서, 최적의 예측 모드란 인트라 예측을 위한 다양한 인트라 예측 모드(예를 들어, H.264/AVC에서는 인트라 8×8 예측과 인트라 4 X 4 예측 각각에서의 9 가지의 예측 모드와 인트라 16 X 16 예측에서의 4 가지의 예측 모드, 또는 도 1과 같은 다양한 예측 모드) 중 부호화 비용이 최소인 예측 모드가 결정될 수 있다. 예측부(210)는 대상 블록의 블록 모드 또는 블록 크기에 따라 각 예측 모드의 부호화 비용을 계산하고 부호화 비용이 최소인 예측 모드를 최적의 예측 모드로서 결정할 수 있다.

감산부(220)는 부호화할 대상 블록(즉, 현재 블록)에서 예측 블록을 감산하여 잔차 블록(Residual Block)을 생성한다. 즉, 감산부(220)는 부호화하고자 하는 대상 블록의 각 화소의 화소값과 예측부(210)에서 예측한 예측 블록의 각 화소의 예측 화소값의 차이를 계산하여 블록 형태의 잔차 신호(Residual Signal)인 잔차 블록을 생성한다.

변환부(230)는 잔차 블록을 주파수 영역으로 변환하여 잔차 블록의 각 화소값을 주파수 계수로 변환한다. 여기서, 변환부(230)는 하다마드 변환(Hadamard Transform), 이산 코사인 변환 기반 변환(DCT based Transform: Discrete Cosine Transform Based Transform) 등과 같은 공간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔차 신호를 주파수 영역으로 변환할 수 있는데, 주파수 영역으로 변환된 잔차 신호가 주파수 계수가 된다.

양자화부(240)는 변환부(230)에 의해 주파수 영역으로 변환된 주파수 계수를 갖는 잔차 블록을 양자화(Quantization)하여 양자화된 주파수변환블록을 생성한다. 여기서, 양자화부(240)는 변환된 주파수변환블록을 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함), 양자화 가중치 매트릭스(Quantization Weighted Matrix) 또는 이를 개량한 양자화 기법 등을 사용하여 양자화할 수 있다.

양자화계수 조정부(245)는 예측블록을 생성하기 위해 어떤 방법을 사용하였는지를 반영하도록 양자화된 주파수변환블록의 양자화계수의 값을 조정한다.

양자화계수 조정부(245)는 후술하는 영상 복호화 장치가 적응적으로 사용된 인트라 예측 방법의 종류를 알 수 있도록, 양자화계수들의 절대값의 합이 홀수이면 새로운 방법의 인트라예측을 사용했음을 의미하고 양자화계수들의 절대값의 합이 짝수이면 종래의 인트라예측 방법을 사용했음을 의미하도록 어느 하나의 양자화계수값을 조정할 수 있다. 예를 들어, 양자화계수들의 절대값의 합이 28이고 새로운 방법의 인트라예측을 사용한 경우에는 화질의 영향이 가장 적은 양자화계수의 값을 조정하는 방식으로 양자화계수의 합을 홀수로 만들어 새로운 방법의 인트라예측을 사용했음을 의미하도록 할 수 있다.

반대로, 양자화계수들의 절대값의 합이 짝수이면 새로운 방법의 인트라예측을 사용했음을 의미하고 양자화계수들의 절대값의 합이 홀수이면 종래의 인트라예측 방법을 사용했음을 의미하도록 할 수도 있다.

스캔부(미도시)는 양자화부(240)에 의해 양자화된 주파수변환블록의 양자화 주파수 계수를 지그재그 스캔과 같은 다양한 스캔 방식에 따라 스캔하여 양자화 주파수 계수열을 생성한다.

비트스트림 생성부(260)는 스캔부(미도시)에 의해 생성된 양자화 주파수 계수열을 엔트로피 부호화(Entropy Coding) 기법 등을 이용하여 부호화함으로써 비트스트림을 출력한다. 또한, 비트스트림 생성부(260)는 예측부(210)에서 대상 블록을 예측한 예측 모드에 대한 정보를 함께 부호화할 수 있다. 한편 스캔부(미도시)는 그 기능이 비트스트림 생성부(260)에 통합되어 구현될 수도 있다.

이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술을 사용할 수 있을 것이다.

또한, 비트스트림 생성부(260)는 양자화 주파수 계수들을 부호화한 비트열뿐만 아니라 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들을 부호화 데이터에 포함시킬 수 있다. 즉, 부호화 데이터는 부호화된 블록 형태(CBP: Coded Block Pattern), 델타 양자화 계수(Delta Quantization Parameter) 및 양자화 주파수계수가 부호화 된 비트열 및 예측에 필요한 정보(예를 들어, 인트라 예측의 경우 인트라 예측 모드 또는 인터 예측의 경우 움직임 벡터 등)를 위한 비트열 등을 포함할 수 있다.

역양자화부(270)는 양자화부(240)에 의해 양자화된 주파수변환블록을 역양자화(Inverse Quantization)한다. 즉, 역양자화부(270)는 앙자화된 주파수변환블록의 양자화 주파수 계수들을 역 양자화하여 주파수 계수를 갖는 잔차 블록을 생성한다.

역변환부(280)는 역양자화부(270)에 의해 생성된 주파수변환블록을 역변환(Inverse Transform)하여 화소값을 갖는 잔차 블록 즉, 복원된 잔차 블록을 생성한다. 여기서, 역변환부(280)는 변환부(230)에서 사용한 변환한 방식을 역으로 사용하여 역변환할 수 있다.

가산부(290)는 예측부(210)에서 예측된 예측블록과 역변환부(280)에 의해 복원된 잔차블록을 가산하여 대상 블록을 복원한다. 복원된 대상 블록은 메모리(292)에 저장되어 대상 블록의 다음 블록이나 향후 다른 블록을 부호화할 때 참조 픽처로서 사용될 수 있다.

도 1에서는 도시하지 않았지만, 메모리(292)와 가산부(290) 사이에는 디블로킹 필터부(미도시)가 추가로 연결될 수 있다. 디블로킹 필터부는 가산부(290)에 의해 복원된 대상 블록을 디블로킹 필터링(Deblocking Filtering)한다. 여기서, 디블로킹 필터링이란 영상을 블록 단위로 부호화하면서 발생하는 블록 왜곡을 감소시키는 작업을 말하며, 블록 경계와 매크로블록 경계에 디블로킹 필터를 적용하거나 매크로블록 경계에만 디블로킹 필터를 적용하거나 디블로킹 필터를 사용하지 않는 방법 중 하나를 선택적으로 사용할 수 있다.

도 9는 본 발명의 일 실시예에 따른 영상 복호화 장치(900)의 구성을 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 영상 복호화 장치(900)는 인트라예측 복호화부(900a), 예측정보 복호화부(970) 및 오프셋계산부(990)을 포함하며, 인트라예측 복호화부(900a)는 블록복호화부(910), 역스캔부(920), 역양자화부(930), 역변환부(940), 예측부(950), 메모리(960) 및 가산부(980)를 포함하여 구성될 수 있다.

예측정보 복호화부(970)는 비트스트림으로부터 인트라예측의 모드를 포함하는 예측정보를 복호한다.

오프셋계산부(990)는 인트라예측의 방향에 대응되는 주변블록 화소간의 오프셋을 구한다. 오프셋계산부(990)는 복호된 인트라예측의 방향에서 바라본 경우 현재블록의 최외곽라인에 위치하는 화소와 동일한 선상에 위치하는 제1 주변화소들을 선택하고, 인트라예측의 방향에서 바라본 경우 현재블록의 최근접라인과 평행으로 위치하면서 가장 가깝게 위치한 주변 참조화소들의 연장선에 위치하는 제2 주변화소들을 선택한 후, 제1 주변화소들과 제2 주변화소들 사이의 오프셋을 구한다. 오프셋계산부(990)의 기능은 도 2를 통해 전술한 오프셋계산부(250)와 각각 동일 또는 유사한 기능을 수행하므로 상세한 설명은 생략한다.

블록복호화부(910)는 비트스트림으로부터 양자화된 주파수 계수열을 추출하여 역스캔부(920)로 전달하고 역스캔부(920)는 모드 정보에 따라 양자화 주파수 계수열을 역 스캐닝하여 양자화 주파수 계수를 갖는 잔차 블록을 생성할 수 있다. 여기서 예측정보 복호화부(970) 및 블록복호화부(910)는 일체로 구현될 수도 있다.

블록복호화부(910)는 모드 정보에 따라 역스캐닝을 수행하여 잔차 블록이 생성되면, 역스캔부(920)는 생성된 양자화된 주파수변환블록을 역양자화부(930)로 전달한다. 한편 역스캔부(920)의 기능은 블록복호화부(910)에 통합되어 구현될 수도 있다.

역양자화부(930)와 역변환부(940)는 도 2를 통해 전술한 역양자화부(270)와 역 변환부(280)와 각각 동일 또는 유사한 기능을 수행하므로 상세한 설명은 생략한다.

예측부(950)는 계산된 오프셋을 고려하여 현재블록에 대하여 인트라예측하여 예측블록을 생성한다. 예측부(950)는 블록복호화부(910)에서 추출한 양자화된 주파수계수들의 절대값의 합이 짝수 혹은 홀수가 되는지 여부에 따라 결정된 인트라예측의 모드에 따라 적응적으로 현재블록을 예측할 수 있다.

한편, 예측부(950)는 추출한 양자화된 주파수계수들의 절대값의 합에 따라 적응적으로 오프셋을 고려하여 현재블록에 대하여 인트라 예측하여 예측블록을 생성할 수 있다. 예측부(950)는, 도 4에서와 같이, 인트라예측의 방향이 좌상 방향에서 우하 방향으로 향하는 경우에, 최외곽라인인 최하단 라인의 예측화소값은 (A)와 같이 인트라예측의 결과 발생하는 화소값을 그대로 쓰는 것이 아니라 (C)와 같이 오프셋을 고려하여 예측화소값을 발생시킨다. 즉, 인트라예측의 모드에 따라 발생하는 예측화소값에 계산된 오프셋을 더한 값을 최외곽라인에 위치하는 현재블록 화소 라인의 마지막줄 예측값으로 생성할 수 있다. 이 경우에, 현재 블록내의 화소값들 중 최외곽라인에 위치하는 화소 라인 이외의 나머지 화소 라인의 예측화소값은 현재블록의 상단과 왼쪽 주변의 이미 복호화된 화소값과 상기의 마지막줄 예측값을 이용하여 양방향 선형보간(Bi-linear Interpolation)하여 도 6과 같이 예측블록이 생성될 수 있다.

여기서, 비트스트림으로부터 제1문턱치 및/또는 제2문턱치에 대한 정보를 복호하는 문턱치 복호부(미도시)를 추가로 구비하여 제1문턱치 및/또는 제2문턱치에 대한 정보를 복호하고 예측부(950)으로 전송하도록 하여 제1문턱치 및/또는 제2문턱치에 대한 정보를 오프셋의 반영에 사용할 수 있다. 또한, 영상 부호화 장치와 영상 복호화 장치가 제1 문턱치와 제2 문턱치를 약속한 값으로 사용하고, 별도의 정보를 주고 받지 않을 수 있다.

도 7에 도시한 바와 같이, 양방향 선형보간을 수행하기 전에 오프셋을 반영한 최외곽라인의 예측화소값 및 그 주변의 참조화소값을 필터링하여 현재블록의 예측화소값을 계산할 수 있다. 즉, 최외곽라인내의 소정갯수의 화소와 최외곽라인에 인접하는 주변블록의 참조화소(들)을 필터링할 수 있다. 이때 필터링되는 주변블록의 참조화소는 현재블록에 인접하는 화소들일 수 있다.

도 7에 도시한 바와 같이, 현재 블록의 주변 화소값들과 현재 블록 내의 최외곽라인의 화소값들 간의 차이를 줄이기 위해 이 화소값들을 필터링 할 수 있다. 이때, 한 실시예로서 필터링되는 화소는 B와 C일 수 있다. 예를 들어, B와 C는 수학식 1과 같이 각각 B' 및 C'으로 필터링된 후 양방향 선형보간에 사용될 수 있다.

가산부(980)는 예측부(950)에서 예측된 예측 블록과 역변환부(940)에 의해 복원된 잔차 블록을 가산하여 대상 블록을 복원한다. 복원된 대상 블록은 메모리(960)에 저장되어 대상 블록의 다음 블록이나 향후 다른 블록을 복원할 때 참조 픽처로서 사용될 수 있다.

도 9에서는 도시하지 않았지만, 메모리(960)와 가산부(980) 사이에는 디블로킹 필터부(미도시)가 추가로 연결될 수 있다. 디블로킹 필터부는 가산부(980)에 의해 복원된 대상 블록을 디블로킹 필터링(Deblocking Filtering)한다. 여기서, 디블로킹 필터링이란 영상을 블록 단위로 부호화하면서 발생하는 블록 왜곡을 감소시키는 작업을 말하며, 블록 경계와 매크로블록 경계에 디블로킹 필터를 적용하거나 매크로블록 경계에만 디블로킹 필터를 적용하거나 디블로킹 필터를 사용하지 않는 방법 중 하나를 선택적으로 사용할 수 있다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 도 2의 영상 부호화 장치(200)의 비트스트림 출력단을 도 9의 영상 복호화 장치(900)의 비트스트림 입력단에 연결함으로써 구현할 수 있다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는, 인트라예측의 방향에 대응되는 주변블록 화소간의 오프셋을 구하고 적응적으로 상기 오프셋을 고려하여 현재블록에 대하여 인트라 예측하여 예측블록을 생성하고 상기 현재블록을 인트라예측 부호화하는 영상부호화기; 및 비트스트림으로부터 인트라예측의 모드를 포함하는 예측정보를 복호하고 복호된 인트라예측의 방향에 대응되는 주변블록 화소간의 오프셋을 구하고 상기 오프셋을 고려하여 현재블록에 대하여 인트라 예측하여 예측블록을 생성하고 상기 현재블록을 복원하는 영상복호화기를 포함한다.

여기서 영상 부호화기는 본 발명의 일 실시예에 따른 영상 부호화 장치(200)로 구현 가능하며, 영상 복호화기는 본 발명의 일 실시예에 따른 영상 복호화 장치(900)로 구현 가능하다.

도 10은 본 발명의 일 실시예에 따른 영상 부호화 방법을 예시한 흐름도이다.

본 발명의 일 실시예에 따른 영상 부호화 방법은, 인트라예측의 방향에 대응되는 주변블록 화소간의 오프셋을 구하는 오프셋 계산단계(S1010), 적응적으로 상기 오프셋을 고려하여 현재블록에 대하여 인트라 예측하여 예측블록을 생성하는 예측단계(S1020), 상기 현재블록에서 상기 예측블록을 감산하여 잔차블록을 생성하는 감산단계(S1030), 상기 잔차블록을 변환하여 주파수변환블록을 생성하는 변환단계(S1040), 상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하는 양자화단계(S1050), 적응적으로 예측블록을 생성하였는지 여부를 반영하도록 상기 양자화된 주파수변환블록의 양자화계수의 값을 조정하는 양자화계수 조정단계(S1060) 및 상기 양자화된 주파수변환블록을 부호화하여 비트스트림을 생성하는 비트스트림 생성단계(S1070)를 포함한다.

여기서 오프셋 계산단계(S1010), 예측단계(S1020), 감산단계(S1030), 변환단계(S1040), 양자화단계(S1050), 양자화계수 조정단계(S1060) 및 비트스트림 생성단계(S1070)는 각각 오프셋 계산부(250), 예측부(210), 감산부(220), 변환부(230), 양자화부(240), 양자화계수 조정부(245) 및 비트스트림 생성부(260)의 동작에 대응될 수 있으므로 상세한 설명은 생략한다.

도 11은 본 발명의 일 실시예에 따른 영상 복호화 방법을 예시한 흐름도이다.

본 발명의 일 실시예에 따른 영상 복호화 방법은, 비트스트림으로부터 인트라예측의 모드를 포함하는 예측정보를 복호하는 예측정보 복호화단계(S1110), 상기 인트라예측의 방향에 대응되는 주변블록 화소간의 오프셋을 구하는 오프셋 계산단계(S1120), 상기 비트스트림으로부터 양자화된 주파수변환블록을 복호하는 블록복호화단계(S1130), 상기 오프셋을 고려하여 현재블록에 대하여 인트라예측하여 예측블록을 생성하는 예측단계(S1140), 상기 양자화된 주파수변환블록을 역양자화하여 주파수변환블록을 복원하는 역양자화단계(S1150), 상기 주파수변환블록을 역변환하여 잔차블록을 복원하는 역변환단계(S1160) 및 상기 복원된 잔차블록과 상기 예측블록을 가산하여 상기 현재블록을 복원하는 가산단계(S1170)를 포함한다.

여기서, 예측정보 복호화단계(S1110), 오프셋 계산단계(S1120), 블록복호화단계(S1130), 예측단계(S1140), 역양자화단계(S1150), 역변환단계(S1160) 및 가산단계(S1170)는 각각 예측정보 복호화부(970), 오프셋 계산부(990), 블록복호화부(910), 예측부(950), 역양자화부(930), 역변환부(940) 및 가산부(980)의 동작에 각각 대응될 수 있으므로 상세한 설명은 생략한다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 본 발명의 일 실시예에 따른 영상 부호화 방법과 본 발명의 일 실시예에 따른 영상 복호화 방법을 결합하여 구현함으로써 실현할 수 있다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 인트라예측의 방향에 대응되는 주변블록 화소간의 오프셋을 구하고 적응적으로 상기 오프셋을 고려하여 현재블록에 대하여 인트라 예측하여 예측블록을 생성하고 상기 현재블록을 인트라예측 부호화하는 영상부호화단계; 및 비트스트림으로부터 인트라예측의 모드를 포함하는 예측정보를 복호하고 복호된 인트라예측의 방향에 대응되는 주변블록 화소간의 오프셋을 구하고 상기 오프셋을 고려하여 현재블록에 대하여 인트라 예측하여 예측블록을 생성하고 상기 현재블록을 복원하는 영상복호화단계를 포함한다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있으며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 인트라예측을 하는 데 있어서 단방향 예측뿐만 아니라 양방향 예측을 적응적으로 사용하여 인트라 예측의 효율을 향상시켜 부호화/복호화 효율을 향상시킬 수 있는 유용한 발명이다.

Claims

삭제
영상을 부호화하는 장치에 있어서,
현재블록의 주변블록 화소 중에서 상기 현재블록의 인트라예측 모드가 나타내는 인트라예측의 방향에 대응되는 하나 이상의 제1 주변화소 및 제2 주변화소를 각각 추출하고 상기 제1 주변화소와 상기 제2 주변화소 사이의 오프셋을 구하는 오프셋 계산부; 및
적응적으로 상기 오프셋을 고려하여 상기 현재블록에 대하여 인트라 예측하여 예측블록을 생성하고 상기 현재블록을 인트라예측 부호화하는 인트라예측 부호화부
를 포함하고,
상기 제1 주변화소로부터 상기 제2 주변화소로 향하는 방향은 상기 인트라예측의 방향과 동일한 것을 특징으로 하는 영상 부호화 장치.
제 2항에 있어서, 상기 오프셋계산부는,
상기 인트라예측의 방향에서 바라본 경우 상기 현재블록의 최외곽라인에 위치하는 화소와 동일한 선상에 위치하는 상기 제1주변화소를 선택하고, 상기 인트라예측의 방향에서 바라본 경우 상기 현재블록의 최근접라인과 가장 가깝고 평행하게 위치한 주변 참조 화소들의 연장선에 존재하는 상기 제2 주변화소를 선택한 후, 상기 제1 주변화소와 제2 주변화소 사이의 오프셋을 구하는 것을 특징으로 하는 영상 부호화 장치.
제 3항에 있어서, 상기 인트라예측 부호화부는,
적응적으로 상기 오프셋을 고려하여 현재블록에 대하여 인트라 예측하여 예측블록을 생성하는 예측부;
상기 현재블록에서 상기 예측블록을 감산하여 잔차블록을 생성하는 감산부;
상기 잔차블록을 변환하여 주파수변환블록을 생성하는 변환부;
상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하는 양자화부;
예측블록을 생성하기 위해 어떤 방법을 사용하였는지를 반영하도록 상기 양자화된 주파수변환블록의 양자화계수의 값을 조정하는 양자화계수 조정부; 및
상기 양자화된 주파수변환블록을 부호화하여 비트스트림을 생성하는 비트스트림 생성부
를 포함하는 것을 특징으로 하는 영상 부호화 장치.
제 4항에 있어서, 상기 양자화계수의 값의 조정은,
상기 양자화된 주파수변환블록의 양자화계수들의 절대값의 합이 짝수 혹은 홀수가 되도록 어느 하나의 양자화계수값을 조정하는 것을 특징으로 하는 영상 부호화 장치.
제 3항에 있어서, 상기 제1 주변화소는,
상기 현재블록의 최외곽라인에 인접하는 화소를 포함하여 나란히 연결된 화소들인 것을 특징으로 하는 영상 부호화 장치.
제 3항에 있어서, 상기 오프셋은,
상기 제1주변화소와 상기 제2주변화소 사이의 평균 차이인 것을 특징으로 하는 영상 부호화 장치.
제 3항에 있어서, 상기 제1 주변화소 및 상기 제2주변화소의 갯수는,
각각 상기 현재블록의 한 변 크기의 1/2배인 것을 특징으로 하는 영상 부호화 장치.
제 3항에 있어서, 상기 인트라예측 부호화부는,
모든 인트라예측 모드에 대하여 상기 오프셋을 고려한 경우 및 상기 오프셋을 고려하지 않은 경우를 포함한 모드 중에서 율-왜곡 비용이 가장 우수한 경우를 선택하여 상기 현재블록을 인트라예측 부호화하는 것을 특징으로 하는 영상 부호화 장치.
제 3항에 있어서, 상기 인트라예측 부호화부는,
상기 인트라예측 모드에 따라 발생하는 예측화소값에 상기 오프셋을 더한 값을 상기 최외곽라인에 위치하는 현재블록 화소 라인의 마지막줄 예측값으로 생성하고, 상기 최외곽라인에 위치하는 현재블록 화소 라인 이외의 나머지 화소 라인의 예측화소값은 상기 인트라예측 모드에 따라 관련된 주변 참조화소값들과 상기 마지막줄 예측값을 이용하여 양방향 보간하여 생성되는 것을 특징으로 하는 영상 부호화 장치.
제 3항에 있어서, 상기 인트라예측 부호화부는,
상기 인트라예측 모드에 따라 발생하는 예측화소값에 상기 오프셋을 더한 값을 상기 최외곽라인에 위치하는 현재블록 화소 라인의 마지막줄 예측값으로 생성한 후, 상기 최외곽라인내의 소정갯수의 화소와 최외곽라인에 인접하는 주변블록의 예측에 사용되는 화소라인의 소정갯수의 화소값을 필터링하고 상기 최외곽라인에 위치하는 현재블록 화소 라인 이외의 나머지 화소 라인의 예측화소값은 상기 인트라예측 모드에 따라 관련된 주변 참조화소값들과 상기 마지막줄 예측값을 이용하여 양방향 보간하여 생성되는 것을 특징으로 하는 영상 부호화 장치.
제 10항 또는 제 11항에 있어서, 상기 인트라예측 부호화부는,
상기 오프셋의 절대값이 제1문턱치보다 작은 경우에는 상기 오프셋을 '0'으로 설정하는 것을 특징으로 하는 영상 부호화 장치.
제 10항 또는 제 11항에 있어서, 상기 인트라예측 부호화부는,
상기 오프셋의 절대값이 제2문턱치보다 큰 경우에는 상기 오프셋의 절대값이 상기 제2문턱치가 되도록 상기 오프셋을 설정하는 것을 특징으로 하는 영상 부호화 장치.
제 3항에 있어서,
상기 인트라예측의 방향이 하방의 방향성분을 포함하는 경우에 상기 최외곽라인은 상기 현재블록의 최하단 라인이고, 상기 인트라예측의 방향이 상방의 방향성분을 포함하거나 수평방향인 경우에 상기 최외곽라인은 상기 현재블록의 최우측 라인이고, 상기 최근접라인은 상기 현재블록 내에서 상기 최외곽라인에서 가장 멀리 떨어져 있는 라인인 것을 특징으로 하는 영상 부호화 장치.
영상을 복호화하는 장치에 있어서,
비트스트림으로부터 현재블록의 인트라예측 모드를 포함하는 예측정보를 복호하는 예측정보 복호화부;
상기 현재블록의 주변블록 화소 중에서 상기 인트라예측 모드가 나타내는 인트라예측의 방향에 대응되는 하나 이상의 제1 주변화소 및 제2 주변화소를 각각 추출하고 상기 제1 주변화소와 상기 제2 주변화소 사이의 오프셋을 구하는 오프셋 계산부; 및
상기 오프셋을 고려하여 상기 현재블록에 대하여 인트라 예측하여 예측블록을 생성하고 상기 현재블록을 복원하는 인트라예측 복호화부
를 포함하고,
상기 제1 주변화소로부터 상기 제2 주변화소로 향하는 방향은 상기 인트라예측의 방향과 동일한 것을 특징으로 하는 영상 복호화 장치.
제 15항에 있어서, 상기 오프셋계산부는,
상기 인트라예측의 방향에서 바라본 경우 상기 현재블록의 최외곽라인에 위치하는 화소와 동일한 선상에 위치하는 상기 제1주변화소를 선택하고, 상기 인트라예측의 방향에서 바라본 경우 상기 현재블록의 최근접라인과 평행하면서 가장 가까운 이웃라인의 연장선에 위치한 상기 제2 주변화소를 선택한 후, 상기 제1 주변화소와 제2 주변화소 사이의 오프셋을 구하는 것을 특징으로 하는 영상 복호화 장치.
제 16항에 있어서,
상기 인트라예측의 방향이 하방의 방향성분을 포함하는 경우에 상기 최외곽라인은 상기 현재블록의 최하단 라인이고, 상기 인트라예측의 방향이 상방의 방향성분을 포함하거나 수평방향인 경우에 상기 최외곽라인은 상기 현재블록의 최우측 라인이고, 상기 최근접라인은 상기 현재블록 내에서 상기 최외곽라인에서 가장 멀리 떨어져 있는 라인인 것을 특징으로 하는 영상 복호화 장치.
제 16항에 있어서, 상기 제1 주변화소는,
상기 현재블록의 최외곽라인에 인접하는 화소를 포함하여 나란히 연결된 화소들인 것을 특징으로 하는 영상 복호화 장치.
제 16항에 있어서, 상기 오프셋은,
상기 제1주변화소와 상기 제2주변화소 사이의 평균 차이인 것을 특징으로 하는 영상 복호화 장치.
제 16항에 있어서, 상기 제1 주변화소 및 상기 제2주변화소의 갯수는,
각각 상기 현재블록의 한 변 크기의 1/2배인 것을 특징으로 하는 영상 복호화 장치.
제 16항에 있어서, 상기 인트라예측 복호화부는,
상기 인트라예측 모드에 따라 발생하는 예측화소값에 상기 오프셋을 더한 값을 상기 최외곽라인에 위치하는 현재블록 화소 라인의 마지막줄 예측값으로 생성하고, 상기 최외곽라인에 위치하는 현재블록 화소 라인 이외의 나머지 화소 라인의 예측화소값은 상기 인트라예측 모드에 따라 관련된 주변 참조화소값들과 상기 마지막줄 예측값을 이용하여 양방향 보간하여 생성하는 것을 특징으로 하는 영상 복호화 장치.
제 16항에 있어서, 상기 인트라예측 복호화부는,
상기 인트라예측 모드에 따라 발생하는 예측화소값에 상기 오프셋을 더한 값을 상기 최외곽라인에 위치하는 현재블록 화소 라인의 마지막줄 예측값으로 생성한 후, 상기 최외곽라인내의 소정갯수의 화소와 최외곽라인에 인접하는 주변블록의 예측에 사용되는 화소라인의 소정갯수의 화소값을 필터링하고 상기 최외곽라인에 위치하는 현재블록 화소 라인 이외의 나머지 화소 라인의 예측화소값은 상기 인트라예측 모드에 따라 생성되는 관련된 주변 참조화소값들과 상기 마지막줄 예측값을 이용하여 양방향 보간하여 생성하는 것을 특징으로 하는 영상 복호화 장치.
제 16항에 있어서, 상기 인트라예측 복호화부는,
상기 비트스트림으로부터 양자화된 주파수변환블록을 복호하는 블록복호화부;
상기 오프셋을 고려하여 현재블록에 대하여 인트라예측하여 예측블록을 생성하는 예측부;
상기 양자화된 주파수변환블록을 역양자화하여 주파수변환블록을 복원하는 역양자화부;
상기 주파수변환블록을 역변환하여 잔차블록을 복원하는 역변환부; 및
상기 복원된 잔차블록과 상기 예측블록을 가산하여 상기 현재블록을 복원하는 가산부
를 포함하는 것을 특징으로 하는 영상 복호화 장치.
제 23항에 있어서, 상기 예측부는,
상기 양자화된 주파수계수들의 절대값들의 합이 짝수 혹은 홀수가 되는지 여부에 따라 상기 복호된 인트라예측 모드에 따라 적응적으로 현재블록을 예측하는 것을 특징으로 하는 영상 복호화 장치.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제