KR101956284B1 - 보간 방법 및 이를 이용한 예측 방법 - Google Patents

보간 방법 및 이를 이용한 예측 방법 Download PDF

Info

Publication number
KR101956284B1
KR101956284B1 KR1020110065192A KR20110065192A KR101956284B1 KR 101956284 B1 KR101956284 B1 KR 101956284B1 KR 1020110065192 A KR1020110065192 A KR 1020110065192A KR 20110065192 A KR20110065192 A KR 20110065192A KR 101956284 B1 KR101956284 B1 KR 101956284B1
Authority
KR
South Korea
Prior art keywords
sample
pixel
integer
interpolation
samples
Prior art date
Application number
KR1020110065192A
Other languages
English (en)
Other versions
KR20130003706A (ko
Inventor
전용준
박승욱
전병문
지에 지아
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020110065192A priority Critical patent/KR101956284B1/ko
Priority to PCT/KR2011/005573 priority patent/WO2013002450A1/ko
Priority to JP2014518776A priority patent/JP5782186B2/ja
Priority to EP11868759.9A priority patent/EP2728876B1/en
Priority to US14/130,180 priority patent/US9460488B2/en
Priority to CN201180073166.0A priority patent/CN103891289B/zh
Publication of KR20130003706A publication Critical patent/KR20130003706A/ko
Application granted granted Critical
Publication of KR101956284B1 publication Critical patent/KR101956284B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 현재 픽쳐의 화소 샘플과 참조 픽쳐의 화소 샘플을 함께 이용하여 화면 간 예측을 위한 보간을 수행하는 방법과 이를 이용한 예측 방법에 관한 것으로서, 본 발명에 따른 보간 방법은 예측 블록을 생성하기 위한 움직임 정보를 산출하는 단계 및 보간 필터가 적용되는 정수 화소 샘플들을 포함하는 정수 샘플 집합을 기반으로 부분 화소 샘플을 생성하는 단계를 포함하는 보간 방법으로서, 여기서 정수 샘플 집합에는 현재 픽쳐의 복원된 정수 화소 샘플 중 부분 화소 샘플을 생성하는데 이용되는 적어도 하나의 현재 정수 샘플이 포함되고, 부분 화소 샘플은 정수 화소 샘플들 중 소정의 기준 화소 샘플로부터 부분 화소 단위의 오프셋 위치들에 대응한다.

Description

보간 방법 및 이를 이용한 예측 방법{Interpolation Method And Prediction method thereof}
본 발명은 영상 압축 기술에 관한 것으로서, 구체적으로는 화면 간 예측(inter picture prediction)에 있어서 보간(interpolation) 방법에 관한 것이다.
최근, 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만, 영상의 고해상도, 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다. 따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우, 정보의 전송 비용과 저장 비용이 증가하게 된다.
고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.
본 발명의 일 목적은 효과적인 화면 간 예측을 수행하기 위한 보간 방법 및 장치를 제공하는 것이다.
본 발명의 일 목적은 현재 픽쳐의 복원된 화소 샘플과 참조 픽쳐의 참조 화소 샘플을 함께 이용하는 보간 방법 및 장치를 제공하는 것이다.
본 발명은 일 목적은 보간에 의해 생성되는 예측 블록의 경계에서 불연속성을 줄이기 위해 현재 픽쳐의 복원된 화소 샘플에 스무딩 필터를 적용하여 보간을 수행하는 방법 및 장치를 제공하는 것이다.
본 발명의 일 목적은 현재 픽쳐의 복원된 화소 샘플이 보간에 사용되는 경우에, 이에 관한 정보를 디코더가 인지하도록 하는 방법 및 장치를 제공하는 것이다.
본 발명의 일 실시형태는, 예측 블록을 생성하기 위한 움직임 정보를 산출하는 단계 및 보간 필터가 적용되는 정수 화소 샘플들을 포함하는 정수 샘플 집합을 기반으로 부분 화소 샘플을 생성하는 단계를 포함하는 보간 방법으로서, 여기서 정수 샘플 집합에는 현재 픽쳐의 복원된 정수 화소 샘플 중 부분 화소 샘플을 생성하는데 이용되는 적어도 하나의 현재 정수 샘플이 포함되고, 부분 화소 샘플은 정수 화소 샘플들 중 소정의 기준 화소 샘플로부터 부분 화소 단위의 오프셋 위치들에 대응한다.
본 실시형태에서 상기 보간은 휘도 화소에 대한 보간일 수 있으며, 부분 화소 샘플을 생성하는 단계에서는, 기준 화소 샘플의 위치에 따라서 소정의 현재 정수 샘플이 정수 샘플 집합에 포함될 수 있다.
예컨대, 기준 화소 샘플이, 보간에 사용되는 현재 픽쳐의 복원된 화소 샘플 영역과 참조 픽쳐의 참조 샘플 영역 사이 경계로부터, 첫 번째 정수 화소 샘플 열 또는 행에 위치하는 경우에는 3개의 현재 정수 샘플이 정수 샘플 집합에 포함되고, 두 번째 정수 화소 샘플 열 또는 행에 위치하는 경우에는 2개의 현재 정수 샘플이 정수 샘플 집합에 포함되며, 세 번째 정수 화소 샘플 열 또는 행에 위치하는 경우에는 1개의 현재 정수 샘플이 정수 샘플 집합에 포함될 수 있다.
본 실시형태에 따른 보간 방법은, 부분 화소 샘플을 생성하기 전에, 적어도 하나 이상의 참조 화소 샘플 및 현재 픽쳐의 복원된 화소 샘플을 이용하는 스무딩 필터를 현재 정수 샘플들 중 적어도 하나의 현재 정수 샘플에 적용하는 단계를 더 포함할 수 있다.
이 경우, 스무딩 필터는 보간에 사용되는 현재 픽쳐의 복원된 화소 샘플 영역과 참조 픽쳐의 참조 샘플 영역 사이 경계로부터 가장 가까운 위치에 있는 현재 정수 샘플에 대하여 적용될 수도 있다.
본 실시형태에서 상기 보간은 색차 화소에 대한 보간일 수 있으며, 부분 화소 샘플을 생성하는 단계에서는, 기준 화소 샘플의 위치에 따라서 소정의 현재 정수 샘플이 정수 샘플 집합에 포함될 수 있다.
예컨대, 기준 화소 샘플이, 보간에 사용되는 현재 픽쳐의 복원된 화소 샘플 영역과 참조 픽쳐의 참조 샘플 영역 사이 경계로부터 첫 번째 정수 화소 샘플 열 또는 행에 위치하는 경우에 하나의 현재 정수 샘플이 정수 샘플 집합에 포함될 수 있다.
색차 화소에 대한 보간의 경우에도, 본 실시형태의 보간 방법은 상기 부분 화소 샘플을 생성하기 전에, 적어도 하나 이상의 참조 화소 샘플 및 현재 픽쳐의 복원된 화소 샘플을 이용하는 스무딩 필터를 현재 정수 샘플들 중 적어도 하나의 현재 정수 샘플에 적용하는 단계를 더 포함할 수 있다.
또한, 본 실시형태에 따른 보간 방법은, 현재 픽쳐의 복원된 정수 화소 샘플을 부분 화소 샘플을 생성하는데 이용하라는 묵시적 또는 명시적 지시가 부호화기로부터 전달되었는지를 판단하는 단계를 더 포함할 수 있으며, 해당 지시가 전달된 경우에, 현재 픽쳐의 복원된 정수 화소 샘플을 상기 부분 화소 샘플을 생성하는데 이용하도록 할 수도 있다.
이때, 상기 명시적 지시는 화소 위치 정보 및 참조 화소 샘플의 배열에 관한 정보와 함께 부호화기로부터 복호화기에 전달되는 1 비트의 플래그 정보일 수 있다.
또한, 현재 예측 단위에 대한 움직임 벡터와 상기 현재 예측 단위 주위의 블록에 대한 움직임 벡터의 차이가 소정의 임계값 이하인 경우에는 상기 현재 픽쳐의 복원된 정수 화소 샘플을 상기 부분 화소 샘플을 생성하는데 이용하라는 묵시적 지시가 있는 것으로 판단할 수도 있다.
아울러, 휘도 화소에 대한 보간의 경우에, 기준 정수 샘플이 보간에 이용되는 참조 픽쳐의 참조 샘플 영역 상측 또는 좌측 경계로부터 세 번째 정수 샘플 행/열 이내에 위치하면, 부호화기로부터의 지시가 없는 경우에도, 현재 픽쳐의 복원된 정수 화소 샘플을 보간에 이용하도록 할 수도 있다.
색차 화소에 대한 보간의 경우에도, 기준 정수 샘플이 보간에 이용되는 참조 픽쳐의 참조 샘플 영역 상측 또는 좌측 경계로부터 첫 번째 정수 샘플 행/열에 위치하면, 부호화기로부터의 지시가 없는 경우에도, 현재 픽쳐의 복원된 정수 화소 샘플을 보간에 이용하도록 할 수 있다.
본 발명의 다른 실시형태는, 현재 부호화 유닛에서 예측 유닛을 구분하는 예측 유닛 판별부 및 정수 화소 샘플을 기반으로 부분 화소 샘플을 생성하는 보간부를 포함하며, 보간부는 화소 샘플 위치 정보 및 참조 화소 샘플의 배열에 관한 정보를 기반으로, 소정의 정수 화소 샘플들에 보간 필터를 적용하여 부분 화소 샘플을 생성하고, 보간 필터가 적용되는 정수 화소 샘플들에는 현재 픽쳐의 복원된 정수 화소 샘플 중 적어도 하나의 정수 화소 샘플이 포함되며, 부분 화소 샘플은 정수 화소 샘플들 중 소정의 기준 화소 샘플로부터 부분 화소 단위의 오프셋 위치들에 대응하는 것을 특징으로 하는 보간 장치이다.
보간 필터가 적용되는 정수 화소 샘플들이 휘도 화소 샘플인 경우에, 기준 화소 샘플이 참조 픽쳐의 참조 샘플 영역 내에서, 보간에 사용되는 현재 픽쳐의 복원된 화소 샘플 영역과 상기 참조 픽쳐의 참조 샘플 영역 사이 경계로부터, 첫 번째 정수 화소 샘플 열 또는 행에 위치하는 경우에는 현재 픽쳐의 복원된 정수 화소 샘플 중 3개의 정수 화소 샘플이, 두 번째 정수 화소 샘플 열 또는 행에 위치하는 경우에는 현재 픽쳐의 복원된 정수 화소 샘플 중 2개의 정수 화소 샘플이, 세 번째 정수 화소 샘플 열 또는 행에 위치하는 경우에는 현재 픽쳐의 복원된 정수 화소 샘플 중 1개의 정수 화소 샘플이, 보간 필터가 적용되는 정수 화소 샘플들에 포함되도록 할 수 있다.
또한, 보간 필터가 적용되는 정수 화소 샘플들이 색차 화소 샘플인 경우에, 기준 화소 샘플이 참조 픽쳐의 참조 샘플 영역 내에서, 보간에 사용되는 현재 픽쳐의 복원된 화소 샘플 영역과 참조 픽쳐의 참조 샘플 영역 사이 경계로부터, 첫 번째 정수 화소 샘플 열 또는 행에 위치하는 경우에 현재 픽쳐의 복원된 정수 화소 샘플 중 1개의 정수 화소 샘플이 보간 필터가 적용되는 정수 화소 샘플들에 포함되도록 할 수 있다.
본 발명의 다른 실시 형태는, 예측 블록을 생성하기 위한 움직임 벡터를 산출하는 단계, 움직임 벡터가 서브 화소 위치를 지시하는 경우에, 서브 화소 단위의 화소 샘플을 생성하는 보간을 수행하는 단계 및 움직임 벡터와 서브 화소 단위의 화소 샘플을 기반으로 예측 블록을 생성하는 단계를 포함하는 화면 간 예측 방법으로서, 이때, 수행되는 보간은 현재 픽쳐의 복원된 화소 샘플과 참조 픽쳐의 화소 샘플을 함께 이용할 수 있다.
본 실시 형태에서, 보간에 이용되는 현재 픽쳐의 복원된 화소 샘플은 현재 예측 유닛의 상측(Upper) 또는 좌측(left) 영역에 위치한다.
또한, 보간 단계를 수행하기 전에, 현재 픽쳐의 복원된 화소 샘플에 대하여, 현재 픽쳐의 복원된 화소 샘플 중 적어도 하나와 참조 픽쳐의 화소 샘플 중 적어도 하나를 이용한 스무딩을 수행할 수 있다.
본 발명의 또 다른 실시 형태는, 예측 블록을 생성하기 위한 움직임 벡터를 산출하는 단계 및 움직임 벡터가 서브 화소 위치를 지시하는 경우에, 서브 화소 단위의 화소 샘플을 생성하는 보간을 수행하는 단계를 포함하는 보간 방법으로서, 이때 수행되는 보간은 현재 픽쳐의 복원된 화소 샘플과 참조 픽쳐의 화소 샘플을 함께 이용할 수 있다.
본 실시 형태에서, 보간에 이용되는 현재 픽쳐의 복원된 화소 샘플은 현재 예측 유닛의 상측(Upper) 또는 좌측(left) 영역에 위치한다.
또한, 보간 단계를 수행하기 전에, 현재 픽쳐의 복원된 화소 샘플에 대하여, 현재 픽쳐의 복원된 화소 샘플 중 적어도 하나와 참조 픽쳐의 화소 샘플 중 적어도 하나를 이용한 스무딩을 수행할 수 있다.
본 발명에 의하면, 현재 픽쳐의 복원된 화소 샘플과 참조 픽쳐의 참조 화소 샘플을 함께 이용하여 보간을 수행함으로써 화면 간 예측의 효과를 높일 수 있다.
본 발명에 의하면, 현재 픽쳐의 복원된 화소 샘플에 스무딩 필터를 적용하여 보간을 수행함으로써 보간에 의해 생성되는 예측 블록의 경계에서 불연속성을 줄일 수 있다.
본 발명에 의하면, 현재 픽쳐의 복원된 화소 샘플이 보간에 사용되었다는 정보를 디코더가 인지하여 보간을 수행함으로써 영상 부호화/복호화의 정확도를 증가시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따라서 최대 부호화 유닛이 적어도 하나의 부호화 유닛으로 분할되는 것을 개략적으로 나타낸 개념도이다.
도 3은 본 발명의 일 실시예에 따른 예측부를 개략적으로 도시한 개념도이다.
도 4는 예측 모드에 따른 예측 블록의 형태를 개략적으로 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 영상 복호화기를 개략적으로 나타낸 블록도이다.
도 6은 본 발명의 일 실시예에 따른 영상 복호화기의 예측부를 개략적으로 나타낸 개념도이다.
도 7은 화면 간 예측에 있어서 참조 픽쳐의 휘도 화소의 1/4 단위 샘플 보간에 대한 정수 샘플과 분수 샘플의 위치를 개략적으로 나타낸 것이다.
도 8은 색차 화소의 1/8 단위 샘플 보간에 대한 정수 샘플과 분수 샘플의 위치를 개략적으로 나타낸 것이다.
도 9는 본 발명에 따라서 참조 픽쳐와 현재 픽쳐의 샘플을 함께 이용하여 보간을 수행하는 것을 개략적으로 설명하는 도면이다.
도 10은 본 발명에 따라서, 복원된 현재 픽쳐의 화소 샘플과 참조 픽쳐의 화소 샘플들로 구성된 보간을 위한 샘플 배열을 개략적으로 도시한 것이다.
도 11은 예측 유닛에 대응하는 참조 블록에서 기준 정수 샘플의 위치에 따른 실시예를 개략적으로 설명하는 도면이다.
도 12는 본 발명에 따른 보간 영역을 휘도 화소 샘플에 대하여 개략적으로 나타낸 것이다.
도 13는 본 발명에 따른 보간 영역을 색차 화소 샘플에 대하여 개략적으로 나타낸 것이다.
도 14 내지 18은 예측 유닛에 대응하는 참조 블록에서 기준 정수 샘플의 위치에 따른 실시예를 개략적으로 설명하는 도면이다.
도 19는 본 발명에 따른 복호화기에서 예측 블록을 생성하는 방법을 개략적으로 설명하는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 영상 부호화/복호화 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 영상 부호화 장치(100)는 픽쳐 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 부호화부(130), 역양자화부(135), 역변환부(140), 디블록킹 필터(145), ALF(Adaptive Loop Filter) (150) 및 메모리(155)를 구비한다.
픽쳐 분할부(105)는 입력된 픽쳐를 적어도 하나의 처리 단위로 분할할 수 있다. 이때, 처리 단위는 예측 유닛(Prediction Unit)일 수도 있고, 변환 유닛(Transform Unit: TU)일 수도 있으며, 부호화 유닛(Coding Unit: CU)일 수도 있다. 영상 부호화 장치(100)는 후술하는 바와 같이, 예측 유닛 단위로 화면 내 예측 혹은 화면 간 예측을 수행하며, 변환 유닛 단위로 영상을 변환하고, 부호화 유닛 단위로 영상을 부호화 한다.
예측부(110)는 후술하는 바와 같이, 화면 간 예측을 수행하는 화면 간 예측부와 화면 내 예측을 수행하는 화면 내 예측부를 포함한다. 예측부(110)는, 픽쳐 분할부(105)에서 제공받은 예측 단위에 대하여 예측 모드에 따라서 화면 간 예측 또는 화면 내 예측을 수행하여 예측 블록을 생성한다. 생성된 예측 블록과 원본 블록 사이의 잔차값은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등 은 잔차값과 함께 엔트로피 코딩부(130)에서 부호화되어 복호화기에 전달된다.
변환부(115)는 현재 부호화 유닛을 적어도 하나의 변환 유닛으로 분할할 수 있다. 이때, 변환부(115)는 전송 비용을 산출하는 소정의 비용 함수를 이용해 최적의 전송 단위를 선택할 수 있다. 변환부(115)에서는 원본 블록과 예측부(110)를 통해 생성된 예측 블록의 잔차값(residual) 정보를 포함하는 잔차 블록을 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform)를 이용하여 변환할 수 있다. 변환부(115)에서는 부호화 유닛을 기반으로 변환 유닛을 결정할 수 있다.
양자화부(120)는 변환부(115)에서 주파수 영역으로 변환된 잔차값들을 양자화하여 양자화 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(155)와 재정렬부(125)에 제공된다.
재정렬부(125)는 양자화 계수를 재정렬한다. 양자화 계수를 재정렬함으로써 엔트로피 부호화부(130)에서의 부호화의 효율을 높일 수 있다. 재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 계수(잔차값)들을 1차원의 벡터 형태로 재정렬할 수 있다. 재정렬부(125)에서는 양자화부에서 전송된 계수들의 확률적인 통계를 기반으로 계수 스캔닝의 순서를 변경함으로써 엔트로피 부호화부(130)에서의 엔트로피 부호화 효율을 높일 수도 있다.
엔트로피 부호화부(130)는 재정렬부(125)에 의해 재정렬된 양자화 계수들에 대한 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다. 엔트로피 부호화부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 부호화 유닛의 양자화 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, 예측 유닛 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 프레임 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 부호화할 수 있다.
예컨대, 부호화부(130)에서 움직임 벡터 정보를 부호화하는 경우에는 머지 스킵(Merge Skip) 방법, 예측 유닛 머지(PU Merge) 방법, AMVP(Advanced Motion Vector Prediction) 방법 등을 사용할 수 있다.
머지 스킵(Merge Skip) 방법은 현재 블록의 주변 블록(머지 후보 블록) 중 선택한 블록(머지 블록)의 움직임 예측 정보(움직임 벡터, 참조 픽쳐 인덱스 등)를 사용하여 예측 블록을 생성하는 방법이다. 머지 스킵의 경우는 잔차 신호가 0인데 반해, 동일하게 후보 블록의 움직임 예측 관련 정보를 사용하는 예측 유닛 머지 방법의 경우에는 잔차 신호가 0이 아니다. 머지 스킵 방법의 경우에는 스킵한다는 정보와 머지 블록의 인덱스 등이 부호화되어 전송되며, 예측 유닛 머지 방법의 경우에는 머지 블록의 인덱스와 함께 잔차 신호 등이 부호화되어 전송된다.
AMVP 방법 또한, AMVP 후보 블록으로부터 움직임 예측 관련 정보를 제공받을 수 있다. AMVP 방법의 경우에, 후보 블록은 동일한 픽쳐 내의 주변 블록들뿐만 아니라 참조 픽쳐의 동일한 위치에 대응하는(co-located) 블록을 포함한다. 따라서, AMVP 방법을 사용하는 경우에는 참조 픽쳐 인덱스와 함께 움직임 벡터 예측자(Motion Vector Predictor)와 움직임 벡터의 잔차값을 부호화하여 부호화기에 전달한다. 움직임 백터의 잔차값은 선택된 AMVP 후보 블록과 현재 예측 유닛 사이의 움직임 벡터 차이 값이다.
역양자화부(135)는 양자화부(120)에서 양자화된 값들을 역양자화하고, 역변환부(140)는 변환부(115)에서 변환된 값들을 역변환한다. 역양자화부(135) 및 역변환부(140)에서 생성된 잔차값(Residual)은 예측부(110)에서 예측된 예측 블록과 합쳐져 복원 블록(Reconstructed Block)를 생성할 수 있다.
필터부(145)는 디블록킹 필터 및/또는 ALF(Adaptive Loop Filter)를 복원된 픽쳐에 적용한다.
디블록킹 필터는 복원된 픽쳐에서 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다.
ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록을 필터링한 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 휘도 신호의 경우, ALF를 적용할지 여부에 관련된 정보를 부호화 유닛(Coding Unit, CU) 별로 전송할 수 있고, 각각의 블록에 따라 적용될 ALF의 크기 및 계수는 달라질 수 있다.
한편, 화면 간 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽쳐를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽쳐는 화면 간 예측을 수행하는 예측부(110)에 제공될 수 있다.
이하, 부호화 장치의 각 구성에서 수행되는 영상 정보의 부호화에 관한 처리에 관해서 더 구체적으로 설명한다.
우선, 픽쳐의 부호화 유닛, 예측 유닛 및 변환 유닛에 관하여 설명한다. 픽쳐의 분할 단위인 부호화 유닛은 영상 부호화기에서 부호화를 수행하는 하나의 단위로써 CU(Coding Unit)라는 용어로도 사용될 수 있다. 부호화 유닛은 64x64, 32x32, 16x16, 8x8 등의 크기를 가질 수 있다. 부호화 유닛은 쿼드 트리 구조(Quad Tree Structure)를 기반으로 깊이(Depth)를 가지며 분할될 수 있다. 가장 큰 크기의 부호화 유닛에 대하여 최대 부호화 유닛(Largest Coding Unit, LCU), 가장 작은 크기의 부호화 유닛에 대하여 최소 부호화 유닛(Smallest Coding Unit, SCU)이라는 용어를 사용할 수도 있다. 부호화기는 최대 부호화 유닛과 최소 부호화 유닛에 관한 정보를 복호화기에 전송할 수도 있고, 최대 부호화 유닛 또는 최소 부호화 유닛에 관한 정보 중 어느 하나의 정보와 분할 가능한 회수에 관한 정보(깊이 정보)를 복호화기에 전송할 수도 있다.
부호화 유닛이 상술한 바와 같이, 쿼드 트리 구조를 기반으로 분할되었는지는 분할 플래그(Split Flag)와 같은 플래그 정보로 표현될 수 있다.
도 2는 본 발명의 일 실시예에 따라서 최대 부호화 유닛이 적어도 하나의 부호화 유닛으로 분할되는 것을 개략적으로 나타낸 개념도이다. 하나의 부호화 유닛은 깊이 정보와 분할 플래그(Split Flag)를 이용하여 부호화 유닛의 분할 여부를 표현할 수 있다.
하나의 부호화 유닛은 LCU의 크기 정보 및 깊이 정보 및 분할 플래그 정보를 기초로 복수 개의 작은 부호화 유닛으로 분할될 수 있다. 최대 부호화 유닛의 크기 정보, 분할 깊이 정보 및 현재 부호화 유닛의 분할 여부 정보는 비트 스트림 상의 시퀀스 파라미터 셋(SPS)에 포함되어 현재 부호화 유닛의 분할 정보를 영상 복호화기에 전송할 수 있다.
도 2를 참조하면, S200은 최대 부호화 유닛(LCU)의 크기가 64x64이고 쿼드 트리 구조에서 깊이가 0인 경우를 나타낸다. S200에서 좌측의 블록은 분할 여부를 표시하는 플래그가 0인 경우로서, 쿼드 트리 구조에서 깊이 0인 블록(최대 부호화 유닛)이 분할되지 않은 것을 나타낸다. S200에서 우측의 블록은 분할 여부를 표시하는 플래그가 1인 경우로서, 깊이 0의 블록이 32x32 크기의 정사각형 형태의 4개의 부호화 유닛으로 분할된 것을 나타낸다.
S210은 최대 부호화 유닛의 크기가 64x64인 경우에, 1번의 분할이 일어난 깊이 1의 블록을 나타낸 것이다. 깊이 1의 부호화 유닛 크기는 32x32가 된다. S210에서 좌측의 블록은 분할 플래그가 0인 경우로서, 32x32 크기의 부호화 유닛은 분할되지 않고 하나의 단위로서 부호화된다. S210에서 우측의 블록은 분할 플래그가 1인 경우로, 32x32 크기의 부호화 유닛은 4개의 동일한 크기를 가진 16x16 크기의 부호화 유닛으로 분할된다.
동일한 방식으로 쿼드 트리 구조에서 하나의 블록은 깊이 정보에 따라 가장 작은 크기의 부호화 유닛까지 순차적으로 분할될 수 있다. 예컨대, S220은 최대 부호화 유닛의 크기가 64x64이고 최대 깊이가 4(분할 가능 회수가 4)인 경우의 가장 작은 크기의 부호화 유닛까지 부호화된 것을 나타낸 것이다. 여기서, 최소 부호화 유닛은 더 이상 작은 CU로 분할될 수 없기 때문에 분할 플래그가 존재하지 않는다.
설명의 편의상, 최대 부호화 유닛과 그에 따른 분할 가능 회수(최대 깊이)가 정의되는 것으로 설명하였으나, 상술한 바와 같이, 최소 부호화 유닛과 분할 가능 회수(최대 깊이)가 정의될 수도 있다. 예를 들어, 최소 부호화 유닛이 8x8이고 분할 가능 회수가 4로 설정된 경우에, 최소 부호화 유닛(8x8)으로부터 역으로 최대 부호화 유닛(64x64)을 도출할 수 있다. 또한, 여기서는 최대 부호화 유닛과 최소 부호화 유닛을 각각 64x64 및 8x8로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 최대 부호화 유닛과 최소 부호화 유닛은 상술한 예들보다 커질 수도 있고, 작아질 수도 있다.
도 3은 본 발명의 일 실시예에 따른 예측부를 개략적으로 도시한 개념도이다.
도 3을 참조하면 예측부(300)는 화면 간 예측부(310) 및 화면 내 예측부(320) 를 포함할 수 있다.
화면 간 예측부(310)는 현재 픽쳐의 이전 픽쳐 및/또는 이후 픽쳐 중 적어도 하나의 픽쳐의 정보를 기초로 예측 유닛을 예측할 수 있다. 또한, 화면 내 예측부(320)는 현재 픽쳐 내의 화소 정보를 기초로 예측 유닛을 예측할 수 있다. 예측 모드에 따라서, 즉 화면 내 예측을 수행하는지 화면 간 예측을 수행하는지에 따라서, 픽쳐 분할부(105)는 예측 유닛을 분할하는데, 화면 내 예측 모드인 경우에, 해당 부호화 유닛은 2Nx2N 또는 NxN (N은 정수) 크기의 예측 유닛일 수 있고, 화면 간 예측 모드인 경우에, 해당 부호화 유닛은 2Nx2N, 2NxN, Nx2N, 또는 NxN 크기의 예측 유닛일 수 있다.
도 4는 예측 모드에 따른 예측 블록의 형태를 개략적으로 도시한 것으로, 부호화 유닛(400)에 대해, 화면 내 예측 모드인 경우에 가능한 예측 유닛들(410)과 화면 간 예측 모드인 경우에 가능한 예측 유닛들(420)을 나타내고 있다.
화면 간 예측부는 상술한 예측 유닛에 대하여, 참조 픽쳐를 선택하고 예측 유닛과 동일한 크기의 참조 블록을 정수 화소 샘플 단위로 선택한다. 이어서, 화면 간 예측부는 1/2 화소 샘플 단위와 1/4 화소 샘플 단위와 같이 정수 이하 샘플 단위로 현재 예측 유닛과 가장 유사하여 잔차 신호가 최소화되며 부호화되는 움직임 벡터 크기 역시 최소가 될 수 있는 예측 블록을 생성한다.
이때, 움직임 벡터는 정수 화소 이하의 단위로 표현될 수 있으며, 예컨대 휘도 화소에 대해서는 1/4 화소 단위로, 색차 화소에 대해서는 1/8 화소 단위로 표현될 수 있다.
화면 간 예측부에서 선택한 참조 픽쳐의 인덱스와 움직임 벡터에 관한 정보는 부호화되어 복호화기에 전달된다.
도 5는 본 발명의 일 실시예에 따른 영상 복호화기를 개략적으로 나타낸 블록도이다. 도 5를 참조하면, 영상 복호화기(500)는 엔트로피 복호화부(510), 재정렬부(515), 역양자화부(520), 역변환부(525), 예측부(530), 필터부(535) 메모리(540)를 포함할 수 있다.
영상 부호화기에서 영상 비트 스트림이 입력된 경우, 입력된 비트 스트림은 영상 부호화기와 반대의 절차로 복호화될 수 있다.
예컨대, 엔트로피 복호화부(510)에서도 영상 부호화기에서 엔트로피 부호화를 수행하기 위해 사용된 VLC 테이블을 엔트로피 복호화부에서도 동일한 VLC 테이블로 구현하여 엔트로피 복호화를 수행할 수 있다. 엔트로피 복호화부(510)에서도 엔트로피 부호화부와 마찬가지로 카운터(Counter) 또는 직접 변환(Direct Swapping) 방법을 이용해 코드 워드 할당 테이블을 변화시킬 수 있고, 변화된 코드 워드 할당 테이블에 기초하여 엔트로피 복호화를 수행할 수 있다.
엔트로피 복호화부(510)에서 복호화된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(530)로 제공되고 엔트로피 복호화부에서 엔트로피 복호화를 수행한 잔차값은 재정렬부(515)로 입력될 수 있다.
재정렬부(515)는 엔트로피 복호화부(510)에서 엔트로피 복호화된 비트 스트림을 부호화부에서 재정렬한 방법을 기초로 재정렬을 수행할 수 있다. 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(515)에서는 부호화부에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 해당 부호화부에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.
역양자화부(520)는 부호화기에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(525)는 영상 부호화기에서 수행한 양자화 결과에 대해 변환부에서 수행한 DCT 및 DST에 대해 역DCT 및/또는 역 DST를 수행할 수 있다. 역변환은 영상 부호화기에서 결정된 전송 단위를 기초로 수행될 수 있다. 영상 부호화기의 변환부에서는 DCT와 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 영상 복호화기의 역변환부(525)에서는 영상 부호화기의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예를 들어, 4x4 블록의 경우, 역변환부(525)에서는 해당 블록의 인트라 예측 모드에 따라 역 DCT 또는 역 DST를 선택적으로 사용하여 역변환을 수행하거나, DCT와 DST를 조합하여 1D-DCT+1D-DCT, 1D-DCT+1D-DST, 1D-DST+1D-DCT 또는 1D-DST+1D-DST를 선택적으로 적용할 수도 있다. 해당 블록의 인트라 예측 모드 정보는 예측부에서 제공받을 수 있다. 역변환부(525)에서는 영상 부호화기에서 제공된 분할 단위 정보를 기초로 분할 단위로 역변환을 수행할 수 있다.
예측부(530)는 엔트로피 복호화부(510)에서 제공된 예측 블록 생성 관련 정보와 메모리(540)에서 제공된 이전에 복호화된 블록 또는 픽쳐 정보를 기초로 예측 블록을 생성할 수 있다. 예측부(530)에서 생성된 예측 블록과 역변환부(625)에서 제공된 잔차 블록을 이용해 복원 블록을 생성할 수 있다.
복원된 블록 및/또는 픽쳐는 필터부(535)로 제공될 수 있다. 필터부(535)는 복원된 블록 및/또는 픽쳐에 디블록킹 필터링 및/또는 적응적 루프 필터링 등을 적용한다. 예컨대, 필터부(535)는 디블록킹 필터부 및/또는 ALF 를 포함할 수 있다.
메모리(540)는 복원된 픽쳐 또는 블록을 저장하여 참조 픽쳐 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽쳐를 출력부로 제공할 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 복호화기의 예측부를 개략적으로 나타낸 개념도이다.
도 6을 참조하면, 예측부(600)는 화면 간 예측부(610) 및 화면 내 예측부(620)를 포함할 수 있다.
화면 간 예측부(610)는 해당 예측 유닛에 대한 예측 모드가 인터 예측 모드(화면 간 예측 모드)인 경우에, 영상 부호화기에서 제공된 현재 예측 유닛의 화면 간 예측에 필요한 정보, 예컨대 움직임 벡터, 참조 픽쳐 인덱스 등에 관한 정보를 이용해 현재 예측 유닛이 포함된 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐에 포함된 정보를 기초로 현재 예측 유닛에 대한 화면 간 예측을 수행할 수 있다.
이때, 움직임 정보는 수신되는 부호화 유닛의 스킵 플래그, 머지 플래그 등을 확인하고, 이에 대응하여 유도될 수 있다. 예컨대, 엔트로피 복호화부에서 스킵 플래그를 통해 스킵 모드가 적용된 것으로 확인된 경우에는, 예측 유닛의 머지 인덱스(Merge Index)가 가리키는 머지 스킵 후보 블록에 포함된 움직임 벡터, 참조 픽쳐 인덱스 등과 같은 움직임 예측 관련 정보가 현재 예측 유닛의 움직임 관련 정보로 사용될 수 있다. 혹은 예측 유닛이 예측 유닛 머지 블록인 것으로 확인된 경우에는 예측 유닛 주변에 위치한 4개의 공간적 머징 후보 블록 및 참조 픽쳐에 위치한 1개의 시간적 머징 후보 블록을 포함한 5개의 예측 유닛 머지 후보 블록 중 하나의 예측 유닛 머지 후보 블록의 움직임 관련 정보가 예측 유닛의 움직임 관련 정보로 사용될 수 있다. 또한, 예측 유닛이 AMVP 블록인 것으로 확인된 경우에는, 영상 부호화기로부터 현재 예측 유닛 주변의 공간적 AMVP 후보 블록 2개 및 다른 픽쳐에 포함된 시간적 AMVP 후보 블록 중 어떠한 AMVP 후보 블록을 사용하였는지에 관련된 정보 및 사용된 AMVP 후보 블록과 현재 블록의 움직임 벡터 차이값 정보를 이용해 예측 유닛의 움직임 정보를 얻을 수 있다.
화면 간 예측부(610)는 상술한 바와 같이 획득한 해당 예측 유닛에 대한 움직임 관련 정보 중 움직임 벡터가 정수 화소 단위가 아닌 경우, 예컨대 휘도 화소에 관한 움직임 벡터가 1/2 또는 1/4 화소 위치를 나타내거나 색차 화소에 관한 움직임 벡터가 1/2, 1/4 또는 1/8 화소 위치를 나타내면, 예측 블록을 생성하기 위해 정수 단위 이하의 화소 샘플을 생성하는 보간을 수행할 수 있다. 보간의 구체적인 내용은 후술하도록 한다.
화면 내 예측부(620)는 해당 예측 유닛에 대한 예측 모드가 인트라 예측 모드(화면 내 예측 모드)인 경우에, 현재 픽쳐 내의 화소 정보를 기초로 예측 블록을 생성할 수 있다.
도 6에서는 설명의 편의를 위해, 예측부(600)가 각 기능별 구성을 포함하는 것으로 설명하였으나, 본 발명은 이에 한정되지 않으며, 예측부는 상술한 기능을 수행하는 단일 구성으로 구현될 수도 있다.
한편, 화면 간 예측에서는 블록 기반 움직임 보상을 이용하여 이전에 처리된 하나 또는 그 이상의 픽처(참조 픽쳐)로부터 예측 블록을 생성할 수 있다. 즉, 현재 픽쳐의 예측 유닛은 참조 픽쳐를 기반으로 화면 간 예측을 통해 예측될 수 있다. 예컨대, 현재 예측 유닛에 대한 움직임 추정을 통해 참조 픽처로부터 예측 블록을 선택하고, 현재 예측 유닛의 기준 위치와 예측 블록의 기준 위치 사이의 움직임 벡터를 산출한다.
움직임 벡터(현재 블록과 참조 블록 사이의 차이값)는 정수 단위 이하의 샘플 해상도를 가질 수 있는데, 예컨대 휘도 성분에 대하여 1/4 샘플의 해상도를 가지며, 색차 성분에 대하여 1/8의 해상도를 가질 수 있다. 따라서, 보간을 통해 정수 샘플(full-sample)로부터 1/2 단위 화소 샘플, 1/4 단위 화소 샘플, 1/8 단위 화소 샘플과 같은 부분 샘플을 생성하고, 부분 샘플을 포함하는 영역에서 예측 블록을 선택함으로써, 현재 예측 유닛에 더 유사한 예측 블록을 선택할 수 있다.
정수 단위 이하의 부분 화소 샘플(fractional sample)은 풀 샘플을 기반으로 보간 필터를 통해 생성될 수 있다. 상술한 바와 같이, 휘도 화소의 경우, 움직임 벡터의 해상도는 1/4 화소 샘플이며, 보간을 통해 1/4 화소 단위로 정수 이하 단위의 화소 정보를 생성할 수 있다. 휘도 화소에 대한 보간을 수행하기 위해, 필터 계수를 달리하는 8탭 보간 필터(DCT-based Interpolation Filter)를 사용할 수 있다.
또한, 색차 화소의 경우, 움직임 벡터의 해상도는 1/8 화소 샘플이며, 보간을 통해 1/8 화소 단위로 정수 이하 단위의 화소 정보를 생성할 수 있다. 색차 화소의 보간을 수행하기 위해, 필터 계수를 달리하는 4 탭 보간 필터를 사용할 수 있다.
도 7은 화면 간 예측에 있어서 참조 픽쳐의 휘도 화소의 1/4 단위 샘플 보간에 대한 정수 샘플과 분수 샘플의 위치를 개략적으로 나타낸 것이다. 도 7에 도시된 화소들의 위치(700) 중에서, 음영으로 표시(대문자로 표시)된 위치는 정수 샘플에 대응하며, 음영 없이 표시(소문자로 표시)된 위치는 분수 샘플에 대응한다.
도 7을 참조하면, 하나의 정수 화소 샘플을 기준으로 하는 영역 내에 1/4 화소 단위의 부분 화소 샘플이 보간에 의해 생성된다. 이하, 설명의 편의를 위해 정수 화소 샘플 A0,0을 기준으로 하는 영역(710) 내에 부분 화소 샘플들이 보간에 의해 생성되는 경우를 예로서 설명한다.
아래의 표 1은 휘도 화소의 정수 화소 단위 이하의 화소 정보를 생성하기 위해 적용하는 필터에서, 화소 위치에 따른 계수의 일 예를 나타낸 표이다.
Figure 112011050337105-pat00001
표 1을 참조하면, 도 7의 1/4 화소 단위의 샘플 a0,0, b0,0, c0,0, d0,0, h0,0 및 n0,0은 근접한 정수 샘플들에 8탭 필터를 적용하고 필터링된 값을 클립(clip) 연산함으로써, 수학식 1과 같이 산출될 수 있다.
Figure 112011050337105-pat00002
여기서, 클립(Clip) 연산은 수학식 2와 같이 정의된다.
Figure 112011050337105-pat00003
또한, "x<<y"는 x의 2의 보수(two's complement integer) 표현을 이진수 단위 y만큼 산술적으로 좌측 이동하는 것이며, "x>>y"는 x의 2의 보수 표현을 이진수 단위 y만큼 산술적으로 우측 이동하는 것을 나타낸다. 또한, shift1은 BitDepthy-8로 설정되며, 휘도 화소 배열의 샘플의 비트 뎁스(bit depth)를 특정한다. Offset1은 shift1의 값이 0인 경우에 0으로 설정되고, 그 외의 경우에는 1<<(shift1-1)으로 설정된다.
또한, 도 7의 1/4 화소 단위의 샘플 e0,0, f0,0, g0,0, i0,0, j0,0, k0,0, p0,0, q0,0 및 r0,0 역시 8탭 필터를 적용해서 수학식 3과 같이 산출될 수 있다.
Figure 112011050337105-pat00004
여기서, shift2는 BitDepthy-2로 정의되며, offset2는 1<<(shift2-1)로 설정된다. 또한, 도 7에 도시된 바와 같은 중간값 d1i,0, h1i,0 및 n1i,0은 수학식 4와 같이 산출될 수 있다.
Figure 112011050337105-pat00005
여기서, i는 수평 방향으로 -3, .., 4의 값을 가지며, Ai,j는 도 15와 같은 정수 샘플의 배열에 있어서 i열 및 j행에 위치하는 정수 샘플을 나타낸다.
수학식 1, 3 및 4에서는, 1/4 화소 위치의 샘플에 대해서 {-1. 4. -10, 57, 19, -7, 3, -1}, 2/4 화소 위치의 샘플에 대해서 {-1, 4, -11, 40, 40, -11, 4, -1}, 3/4 화소 위치의 샘플에 대해서 {-1, 3, -7, 19, 57, -10, 4, -1}의 계수가 표 1의 예에 따라 적용되었다.
상술한 정수 위치 샘플 A0,0의 인근 영역에 있는 부분 샘플들을 산출하는 방법은 다른 정수 샘플 Ai,j의 인근 영역에 있는 1/4 화소 단위의 부분 샘플을 산출하는 경우에도 동일하게 적용될 수 있다.
이제, 화소 샘플의 위치를 산출하는 방법을 설명한다. 휘도 화소에 대한 참조 픽쳐 샘플 배열 내에서 각 휘도 샘플 Ai ,j에 대응하는 위치 (xAi ,j, yAi ,j)는 수학식 5와 같다.
Figure 112011050337105-pat00006
여기서, PicWidthInSamplesL은 휘도 화소에 대한 참조 픽쳐 샘플 배열의 폭을 특정하고, PicHeightInSamplesL은 휘도 화소에 대한 참조 픽쳐 샘플 배열의 높이를 특정한다. 또한, (xIntL, yIntL)은 풀 샘플 단위(full-sample units)로 나타낸 휘도 화소의 위치이다. 이에 대하여, (xFracL, yFracL)은 부분 샘플 단위로 나타낸 휘도 화소의 위치이다. (xIntL, yIntL)과 (xFracL, yFracL)은 아래와 같이 산출될 수 있다.
Figure 112011050337105-pat00007
Figure 112011050337105-pat00008
여기서, xP = xC + xB 이고, yP = yC + yB 이다. (xC, yC)는 현재 픽쳐의 좌측 최상단(top left) 휘도 화소 샘플에 대한 현재 코딩 유닛의 좌측 최상단 휘도 화소 샘플의 위치를 특정하며, (xB, yB)는 현재 코딩 유닛의 좌측 최상단 휘도 화소 샘플에 대한 현재 예측 유닛의 좌측 최상단 휘도 화소 샘플의 위치를 특정한다. (xP, yP)는 참조 샘플 배열의 좌상측(upper left) 휘도 화소 샘플 위치에 대한 현재 예측 유닛의 좌상측 휘도 화소 샘플의 위치를 풀 샘플 단위로 나타낸 것이다.
또한, (xL, yL)은 예측 휘도 샘플 배열 내 휘도 샘플의 위치를 나타내며, mvLX는 휘도 화소에 대한 움직임 벡터이고, "&"는 비트곱(bitwise AND) 연산자이다.
부분 샘플 단위(fractional sample units)의 휘도 화소 위치 오프셋 (xFracL, yFracL)는 어떤 부분 샘플 위치에 생성된 화소 샘플이 보간에 의한 예측 휘도 샘플값(predicted luma sample value)에 할당되는지를 특정한다. 표 2는 부분 샘플 단위의 휘도 화소 위치 오프셋과 휘도 예측 샘플값의 할당에 관한 일 예를 나타낸 것이다.
Figure 112011050337105-pat00009
여기서, shift3은 14-BitDepthy로 설정된다. 따라서, 상술한 보간 방법에 의하면, 주어진 풀 샘플 단위의 화소 위치, 부분 샘플 단위의 화소 위치 및 참조 샘플 배열을 기반으로 표 2와 같이 예측 휘도 샘플값을 얻을 수 있다.
휘도 화소의 경우와 달리, 색차 화소의 경우에는 움직임 벡터의 해상도가 1/8 샘플이며, 보간을 통해서 1/8 화소 단위로 정수 화소 이하의 화소 정보를 생성할 수 있다. 색차 화소에 대한 보간을 수행하기 위해, 필터 계수를 달리하는 DCT 기반의 4탭 보간 필터(DCT-based Interpolation Filter)가 사용될 수 있다.
도 8은 색차 화소의 1/8 단위 샘플 보간에 대한 정수 샘플과 분수 샘플의 위치를 개략적으로 나타낸 것이다. 도 8에 도시된 화소들의 위치(800) 중에서, 음영으로 표시(대문자로 표시)된 위치는 정수 샘플에 대응하며 음영 없이 표시(소문자로 표시)된 위치는 분수 샘플에 대응한다.
도 8을 참조하면, 도 7의 경우와 유사하게, 하나의 정수 화소 샘플을 기준으로 하는 영역 내에 부분 화소 샘플, 구체적으로는 1/8 화소 단위의 부분 화소 샘플이 보간에 의해 생성된다. 이하, 설명의 편의를 위해 정수 화소 샘플 B0,0을 기준으로 하는 영역(810) 내에 보간에 의해 부분 화소 샘플들이 생성되는 경우를 예로서 설명한다.
표 3은 색차 화소의 정수 화소 단위 이하의 화소 정보를 생성하기 위한 화소의 위치에 따른 필터 계수의 일 예를 나타낸 표이다.
Figure 112011050337105-pat00010
표 3을 참조하면, 도 8의 1/8 화소 단위의 샘플 ab0,0, ac0,0, ad0,0, ae0,0, af0,0, ag0,0 및 ah0,0은 근접한 정수 위치 샘플들에 4탭 필터를 적용하고 필터링된 값을 클립(clip) 연산함으로써, 수학식 8과 같이 산출될 수 있다..
Figure 112011050337105-pat00011
또한, 도 8의 1/8 화소 단위의 샘플 ba0,0, ca0,0, da0,0, ea0,0, fa0,0, ga0,0 및 ha0,0 역시 근접한 정수 위치 샘플들에 4탭 필터를 적용하고 필터링된 값을 클립(clip) 연산함으로써 수학식 9와 같이 산출될 수 있다.
Figure 112011050337105-pat00012
도 8의 1/8 화소 단위의 샘플 Xb0,0, Xc0,0, Xd0,0, Xe0,0, Xf0,0, Xg0,0 및 Xh0,0(X는 각각 b, c, d, e, f, g, h)는 중간값 bai,0, cai,0, dai,0, eai,0, fai,0, gai,0, hai,0(i는 수평 방향으로 -1, …, 2)을 수학식 10와 같이 산출하고 근접한 정수 위치 샘플들에 4탭 필터를 적용하여 얻을 수 있다.
Figure 112011050337105-pat00013
그리고, Xb0,0, Xc0,0, Xd0,0, Xe0,0, Xf0,0, Xg0,0 및 Xh0,0(X는 각각 b, c, d, e, f, g, h)는 4탭 필터를 중간값 Xai,o(i는 수평 방향으로 -1, …, 2)에 적용하여 수학식 11과 같이 산출할 수 있다.
Figure 112011050337105-pat00014
수학식 8 내지 11에서는, 1/8 화소 위치의 샘플에 대해서 {-3, 60, 8, -1}, 2/8 화소 위치의 샘플에 대해서 {-4, 54, 16, -2}, 3/8 화소 위치의 샘플에 대해서 {-5, 46, 27, -4}, 4/8 화소 위치의 샘플에 대해서 {-4, 36, 36, -4}, 5/8 화소 위치의 샘플에 대해서 {-4, 27, 46, -5}, 6/8 화소 위치의 샘플에 대해서 {-2, 16, 54, -4}, 7/8 화소 위치의 샘플에 대해서 {-1, 8, 60, -3}의 계수가 표 3의 예에 따라서 적용되었다.
움직임 벡터를 산출하기 위해서, 색차 화소의 경우에도 정수 샘플 및 부분 샘플의 위치를 산출할 필요가 있다. 색차 화소에 대한 참조 픽쳐 샘플 배열 내에서 각 색차 샘플 Bi,j에 대응하는 위치 (xBi,j, yBi,j)는 수학식 12와 같다.
Figure 112011050337105-pat00015
여기서, PicWidthInSamplesC은 색차 화소에 대한 참조 픽쳐 샘플 배열의 폭을 특정하고, PicHeightInSamplesC은 색차 화소에 대한 참조 픽쳐 샘플 배열의 높이를 특정한다. (xIntC, yIntC)은 풀 샘플 단위(full-sample units)로 나타낸 색차 화소 샘플의 위치이다. 이에 대하여, (xFracC, yFracC)은 부분 샘플 단위로 나타낸 색차 화소 샘플의 위치이다. (xIntC, yIntC)과 (xFracC, yFracC)은 아래와 같이 산출될 수 있다.
Figure 112011050337105-pat00016
Figure 112011050337105-pat00017
여기서, (xC, yC)은 예측 색차 샘플 배열 내 색차 샘플의 위치를 나타내며, mvCLX는 색차 화소에 대한 움직임 벡터이다.
부분 샘플 단위(fractional sample units)의 색차 화소 위치를 나타내는 오프셋 (xFracC, yFracC)는 어떤 풀 샘플 및 부분 샘플 위치에 생성된 색차 샘플이 보간에 의한 예측 색차 샘플값(predicted chroma sample value)에 할당되는지를 특정한다. 표 4는 부분 샘플 단위의 색차 화소 위치 오프셋과 색차 예측 샘플값의 할당에 관한 일 예를 나타낸 것이다.
Figure 112011050337105-pat00018
여기서, shift3은 14-BitDepthy로 설정된다. 여기서 (X, Y)는 (1, b), (2, c), (3, d), (4, e), (5, f), (6, g) 및 (7, h)로 각각 대체될 수 있다.
상술한 보간 방법에 의하면, 주어진 풀 샘플 단위의 화소 위치, 부분 샘플 단위의 화소 위치 및 참조 샘플 배열을 기반으로 표 4과 같이 예측 색차 샘플값을 얻을 수 있다. 이처럼, 보간에 의해 생성된 예측 샘플값과 대응하는 화소의 위치를 통해, 예측 블록을 선택하고 움직임 벡터를 산출함으로써, 예측 성능을 향상시킬 수 있다.
한편, 상술한 바와 같이, 보간을 통해 화면 간 예측을 위한 예측 블록과 움직임 벡터를 생성하는 수행하는 경우에, 참조 픽쳐의 화소 샘플들만을 이용하여 보간을 수행하지 않고, 참조 픽쳐의 화소 샘플과 현재 픽쳐의 화소 샘플을 함께 이용해서 보간(interpolation)을 수행하는 것을 고려할 수 있다. 현재 픽쳐의 화소 샘플을 이용하여 보간을 수행함으로써 현재 블록과 더 유사한 예측 블록을 생성할 수 있다.
도 9는 본 발명에 따라서 참조 픽쳐와 현재 픽쳐의 샘플을 함께 이용하여 보간을 수행하는 것을 개략적으로 설명하는 도면이다.
도 9에서 예측 유닛(935)과 참조 블록(920) 사이 위치의 차이는 움직임 벡터(MV)로 나타낼 수 있다. 도 9를 참조하면, 현재 픽처(930)의 예측 유닛(935)에 관한 예측 블록을 생성하기 위해, 예측 유닛(935)에 대응하는 참조 픽쳐(910)의 참조 블록(920)과 참조 블록(920) 주위의 화소 영역(915) 및 현재 픽쳐(930)에서 예측 유닛(935) 주위의 복원된 화소 영역(940)을 기반으로 화면 간 예측을 위한 보간을 수행할 수 있다. 보간을 통해서, 정수 단위의 이하의 부분 샘플(fractional sample), 예컨대 1/2 화소, 1/4 화소 등을 생성할 수 있다.
도 10은 본 발명에 따라서, 복원된 현재 픽쳐의 화소 샘플과 참조 픽쳐의 화소 샘플들로 구성된 보간을 위한 샘플 배열을 개략적으로 도시한 것이다. 도 10에서는 예측 유닛이 8X8 블록인 경우를 본 발명의 일 예로서 설명하고 있다.
도 10을 참조하면, 참조 대상 블록(O), 참조 대상 블록의 우측 블록(R), 좌하측 블록(BL), 하측 블록(B), 우하측 블록(BR)들의 화소 샘플(음영)들은 참조 픽쳐의 정수 샘플들이며, 좌측 블록(L), 좌상측 블록(UL), 상측 블록(U), 우상측 블록(UR)의 화소 샘플(비음영)들은 현재 픽쳐의 복원된 정수 샘플들이다.
이하, 설명의 편의를 위해, 보간에 의해 부분 샘플이 생성되는 영역, 예컨대, 도 7의 영역(710), 도 8의 영역(810)에 대응하는 영역을 보간 영역이라 한다. 또한, 보간 영역 내의 정수 화소 샘플, 예컨대 도 7의 A0,0, 도 8의 B0,0에 대응하는 정수 화소 샘플을 기준 정수 샘플이라 한다. 따라서, 주어진 기준 정수 샘플에 대하여 대응하는 보간 영역 내의 부분 화소 샘플들이 보간에 의해 생성될 수 있다.
상술한 바와 같이, 본 발명에서는 현재 픽쳐의 복원된 정수 화소 샘플과 참조 픽쳐의 정수 화소 샘플을 함께 이용하여 보간을 수행한다. 예컨대, 도 10이 휘도 화소 샘플의 배열이라고 가정하면, 8탭의 보간 필터를 사용하여 부분 화소 샘플(fractional sample)을 생성할 수 있다. 수학식 1을 참조하면, 현재 픽쳐의 정수 화소 샘플 중 최대 3 개의 정수 화소 샘플이, 보간 필터가 적용되는 정수 화소 샘플들(1010, 1020)에 포함될 수 있다.
따라서, 휘도 화소의 경우에, 참조 블록(O)의 블록 경계로부터 가장 가까운 3개의 정수 화소 샘플 중에 어느 하나를 기준 정수 샘플로 이용하여 보간을 수행하는 경우에 현재 픽쳐의 복원된 정수 화소 샘플이 이용될 수 있다. 즉, 휘도 화소의 경우에, 참조 블록의 부분 화소 샘플을 생성하는 보간에 이용할 수 있는 현재 픽쳐의 정수 화소 샘플 개수는 최대 3개이다.
색차 화소의 경우에는, 부분 샘플을 생성하는데 4탭의 보간 필터를 사용할 수 있으므로, 수학식 8을 참고하면, 참조 블록의 부분 화소 샘플을 생성하는 보간에 이용할 수 있는 현재 픽쳐의 정수 화소 샘플 개수는 하나이다. 즉, 색차 화소의 경우에는, 참조 블록(O)의 블록 경계로부터 가장 가까운 정수 화소 샘플을 기준 정수 샘플로 이용해서 보간을 수행하는 경우에 현재 픽쳐의 복원된 정수 화소 샘플이 이용될 수 있다.
이하, 본 발명에 따른 보간 방법을 기준 정수 샘플의 위치 및 현재 픽쳐의 정수 화소 샘플을 이용하여 생성되는 부분 화소 샘플의 위치와 관련하여 구체적으로 설명한다. 아래 각 경우에 있어서 공통되는 내용에 관해서는, 설명의 편의를 위해 중복 기재하지 않고 생략한다.
1. 부분 화소 샘플 a, b, c 또는 ab의 생성 및 기준 정수 샘플이 참조 블록의 제1 정수 샘플 열에 위치하는 경우
도 11은 예측 유닛(PU, 1110)에 대응하는 참조 블록에서 정수 단위 이하의 부분 샘플을 생성하기 위한 기준 정수 샘플이 참조 블록 좌측 경계로부터 첫 번째 정수 샘플 열(제1 정수 샘플 열, 1120)에 위치하는 경우의 예를 개략적으로 설명하는 도면이다. 도 11에서 P0, …, P7은 정수 화소(값)들을 나타내며, P0, …, P7은 휘도 화소일 수도 있고, 색차 화소일 수도 있다. 도 11에서는 예측 유닛이 8X8 블록인 경우를 예로서 설명하고 있다.
이하, 도 11에 관한 실시예를 P0, …, P7이 휘도 화소인 경우와 색차 화소인 경우로 나누어 설명하며, 이어서 본 발명에 따른 보간을 수행하기 전에 적용할 수 있는 전처리에 관하여 설명한다.
(1) 휘도 샘플에 대한 보간
휘도 화소 샘플의 경우, 보간 영역(1130)에는 도 7의 영역(710) 내의 a0,0~r0,0 과 같이, 보간에 의해 부분 화소 샘플들이 1/4 화소 단위로 생성된다.
휘도 화소 샘플의 경우, 8탭 보간 필터를 사용할 수 있다. 설명의 편의를 위해, 보간 필터에 사용하는 8개의 정수 화소를 P0, P1, P2, P3, P4, P5, P6, P7이라 한다. 기준 정수 샘플(P3)의 위치가 참조 블록 내 첫 번째 정수 화소 샘플 열에 있으므로, 복원된 현재 픽쳐의 화소 샘플 중 3 개를 보간에 이용할 수 있다. 도 11을 참조하면, 정수 화소 샘플 P0, P1, P2가 복원된 현재 픽쳐의 화소로서 보간에 이용된다.
도 12는 도 11의 보간 영역(1130)을 휘도 화소 샘플에 대하여 나타낸 것으로서, 보간 영역(1130A) 내의 부분 화소 샘플과 정수 화소 샘플의 위치 관계를 개략적으로 나타내고 있다. 본 실시예에서 기준 정수 화소는 P3이며, 보간 영역 내에 부분 화소 샘플 a~r이 보간에 의해 생성된다.
보간에 사용되는 필터의 계수는 다양하게 정해질 수 있다. 예컨대, 수학식 1을 도출하는데 이용된 필터 계수를 일 예로서 이용하면, 부분 화소 샘플 중 a, b, c는 수학식 15과 같이 산출될 수 있다.
Figure 112011050337105-pat00019
한편, 참조 블록(1110)의 상측 경계로부터 3번째 행까지의 정수 화소 샘플을 기준 정수 샘플로 하는 경우에는, 현재 픽쳐의 복원된 정수 화소 샘플을 이용하여 부분 화소 샘플 d, h, n을 생성할 수 있다. 이 경우에 관하여는 후술하도록 한다. 또한, 기준 정수 샘플이 참조 블록(1110)의 상측 경계로부터 4번째 행 이후에 위치하는 경우에는, 참조 픽쳐의 정수 화소 샘플들을 이용하여 산출될 수 있다. 일 예로, 참조 픽쳐의 정수 화소 샘플들에 수학식 1을 적용하여 부분 화소 샘플 d, h, n을 산출할 수 있다.
부분 화소 샘플 e, f, g, I, j, k, p, q, r은 a, b, c, d, h, n 값을 이용하여 산출할 수 있다. 일 예로서, 수학식 3 및 수학식 4과 같은 필터가 적용되는 경우에는, 이 필터들에 a, b, c, d, h, n을 적용하여 나머지 부분 화소 샘플을 산출할 수 있다. 산출된 각 부분 화소 샘플값에 대응하는 위치는, 예컨대 수학식 5와 표 2 등을 이용하여 산출할 수 있다.
(2) 색차 샘플에 대한 보간
색차 화소 샘플의 경우, 보간 영역(1130)에는 도 8의 영역(810) 내의 ab0,0~hh0,0 과 같이, 보간에 의해 부분 화소 샘플들이 1/8 화소 단위로 생성된다.
색차 화소 샘플의 경우, 4탭 보간 필터를 사용할 수 있다. 이 경우, 색차 화소에 대해서는 휘도 화소의 경우와 달리, 4개의 정수 화소 P2, P3, P4, P5를 사용하여 보간을 수행한다. 기준 정수 샘플(P3)이 제1 정수 샘플 열에 위치하므로, 복원된 현재 픽쳐의 화소 샘플 중 하나(P2)가 보간에 이용된다.
도 13은 도 11의 보간 영역(1130)을 색차 화소 샘플에 대하여 나타낸 것으로서, 보간 영역(1130B) 내의 부분 화소 샘플과 정수 화소 샘플의 위치 관계를 개략적으로 나타내는 도면이다. 도시된 바와 같이, 기준 정수 화소는 P3이며, 보간 영역 내에 부분 화소 샘플 ab~hh가 보간에 의해 생성된다.
보간에 사용되는 필터의 계수는 다양하게 정해질 수 있다. 예컨대, 수학식 8을 도출하는데 이용된 필터 계수를 일 예로서 이용하면, 부분 화소 샘플 중 ab, ac, ad, ae, af, ag, ah는 수학식 19와 같이 산출될 수 있다,
Figure 112011050337105-pat00020
한편, 참조 블록(1110)의 상측 경계로부터 첫 번째 행까지의 정수 화소 셈플을 기준 정수 샘플로 하는 경우에는, 현재 픽쳐의 복원된 정수 화소 샘플을 이용하여 부분 화소 샘플 ba, ca, da, ea, fa, ga, ha를 생성할 수 있다. 이 경우에 관하여는 후술하도록 한다. 또한, 기준 정수 샘플이 참조 블록(1110)의 상측 경계로부터 두 번째 행 이후에 위치하는 경우에는, 참조 픽쳐의 정수 화소 샘플들을 이용하여, 예컨대 수학식 9와 같이 부분 화소 샘플 ba, ca, da, ea, fa, ga, ha를 산출할 수 있다.
참조 블록(1110) 내부의 다른 부분 화소 샘플들은 ab, ac, ad, ae, af, ag, ah, ba, ca, da, ea, fa, ga, ha을 이용하여 산출할 수 있다. 예컨대, 수학식 10 및 수학식 11과 같은 필터를 이용하는 경우에는 이 필터들에 상기 값들을 적용하여 다른 부분 화소 샘플들을 산출할 수 있다. 산출된 각 부분 화소 샘플값에 대응하는 위치는, 예컨대 수학식 14와 표 4 등을 이용하여 산출할 수 있다.
(3) 전처리 - 현재 픽쳐의 복원된 정수 샘플에 대한 스무딩
블록 경계 등에서 발생하는 불연속(discontinuity)를 최소화하기 위해, 상술한 보간을 수행하기 전에, 보간에 사용되는 현재 픽쳐의 정수 샘플들을 대상으로 소정의 전처리, 예컨대 스무딩(smoothing)을 수행할 수 있다.
보간의 전처리로서 스무딩의 대상은 상술한 보간에 이용되는 현재 픽쳐의 복원된 정수 화소 샘플이다. 보간에 이용되는 현재 픽쳐의 복원된 정수 화소 샘플 모두(도 19의 P0, P1, P2)에 스무딩을 적용할 수 있다. 또한, 보간에 이용되는 현재 픽쳐의 복원된 정수 화소 샘플 중 블록 경계로부터의 거리에 따라 소정 개수의 정수 화소 샘플에만 스무딩이 적용될 수도 있다. 예컨대, 블록 경계에 가장 가까운 정수 화소 샘플(도 11의 P2)에만 스무딩을 적용하도록 하거나 블록 경계로부터 두 번째 정수 화소 샘플(도 11의 P1, P2)까지 스무딩을 적용하도록 할 수도 있다.
스무딩은 현재 픽쳐와 참조 픽쳐의 경계에서 발생할 수 있는 불연속을 고려한 것으로서, 현재 픽쳐의 정수 화소 샘플과 참조 블록의 정수 화소 샘플을 함께 이용하여 수행될 수 있다.
스무딩을 적용할 정수 화소 샘플의 위치에 따라서 다양한 스무딩 필터를 적용할 수 있다. 예컨대, P2에만 스무딩을 적용하는 경우에는, 3탭 필터부터 8탭 필터에 이르기까지 다양한 필터가 적용될 수 있다. P1과 P2에 스무딩을 적용하는 경우에, P1에는 참조 블록의 정수 화소 샘플을 이용하는 3탭 필터를 적용하기 어려우므로, P1과 P2에 동일한 4탭 이상의 필터를 적용할 수도 있고, P1과 P2에 적용할 필터를 각각 선택하고 P1에는 3탭 필터의 적용을 배제할 수도 있다. 또한, P0, P2, P2 모두에 스무딩을 적용하는 경우에는, P0, P1, P2에 모두에 동일한 5탭 이상의 필터를 적용하거나, P0, P1, P2에 적용할 필터를 각각 선택하고 P0에는 5탭 이상, P1에는 4탭 이상의 필터가 적용되도록 할 수도 있다. 이때, 적용되는 필터와 계수는 필요에 따라서 별도로 정해질 수도 있고, 시스템상에서 이용되는 필터 및/또는 계수를 활용할 수도 있다. 예컨대, 8탭 필터를 사용하는 경우에는, 휘도 화소 샘플에 적용하는 보간 필터의 계수를 활용할 수 있고, 4탭 필터를 사용하는 경우에는 색차 화소 샘플에 적용하는 보간 필터의 계수를 활용할 수도 있다.
가령, P2에만 스무딩을 적용하고 3탭 필터를 적용하는 경우를 예로서 설명하면, 스무딩이 적용된 P2'은 수학식 17과 같이 산출될 수 있다.
Figure 112011050337105-pat00021
도 11을 참조하면, 수학식 17에서 P1과 P2는 현재 픽쳐의 복원된 정수 화소 샘플이며, P3은 참조 블록의 정수 화소 샘플이다. 스무딩이 적용된 정수 화소 샘플을 이용하여 상술한 보간을 수행함으로써 보간의 효과를 더 높일 수 있다. 한편, 수학식 17의 필터와 계수는 설명의 편의를 위해 도입한 일 예로서, 본 발명에서는 필요에 따라 다양한 필터와 계수를 적용할 수 있다.
2. 부분 화소 샘플 a, b, c의 생성 및 기준 정수 샘플이 참조 블록의 제2 정수 샘플 열에 위치하는 경우
도 14는 예측 유닛(1410)에 대응하는 참조 블록에서 기준 정수 샘플이 참조 블록 좌측 경계로부터 두 번째 정수 샘플 열(제2 정수 샘플 열, 1420)에 위치하는 경우의 예를 개략적으로 설명하는 도면이다. 도 14에서 P0, …, P7은 정수 화소(값)들을 나타내며, P0, …, P7은 휘도 화소일 수도 있고, 색차 화소일 수도 있다. 다만, 도 14의 경우에서 색차 화소의 보간에 4탭 필터를 적용하면, 도 11의 경우와 달리, 현재 픽쳐의 복원된 색차 정수 화소 샘플을 부분 화소 샘플의 생성을 위한 보간에 이용할 수 없게 된다. 도 14 역시 예측 유닛이 8X8 블록인 경우를 예로서 설명하고 있다.
(1) 휘도 샘플에 대한 보간
도 14를 참조하면, 정수 화소 샘플 P0, P1이 복원된 현재 픽쳐의 화소로서 보간에 이용된다. 보간 영역(1430) 내에는 도 12의 보간 영역(1130A)과 동일하게 기준 정수 샘플 P3을 기준으로 부분 화소 샘플 a~r이 보간에 의해 생성된다.
도 14의 경우 경우에는, 도 11의 경우와 달리, P0과 P1이 현재 픽쳐의 복원된 정수 화소 샘플이며, P2~P7은 참조 블록의 정수 화소 샘플이다.
도 14의 경우에도, 부분 화소 샘플은 현재 픽쳐의 복원된 화소 샘플(P0, P1)과 참조 픽쳐의 화소 샘플(P2~P7)을 이용한 보간에 의해 산출될 수 있다. 보간에 이용되는 필터는 다양하게 계수가 결정될 수 있다. 도 11에서 설명한 수학식 16 역시 이 경우에 적용될 수 있는 보간 필터의 일 예일 수 있다.
(2) 전처리 - 현재 픽쳐의 복원된 정수 샘플에 대한 스무딩
도 14의 경우에는, 보간에 이용되는 현재 픽쳐의 복원된 정수 화소 샘플 모두(도 14의 P0, P1)에 스무딩을 적용하거나, 블록 경계로부터 가장 가까운 위치에 있는 화소 샘플(도 14의 P1)에만 스무딩이 적용될 수도 있다.
이때, P1에만 스무딩을 적용하는 경우에는, 3탭 필터부터 8탭 필터에 이르기까지 다양한 필터가 적용될 수 있다. P0과 P1에 스무딩을 적용하는 경우에, P0에는 참조 블록의 정수 화소 샘플을 이용하는 3탭 필터를 적용하기 어려우므로, P0과 P1에 동일한 4탭 이상의 필터를 적용할 수도 있고, P0과 P1에 적용할 필터를 각각 선택하고 P0에는 3탭 필터의 적용을 배제할 수도 있다.
적용되는 필터와 계수는 상술한 바와 같이 다양하게 선택 및 적용될 수 있다. 예컨대, P1에만 스무딩을 적용하고 3탭 필터를 적용하는 경우를 예로서 설명하면, 스무딩이 적용된 P1'은 수학식 18과 같이 산출될 수 있다.
Figure 112011050337105-pat00022
도 14를 참조하면, 수학식 18에서 P0과 P1은 현재 픽쳐의 복원된 정수 화소 샘플이며, P2는 참조 블록의 정수 화소 샘플이다. 한편, 수학식 18의 필터와 계수는 설명의 편의를 위해 도입한 일 예로서, 본 발명에서는 필요에 따라 다양한 필터와 계수를 적용할 수 있다.
3. 부분 화소 샘플 a, b, c의 생성 및 기준 정수 샘플이 참조 블록의 제3 정수 샘플 열에 위치하는 경우
도 15는 예측 유닛(1510)에 대응하는 참조 블록에서 기준 정수 샘플이 참조 블록 좌측 경계로부터 세 번째 정수 샘플 열(제3 정수 샘플 열, 1520)에 위치하는 경우의 예를 개략적으로 설명하는 도면이다. 도 15에서 P0, …, P7은 정수 화소(값)들을 나타내며, P0, …, P7은 휘도 화소일 수도 있고, 색차 화소일 수도 있다. 다만, 도 15의 경우에서 색차 화소의 보간에 4탭 필터를 적용하면, 도 14의 경우와 같이, 현재 픽쳐의 복원된 색차 정수 화소 샘플을 부분 화소 샘플의 생성을 위한 보간에 이용할 수 없게 된다. 도 15 역시 예측 유닛이 8X8 블록인 경우를 예로서 설명하고 있다.
(1) 휘도 샘플에 대한 보간
도 15를 참조하면, 정수 화소 샘플 P0이 복원된 현재 픽쳐의 화소로서 보간에 이용된다. 보간 영역(1530) 내에는 도 12의 보간 영역(1130A)과 동일하게 기준 정수 샘플 P3을 기준으로 부분 화소 샘플 a~r이 보간에 의해 생성된다.
도 11 및 도 14의 경우와 달리, 도 15의 경우에는 P0이 현재 픽쳐의 복원된 정수 화소 샘플이며, P1~P7은 참조 블록의 정수 화소 샘플이다.
도 15의 경우에도, 부분 화소 샘플은 현재 픽쳐의 복원된 화소 샘플(P0)과 참조 픽쳐의 화소 샘플(P1~P7)을 이용한 보간에 의해 산출될 수 있다. 보간에 이용되는 필터는 다양하게 계수가 결정될 수 있다. 도 11에서 설명한 수학식 16 역시 이 경우에 적용될 수 있는 보간 필터의 일 예일 수 있다.
(2) 전처리 - 현재 픽쳐의 복원된 정수 샘플에 대한 스무딩
도 15의 경우에도, 보간에 사용되는 현재 픽쳐의 정수 샘플(P0)을 대상으로 스무딩(smoothing)을 수행할 수 있다. 이때, P0에는, 3탭 필터부터 8탭 필터에 이르기까지 다양한 필터를 적용하여 스무딩을 수행할 수 있다. 적용되는 필터와 계수는 상술한 바와 같이 다양하게 선택 및 적용될 수 있는데, 예를 들어, P0에 3탭 필터를 적용하는 경우를 살펴보면, 스무딩이 적용된 P0'은 수학식 19와 같이 산출될 수 있다.
Figure 112011050337105-pat00023
도 15를 참조하면, 수학식 19에서 P0은 현재 픽쳐의 복원된 정수 화소 샘플이며, P1는 참조 블록의 정수 화소 샘플이다. 또한, 도 15에 도시되지 않았으나, P0B는 P0의 좌측에 위치하는 정수 화소 샘플로서 현재 픽쳐의 복원된 화소 샘플이다. 한편, 수학식 19의 필터와 계수는 설명의 편의를 위해 도입한 일 예로서, 본 발명에서는 필요에 따라 다양한 필터와 계수를 적용할 수 있다.
4. 부분 화소 샘플 d, h, n 또는 ba의 생성 및 기준 정수 샘플이 참조 블록의 제1 정수 샘플 행에 위치하는 경우
도 16은 예측 유닛(PU, 1610)에 대응하는 참조 블록에서 정수 단위 이하의 부분 샘플을 생성하기 위한 기준 정수 샘플이 참조 블록 상측 경계로부터 첫 번째 정수 샘플 행(제1 정수 샘플 행, 1620)에 위치하는 경우의 예를 개략적으로 설명하는 도면이다. 도 16에서 P0, …, P7은 정수 화소(값)들을 나타내며, P0, …, P7은 휘도 화소일 수도 있고, 색차 화소일 수도 있다. 도 16은 예측 유닛이 8X8 블록인 경우를 예로서 설명하고 있다.
(1) 휘도 샘플에 대한 보간
휘도 화소 샘플의 경우, 보간 영역(1630)에는 도 7의 영역(710) 내의 a0,0~r0,0 과 같이, 8탭 필터를 이용한 보간에 의해 부분 화소 샘플들이 1/4 화소 단위로 생성된다.
도 16의 경우에는 기준 정수 샘플(P3)의 위치가 참조 블록 내 첫 번째 정수 화소 샘플 행에 있으므로, 복원된 현재 픽쳐의 화소 샘플 중 3 개를 보간에 이용할 수 있다. 도 16을 참조하면, 정수 화소 샘플 P0, P1, P2가 복원된 현재 픽쳐의 화소로서 보간에 이용된다.
보간 영역(1630) 내에는 도 12의 보간 영역(1130A)과 동일하게 기준 정수 샘플 P3을 기준으로 부분 화소 샘플 a~r이 보간에 의해 생성된다.
보간에 사용되는 필터의 계수는 다양하게 정해질 수 있다. 예컨대, 수학식 1을 도출하는데 이용된 필터 계수를 일 예로서 이용하면, 부분 화소 샘플 중 d, h, n은 수학식 20과 같이 산출될 수 있다.
Figure 112011050337105-pat00024
한편, 참조 블록(1610)의 좌측 경계로부터 3번째 열까지의 정수 화소를 기준 정수 화소로 하는 경우에, 현재 픽쳐의 복원된 정수 화소 샘플을 이용하여 부분 화소 샘플 a, b, c를 생성하는 방법은 상술한 바와 같다(상술한 1 내지 3의 방법 참조). 기준 정수 화소가 참조 블록(1610)의 좌측 경계로부터 4번째 열 이후에 위치하는 경우에는, 참조 픽쳐의 정수 화소 샘플들을 이용한 보간 필터, 예컨대 수학식 1과 같은 보간 필터를 통해 부분 화소 샘플 a, b, c를 산출할 수 있다.
부분 화소 샘플 e, f, g, I, j, k, p, q, r은 a, b, c, d, h, n 등을 이용하여 산출할 수 있다. 예컨대 수학식 3 및 수학식 4 등에 a, b, c, d, h, n 을 적용하여 다른 부분 화소 샘플을 산출할 수 있다. 산출된 각 부분 화소 샘플값에 대응하는 위치는, 예컨대 수학식 7과 표 2 등을 이용하여 산출할 수 있다.
(2) 색차 샘플에 대한 보간
색차 화소 샘플의 경우, 보간 영역(1630)에는 도 8의 영역(810) 내의 ab0,0~hh0,0 과 같이, 4탭 필터를 이용한 보간에 의해 부분 화소 샘플들이 1/8 화소 단위로 생성된다. 따라서, 휘도 화소의 경우와 달리, 4개의 정수 화소를 P2, P3, P4, P5를 사용하여 보간을 수행한다. 기준 정수 샘플(P3)이 제1 정수 샘플 행에 위치하므로, 4탭 필터를 이용한 보간에서는 복원된 현재 픽쳐의 화소 샘플 중 하나(P2)가 보간에 이용된다.
보간 영역(1630) 내에는 도 13의 보간 영역(1130B)과 동일하게 기준 정수 샘플 P3을 기준으로 부분 화소 샘플 a~r이 보간에 의해 생성된다.
보간에 사용되는 필터의 계수는 다양하게 정해질 수 있다. 예컨대, 수학식 9를 도출하는데 이용된 필터 계수를 일 예로서 이용하면, 부분 화소 샘플 중 ba, ca, da, ea, fa, ga, ha는 수학식 21과 같이 산출될 수 있다.
Figure 112011050337105-pat00025
한편, 참조 블록(1610)의 좌측 경계로부터 첫 번째 열까지의 정수 화소를 기준 정수 화소로 하는 경우에, 현재 픽쳐의 복원된 정수 화소 샘플을 이용하여 부분 화소 샘플 ba, ca, da, ea, fa, ga, ha를 생성하는 방법은 상술한 바와 같다(상술한 1의 방법 참조). 또한, 기준 정수 화소가 참조 블록(1610)의 좌측 경계로부터 두 번째 열 이후에 위치하는 경우에는, 참조 픽쳐의 정수 화소 샘플들을 이용하여, 예컨대 수학식 9와 같이 부분 화소 샘플 ba, ca, da, ea, fa, ga, ha를 산출할 수 있다.
보간 영역(1630) 내부의 다른 부분 화소 샘플들은 ab, ac, ad, ae, af, ag, ah, ba, ca, da, ea, fa, ga, ha 등을 이용하여 산출할 수 있다. 예컨대, 수학식 10 및 수학식 11에 ab, ac, ad, ae, af, ag, ah, ba, ca, da, ea, fa, ga, ha를 적용하여 다른 부분 화소 샘플을 산출할 수 있다. 산출된 각 부분 화소 샘플값에 대응하는 위치는, 예컨대 수학식 12와 표 5를 이용하여 산출할 수 있다.
(3) 전처리 - 현재 픽쳐의 복원된 정수 샘플에 대한 스무딩
도 24의 경우에 적용 가능한 전처리로서의 스무딩은, 도 11에 관해서 설명한 스무딩과 동일하게 수행될 수 있다. 다만, 도 11의 경우와 달리, 도 18의 보간에 이용되는 현재 픽쳐의 복원된 정수 화소 블록과 참조 블록의 정수 화소 블록은 도 18에 도시된 바와 같이 동일한 행(2420)에 위치한다.
5. 부분 화소 샘플 d, h, n의 생성 및 기준 정수 샘플이 참조 블록의 제2 정수 샘플 행에 위치하는 경우
도 17은 예측 유닛(1710)에 대응하는 참조 블록에서 기준 정수 샘플이 참조 블록 상측 경계로부터 두 번째 정수 샘플 행(제2 정수 샘플 행, 1720)에 위치하는 경우의 예를 개략적으로 설명하는 도면이다. 도 17에서 P0, …, P7은 정수 화소(값)들을 나타내며, P0, …, P7은 휘도 화소일 수도 있고, 색차 화소일 수도 있다. 다만, 도 17의 경우에서 색차 화소의 보간에 4탭 필터를 적용하면, 도 16의 경우와 달리, 현재 픽쳐의 복원된 색차 정수 화소 샘플을 부분 화소 샘플의 생성을 위한 보간에 이용할 수 없게 된다. 도 17은 예측 유닛이 8X8 블록인 경우를 예로서 설명하고 있다.
(1) 휘도 샘플에 대한 보간
도 17을 참조하면, 정수 화소 샘플 P0, P1이 복원된 현재 픽쳐의 화소로서 보간에 이용된다. 보간 영역(2530) 내에는 도 12의 보간 영역(1130A)과 동일하게 기준 정수 샘플 P3을 기준으로 부분 화소 샘플 a~r이 보간에 의해 생성된다.
도 16의 경우와 달리, 도 17의 경우에는 P0과 P1이 현재 픽쳐의 복원된 정수 화소 샘플이며, P2~P7은 참조 블록의 정수 화소 샘플이다.
도 15의 경우에도, 부분 화소 샘플은 현재 픽쳐의 복원된 화소 샘플(P0, P1)과 참조 픽쳐의 화소 샘플(P2~P7)을 이용한 보간에 의해 산출될 수 있다. 보간에 이용되는 필터는 다양하게 계수가 결정될 수 있다. 도 16에서 설명한 수학식 20 역시 이 경우에 적용될 수 있는 보간 필터의 일 예일 수 있다.
(2) 전처리 - 현재 픽쳐의 복원된 정수 샘플에 대한 스무딩
도 17의 경우에 적용 가능한 전처리로서의 스무딩은, 도 14에 관해서 설명한 스무딩과 동일하게 수행될 수 있다. 다만, 도 14의 경우와 달리, 도 17의 보간에 이용되는 현재 픽쳐의 복원된 정수 화소 블록과 참조 블록의 정수 화소 블록은 도 17에 도시된 바와 같이 동일한 행(1720)에 위치한다.
6. 부분 화소 샘플 d, h, n의 생성 및 기준 정수 샘플이 참조 블록의 제3 정수 샘플 행에 위치하는 경우
도 18은 예측 유닛(1810)에 대응하는 참조 블록에서 기준 정수 샘플이 참조 블록 좌측 경계로부터 세 번째 정수 샘플 행(제3 정수 샘플 행, 1820)에 위치하는 경우의 예를 개략적으로 설명하는 도면이다. 도 18에서 P0, …, P7은 정수 화소(값)들을 나타내며, P0, …, P7은 휘도 화소일 수도 있고, 색차 화소일 수도 있다. 다만, 도 18의 경우에서 색차 화소의 보간에 4탭 필터를 적용하면, 도 17의 경우와 같이, 현재 픽쳐의 복원된 색차 정수 화소 샘플을 부분 화소 샘플의 생성을 위한 보간에 이용할 수 없게 된다. 도 18에서는 예측 유닛이 8X8 블록인 경우를 예로서 설명하고 있다.
(1) 휘도 샘플에 대한 보간
도 18을 참조하면, 정수 화소 샘플 P0이 복원된 현재 픽쳐의 화소로서 보간에 이용된다. 보간 영역(1830) 내에는 도 12의 보간 영역(1130A)과 동일하게 기준 정수 샘플 P3을 기준으로 부분 화소 샘플 a~r이 보간에 의해 생성된다.
도 16 및 도 17의 경우와 달리, 도 18의 경우에는 P0이 현재 픽쳐의 복원된 정수 화소 샘플이며, P1~P7은 참조 블록의 정수 화소 샘플이다.
도 18의 경우에도, 부분 화소 샘플은 현재 픽쳐의 복원된 화소 샘플(P0)과 참조 픽쳐의 화소 샘플(P1~P7)을 이용한 보간에 의해 산출될 수 있다. 보간에 이용되는 필터는 다양하게 계수가 결정될 수 있다. 도 16에서 설명한 수학식 20 역시 이 경우에 적용될 수 있는 보간 필터의 일 예일 수 있다.
(2) 전처리 - 현재 픽쳐의 복원된 정수 샘플에 대한 스무딩
도 18의 경우에 적용 가능한 전처리로서의 스무딩은, 도 15에 관해서 설명한 스무딩과 동일하게 수행될 수 있다. 다만, 도 15의 경우와 달리, 도 18의 보간에 이용되는 현재 픽쳐의 복원된 정수 화소 블록과 참조 블록의 정수 화소 블록은 도 18에 도시된 바와 같이 동일한 행(1820)에 위치한다.
한편, 상술한 바와 같이, 현재 픽쳐의 복원된 화소 샘플과 참조 픽쳐의 화소 샘플을 함께 사용하여 보간을 수행한 경우에 부호화 장치(인코더)에서는 관련된 정보를 복호화 장치(디코더)에 전달할 수 있다. 예컨대, 인코더는 현재 픽쳐(현재 대상 블록, 예를 들어 현재 코딩 유닛, 현재 예측 유닛 및/또는 현재 변환 유닛 등)에 관한 블록 타입, 움직임 정보 등과 같은 정보들 속에 예측 블록을 생성하기 위한 보간이 현재 픽쳐의 복원된 화소 샘플을 이용하여 수행되었다는 정보를 포함하여 전송할 수 있다. 현재 픽쳐의 복원된 화소 샘플을 이용하여 수행되었는지에 관한 정보는 1비트의 플래그로 지시될 수 있다.
이렇게 현재 픽쳐의 복원된 화소 샘플을 이용하여 수행되었는지에 관한 정보를 명시적으로 전달하는 방법 외에, 묵시적인 방법으로 해당 정보가 복호화 장치측에 전달할 수도 있다. 예컨대, 해당 블록과 인접 블록의 움직임 벡터를 비교하여 두 움직임 벡터의 차이가 소정의 임계값(threshold)을 넘는지를 판단함으로써 현재 픽쳐의 복원된 화소 샘플이 보간에 이용되었는지를 복호화 장치가 인지하도록 할 수도 있다.
한편, 상술한 1 내지 6의 경우에서는, 예측 유닛의 일 예로서 8X8 블록의 경우를 설명하였으나, 이는 본 발명의 일 실시예로서, 본 발명은 이에 한정되지 않고, 예측 블록이 4X4, 16X16, 32X32, 64X64 블록 등인 다양한 경우에 대하여 적용될 수 있다.
도 19는 본 발명에 따른 복호화기에서 예측 블록을 생성하는 방법을 개략적으로 설명하는 순서도이다.
도 19를 참조하면, 복호화기의 예측부는 움직임 정보를 생성한다(S1910). 움직임 정보는 해당 예측 유닛에 대한 움직임 정보, 참조 픽쳐 인덱스 등을 포함한다.
이어서, 예측부는 움직임 벡터가 정수 화소 위치를 나타내는지를 판단한다(S1920). 상술한 바와 같이, 움직임 벡터는 휘도 화소의 경우에 1/4 화소 단위로, 색차 화소의 경우에 1/8 화소 단위로 표현될 수 있다.
움직임 벡터가 정수 화소 위치를 나타내지 않는 경우, 즉 정수 화소 단위 이하의 서브 화소(sub pixel) 위치를 나타내는 경우에, 예측부는 예측 블록을 생성하기 위해 부분 샘플 단위의 화소 정보를 생성하는 보간을 수행할 필요가 있다.
보간을 수행하기 위한 정보는 앞서 생성한 움직임 정보로부터 도출된다. 이를 통해서 예컨대, 상술한 보간 영역, 기준 정수 샘플 등이 특정될 수 있다.
움직임 벡터가 서브 화소 위치를 나타내는 경우에, 예측부는 정수 화소 샘플들을 이용하여 정수 단위 이하의 부분 화소 샘플을 생성하는 보간을 수행한다(S1930).
이때, 예측부는 보간 영역의 기준 정수 샘플이 소정의 범위, 즉 현재 픽쳐의 복원된 화소 샘플을 보간에 이용할 수 있는 범위 내에 있는지를 확인할 수 있다. 예컨대, 휘도 화소에 대한 보간의 경우, 예측부는 기준 정수 샘플이 현재 예측 단위에 대응하는 참조 블록의 상측 경계로부터 세 번째 정수 샘플 행 이내 또는 좌측 경계로부터 세 번째 정수 샘플 열 이내에 위치하는지를 확인할 수 있다. 색차 화소에 대한 보간의 경우, 예측부는 기준 정수 샘플이 현재 예측 단위에 대응하는 참조 블록의 상측 경계로부터 첫 번째 정수 샘플 행 또는 좌측 경계로부터 첫 번째 정수 샘플 열에 위치하는지를 확인할 수 있다.
복호화기의 예측부는 보간 영역의 기준 정수 샘플이 소정의 범위에 있다는 것을 확인하면, 보간에 필요한 전처리를 수행할 수 있다.
예컨대, 휘도 화소에 대한 보간의 경우, 기준 정수 샘플이 현재 예측 단위에 대응하는 참조 블록의 상측 또는 좌측 경계로부터 세 번째 정수 샘플 행/열 이내에 위치하고, 색차 화소에 대한 보간의 경우, 기준 정수 샘플이 현재 예측 단위에 대응하는 참조 블록의 상측 또는 좌측 경계로부터 첫 번째 정수 샘플 행/열에 위치하면, 보간에 이용할 현재 픽쳐의 화소 샘플에 보간의 전처리로서 스무딩을 적용할 수 있다. 전처리로서 적용되는 스무딩 방법은 상술한 바와 같다.
예측부는 상술한 바와 같이, 휘도 화소에 대하여는 보간을 통해 1/4 화소 단위로 부분 화소 샘플을 생성할 수 있으며, 색차 화소에 대해서는 보간을 통해 1/8 화소 단위로 부분 화소 샘플을 생성할 수 있다.
본 발명에서 예측부는, 보간 영역의 기준 정수 샘플이 소정의 범위에 있는 경우에, 현재 픽쳐의 복원된 정수 화소 샘플과 참조 블록의 화소 샘플을 함께 사용하여 보간을 수행할 수 있다. 보간의 구체적인 방법은 상술한 바와 같다.
예측부는 예측 블록을 생성한다(S1940). 예측부는 움직임 벡터가 정수 화소 위치를 나타내는 경우에는 움직임 벡터와 참조 블록을 기반으로, 움직임 벡터가 서브 화소 위치를 나타내는 경우에는 움직임 벡터와 보간에 의해 산출된 화소 샘플을 기반으로 예측 블록을 생성한다. 상술한 바와 같이, 예측 블록의 화소 샘플값은 기준 정수 샘플로부터의 부분 샘플 단위 오프셋으로 표현되는 화소 위치에 대응하는 화소 샘플 값으로서, 예컨대 휘소 화소에 대한 보간의 경우에 오프셋은 (xFracL, yFracL)로 주어질 수 있고, 색차 화소에 대한 보간의 경우에 오프셋은 (xFracC, yFracC)로 주어질 수 있다. 이때, 기준 정수 샘플을 기준으로 한 오프셋에 의해 특정되는 예측 화소 샘플의 값은, 휘도 화소의 경우에는 예를 들어 표 3을 통해서, 색차 화소의 경우에는 예를 들어 표 5를 통해서 얻어질 수 있다.
한편, 상술한 도 19와 관련된 보간 방법에서, 현재 픽쳐의 복원된 정수 화소 샘플을 이용할 것인지에 관해서는 상술한 바와 같이 부호화기로부터 명시적 또는 묵시적 지시가 복호화기에 전달될 수도 있고, 기준 정수 샘플이 현재 예측 단위에 대응하는 참조 블록의 상측 또는 좌측 경계로부터 세 번째 정수 샘플 행/열 이내에 위치하는 경우에는 현재 픽쳐의 복원된 정수 화소 샘플을 보간에 이용하도록 정해질 수도 있다.
따라서, 현재 픽쳐의 복원된 화소 샘플을 이용할 것인지에 관하여 부호화기로부터 지시가 전달되도록 하는 경우에는, 복호화기가 상기 지시의 존부 및/또는 지시 내용을 판단하는 단계가 선행될 수 있다. 이 경우에 현재 픽쳐의 복원된 화소 샘플을 이용하라는 지시가 없으면, 현재 픽쳐의 복원된 화소 샘플을 보간에 이용하지 않고, 참조 픽쳐의 화소 샘플들만으로 이용하여 보간을 수행할 수도 있다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
지금까지 본 발명에 관한 설명에서 일 구성 요소가 타 구성 요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 상기 일 다른 구성 요소가 상기 타 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 두 구성 요소 사이에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 일 구성 요소가 타 구성 요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 두 구성 요소 사이에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.

Claims (19)

  1. 예측 블록을 생성하기 위한 움직임 정보를 산출하는 단계; 및
    보간 필터가 적용되는 정수 화소 샘플들을 포함하는 정수 샘플 집합을 기반으로 부분 화소 샘플을 생성하는 단계를 포함하며,
    상기 정수 샘플 집합에는 현재 픽쳐의 복원된 정수 화소 샘플 중 부분 화소 샘플을 생성하는데 이용되는 적어도 하나의 현재 정수 샘플이 포함되고,
    상기 부분 화소 샘플은 상기 정수 화소 샘플들 중 소정의 기준 화소 샘플로부터 부분 화소 단위의 오프셋 위치들에 대응하고,
    상기 현재 픽쳐의 상기 복원된 정수 화소 샘플 중 상기 부분 화소 샘플을 생성하는데 이용되는 상기 적어도 하나의 현재 정수 샘플은 현재 예측 유닛의 상측(Upper) 또는 좌측(left) 영역에 위치하는 것을 특징으로 하는 보간 방법.
  2. 제1항에 있어서, 상기 보간은 휘도 화소에 대한 보간이며,
    상기 부분 화소 샘플을 생성하는 단계에서는,
    상기 기준 화소 샘플의 위치에 따라서 소정의 현재 정수 샘플이 상기 정수 샘플 집합에 포함되는 것을 특징으로 하는 보간 방법.
  3. 제2항에 있어서, 상기 기준 화소 샘플이,
    상기 보간에 사용되는 현재 픽쳐의 복원된 화소 샘플 영역과 참조 픽쳐의 참조 샘플 영역 사이 경계로부터,
    첫 번째 정수 화소 샘플 열 또는 행에 위치하는 경우에는 3개의 현재 정수 샘플이 상기 정수 샘플 집합에 포함되고,
    두 번째 정수 화소 샘플 열 또는 행에 위치하는 경우에는 2개의 현재 정수 샘플이 상기 정수 샘플 집합에 포함되며,
    세 번째 정수 화소 샘플 열 또는 행에 위치하는 경우에는 1개의 현재 정수 샘플이 상기 정수 샘플 집합에 포함되는 것을 특징으로 하는 보간 방법.
  4. 제3항에 있어서, 상기 보간 방법은 상기 부분 화소 샘플을 생성하기 전에,
    적어도 하나 이상의 참조 화소 샘플 및 현재 픽쳐의 복원된 화소 샘플을 이용하는 스무딩 필터를 상기 현재 정수 샘플들 중 적어도 하나의 현재 정수 샘플에 적용하는 단계를 포함하는 것을 특징으로 하는 보간 방법.
  5. 제3항에 있어서, 상기 보간 방법은 상기 부분 화소 샘플을 생성하기 전에,
    상기 보간에 사용되는 현재 픽쳐의 복원된 화소 샘플 영역과 참조 픽쳐의 참조 샘플 영역 사이 경계로부터 가장 가까운 위치에 있는 현재 정수 샘플에 대하여, 적어도 하나 이상의 참조 화소 샘플 및 현재 픽쳐의 복원된 화소 샘플을 이용하는 스무딩 필터를 적용하는 단계를 포함하는 것을 특징으로 하는 보간 방법.
  6. 제1항에 있어서, 상기 보간은 색차 화소에 대한 보간이며,
    상기 부분 화소 샘플을 생성하는 단계에서는,
    상기 기준 화소 샘플의 위치에 따라서 소정의 현재 정수 샘플이 상기 정수 샘플 집합에 포함되는 것을 특징으로 하는 보간 방법.
  7. 제6항에 있어서, 상기 기준 화소 샘플이,
    상기 보간에 사용되는 현재 픽쳐의 복원된 화소 샘플 영역과 참조 픽쳐의 참조 샘플 영역 사이 경계로부터 첫 번째 정수 화소 샘플 열 또는 행에 위치하는 경우에 하나의 현재 정수 샘플이 상기 정수 샘플 집합에 포함되는 것을 특징으로 하는 보간 방법.
  8. 제7항에 있어서, 상기 보간 방법은 상기 부분 화소 샘플을 생성하기 전에,
    적어도 하나 이상의 참조 화소 샘플 및 현재 픽쳐의 복원된 화소 샘플을 이용하는 스무딩 필터를 상기 현재 정수 샘플들 중 적어도 하나의 현재 정수 샘플에 적용하는 단계를 포함하는 것을 특징으로 하는 보간 방법.
  9. 제1항에 있어서, 상기 보간 방법은,
    상기 현재 픽쳐의 복원된 정수 화소 샘플을 상기 부분 화소 샘플을 생성하는데 이용하라는 묵시적 또는 명시적 지시가 부호화기로부터 전달되었는지를 판단하는 단계를 더 포함하며,
    상기 지시가 전달된 경우에, 상기 현재 픽쳐의 복원된 정수 화소 샘플을 상기 부분 화소 샘플을 생성하는데 이용하는 것을 특징으로 하는 보간 방법.
  10. 제9항에 있어서, 상기 명시적 지시는 화소 위치 정보 및 참조 화소 샘플의 배열에 관한 정보와 함께 상기 부호화기로부터 복호화기에 전달되는 1 비트의 플래그 정보인 것을 특징으로 하는 보간 방법.
  11. 제9항에 있어서, 현재 예측 단위에 대한 움직임 벡터와 상기 현재 예측 단위 주위의 블록에 대한 움직임 벡터의 차이가 소정의 임계값 이하인 경우에는 상기 현재 픽쳐의 복원된 정수 화소 샘플을 상기 부분 화소 샘플을 생성하는데 이용하라는 묵시적 지시가 있는 것으로 판단하는 것을 특징으로 하는 보간 방법.
  12. 제1항에 있어서, 상기 보간은 휘도 화소에 대한 보간이며,
    기준 정수 샘플이 상기 보간에 이용되는 참조 픽쳐의 참조 샘플 영역 상측 또는 좌측 경계로부터 세 번째 정수 샘플 행/열 이내에 위치하는 경우에는 현재 픽쳐의 복원된 정수 화소 샘플을 보간에 이용하는 것을 특징으로 하는 보간 방법.
  13. 제1항에 있어서, 상기 보간은 색차 화소에 대한 보간이며,
    기준 정수 샘플이 상기 보간에 이용되는 참조 픽쳐의 참조 샘플 영역 상측 또는 좌측 경계로부터 첫 번째 정수 샘플 행/열에 위치하는 경우에는 현재 픽쳐의 복원된 정수 화소 샘플을 보간에 이용하는 것을 특징으로 하는 보간 방법.
  14. 예측 블록을 생성하기 위한 움직임 벡터를 산출하는 단계;
    상기 움직임 벡터가 서브 화소 위치를 지시하는 경우에, 서브 화소 단위의 화소 샘플을 생성하는 보간을 수행하는 단계; 및
    상기 움직임 벡터와 상기 서브 화소 단위의 화소 샘플을 기반으로 예측 블록을 생성하는 단계를 포함하며,
    상기 보간은 현재 픽쳐의 복원된 화소 샘플과 참조 픽쳐의 화소 샘플을 함께 이용하고,
    상기 현재 픽쳐의 복원된 화소 샘플은 현재 예측 유닛의 상측(Upper) 또는 좌측(left) 영역에 위치하는 것을 특징으로 하는 화면 간 예측 방법.
  15. 삭제
  16. 제14항에 있어서, 상기 보간 단계를 수행하기 전에 상기 현재 픽쳐의 복원된 화소 샘플에 대하여, 상기 현재 픽쳐의 복원된 화소 샘플 중 적어도 하나와 상기 참조 픽쳐의 화소 샘플 중 적어도 하나를 이용한 스무딩을 수행하는 것을 특징으로 하는 화면 간 예측 방법.
  17. 예측 블록을 생성하기 위한 움직임 벡터를 산출하는 단계; 및
    상기 움직임 벡터가 서브 화소 위치를 지시하는 경우에, 서브 화소 단위의 화소 샘플을 생성하는 보간을 수행하는 단계를 포함하며,
    상기 보간은 현재 픽쳐의 복원된 화소 샘플과 참조 픽쳐의 화소 샘플을 함께 이용하고,
    상기 현재 픽쳐의 복원된 화소 샘플은 현재 예측 유닛의 상측(Upper) 또는 좌측(left) 영역에 위치하는 것을 특징으로 하는 보간 방법.
  18. 삭제
  19. 제17항에 있어서, 상기 보간 단계를 수행하기 전에 상기 현재 픽쳐의 복원된 화소 샘플에 대하여, 상기 현재 픽쳐의 복원된 화소 샘플 중 적어도 하나와 상기 참조 픽쳐의 화소 샘플 중 적어도 하나를 이용한 스무딩을 수행하는 것을 특징으로 하는 보간 방법.
KR1020110065192A 2011-06-30 2011-06-30 보간 방법 및 이를 이용한 예측 방법 KR101956284B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020110065192A KR101956284B1 (ko) 2011-06-30 2011-06-30 보간 방법 및 이를 이용한 예측 방법
PCT/KR2011/005573 WO2013002450A1 (ko) 2011-06-30 2011-07-28 보간 방법 및 이를 이용한 예측 방법
JP2014518776A JP5782186B2 (ja) 2011-06-30 2011-07-28 補間方法及びそれを利用した予測方法
EP11868759.9A EP2728876B1 (en) 2011-06-30 2011-07-28 Inter prediction method and video decoding apparatus using same
US14/130,180 US9460488B2 (en) 2011-06-30 2011-07-28 Interpolation method and prediction method using same
CN201180073166.0A CN103891289B (zh) 2011-06-30 2011-07-28 插值方法和使用其的预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110065192A KR101956284B1 (ko) 2011-06-30 2011-06-30 보간 방법 및 이를 이용한 예측 방법

Publications (2)

Publication Number Publication Date
KR20130003706A KR20130003706A (ko) 2013-01-09
KR101956284B1 true KR101956284B1 (ko) 2019-03-08

Family

ID=47424325

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110065192A KR101956284B1 (ko) 2011-06-30 2011-06-30 보간 방법 및 이를 이용한 예측 방법

Country Status (6)

Country Link
US (1) US9460488B2 (ko)
EP (1) EP2728876B1 (ko)
JP (1) JP5782186B2 (ko)
KR (1) KR101956284B1 (ko)
CN (1) CN103891289B (ko)
WO (1) WO2013002450A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2592833A4 (en) * 2010-07-09 2014-12-03 Samsung Electronics Co Ltd IMAGE INTERPOLATION METHOD AND APPARATUS
CN103947208B (zh) * 2011-09-13 2017-07-07 寰发股份有限公司 减少解块滤波器的方法及装置
US9398300B2 (en) * 2011-10-07 2016-07-19 Texas Instruments Incorporated Method, system and apparatus for intra-prediction in video signal processing using combinable blocks
US9978156B2 (en) * 2012-10-03 2018-05-22 Avago Technologies General Ip (Singapore) Pte. Ltd. High-throughput image and video compression
US10469866B2 (en) * 2013-04-05 2019-11-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding video with respect to position of integer pixel
CN105828080B (zh) * 2015-01-26 2020-02-14 同济大学 图像编解码方法及装置
US10750181B2 (en) 2017-05-11 2020-08-18 Mediatek Inc. Method and apparatus of adaptive multiple transforms for video coding
KR102430225B1 (ko) 2017-06-30 2022-08-09 후아웨이 테크놀러지 컴퍼니 리미티드 모션 벡터 정제를 위한 검색 영역
US11218694B2 (en) * 2018-09-24 2022-01-04 Qualcomm Incorporated Adaptive multiple transform coding
JP7293361B2 (ja) * 2018-12-21 2023-06-19 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 予測コーディングのための補間フィルタ処理の方法および装置
EP3766249A4 (en) * 2019-01-08 2022-01-26 Tencent America Llc METHOD AND APPARATUS FOR REDUCING MEMORY BANDWIDTH FOR INTER SMALL BLOCKS
WO2020185885A1 (en) * 2019-03-11 2020-09-17 Futurewei Technologies, Inc. Interpolation filter clipping for sub-picture motion vectors
CN114424539A (zh) 2019-06-14 2022-04-29 北京字节跳动网络技术有限公司 处理视频单元边界和虚拟边界
CN113994671B (zh) * 2019-06-14 2024-05-10 北京字节跳动网络技术有限公司 基于颜色格式处理视频单元边界和虚拟边界
CN114097225B (zh) 2019-07-09 2024-04-19 北京字节跳动网络技术有限公司 用于自适应环路滤波的样点确定
CN114128278B (zh) 2019-07-11 2023-12-05 北京字节跳动网络技术有限公司 自适应环路滤波中的样点填充
EP3984219A4 (en) 2019-07-15 2022-08-17 Beijing Bytedance Network Technology Co., Ltd. CLASSIFICATION IN AN ADAPTIVE LOOP FILTERING
EP4018652A4 (en) 2019-09-22 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. FILLING METHOD IN AN ADAPTIVE LOOP FILTER
JP2022548555A (ja) * 2019-09-24 2022-11-21 アリババ グループ ホウルディング リミテッド 映像符号化のための動き補償方法
CN117834924A (zh) 2019-09-27 2024-04-05 北京字节跳动网络技术有限公司 不同视频单元之间的自适应环路滤波
WO2021068906A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Padding process at unavailable sample locations in adaptive loop filtering
WO2021118690A1 (en) * 2019-12-09 2021-06-17 Alibaba Group Holding Limited Methods and apparatuses for motion compensation
EP4085631A4 (en) * 2019-12-30 2023-03-22 Beijing Dajia Internet Information Technology Co., Ltd. CROSS COMPONENT DETERMINATION OF CHROMA AND LUMA COMPONENTS OF VIDEO DATA
CN113687601B (zh) * 2020-05-18 2022-11-29 联华电子股份有限公司 设备的自动调整方法及应用其的智能调整装置
US11831920B2 (en) * 2021-01-08 2023-11-28 Tencent America LLC Method and apparatus for video coding

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1251176C (zh) * 1993-05-05 2006-04-12 皇家菲利浦电子有限公司 包括至少一个编码器的传输***
DE19730305A1 (de) 1997-07-15 1999-01-21 Bosch Gmbh Robert Verfahren zur Erzeugung eines verbesserten Bildsignals bei der Bewegungsschätzung von Bildsequenzen, insbesondere eines Prädiktionssignals für Bewegtbilder mit bewegungskompensierender Prädiktion
ATE543339T1 (de) * 2001-09-12 2012-02-15 Panasonic Corp Bildkodierungsverfahren
US7170937B2 (en) * 2002-05-01 2007-01-30 Texas Instruments Incorporated Complexity-scalable intra-frame prediction technique
US7336720B2 (en) * 2002-09-27 2008-02-26 Vanguard Software Solutions, Inc. Real-time video coding/decoding
EP1645135A4 (en) * 2003-01-10 2010-03-03 Thomson Licensing DEFINE INTERPOLATION FILTERS FOR ERROR FILING IN A CODED PICTURE
JP2005318297A (ja) * 2004-04-28 2005-11-10 Toshiba Corp 動画像符号化・復号方法及び装置
EP1592248B1 (en) * 2004-04-30 2006-09-20 Matsushita Electric Industrial Co., Ltd. Motion vector estimation employing adaptive temporal prediction
EP1605706A2 (en) * 2004-06-09 2005-12-14 Broadcom Corporation Advanced video coding (AVC) intra prediction scheme
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
KR100750128B1 (ko) * 2005-09-06 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
TWI256776B (en) * 2005-10-25 2006-06-11 Novatek Microelectronics Corp Method and apparatus for calculating cost functions and the interpolation method thereof
JP2007129370A (ja) * 2005-11-01 2007-05-24 Matsushita Electric Ind Co Ltd 動きベクトル検出装置及び方法
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
KR100800761B1 (ko) * 2006-10-19 2008-02-01 삼성전자주식회사 계산량을 최소화하는 색차 신호의 보간 방법 및 장치
WO2008084378A2 (en) * 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding
KR101369746B1 (ko) * 2007-01-22 2014-03-07 삼성전자주식회사 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
JP2009118303A (ja) * 2007-11-08 2009-05-28 Hitachi Ltd 画像符号化装置、画像符号化方法、画像復号化装置及び画像復号化方法
US8804831B2 (en) * 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
US8831086B2 (en) 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
WO2010007719A1 (ja) * 2008-07-16 2010-01-21 株式会社日立製作所 画像符号化装置、画像符号化方法、画像復号装置、及び画像復号方法
KR101441903B1 (ko) 2008-10-16 2014-09-24 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101853811B1 (ko) * 2010-01-15 2018-05-03 삼성전자주식회사 예측 부호화를 위해 가변적인 파티션을 이용하는 비디오 부호화 방법 및 장치, 예측 부호화를 위해 가변적인 파티션을 이용하는 비디오 복호화 방법 및 장치
EP2533539A2 (en) * 2010-02-02 2012-12-12 Humax Co., Ltd. Image encoding/decoding method for rate-distortion optimization and apparatus for performing same
WO2011097199A2 (en) * 2010-02-04 2011-08-11 Sony Corporation Recursive adaptive interpolation filters (raif)
KR101681303B1 (ko) * 2010-07-29 2016-12-01 에스케이 텔레콤주식회사 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
CN102387360B (zh) * 2010-09-02 2016-05-11 乐金电子(中国)研究开发中心有限公司 视频编解码帧间图像预测方法及视频编解码器
US9124902B2 (en) * 2010-09-30 2015-09-01 Samsung Electronics Co., Ltd. Method and device for interpolating images by using a smoothing interpolation filter
KR20120095611A (ko) * 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오 부호화/복호화 방법 및 장치
EP3783889B1 (en) * 2011-04-25 2023-06-14 LG Electronics Inc. Video decoding apparatus and video encoding apparatus

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Region-based adaptive interpolation filter, JCT-VC of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC29/WG 11, JCTVC-E078(2011.03.18.)*
S. Matsuo, Y. Bandoh, S. Takamura and H. Jozawa., "Region-based adaptive interpolation filter," JCTVC-B051, 2nd. JCT-VC Meeting, Geneva, CH, 21-28 July, 2010.
S. Wittmann and T. Wedi., "Separable adaptive interpolation filter for video coding," in Proc. International Conference on Image Processing (ICIP) 2008, San Diego, California, USA, October 2008.
Y. Vatis, B. Edler, D. T. Nguyen and J. Osterman., "Two-dimensional non-separable adaptive wiener interpolation filter for H.264/AVC," ITU-T SG16 Q.6 Document, VCEG-Z17r1, 26th VCEG Meeting, Busan, Ko

Also Published As

Publication number Publication date
EP2728876A4 (en) 2014-12-03
CN103891289A (zh) 2014-06-25
US20140153844A1 (en) 2014-06-05
EP2728876A1 (en) 2014-05-07
JP5782186B2 (ja) 2015-09-24
US9460488B2 (en) 2016-10-04
KR20130003706A (ko) 2013-01-09
EP2728876B1 (en) 2018-09-12
WO2013002450A1 (ko) 2013-01-03
JP2014523696A (ja) 2014-09-11
CN103891289B (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
KR101956284B1 (ko) 보간 방법 및 이를 이용한 예측 방법
US20230147003A1 (en) Method and device for performing image decoding on basis of intra prediction in image coding system
KR102383104B1 (ko) 비디오 신호 처리 방법 및 장치
US20220014770A1 (en) Method and apparatus for processing video signal
CN107005696B (zh) 视频信号处理方法和设备
JP2019530366A (ja) 画像コーディングシステムにおけるブロック分割及びイントラ予測方法並びに装置
CN107005692B (zh) 对视频信号进行解码或编码的方法及设备
KR20180061041A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20180041575A (ko) 영상의 부호화/복호화 방법 및 장치
US11418808B2 (en) Method and device for encoding or decoding image on basis of inter mode
KR102425722B1 (ko) 영상 신호 부호화/복호화 방법 및 장치
KR102597461B1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
KR20180061042A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20200078391A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
KR20230113243A (ko) 영상 신호 부호화/복호화 방법 및 장치
KR20180086094A (ko) 비디오 신호의 부호화 또는 복호화 방법 및 장치
KR20230054805A (ko) 비디오 신호의 복호화 방법 및 이의 장치
KR20140100863A (ko) 화면 내 예측 방법 및 장치
KR20180072539A (ko) 비디오 신호의 부호화 또는 복호화 방법 및 장치
KR102557740B1 (ko) 영상 신호 부호화/복호화 방법 및 장치
KR20130050898A (ko) 영상의 부호화 방법 및 장치, 그리고 영상의 복호화 방법 및 장치
KR102523384B1 (ko) 비디오 신호의 복호화 방법 및 이의 장치
KR102557797B1 (ko) 영상 신호 부호화/복호화 방법 및 장치
KR20180086093A (ko) 비디오 신호의 부호화 또는 복호화 방법 및 장치
KR20210111901A (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant