KR101700966B1 - 인트라 예측 비디오의 조명 보상 방법 및 장치 - Google Patents

인트라 예측 비디오의 조명 보상 방법 및 장치 Download PDF

Info

Publication number
KR101700966B1
KR101700966B1 KR1020107017665A KR20107017665A KR101700966B1 KR 101700966 B1 KR101700966 B1 KR 101700966B1 KR 1020107017665 A KR1020107017665 A KR 1020107017665A KR 20107017665 A KR20107017665 A KR 20107017665A KR 101700966 B1 KR101700966 B1 KR 101700966B1
Authority
KR
South Korea
Prior art keywords
prediction
data
illumination compensation
input
intra prediction
Prior art date
Application number
KR1020107017665A
Other languages
English (en)
Other versions
KR20100103867A (ko
Inventor
윤페이 젱
오스카 디보라 에스코다
펭 와인
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20100103867A publication Critical patent/KR20100103867A/ko
Application granted granted Critical
Publication of KR101700966B1 publication Critical patent/KR101700966B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

인트라 예측 비디오의 조명 보상 방법 및 장치가 제공된다. 이 장치는 논 로컬 인트라 예측을 이용하여 화상을 인코딩하는 인코더(500)를 포함한다. 인코더(500)는 논 로컬 인트라 예측으로부터 얻은 예측 데이터에 조명 보상을 적용하는 조명 보상 처리 유닛(561, 563)을 포함한다.

Description

인트라 예측 비디오의 조명 보상 방법 및 장치{METHODS AND APPARATUS FOR ILLUMINATION COMPENSATION OF INTRA-PREDICTED VIDEO}
관련 출원의 상호 인용
본 출원은 미국 임시출원 제61/020,228호[Attorney Docket No. PU080002, 출원일: 2008년 1월 10일]의 우선권을 주장한다. 이 임시출원의 전체 내용은 본 명세서에 인용으로 포함된다.
본 발명은 일반적으로 비디오 인코딩과 디코딩에 관한 것으로, 특히 인트라 예측 비디오의 조명 보상 방법 및 장치에 관한 것이다.
인트라 예측을 향상시킬 수 있는 다양한 예측 기법이 제안되어 있다. 근래, 코딩 효율이 비교적 괜찮은 변위 인트라 예측 기법(displaced intra prediction; DIP)과 템플릿 매칭 예측 기법(template matching prediction; TMP)과 같은 논 로컬(non-local) 방식의 인트라 예측 기법이 제안되어 있다. 논 로컬 화상 데이터 예측 기법에 의하면 현재 데이터를 인코딩되고 있는 화상(picture)의 다른 영역들로부터 디코더에서 이미 이용될 수 있는 디코딩된 데이터의 함수로서 모델링/예측할 수 있다. 변위 인트라 예측 기법과 템플릿 매칭 예측 기법 간의 유사성은 이들 기법이 코딩되고 있는 현재 화상의 이전에 인코딩된 인트라 영역들을 검색하고(즉, 현재 화상을 기준으로 이용하고), 예컨대 영역 매칭 및/또는 자기 회귀(auto-regressive) 템플릿 매칭을 수행함으로써 소정의 코딩 비용에 따라서 최적의 예측을 찾아낸다는 것이다. 변위 인트라 예측 기법과 템플릿 매칭 예측 기법 간의 차이는 변위 인트라 예측 기법은 비트스트림에서 변위 벡터가 명시적으로(explicitly) 코딩되는 순방향 예측 기법이지만 템플릿 매칭 예측 기법은 템플릿을 이용하여 변위 벡터를 추론해 내는 역방향 예측 기법이라는 것이다. 그와 같은 기법들의 한 가지 문제는 유사성 기준으로서 강도차를 바로 측정하기 때문에 화상 내의 비균일 조명으로 인한 불일치(mismatch)를 처리할 수 없다는 것이다. 이러한 조명 변동은 가공되지 않은 비디오 시퀀스들에서 흔히 나타나는, 불균일 조명, 대상체의 기하 형태의 변화, 또는 심지어 재료 특성 변동에 의해 생길 수 있다. 실제로 구조적으로 유사한 2개의 화상 패치는 조명 변동으로 인해 휘도 특성이 크게 다를 수가 있다. 논 로컬 예측 방식은 논 로컬 정보를 이용하여 명암과 휘도와 같은 화상 특성의 변화를 항상 모델링할 수 있는 것은 아니다. 비균일 조명 효과가 있는 경우에는 예측될 신호를 효율적으로 표현하기에 단독으로는 불충분한 불완전한 정보 세트로서 논 로컬 데이터를 이용할 수 있다. 이 경우에는 이미 디코딩된 화상 데이터에서 완전히 똑같은 구조의 신호 패턴이 찾아지더라도 예측 신호와 원래 신호 간의 불일치로 인해 코딩할 상당한 량의 비트를 필요로 할 수 있는 상당한 양의 레시듀(residue)를 발생시킬 수 있다.
MPEG-4 AVC 표준 인트라 예측
ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) standard/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 Recommendation (이하 "MPEG-4 AVC 표준"이라 함)은 인트라 코딩을 위해 공간 방향성 예측을 이용하는 최초의 비디오 코딩 표준이다. MPEG-4 AVC 표준은 매우 융통성이 있는 예측 프레임워크를 제공하며, 따라서 변환 영역에서 인트라 예측이 행해졌던 이전의 표준들에 비해 코딩 효율이 더 좋다. MPEG-4 AVC 표준에서는 공간 인트라 예측은 동일한 슬라이스 내에서 디코더에서 이용될 수 있는 이전에 재구성된 샘플인 주위의 가용 샘플을 이용하여 구성된다. 휘도 샘플의 경우에는 4x4 블록 단위(인트라_4x4로 표기됨), 8x8 블록 단위(인트라_8x8로 표기됨) 및 16x16 블록 단위(인트라_16x16로 표기됨)로 인트라 예측이 수행될 수 있다. 도 1A를 참조로 설명하면, 4x4 블록 단위(인트라_4x4)에 관한 MPEG-4 AVC 표준 방향성 인트라 예측은 도면부호 100으로 총괄적으로 표시된다. 예측 방향은 도면부호 110으로 총괄적으로 표시되고, 영상 블록은 도면부호 120으로 총괄적으로 표시되고, 현재 블록은 도면부호 130으로 표시된다. 휘도 예측 이외에도 별도의 채도 예측(chroma prediction)도 실시된다. 인트라_4x4와 인트라_8x8에 대해서는 총 9개의 예측 모드, 인트라_16x16에 대해서는 총 4개의 예측 모드, 그리고 채도 성분에 대해서는 총 4개의 예측 모드가 있다. 통상적으로 인코더는 현재 블록을 코딩하는 비용을 최소화하는 예측 모드를 선택한다. 인코더는 추가적인 인트라 코딩 모드(I_PCM)를 이용하면 예측 및 변환 코딩 프로세스를 간단히 바이패스할 수 있다. 인코더는 I_PCM을 이용하면 샘플의 값을 정확하게 표현할 수 있으며, 디코딩된 영상 품질을 제한함이 없이 코딩된 마크로블록에 포함될 수 있는 비트 수에 대한 절대적 한계를 둘 수 있다.
도 2를 참조로 설명하면, MPEG-4 AVC 표준의 인트라_4x4 모드에 대한 예측 샘플의 라벨링은 도면부호 200으로 총괄적으로 표시된다. 도 2는 이미 코딩되어 재구성되었고 따라서 인코더와 디코더에서 예측을 구성하는데 이용될 수 있는 현재 블록 위와 좌측에 있는 (대문자 A-M으로 표시된) 샘플을 보여준다.
도 3B 내지 3J를 참조로 설명하면, MPEG-4 AVC 표준의 인트라_4x4 휘도 예측 모드는 도면부호 300으로 총괄적으로 표시된다. 예측 블록의 샘플 a, b, c, ..., p는 인트라_4x4 휘도 예측 모드(300)를 이용하여 샘플(A-M)에 기초하여 산출된다. 도 3B 내지 3J에서 화살표는 인트라_4x4 모드(300) 각각에 대한 예측 방향을 나타낸다. 인트라_4x4 휘도 예측 모드(300)는 모드 0 내지 8을 포함한다. 모드 0(도 3B에서 도면부호 310으로 표시)은 수직 예측 모드, 모드 1(도 3C에서 도면부호 311로 표시)은 수평 예측 모드, 모드 2(도 3D에서 도면부호 312로 표시)는 DC 예측 모드, 모드 3(도 3E에서 도면부호 313으로 표시)은 하방-좌측 모드, 모드 4(도 3F에서 도면부호 314로 표시)는 대각 하방-우측 모드, 모드 5(도 3G에서 도면부호 315로 표시)는 수직-우측 모드, 모드 6(도 3H에서 도면부호 316으로 표시)은 수평-하방 모드, 모드 7(도 3I에서 도면부호 317으로 표시)은 수직-좌측 모드, 그리고 모드 8(도 3J에서 도면부호 318로 표시)은 수평-상방 모드에 대응한다. 도 3A는 인트라_4x4 모드(300) 각각에 대응하는 일반적인 예측 방향(330)을 보여준다.
모드 3 내지 8에서는 예측 샘플은 예측 샘플(A-M)의 가중 평균으로부터 구성된다. 인트라_8x8은 기본적으로 4x4 예측과 동일한 개념을 이용하지만, 예측 블록의 크기가 8x8이고 예측 성능을 향상시키기 위해 예측기의 저역 통과 필터링을 이용한다는 점이 다르다. 도 4A 내지 4D를 참조로 설명하면, MPEG-4 AVC 표준에 대응하는 4개의 인트라_16x16 모드는 도면부호 400으로 총괄적으로 표시된다. 4개의 인트라_16x16 모드(400)는 모드 0 내지 3을 포함한다. 모드 0(도 4A에서 도면부호 410으로 표시)은 수직 예측 모드, 모드 1(도 4B에서 도면부호 411로 표시)은 수평 예측 모드, 모드 2(도 4C에서 도면부호 412로 표시)는 DC 예측 모드, 그리고 모드 3(도 4D에서 도면부호 413으로 표시)은 평면 예측 모드에 대응한다. 인트라 코딩된 마크로블록의 8x8 채도 성분 각각은 위 및/또는 좌측에 있는 이미 코딩된 채도 샘플로부터 예측되며, 채도 성분 모두는 동일한 예측 모드를 이용한다. 이 4개의 예측 모드는 인트라_16x16과 매우 유사하고, 모드 번호 붙이기만 다르다. 모드는 DC(모드 0), 수평(모드 1), 수직(모드 2) 및 평면(모드 3)이다.
MPEG-4 AVC 표준에서의 인트라 예측이 비디오 코딩 효율을 향상시킨다 하더라도, 이는 에지, 윤곽 및 배향된 텍스쳐를 따라 존재하는 기하 형태적 중복성을 이용하는데 있어서는 여전히 최적이 아니며 텍스쳐를 코딩하는데 있어서도 효율적이지 못하다.
변위 인트라 예측(DIP)
ITU-T H.26L 표준의 개발 중에 변위 인트라 예측이 제안되었다. 이 제안은 인트라 예측에 대한 MPEG-4 AVC 표준에서 규정한 가변 블록 크기 인터 예측(inter-prediction)의 개념을 재사용한다. 도 1B를 참조로 설명하면, 변위 인트라 예측의 일례는 도면부호 150으로 총괄적으로 표시된다. 변위 인트라 예측(150)은 인트라 코딩된 영역(152), 현재 블록(154) 및 후보 블록(156)을 포함한다. 일반적으로 슬라이스의 이미 인코딩된 인트라 영역[예컨대 인트라 코딩된 영역(152)]은 현재 인트라 블록[예컨대 현재 블록(154)]의 예측을 위해 변위 벡터[예컨대 변위 벡터(156)]에 의해 참조될 수 있다. 변위 인트라 예측(150)은 마크로블록 단위로 구현된다. 변위 벡터들은 MPEG-4 AVC 표준에서 인터 모션 벡터와 유사하게 인접 블록의 메디안(median)에 의한 예측을 이용하여 차등적으로(differentially) 인코딩된다.
변위 인트라 예측은 인트라 코딩된 화상에서 텍스쳐 또는 패턴이 반복되는 경우에 코딩 효율을 향상시키기는 하지만, 구조적으로 유사한 영역들이 동일 화상 내에서 조명 특성이 서로 다를 수 있다는 사실 때문에 변위 인트라 예측이 제한된다.
템플릿 매칭 예측(TMP)
템플릿 매칭 예측은 주어진 샘플과 유사한 연속 텍스쳐의 발생을 다루는 텍스쳐 합성 개념이다.
MPEG-4 AVC 표준에서 템플릿 매칭을 이용한 인트라 예측이 제안되어 있다. 이 제안에서는 이 방식은 MPEG-4 AVC 표준에서 인트라 4x4 또는 인트라 8x8 예측을 위한 부가 모드로서 통합된다. 템플릿 매칭 예측에서는 예측을 위해 영상 영역의 자기 유사성이 이용된다. 슬라이스의 이미 인코딩된 인트라 영역은 예측을 위해 재사용될 수 있다. TMP 알고리즘은 디코딩된 데이터의 (하나 이상의 픽셀의) 적어도 하나의 패치를 선택함으로써 예측될 현재 픽셀의 값을 회귀적으로(recursively) 결정한다. 패치 인접 픽셀이 현재 블록 인접 픽셀과 비교되는 매칭 규칙에 따라서 패치가 선택되는데, 가장 유사한 인접 픽셀을 가진 패치가 선택된다. 도 1C를 참조로 설명하면, 템플릿 매칭 인트라 예측의 예는 도면부호 170으로 총괄적으로 표시된다. 템플릿 매칭 인트라 예측(170)은 후보 인접 영역(172), 후보 패치(174), 템플릿(176) 및 타겟(178)을 포함한다. 현재 픽셀[예컨대 타겟(178)]의 검색 영역과 인접 영역[예컨대 후보 인접 영역(172)]은 인코더와 디코더 측에서 이미 알고 있으므로 추가적인 부가 정보를 전송하지 않아도 되고, 양측에서 동일한 예측이 달성된다. 여기서 4:2:0 비디오 계열에서 휘도와 채도 샘플에 대한 통합 예측이 가능하도록 2x2 휘도 샘플 격자 상에서의 템플릿 매칭이 적용된다.
변위 인트라 예측과 템플릿 매칭 예측은 모두 현재 화상 내의 이미 인코딩된 영역을 검색한다. 이들 인코딩된 영역은 코딩될 블록과 동일한 조명 특성을 갖지 않을 수 있기 때문에 코딩 성능이 저하될 수 있다.
인터 예측을 위한 가중 예측
가중 예측은 시간적 조명 변동을 처리하거나 또는 모션 보상 효과를 페이드 인/아웃시키기 위해 제안된 것이다. 그러나 가중 예측은 화상 내부의 조명 변동을 처리하기 위한 인트라 예측을 위해 제안된 것은 아니다.
<개요>
종래 기술의 이들 및 기타 다른 결점과 단점은 인트라 예측 비디오의 조명 보상 방법 및 장치에 관한 본 발명의 원리에 따라 해결된다.
본 발명의 원리의 일 양상에 따라서, 논 로컬 인트라 예측을 이용하여 화상을 인코딩하는 인코더를 포함하는 장치가 제공된다. 인코더는 상기 논 로컬 인트라 예측으로부터 얻은 예측 데이터에 조명 보상을 적용하는 조명 보상 처리 유닛(조명 보상부)을 포함한다.
본 발명의 원리의 다른 양상에 따라서, 논 로컬 인트라 예측을 이용하여 화상을 인코딩하는 단계를 포함하는 방법이 제공된다. 인코딩 단계는 상기 논 로컬 인트라 예측으로부터 얻은 예측 데이터에 조명 보상을 적용하는 단계를 포함한다.
본 발명의 원리의 또 다른 양상에 따라서, 논 로컬 인트라 예측을 이용하여 화상을 디코딩하는 디코더를 포함하는 장치가 제공된다. 디코더는 상기 논 로컬 인트라 예측으로부터 얻은 예측 데이터에 조명 보상을 적용하는 조명 보상 처리 유닛(조명 보상부)을 포함한다.
본 발명의 원리의 또 다른 양상에 따라서, 논 로컬 인트라 예측을 이용하여 화상을 디코딩하는 단계를 포함하는 방법이 제공된다. 디코딩 단계는 상기 논 로컬 인트라 예측으로부터 얻은 예측 데이터에 조명 보상을 적용하는 단계를 포함한다.
본 발명의 원리의 이들 및 기타 다른 양상, 특성 및 이점은 첨부도면을 참조한 바람직한 실시예에 대한 하기의 상세한 설명으로부터 명백하게 드러날 것이다.
본 발명의 원리는 하기의 바람직한 도면을 참조하면 더 잘 이해될 수 있다.
도 1A는 4x4 블록 기준 단위(인트라_4x4)에 대한 MPEG-4 AVC 표준 방향 인트라 예측을 보여주는 도.
도 1B는 변위 인트라 예측의 예를 보여주는 도.
도 1C는 템플릿 매칭 인트라 예측의 예를 보여주는 도.
도 2는 MPEG-4 AVC 표준의 인트라_4x4 모드에 대한 예측 샘플의 라벨링을 보여주는 도.
도 3A-J는 MPEG-4 AVC 표준의 인트라_4x4 휘도 예측 모드를 보여주는 도.
도 4A-D는 MPEG-4 AVC 표준에 대응하는 네 개의 인트라_16x16 모드를 보여주는 도.
도 5는 본 발명의 실시예에 따른, 명시적 조명 보상을 이용하여 화상 데이터를 인코딩하는 바람직한 인코더를 도시한 블록도.
도 6은 본 발명의 실시예에 따른, 명시적 조명 보상을 이용하여 화상 데이터를 디코딩하는 바람직한 디코더를 도시한 블록도.
도 7은 본 발명의 실시예에 따른, 함축적(implicit) 조명 보상을 이용하여 화상 데이터를 인코딩하는 바람직한 인코더를 도시한 블록도.
도 8은 본 발명의 실시예에 따른, 함축적 조명 보상을 이용하여 화상 데이터를 디코딩하는 바람직한 디코더를 도시한 블록도.
도 9는 본 발명의 실시예에 따른 논 로컬 인트라 예측의 예를 보여주는 도.
도 10은 본 발명의 실시예에 따른, 변위 인트라 예측(DIP)과 명시적 조명 보상을 이용하여 화상 데이터를 인코딩하는 바람직한 방법을 보여주는 흐름도.
도 11은 본 발명의 실시예에 따른, 변위 인트라 예측(DIP)과 명시적 조명 보상을 이용하여 화상 데이터를 디코딩하는 바람직한 방법을 보여주는 흐름도.
도 12는 본 발명의 실시예에 따른, 템플릿 매칭 예측(TMP)과 명시적 조명 보상을 이용하여 화상 데이터를 인코딩하는 바람직한 방법을 보여주는 흐름도.
도 13은 본 발명의 실시예에 따른, 템플릿 매칭 예측(TMP)과 명시적 조명 보상을 이용하여 화상 데이터를 디코딩하는 바람직한 방법을 보여주는 흐름도.
도 14는 본 발명의 실시예에 따른, 변위 인트라 예측(DIP)과 함축적 조명 보상을 이용하여 화상 데이터를 인코딩하는 바람직한 방법을 보여주는 흐름도.
도 15는 본 발명의 실시예에 따른, 변위 인트라 예측(DIP)과 함축적 조명 보상을 이용하여 화상 데이터를 디코딩하는 바람직한 방법을 보여주는 흐름도.
도 16은 본 발명의 실시예에 따른, 템플릿 매칭 예측(TMP)과 함축적 조명 보상을 이용하여 화상 데이터를 인코딩하는 바람직한 방법을 보여주는 흐름도.
도 17은 본 발명의 실시예에 따른, 템플릿 매칭 예측(TMP)과 함축적 조명 보상을 이용하여 화상 데이터를 디코딩하는 바람직한 방법을 보여주는 흐름도.
본 발명은 인트라 예측 비디오의 조명 보상 방법 및 장치에 관한 것이다.
하기의 설명은 본 발명의 원리를 예시적으로 설명하는 것이다. 따라서 당업자라면 비록 여기서는 명시적으로 설명되거나 보여지지는 않지만 본 발명의 원리를 구체화하며 본 발명의 본질과 범위에 포함되는 여러 가지 구성을 고안할 수 있음을 잘 알 것이다.
여기서 열거된 모든 예와 조건문은 본 기술을 더 향상시키는데 기여하는 본 발명자(들)의 본 발명의 원리와 개념을 이해하는데 도움을 주기 위한 것으로 그와 같은 특별히 열거된 예와 조건에 한정되지 않는 것으로 해석되어야 한다.
더욱이 여기서 본 발명의 그 원리, 양상 및 실시예들은 물론 그 특정 예들을 열거하는 모든 설명은 본 발명의 구조적 기능적 등가물을 포함하는 것이다. 게다가 그와 같은 등가물은 현재 공지된 등가물은 물론 장래에 개발될 등가물, 즉 구조가 어떻든 간에 동일한 기능을 수행하도록 개발된 요소를 포함하는 것이다.
따라서, 예컨대 당업자라면 여기서 제시된 블록도들은 본 발명을 구체화하는 회로를 보여주는 개념도를 나타냄을 잘 알 것이다. 마찬가지로 플로우차트, 흐름도, 상태 전이도, 의사 코드 등은 실질적으로 컴퓨터 판독 매체로 표현되고, 컴퓨터 또는 프로세서에 의해(이러한 컴퓨터가 명시적으로 도시되어 있든지 간에 상관없이) 실행될 수 있는 여러 가지 프로세스를 나타냄을 잘 알 것이다.
도면에 도시된 여러 가지 요소의 기능은 전용 하드웨어의 이용은 물론 적당한 소프트웨어와 결합하여 이 소프트웨어를 실행할 수 있는 하드웨어의 이용을 통해 제공될 수 있다. 기능이 프로세서에 의해 제공되는 경우에 하나의 전용 프로세서, 하나의 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별적 프로세서에 의해 제공될 수 있다. 더욱이 "프로세서"나 '컨트롤러"라는 용어의 명시적 사용은 소프트웨어를 실행할 수 있는 하드웨어만을 말하는 것으로 해석되어서는 않 되며, 제한없이 암시적으로 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하기 위한 읽기 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM") 및 불휘발성 저장 장치를 포함할 수 있다.
다른 종래의 및/또는 맞춤형 하드웨어도 포함될 수 있다. 마찬가지로 도면에 도시된 스위치들도 단지 개념적인 것이다. 그들의 기능은 프로그램 로직의 동작, 전용 로직, 프로그램 제어와 전용 로직의 상호작용을 통해, 또는 심지어는 수동적으로 실시될 수 있으며, 정황에 따라 더 명확하게 이행되도록 구현자에 의해 특정 기술이 선택될 수 있다.
본 발명의 청구범위에서 특정 기능을 수행하는 수단으로 표현된 요소는 예컨대 a) 그 기능을 수행하는 회로 요소의 조합 또는 b) 그 기능을 수행하는 그 소프트웨어를 실행하기 위한 적당한 회로와 조합된 펌웨어, 마이크로코드 등과 같은 것을 포함하는 임의 형태의 소프트웨어를 포함하는 그 기능을 수행하는 방식을 포함하는 것이다. 그와 같은 청구범위로 정해지는 본 발명의 원리는 여러 가지 열거된 수단이 제공하는 기능들이 청구범위가 요구하는 방식으로 함께 조합되어 제시된다는 사실에 있다. 따라서 이들 기능을 제공할 수 있는 수단은 여기서 보여진 것들과 등가적인 것으로 간주된다.
본 명세서에서 본 발명의 원리의 "일 실시예"나 "소정 실시예"라는 말은 그 실시예와 관련하여 설명된 특정 형상, 구조, 특징 등이 본 발명의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서 본 명세서의 여러 곳에서 나타나는 "일 실시예에서"나 "소정 실시예에서"라는 구절과 그 변형어는 모두 반드시 동일 실시예를 말하는 것은 아니다.
예컨대 "A/B", "A 및/또는 B"와 "A와 B 중 적어도 하나"의 경우에 "/", "및/또는"과 "적어도 하나"라는 용어의 사용은 첫 번째 옵션(A)만의 선택, 두 번째 옵션(B)만의 선택 또는 이 두 개 옵션(A 및 B) 모두의 선택을 포함함을 알아야 한다. 다른 예로서 "A, B 및/또는 C"와 "A, B 및 C 중 적어도 하나"의 경우에, 그와 같은 구절은 첫 번째 옵션(A)만의 선택, 두 번째 옵션(B)만의 선택, 세 번째 옵션(C)만의 선택, 첫 번째 옵션과 두 번째 옵션(A 및 B)만의 선택, 첫 번째 옵션과 세 번째 옵션(A 및 C)만의 선택, 두 번째 옵션과 세 번째 옵션(B 및 C)만의 선택, 또는 이 세개 옵션(A, B 및 C) 모두의 선택을 포함한다. 이것은 이 기술분야 및 그 관련 기술분야의 당업자라면 쉽게 알 수 있는 바와 같이 열거된 여러 가지 항목과 같이 확장될 수 있다.
더욱이 여기서는 MPEG-4 AVC 표준과 관련하여 본 발명의 원리의 하나 이상의 실시예에 대해 설명하지만, 본 발명의 원리는 이 표준에만 한정되는 것은 아니며, 따라서 본 발명의 원리의 본질을 유지하면서 MPEG-4 AVC 표준의 확장을 포함하여, 다른 임의의 비디오 코딩 표준, 권고안, 그 확장에 대해서도 이용될 수 있음을 알아야 한다.
더욱이 본 발명의 원리의 하나 이상의 실시예는 여기서는 휘도 Y 성분에 대해 설명하지만, 본 발명의 원리는 이 성분에만 한정되는 것은 아니며, 따라서 본 발명의 원리의 본질을 유지하면서 (예컨대 화상, 영상 및/또는 비디오 데이터의) 다른 임의의 성분에 대해서도 이용될 수 있음을 알아야 한다. 예컨대 본 발명의 원리는 RGB 색성분, 채도 성분, 뷰 깊이(view depth) 성분 등에 적용될 수 있다.
여기서 사용된 "하이 레벨 구문(syntax)"은 계층적으로 마크로블록 계층 위에 있는 비트스트림에 존재하는 구문을 말한다. 예컨대 여기서 사용된 하이 레벨 구문은 슬라이스 헤더 레벨, SEI(Supplemental Enhancement Information) 레벨, PPS(Picture Parameter Set) 레벨, SPS(Sequence Parameter Set) 레벨 및 NAL(Network Abstraction Layer) 유닛 헤더 레벨에서의 구문을 말할 수 있으나, 이에 한정되는 것은 아니다.
도 5를 참조로 설명하면, 명시적 조명 보상을 이용하여 화상 데이터를 인코딩하는 바람직한 인코더는 도면부호 500으로 총괄적으로 표시한다.
인코더(500)는 합산기(585)의 비반전 입력부와 신호 통신하는 출력부를 가진 프레임 정렬 버퍼(510)를 포함한다. 합산기(585)의 출력부는 변환기 및 양자화기(525)의 제1 입력부와 신호 통신하도록 연결된다. 변환기 및 양자화기(525)의 출력부는 엔트로피 코더(545)의 제1 입력부와 역변환기 및 역양자화기(550)의 제1 입력부와 신호 통신하도록 연결된다. 엔트로피 코더(545)의 출력부는 합산기(590)의 제1 비반전 입력부와 신호 통신하도록 연결된다. 합산기(590)의 출력부는 출력 버퍼(535)의 제1 입력부와 신호 통신하도록 연결된다.
인코더 제어기(505)의 제1 출력부는 프레임 정렬 버퍼(510)의 제2 입력부, 역변환기 및 역양자화기(550)의 제2 입력부, 화상 타입 판정 모듈(515)의 입력부, 마크로블록 타입(MB 타입) 판정 모듈(520)의 제1 입력부, 인트라 예측 모듈(560)의 제2 입력부, 디블록킹 필터(565)의 제2 입력부, 동작 보상기(570)의 제1 입력부, 동작 추정기(575)의 제1 입력부 및 기준 화상 버퍼(580)의 제2 입력부와 신호 통신하도록 연결된다.
인코더 제어기(505)의 제2 출력부는 SEI(Supplemental Enhancement Information) 삽입기(530)의 제1 입력부, 변환기 및 양자화기(525)의 제2 입력부, 엔트로피 코더(545)의 제2 입력부, 출력 버퍼(535)의 제2 입력부 및 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(540)의 입력부와 신호 통신하도록 연결된다.
SEI 삽입기(530)의 출력부는 합산기(590)의 제2 비반전 입력부와 신호 통신하도록 연결된다.
화상 타입 판정 모듈(515)의 제1 출력부는 프레임 정렬 버퍼(510)의 제3 입력부와 신호 통신하도록 연결된다. 화상 타입 판정 모듈(515)의 제2 출력부는 마크로블록 타입 판정 모듈(520)의 제2 입력부와 신호 통신하도록 연결된다.
SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(540)의 출력부는 합산기(590)의 제3 비반전 입력부와 신호 통신하도록 연결된다.
역변환기 및 역양자화기(550)의 출력부는 합산기(519)의 제1 비반전 입력부와 신호 통신하도록 연결된다. 합산기(519)의 출력부는 인트라 예측 모듈(560)의 제1 입력부와 디블록킹 필터(565)의 제1 입력부와 신호 통신하도록 연결된다. 디블록킹 필터(565)의 출력부는 기준 화상 버퍼(580)의 제1 입력부와 신호 통신하도록 연결된다. 기준 화상 버퍼(580)의 제1 출력부는 동작 추정기(575)의 제2 입력부와 동작 보상기(570)의 제3 입력부와 신호 통신하도록 연결된다. 동작 추정기(575)의 제1 출력부는 동작 보상기(570)의 제2 입력부와 신호 통신하도록 연결된다. 동작 추정기(575)의 제2 출력부는 엔트로피 코더(545)의 제3 입력부와 신호 통신하도록 연결된다.
동작 보상기(570)의 출력부는 스위치(597)의 제1 입력부와 신호 통신하도록 연결된다. 인트라 예측 모듈(560)의 출력부는 스위치(597)의 제2 입력부와 신호 통신하도록 연결된다. 마크로블록 타입 판정 모듈(520)의 출력부는 스위치(597)의 제4 입력부와 신호 통신하도록 연결된다. 스위치(597)의 제4 입력부는 스위치의 "데이터" 입력이 (제어 입력, 즉 제4 입력과 비교하여) 동작 추정기(570) 또는 인트라 예측 모듈(560)에 의해 제공될 것인지 여부를 판단한다. 스위치(597)의 출력부는 합산기(519)의 제2 비반전 입력부와 합산기(585)의 반전 입력부와 신호 통신하도록 연결된다.
기준 화상 버퍼(580)의 제2 출력부는 명시적 조명 보상 파라미터 산출기(561)의 제1 입력부와 조명 보상을 가진 논 로컬 인트라 예측기(563)의 제1 입력부와 신호 통신하도록 연결된다. 인코더 제어기(505)의 제3 출력부는 명시적 조명 보상 파라미터 산출기(561)의 제2 입력부와 조명 보상을 가진 논 로컬 인트라 예측기(563)의 제2 입력부와 신호 통신하도록 연결된다. 명시적 조명 보상 파라미터 산출기(561)의 제1 출력부는 조명 보상을 가진 논 로컬 인트라 예측기(563)의 제3 입력부와 신호 통신하도록 연결된다. 명시적 조명 보상 파라미터 산출기(561)의 제2 출력부는 엔트로피 코더(545)의 제4 입력부와 신호 통신하도록 연결된다. 조명 보상을 가진 논 로컬 인트라 예측기(563)의 출력부는 스위치(597)의 제3 입력부와 신호 통신하도록 연결된다.
프레임 정렬 버퍼(510)의 제1 입력부와 인코더 제어기(505)의 입력부는 입력 화상을 수신하기 위한 인코더(500)의 입력부로서 이용될 수 있다. 더욱이 SEI(Supplemental Enhancement Information) 삽입기(530)의 제2 입력부는 메타데이터를 수신하기 위한 인코더(500)의 입력부로서 이용될 수 있다. 출력 버퍼(535)의 출력부는 비트스트림을 출력하기 위한 인코더(500)의 출력부로서 이용될 수 있다.
도 6을 참조로 설명하면, 명시적인 조명 보상을 이용하여 화상 데이터를 디코딩하는 바람직한 디코더는 도면부호 600으로 총괄적으로 표시한다.
비디오 디코더(600)는 엔트로피 디코더(645)의 제1 입력부와 신호 통신하도록 연결된 출력부를 가진 입력 버퍼(610)를 포함한다. 엔트로피 디코더(645)의 제1 출력부는 역변환기 및 역양자화기(650)의 제1 입력부와 신호 통신하도록 연결된다. 역변환기 및 역양자화기(650)의 출력부는 합산기(625)의 제2 비반전 입력부와 신호 통신하도록 연결된다. 합산기(625)의 출력부는 디블록킹 필터(665)의 제2 입력부와 인트라 예측 모듈(660)의 제1 입력부와 신호 통신하도록 연결된다. 디블록킹 필터(665)의 제2 출력부는 기준 화상 버퍼(680)의 제1 입력부와 신호 통신하도록 연결된다. 기준 화상 버퍼(680)의 제1 출력부는 동작 보상기(670)의 제2 입력부와 신호 통신하도록 연결된다.
엔트로피 디코더(645)의 제2 출력부는 동작 보상기(670)의 제3 입력부와 디블록킹 필터(665)의 제1 입력부와 신호 통신하도록 연결된다. 엔트로피 디코더(645)의 제3 출력부는 디코더 제어기(605)의 입력부와 신호 통신하도록 연결된다. 디코더 제어기(605)의 제1 출력부는 엔트로피 디코더(645)의 제2 입력부와 신호 통신하도록 연결된다. 디코더 제어기(605)의 제2 출력부는 역변환기 및 역양자화기(650)의 제2 입력부와 신호 통신하도록 연결된다. 디코더 제어기(605)의 제3 출력부는 디블록킹 필터(665)의 제3 입력부와 신호 통신하도록 연결된다. 디코더 제어기(605)의 제4 출력부는 인트라 예측 모듈(660)의 제2 입력부, 동작 보상기(670)의 제1 입력부, 조명 보상을 가진 논 로컬 인트라 예측기(663)의 제3 입력부, 및 기준 화상 버퍼(680)의 제2 입력부와 신호 통신하도록 연결된다.
동작 보상기(670)의 제1 출력부는 스위치(697)의 제1 입력부와 신호 통신하도록 연결된다. 인트라 예측 모듈(660)의 출력부는 스위치(697)의 제2 출력부와 신호 통신하도록 연결된다. 스위치(697)의 출력부는 합산기(625)의 제1 비반전 입력부와 신호 통신하도록 연결된다.
엔트로피 디코더(645)의 제4 출력부는 조명 보상을 가진 논 로컬 인트라 예측기(663)의 제1 입력부와 신호 통신하도록 연결된다. 기준 화상 버퍼(680)의 제2 출력부는 조명 보상을 가진 논 로컬 인트라 예측기(663)의 제2 입력부와 신호 통신하도록 연결된다. 조명 보상을 가진 논 로컬 인트라 예측기(663)의 출력부는 스위치(697)의 제3 입력부와 신호 통신하도록 연결된다.
입력 버퍼(610)의 입력부는 입력 비트스트림을 수신하기 위한 디코더(600)의 입력부로서 이용될 수 있다. 기하학적 확장을 가진 디블록킹 필터(665)의 제1 출력부는 출력 화상을 출력하기 위한 디코더(600)의 출력부로서 이용될 수 있다.
도 7을 참조로 설명하면, 함축적인 조명 보상을 이용하여 화상 데이터를 인코딩하는 바람직한 인코더는 도면부호 700으로 총괄적으로 표시한다.
인코더(700)는 합산기(785)의 비반전 입력부와 신호 통신하는 출력부를 가진 프레임 정렬 버퍼(710)를 포함한다. 합산기(785)의 출력부는 변환기 및 양자화기(725)의 제1 입력부와 신호 통신하도록 연결된다. 변환기 및 양자화기(725)의 출력부는 엔트로피 코더(745)의 제1 입력부와 역변환기 및 역양자화기(750)의 제1 입력부와 신호 통신하도록 연결된다. 엔트로피 코더(745)의 출력부는 합산기(790)의 제1 비반전 입력부와 신호 통신하도록 연결된다. 합산기(790)의 출력부는 출력 버퍼(735)의 제1 입력부와 신호 통신하도록 연결된다.
인코더 제어기(705)의 제1 출력부는 프레임 정렬 버퍼(710)의 제2 입력부, 역변환기 및 역양자화기(750)의 제2 입력부, 화상 타입 판정 모듈(715)의 입력부, 마크로블록 타입(MB 타입) 판정 모듈(720)의 제1 입력부, 인트라 예측 모듈(760)의 제2 입력부, 디블록킹 필터(765)의 제2 입력부, 동작 보상기(770)의 제1 입력부, 동작 추정기(775)의 제1 입력부 및 기준 화상 버퍼(780)의 제2 입력부와 신호 통신하도록 연결된다.
인코더 제어기(705)의 제2 출력부는 SEI(Supplemental Enhancement Information) 삽입기(730)의 제1 입력부, 변환기 및 양자화기(725)의 제2 입력부, 엔트로피 코더(745)의 제2 입력부, 출력 버퍼(735)의 제2 입력부 및 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(740)의 입력부와 신호 통신하도록 연결된다.
SEI 삽입기(730)의 출력부는 합산기(790)의 제2 비반전 입력부와 신호 통신하도록 연결된다.
화상 타입 판정 모듈(715)의 제1 출력부는 프레임 정렬 버퍼(710)의 제3 입력부와 신호 통신하도록 연결된다. 화상 타입 판정 모듈(715)의 제2 출력부는 마크로블록 타입 판정 모듈(720)의 제2 입력부와 신호 통신하도록 연결된다.
SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(740)의 출력부는 합산기(790)의 제3 비반전 입력부와 신호 통신하도록 연결된다.
역변환기 및 역양자화기(750)의 출력부는 합산기(719)의 제1 비반전 입력부와 신호 통신하도록 연결된다. 합산기(719)의 출력부는 인트라 예측 모듈(760)의 제1 입력부와 디블록킹 필터(765)의 제1 입력부와 신호 통신하도록 연결된다. 디블록킹 필터(765)의 출력부는 기준 화상 버퍼(780)의 제1 입력부와 신호 통신하도록 연결된다. 기준 화상 버퍼(780)의 제1 출력부는 동작 추정기(775)의 제2 입력부와 동작 보상기(770)의 제3 입력부와 신호 통신하도록 연결된다. 동작 추정기(775)의 제1 출력부는 동작 보상기(770)의 제2 입력부와 신호 통신하도록 연결된다. 동작 추정기(775)의 제2 출력부는 엔트로피 코더(745)의 제3 입력부와 신호 통신하도록 연결된다.
동작 보상기(770)의 출력부는 스위치(797)의 제1 입력부와 신호 통신하도록 연결된다. 인트라 예측 모듈(760)의 출력부는 스위치(797)의 제2 입력부와 신호 통신하도록 연결된다. 마크로블록 타입 판정 모듈(720)의 출력부는 스위치(797)의 제4 입력부와 신호 통신하도록 연결된다. 스위치(797)의 제4 입력부는 스위치의 "데이터" 입력이 (제어 입력, 즉 제4 입력과 비교하여) 동작 추정기(770) 또는 인트라 예측 모듈(760)에 의해 제공될 것인지 여부를 판단한다. 스위치(797)의 출력부는 합산기(719)의 제2 비반전 입력부와 합산기(785)의 반전 입력부와 신호 통신하도록 연결된다.
기준 화상 버퍼(780)의 제2 출력부는 함축적 조명 보상 파라미터 산출기(761)의 제1 입력부와 조명 보상을 가진 논 로컬 인트라 예측기(763)의 제1 입력부와 신호 통신하도록 연결된다. 인코더 제어기(705)의 제3 출력부는 함축적 조명 보상 파라미터 산출기(761)의 제2 입력부와 조명 보상을 가진 논 로컬 인트라 예측기(763)의 제2 입력부와 신호 통신하도록 연결된다. 함축적 조명 보상 파라미터 산출기(761)의 출력부는 조명 보상을 가진 논 로컬 인트라 예측기(763)의 제3 입력부와 신호 통신하도록 연결된다. 조명 보상을 가진 논 로컬 인트라 예측기(763)의 출력부는 스위치(797)의 제3 입력부와 신호 통신하도록 연결된다.
프레임 정렬 버퍼(710)의 제1 입력부와 인코더 제어기(705)의 입력부는 입력 화상을 수신하기 위한 인코더(700)의 입력부로서 이용될 수 있다. 더욱이 SEI(Supplemental Enhancement Information) 삽입기(730)의 제2 입력부는 메타데이터를 수신하기 위한 인코더(700)의 입력부로서 이용될 수 있다. 출력 버퍼(735)의 출력부는 비트스트림을 출력하기 위한 인코더(700)의 출력부로서 이용될 수 있다.
도 8을 참조로 설명하면, 함축적인 조명 보상을 이용하여 화상 데이터를 디코딩하는 바람직한 디코더는 도면부호 800으로 총괄적으로 표시한다.
비디오 디코더(800)는 엔트로피 디코더(845)의 제1 입력부와 신호 통신하도록 연결된 출력부를 가진 입력 버퍼(810)를 포함한다. 엔트로피 디코더(845)의 제1 출력부는 역변환기 및 역양자화기(850)의 제1 입력부와 신호 통신하도록 연결된다. 역변환기 및 역양자화기(850)의 출력부는 합산기(825)의 제2 비반전 입력부와 신호 통신하도록 연결된다. 합산기(825)의 출력부는 디블록킹 필터(865)의 제2 입력부와 인트라 예측 모듈(860)의 제1 입력부와 신호 통신하도록 연결된다. 디블록킹 필터(865)의 제2 출력부는 기준 화상 버퍼(880)의 제1 입력부와 신호 통신하도록 연결된다. 기준 화상 버퍼(880)의 제1 출력부는 동작 보상기(870)의 제2 입력부와 신호 통신하도록 연결된다.
엔트로피 디코더(845)의 제2 출력부는 동작 보상기(870)의 제3 입력부와 디블록킹 필터(865)의 제1 입력부와 신호 통신하도록 연결된다. 엔트로피 디코더(845)의 제3 출력부는 디코더 제어기(805)의 입력부와 신호 통신하도록 연결된다. 디코더 제어기(805)의 제1 출력부는 엔트로피 디코더(845)의 제2 입력부와 신호 통신하도록 연결된다. 디코더 제어기(805)의 제2 출력부는 역변환기 및 역양자화기(850)의 제2 입력부와 신호 통신하도록 연결된다. 디코더 제어기(805)의 제3 출력부는 디블록킹 필터(865)의 제3 입력부와 신호 통신하도록 연결된다. 디코더 제어기(805)의 제4 출력부는 인트라 예측 모듈(860)의 제2 입력부, 동작 보상기(870)의 제1 입력부, 조명 보상을 가진 논 로컬 인트라 예측기(863)의 제3 입력부, 기준 화상 버퍼(880)의 제2 입력부, 함축적 조명 보상 파라미터 산출기(861)의 제1 입력부, 및 스위치(897)의 (제1, 제2 및 제3 입력부 간의 선택을 제어하기 위한) 제어 입력부와 신호 통신하도록 연결된다.
동작 보상기(870)의 제1 출력부는 스위치(897)의 제1 입력부와 신호 통신하도록 연결된다. 인트라 예측 모듈(860)의 출력부는 스위치(897)의 제2 출력부와 신호 통신하도록 연결된다. 스위치(897)의 출력부는 합산기(825)의 제1 비반전 입력부와 신호 통신하도록 연결된다.
기준 화상 버퍼(880)의 제2 출력부는 조명 보상을 가진 논 로컬 인트라 예측기(863)의 제2 입력부와 함축적 조명 보상 파라미터 산출기(861)의 제2 입력부와 신호 통신하도록 연결된다. 조명 보상을 가진 논 로컬 인트라 예측기(863)의 출력부는 조명 보상을 가진 논 로컬 인트라 예측기(863)의 제3 입력부와 신호 통신하도록 연결된다. 조명 보상을 가진 논 로컬 인트라 예측기(863)의 출력부는 스위치(897)의 제3 입력부와 신호 통신하도록 연결된다.
입력 버퍼(810)의 입력부는 입력 비트스트림을 수신하기 위한 디코더(800)의 입력부로서 이용될 수 있다. 형태적 확장을 가진 디블록킹 필터(865)의 제1 출력부는 출력 화상을 출력하기 위한 디코더(800)의 출력부로서 이용될 수 있다.
전술한 바와 같이, 본 발명의 원리는 인트라 예측 비디오의 조명 보상 방법 및 장치에 관한 것이다.
하나 이상의 실시예는 화상, 영상 및 비디오 데이터(총괄하여 "화상"이라 함) 중 적어도 하나의 공간적 변화를 모델링하기 위하여 인트라 예측을 위한 적응성 조명 보상(IC) 기법을 제공한다. 특히 2가지 제시된 바람직한 방식은 디코더가 조명 보상 모델의 파라미터를 검색할 수 있는 방법에 관한 것이다. 첫 번째 방식에서는 파라미터는 비트스트림에서 명시적으로 신호로 나타내어진다. 따라서 디코더는 관련 구문을 디코딩하여 그 파라미터를 획득할 수 있다. 두 번째 방식에서는 파라미터는 신호로 나타내어지지 않는다. 그 대신에 파라미터는 이미 재구성된 픽셀을 이용하여 도출된다.
비디오 인코더, 디코더 및 이에 대응하는 방법은 각 방식에 대한 적응성 조명 보상을 이용하여 입력 화상 또는 영상 블록을 인코딩하기 위해 제공된다. 바람직한 인코더는 조명 보상 모델에서의 파라미터를 연산하는 요소와 이 조명 보상 모델을 예측된 데이터에 적용하는 요소를 포함한다. 바람직한 방법은 실질적으로 압축되지 않은 영상 블록을 수신하는 단계, 조명 보상 파라미터를 연산하는 단계; 예측 블록을 얻기 위해 변위 인트라 예측 및/또는 템플릿 매칭 예측을 수행하는 단계; 조명 보상 블록을 얻기 위해 조명 보상 파라미터를 예측 블록에 적용하는 단계, 상기 실질적으로 압축되지 않은 영상 블록에서 상기 조명 보상 블록을 감산하는 단계, 및 상기 실질적으로 압축되지 않은 영상 블록과 상기 변위 인트라 예측 또는 템플릿 매칭 예측 간의 차이를 인코딩하는 단계를 포함한다.
이렇게 하여 하나 이상의 실시예는 인트라 예측을 위한 적응성 조명 보상을 제안한다. 다음에서는 본 발명의 원리를 설명하기 위하여 변위 인트라 예측(DIP) 또는 템플릿 매칭 예측(TMP)을 예로서 이용하여 주로 논 로컬 인트라 예측 기법에 대해서 설명한다.
도 9를 참조로 설명하면, 논 로컬 인트라 예측의 예는 도면부호 900으로 총괄적으로 표시한다. 표기법과 관련하여, 재구성된 화상은 도면부호 960, 미예측 화상은 도면부호 950, 원 블록은 Y, 그리고 그에 대응하는 재구성된 블록과 템플릿은 각각
Figure 112010051064012-pct00001
(미도시)와 X로 표기한다. Y의 예측 블록은 P로 표기하고 P의 대응 템플릿은 Q로 표기한다. 레시듀 신호는 R로 표기하고 재구성된 레시듀 신호는
Figure 112010051064012-pct00002
로 표기한다. 그러므로 P1과 P2는 각각 제1 예측과 제2 예측을 나타내고, Q1과 Q2는 각각 제1 예측과 제2 예측의 템플릿을 나타낸다.
본 발명의 원리에 따라서, 인코더에 R=Y-P를, 또는 디코더에
Figure 112010051064012-pct00003
을 적용하는 대신에, 인코더에 R=Y-Ψ(P)를, 또는 디코더에
Figure 112010051064012-pct00004
을 적용한다. 여기서 Ψ[·]는 일 실시예에서 IC/가중 함수를 나타낸다. 또한 Ψ[·] 내에 어떤 필터를 적용하거나 Ψ[·]가 P에 대한 선형 및/또는 비선형 동작을 나타낼 수 있다. 설명을 간단하게 하기 위해 필터는 Ψ[·]의 일부일 수 있으며, 또는 Ψ[·]가 필터링 단계인 것으로 가정할 수 있다.
Ψ[·]의 일 실시예에서, 간략하게 하기 위해 다항 함수 y=a0+a1x+a2x2 ... +anxn(여기서 n=-1, 0, 1, ...)을 이용한다. n=-1은 상기 방법이 이용되지 않는다는 것을 의미함에 유의해야 한다. 다항 차수 n은 헤더에서 또는 어떤 하이 레벨 구문을 이용하여 특정될 수 있다. n=1이면 이는 선형 모델이다.
하기에서는 선형 모델을 예로 하여 본 발명의 적응성 조명 보상 방법에 대해서 설명한다. 일 실시예에서 조명 보상 예측 신호는 다음과 같이 나타낼 수 있다.
Figure 112010051064012-pct00005
여기서 a는 곱해지는 가중 계수이고 b는 더해지는 오프셋이며, 이 둘은 함께 명암과 휘도를 보상할 수 있다. 다른 실시예에서 조명 보상이 매우 작은 영역에 적용되는 경우에는 명암 적응은 중요한 것은 아니라고 가정할 수 있으며, 이는 파라미터 a=1로 설정할 수 있음을 의미한다. 따라서 수학식 (1)의 모델은 다음과 같이 오프셋 전용 모델로 된다.
Figure 112010051064012-pct00006
모델 파라미터의 시그널링에 대해서는 2가지 방식, 즉 명시적 신호 표시(explicit signaling)와 함축적 유도(implicit derivation)가 있다. 일 실시예에서 수학식 (1)에서의 파라미터들은, 블록 레벨로 명시적으로 신호 표시되거나, 예컨대 슬라이스 헤더, 화상 파라미터 세트(PPS), 시퀀스 파라미터 세트(SPS), 네트워크 추상 계층(NAL) 유닛 헤더 또는 SEI(Supplemental Enhancement Information) 메시지 내의(이에 한정되는 것은 아님) 하나 이상의 하이 레벨 구문 요소를 이용하여 명시적으로 신호 표시될 수 있다. 이러한 방법은 명시적 조명 보상이라 부른다. 다른 실시예에서 수학식 (1)에서의 파라미터는 인코더와 디코더 양자에서 함축적으로 도출될 수 있다. 이 방법은 함축적 조명 보상이라 부른다.
하기 설명에서는 블록 레벨 조명 보상을 일례로서 이용한다. 이를 고려하여 명시적 및 함축적 조명 보상이 어떻게 이루어지는지에 대한 예에 대해서 설명한다.
명시적 조명 보상
먼저 DIP에 대한 명시적 조명 보상이 어떻게 이루어지는 지에 대해 설명한다.
일 실시예에서, 인코더 측에서 검색 과정 중에 다음의 비용/거리를 최소화하는 예측 블록을 찾는다.
D=∥Y-(aP+b)∥ (3)
여기서 a는 곱해지는 가중 계수이고 b는 더해지는 오프셋이며, 이 둘은 함께 명암과 휘도를 보상할 수 있다. 수학식 (3)에 대해서 a와 b는 최소 제곱 피팅(fitting)/선형 회귀법을 이용하여 결정될 수 있다. 물론 본 발명의 원리는 이러한 앞서의 코스트 측정에 한정되는 것은 아니며, 여기서 설명된 본 발명의 원리의 교시에 따라서 본 발명의 원리의 본질을 그대로 유지하면서 다른 비용 측정이 채택될 수도 있다. 수학식 (2)과 같이 간략화된 모델을 이용하는 경우에는 평균값 제거 거리 기준(mean-removed distance criterion), 즉 b=E(Y)-E(P)가 이용될 수 있다. 여기서 E[·]는 기대치 함수를 나타낸다. 최상의 예측은 최소 거리로 찾아진다. 그러면 대응하는 파라미터는 어떤 데이터 구문으로 신호 표시된다. 구문 값은 절대적으로 코딩되거나 차등적으로/예측적으로 코딩된다. 표 1은 조명 보상 오프셋을 위한 바람직한 구문을 보여준다. 이 구문은 수학식 (2)에 대해 신호 표시될 수 있다.
[표 1]
Figure 112010051064012-pct00007
mb_ic_flag는 1이면 현재 마크로블록에 대해 조명 보상이 이용된 것을 명시한다. mb_ic_flag는 0이면 현재 마크로블록에 대해 조명 보상이 이용되지 않은 것을 명시한다. mb_ic_flag에 대한 디폴트값은 제로이다.
dpcm_of_ic_offset은 현재 마크로블록에 대해 이용될 조명 보상 오프셋을 명시한다. 조명 보상은 디코더에서 이용될 수 있는 주위의 인접 데이터의 함수에 대해 차등적으로 코딩된다.
일 실시예에서 바람직한 인코더에서의 전체 절차는 다음과 같다. 각 예측 후보에 대해서 수학식 (3)에서의 템플릿 거리를 최소화함으로써 선형 회귀를 이용하여 보상 파라미터 a와 b를 산출한다. 보상된 거리는 수학식 (3)에서 정해진 왜곡을 최소화함으로써 연산된다. 모든 예측 후보들 중 최소 거리를 가진 최상의 예측이 선택된다. 조명 보상 예측 신호는 수학식 (1)에 따라 발생된다. 레시듀 신호도 발생되어 코딩된다. 조명 보상 파라미터와 변위 벡터는 블록 레벨로 신호 표시된다.
일 실시예에서 디코더에서 변위 벡터와 조명 보상 모델 파라미터가 수신되고 비트스트림으로부터 디코딩된다. 그러면 조명 보상 예측 신호는 조명 보상 모델 파라미터와 변위 벡터를 이용하여 수학식 (1)에 따라 발생된다. 디코딩된 레시듀 신호는 조명 보상 예측 신호에 부가된다.
템플릿 매칭 예측에 있어서는 단 하나의 템플릿만이 이용된다면 검색이 템플릿에 기초하는 것만 다르고 절차는 변위 인트라 예측 경우와 동일하다. 그러므로 수학식 (3)을 이용하는 대신에 다음을 이용하여 최상의 예측을 찾는다.
D=∥X-(aQ+b)∥ (4)
여기서 a는 곱해지는 가중 계수이고 b는 더해지는 오프셋이며, 이 둘은 함께 명암과 휘도를 보상할 수 있다. X와 Q는 각 템플릿 검색에 있어서 인코더와 디코더 양쪽에서 이용될 수 있기 때문에, 선형 회귀를 이용하여 대응하는 a와 b를 연산할 수 있다. 실제로 X와 Q는 각각 예측 (Y) 중에 있고 예측 (P)를 위해 이용되는 실제 데이터에 인접한 데이터이다. 최상의 템플릿을 찾고 나면 수학식 (3)을 이용하여 블록 레벨로 신호 표시되는 모델 파라미터를 연산할 것이다. 이러한 방식은 복수의 템플릿 경우에 직접적으로 적용될 수 있다.
일 실시예에서 바람직한 인코더에서의 전체 절차는 다음과 같다. 각 예측 후보에 대해서 수학식 (4)에서의 템플릿 거리를 최소화함으로써 선형 회귀를 이용하여 보상 파라미터 a와 b를 산출한다. 보상된 거리는 수학식 (4)를 이용하여 연산된다. 모든 예측 후보들 중 최소 템플릿 거리를 가진 최상의 예측이 선택된다. 파라미터 a와 b는 수학식 (3)에 따라 연산되어 블록 레벨로 신호 표시된다. 조명 보상 예측 신호는 수학식 (1)에 따라 발생된다. 레시듀 신호도 발생되어 코딩된다.
일 실시예에서 디코더에서 파라미터가 수신되고 비트스트림으로부터 디코딩된다. 그러면 인코더에서 동일한 템플릿 검색 절차가 수행된다. 즉, 각 예측 후보에 대해서 수학식 (4)에서의 템플릿 거리를 최소화함으로써 선형 회귀를 이용하여 보상 파라미터 a와 b를 산출한다. 보상된 템플릿 거리는 수학식 (4)를 이용하여 연산된다. 모든 예측 후보들 중 최소 템플릿 거리를 가진 최상의 예측이 선택된다. 조명 보상 예측 신호는 디코딩된 IC 파라미터를 이용하여 수학식 (1)에 따라 발생된다. 디코딩된 레시듀 신호는 조명 보상 예측 신호에 부가된다.
도 10을 참조로 설명하면, 변위 인트라 예측(DIP)과 명시적 조명 보상을 이용하여 화상 데이터를 인코딩하는 바람직한 방법은 도면부호 1000으로 총괄적으로 표시된다.
이 방법(1000)은 시작 블록(1005)을 포함하며, 이 블록은 제어를 루프 제한 블록(1010)으로 넘긴다. 루프 제한 블록(1010)은 변수 i(i는 0에서 마크로블록의 수 마이너스 1(num_MBs_minus1)의 범위를 가짐)를 이용하여 루프를 시작하고, 제어를 판단 블록(1015)으로 넘긴다. 판단 블록(1015)은 현재 모드가 DIP 모드인지 여부를 판단한다. 현재 모드가 DIP 모드라면 제어는 기능 블록(1020)으로 넘어간다. 그렇지 않으면 제어는 기능 블록(1045)으로 넘어간다.
기능 블록(1020)은 DIP의 각 검색 후보에 대해서 조명 보상 파라미터를 연산하고, 현재 블록에 가장 잘 근사하도록 조명 보상을 수행하고, 제어를 기능 블록(1025)으로 넘긴다. 기능 블록(1025)은 현재 블록이 주어졌을 때 최소 비용을 가진 후보를 선택하고, 제어를 기능 블록(1030)으로 넘긴다. 기능 블록(1030)은 현재 블록이 주어졌을 때 선택된 후보의 예측 레시듀를 연산하고, 제어를 기능 블록(1035)으로 넘긴다. 기능 블록(1035)은 변위 벡터, 조명 보상 파라미터, 레시듀 및 그 외의 구문을 엔트로피 코딩하고, 제어를 루프 제한 블록(1040)으로 넘긴다. 루프 제한 블록(1040)은 루프를 종료하고, 제어를 종료 블록(1099)으로 넘긴다.
기능 블록(1045)은 비-DIP 모드에 대한 인코딩 프로세스를 수행하고, 제어를 루프 제한 블록(1040)으로 넘긴다.
도 11을 참조로 설명하면, 변위 인트라 예측(DIP)과 명시적 조명 보상을 이용하여 화상 데이터를 디코딩하는 바람직한 방법은 도면부호 1100으로 총괄적으로 표시된다.
이 방법(1100)은 시작 블록(1105)을 포함하며, 이 블록은 제어를 기능 블록(1110)으로 넘긴다. 기능 블록(1110)은 비트스트림을 해석하고, 제어를 루프 제한 블록(1115)으로 넘긴다. 루프 제한 블록(1115)은 변수 i(i는 0에서 마크로블록의 수 마이너스 1(num_MBs_minus1)의 범위를 가짐)를 이용하여 루프를 시작하고, 제어를 판단 블록(1120)으로 넘긴다. 판단 블록(1120)은 현재 모드가 DIP 모드인지 여부를 판단한다. 현재 모드가 DIP 모드라면 제어는 기능 블록(1125)으로 넘어간다. 그렇지 않으면 제어는 기능 블록(1145)으로 넘어간다.
기능 블록(1125)은 변위 벡터, 조명 보상 파라미터, 레시듀 및 그 외의 구문을 디코딩하고, 제어를 기능 블록(1130)으로 넘긴다. 기능 블록(1130)은 현재 블록에 대해 조명 보상을 수행하고, 제어를 기능 블록(1135)으로 넘긴다. 기능 블록(1135)은 레시듀를 현재 블록에 부가하고, 제어를 루프 제한 블록(1140)으로 넘긴다. 루프 제한 블록(1140)은 루프를 종료하고, 제어를 종료 블록(1199)으로 넘긴다.
기능 블록(1145)은 비-DIP 모드에 대한 디코딩 프로세스를 수행하고, 제어를 루프 제한 블록(1140)으로 넘긴다.
도 12를 참조로 설명하면, 템플릿 매칭 예측(TMP)과 명시적 조명 보상을 이용하여 화상 데이터를 인코딩하는 바람직한 방법은 도면부호 1200으로 총괄적으로 표시된다.
이 방법(1200)은 시작 블록(1205)을 포함하며, 이 블록은 제어를 루프 제한 블록(1210)으로 넘긴다. 루프 제한 블록(1210)은 변수 i(i는 0에서 마크로블록의 수 마이너스 1(num_MBs_minus1)의 범위를 가짐)를 이용하여 루프를 시작하고, 제어를 판단 블록(1215)으로 넘긴다. 판단 블록(1215)은 현재 모드가 TMP 모드인지 여부를 판단한다. 현재 모드가 TMP 모드라면 제어는 기능 블록(1220)으로 넘어간다. 그렇지 않으면 제어는 기능 블록(1250)으로 넘어간다.
기능 블록(1220)은 DIP의 각 검색 후보에 대해서 조명 보상 파라미터를 연산하고, 현재 블록에 가장 잘 근사하도록 조명 보상을 수행하고, 제어를 기능 블록(1225)으로 넘긴다. 기능 블록(1225)은 현재 블록이 주어졌을 때 최소 비용을 가진 후보를 선택하고, 제어를 기능 블록(1230)으로 넘긴다. 기능 블록(1230)은 현재 블록의 조명 보상 파라미터를 연산하고, 현재 블록의 조명 보상을 수행하고, 제어를 기능 블록(1235)으로 넘긴다. 기능 블록(1235)은 현재 블록의 레시듀를 연산하고, 제어를 기능 블록(1240)으로 넘긴다. 기능 블록(1240)은 조명 파라미터, 레시듀 및 그 외의 구문을 엔트로피 코딩하고, 제어를 루프 제한 블록(1245)으로 넘긴다. 루프 제한 블록(1245)은 루프를 종료하고, 제어를 종료 블록(1299)으로 넘긴다.
기능 블록(1250)은 비-TMP 모드에 대한 인코딩 프로세스를 수행하고 제어를 루프 제한 블록(1245)으로 넘긴다.
도 13을 참조로 설명하면, 템플릿 매칭 예측(TMP)과 명시적 조명 보상을 이용하여 화상 데이터를 디코딩하는 바람직한 방법은 도면부호 1300으로 총괄적으로 표시된다.
이 방법(1300)은 시작 블록(1305)을 포함하며, 이 블록은 제어를 기능 블록(1310)으로 넘긴다. 기능 블록(1310)은 비트스트림을 해석하고, 제어를 루프 제한 블록(1315)으로 넘긴다. 루프 제한 블록(1315)은 변수 i(i는 0에서 마크로블록의 수 마이너스 1(num_MBs_minus1)의 범위를 가짐)를 이용하여 루프를 시작하고, 제어를 판단 블록(1320)으로 넘긴다. 판단 블록(1320)은 현재 모드가 DIP 모드인지 여부를 판단한다. 현재 모드가 DIP 모드라면 제어는 기능 블록(1325)으로 넘어간다. 그렇지 않으면 제어는 기능 블록(1345)으로 넘어간다.
기능 블록(1325)은 조명 보상 파라미터, 레시듀 및 그 외의 구문을 디코딩하고, 제어를 기능 블록(1330)으로 넘긴다. 기능 블록(1330)은 TMP의 각 검색 후보에 대해서 조명 보상 파라미터를 연산하고, 현재 블록에 가장 잘 근사하도록 조명 보상을 수행하고, 제어를 기능 블록(1335)으로 넘긴다. 기능 블록(1335)은 현재 블록의 템플릿에 대해 최소 비용을 가진 후보를 선택하고, 제어를 기능 블록(1340)으로 넘긴다. 기능 블록(1340)은 현재 블록에 대한 조명 보상을 수행하고, 제어를 기능 블록(1345)으로 넘긴다. 기능 블록(1345)은 레시듀를 현재 블록에 가산하고, 제어를 루프 제한 블록(1350)으로 넘긴다. 루프 제한 블록(1350)은 루프를 종료하고, 제어를 종료 블록(1399)으로 넘긴다.
기능 블록(1355)은 비-TMP 모드에 대한 디코딩 프로세스를 수행하고, 제어를 루프 제한 블록(1350)으로 넘긴다.
함축적 조명 보상
먼저 TMP를 이용하여 함축적 조명 보상이 어떻게 이루어지는 지에 대해 설명한다. TMP에서는 템플릿 기반 자기 회귀 검색이 이용되고 인코더와 디코더에서 동일한 검색 절차가 수행될 수 있기 때문에, 각 템플릿 후보에 대해 수학식 (4)를 최소화함으로써 파라미터 a와 b의 도출을 템플릿 검색 내에 삽입할 수 있다. 그러면 이 파라미터들은 수학식 (1)에서와 같은 예측에 이용될 수 있다.
바람직한 인코더에서의 전체 절차는 다음과 같다. 각 예측 후보에 대해서 수학식 (4)에서의 템플릿 거리를 최소화함으로써 선형 회귀(linear regression)를 이용하여 보상 파라미터 a와 b를 산출한다. 보상된 거리는 수학식 (4)를 이용하여 연산된다. 모든 예측 후보들 중 최소 템플릿 거리를 가진 최상의 예측이 선택된다. 템플릿 매칭 예측으로부터 연산된 이들 파라미터 a와 b는 수학식 (1)에 이용되어 조명 보상 예측 신호를 발생한다. 레시듀 신호도 발생되어 코딩된다.
바람직한 디코더에서는 인코더에서 동일한 템플릿 검색 절차가 수행된다. 즉, 각 예측 후보에 대해서 수학식 (4)에서의 템플릿 거리를 최소화함으로써 선형 회귀를 이용하여 보상 파라미터 a와 b를 산출한다. 보상된 템플릿 거리는 수학식 (4)를 이용하여 연산된다. 모든 예측 후보들 중 최소 템플릿 거리를 가진 최상의 예측이 선택된다. 템플릿 매칭 예측으로부터 연산된 이들 파라미터 a와 b는 수학식 (1)에 이용되어 조명 보상 예측 신호를 발생한다. 디코딩된 레시듀는 조명 보상 예측 신호에 부가된다.
DIP에 대해서는 TMP와 동일한 방식으로 현재 신호 및 예측 신호의 템플릿을 이용하여 파라미터를 추정할 수 있다.
일 실시예에서 바람직한 인코더에서의 전체 절차는 다음과 같다. 각 예측 후보에 대해서 수학식 (4)에서의 템플릿 거리를 최소화함으로써 선형 회귀를 이용하여 보상 파라미터 a와 b를 산출한다. 보상된 거리는 수학식 (3)을 이용하여 연산된다. 모든 예측 후보들 중 수학식 (3)에 따른 최소 거리를 가진 최상의 예측이 선택된다. 조명 보상 예측 신호는 수학식 (1)을 이용하여 발생된다. 레시듀도 발생되어 코딩된다. 변위 벡터는 신호 표시된다.
디코더에서는 변위 벡터가 수신되어 디코딩된다. 그러면, 변위 벡터에 의해 발생된 목표 예측 후보에 대해서 수학식 (4)에서의 템플릿 거리를 최소화함으로써 선형 회귀를 이용하여 보상 파라미터 a와 b를 산출한다. 조명 보상 예측 신호는 수학식 (1)을 이용하여 발생된다. 디코딩된 레시듀는 조명 보상 예측 신호에 부가된다.
도 14를 참조로 설명하면, 템플릿 매칭 예측(TMP)과 함축적 조명 보상을 이용하여 화상 데이터를 인코딩하는 바람직한 방법은 도면부호 1400으로 총괄적으로 표시된다.
이 방법(1400)은 시작 블록(1405)을 포함하며, 이 블록은 제어를 루프 제한 블록(1410)으로 넘긴다. 루프 제한 블록(1410)은 변수 i(i는 0에서 마크로블록의 수 마이너스 1(num_MBs_minus1)의 범위를 가짐)를 이용하여 루프를 시작하고, 제어를 판단 블록(1415)으로 넘긴다. 판단 블록(1415)은 현재 모드가 TMP 모드인지 여부를 판단한다. 현재 모드가 TMP 모드라면 제어는 기능 블록(1420)으로 넘어간다. 그렇지 않으면 제어는 기능 블록(1450)으로 넘어간다.
기능 블록(1420)은 TMP의 각 검색 후보에 대해서 조명 보상 파라미터를 연산하고, 현재 블록의 템플릿에 대해 조명 보상을 수행하고, 제어를 기능 블록(1425)으로 넘긴다. 기능 블록(1425)은 현재 블록의 템플릿에 대한 최소 비용을 가진 후보를 선택하고, 대응하는 조명 보상 파라미터를 저장하고, 제어를 기능 블록(1430)으로 넘긴다. 기능 블록(1430)은 현재 블록에 대해 조명 보상을 수행하고, 제어를 기능 블록(1435)으로 넘긴다. 기능 블록(1435)은 현재 블록의 레시듀를 연산하고, 제어를 기능 블록(1440)으로 넘긴다. 기능 블록(1440)은 레시듀 및 그 외의 구문을 엔트로피 코딩하고, 제어를 루프 제한 블록(1445)으로 넘긴다. 루프 제한 블록(1445)은 루프를 종료하고, 제어를 종료 블록(1499)으로 넘긴다.
기능 블록(1450)은 비-TMP 모드에 대한 인코딩 프로세스를 수행하고, 제어를 루프 제한 블록(1445)으로 넘긴다.
도 15를 참조로 설명하면, 템플릿 매칭 예측(TMP)과 함축적 조명 보상을 이용하여 화상 데이터를 디코딩하는 바람직한 방법은 도면부호 1500으로 총괄적으로 표시된다.
이 방법(1500)은 시작 블록(1505)을 포함하며, 이 블록은 제어를 기능 블록(1510)으로 넘긴다. 기능 블록(1510)은 비트스트림을 해석하고, 제어를 루프 제한 블록(1515)으로 넘긴다. 루프 제한 블록(1515)은 변수 i(i는 0에서 마크로블록의 수 마이너스 1(num_MBs_minus1)의 범위를 가짐)를 이용하여 루프를 시작하고, 제어를 판단 블록(1520)으로 넘긴다. 판단 블록(1520)은 현재 모드가 DIP 모드인지 여부를 판단한다. 현재 모드가 DIP 모드라면 제어는 기능 블록(1525)으로 넘어간다. 그렇지 않으면 제어는 기능 블록(1545)으로 넘어간다.
기능 블록(1525)은 레시듀 및 그 외의 구문을 디코딩하고, 제어를 기능 블록(1530)으로 넘긴다. 기능 블록(1530)은 TMP의 각 검색 후보에 대해서 조명 보상 파라미터를 연산하고, 현재 블록에 가장 잘 근사하도록 조명 보상을 수행하고, 제어를 기능 블록(1535)으로 넘긴다. 기능 블록(1535)은 현재 블록의 템플릿에 대한 최소 비용을 가진 후보를 선택하고, 대응하는 조명 보상 파라미터를 저장하고, 제어를 기능 블록(1540)으로 넘긴다. 기능 블록(1540)은 현재 블록에 대해 조명 보상을 수행하고, 제어를 기능 블록(1545)으로 넘긴다. 기능 블록(1545)은 현재 블록에 레시듀를 가산하고, 제어를 루프 제한 블록(1550)으로 넘긴다. 루프 제한 블록(1550)은 루프를 종료하고, 제어를 종료 블록(1599)으로 넘긴다.
기능 블록(1555)은 비-TMP 모드에 대한 디코딩 프로세스를 수행하고, 제어를 루프 제한 블록(1550)으로 넘긴다.
도 16을 참조로 설명하면, 변위 인트라 예측(DIP)과 함축적 조명 보상을 이용하여 화상 데이터를 인코딩하는 바람직한 방법은 도면부호 1600으로 총괄적으로 표시된다.
이 방법(1600)은 시작 블록(1605)을 포함하며, 이 블록은 제어를 루프 제한 블록(1610)으로 넘긴다. 루프 제한 블록(1610)은 변수 i(i는 0에서 마크로블록의 수 마이너스 1(num_MBs_minus1)의 범위를 가짐)를 이용하여 루프를 시작하고, 제어를 판단 블록(1615)으로 넘긴다. 판단 블록(1615)은 현재 모드가 DIP 모드인지 여부를 판단한다. 현재 모드가 DIP 모드라면 제어는 기능 블록(1620)으로 넘어간다. 그렇지 않으면 제어는 기능 블록(1645)으로 넘어간다.
기능 블록(1620)은 DIP의 각 검색 후보에 대해서 템플릿을 이용하여 조명 보상 파라미터를 연산하고, 현재 블록에 대해 조명 보상을 수행하고, 제어를 기능 블록(1625)으로 넘긴다. 기능 블록(1625)은 현재 블록에 대한 최소 비용을 가진 후보를 선택하고, 제어를 기능 블록(1630)으로 넘긴다. 기능 블록(1630)은 현재 블록의 레시듀를 연산하고, 제어를 기능 블록(1635)으로 넘긴다. 기능 블록(1635)은 변위 벡터, 레시듀 및 그 외의 구문을 엔트로피 코딩하고, 제어를 루프 제한 블록(1640)으로 넘긴다. 루프 제한 블록(1640)은 루프를 종료하고, 제어를 종료 블록(1699)으로 넘긴다.
기능 블록(1645)은 비-DIP 모드에 대한 인코딩 프로세스를 수행하고, 제어를 루프 제한 블록(1640)으로 넘긴다.
도 17을 참조로 설명하면, 변위 인트라 예측(DIP)과 함축적 조명 보상을 이용하여 화상 데이터를 디코딩하는 바람직한 방법은 도면부호 1700으로 총괄적으로 표시된다.
이 방법(1700)은 시작 블록(1705)을 포함하며, 이 블록은 제어를 기능 블록(1710)으로 넘긴다. 기능 블록(1710)은 비트스트림을 해석하고, 제어를 루프 제한 블록(1715)으로 넘긴다. 루프 제한 블록(1715)은 변수 i(i는 0에서 마크로블록의 수 마이너스 1(num_MBs_minus1)의 범위를 가짐)를 이용하여 루프를 시작하고, 제어를 판단 블록(1720)으로 넘긴다. 판단 블록(1720)은 현재 모드가 DIP 모드인지 여부를 판단한다. 현재 모드가 DIP 모드라면 제어는 기능 블록(1725)으로 넘어간다. 그렇지 않으면 제어는 기능 블록(1745)으로 넘어간다.
기능 블록(1725)은 변위 벡터 및 그 외의 구문을 디코딩하고, 제어를 기능 블록(1727)으로 넘긴다. 기능 블록(1727)은 템플릿을 이용하여 조명 보상 파라미터를 연산하고, 제어를 기능 블록(1730)으로 넘긴다. 기능 블록(1730)은 현재 블록에 대한 조명 보상을 수행하고, 제어를 기능 블록(1735)으로 넘긴다. 기능 블록(1735)은 레시듀를 현재 블록에 가산하고, 제어를 루프 제한 블록(1740)으로 넘긴다. 루프 제한 블록(1740)은 루프를 종료하고, 제어를 종료 블록(1799)으로 넘긴다.
기능 블록(1745)은 비-DIP 모드에 대한 디코딩 프로세스를 수행하고, 제어를 루프 제한 블록(1740)으로 넘긴다.
이제 본 발명의 여러 가지 부수적인 이점/특성들(그 일부는 전술하였음)에 대해 설명한다. 예컨대 한가지 이점/특성은 논 로컬 인트라 예측을 이용하여 화상을 인코딩하는 인코더를 가진 장치이다. 인코더는 상기 논 로컬 인트라 예측으로부터 얻은 예측 데이터에 조명 보상을 적용하는 조명 보상 처리 유닛(조명 보상부)을 포함한다.
다른 이점/특성은 상기 조명 보상이 상기 예측 데이터에 적응적으로 적용되는 전술한 인코더를 가진 장치이다. 상기 예측 데이터는 변위 인트라 예측과 템플릿 매칭 예측 중 적어도 어느 하나를 포함한다.
또 다른 이점/특성은 상기 조명 보상이 최종 모델을 얻기 위해 모델링되는 전술한 인코더를 가진 장치이다. 상기 최종 모델은 다항 함수, 선형 함수 및 비선형 함수 중 적어도 하나에 기초한다.
또 다른 이점/특성은 상기 조명 보상이 최종 모델을 얻기 위해 모델링되고 상기 최종 모델이 1차 다항식에 기초한 선형 모델인 상기 인코더를 가진 장치이다.
더욱이, 다른 이점/특성은 상기 최종 모델이 1차 다항식에 기초한 선형 모델이고 상기 1차 다항식은 덧셈 상수에 기초한 오프셋 전용 함수인 상기 인코더를 가진 장치이다.
더욱이 다른 이점/특성은 상기 조명 보상이 전술한 바와 같이 최종 모델을 얻기 위해 모델링되고 상기 최종 모델의 파라미터는 최소 제곱 함수를 이용하여 그 해가 구해진 상기 인코더를 가진 장치이다.
또한 다른 이점/특성은 상기 조명 보상이 전술한 바와 같이 최종 모델을 얻기 위해 모델링되고 상기 논 로컬 인트라 예측은 휘도 데이터, 색 데이터 및 깊이 뷰 데이터 중 적어도 어느 하나에 적용된 인코더를 가진 장치이다.
그 외에도, 다른 이점/특성은 상기 조명 보상이 최종 모델을 얻기 위해 모델링된 전술한 인코더를 가진 장치이다. 상기 최종 모델의 파라미터는 적어도 하나의 블록 레벨 구문 요소와 적어도 하나의 하이 레벨 구문 요소 중 적어도 어느 하나를 이용하여 명시적으로 신호 표시된다.
더욱이 다른 이점/특성은 상기 조명 보상이 최종 모델을 얻기 위해 모델링된 전술한 인코더를 가진 장치이다. 상기 최종 모델의 파라미터는 상기 화상의 현재 블록과 상기 현재 블록에 대한 대응 예측 블록에 적용된 템플릿 매칭 절차로부터 도출된다.
본 발명의 원리의 이들 및 기타 다른 특성과 이점은 당업자라면 본 발명의 교시에 따라 쉽게 확인할 수 있다. 본 발명의 원리의 교시는 여러 가지 형태의 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서, 또는 이들의 조합으로 구현될 수 있음을 알아야 한다.
가장 바람직하게는 본 발명의 원리의 교시는 하드웨어와 소프트웨어의 조합으로 구현된다. 더욱이 소프트웨어는 프로그램 저장 유닛에서 실제로 구체화된 애플리케이션 프로그램으로 구현될 수 있다. 애플리케이션 프로그램은 임의의 적당한 구조를 포함하는 기계로 업로드되어 실행될 수 있다. 바람직하게는 기계는 하나 이상의 중앙 처리 장치("CPU"), 랜덤 액세스 메모리("RAM") 및 입/출력("I/O") 인터페이스와 같은 하드웨어를 가진 컴퓨터 플랫폼상에 구현될 수 있다. 컴퓨터 플랫폼은 운영 체제와 마이크로명령어 코드를 포함할 수도 있다. 여기서 설명된 여러 가지 프로세스와 기능은 CPU에 의해 실행될 수 있는 마이크로명령어 코드의 일부, 애플리케이션 프로그램의 일부, 또는 이들의 조합일 수 있다. 그 외에도 컴퓨터 플랫폼에는 부가적인 데이터 저장 장치와 프린트 장치와 같은 여러 가지 다른 주변 장치가 연결될 수 있다.
첨부도면에 나타낸 구성 시스템 요소와 방법들 중 일부는 바람직하게는 소프트웨어로 구현되기 때문에 시스템 구성 요소들 간 또는 프로세스 기능 블록들 간의 실제 연결은 본 발명의 원리가 프로그램되는 방식에 따라 다를 수 있음을 알아야 한다. 당업자라면 본 발명의 교시에 따라서 본 발명의 원리의 이들 및 그 유사한 구현이나 구성을 생각해낼 수 있을 것이다.
지금까지 첨부도면을 참조로 예시적인 실시예들에 대해 설명하였지만, 본 발명의 원리는 이들 실시예들에만 한정되는 것은 아니고, 당업자라면 본 발명의 원리의 범위와 본질에서 벗어남이 없이 본 발명의 원리를 여러 가지로 수정 및 변형할 수 있음을 알아야 한다. 그와 같은 수정과 변형도 첨부된 청구범위에 기재된 본 발명의 원리의 범위 내에 포함되는 것이다.

Claims (37)

  1. 논 로컬 인트라 예측(non-local intra prediction)을 이용하여 화상(picture)을 인코딩하는 하드웨어 인코더 - 논 로컬 인트라 예측은 인코딩되는 현재 데이터에 대한 예측 데이터로서 현재 화상의 디코딩된 영역들을 이용하고, 상기 인코더는 상기 논 로컬 인트라 예측으로부터 얻은 예측 데이터에 조명 보상을 적용하는 함축적(implicit) 조명 보상 처리부를 포함함 -
    를 포함하고,
    상기 조명 보상은 최종 모델을 얻기 위해 모델링되고, 상기 최종 모델의 파라미터들은 인코딩되는 휘도 및 색도(chrominance) 데이터와 가중 및 오프셋 예측 신호의 휘도 및 색도 데이터 간의 거리를 최소화하고, 화상의 디코딩된 부분내의 로컬 인접 데이터를 넘어 위치하는 정보를 이용하는 논 로컬 화상 데이터 예측 기술로부터 선형 회귀(linear regression)를 이용하여 도출되고, 상기 최종 모델의 파라미터들은 대응하는 디코더로 함축적으로 시그널링되는 장치.
  2. 제1항에 있어서,
    상기 조명 보상은 상기 예측 데이터에 적응적으로 적용되고, 상기 예측 데이터는 변위 인트라 예측(displaced intra prediction)과 템플릿 매칭 예측(template matching prediction) 중 적어도 하나를 이용하여 예측되는 장치.
  3. 제1항에 있어서,
    상기 최종 모델은 다항 함수, 선형 함수 및 비선형 함수 중 적어도 하나에 기초하는 장치.
  4. 제3항에 있어서,
    상기 최종 모델은 1차 다항식에 기초한 선형 모델인 장치.
  5. 제4항에 있어서,
    상기 1차 다항식은 덧셈 상수(additive constant)에 기초한 오프셋만의 함수인 장치.
  6. 제3항에 있어서,
    상기 조명 보상의 파라미터들은 최소 제곱 함수를 이용하여 그 해가 구해지는 장치.
  7. 제3항에 있어서,
    상기 논 로컬 인트라 예측은 휘도 데이터, 색 데이터 및 깊이 뷰(depth view) 데이터 중 적어도 어느 하나에 적용되는 장치.
  8. 삭제
  9. 삭제
  10. 논 로컬 인트라 예측을 이용하여 화상을 인코딩하는 단계 - 논 로컬 인트라 예측은 인코딩되는 현재 데이터에 대한 예측 데이터로서 현재 화상의 디코딩된 영역들을 이용하고, 상기 인코딩 단계는 상기 논 로컬 인트라 예측으로부터 얻은 예측 데이터에 조명 보상을 적용하는 단계를 포함함 -
    를 포함하고,
    상기 조명 보상은 최종 모델을 얻기 위해 모델링되고, 상기 최종 모델의 파라미터들은 인코딩되는 휘도 및 색도 데이터와 가중 및 오프셋 예측 신호의 휘도 및 색도 데이터 간의 거리를 최소화하고, 화상의 디코딩된 부분내의 로컬 인접 데이터를 넘어 위치하는 정보를 이용하는 논 로컬 화상 데이터 예측 기술로부터 선형 회귀를 이용하여 도출되고, 상기 최종 모델의 파라미터들은 대응하는 디코더로 함축적으로 시그널링되는 방법.
  11. 제10항에 있어서,
    상기 조명 보상은 상기 예측 데이터에 적응적으로 적용되고, 상기 예측 데이터는 변위 인트라 예측 및 템플릿 매칭 예측 중 적어도 하나를 이용하여 예측되는 방법.
  12. 제10항에 있어서,
    상기 최종 모델은 다항 함수, 선형 함수 및 비선형 함수 중 적어도 하나에 기초하는 방법.
  13. 제12항에 있어서,
    상기 최종 모델은 1차 다항식에 기초한 선형 모델인 방법.
  14. 제13항에 있어서,
    상기 1차 다항식은 덧셈 상수에 기초한 오프셋만의 함수인 방법.
  15. 제12항에 있어서,
    상기 조명 보상의 파라미터들은 최소 제곱 함수를 이용하여 그 해가 구해지는 방법.
  16. 제12항에 있어서,
    상기 논 로컬 인트라 예측은 휘도 데이터, 색 데이터 및 깊이 뷰 데이터 중 적어도 어느 하나에 적용되는 방법.
  17. 삭제
  18. 삭제
  19. 논 로컬 인트라 예측을 이용하여 화상을 디코딩하는 하드웨어 디코더 - 논 로컬 인트라 예측은 디코딩되는 현재 데이터에 대한 예측 데이터로서 현재 화상의 디코딩된 영역들을 이용하고, 상기 디코더는 상기 논 로컬 인트라 예측으로부터 얻은 예측 데이터에 조명 보상을 적용하는 함축적 조명 보상 처리부를 포함함 -
    를 포함하고,
    상기 조명 보상은 최종 모델을 얻기 위해 모델링되고, 상기 최종 모델의 파라미터들은 인코딩되는 휘도 및 색도 데이터와 가중 및 오프셋 예측 신호의 휘도 및 색도 데이터 간의 거리를 최소화하고, 화상의 디코딩된 부분내의 로컬 인접 데이터를 넘어 위치하는 정보를 이용하는 논 로컬 화상 데이터 예측 기술로부터 선형 회귀를 이용하여 도출되고, 상기 최종 모델의 파라미터들은 함축적으로 결정되는 장치.
  20. 제19항에 있어서,
    상기 조명 보상은 상기 예측 데이터에 적응적으로 적용되고, 상기 예측 데이터는 변위 인트라 예측 및 템플릿 매칭 예측 중 적어도 하나를 이용하여 예측되는 장치.
  21. 제19항에 있어서,
    상기 최종 모델은 다항 함수, 선형 함수 및 비선형 함수 중 적어도 하나에 기초하는 장치.
  22. 제21항에 있어서,
    상기 최종 모델은 1차 다항식에 기초한 선형 모델인 장치.
  23. 제22항에 있어서,
    상기 1차 다항식은 덧셈 상수에 기초한 오프셋만의 함수인 장치.
  24. 제21항에 있어서,
    상기 조명 보상의 파라미터들은 최소 제곱 함수를 이용하여 그 해가 구해지는 장치.
  25. 제21항에 있어서,
    상기 논 로컬 인트라 예측은 휘도 데이터, 색 데이터 및 깊이 뷰 데이터 중 적어도 하나에 적용되는 장치.
  26. 삭제
  27. 삭제
  28. 논 로컬 인트라 예측을 이용하여 화상을 디코딩하는 단계 - 논 로컬 인트라 예측은 디코딩되는 현재 데이터에 대한 예측 데이터로서 현재 화상의 디코딩된 영역들을 이용하고, 상기 디코딩 단계는 상기 논 로컬 인트라 예측으로부터 얻은 예측 데이터에 조명 보상을 적용하는 단계를 포함함 -
    를 포함하고,
    상기 조명 보상은 최종 모델을 얻기 위해 모델링되고, 상기 최종 모델의 파라미터들은 인코딩되는 휘도 및 색도 데이터와 가중 및 오프셋 예측 신호의 휘도 및 색도 데이터 간의 거리를 최소화하고, 화상의 디코딩된 부분내의 로컬 인접 데이터를 넘어 위치하는 정보를 이용하는 논 로컬 화상 데이터 예측 기술로부터 선형 회귀를 이용하여 도출되고, 상기 최종 모델의 파라미터들은 함축적으로 결정되는 방법.
  29. 제28항에 있어서,
    상기 조명 보상은 상기 예측 데이터에 적응적으로 적용되고, 상기 예측 데이터는 변위 인트라 예측 및 템플릿 매칭 예측 중 적어도 하나를 이용하여 예측되는 방법.
  30. 제28항에 있어서,
    상기 최종 모델은 다항 함수, 선형 함수 및 비선형 함수 중 적어도 하나에 기초하는 방법.
  31. 제30항에 있어서,
    상기 최종 모델은 1차 다항식에 기초한 선형 모델인 방법.
  32. 제31항에 있어서,
    상기 1차 다항식은 덧셈 상수에 기초한 오프셋만의 함수인 방법.
  33. 제30항에 있어서,
    상기 조명 보상의 파라미터들은 최소 제곱 함수를 이용하여 그 해가 구해지는 방법.
  34. 제30항에 있어서,
    상기 논 로컬 인트라 예측은 휘도 데이터, 색 데이터 및 깊이 뷰 데이터 중 적어도 하나에 적용되는 방법.
  35. 삭제
  36. 삭제
  37. 삭제
KR1020107017665A 2008-01-10 2009-01-09 인트라 예측 비디오의 조명 보상 방법 및 장치 KR101700966B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US2022808P 2008-01-10 2008-01-10
US61/020,228 2008-01-10
PCT/US2009/000110 WO2009089032A2 (en) 2008-01-10 2009-01-09 Methods and apparatus for illumination compensation of intra-predicted video

Publications (2)

Publication Number Publication Date
KR20100103867A KR20100103867A (ko) 2010-09-28
KR101700966B1 true KR101700966B1 (ko) 2017-01-31

Family

ID=40600139

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107017665A KR101700966B1 (ko) 2008-01-10 2009-01-09 인트라 예측 비디오의 조명 보상 방법 및 장치

Country Status (7)

Country Link
US (1) US9008174B2 (ko)
EP (1) EP2232877B1 (ko)
JP (1) JP5529040B2 (ko)
KR (1) KR101700966B1 (ko)
CN (1) CN101911708B (ko)
BR (1) BRPI0906413A2 (ko)
WO (1) WO2009089032A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020017910A1 (ko) * 2018-07-18 2020-01-23 한국전자통신연구원 지역 조명 보상을 통한 효과적인 비디오 부호화/복호화 방법 및 장치
WO2024091002A1 (ko) * 2022-10-26 2024-05-02 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 이를 위한 장치

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080013623A1 (en) * 2006-07-17 2008-01-17 Nokia Corporation Scalable video coding and decoding
CN102090062B (zh) * 2008-04-11 2013-12-11 汤姆森特许公司 用于位移帧内预测和模板匹配的去块滤波
EP3376768B1 (en) 2009-01-15 2020-09-30 Renesas Electronics Corporation Image decoding method and apparatus
US9288494B2 (en) 2009-02-06 2016-03-15 Thomson Licensing Methods and apparatus for implicit and semi-implicit intra mode signaling for video encoders and decoders
KR101510108B1 (ko) 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
EP2302933A1 (en) * 2009-09-17 2011-03-30 Mitsubishi Electric R&D Centre Europe B.V. Weighted motion compensation of video
WO2011090798A1 (en) 2010-01-22 2011-07-28 Thomson Licensing Data pruning for video compression using example-based super-resolution
CN102823242B (zh) 2010-01-22 2016-08-10 汤姆森特许公司 基于取样超分辨率视频编码和解码的方法和装置
JP5294037B2 (ja) * 2010-03-05 2013-09-18 株式会社日立製作所 画像復号化方法、画像復号化装置及び画像符号化方法
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
KR101789634B1 (ko) * 2010-04-09 2017-10-25 엘지전자 주식회사 비디오 데이터 처리 방법 및 장치
US9544598B2 (en) 2010-09-10 2017-01-10 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
US9338477B2 (en) 2010-09-10 2016-05-10 Thomson Licensing Recovering a pruned version of a picture in a video sequence for example-based data pruning using intra-frame patch similarity
US20130163674A1 (en) * 2010-09-10 2013-06-27 Thomson Licensing Encoding of the Link to a Reference Block in Video Compression by Image Content Based on Search and Ranking
FR2969456A1 (fr) * 2010-12-15 2012-06-22 France Telecom Procedes et dispositifs de codage et de decodage d'au moins une image mettant en œuvre une selection des pixels a predire, programme d'ordinateur correspondant
EP2667613A4 (en) * 2011-01-19 2016-12-07 Renesas Electronics Corp IMAGE ENCODING DEVICE AND IMAGE DECODING DEVICE
KR101707088B1 (ko) 2011-03-06 2017-02-15 엘지전자 주식회사 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
RU2573279C2 (ru) * 2011-03-10 2016-01-20 Ниппон Телеграф Энд Телефон Корпорейшн Устройство и способ управления квантованием и программа управления квантованием
WO2012123321A1 (en) * 2011-03-14 2012-09-20 Thomson Licensing Method for reconstructing and coding an image block
JP2014112749A (ja) * 2011-03-18 2014-06-19 Sharp Corp 画像符号化装置および画像復号装置
JP2014112748A (ja) * 2011-03-18 2014-06-19 Sharp Corp 画像符号化装置および画像復号装置
WO2012147740A1 (ja) * 2011-04-25 2012-11-01 シャープ株式会社 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
US9131239B2 (en) * 2011-06-20 2015-09-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
KR101444675B1 (ko) * 2011-07-01 2014-10-01 에스케이 텔레콤주식회사 영상 부호화 및 복호화 방법과 장치
US9948938B2 (en) 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction
KR102050761B1 (ko) 2011-10-05 2019-12-02 선 페이턴트 트러스트 화상 복호 방법 및 화상 복호 장치
CN103379321B (zh) * 2012-04-16 2017-02-01 华为技术有限公司 视频图像分量的预测方法和装置
RU2510944C2 (ru) * 2012-07-03 2014-04-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ кодирования/декодирования многоракурсной видео последовательности на основе адаптивной локальной коррекции яркости опорных кадров без передачи дополнительных параметров (варианты)
CN103533374B (zh) * 2012-07-06 2018-02-16 乐金电子(中国)研究开发中心有限公司 一种视频编码、解码的方法及装置
RU2675154C1 (ru) * 2012-07-16 2018-12-17 Самсунг Электроникс Ко., Лтд. Способ кодирования видео и устройство кодирования видео и способ декодирования видео и устройство декодирования видео для сигнализации параметров sao
JP6128987B2 (ja) * 2013-06-25 2017-05-17 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9860529B2 (en) * 2013-07-16 2018-01-02 Qualcomm Incorporated Processing illumination compensation for video coding
KR20150110357A (ko) * 2014-03-21 2015-10-02 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치
US10554967B2 (en) 2014-03-21 2020-02-04 Futurewei Technologies, Inc. Illumination compensation (IC) refinement based on positional pairings among pixels
KR101627193B1 (ko) * 2014-10-29 2016-06-03 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
KR101603693B1 (ko) * 2015-03-12 2016-03-15 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
KR101626450B1 (ko) * 2015-03-12 2016-06-01 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
KR101603695B1 (ko) * 2015-03-12 2016-03-15 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
KR101626449B1 (ko) * 2015-03-12 2016-06-01 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
US10356416B2 (en) 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US10887597B2 (en) * 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
ES2677193B1 (es) * 2015-08-28 2019-06-19 Kt Corp Procedimiento y dispositivo para procesar señales de vídeo
WO2017043949A1 (ko) * 2015-09-11 2017-03-16 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR101731432B1 (ko) 2016-05-25 2017-04-28 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
KR20180074000A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
KR101839573B1 (ko) * 2017-04-24 2018-04-27 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
KR101974138B1 (ko) * 2018-03-12 2019-04-30 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
CN113228656B (zh) * 2018-12-21 2023-10-31 北京字节跳动网络技术有限公司 使用多项式模型的帧间预测
CN111479114B (zh) * 2019-01-23 2022-07-22 华为技术有限公司 点云的编解码方法及装置
WO2022167322A1 (en) * 2021-02-08 2022-08-11 Interdigital Vc Holdings France, Sas Spatial local illumination compensation
CN113489974B (zh) * 2021-07-02 2023-05-16 浙江大华技术股份有限公司 帧内预测方法、视频/图像编解码方法及相关装置
WO2024119189A1 (en) * 2022-12-02 2024-06-06 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices on intra template matching prediction

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2759524B1 (fr) * 1997-02-10 1999-05-14 Thomson Multimedia Sa Procede et dispositif de codage par estimation de luminance
EP3133813B1 (en) * 2004-09-16 2020-06-17 InterDigital VC Holdings, Inc. Method and apparatus for weighted prediction video codec utilizing local brightness variation
CN2796278Y (zh) * 2005-12-31 2006-07-12 深圳市中科诺数码科技有限公司 Dvd解码器
EP1972147B8 (en) * 2006-01-09 2017-05-10 Dolby International AB Methods and Apparatus for Illumination and Color Compensation for Multiview Video Coding
WO2007094792A1 (en) * 2006-02-17 2007-08-23 Thomson Licensing Localized weighted prediction handling video data brightness variations
JP5421113B2 (ja) * 2006-10-18 2014-02-19 トムソン ライセンシング 明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J. Balle, et al. Extended Texture Prediction for H.264 Intra Coding. ITU-T SG 16 Q.6 VCEG. 31th Meeting. VCEG-AE11. Jan. 14, 2007, pp.1-7*
P. Yin, et al. Localized weighted prediction for video coding. IEEE Int'l Symposium on Circuits and Systems(ISCAS). May 2005, pp.4365-4368
Y, Zheng. et al. Intra prediction using template matching with adaptive illumination compensation. 15th IEEE Int'l Conf. on Image Processing. Oct. 2008, pp.125-128

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020017910A1 (ko) * 2018-07-18 2020-01-23 한국전자통신연구원 지역 조명 보상을 통한 효과적인 비디오 부호화/복호화 방법 및 장치
US11632546B2 (en) 2018-07-18 2023-04-18 Electronics And Telecommunications Research Institute Method and device for effective video encoding/decoding via local lighting compensation
WO2024091002A1 (ko) * 2022-10-26 2024-05-02 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
BRPI0906413A2 (pt) 2015-07-14
KR20100103867A (ko) 2010-09-28
WO2009089032A3 (en) 2009-08-27
US9008174B2 (en) 2015-04-14
JP5529040B2 (ja) 2014-06-25
WO2009089032A2 (en) 2009-07-16
EP2232877A2 (en) 2010-09-29
CN101911708A (zh) 2010-12-08
US20110007800A1 (en) 2011-01-13
JP2011509639A (ja) 2011-03-24
CN101911708B (zh) 2016-03-09
EP2232877B1 (en) 2018-08-08

Similar Documents

Publication Publication Date Title
KR101700966B1 (ko) 인트라 예측 비디오의 조명 보상 방법 및 장치
KR101927384B1 (ko) 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
JP5413923B2 (ja) 変位イントラ予測およびテンプレート・マッチングのためのデブロッキング・フィルタリング
US9288494B2 (en) Methods and apparatus for implicit and semi-implicit intra mode signaling for video encoders and decoders
US11871005B2 (en) Methods and apparatus for intra coding a block having pixels assigned to groups
US9277227B2 (en) Methods and apparatus for DC intra prediction mode for video encoding and decoding
EP3007447A1 (en) Method for improving intra-prediction of diagonal mode in video coding
US20140010295A1 (en) Methods and Apparatus for Geometric-Based Intra Prediction
US20190335173A1 (en) Image encoding method/device, image decoding method/device and recording medium having bitstream stored therein
CN110771166B (zh) 帧内预测装置和方法、编码、解码装置、存储介质
CN114830642A (zh) 图像编码方法和图像解码方法
WO2023200907A1 (en) Methods and devices for geometric partitioning mode with adaptive blending
WO2023250047A1 (en) Methods and devices for motion storage in geometric partitioning mode
WO2023154574A1 (en) Methods and devices for geometric partitioning mode with adaptive blending
KR20140079519A (ko) 평균 양자화 파라메터를 이용한 양자화 파라메터 부호화 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200114

Year of fee payment: 4