KR102353787B1 - 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측 - Google Patents

비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측 Download PDF

Info

Publication number
KR102353787B1
KR102353787B1 KR1020217014829A KR20217014829A KR102353787B1 KR 102353787 B1 KR102353787 B1 KR 102353787B1 KR 1020217014829 A KR1020217014829 A KR 1020217014829A KR 20217014829 A KR20217014829 A KR 20217014829A KR 102353787 B1 KR102353787 B1 KR 102353787B1
Authority
KR
South Korea
Prior art keywords
current block
predictor
intra
predictor candidates
block
Prior art date
Application number
KR1020217014829A
Other languages
English (en)
Other versions
KR20210060650A (ko
Inventor
리화 주
개리 설리번
지쳉 쉬
스리드하 산쿠라트리
비 아닐 쿠마르
펭 우
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20210060650A publication Critical patent/KR20210060650A/ko
Application granted granted Critical
Publication of KR102353787B1 publication Critical patent/KR102353787B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

블록 벡터("BV") 값의 예측의 영역의 혁신은 인트라 블록 카피("BC") 예측을 사용하여 블록의 인코딩 또는 디코딩을 개선한다. 예컨대, 혁신 중 일부는 넌-제로 값을 갖는 디폴트 BV 예측자의 사용에 관한 것이다. 다른 혁신은 현재의 블록에 대한 복수의 BV 예측자 후보 중 선택된 하나의 사용에 관한 것이다. 또 다른 혁신은, 현재의 인트라-BV-예측된 블록이 예측된 BV 값을 사용하는 스킵 모드의 사용에 관한 것이다.

Description

비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측{BLOCK VECTOR PREDICTION IN VIDEO AND IMAGE CODING/DECODING}
본 발명은 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측에 관한 것이다.
엔지니어들은 (소스 코딩 또는 소스 인코딩으로도 불리는) 압축을 사용하여 디지털 비디오의 비트 레이트를 감소시킨다. 압축은, 비디오 정보를 더 낮은 비트 레이트 형태로 변환함으로써 이 정보를 저장하고 송신하는 비용을 줄인다. (디코딩으로도 불리는) 압축해제는 압축된 형태로부터 원래의 정보의 버전을 재구성한다. "코덱"은 인코더/디코더 시스템이다.
지난 이십 년 동안, ITU-T H.261, H.262(MPEG-2 또는 ISO/IEC 13818-2), H.263 및 H.264(MPEG-4 AVC 또는 ISO/IEC 14496-10) 표준, MPEG-1(ISO/IEC 11172-2) 및 MPEG-4 비주얼(ISO/IEC 14496-2) 표준 및 SMPTE 421M(VC-1) 표준을 포함한 여러 비디오 코덱 표준을 채택하여왔다. 더욱 최근에, HEVC 표준(ITU-T H.265 또는 ISO/IEC 23008-2)이 승인되었다. (예컨대, 스케일러블 비디오 코딩/디코딩을 위해, 샘플 비트 깊이 또는 크로마 샘플링 레이트 면에서 더 높은 충실도를 갖는 비디오의 코딩/디코딩을 위해 또는 복수-뷰 코딩/디코딩을 위해) HEVC 표준에 대한 확장이 현재 개발 중이다. 비디오 코덱 표준은 통상, 특정한 특성이 인코딩 및 디코딩에 사용될 때 비트스트림에서 파라미터를 상세하게 기재하는, 인코딩된 비디오 비트스트림의 신택스에 대한 옵션을 한정한다. 많은 경우, 비디오 코덱 표준은 또한, 디코더가 디코딩에서 부합하는 결과를 달성하도록 실행해야 하는 디코딩 동작에 대한 상세를 제공한다. 코덱 표준과 별도로, 여러 독점적인 코덱 포맷이 인코딩된 비디오 스트림의 신택스에 대한 다른 옵션과 대응하는 디코딩 동작을 한정한다.
인트라 블록 카피(block copy; "BC")는 HEVC 확장을 위해 개발 중인 예측 모드이다. 인트라 BC 예측 모드의 경우, 화상의 현재의 블록의 샘플 값은 동일 화상에서 이전에 재구성한 샘플 값을 사용하여 예측한다. 블록 벡터(block vector; "BV")는, 현재의 블록으로부터, 예측에 사용된, 이전에 재구성된 샘플 값을 포함하는 화상의 구역으로의 변위를 나타낸다. BV는 비트 스트림에서 신호화한다. 인트라 BC 예측은 인트라-화상 예측의 형태이다 - 화상의 블록에 대한 인트라 BC 예측은 동일한 화상에서의 샘플 값이 아닌 임의의 샘플 값을 사용하지 않는다.
HEVC 표준에 현재 명시되어 있으며 HEVC 표준에 대한 일부 참조 소프트웨어에서 구현되는 바와 같이, 인트라 BC 예측 모드는 여러 가지 문제를 갖고 있다. 특히, BV 값은 많은 상황에서 효율적으로 신호화되지 않으며, 예측 가능한 BC 변위에 의한 블록의 코딩은 효율적으로 취급되지 않는다.
요약하면, 상세한 설명은, 인트라 블록 카피("BC") 예측을 사용한 블록의 인코딩 또는 디코딩 동안 블록 벡터("BV") 값의 예측의 영역에서의 혁신을 제공한다. 예컨대, 혁신 중 일부는 넌-제로 값을 갖는 디폴트 BV 예측자(predictor)의 사용에 관한 것이다. 다른 혁신은 현재의 블록에 대한 복수의 BV 예측자 후보 중 선택된 후보의 사용에 관한 것이다. 또 다른 혁신은, 현재의 인트라-BC-예측된 블록이 예측된 BV 값을 사용하는 스킵 모드의 사용에 관한 것이다. 많은 상황에서, 이들 혁신은 BV 값의 코딩 효율을 개선하거나 그렇지 않으면 인트라-BC-예측된 블록에 대한 코딩 효율을 개선한다.
본 명세서에서 기재한 혁신의 제1 양상에 따르면, 인코더가 화상의 현재의 블록에 대한 디폴트 BV 예측자를 결정한다. 디폴트 BV 예측자는 넌-제로 값을 갖는 BV 예측자 성분을 포함한다. 예컨대, 디폴트 BV 예측자의 수직 및 수평 BV 성분 중 하나가 0이며, 다른 하나는 넌-제로 값을 갖는다. 인코더는 디폴트 BV 예측자를 사용하여 현재의 블록을 인코딩한다. 예컨대, 인코더는 현재의 블록에 대해 BV 값을 사용하여 인트라 블록 카피("BC") 예측을 실행하고, 현재의 블록에 대한 디폴트 BV 예측자와 BV 값을 사용하여 BV 차분을 결정한 후, BV 차분을 인코딩한다. 또는, 인코더는 단지 디폴트 BV 예측자를 사용하여 인트라 BC 예측을 실행한다.
대응하는 디코더는 화상의 현재의 블록에 대한 디폴트 BV 예측자를 결정한다. 디폴트 BV 예측자는 넌-제로 값을 갖는 BV 예측자 성분을 포함한다. 예컨대, 디폴트 BV 예측자의 수직 및 수평 BV 성분 중 하나가 0이고 다른 하나는 넌-제로 값을 갖는다. 디코더는 디폴트 BV 예측자를 사용하여 현재의 블록을 디코딩한다. 예컨대, 디코더는 현재의 블록에 대한 BV 차분을 디코딩한 후, 디코딩된 BV 차분을 디폴트 BV 예측자와 결합하여, 현재의 블록에 대한 BV 값을 재구성한다. 디코더는 BV 값을 사용하여 인트라 BC 예측을 실행한다. 또는, 디코더는 단지 디폴트 BV 예측자를 사용하여 인트라 BC 예측을 실행한다.
인코더 또는 디코더는, 화상의 이전 블록에 대한 실제 BV 값이 이용 가능한지에 따라서 디폴트 BV 예측자를 조건적으로 사용할 수 있다. 예컨대, 인코더/디코더는 화상의 이전 블록에 대한 실제 BV 값이 이용 가능한지를 체크한다. 그렇다면, 이전 블록에 대한 실제 BV 값을 현재의 블록에 대한 BV 예측자로서 사용한다. 그렇지 않다면, 디폴트 BV 예측자를 현재의 블록에 대한 BV 예측자로서 사용한다. 일부 구현에서, 이전 블록에 대한 현재의 BV 값은, (1) 이전 블록과 현재 블록이 소정의 코딩 트리 유닛의 일부분인 경우와, 이전 블록의 예측 모드가 인트라 BC 예측 모드인 경우에 이용 가능하다.
본 명세서에서 기재한 혁신의 제2 양상에 따르면, 인코더는 BV 예측을 사용하여 화상의 현재의 블록에 대한 BV 값을 결정한다. 현재의 블록에 대한 BV 값은 화상 내의 구역으로의 변위를 나타낸다. 인코더는 BV 값(여기서는 BV 예측자)을 갖는 인트라 BC를 사용하여 현재의 블록을 인코딩한다. 인코더는, 현재의 블록이 스킵 모드에서 인코딩된다는 지시를 비트스트림에서 출력하며, 비트스트림은 현재의 블록에 대한 잔차(residual) 데이터와 BV 차분이 없다.
대응하는 디코더는 비트스트림으로부터 화상의 현재의 블록이 스킵 모드에서 인코딩된다는 지시를 수신한다. 비트스트림은 현재의 블록에 대한 잔차 데이터와 BV 차분이 없다. 디코더는 BV 예측을 사용하여 현재의 블록에 대한 BV 값을 결정한다. 디코더는 그 후 BV 값(여기서, BV 예측자)을 갖는 인트라 블록 카피 예측을 사용하여 현재의 블록을 디코딩한다.
스킵한 블록에 대해, 비트스트림은, 현재의 블록에 대한 BV 값(여기서는 BV 예측자)으로서 사용하기 위해, 복수의 BV 예측자 후보 세트로부터 하나의 BV 예측자 후보의 선택을 나타내는 인덱스 값을 포함할 수 있다. 이 인덱스 값은 플래그 값 또는 정수값일 수 있다.
본 명세서에서 기재한 혁신의 제3 양상에 따르면, 인코더는 화상의 현재의 블록에 대한 복수의 BV 예측자 후보의 세트를 결정한 후, BV 예측자 후보 중 하나를 현재의 블록에 대해 사용하도록 선택한다. 인코더는, 선택된 BV 예측자 후보를 사용하여 현재의 블록을 인코딩하며, 선택된 BV 예측자 후보를 나타내는 인덱스 값을 비트스트림에서 출력한다.
대응하는 디코더는 비트스트림으로부터 인덱스 값을 수신한다. 디코더는 화상의 현재의 블록에 대한 복수의 BV 예측자 후보의 세트를 결정하며, 인덱스 값을 기초로 하여, BV 예측자 후보 중 하나를 현재의 블록에 대해 사용하도록 선택한다. 디코더는 선택한 BV 예측자 후보를 사용하여 현재의 블록을 디코딩한다.
일부 경우, 비트스트림은 (비-스킵 모드, 비-병합-모드 블록인) 현재의 블록에 대한 BV 차분을 포함한다. BV 차분은 현재의 블록에 대한 BV 값과 선택된 BV 예측자 후보 사이의 차이를 나타낸다. 다른 경우에, 현재의 블록은 병합-모드 블록이며, 비트스트림은 현재의 블록에 대한 BV 차분이 없지만, 현재의 블록에 대한 잔차 데이터를 포함할 수 있다. 또 다른 경우에, 비트스트림에서의 값은 현재의 블록이 스킵-모드 블록임을 나타낸다. 이들 경우에, 비트스트림은 현재의 블록에 대한 BV 차분이 없으며, 비트스트림은 현재의 블록에 대한 잔차 데이터는 없다.
일반적으로, 복수의 BV 예측자 후보는 이전 블록의 최대 x개의 실제 BV 값을 포함한다. 이전 블록은 현재의 블록 주위의 이웃에서의 위치(예컨대, 현재의 블록의 왼쪽, 상방 및 상방 오른쪽으로의 블록)를 적어도 부분적으로 기초로 하여 식별할 수 있다. 또는, 이전 블록은 현재의 블록과 비교하여(예컨대, 마지막 세 개의 인트라-BC-예측된 블록) 디코딩 순서를 적어도 부분적으로 기초로 하여 식별할 수 있다. 복수의 BV 예측자 후보는 또한 하나 이상의 디폴트 BV 예측자를 포함할 수 있다.
BV 예측에 대한 혁신은 방법의 일부분으로서, 이 방법을 실행하도록 되어 있는 컴퓨팅 디바이스의 일부분으로서 또는 컴퓨팅 디바이스가 이 방법을 실행하게 하기위한 컴퓨터로 수행 가능한 명령을 저장하는 유형의 컴퓨터로 판독 가능한 매체의 일부분으로서 구현할 수 있다. 여러 혁신이 결합하여 또는 별도로 사용할 수 있다. 특히, BV 예측에 대한 병합 모드가 넌-제로 모션을 갖는 디폴트 BV 예측자 및/또는 인트라-BC-예측된 블록에 대한 스킵 모드와 연계하여 사용할 수 있다. 인트라-BC-예측된 블록에 대한 스킵 모드는 넌-제로 모션을 갖는 디폴트 BV 예측자와 연계하여 사용할 수 있다.
본 발명의 전술한 및 기타 목적, 특성 및 장점은 다음의 상세한 설명으로부터 더욱 자명하게 될 것이며, 이러한 상세한 설명은 수반하는 도면을 참조하여 설명한다.
도 1은, 일부 기재한 실시예를 구현할 수 있는 예시적인 컴퓨팅 시스템의 도면.
도 2a 및 도 2b는 일부 기재한 실시예를 구현할 수 있는 예시적인 네트워크 환경의 도면.
도 3은 연계하여 일부 기재한 실시예를 구현할 수 있는 예시적인 인코더 시스템의 도면.
도 4는 연계하여 일부 기재한 실시예를 구현할 수 있는 예시적인 디코더 시스템의 도면.
도 5a 및 도 5b는 연계하여 일부 기재한 실시예를 구현할 수 있는 예시적인 비디오 인코더를 예시하는 도면.
도 6은 연계하여 일부 기재한 실시예를 구현할 수 있는 예시적인 비디오 디코더를 예시하는 도면.
도 7a 내지 도 7d는 각각 화상의 블록에 대한 인트라 BC 예측, 이 블록에 대한 BV 예측, 디폴트(0, 0) BV 예측자, 및 넌-제로 값을 갖는 디폴트 BV 예측자를 예시하는 도면.
도 8 및 도 9는 넌-제로 값을 갖는 디폴트 BV 예측자의 사용을 포함하는 인코딩에 대한 기술을 예시하는 흐름도.
도 10 및 도 11은 넌-제로 값을 갖는 디폴트 BV 예측자의 사용을 포함하는 디코딩에 대한 기술을 예시하는 흐름도.
도 12 및 도 13은, 각각 인트라-BC-예측된 블록에 대한 스킵 모드를 포함하는 인코딩 및 디코딩에 대한 기술을 예시하는 흐름도.
도 14는 화상에서의 이전 블록의 실제 BV 값 중의 BV 예측자 후보를 예시하는 도면.
도 15는 화상에서의 이웃하는 블록의 실제 BV 값 중의 BV 예측자 후보를 예시하는 도면.
도 16a 및 도 16b는 복수의 BV 예측자 후보 중의 선택을 포함하는 인코딩에 대한 기술을 예시하는 흐름도.
도 17a 및 도 17b는 복수의 BV 예측자 후보 중의 선택을 포함하는 디코딩에 대한 기술을 예시하는 흐름도.
상세한 설명은 인트라 블록 카피("BC") 예측을 사용한 블록의 인코딩 또는 디코딩 동안 블록 벡터("BV") 값의 예측의 영역에서의 혁신을 제시한다. 예컨대, 혁신 중 일부는 넌-제로 값을 갖는 디폴트 BV 예측자의 사용에 관한 것이다. 다른 혁신은 현재의 블록에 대한 복수의 BV 예측자 후보 중 선택된 후보의 사용에 관한 것이다. 또 다른 혁신은 현재의 인트라-BC-예측된 블록이 예측된 BV 값을 사용하는 스킵 모드의 사용에 관한 것이다. 많은 상황에서, 혁신은 BV 값의 코딩 효율을 개선하여 비트 레이트를 더 낮울 수 있고 및/또는 품질을 개선할 수 있거나, 그렇지 않으면 인트라-BC-예측된 블록에 대한 코딩 효율을 개선할 수 있다.
본 명세서에서 기재한 동작이 비디오 인코더나 디코더에 의해 실행되는 것으로 곳곳에서 기재되고 있지만, 많은 경우, 이들 동작은 다른 타입의 매체 처리 툴(예컨대, 이미지 인코더나 디코더)에 의해 실행할 수 있다.
본 명세서에서 기재한 혁신 중 일부는 HEVC 표준에 특정되는 신택스 요소와 동작을 참조하여 예시한다. 예컨대, HEVC 표준의 초안 버전 JCTVC-O1005 - "고효율 비디오 코딩(HEVC) 범위 확장 텍스트 규격: 초안 5," JCTVC-O1005_v3, 2013년 11월을 참조한다. 본 명세서에서 기재한 혁신은 또한 다른 표준이나 포맷에 대해 구현할 수 있다.
더욱 일반적으로, 본 명세서에서 기재한 예에 대한 여러 가지 대안이 가능하다. 예컨대, 본 명세서에서 기재한 방법 중 일부는 특정한 방법 동작을 분할하고, 반복하거나 생략하는 등에 의해 기재한 방법의 동작의 순서를 변화시킴으로써 변경할 수 있다. 설명한 기술의 여러 가지 양상은 결합하거나 별도로 사용할 수 있다. 상이한 실시예는 기재한 혁신 중 하나 이상을 사용한다. 본 명세서에서 기재한 혁신 중 일부는 배경기술에서 언급한 문제 중 하나 이상을 해결한다. 통상, 소정의 기술/툴은 그러한 문제 모두를 해결하지는 못한다.
I. 예시적인 컴퓨팅 시스템.
도 1은, 기재한 혁신 중 여러 개를 구현할 수 있는 적절한 컴퓨팅 시스템(100)의 일반화된 예를 예시한다. 컴퓨팅 시스템(100)은 사용 또는 기능의 범위에 대한 어떠한 제한을 제안하지 않고자 하며, 이는 혁신들이 다양한 범용 또는 전용 컴퓨팅 시스템에서 구현할 수 있기 때문이다.
도 1을 참조하면, 컴퓨팅 시스템(100)은 하나 이상의 처리 유닛(110, 115)과 메모리(120, 125)를 포함한다. 처리 유닛(110, 115)은 컴퓨터로 수행 가능한 명령을 수행한다. 처리 유닛은 범용 중앙 처리 유닛("CPU"), 주문형 집적 회로("ASIC")에서의 프로세서 또는 어떠한 다른 타입의 프로세서일 수 있다. 다-처리 시스템에서, 복수의 처리 유닛은 컴퓨터로 수행 가능한 명령을 수행하여 처리 파워를 증가시킨다. 예컨대, 도 1은 그래픽 처리 유닛 또는 공동-처리 유닛(115)뿐만 아니라 중앙 처리 유닛(110)을 도시한다. 유형의 메모리(120, 125)는 처리 유닛(들)에 의해 액세스 가능한 휘발성 메모리(예컨대, 레지스터, 캐시, RAM), 비휘발성 메모리(예컨대, ROM, EEPROM, 플래시 메모리 등) 또는 이들 두 개의 일부 결합일 수 있다. 메모리(120, 125)는, 처리 유닛(들)에 의한 수행에 적절한, 컴퓨터로 수행 가능한 명령의 형태로 블록 벡터 예측에 대한 하나 이상의 혁신을 구현하고 있는 소프트웨어(180)를 저장한다.
컴퓨팅 시스템은 추가 특성을 가질 수 있다. 예컨대, 컴퓨팅 시스템(100)은 저장부(140), 하나 이상의 입력 디바이스(150), 하나 이상의 출력 디바이스(160), 및 하나 이상의 통신 연결(170)을 포함한다. 버스, 제어기, 또는 네트워크와 같은 상호연결 메커니즘(미도시)이 컴퓨팅 시스템(100)의 구성요소들을 상호연결한다. 통상, 운영체제 소프트웨어(미도시)가 컴퓨팅 시스템(100)에서 수행하는 다른 소프트웨어에 대해 운영 환경을 제공하며, 컴퓨팅 시스템(100)의 구성요소들의 동작을 조정한다.
유형의 저장부(140)는 탈착 가능하거나 탈착 가능하지 않을 수 있으며, 자기 디스크, 자기 테이프 또는 카세트, CD-ROM, DVD, 또는 정보를 저장하는데 사용할 수 있으며 컴퓨팅 시스템(100) 내에서 액세스할 수 있는 임의의 다른 매체일 수 있다. 저장부(140)는 블록 벡터 예측에 대한 하나 이상의 혁신을 구현하는 소프트웨어(180)에 대한 명령을 저장한다.
입력 디바이스(들)(150)는 키보드, 마우스, 펜 또는 트랙볼과 같은 터치 입력 디바이스, 음성 입력 디바이스, 스캐닝 디바이스 또는 입력을 컴퓨팅 시스템(100)에 제공하는 다른 디바이스일 수 있다. 비디오의 경우, 입력 디바이스(들)(150)는 카메라, 비디오 카드, TV 튜너 카드 또는 아날로그나 디지털 형태로 비디오 입력을 받아들이는 유사한 디바이스나 컴퓨팅 시스템(100)으로의 비디오 입력을 판독하는 CD-ROM 또는 CD-RW일 수 있다. 출력 디바이스(들)(160)는 디스플레이, 프린터, 스피커, CD-기록기 또는 컴퓨팅 시스템(100)으로부터의 출력을 제공하는 다른 디바이스일 수 있다.
통신 연결(들)(170)은 통신 매체를 통한 다른 컴퓨팅 개체로의 통신을 가능케 한다. 통신 매체는 컴퓨터로 수행 가능한 명령, 오디오나 비디오 입출력 또는 다른 데이터와 같은 정보를 변조된 데이터 신호로 전달한다. 변조된 데이터 신호는, 신호에서 정보를 인코딩하는 것과 같은 방식으로 설정되거나 변화하는 이 신호의 특징 중 하나 이상을 갖는 신호이다. 예를 들어 제한되지 않고, 통신 매체는 전기, 광학, RF 또는 기타 캐리어를 사용할 수 있다.
혁신은 컴퓨터로 판독 가능한 매체의 일반 환경에서 기재할 수 있다. 컴퓨터로 판독 가능한 매체는 컴퓨팅 환경 내에서 액세스할 수 있는 임의의 이용 가능한 매체이다. 예를 들어 제한되지 않고, 컴퓨팅 시스템(100)에서, 컴퓨터로 판독 가능한 매체는 메모리(120, 125), 저장부(140) 및 이들 중 어느 것의 결합을 포함한다.
혁신은, 프로그램 모듈에 포함된 명령과 같이 타겟 실제 또는 가상 프로세서 상의 컴퓨팅 시스템에서 수행되는 컴퓨터로 수행 가능한 명령의 일반 환경에서 기재할 수 있다. 일반적으로, 프로그램 모듈은, 특정한 작업을 실행하거나 특정한 요약 데이터 타입을 구현하는 루틴, 프로그램, 라이브러리, 오브젝트, 클래스, 구성요소, 데이터 구조 등을 포함한다. 프로그램 모듈의 기능은 여러 실시예에서 바람직한 바와 같이 프로그램 모듈 사이에서 결합되거나 분할될 수 있다. 프로그램 모듈에 대한 컴퓨터로 수행 가능한 명령은 로컬 또는 분포된 컴퓨팅 시스템 내에서 수행할 수 있다.
용어, "시스템" 및 "디바이스"는 본 명세서에서 상호 교환 가능하게 사용한다. 환경이 그 밖에 명확히 나타내고 있지 않다면, 어느 용어도 컴퓨팅 시스템이나 컴퓨팅 디바이스의 타입에 대한 어떠한 제한을 가하지는 않는다. 일반적으로, 컴퓨팅 시스템 또는 컴퓨팅 디바이스는 로컬 또는 분포될 수 있으며, 본 명세서에서 기재한 기능을 구현하는 소프트웨어를 가진 전용 하드웨어 및/또는 범용 하드웨어의 임의의 결합일 수 있다.
개시한 방법은 또한, 개시한 방법 중 임의의 방법을 실행하도록 구성되는 특수 컴퓨팅 하드웨어를 사용하여 구현할 수 있다. 예컨대, 개시한 방법은, 개시한 방법 중 임의의 방법을 구현하도록 특별하게 설계되거나 구성되는 집적 회로(예컨대, (ASIC 디지털 신호 프로세서("DSP"), 그래픽 처리 유닛("GPU") 또는 필드 프로그램 가능한 게이트 어레이("FPGA")와 같은 프로그램 가능한 로직 디바이스("PLD")와 같은) ASIC)에 의해 구현할 수 있다.
프리젠테이션을 위해, 상세한 설명은 "결정한다"와 "사용한다"와 같은 용어를 사용하여 컴퓨팅 시스템에서 컴퓨터 동작을 기재한다. 이들 용어는 컴퓨터에 의해 실행되는 동작에 대한 고-레벨 추상어이며, 인간이 실행하는 동작과 혼동하지 않아야 한다. 이들 용어에 대응하는 실제 컴퓨터 동작은 구현에 따라 변한다.
II. 예시적인 네트워크 환경.
도 2a 및 도 2b는, 비디오 인코더(220)와 비디오 디코더(270)를 포함하는 예시적인 네트워크 환경(201, 202)을 도시한다. 인코더(220)와 디코더(270)는 적절한 통신 프로토콜을 사용하여 네트워크(250)를 통해 연결된다. 네트워크(250)는 인터넷 또는 다른 컴퓨터 네트워크를 포함할 수 있다.
도 2a에 도시한 네트워크 환경(201)에서, 각각의 실시간 통신("RTC") 툴(210)은 양방향 통신을 위한 인코더(220)와 디코더(270)를 모두 포함한다. 소정의 인코더(220)는 (H.265로도 알려진) HEVC 표준, SMPTE 421M 표준, (H.264 또는 AVC로도 알려진) ISO-IEC 14496-10 표준, 다른 표준 또는 독점적인 포맷과 부합하는 출력을 발생시킬 수 있으며, 이때 대응하는 디코더(270)는 인코더(220)로부터 인코딩된 데이터를 받아들인다. 양방향 통신은 비디오 회의, 비디오 전화 통화, 또는 다른 양자 또는 다자 통신 시나리오의 부분일 수 있다. 도 2a의 네트워크 환경(201)은 두 개의 실시간 통신 툴(210)을 포함할지라도, 네트워크 환경(201)은 대신, 다자 통신에 참여하는 세 개 이상의 실시간 통신 툴(210)을 포함할 수 있다.
실시간 통신 툴(210)은 인코더(220)에 의한 인코딩을 관리한다. 도 3은 실시간 통신 툴(210)에 포함할 수 있는 예시적인 인코더 시스템(300)을 도시한다. 대안적으로, 실시간 통신 툴(210)은 다른 인코더 시스템을 사용한다. 실시간 통신 툴(210)은 또한 디코더(270)에 의한 디코딩을 관리한다. 도 4는, 실시간 통신 툴(210)에 포함할 수 있는 예시적인 디코더 시스템(400)을 도시한다. 대안적으로, 실시간 통신 툴(210)은 다른 디코더 시스템을 사용한다.
도 2b에 도시한 네트워크 환경(202)에서, 인코딩 툴(212)은, 디코더(270)를 포함하는 복수의 재생 툴(214)에 전달하기 위한 비디오를 인코딩하는 인코더(220)를 포함한다. 단방향 통신은, 비디오 감시 시스템, 웹 카메라 모니터링 시스템, 원격 데스크톱 회의 프리젠테이션 또는 비디오가 인코딩되어 하나의 위치로부터 하나 이상의 다른 위치로 전송되는 다른 시나리오를 위해 제공할 수 있다. 도 2b의 네트워크 환경(202)이 두 개의 재생 툴(214)을 포함할지라도, 네트워크 환경(202)은 더 많은 또는 더 적은 재생 툴(214)을 포함할 수 있다. 일반적으로, 재생 툴(214)은 인코딩 툴(212)과 통신하여 수신할 재생 툴(214)에 대한 비디오 스트림을 결정한다. 재생 툴(214)은 이 스트림을 수신하여, 적절한 기간 동안 수신한 인코딩된 데이터를 버퍼링하며, 디코딩과 재생을 시작한다.
도 3은, 인코딩 툴(212)에 포함할 수 있는 예시적인 인코더 시스템(300)을 도시한다. 대안적으로, 인코딩 툴(212)은 다른 인코더 시스템을 사용한다. 인코딩 툴(212)은 또한 하나 이상의 재생 툴(214)과의 연결을 관리하기 위한 서버-측 제어기 로직을 포함할 수 있다. 도 4는, 재생 툴(214)에 포함할 수 있는 예시적인 디코더 시스템(400)을 도시한다. 대안적으로, 재생 툴(214)은 다른 디코더 시스템을 사용한다. 재생 툴(214)은 또한 인코딩 툴(212)과의 연결을 관리하기 위한 클라이언트-측 제어기 로직을 포함할 수 있다.
III. 예시적인 인코더 시스템.
도 3은 연계하여 일부 기재한 실시예를 구현할 수 있는 예시적인 인코더 시스템(300)의 도면이다. 인코더 시스템(300)은, 실시간 통신을 위한 저-레이턴시(latency) 인코딩 모드, 트랜스코딩 모드 및 파일 또는 스트림으로부터의 재생을 위한 매체를 발생시키기 위한 고-레이턴시 인코딩 모드와 같은 복수의 인코딩 모드 중 임의의 모드로 동작할 수 있는 범용 인코딩 툴일 수 있거나, 하나의 그러한 인코딩 모드를 위해 되어 있는 전용 인코딩 툴일 수 있다. 인코더 시스템(300)은 운영 체제 시스템 모듈로서, 애플리케이션 라이브러리의 일부분으로서나 독립형 애플리케이션으로서 구현할 수 있다. 전체적으로, 인코더 시스템(300)은 비디오 소스(310)로부터 소스 비디오 프레임(311)의 시퀀스를 수신하여 인코딩된 데이터를 채널(390)로의 출력으로서 발생시킨다. 채널에 출력된 인코딩된 데이터는 본 명세서에서 기재한 바와 같이 BV 예측에서의 혁신을 사용하여 인코딩된 콘텐트를 포함할 수 있다.
비디오 소스(310)는 카메라, 튜너 카드, 저장 매체 또는 다른 디지털 비디오 소스일 수 있다. 비디오 소스(310)는 예컨대 30프레임/초와 같은 프레임 레이트로 비디오 프레임의 시퀀스를 발생시킨다. 본 명세서에서 사용된 바와 같이, 용어, "프레임"은 일반적으로 소스, 코딩된 또는 재구성된 이미지 데이터를 지칭한다. 순차-스캔 비디오의 경우, 프레임은 순차-스캔 비디오 프레임이다. 비월 비디오의 경우, 예시적인 실시예에서, 비월 비디오 프레임은 인코딩 전에 디-인터레이스된다. 대안적으로, 두 개의 상보적인 비월 비디오 필드는 단일 비디오 프레임으로서 함께 인코딩되거나 두 개의 별도로 인코딩된 필드로서 인코딩된다. 순차-스캔 비디오 프레임 또는 비월-스캔 비디오 프레임을 나타내는 것과는 별도로, 용어, "프레임" 또는 "화상"은 단일의 쌍을 이루지 않은(non-paired) 비디오 필드, 비디오 필드의 상보 쌍, 소정의 시간에서 비디오 오브젝트를 표현하는 비디오 오브젝트 플레인, 또는 더 큰 이미지에서의 해당 구역을 나타낼 수 있다. 비디오 오브젝트 플레인 또는 구역은 장면의 복수의 오브젝트나 구역을 포함하는 더 큰 이미지의 일부분일 수 있다.
도착하는 소스 프레임(311)은, 복수의 프레임 버퍼 저장 영역(321, 322,...,32n)을 포함하는 소스 프레임 임시 메모리 저장 영역(320)에 저장된다. 프레임 버퍼(321, 322 등)는 소스 프레임 저장 영역(320)에서 하나의 소스 프레임을 보유한다. 소스 프레임(311) 중 하나 이상이 프레임 버퍼(321, 322 등)에 저장된 후, 프레임 선택기(330)는 소스 프레임 저장 영역(320)으로부터 개별 소스 프레임을 선택한다. 프레임이 인코더(340)에 입력하기 위해 프레임 선택기(330)에 의해 선택되는 순서는, 일부 더 늦은 프레임을 먼저 인코딩되게 하여 임시 후행 예측을 용이하게 하기 위해, 예컨대 일부 프레임의 인코딩의 순서가 지연될 수 있는 것과 같이 프레임이 비디오 소스(310)에 의해 발생되는 순서와 상이할 수 있다. 인코더(340) 전, 인코더 시스템(300)은 인코딩 전 선택된 프레임(331)의 사전-처리(예컨대, 필터링)를 실행하는 사전-프로세서(미도시)를 포함할 수 있다. 사전-프로세서는 1차(예컨대, 루마(luma)) 및 2차(예컨대, 적색을 향한 및 청색을 향한 크로마 차이(chroma difference) 성분으로의 색 공간 변환과 인코딩을 위한 (예컨대, 크로마 성분의 공간 해상도를 감소시키는) 리샘플링 처리를 포함할 수 있다. 통상, 인코딩 전, 비디오는 YUV와 같은 색 공간 - 루마(Y) 성분의 샘플 값은 밝기 또는 세기 값을 표현함 - 으로 변환되었으며, 크로마(U, V) 성분의 샘플 값은 색차 값을 표현한다. 크로마 샘플 값은 (예컨대, YUV 4:2:0 포맷을 위한) 저 크로마 샘플링 레이트로 서브-샘플링될 수 있거나, 크로마 샘플 값은 (예컨대, YUV 4:4:4 포맷을 위한) 루마 샘플 값으로서 동일한 해상도를 가질 수 있다. 또는, 비디오는 다른 포맷(예컨대, RGB 4:4:4 포맷)으로 인코딩될 수 있다.
인코더(340)는 선택된 프레임(331)을 인코딩하여 코딩된 프레임(341)을 발생시키며, 또한 메모리 관리 제어 동작("MMCO") 신호(342) 또는 참조 화상 세트("RPS") 정보를 발생시킨다. 현재의 프레임이 인코딩된 제1 프레임이 아니라면, 그 인코딩 프로세스를 실행할 때, 인코더(340)는, 디코딩된 프레임 임시 메모리 저장 영역(360)에 저장된 하나 이상의 이전 인코딩된/디코딩된 프레임(369)을 사용할 수 있다. 그러한 저장된 디코딩된 프레임(369)은 현재의 소스 프레임(331)의 콘텐트의 인터-프레임 예측을 위해 참조 프레임으로서 사용된다. MMCO/RPS 정보(342)는, 재구성된 프레임이 참조 프레임으로서 사용될 수 있으며 그에 따라 프레임 저장 영역에 저장되어야 함을 디코더에게 나타낸다.
일반적으로, 인코더(340)는, 타일로의 파티션, 인트라 예측 추정과 예측, 모션 추정 및 보상, 주파수 변환, 양자화 및 엔트로피 코딩과 같은 인코딩 작업을 실행하는 복수의 인코딩 모듈을 포함한다. 인코더(340)에 의해 실행되는 정확한 동작은 압축 포맷에 따라 변할 수 있다. 출력된 인코딩된 데이터의 포맷은 HEVC 포맷(H.265)의 변형 또는 확장, 윈도우즈 미디어 비디오 포맷, VC-1 포맷, MPEG-x 포맷(예컨대, MPEG-1, MPEG-2 또는 MPEG-4), H.26x 포맷(예컨대, H.261, H.262, H.263, H.264) 또는 다른 포맷일 수 있다.
인코더(340)는 동일한 크기나 상이한 크기의 복수의 타일로 프레임을 파티션할 수 있다. 예컨대, 인코더(340)는, 프레임 경계에 의해 프레임 내의 타일의 수평 및 수직 경계를 한정하는 타일 행과 타일 열을 따라 프레임을 분할하며, 여기서 각각의 타일은 직사각형 구역이다. 타일은 종종 병렬 처리를 위한 옵션을 제공하는데 사용된다. 프레임은 또한 하나 이상의 슬라이스로서 조직할 수 있으며, 여기서 슬라이스는 전체 프레임 또는 프레임의 구역일 수 있다. 슬라이스는 프레임에서 다른 슬라이스와 독립적으로 디코딩될 수 있으며, 이점은 에러 복원력을 개선한다. 슬라이스나 타일의 콘텐트는 인코딩 및 디코딩을 목적으로 블록 또는 다른 세트의 샘플로 또한 파티션된다.
HEVC 표준에 따른 신택스의 경우, 인코더는 프레임(또는 슬라이스나 타일)의 콘텐트를 코딩 트리 유닛으로 분할한다. 코딩 트리 유닛("CTU")은 루마 코딩 트리 블록("CTB")으로서 조직되는 루마 샘플 값과 두 개의 크로마 CTB로서 조직되는 대응하는 크로마 샘플 값을 포함한다. CTU(및 그 CTB)의 크기는 인코더에 의해 선택하며, 예컨대 64×64, 32×32, 16×16 샘플 값일 수 있다. CTU는 하나 이상의 코딩 유닛을 포함한다. 코딩 유닛("CU")은 루마 코딩 블록("CB")과 두 개의 대응하는 크로마(CB)를 갖는다. 예컨대, 64×64 루마 CTB와 두 개의 64×64 크로마 CTB(YUV 4:4:4 포맷)을 갖는 CTU는 네 개의 CU로 분할될 수 있으며, 각각의 CU는 32×32 루마 CB와 두 개의 32×32 크로마 CB를 포함하며, 각각의 CU는 아마도 더 작은 CU로 더 분할된다. 또는, 다른 예로서, 64×64 루마 CTB와 두 개의 32×32 크로마 CTB을 갖는 CTU(YUV 4:2:0 포맷)는 네 개의 CU로 분할될 수 있으며, 각각의 CU는 32×32 루마 CB와 두 개의 16×16 크로마 CB를 포함하며, 각각의 CU는 아마도 더 작은 CU로 분할된다. CU의 최소 허용 가능 크기(예컨대, 8×8, 16×16)는 비트스트림에서 신호화될 수 있다.
일반적으로 CU는 인터 또는 인트라와 같은 예측 모드를 갖는다. CU는 (예측 모드 상세, 변위 값 등과 같은) 예측 정보의 신호화 및/또는 예측 처리를 목적으로 하나 이상의 예측 유닛을 포함한다. 예측 유닛("PU")은 루마 예측 블록("PB")과 두 개의 크로마 PB를 갖는다. 인트라-예측된 CU의 경우, CU가 최소 크기(예컨대, 8×8)를 갖지 않는다면 PU는 CU와 같은 동일한 크기를 갖는다. 그 경우에, CU는 네 개의 더 작은 PU(예컨대, 최소 CU 크기가 8×8이라면 각각 4×4)로 분할될 수 있거나, PU는 CU에 대한 신택스 요소에 의해 나타낸 바와 같이 최소 CU 크기를 가질 수 있다. CU는 또한 잔류 코딩/디코딩을 목적으로 하나 이상의 변환 유닛을 가지며, 여기서 변환 유닛("TU")은 변환 블록("TB")과 두 개의 크로마 TB를 갖는다. 인트라-예측된 CU에서 PU는 (PU와 같은 크기의) 단일 TU 또는 복수의 TU를 포함할 수 있다. 본 명세서에서 사용된 바와 같이, 용어, "블록"은 환경에 따라서 CB, PB, TB 또는 다른 세트의 샘플 값을 나타낼 수 있다. 인코더는 비디오를 CTU, CU, PU, TU 등으로 파티션하는 방법을 결정한다.
도 3으로 돌아가서, 인코더는, 소스 프레임(331)에서의 다른 이전에 재구성된 샘플 값으로부터의 예측 면에서 소스 프레임(331)의 인트라-코딩된 블록을 표현한다. 인트라 BC 예측의 경우, 인트라-화상 예측기는 다른, 이전에 재구성된 샘플 값에 관한 블록의 변위를 추정한다. 인트라-프레임 예측 참조 구역은, 블록에 대한 BC-예측 값을 생성하는데 사용되는 프레임의 샘플 구역이다. 인트라-프레임 예측 구역은 (BV 추정에서 결정한) 블록 벡터("BV") 값으로 나타낼 수 있다. 블록에 대한 인트라 공간 예측의 경우, 인트라-화상 추정기는 이웃하여 재구성된 샘플 값의 블록으로의 외삽을 추정한다. 인트라-화상 추정기는, 엔트로피 코딩되는 (인트라 공간 예측을 위한 예측 모드(방향) 또는 인트라 BC 예측을 위한 BV 값과 같은) 예측 정보를 출력할 수 있다. 인트라-프레임 예측 예측기는 예측 정보를 적용하여 인트라 예측 값을 결정한다.
인코더(340)는 참조 프레임으로부터의 예측 면에서 소스 프레임(331)의 인터-프레임 코딩된, 예측된 블록을 표현한다. 모션 예측기는 하나 이상의 참조 프레임(369)에 관하여 블록의 모션을 추정한다. 복수의 참조 프레임이 사용될 때, 복수의 참조 프레임이 상이한 시간 방향 또는 동일한 시간 방향으로부터 일 수 있다. 모션-보상된 예측 참조 구역은, 현재의 프레임의 샘플의 블록에 대해 모션-보상된 예측 값을 생성하는데 사용되는 참조 프레임(들)에서의 샘플의 구역이다. 모션 예측기는 엔트로피 코딩되는 모션 벡터("MV") 정보와 같은 모션 정보를 출력한다. 모션 보상기는 MV를 참조 프레임(369)에 적용하여 인터-프레임 예측을 위한 모션-보상된 예측 값을 결정한다.
인코더는 블록의 예측 값(인트라 또는 인터)과 대응하는 원래 값 사이의 차이(있다면)를 결정할 수 있다. 이들 예측 잔류 값은 또한 주파수 변환, 양자화 및 엔트로피 인코딩을 사용하여 인코딩된다. 예컨대, 인코더(340)는 화상, 타일, 슬라이스 및/또는 다른 비디오 부분을 위한 양자화 파라미터("QP")에 대한 값을 설정하고, 그에 따라 변환 계수를 양자화한다. 인코더(340)의 엔트로피 코더는 특정한 부차 정보(예컨대, MV 정보, BV 예측자에 대한 인덱스 값, BV 차분, QP 값, 모드 결정, 파라미터 선택)뿐만 아니라 양자화된 변환 계수를 압축한다. 통상의 엔트로피 코딩 기술은 익스포낸셜-골롬(Exponential-Golomb) 코딩, 골롬-라이스 코딩, 산술 코딩, 차분 코딩, 허프만 코딩, 런 렝쓰 코딩, 가변-길이-대-가변-길이("V2V") 코딩, 가변-길이-대-고정-길이("V2F") 코딩, 렘펠-지브("LZ") 코딩, 딕셔너리 코딩, 확률 인터벌 파티셔닝 엔트로피 코딩("PIPE") 및 이들의 결합을 포함한다. 엔트로피 코더는 상이한 종류의 정보에 대해 상이한 코딩 기술을 사용할 수 있고, (예컨대, 골롬-라이스 코딩 다음에 산술 코딩을 적용함으로써) 복수의 기술을 결합하여 적용할 수 있으며, 특정한 코딩 기술 내에서 복수의 코딩 표 중에서 선택할 수 있다.
적응 디블로킹 필터는 인코더(340)의 모션 보상 루프 내에 포함되어 디코딩된 프레임에서 블록 경계 행 및/또는 열 전반의 불연속성을 평활화한다. (디-링잉 필터링, 적응 루프 필터링("ALF") 또는 샘플-적응 오프셋("SAO") 필터링(미도시)과 같은) 다른 필터링은 인-루프 필터링 동작으로서 대안적으로 또는 추가로 적용될 수 있다.
코딩된 프레임(341)과 MMCO/RPS 정보(342)(또는 프레임에 대한 의존성과 순서 구조가 이미 인코더(340)에 알려져 있으므로 MMCO/RPS 정보(342)에 등가인 정보)는 디코딩 프로세스 에뮬레이터(350)에 의해 처리된다. 디코딩 프로세스 에뮬레이터(350)는 예컨대 디코딩 작업과 같은 디코더의 기능 중 일부를 구현하여 참조 프레임을 재구성한다. MMCO/RPS 정보(342)에 부합하는 방식으로, 디코딩 프로세서 에뮬레이터(350)는 소정의 코딩된 프레임(341)이 재구성되어 인코딩될 후속 프레임의 인터-프레임 예측에서 참조 프레임으로서 사용하기 위해 저장될 필요가 있는지를 결정한다. 코딩된 프레임(341)이 저장될 필요가 있다면, 디코딩 프로세스 에뮬레이터(350)는, 코딩된 프레임(341)을 수신하여 대응하는 디코딩된 프레임(351)을 발생시키는 디코더에 의해 행해지는 디코딩 프로세스를 모델링한다. 그렇게 할 경우, 인코더(340)는 디코딩된 프레임 저장 영역(360)에 저장된 디코딩된 프레임(들)(369)을 사용할 때, 디코딩 프로세스 에뮬레이터(350)는 또한 디코딩 프로세스의 일부분으로서 저장 영역(360)으로부터의 디코딩된 프레임(들)(369)을 사용한다.
디코딩된 프레임 임시 메모리 저장 영역(360)은 복수의 프레임 버퍼 저장 영역(361, 362,...,36n)을 포함한다. MMCO/RPS 정보(352)와 부합하는 방식으로, 디코딩 프로세스 에뮬레이터(350)는, 참조 프레임으로서 사용하기 위해 인코더(340)가 더 이상 필요하지 않게 되는 프레임으로 임의의 프레임 버퍼(361, 362 등)를 식별하기 위해, 저장 영역(360)의 콘텐츠를 관리한다. 디코딩 프로세스를 모델링한 후, 디코딩 프로세스 에뮬레이터(350)는 새롭게 디코딩한 프레임(351)을 이런 식으로 식별한 프레임 버퍼(361, 362 등)에 저장한다.
코딩된 프레임(341)과 MMCO/RPS 정보(342)는 임시 코딩된 데이터 영역(370)에서 버퍼링된다. 코딩된 데이터 영역(370)에 모인 코딩된 데이터는, 기본 코딩된 비디오 비트스트림의 신택스의 일부분으로서, 하나 이상의 화상에 대한 코딩된 데이터를 포함한다. 코딩된 데이터 영역(370)에 모인 코딩된 데이터는 또한 (예컨대, 하나 이상의 보충 향상 정보("SEI") 메시지 또는 비디오 이용성 정보("VUI") 메시지에서의 하나 이상이 파라미터로서) 코딩된 비디오 데이터에 관련된 미디어 메타데이터를 포함할 수 있다.
임시 코딩된 데이터 영역(370)으로부터 모인 데이터(371)는 채널 인코더(380)에 의해 처리된다. 채널 인코더(380)는, (예컨대, ITUT-T H.222.0｜ISO/IEC 13818-1과 같은 미디어 프로그램 스트림 또는 전송 스트림 포맷이나 IETF RFC 3550과 같은 인터넷 실시간 전송 프로토콜 포맷에 따른) 메타 스트림으로서 송신 또는 저장하기 위해 모인 데이터를 패킷화할 수 있고 및/또는 다중화할 수 있으며, 그 경우, 채널 인코더(380)는 미디어 송신 스트림의 신택스의 일부분으로서 신택스 요소를 추가할 수 있다. 또는, 채널 인코더(380)는 (예컨대, ISO/IEC 14496-12와 같은 미디어 컨테이너 포맷에 따라) 파일로서 저장하기 위해 모인 데이터를 조직할 수 있으며, 그 경우, 채널 인코더(380)는 미디어 저장 파일의 신택스의 일부분으로서 신택스 요소를 추가할 수 있다. 또는, 더욱 일반적으로, 채널 인코더(380)는 하나 이상의 미디어 시스템 다중화 프로토콜 또는 전송 프로토콜을 구현할 수 있으며, 그 경우, 채널 인코더(380)는 프로토콜(들)의 신택스의 일부분으로서 신택스 요소를 추가할 수 있다. 채널 인코더(380)는 출력을 채널(390)에 제공하여, 저장, 통신 연결 또는 이 출력을 위한 다른 채널을 표현한다. 채널 인코더(380) 또는 채널(390)은 또한 예컨대 순방향 에러 정정("FEC") 인코딩과 아날로그 신호 변조를 위한 다른 요소(미도시)를 포함할 수 있다.
IV. 예시적인 디코더 시스템.
도 4는 연계하여 일부 기재한 실시예를 구현할 수 있는 예시적인 디코더 시스템(400)의 블록도이다. 디코더 시스템(400)은, 실시간 통신을 위한 저-레이턴시 디코딩 모드와 파일 또는 스트림으로부터의 미디어 재생을 위한 고-레이턴시 디코딩 모드와 같은 복수의 디코딩 모드 중 임의의 모드에서 동작할 수 있는 범용 디코딩 툴일 수 있거나, 하나의 그러한 디코딩 모드가 되도록 된 전용 디코딩 툴일 수 있다. 디코더 시스템(400)은 애플리케이션 라이브러리의 일부분으로서나 독립형 애플리케이션으로서 운영 체제 모듈로서 구현할 수 있다. 전체적으로, 디코더 시스템(400)은 채널(410)로부터 코딩된 데이터를 수신하여, 출력 목적지(490)에 대한 출력으로서 재구성된 프레임을 발생시킨다. 코딩된 데이터는, 본 명세서에서 기재한 바와 같은 BV 예측에서의 혁신을 사용하여 인코딩된 콘텐트를 포함할 수 있다.
디코더 시스템(400)은 채널(410)을 포함하여, 저장, 통신 연결 또는 입력으로서 코딩된 데이터에 대한 다른 채널을 표현할 수 있다. 채널(410)은 채널 코딩된 코딩된 데이터를 발생시킨다. 채널 디코더(420)는 코딩된 데이터를 처리할 수 있다. 예컨대, 채널 디코더(420)는 (예컨대, ITUT-T H.222.0｜ISO/IEC 13818-1과 같은 미디어 프로그램 스트림 또는 전송 스트림 포맷이나 IETF RFC 3550과 같은 인터넷 실시간 전송 프로토콜 포맷에 따른) 메타 스트림으로서 송신 또는 저장하기 위해 모인 데이터를 패킷화해제할 수 있고 및/또는 역다중화할 수 있으며, 그 경우, 채널 디코더(420)는 미디어 송신 스트림의 신택스의 일부분으로서 추가된 신택스 요소를 파싱할 수 있다. 또는, 채널 디코더(420)는 (예컨대, ISO/IEC 14496-12와 같은 미디어 컨테이너 포맷에 따라) 파일로서 저장하기 위해 모인 데이터를 분리하며, 그 경우, 채널 디코더(420)는 미디어 저장 파일의 신택스의 일부분으로서 추가된 신택스 요소를 파싱할 수 있다. 또는, 더욱 일반적으로, 채널 디코더(420)는 하나 이상의 미디어 시스템 역다중화 프로토콜 또는 전송 프로토콜을 구현할 수 있으며, 그 경우, 채널 디코더(420)는 프로토콜(들)의 신택스의 일부분으로서 추가된 신택스 요소를 파싱할 수 있다. 채널(410) 또는 채널 디코더(420)는 또한 예컨대 FEC 디코딩과 아날로그 신호 복조를 위한 다른 요소(미도시)를 포함할 수 있다.
채널 디코더(420)로부터 출력되는 코딩된 데이터(421)는, 충분한 양의 그러한 데이터를 수신할 때까지 임시 코딩된 데이터 영역(430)에 저장된다. 코딩된 데이터(421)는 코딩된 프레임(431)과 MMCO/RPS 정보(432)를 포함한다. 코딩된 데이터 영역(430)에서의 코딩된 데이터(421)는, 기본 코딩된 비디오 비트스트림의 신택스의 일부분으로서, 하나 이상의 화상을 위한 코딩된 데이터를 포함한다. 코딩된 데이터 영역(430)에서의 코딩된 데이터(421)는 또한 (예컨대, 하나 이상의 SEI 메시지 또는 VUI 메시지에서의 하나 이상의 파라미터로서) 인코딩된 비디오 데이터에 관한 미디어 메타데이터를 포함할 수 있다.
일반적으로, 코딩된 데이터 영역(430)은, 그러한 코딩된 데이터(421)가 디코더(450)에 의해 사용될 때까지 코딩된 데이터(421)를 임시로 저장한다. 이 지점에서, 코딩된 프레임(431)과 MMCO/RPS 정보(432)를 위한 코딩된 데이터는 코딩된 데이터 영역(430)으로부터 디코더(450)로 전송된다. 디코딩을 계속함에 따라, 새로 코딩된 데이터가 코딩된 데이터 영역(430)에 추가되며, 코딩된 데이터 영역(430)에 남아 있는 가장 오래된 코딩된 데이터가 디코더(450)에 전송된다.
디코더(450)는 코딩된 프레임(431)을 디코딩하여, 대응하는 디코딩된 프레임(451)을 발생시킨다. 적절히는, 그 디코딩 프로세스를 실행할 때, 디코더(450)는 인터-프레임 예측을 위한 참조 프레임으로서 하나 이상의 이전에 코딩된 프레임(469)을 사용할 수 있다. 디코더(450)는 디코딩된 프레임 임시 메모리 저장 영역(460)으로부터 그러한 이전에 디코딩된 프레임(469)을 판독한다. 일반적으로, 디코더(450)는, 엔트로피 디코딩, 인트라-프레임 예측, 모션-보상된 인터-프레임 예측, 역양자화, 역주파수 변환 및 타일의 병합과 같은 디코딩 작업을 실행하는 복수의 디코딩 모듈을 포함한다. 디코더(450)에 의해 실행되는 정확한 동작은 압축 포맷에 따라 변할 수 있다.
예컨대, 디코더(450)는 압축된 프레임 또는 프레임 시퀀스를 위한 인코딩된 데이터를 수신하여 디코딩된 프레임(451)을 포함하는 출력을 발생시킨다. 디코더(450)에서, 버퍼는 압축된 프레임을 위한 인코딩된 데이터를 수신하고, 적절한 시간에, 수신된 인코딩된 데이터를 엔트로피 디코더에 이용 가능하게 만든다. 엔트로피 디코더는 엔트로피-코딩된 부차 정보뿐만 아니라 엔트로피-코딩된 양자화된 데이터를 엔트로피 디코딩하며, 통상 인코더에서 실행한 엔트로피 인코딩의 역을 적용한다. 모션 보상기가 모션 정보를 하나 이상의 참조 프레임에 적용하여, 재구성 중인 프레임의 임의의 인터-코딩된 블록을 위한 모션-보상된 예측 값을 형성한다. 인트라-프레임 예측 모듈은 이웃하는 이전에 재구성된 샘플 값으로부터 현재의 블록의 샘플 값을 공간적으로 예측할 수 있거나, 인트라 BC 예측의 경우, 프레임의 인트라-프레임 예측 구역의 이전에 재구성된 샘플 값을 사용하여 현재의 블록의 샘플 값을 예측할 수 있다. 인트라-프레임 예측 구역은 BV 값으로 나타낼 수 있다. 디코더(450)는 또한 예측 잔류 값을 재구성한다. 역양자화기는 엔트로피-디코딩된 데이터를 역양자화한다. 예컨대, 디코더(450)는, 비트스트림에서의 신택스 요소를 기초로 하여 화상, 타일, 슬라이스 및/또는 비디오의 다른 부분에 대한 QP를 위한 값을 설정하고, 그에 따른 변환 계수를 역양자화한다. 역주파수 변환기 양자화된 주파수-도메인 데이터를 공간-도메인 데이터로 변환한다. 인터-프레임 예측된 블록의 경우, 디코더(450)는 모션-보상된 예측 값과 재구성된 예측 잔류 값을 결합한다. 디코더(450)는 유사하게도 인트라 예측으로부터의 예측 값과 예측 잔류 값을 결합할 수 있다. 적응 디블로킹 필터를 비디오 디코더(450)의 모션 보상 루프 내에 포함하여 디코딩된 프레임(451)에서의 블록 경계 행 및/또는 열 전반에서의 불연속성을 평활화한다. (디-링잉 필터링, ALF 또는 SAO 필터링(미도시)과 같은) 다른 필터링은 인-루프 필터링 동작으로서 대안적으로 또는 추가로 적용될 수 있다.
디코딩된 프레임 임시 메모리 저장 영역(460)은 복수의 프레임 버퍼 저장 영역(461, 462,...,46n)을 포함한다. 디코딩된 프레임 저장 영역(460)은 디코딩된 화상 버퍼의 예이다. 디코더(450)는 MMCO/RPS 정보(432)를 사용하여, 디코딩 프레임(451)을 저장할 수 있는 프레임 버퍼(461, 462 등)를 식별한다. 디코더(450)는 이 프레임 버퍼에 디코딩된 프레임(451)을 저장한다.
출력 시퀀서(480)는, 출력 순서로 발생될 그 다음 프레임이 디코딩된 프레임 저장 영역(460)에서 이용 가능한 때를 식별한다. 출력 순서로 발생될 그 다음 프레임(481)이 디코딩된 프레임 저장 영역(460)에서 이용 가능할 때, 이 프레임은 출력 시퀀서(480)에 의해 판독되어 출력 목적지(490)(예컨대, 디스플레이)에 출력된다. 일반적으로, 프레임이 출력 시퀀서(480)에 의해 디코딩된 프레임 저장 영역(460)으로부터 출력되는 순서는 프레임이 디코더(450)에 의해 디코딩되는 순서와는 상이할 수 있다.
V. 예시적인 비디오 인코더.
도 5a 및 도 5b는 연계하여 일부 기재한 실시예를 구현할 수 있는 일반화한 비디오 인코더(500)의 블록도이다. 인코더(500)는 입력 비디오 신호(505)로서 현재의 화상을 포함하는 비디오 화상의 시퀀스를 수신하여, 출력으로서 코딩된 비디오 비트스트림(595)에서 인코딩된 데이터를 발생시킨다.
인코더(500)는 블록에 기초하며, 구현에 의존하는 블록 포맷을 사용한다. 블록은 예컨대 예측, 주파수 변환 및/또는 엔트로피 인코딩 스테이지에서와 같은 상이한 스테이지에서 추가로 세분될 수 있다. 예컨대, 화상은 64×64 블록, 32×32 블록 또는 16×16 블록으로 나눌 수 있으며, 이들은 다시 샘플 값의 더 작은 블록으로 나눌 수 있어서 코딩 및 디코딩할 수 있다. HEVC 표준을 위한 인코딩 구현에서, 화상은 CTU(CTB), CU(CB), PU(PB) 및 TU(TB)로 파티션한다.
인코더(500)는 인트라-화상 코딩 및/또는 인터-화상 코딩을 사용하여 화상을 압축한다. 인코더(500)의 많은 구성요소가 인트라-화상 코딩 및 인터-화상 코딩 모두에 사용된다. 이들 구성요소가 실행하는 정확한 동작은 압축 중인 정보의 타입에 따라 변할 수 있다.
타일링 모듈(510)은 부가적으로 화상을 동일한 크기나 상이한 크기의 복수의 타일로 파티션한다. 예컨대, 타일링 모듈(510)은, 화상 경계에 의해서 화상 내의 타일의 수평 및 수직 경계를 한정하는 타일 행과 타일 열을 따라 화상을 분할하며, 여기사 각각의 타일은 직사각형 구역이다.
일반적인 인코딩 제어(520)는 인코더(500)의 여러 모듈로부터의 피드백(미도시)뿐만 아니라 입력 비디오 신호(505)에 대한 화상을 수신한다. 전체적으로, 일반적인 인코딩 제어(520)는 제어 신호(미도시)를 (타일링 모듈(510), 변환기/스케일러/양자화기(530), 스케일러/역변환기(535), 인트라-화상 추정기(540), 모션 추정기(550) 및 인트라/인터 스위치와 같은) 다른 모듈에 제공하여, 인코딩 동안 코딩 파라미터를 설정하고 변화시킨다. 특히, 일반적인 인코딩 제어(520)는 인코딩 동안 BV 예측의 양상(예컨대, 예측된 BV 값을 갖는 스킵 모드, BV 예측에 대한 병합 모드)을 사용할지와 그 방법을 결정할 수 있다. 일반적인 인코딩 제어(520)는 또한 예컨대 레이트-왜곡 분석을 실행하는 것과 같이 인코딩 동안 중간 결과를 평가할 수 있다. 일반적인 인코딩 제어(520)는, 인코딩 동안 이뤄진 결정을 나타내는 일반적인 제어 데이터(522)를 발생시켜, 대응하는 디코더는 부합하는 결정을 할 수 있다. 일반적인 제어 데이터(522)는 헤더 포맷기/엔트로피 코더(590)에 제공된다.
현재의 화상이 인터-화상 예측을 사용하여 예측된다면, 모션 추정기(550)는 하나 이상의 참조 화상에 관한 입력 비디오 신호(505)의 현재의 화상의 샘플 값의 블록 모션을 추정한다. 디코딩된 화상 버퍼(570)는 참조 화상으로서 사용하기 위해 하나 이상의 재구성된 이전 코딩된 화상을 버퍼링한다. 복수의 참조 화상을 사용할 때, 복수의 참조 화상은 상이한 시간 방향 또는 동일한 시간 방향으로부터 올 수 있다. 모션 추정기(550)는 MV 데이터, 병합 모드 인덱스 값 및 참조 화상 선택 데이터와 같은 모션 데이터(552)를 부차 정보로서 발생시킨다. 모션 데이터(552)는 모션 보상기(555)뿐만 아니라 헤더 포맷기/엔트로피 코더(590)에 제공된다.
모션 보상기(555)는 MV를 디코딩된 화상 버퍼(570)로부터 재구성된 참조 화상(들)에 적용하다. 모션 보상기(555)는 현재의 화상에 대한 모션-보상된 예측을 발생시킨다.
인코더(500) 내의 별도의 경로에서, 인트라-화상 추정기(540)는 입력 비디오 신호(505)의 현재의 화상의 샘플 값의 블록에 대한 인트라-화상 예측을 실행하는 방법을 결정한다. 현재의 화상은 인트라-화상 코딩을 사용하여 전체적으로 또는 부분적으로 코딩할 수 있다. 인트라 공간 예측을 위해, 현재의 화상의 재구성치(538)의 값을 사용하여, 인트라-화상 추정기(540)는 현재의 화상의 이웃한 이전에 재구성된 샘플 값으로부터 현재의 화상의 현재의 블록의 샘플 값을 공간적으로 예측하는 방법을 결정한다. 또는, BV 값을 사용한 인트라 BC 예측을 위해, 인트라-화상 추정기(540)는 현재의 화상 내의 상이한 후보 구역으로의 현재의 블록의 샘플 값의 변위를 추정한다.
인트라-화상 추정기(540)는, 인트라 예측이 공간 예측 또는 인트라 BC 예측(예컨대, 인트라 블록 당 플래그 값), (인트라 공간 예측의 경우의) 예측 모드 방향, 및 (인트라 BC 예측의 경우의) BV 값을 사용하는지를 나타내는 정보와 같은 인트라 예측 데이터(542)를 부차 정보로서 발생시킨다. 인트라 예측 데이터(542)는 인트라-화상 예측기(545)뿐만 아니라 헤더 포맷기/엔트로피 코더(590)에 제공된다.
인트라 예측 데이터(542)에 따라, 인트라-화상 예측기(545)는 현재의 화상의 이웃한 인접하게 재구성된 샘플 값으로부터 현재의 화상의 현재의 블록의 샘플 값을 공간적으로 예측한다. 또는, 인트라 BC 예측의 경우, 인트라-화상 예측기(545)는, 현재의 블록에 대한 BV 값에 의해 나타낸 인트라-프레임 예측 구역의 이전에 재구성된 샘플 값을 사용하여 현재의 블록의 샘플 값을 예측한다. (예컨대, 스킵-모드 블록 또는 병합 모드 블록의 경우와 같은) 일부 경우에, BV 값은 BV 예측자(예측된 BV 값)일 수 있다. 화상에 대한 크로마 데이터가 루마 데이터와 동일한 해상도를 가질 때(예컨대, 포맷이 YUV 4:4:4 포맷 또는 RGB 4:4:4 포맷일 때), 크로마 블록에 적용되는 BV 값은 루마 블록에 적용되는 BV 값과 동일할 수 있다. 다른 한편으로, 화상에 대한 크로마 데이터가 루마 데이터에 대해 해상도를 감소시킬 때(예컨대, 포맷이 YUV 4:2:0 포맷일 때), 크로마 블록에 적용되는 BV 값은 (예컨대, BV 값의 수직 및 수평 성분을 2로 나누고 이들 성분을 정수값으로 트렁케이트(truncate) 또는 사사오입함으로써) 크로마 해상도의 차이를 조정하도록 스케일 다운될 수 있고 아마도 사사오입될 수 있다.
인트라/인터 스위치는 소정의 블록에 대한 예측치(558)로서 사용하기 위한 모션-보상된 예측 또는 인트라-화상 예측의 값을 선택한다. 예측치(558)의 블록과 입력 비디오 신호(505)의 원래의 현재의 화상의 대응하는 부분 사이의 차이(있다면)는 비-스킵-모드 블록에 대해 잔류(518)의 값을 제공한다. 비-스킵-모드 블록에 대해, 현재 화상의 재구성 동안, 재구성된 잔류 값은 예측치(558)와 결합되어 비디오 신호(505)로부터 원래의 콘텐트의 재구성치(538)를 발생시킨다. 손실 압축에서, 그러나, 일부 정보는 비디오 신호(505)로부터 여전히 손실된다.
변환기/스케일러/양자화기(530)에서, 주파수 변환기는 공간-도메인 비디오 정보를 주파수-도메인(즉, 스펙트럼 변환) 데이터로 변환한다. 블록-기초 비디오 코딩의 경우, 비디오 변환기는 이산 코사인 변환("DCT"), 그 정수 근사 또는 다른 타입의 전방 블록 변환(예컨대, 이산 사인 변환 또는 그 정수 근사)을 예측 잔차 데이터(또는 예측치(558)가 널인 경우 샘플 값 데이터)의 블록에 적용하여, 주파수 변환 계수의 블록을 발생시킨다. 인코더(500)는 또한 그러한 변환 단계를 스킵함을 나타낼 수 있다. 스케일러/양자화기는 변환 계수를 스케일링 및 양자화한다. 예컨대, 양자화기는 데드-존 스케일러 양자화를 프레임 단위, 타일 단위, 슬라이스 단위, 블록 단위, 주파수 특정 단위 또는 기타 단위로 변하는 양자화 스텝 크기로 주파수-도메인 데이터에 적용한다. 양자화된 변환 계수 데이터(532)는 헤더 포맷기/엔트로피 코더(590)에 제공된다.
스케일러/역변환기(535)에서, 스케일러/역양자화기는 양자화된 변환 계수에 관한 역스케일링 및 역양자화를 실행한다. 역주파수 변환기는 역주파수 변환을 실행하여, 재구성된 예측 잔류 값 또는 샘플 값의 블록을 발생시킨다. 비-스킵-모드 블록의 경우, 인코더(500)는 재구성된 잔류 값을 예측치(558)의 값(예컨대, 모션-보상된 예측 값, 인트라-화상 예측 값)과 결합하여, 재구성치(538)를 형성한다. 스킵-모드 블록의 경우, 인코더(500)는 재구성치(538)로서 예측치(558)의 값을 사용한다.
인트라-화상 예측의 경우, 재구성치(538)의 값은 인트라-화상 추정기(540)와 인트라-화상 예측기(545)에 피드백될 수 있다. 또한, 재구성치(538의 값은 후속한 화상의 모션-보상된 예측에 사용할 수 있다. 재구성치(538)의 값은 더 필터링될 수 있다. 필터링 제어(560)는 비디오 신호(505)의 소정의 화상에 대해 재구성치(538)의 값에 관한 디블록 필터링 및 SAO 필터링을 실행하는 방법을 결정한다. 필터링 제어(560)는 필터 제어 데이터(562)를 발생시키며, 이 데이터는 헤더 포맷기/엔트로피 코더(590)와 병합기/필터(들)(565)에 제공된다.
병합기/필터(들)(565)에서, 인코더(500)는 상이한 타일로부터의 콘텐트를 화상의 재구성된 버전에 통합한다. 인코더(500)는 필터 제어 데이터(562)에 따라 디블록 필터링 및 SAO 필터링을 선택적으로 실행하여, 프레임에서의 경계 전반에서 불연속성을 적응적으로 평활화한다. (디-링잉 필터링 또는 ALF(미도시)와 같은) 다른 필터링을 대안적으로 또는 추가로 적응할 수 있다. 타일 경계는, 인코더(500)의 설정치에 따라 선택적으로 필터링될 수 있거나 전혀 필터링되지 않을 수 있으며, 인코더(500)는 코딩된 비트스트림 내에 신택스를 제공할 수 있어서 그러한 필터링이 적용되었는지를 나타낼 수 있다. 디코딩된 화상 버퍼(570)는 후속한 움직임-보상된 예측에서 사용하기 위해 재구성된 현재의 화상을 버퍼링한다.
헤더 포맷기/엔트로피 코더(590)는 일반적인 제어 데이터(522), 양자화된 변환 계수 데이터(532), 인트라 예측 데이터(542), 모션 데이터(552) 및 필터 제어 데이터(562)를 포맷 및/또는 엔트로피 코딩한다. 인트라 예측 데이터(542)의 경우, 헤더 포맷기/엔트로피 코더(590)는 예컨대 컨텍스트-적응 이진 산술 코딩을 사용하여 (인트라 BC 예측의 경우) BV 예측자 인덱스 값을 선택하고 엔트로피 코딩한다. 비-스킵-모드, 비-병합-모드 블록의 경우, 헤더 포맷기/엔트로피 코더(590)는 (BV 값에 대한 BV 예측자에 관한) BV 값의 BV 차분을 결정한 후, 예컨대 컨텍스트-적응 이진 산술 코딩을 사용하여 BV 차분을 엔트로피 코딩한다. 스킵-모드 블록 또는 병합-모드 블록의 경우, BV 차분은 생략한다.
헤더 포맷기/엔트로피 코더(590)는 코딩된 비디오 비트스트림(595)에서 인코딩된 데이터를 제공한다. 코딩된 비디오 비트스트림(595)의 포맷은 HEVC 포맷의 변형 또는 확장, 윈도우즈 미디어 비디오 포맷, VC-1 포맷, MPEG-x 포맷(예컨대, MPEG-1, MPEG-2 또는 MPEG-4), H.26x 포맷(예컨대, H.261, H.262, H.263, H.264) 또는 다른 포맷일 수 있다.
원하는 압축 타입과 구현에 따라, 인코더의 모듈은 추가, 생략, 복수의 모듈로 분할, 다른 모듈과 결합 및/또는 유사 모듈로 교체될 수 있다. 대안적인 실시예에서, 상이한 모듈 및/또는 다른 구성의 모듈을 갖는 인코더가 기재한 기술 중 하나 이상을 실행한다. 인코더의 특정한 실시예는 통상 인코더(500)의 변형 또는 보충된 버전을 사용한다. 인코더(500) 내의 모듈 사이에 도시한 관계는 인코더에서 정보의 일반적인 흐름을 나타내며; 다른 관계를 간략성을 위해 도시하지 않는다.
VI. 예시적인 비디오 디코더.
도 6은 연계하여 일부 기재한 실시예를 구현할 수 있는 일반화된 디코더(600)의 블록도이다. 디코더(600) 코딩된 비디오 비트스트림(605)에서 인코딩된 데이터를 수신하여 재구성된 비디오(695)를 위한 화상을 포함한 출력을 발생시킨다. 코딩된 비디오 비트스트림(605)의 포맷은 HEVC 포맷의 변형 또는 확장, 윈도우즈 미디어 비디오 포맷, VC-1 포맷, MPEG-x 포맷(예컨대, MPEG-1, MPEG-2 또는 MPEG-4), H.26x 포맷(예컨대, H.261, H.262, H.263, H.264) 또는 다른 포맷일 수 있다.
디코더(600)는 블록에 기초하며, 구현에 의존하는 블록 포맷을 사용한다. 블록은 상이한 스테이지에서 추가로 세분될 수 있다. 예컨대, 화상은 64×64 블록, 32×32 블록 또는 16×16 블록으로 나눌 수 있으며, 이들은 다시 샘플 값의 더 작은 블록으로 나눌 수 있다. HEVC 표준을 위한 디코딩 구현에서, 화상은 CTU(CTB), CU(CB), PU(PB) 및 TU(TB)로 파티션한다.
디코더(600)는 인터라-화상 디코딩 및/또는 인터-화상 디코딩을 사용하여 화상을 압축해제한다. 디코더(600)의 많은 구성요소는 인트라-화상 디코딩과 인터-화상 디코딩 모두에 사용된다. 이들 구성요소에 의해 실행되는 정확한 동작은 압축해제중인 정보의 타입에 따라 변할 수 있다.
버퍼는 코딩된 비디오 비트스트림(605)에서 인코딩된 데이터를 수신하여 수신된 인코딩된 데이터가 파서/엔트로피 디코더(610)에 이용 가능하게 한다. 파서/엔트로피 디코더(610)는 엔트로피-코딩된 데이터를 엔트로피 디코딩하여, 통상 인코더(500)에서 실행되는 엔트로피 코딩의 역(예컨대, 컨텍스트-적응 이진 산술 디코딩)을 적용한다. 파싱 및 엔트로피 디코딩의 결과로서, 파서/엔트로피 디코더(610)는 일반적인 제어 데이터(622), 양자화된 변환 계수 데이터(632), 인트라 예측 데이터(642), 모션 데이터(652) 및 필터 제어 데이터(662)를 발생시킨다. 인트라 예측 데이터(642)의 경우, 파서/엔트로피 디코더(610)는 예컨대, 컨텍스트-적응 이진 산술 디코딩을 사용하여 (인트라 BC 예측의 경우) BV 예측자 인덱스 값을 엔트로피 디코딩한다. 비-스킵-모드, 비-병합-모드 블록의 경우, 파서/엔트로피 디코더(610)는 (예컨대, 컨텍스트-적응 이진 산술 디코딩을 사용하여) BV 값의 BV 차분을 또한 엔트로피 디코딩한 후, BV 차분을 대응하는 BV 예측자와 결합하여 BV 값을 재구성한다. 스킵-모드 블록 또는 병합-모드 블록의 경우, BV 차분은 비트스트림에서 생략하고, BV 값은 단지 (예컨대, BV 예측자 인덱스 값으로 나타내는) BV 예측자이다.
일반적인 디코딩 제어(620)는 일반적인 제어 데이터(622)를 수신하여 제어 신호(미도시)를 (스케일러 역변환기(635), 인트라-화상 예측기(645), 모션 보상기(655) 및 인트라/인터 스위치와 같은) 다른 모듈에 제공하여 디코딩 동안 디코딩 파라미터를 설정하고 변화시킨다.
현재의 화상을 인터-화상 예측을 사용하여 예측한다면, 모션 보상기(655)는 MV 데이터, 참조 화상 선택 데이터 및 병합 모드 인덱스 값과 같은 모션 데이터(652)를 수신하다. 모션 보상기(655)는 MV를 디코딩된 화상 버퍼(670)로부터 재구성된 참조 화상(들)에 적용한다. 모션 보상기(655)는 현재의 화상의 인터-코딩된 블록에 대한 모션-보상된 예측을 발생시킨다. 디코딩된 화상 버퍼(670)는 참조 화상으로서 사용하기 위해 하나 이상의 이전 재구성된 화상을 저장한다.
디코더(600) 내의 별도의 경로에서, 인트라-프레임 예측 예측기(645)는, 인트라 예측이 공간 예측 또는 인트라 BC 예측(예컨대, 인트라 블록 당 플래그 값)을 사용하는지를 나타내는 정보, (인트라 공간 예측의 경우) 예측 모드 방향과 (인트라 BC 예측의 경우) BV 값과 같은 인트라 예측 데이터(642)를 수신한다. 인트라 공간 예측의 경우, 현재의 화상의 재구성치(638)의 값을 사용하여, 예측 모드 데이터에 따라, 인트라-화상 예측기(645)는 현재 화상의 이웃한 이전의 재구성된 샘플 값으로부터 현재의 화상의 현재의 블록의 샘플 값을 공간적으로 예측한다. 또는, BV 값을 사용하는 인트라 BC 예측의 경우, 인트라-화상 예측기(645)는, 현재의 블록에 대한 BV 값에 의해 나타내는 인트라-프레임 예측 구역의 이전 재구성된 샘플 값을 사용하여 현재의 블록의 샘플 값을 예측한다.
인트라/인터 스위치는 소정의 블록에 대한 예측치(658)로서 사용하기 위한 모션-보상된 예측 또는 인트라-화상 예측의 값을 선택한다. 예컨대, HEVC 신택스가 다음에 올 때, 인트라/인터 스위치는, 인트라-예측된 CU와 인터-예측된 CU를 포함할 수 있는 화상의 CU에 대해 인코딩된 신택스 요소를 기초로 제어할 수 있다. 비-스팁-모드 블록의 경우, 디코더(600)는 예측치(658)를 재구성된 잔류 값과 결합하여 비디오 신호로부터의 콘텐트의 재구성치(638)를 발생시킨다. 스킵-모드 블록의 경우, 디코더(600)는 재구성치(638)로서 예측치(658)의 값을 사용한다.
비-스킵-모드 블록에 대한 잔류를 재구성하기 위해, 스케일러/역변환기(635)는 양자화된 변환 계수 데이터(632)를 수신하여 처리한다. 스케일러/역변환기(635)에서, 스케일러/역변환기는 양자화된 변환 계수에 관한 역스케일링 및 역양자화를 실행한다. 역주파수 변환기는 역주파수 변환을 실행하여, 재구성된 예측 잔류 값 또는 샘플 값의 블록을 발생시킨다. 예컨대, 역주파수 변환기는 역블록 변환을 주파수 변환 계수에 적용하여, 샘플 값 데이터 또는 예측 잔차 데이터를 발생시킨다. 역주파수 변환은 역DCT, 그 정수 근사나 다른 타입의 역주파수 변환(예컨대, 역이산 사인 변환 또는 그 정수 근사)일 수 있다.
인트라-화상 예측의 경우, 재구성치(638)의 값은 인트라-화상 예측기(645)에 피드백될 수 있다. 인터-화상 예측의 경우, 재구성치(638)의 값은 더 필터링할 수 있다. 병합기/필터(들)(665)에서, 디코더(600)는 상이한 타일로부터의 콘텐트를 화상의 재구성된 버전으로 통합한다. 디코더(600)는 필터 제어 데이터(662)와 필터 적응을 위한 규칙에 따라 디블록 필터링과 SAO 필터링을 선택적으로 실행하여, 프레임에서 경계 전반의 불연속성을 적응적으로 평활화한다. (디-링잉 필터링 또는 ALF(미도시)와 같은) 다른 필터링은 대안적으로 또는 추가로 적응할 수 있다. 타일 경계는 디코더(600)의 설정치나 인코딩된 비트스트림 데이터 내의 신택스 지시에 따라 선택적으로 필터링할 수 있거나 전혀 필터링하지 않을 수 있다. 디코딩된 화상 버퍼(670)는 후속한 모션-보상된 예측에 사용하기 위해 재구성된 현재의 화상을 버퍼링한다.
디코더(600)는 후-처리 필터를 또한 포함할 수 있다. 후-처리 필터(608)는 디-링잉 필터링, 적응 위즈너 필터링, 필름-그레인 재생 필터링, SAO 필터링 또는 다른 종류의 필터링을 포함할 수 있다.
원하는 압축해제 타입과 구현에 따라, 디코더의 모듈은 추가, 생략, 복수의 모듈로 분할, 다른 모듈과 결합 및/또는 유사 모듈로 교체될 수 있다. 대안적인 실시예에서, 상이한 모듈 및/또는 다른 구성의 모듈을 갖는 디코더가 기재한 기술 중 하나 이상을 실행한다. 디코더의 특정한 실시예는 통상 디코더(600)의 변형 또는 보충된 버전을 사용한다. 디코더(600) 내의 모듈 사이에 도시한 관계는 디코더에서 정보의 일반적인 흐름을 나타내며; 다른 관계를 간략성을 위해 도시하지 않는다.
VII. 블록 벡터 예측에서의 혁신.
본 절은 블록 벡터("BV") 예측의 여러 가지 특성을 제시한다. 일부 특성은 디폴트 BV 예측자의 사용에 관한 것인 반면, 다른 특성은 BV 예측자의 경우 병합 모드와 인트라 블록 카피("BC") 예측의 경우 스킵 모드에 관한 것이다. 이들 특성은, 레이트-왜곡 성능 면에서 더욱 효율적인 인트라 BC 예측을 용이하게 할 수 있다.
특히, 기재한 혁신은, 스크린-캡쳐 콘텐트와 같은 특정한 '인공적으로' 만든 비디오 콘텐트를 인코딩할 때 레이트-왜곡 성능을 개선할 수 있다. 스크린-캡쳐 콘텐트는 통상, 인트라 BC 예측의 기회를 제공하여 성능을 개선하는 반복된 구조(예컨대, 그래픽, 텍스트 문자)를 포함한다. 스크린 캡쳐 콘텐트는 보통 고 크로마 샘플링 해상도를 갖는 포맷(예컨대, YUV 4:4:4 또는 RGB 4:4:4)으로 인코딩되지만, 저 크로마 샘플링 해상도(예컨대, YUV 4:2:0)를 갖는 포맷으로도 인코딩할 수 있다. 스크린-캡쳐 콘텐트의 인코딩/디코딩에 대한 공통된 시나리오는 원격 데스크톱 회의와 자연적인 비디오 또는 다른 "혼합된 콘텐트" 비디오에 관한 그래픽 오버레이의 인코딩/디코딩을 포함한다.
A. 인트라 BC 예측 모드, BV 값 및 BV 예측 - 소개.
인트라 BC 예측의 경우, 화상의 현재의 블록의 샘플 값은 동일 화상에서의 샘플 값을 사용하여 예측한다. BV 값은 현재의 블록으로부터 예측에 사용되는 샘플 값을 포함하는 화상의 구역으로의 변위를 나타낸다. 예측에 사용되는 샘플 값은 이전에 재구성된 샘플 값이다. BV 값은 비트스트림에서 신호화할 수 있으며, 디코더는 BV 값을 사용할 수 있어서, 예측에 사용할 화상의 구역을 결정할 수 있으며, 일한 값은 디코더에서 또한 재구성된다. 인트라 BC 예측은 인트라-화상 예측의 형태이다 - 화상의 블록에 대한 인트라 BC 예측은 동일 화상에서의 샘플 값이 아닌 임의의 샘플 값을 사용하지 않는다
도 7a는 현재의 프레임(710)의 현재의 블록(760)에 대한 인트라 BC 예측을 예시한다. 현재의 블록은 코딩 유닛(coding unit; "CU")의 코딩 블록(coding block; "CB"), 예측 유닛(prediction unit; "PU")의 예측 블록(prediction block; "PB"), 변환 유닛(transform unit; "TU")의 변환 블록(transform block; "TB") 또는 다른 블록일 수 있다. 현재의 블록의 크기는 64×64, 32×32, 16×16, 8×8 또는 일부 다른 크기일 수 있다. 더욱 일반적으로, 현재의 블록의 크기는 m×n이며, 여기서 m 및 n 각각은 자연수이며, m 및 n은 서로 동일할 수 있거나 상이한 값을 가질 수 있다. 대안적으로, 현재의 블록은 일부 다른 형상(예컨대, 비-직사각형 형상을 갖는 코딩된 비디오 오브젝트의 영역)을 가질 수 있다.
BV(761)는 현재의 블록(760)으로부터 예측에 사용되는 샘플 값을 포함하는 화상의 구역(762)으로의 변위(또는 오프셋)를 나타낸다. BV(761)에 의해 나타낸 인트라-프레임 예측 구역(762)은 종종 현재의 블록(760)에 대한 "매칭 블록"이라고 한다. 매칭 블록은 현재의 블록(760)과 같을 수 있거나 현재의 블록(760)의 근사치일 수 있다. 현재의 블록의 상단 왼쪽 위치가 현재의 프레임에서 위치(x0, y0)에 있다고 가정하고, 인트라-프레임 예측 구역의 상단 좌측 위치가 현재의 프레임에서 위치(x1, y1)에 있다고 가정한다. BV는 변위(x1-x0, y1-y0)를 나타낸다. 예컨대, 현재의 블록의 상단 좌측 위치가 위치(256, 128)에 있고, 인트라-프레임 예측 구역의 상단 좌측 위치가 위치(176, 104)에 있다면, BV 값은 (-80, -24)이다. 이 예에서, 음의 수평 변위는 현재의 블록의 좌측으로의 위치를 나타내며, 음의 수직 변위는 현재의 블록 위의 위치를 나타낸다.
인트라 BC 예측은 BC 동작을 사용하여 (프레임 내부의 반복된 패턴과 같은) 중복도를 활용함으로써 코딩 효율을 개선할 수 있다. 현재의 블록의 샘플 값은 현재의 블록의 샘플 값을 직접 인코딩하는 대신 BV 값을 사용하여 표현한다. 현재의 블록의 샘플 값이 BV 값으로 나타낸 인트라-프레임 예측 구역의 샘플 값과 정확히 매칭하지 않더라도, 그 차이는 무시할 수 있다(지각할 정도로 눈에 띌만한 것은 아니다). 또는, 그 차이가 상당하다면, 이러한 차이는 현재의 블록에 대한 원래의 샘플 값보다 더욱 효율적으로 압축할 수 있는 잔류 값으로서 인코딩할 수 있다.
집합적으로, 인트라 BC 예측을 사용하여 인코딩된 블록에 대한 BV 값은 상당한 비트를 소비할 수 있다. BV 값은 비트 레이트를 감소시키도록 엔트로피 인코딩될 수 있다. BV 값에 대한 비트 레이트를 더 감소시키기 위해, 인코더는 BV 값의 예측을 사용할 수 있다. BV 값은 종종 중복도를 보인다 - 소정의 블록에 대한 BV 값은 종종 화상에서 이전 블록의 BV 값과 유사하거나 심지어 동일하다 - . BV 예측의 경우, 소정의 블록에 대한 BV 값은 BV 예측자를 사용하여 예측한다. 소정의 블록에 대한 BV 값과 BV 예측자 사이의 차이(또는 BV 차분)는 그 후 엔트로피 코딩한다. 통상, BV 차분은 BV 값과 BV 예측자의 수평 및 수직 성분으로 컴퓨팅한다. BV 예측이 유효하다면, BV 차분은 효율적인 엔트로피 코딩을 지원하는 확률 분포를 갖는다. HEVC 표준의 현재의 초안 버전(JCTVC-O1005)에서, BV 예측자는 현재의 CTU 내의 마지막 코딩된 CU의 BV 값(즉, 현재의 CTU 내의 이전 인트라-BC-예측된 블록의 BV 값)이다.
도 7b는 프레임(710)에서의 이전 블록(750)의 BV(751)뿐만 아니라 프레임에서의 현재의 블록(760)의 BV(761)을 도시한다. 이전 블록(750)의 BV(751)는 현재의 블록(760)의 BV(761)에 대한 BV 예측자로서 사용된다. 예컨대, BV 값이 (-80, -24)이고 BV 예측자가 (-80, -32)일 때, (0, 8)의 BV 차분을 엔트로피 인코딩한다.
디코더는 BV 값에 대한 엔트로피 코딩된 BV 차분을 수신하여 엔트로피 디코딩한다. 디코더는 또한 BV 값에 대한 BV 예측자를 결정한다. 디코더에 의해 결정된 BV 예측자는 인코더에 의해 결정된 BV 예측자와 동일하다. 디코더는 BV 예측자와 디코딩된 BV 차분을 결합하여 BV 값을 재구성한다.
HEVC 표준의 현재의 초안 버전(JCTVC-O1005_v3)에서, 실제 BV 값을 기초로 한 BV 예측자는 일부 상황에서는 이용 가능하지 않다. 예컨대, 이전의 실제 BV 값은 소정의 CTU에서의 제1 인트라 BC-예측된 블록에서 이용 가능하지 않다. 이전의 실제 BV 값이 (도 7c에 도시한 바와 같이) BV 예측자에 이용 가능하지 않을 때, (0, 0)의 디폴트 값을 BV 예측자로서 사용한다. 실제로, 이것이 의미하는 점은, BV 값이 CTU에서의 이전의 인트라-BC-예측된 블록에 이용 가능하지 않을 때 BV 예측은 스킵한다는 점이다.
B. 넌-제로 성분을 갖는 디폴트 BV 예측자.
본 명세서에서 기재한 혁신의 일 양상에 따르면, 이전의 실제 BV 값이 현재의 블록의 BV 값에 대한 BV 예측자로서 사용에 이용 가능하지 않을 때, 인코더와 디코더는 넌-제로 성분을 가진 디폴트 BV 예측자를 사용한다. 0-값 디폴트 BV 예측자와 비교하여, 넌-제로 성분을 가진 디폴트 BV 예측자는 현재의 블록의 BV 값에 더 가까운 경향이 있으며, 결국 BV 차분의 더욱 효율적인 엔트로피 코딩을 초래한다. 또한, 넌-제로 값을 갖는 디폴트 BV 예측자는 BV 예측에 대한 스킵 모드나 병합 모드에 대 대해 유용한 옵션을 제공할 수 있다.
1. 예시적인 디폴트 BV 예측자.
도 7d에 도시한 바와 같이, 현재의 블록(760)의 BV 값(761)의 경우, 디폴트 BV 예측자(763)는 넌-제로 수평 성분을 가질 수 있다. 예컨대, 디폴트 BV 예측자는 수평 벡터(BVx, 0)이다. 수평 BV 성분(BVx)의 값은 고정된 넌-제로 값일 수 있다. 또는, BVx의 값은 현재의 블록의 폭일 수 있으며, 이것은 현재의 블록과 참조 구역 사이의 중첩을 피하는 최소값의 수평 BV 성분(BVx)이다.
예컨대, 현재의 블록이 폭(W)과 높이(H)를 갖는 CU의 CB일 때, 디폴트 BV 예측자에 대한 수평 BV 성분(BVx)의 값은 CU의 폭(W)과 같은 음의 오프셋일 수 있다. 즉, 디폴트 BV 예측자는 (-W, 0)일 수 있다. 디폴트 BV 예측자(BVx, 0)는 (이전 블록의 실제 BV 값을 기초로 하여) 정상적인 BV 예측자가 이용 불가능할 때 사용할 수 있다. 또는, 디폴트 BV 예측자(BVx, 0)는 현재의 블록의 BV 값에 따라 조건적으로 사용할 수 있다. 예컨대, 현재의 블록의 BV 값의 수직 BV 성분은 -H 미만이라면, 디폴트 BV 예측자는 (-W, 0)이다. 그렇지 않다면(현재의 블록의 BV 값의 수직 BV 성분이 -H 미만이 아니라면), 디폴트 BV 예측자는 (0, 0)이다. 이 조건이 보장하는 점은, 현재의 블록의 BV 값이 상당한 수직 BV 성분을 가질 때 (-W, 0)의 디폴트 BV 예측자가 적용되지 않는다는 점이다. 대안적으로, 넌-제로 디폴트 BV 예측자(BVx, 0)를 다른 조건에 따라서 조건적으로 적용한다.
-W의 음의 오프셋을 갖는 대신, 디폴트 BV 예측자는 다른 음의 오프셋을 가질 수 있다. 예컨대, 디폴트 BV 예측자는 (-2*W, 0)일 수 있다.
대안적으로, 디폴트 BV 예측자는 수직 벡터(0, BVy)이다. 수직 BV 성분(BVy)의 값은 고정된 넌-제로 값일 수 있거나, BVy의 값은 현재의 블록의 높이일 수 있으며, 이것은 현재의 블록과 참조 구역 사이의 중첩을 피하는 최소값의 BVy이다. 예컨대, 현재의 블록이 폭(W)과 높이(H)를 갖는 CU의 CB일 때, 디폴트 BV 예측자는 (0, -H)일 수 있다. 디폴트 BV 예측자(0, BVy)는 정상적인 BV 예측자가 이용 불가능할 때마다 사용될 수 있거나, 디폴트 BV 예측자(0, BVy)는 현재의 블록의 BV 값에 따라 조건적으로 사용할 수 있다.
대안적으로, 디폴트 BV 예측자는 넌-제로 수평 성분과 넌-제로 수직 성분을 가질 수 있다.
2. 디폴트 BV 예측자를 갖는 예시적인 인코딩.
도 8은 인코딩 동안 넌-제로 성분을 갖는 디폴트 BV 예측자를 사용하기 위한 일반화된 기술(800)을 도시한다. 도 3 또는 도 5a 및 도 5b를 참조하여 기재한 것과 같은 이미지 인코더나 비디오 인코더가 기술(800)을 실행할 수 있다.
인코더는 화상의 현재의 블록에 대한 디폴트 BV 예측자를 결정한다(830). 예컨대, HEVC 구현에서, 현재의 블록은 코딩 트리 유닛의 코딩 유닛의 일부분이다. 디폴트 BV 예측자는 넌-제로 값을 갖는 BV 예측자 성분을 포함한다. 예컨대, 넌-제로 값을 갖는 BV 예측자 성분은 수평 BV 성분이다. 구현에 따라, 넌-제로 수평 BV 성분은 (현재의 블록의 크기와 독립적인) 고정된 값, 현재의 블록의 폭과 같은 값 또는 일부 다른 넌-제로 값을 가질 수 있다. 또는, 넌-제로 값을 갖는 BV 예측자 성분은 수직 BV 성분이다. 구현에 따라서, 넌-제로 수직 BV 성분은 (현재의 블록의 크기와 독립적인) 고정된 값, 현재의 블록의 높이와 같은 값 또는 일부 다른 넌-제로 값을 가질 수 있다. 또는, 디폴트 BV 예측자는 넌-제로 수평 BV 성분과 넌-제로 수직 BV 성분을 포함할 수 있다. 디폴트 BV 예측자는, C절에서 기재한 바와 같은 스킵 모드에서나 D절에서 기재한 바와 같은 병합 모드에서 어셈블링된 복수의 BV 예측자 후보의 세트의 일부분일 수 있다.
인코더는 디폴트 BV 예측자를 사용하여 현재의 블록을 인코딩한다(850). 예컨대, 인코더는 (a) 현재의 블록에 대한 BV 값을 사용하여 인트라 BC 예측을 실행하고, (b) 현재의 블록에 대한 디폴트 BV 예측자와 BV 값을 사용하여 BV 차분을 결정하며, (c) BV 차분을 인코딩한다. 대안적으로, 인코더는 디폴트 BV 예측자를 사용하여 인트라 BC 예측을 간단히 실행한다.
도 9는 인코딩 동안 넌-제로 성분을 갖는 디폴트 BV 예측자를 사용하기 위한 더욱 상세한 예시적인 기술(900)을 도시한다. 도 3 또는 도 5a 및 도 5b를 참조하여 기재한 것과 같은 이미지 인코더나 비디오 인코더가 이 기술(900)을 실행할 수 있다.
시작하면, 인코더는 화상의 현재의 블록에 대한 BV 값을 식별한다(910). 인코더는 임의의 형태의 BV 추정을 사용할 수 있어서, 현재의 블록에 대한 BV 값을 식별할 수 있다. HEVC 구현에서, 현재의 블록은 코딩 트리 유닛의 코딩 유닛의 일부분이다.
인코더는 실제 BV가 BV 예측자로서 사용하는데 이용 가능한지를 체크한다(920). 예컨대, 인코더는 화상의 이전 블록에 대한 실제 BV 값이 이용 가능한지를 체크한다. HEVC 구현에서, (1) 이전 블록과 현재의 블록이 동일한 CTU의 일부분이라면, 그리고 (2) 이전 블록의 예측 모드가 인트라 BC 예측 모드라면, 이전 블록에 대한 실제 BV 값을 이용 가능하다. 이전 블록에 대한 실제 BV 값은, 예컨대 소정의 CTU의 제1 인트라-BC-예측된 블록의 경우 이용 가능하지 않다.
실제 BV가 BV 예측자로서 사용하는데 이용 가능하다면, 인코더는 실제 BV를 BV 예측자로서 사용한다(940). 다른 한편으로, 임의의 이전 블록에 대한 실제 BV가 BV 예측자로서 사용하는데 이용 가능하지 않다면, 인코더는 현재의 블록에 대한 디폴트 BV 예측자를 결정한다(930). 디폴트 BV 예측자는 넌-제로 값을 갖는 BV 예측자 성분을 포함한다. 예컨대, 디폴트 BV 예측자는 도 8의 단계(830)에 관해서 앞서 기재한 바와 같이 결정한다.
인코더는 현재의 블록에 대한 BV 값과 BV 예측자 사이의 BV 차분을 결정한다(950). 인코더는 BV 차분을 엔트로피 코딩한다(960).
3. 디폴트 BV 예측자를 가진 예시적인 디코딩.
도 10은 디코딩 동안 넌-제로 성분을 갖는 디폴트 BV 예측자를 사용하기 위한 일반화된 기술(1000)을 도시한다. 도 4 또는 도 6을 참조하여 기재한 것과 같은 이미지 디코더나 비디오 디코더가 이 기술(1000)을 실행할 수 있다.
디코더는 화상의 현재의 블록에 대한 디폴트 BV 예측자를 결정한다(1030). 예컨대, HEVC 구현에서, 현재의 블록은 코딩 트리 유닛의 코딩 유닛의 일부분이다. 디폴트 BV 예측자는 넌-제로 값을 갖는 BV 예측자 성분을 포함한다. 예컨대, 넌-제로 값을 갖는 BV 예측자 성분은 수평 BV 성분이다. 구현에 따라, 넌-제로 수평 BV 성분은 (현재의 블록의 크기와 독립적인) 고정된 값, 현재의 블록의 폭과 같은 값 또는 일부 다른 넌-제로 값을 가질 수 있다. 또는, 넌-제로 값을 갖는 BV 예측자 성분은 수직 BV 성분이다. 구현에 따라서, 넌-제로 수직 BV 성분은 (현재의 블록의 크기와 독립적인) 고정된 값, 현재의 블록의 높이와 같은 값 또는 일부 다른 넌-제로 값을 가질 수 있다. 또는, 디폴트 BV 예측자는 넌-제로 수평 BV 성분과 넌-제로 수직 BV 성분을 포함할 수 있다. 디폴트 BV 예측자는, C절에서 기재한 바와 같은 스킵 모드에서나 D절에서 기재한 바와 같은 병합 모드에서 어셈블링된 복수의 BV 예측자 후보의 세트의 일부분일 수 있다.
디코더는 디폴트 BV 예측자를 사용하여 현재의 블록을 디코딩한다(1050). 예컨대, 디코더는 (a) 현재의 블록에 대한 BV 차분을 디코딩하고, (b) 디코딩된 BV C차분을 디폴트 BV 예측자와 결합하여 현재의 블록에 대한 BV 값을 재구성하며, (c) 현재의 블록에 대한 BV 값을 사용하여 인트라 BC 예측을 실행한다. 대안적으로, 디코더는 디폴트 BV 예측자를 사용하여 인트라 BC 예측을 간단히 실행한다.
도 11은 디코딩 동안 넌-제로 성분을 갖는 디폴트 BV 예측자를 사용하기 위한 더욱 상세한 예시적인 기술(1100)을 도시한다. 도 4 또는 도 6을 참조하여 기재한 것과 같은 이미지 디코더나 비디오 디코더가 이 기술(1100)을 실행할 수 있다.
디코더는 실제 BV가 화상의 현재의 블록에 대한 BV 값에 대한 BV 예측자로서 사용하는데 이용 가능한지를 체크한다(1120). 예컨대, EL코더는 화상의 이전 블록에 대한 실제 BV 값이 이용 가능한지를 체크한다. HEVC 구현에서, (1) 이전 블록과 현재의 블록이 동일한 CTU의 일부분이라면, 그리고 (2) 이전 블록의 예측 모드가 인트라 BC 예측 모드라면, 이전 블록에 대한 실제 BV 값을 이용 가능하다. 이전 블록에 대한 실제 BV 값은, 예컨대 소정의 CTU의 제1 인트라-BC-예측된 블록의 경우 이용 가능하지 않다.
실제 BV가 BV 예측자로서 사용하는데 이용 가능하다면, 디코더는 실제 BV를 BV 예측자로서 사용한다(1140). 다른 한편으로, 임의의 이전 블록에 대한 실제 BV가 BV 예측자로서 사용하는데 이용 가능하지 않다면, 디코더는 현재의 블록에 대한 디폴트 BV 예측자를 결정한다(1130). 디폴트 BV 예측자는 넌-제로 값을 갖는 BV 예측자 성분을 포함한다. 예컨대, 디폴트 BV 예측자는 도 10의 단계(1030)에 관해서 앞서 기재한 바와 같이 결정한다.
디코더는 현재의 블록에 대한 BV 차분을 또한 엔트로피 디코딩한다(1150). 디코더는 그후 BV 차분을 BV 예측자와 결합하여 현재의 블록에 대한 BV 값을 재구성한다(1160).
4. 대안 및 변형.
앞서 기재한 디폴트 BV 예측자의 예에서, 디폴트 BV 예측자의 값은 현재의 블록의 위치에 따라 제한되지 않는다. 대안적으로, 디폴트 BV 예측자의 값은 현재의 블록의 위치에 따라 제한될 수 있다. 예컨대, 현재의 블록이 화상의 가장자리에 있어서, 디폴트 BV 예측자가 화상 외부의 위치를 가리킬 것이라면, 디폴트 BV 예측자는 화상 내의 위치를 가리키도록 제한되거나, (0, 0) BV 예측자를 사용한다. 또는, BV 값이 CTU의 일부 세트(예컨대, 현재의 CTU 및 이전 CTU)에서의 위치를 참조하도록 제한되는 VC 구현에 대한 다른 예로서, 디폴트 BV 예측자는 그러한 CTU의 세트 내의 위치를 참조하도록 제한된다. 또는, 화상이 복수의 타일 또는 복수의 슬라이스를 포함하는 HEVC 구현에 대한 다른 예로서, BV 값( 및 디폴트 BV 예측자)은 현재의 타일( 및/또는 현재의 슬라이스)의 위치를 참조하도록 제한될 수 있다.
앞서 기재한 디폴트 BV 예측자의 예에서, 디폴트 BV 예측자의 값은 현재의 블록의 위치에 따라 전환하지 않는다. 대안적으로, 디폴트 BV 예측자의 값은 현재의 블록의 위치에 따라 전환할 수 있다. 예컨대, 현재의 블록이 화상(또는 타일 또는 슬라이스(이용되는 경우))의 왼쪽 가장자리를 제외하고 어디에도 있다면, 디폴트 BV 예측자는 수평 BV 예측자(BVx, 0)이다. 현재의 블록이 화상((또는 타일 또는 슬라이스(이용되는 경우))의 왼쪽 가장자링 있거나, 디폴트 수평 BV 예측자가 그 밖에 화상((또는 타일 또는 슬라이스(이용되는 경우)) 외부의 위치를 참조한다면, 디폴트 BV 예측자는 수직 BV 예측자(0, BVy)이다. 그리고, 현재의 블록이 화상(또는 타일 또는 슬라이스(이용되는 경우))의 상단 왼쪽 코너에 있거나, 디폴트 수평 BV 예측자와 수직 BV 예측자가 그 밖에 화상(또는 타일 또는 슬라이스(이용되는 경우)) 외부의 위치를 참조한다면, 디폴트 BV 예측자는 (0, 0) BV 예측자이다.
C. 인트라 BC 예측에 대한 스킵 모드.
본 명세서에서 기재한 혁신의 다른 양상에 따르면, 인코더와 디코더는 특정한 인트라-BC-예측된 블록에 대해 스킵 모드를 사용한다. 스킵 모드에서, 인트라-BC-예측된 블록은 예측된 BV 값을 사용하며 비트스트림에서 잔차 데이터를 갖지 않는다. 일부 시나리오에서, 인트라-BC-예측된 블록에 대한 스킵 모드의 사용은 레이트-왜곡 효율을 상당히 개선할 수 있다.
일반적으로, 인코더는, 현재의 인트라-BC-예측된 블록에 대해 스킵 모드를 사용할 때를 결정한다. 인코더는 인트라-BC-예측 구역이 현재의 블록에 얼마나 가깝게 매칭하는지를 기초로, 잔류 값의 지각적 중요도를 기초로, 잔류 값의 인코딩에 이용 가능한 비트레이트를 기초로 및/또는 다른 팩터를 기초로 하여 스킵 모드를 사용하는 것을 결정할 수 있다. 인코더는, 인코딩 속도가 제한이 있는 특정한 인코딩 모드에서, 예컨대 실시간 인코딩에서 인트라-BC-예측된 블록에 대해 스킵 모드를 선호할 수 있다.
도 12는 인트라-BC-예측된 블록에 대한 스킵 모드를 포함하는 인코딩을 위한 일반화한 기술(1200)을 도시한다. 도 3 또는 도 5a 및 도 5b를 참조하여 기재한 것과 같은 이미지 인코더나 비디오 인코더가 이 기술(1200)을 실행할 수 있다.
화상의 현재의 블록의 경우, 현재의 블록이 스킵 모드로 인코딩된 인트라-BC-예측된 블록이라면, 인코더는 BV 예측을 사용하여 현재의 블록에 대한 BV 값을 결정한다(1210). 현재의 블록에 대한 BV 값은 화상 내의 한 구역으로의 변위를 나타낸다. BV 예측은 병합 모드 예측, 마지막 코딩된 인트라-BC-예측된 블록의 BV 값을 사용한 예측, 이웃하는 인트라-BC-예측된 블록의 BV 값의 성분-단위 중간값을 사용한 예측 또는 일부 다른 형태의 BV 예측을 포함할 수 있다. 현재의 블록은 예컨대 CTU의 CU의 일부분이다.
인코더는 BV 값(여기서는, 예측된 BV 값)을 갖는 인트라 BC 예측을 사용하여 현재의 블록을 인코딩한다(1220). 인코더는 현재의 블록이 스캡 모드로 인코딩된다는 지시를 비트스트림에서 출력한다(1230). 블록은 스킵 모드로 인코딩되므로, 비트스트림은 현재의 블록에 대한 잔차 데이터와 BV 차분이 없다. 비트스트림은 그러나 복수의 BV 예측자 후보의 세트로부터의 BV 예측자 후보의 선택을 나타내는 인덱스 값을 포함할 수 있어서 현재의 블록에 대한 BV 값으로서 사용할 수 있다. 예컨대, 복수의 BV 예측자 후보의 세트가 두 개의 BV 예측자 후보를 가질 때, 인덱스 값은 플래그 값이다. 또는, 복수의 BV 예측자 후보의 세트가 두 개보다 많은 BV 예측자 후보를 가질 때, 인덱스 값은 정수값이다. 인덱스 값은 예컨대 산술 코딩을 사용하여 엔트로피 코딩할 수 있다.
도 13은 인트라-BC-예측된 블록에 대한 스킵 모드를 포함하는 디코딩을 위한 일반화한 기술(1300)을 도시한다. 도 4 또는 도 6을 참조하여 기재한 것과 같은 이미지 디코더나 비디오 디코더가 이 기술(1300)을 실행할 수 있다.
화상의 현재의 블록의 경우, 현재의 블록이 스킵 모드로 인코딩된 인트라-BC-예측된 블록이라면, 디코더는, 현재의 블록이 스킵 모드로 인코딩되어 있다는 지시를 비트스트림으로부터 수신한다(1310). 블록은 스킵 모드로 인코딩되므로, 비트스트림은 BV 차분과 현재의 블록에 대한 잔차 데이터가 없다. 앞서 기재한 바와 같이, 그러나 비트스트림은 복수의 BV 예측자 후보의 세트로부터의 BV 예측자 후보의 선택을 나타내는 인덱스 값을 포함할 수 있어서 현재의 블록에 대한 BV 값으로서 사용할 수 있다. 현재의 블록은 예컨대 CTU의 CU의 일부분이다.
디코더는 BV 예측을 사용하여 현재의 블록에 대한 BV 값을 결정한다(1320). BV 예측은 일반적으로 인코더에서 실행한 BV 예측과 닮았다. 이것은 병합 모드 예측, 마지막 코딩된 인트라-BC-예측된 블록의 BV 값을 사용한 예측, 이웃하는 인트라-BC-예측된 블록의 BV 값의 성분-단위 중간값을 사용한 예측 또는 일부 다른 형태의 BV 예측을 포함할 수 있다. 디코더는 BV 값(여기서는, 예측된 BV 값)을 갖는 인트라 BC 예측을 사용하여 현재의 블록을 디코딩한다(1330).
D. BV 예측에 대한 병합 모드.
본 명세서에서 기재한 혁신의 다른 예에 따르면, 인코더와 디코더는 BV 예측에 대해 병합 모드를 사용한다. 병합 모드는 BV 예측의 품질을 상당히 개선할 수 있으며, 이점은 다시 비트스트림에서 BV 차분에 의해 소비되는 비트의 양을 감소시킨다.
병합 모드의 경우, 블록에 대한 BV 예측자를 결정할 때, 인코더는 BV 예측자 후보의 세트를 어셈블링하고, BV 예측자 후보 중 하나를 선택하여 블록에 대한 BV 예측자로서 사용하며, 선택한 BV 예측자 후보를 나타내는 인덱스 값을 비트스트림에서 신호화한다. 디코더는 BV 예측자 후보의 세트를 어셈블링하고, 신호화한 인덱스 값을 기초로 하여, BV 예측자 후보 중 하나를 선택하여 블록에 대한 BV 예측자로서 사용한다. 인덱스 값이 비트스트림에서 비트를 소비할지라도, 병합 모드는 BV 예측을 상당히 개선할 수 있으며, 그리하여 BV 차분에 의해 소비되는 비트를 감소시킬 수 있어서, 결국 비트레이트를 전체적으로 감소시킬 수 있다.
예시적인 구현에서, BV 예측에 대한 병합 모드는 인트라-BC-예측된 블록에 대한 스킵 모드와 결합하여 사용한다. 대안적으로, BV 예측에 대한 병합 모드는, 스킵 모드가 인트라-BC-예측된 블록에 대해 가능하지 않더라도, 사용할 수 있다.
1. 예시적인 BV 예측자 후보와 인덱스 값.
병합 모드에서의 블록에 대한 BV 예측자를 결정할 때, 인코더나 디코더는 BV 예측자 후보의 세트를 어셈블링한다. BV 예측자 후보의 세트의 구성요소는 구현에 의존하지만, 인코더 측과 디코더 측에서 동일하다.
일 접근에서, BV 예측자 후보는 화상에서의 이전에 코딩된 블록의 실제 BV 값 중에서 어셈블링한다. 일반적으로, 인코더와 디코더는 화상에서의 이전 블록의 최대 x개의 실제 BV 값을 결정한다. 이전 블록은 화상에서의 이전에 코딩된 인트라-BC-예측된 블록이다. 특히, 이들 블록은 현재의 블록보다 디코딩 순서가 더 이른 x개의 최근접 인트라-BC-예측된 블록이다. x의 값은 구현에 의존하며, 예컨대 2, 3, 4, 5 또는 일부 다른 숫자일 수 있다. 더 많은 BV 예측자 후보를 사용하면, 인덱스 값에 대한 비트 레이트를 증가시키지만, BV 예측자의 품질을 개선하는 경향이 있으며, 이점은 다시 BV 차분에 의해 소비되는 비트를 감소시킨다.
이전의 인트라-BC-예측된 블록은 현재의 블록의 이웃일 필요는 없다. 실제의 BV 값을 갖는 x개 미만의 이전 블록이 이용 가능하다면, BV 예측자 후보의 세트는 x개 미만의 BV 예측자 후보를 포함할 수 있다.
도 14는 이 접근법의 예를 도시한다. 도 14에서, 세 개의 이전 인트라-BC-예측된 블록(1430, 1440, 1450)의 세 개의 BV 값(1431, 1441, 1451)이 현재의 프레임(1410)의 현재의 블록(1460)의 BV 예측자에 대한 병합 모드에 대한 BV 예측자 후보를 제공한다. 이전 블록(1430, 1440, 1450)이 도 14의 예에서는 인접해 있을지라도, 이전 블록은 인접해 있을 필요는 없다. (즉, BV 예측자 후보를 제공하는 이전 인트라-BC-예측된 블록은 화상의 다른 비-인트라-BC-예측된 블록에 의해 분리될 수 있다.)
BV 예측자 후보의 세트는 하나 이상의 디폴트 BV 예측자를 더 포함할 수 있다. 도 14의 예에서, BV 예측자 후보의 세트는 수평 변위를 갖는 디폴트 BV 예측자(BVx, 0)와 수직 변위를 갖는 디폴트 BV 예측자(0, BVy)를 포함한다. 특히, 수평 변위와 수직 변위를 갖는 디폴트 BV 예측자는 일반적으로 순전히 수평 또는 수직 방향을 따르는 텍스트 콘텐트에 유용한 경향이 있다.
병합 모드 인덱스 값은 각각의 BV 예측자 후보와 관련된다. 통상, 더 작은 인덱스 값은, 선택될 가능성이 더 있는 BV 예측자 후보와 관련되고, 더 큰 인덱스 값은 선택될 가능성이 덜 있는 BV 예측자 후보와 관련되며, 이점은 엔트로피 코딩 후 인덱스 값에 대한 비트 레이트를 감소시키는 경향이 있다. 도 14에서, 인덱스 값(idx 0...idx 4)이 예상 선택 가능성에 따라 BV 값(1451, 1441, 1431)과 디폴트 BV 예측자를 갖는 BV 예측자 후보에 할당된다.
예컨대, 일부 구현에서, 이전 코딩된 블록의 두 개의 실제 BV 값은 BV 예측자 후보(BVcand0 및 BVcand1)로서 저장된다. 새 BV 값이 사용된 후, 더 오래된 BV 예측자 후보(BVcand1)는 더 새로운 BV 예측자 후보(BVcand0)로 교체되고, 더 새로운 BV 예측자 후보(BVcand0)는 막 사용되었던 BV 값으로 교체된다. 인코더 측에서, 현재의 블록의 경우, 인코더는 BVcand0과 BVcand1 중 하나를 BV 예측자로서 사용하도록 선택한다. 병합 모드 인덱스 값으로서, 인코더는 BVcand0과 BVcand1 중 어느 하나가 인코더에 의해 사용되었으며 디코더에 의해 사용되어야 하는지를 나타내는 플래그 값을 신호화한다. 디코더 측에서, 디코더는 이 플래그 갑을 수신하여 파싱하여, 플래그 값을 기초로 하여, BVcand0과 BVcand1 중 하나를 블록에 대한 BV 예측자로서 사용하도록 선택한다. 이 접근법에서, 인코더와 디코더 각각은 두 개의 BV 예측자 후보(BVcand0과 BVcand1)를 저장하고 업데이트한다.
다른 예로서, 일부 다른 구현에서, 이전에 코딩된 블록의 하나의 실제 BV 값은 제1 BV 예측자 후보(BVcand0)로서 저장되며, 디폴트 BV 예측자는 제2 BV 예측자 후보(BVcand1)로서 저장된다. 예컨대, 디폴트 BV 예측자는 (BVx, 0)이며, 여기서 BVx는 현재의 블록의 폭(W)과 같은 음의 오프셋일 수 있거나 일부 다른 넌-제로 값을 가질 수 있다. 새로운 BV 값을 사용한 후, 제1 BV 예측자 후보(BVcand0)는 방금 사용하였던 BV 값으로 교체되지만, 제2 BV 예측자 후보(BVcand1)는 변하지 않는다. 인코더 측에서, 현재의 블록의 경우, 인코더는 BVcand0과 BVcand1 중 하나를 BV 예측자 후보로서 사용하도록 선택한다. 인코더는 BVcand0과 BVcand1 중 어느 하나가 인코더에 의해 사용되었으며 디코더에 의해 사용되어야 하는지를 나타내는 플래그 값을 신호화한다. 디코더는 이 플래그 값을 수신하여 파싱하고, 플래그 값을 기초하여, BVcand0과 BVcand1 중 하나를 블록에 대한 BV 예측자 후보로서 사용하도록 선택한다. 이 접근법에서, 인코더와 디코더 각각은 두 개의 BV 예측자 후보(BVcand0과 BVcand1)를 저장하고, 제1 BV 예측자 후보(BVcand0)는 인코딩 또는 디코딩 동안 업데이트한다.
다른 접근법에서, BV 예측자 후보는, 화상에서 현재의 블록에 이웃하는 이전 코딩된 블록의 실제 BV 값 중에서 어셈블링한다. 인코더와 디코더는 이웃 블록의 최대 x개의 BV 값을 결정한다. 이웃 블록은 화상에서 현재의 블록의 왼쪽으로, 현재의 블록 위로, 현재의 블록의 상단 오른쪽으로 등등으로의 이전 코딩된 인트라-BC-예측된 블록이다. x의 값은 구현에 의존하며, 예컨대 2, 3, 4, 5 또는 일부 다른 숫자일 수 있다. 실제 BV 값을 갖는 x개 미만의 이웃 블록이 이용 가능하다면, BV 예측자 후보의 세트는 x개 미만의 BV 예측자 후보를 포함할 수 있다.
도 15는 이 접근법의 예를 도시한다. 도 15에서, 세 개의 이웃 인트라-BC-예측된 블록(1530, 1540, 1550)의 세 개의 BV 값(1531, 1541, 1551)이 현재의 프레임(1510)의 현재의 블록(1560)의 BV 예측자에 대한 병합 모드에 대한 BV 예측자 후보를 제공한다. 이웃 블록 중 하나가 이용 불가능하다면(예컨대, 인트라-BC-예측된 블록이 아니거나 화상, 타일 또는 슬라이스 외부에 있다면), 일부 경우 다른 이웃 블록을 추가할 수 있다(예컨대, 현재의 블록의 상단 왼쪽으로의 블록). 도 15에 도시한 바와 같이, BV 예측자 후보의 세트는 (수평 변위를 갖는 디폴트 BV 예측자(BVx, 0)와 수직 변위를 갖는 디폴트 BV 예측자(0, BVy)와 같은) 하나 이상의 BV 예측자를 포함할 수 있다. 도 15에서, 인덱스 값(idx 0...idx 4)은 예상 선택 가능성에 따라 BV 값(1541, 1531, 1551)과 디폴트 BV 예측자를 갖는 BV 예측자 후보에 할당된다.
BV 예측자 후보 중 중복 값의 취급은 구현에 의존한다. 일부 구현에서, 병합 모드에 대한 BV 예측자 후보의 세트는 중복 값을 포함한다 - 즉, 중복 BV 예측자 후보는 제거하거나 교체하지 않는다. 다른 구현에서, 병합 모드에 대한 BV 예측자 후보의 세트를 어셈블링할 때, 인코더와 디코더는 중복 BV 예측자 값을 이 세트에 추가하지 않는다. 이 접근법은 결국 더 작은 BV 예측자 후보의 세트를 초래할 수 있으며, 이점은 코딩된 인덱스 값에 대한 비트레이트를 감소시킬 수 있다. 또 다른 구현에서, 병합 모드에 대한 BV 예측자 후보의 세트를 어셈블링할 때, 인코더와 디코더는 이 세트에 이미 있는 BV 예측자 후보에 중복되는 BV 예측자 후보를 (예컨대, 다른 이전 코딩된 인트라-BC-예측된 블록으로부터, 다른 이웃 인트라-BC-예측된 블록으로부터, 다른 디폴트 BV 예측자 옵션으로부터의) 상이한 BV 예측자 후보로 교체한다. 예컨대, 제3 이전 인트라-BC-예측된 블록의 BV 값이 제1 이전 인트라-BC-예측된 블록이나 제2 이전 인트라-BC-예측된 블록의 BV 값과 동일하다면, 인코더/디코더는 대신에 제4 이전 인트라-BC-예측된 블록의 BV 값을 BV 예측자 후보의 세트에 추가한다. 이 BV 값이 중복된다면, 인코더/디코더는 대신 제5, 제6 등의 이전 인트라-BC-예측된 블록의 BV 값을 추가한다. 또는, 인코더/디코더는 다른 디폴트 BV 예측자를 추가한다.
2. 선택된 BV 예측자에 의한 예시적인 인코딩.
도 16a는 BV 예측자에 대한 병합 모드를 포함하는 인코딩에 대한 일반화한 기술(1600)을 도시한다. 도 3 또는 도 5a 및 도 5b를 참조하여 기재한 것과 같은 이미지 인코더나 비디오 인코더는 이 기술(1600)을 실행할 수 있다.
시작하면, 인코더는 화상의 현재의 인트라-BC-예측된 블록에 대한 복수의 BV 예측자 후보의 세트를 결정한다(1610). 현재의 블록은 예컨대 CTU의 CU의 일부분이다. 인코더는 도 14 및 도 15를 참조하여 기재한 접근법 중 하나를 사용하거나 다른 접근법을 사용하여 BV 예측자 후보의 세트를 결정할 수 있다. 일반적으로, BV 예측자 후보는 각각 이전 블록의 최대 x개의 실제 BV 값을 포함할 수 있으며, 여기서 x는 구현에 의존한다(예컨대, x는 2, 3, 4, 5 또는 일부 다른 숫자이다). x개의 이전 블록은 현재의 블록 주위의 이웃에서의 위치(예컨대, 도 15 참조) 및/또는 현재의 블록과 비교한 디코딩 순서(예컨대, 도 14 참조)를 적어도 부분적으로 기초로 하여 식별할 수 있다. BV 예측자 후보는 또한 하나 이상의 디폴트 BV 예측자를 포함할 수 있다(예컨대, 각각 넌-제로 값을 갖는 BV 예측자 성분을 갖는다).
인코더는 복수의 BV 예측자 후보 중 하나를 선택하여 현재의 인트라-BC-예측된 블록에 대해 사용한다(1630). 예컨대, 현재의 블록이 선택된 BV 예측자 후보에 의한 인트라 BC 예측을 사용하여 인코딩될 때, 인코더는 참조한 인트라-예측 구역이 일부 메트릭(예컨대, 절대차의 합, 평균 제곱근 에러)에 의해 현재의 블록과 가장 가깝게 매칭하는 BV 예측자 후보를 선택한다. 또는, 현재의 블록이 인트라 BC 예측에 사용될 (BV 추정을 통해 식별되는) BV 값을 가질 때, 인코더는 현재의 블록에 대한 BV 값과 가장 가깝게 매칭하는 BV 예측자 후보를 선택한다. 이 선택은 결국 최소 BV 차분을 초래하며, 이것은 엔트로피 코딩의 효율을 개선하는 경향이 있다.
인코더는 선택된 BV 예측자 후보를 사용하여 현재의 인트라-BC-예측된 블록을 인코딩한다(1630). 도 16b는 예시적 구현에서 현재의 블록의 인코딩(1630)의 상세를 도시한다. 인코더는 현재의 블록이 스킵 모드에서 인코딩되는지를 체크한다(1632). 그렇다면, 인코더는 선택된 BV 예측자를 갖는 인트라 BC 예측을 사용하지만 임의의 잔차 데이터를 사용하지 않고 현재의 블록을 인코딩한다(1633). 그렇지 않다면(스킵 모드가 아니라면), 인코더는 현재의 블록이 병합 모드로 인코딩되는지를 체크한다(1634). 그렇다면, 인코더는 선택된 BV 예측자를 갖는 인트라 BC 예측을 사용하여 현재의 블록을 인코딩한다(1635). 병합 모드에서, 인코더는 현재의 블록에 대한 잔차 데이터를 부가적으로 인코딩한다. 그렇지 않다면(병합 모드가 아니라면), 인코더는 현재의 블록에 대한 BV 값을 갖는 인트라 BC 예측을 사용하여 현재의 블록을 인코딩하여(1637), 현재의 블록에 대한 잔차 데이터를 부가적으로 인코딩한다.
인코더는 선택된 BV 예측자 후보를 나타내는 인덱스 값을 비트스트림에서 출력한다(1640). BV 예측자 후보의 세트가 두 개의 BV 예측자 후보를 포함할 때, 인덱스 값은 플래그 값일 수 있다. 또는, 두 개보다 많은 예측기 후보가 있을 때, 인덱스 값은 정수값일 수 있다. 인덱스 값은 엔트로피 코딩될 수 있거나 고정-길이 값으로서 신호화될 수 있다. 인덱스 값은, 이트라 BC 예측 모드 신택스 요소가 현재의 블록이 인트라 BC 예측 모드를 사용하여 인코딩됨을 나타낸다면, 별도의 신택스 요소로서 비트스트림에서 (조건적으로) 신호화될 수 있다. 또는, 인덱스 값은, 다른 신택스 요소(예컨대, 현재의 블록이 인트라 BC 예측 모드를 사용하여 인코딩되는지를 나타내는 신택스 요소)와 공동으로 비트스트림에서 신호화될 수 있다.
인코더는 또한 현재의 블록에 대한 임의의 인코딩된 데이터를 출력한다. 비트스트림에서의 값은 현재의 블록이 스킵 모드에서 인코딩되어 있는지를 나타낼 수 있다. 현재의 블록이 스킵-모드 블록이라면, 비트스트림은 현재의 블록에 대한 BV 차분이 없으며 현재의 블록에 대한 잔차 데이터가 없다. 현재의 블록이 병합-모드 블록이라면, 비트스트림은 현재의 블록에 대한 BV 차분은 없지만 현재의 블록에 대한 잔차 데이터를 포함할 수 있다. 그렇지 않다면(현재의 블록이 비-스킵-모드, 비-병합-모드 블록이라면), 비트스트림은 현재의 블록에 대한 BV 차분(선택된 BV 예측자 후보와 현재의 블록에 대한 BV 값 사이의 차이를 나타냄)을 포함하며, 또한 현재의 블록에 대한 잔차 데이터를 포함할 수 있다.
인코더가 데이터 구조를 사용하여 이전 인트라-BC-예측된 블록에 사용되는 실제 BV 값을 추적할 때, 인코더는 현재의 블록에 대한 BV 값으로 데이터 구조를 업데이트할 수 있다.
3. 선택된 BV 예측자에 의한 예시적인 디코딩
도 17a는 BV 예측자에 대한 병합 모드를 포함하는 디코딩을 위한 일반화한 기술(1700)을 도시한다. 도 4 또는 도 6을 참조하여 기재한 것과 같은 이미지 디코더나 비디오 디코더는 이 기술(1700)을 실행할 수 있다.
시작하면, 디코더는 화상의 현재의 블록에 대한 인덱스 값을 비트스트림으로부터 수신한다(1710). 현재의 블록은 예컨대 CTU의 CU의 일부분이다. 인덱스 값은 복수의 BV 예측자 후보의 세트 중에서 선택된 BV 예측자 후보를 나타낸다. BV 예측자 후보의 세트가 두 개의 BV 예측자 후보를 포함할 때, 인덱스 값은 플래그 값이다. 또는, 두개보다 많은 BV 예측자 후보가 있을 때, 인덱스 값은 정수값이다. 인덱스 값은 엔트로피 코딩될 수 있으며, 그러한 경우에, 디코더는 인덱스 값을 엔트로피 디코딩하거나 고정-길이 값으로서 신호화할 수 있다. 인트라 BC 예측 모드 신택스 요소가 현재의 블록이 인트라 BC 예측 모드를 사용하여 인코딩되었음을 나타낸다면, 인덱스 값은 별도의 신택스 요소로서 비트스트림에서 (조건적으로) 신호화될 수 있다. 또는, 인덱스 값은 다른 신택스 요소(예컨대, 현재의 블록이 인트라 BC 예측 모드를 사용하여 인코딩되는지를 나타내는 신택스 요소)와 공동으로 비트스트림에서 신호화할 수 있다.
디코더는 또한 현재의 블로에 대한 임의의 인코딩된 데이터를 수신한다. 디코더는 디코딩의 적절한 스테이지에서 인코딩된 데이터를 엔트로피 디코딩한다. 비트스트림에서의 값은 현재의 블록이 스킵 모드에서 인코딩되었는지를 나타낼 수 있다. 현재의 블록이 스킵-모드 블록이라면, 비트스트림은 현재의 블록에 대한 BV 차분이 없으며 현재의 블록에 대한 잔차 데이터가 없다. 현재의 블록이 병합-모드 블록이라면, 비트스트림은 현재의 블록에 대한 BV 차분은 없지만 현재의 블록에 대한 잔차 데이터를 포함할 수 있다. 그렇지 않다면(현재의 블록이 비-스킵-모드, 비-병합-모드 블록이라면), 비트스트림은 현재의 블록에 대한 BV 차분을 포함하며, 또한 현재의 블록에 대한 잔차 데이터를 포함할 수 있다.
디코더는 현재의 블록에 대한 복수의 BV 예측자 후보 세트를 결정한다(1720). 디코더는 도 14 및 도 15를 참조하여 기재한 접근법 중 하나를 사용하거나 다른 접근법을 사용하여 BV 예측자 후보의 세트를 결정할 수 있다. 일반적으로, BV 예측자 후보는 이전 블록의 최대 x개의 실제 BV 값을 포함할 수 있으며, 여기서 x는 구현에 의존한다(예컨대, x는 2, 3, 4, 5 또는 일부 다른 숫자이다). x개의 이전 블록은 현재의 블록 주위의 이웃에서의 위치(예컨대, 도 15 참조) 및/또는 현재의 블록과 비교한 디코딩 순서(예컨대, 도 14 참조)를 적어도 부분적으로 기초로 하여 식별할 수 있다. BV 예측자 후보는 또한 하나 이상의 디폴트 BV 예측자를 포함할 수 있다(예컨대, 각각 넌-제로 값을 갖는 BV 예측자 성분을 갖는다).
인덱스 값을 기초로 하여, 디코더는 복수의 BV 예측자 후보 중 하나를 선택하여 현재의 블록에 대해 사용한다(1730). 디코더는 선택된 BV 예측자 후보를 사용하여 현재의 블록을 디코딩한다(1740). 도 17b는 예시한 구현에서 현재의 블록의 디코딩(1740)의 상세를 도시한다. 디코더는 현재의 블록이 스킵 모드에서 인코딩되는지를 체크한다(1742). 그렇다면, 디코더는 선택된 BV 예측자를 갖는 인트라 BC 예측을 사용하지만 임의의 잔차 데이터를 사용하지 않고 현재의 블록을 디코딩한다(1743). 그렇지 않다면(스킵 모드가 아니라면), 디코더는 현재의 블록이 병합 모드로 인코딩되는지를 체크한다(1744). 그렇다면, 디코더는 선택된 BV 예측자를 갖는 인트라 BC 예측을 사용하여 현재의 블록을 디코딩한다(1745). 병합 모드에서, 디코더는 현재의 블록에 대한 잔차 데이터(존재한다면)를 디코딩한다. 그렇지 않다면(병합 모드가 아니라면), 디코더는 (선택된 BV 예측자에 대한 BV 차분으로 디코딩된) 현재의 블록에 대한 BV 값을 갖는 인트라 BC 예측을 사용하여 현재의 블록을 디코딩하여(1747), 현재의 블록에 대한 잔차 데이터(존재한다면)를 또한 인코딩한다.
디코더가 데이터 구조를 사용하여 이전 인트라-BC-예측된 블록에 사용되는 실제 BV 값을 추적할 때, 디코더는 현재의 블록에 대한 BV 값으로 데이터 구조를 업데이트할 수 있다.
4. 병합 모드의 예시적인 구현.
HEVC 구현에서, CU에 대한 신택스와 시매틱스는 BV 예측에 대한 병합 모드 및/또는 인트라-BC-예측된 블록을 위한 스킵 모드를 위한 신호 신택스 요소로 변경할 수 있다.
JCTVC-O1005_v3에서의 초안 HEVC 규격에서, cu_skip_flag[x0][y0]은 현재의 CU가 스킵되는지를 나타내지만, 플래그는, 현재의 슬라이스가 예측("P") 슬라이스 또는 양방향 예측("B") 슬라이스인 경우에만 신호화된다. 배치 인덱스(x0, y0)는 화상의 상단 왼쪽 루마 샘플에 대한 고려된 CB의 상단 왼쪽 루마 샘플의 위치(x0, y0)를 명시한다. cu_skip_flag[x0][y0]가 1이라면, 현재의 CU는 스킵하며, 통합 후보 인덱스(merge_idx[x0[][y0])에 대해서를 제외하고 CU에 대해서 cu_skip_flag[x0][y0] 이후 어떠한 신택스 요소도 파싱되지 않는다. cu_skip_flag[x0][y0]이 0이라면, CU는 스킵하지 않는다. cu_skip_flag[x0][y0]이 존재하지 않을 때, 0이라고 추론한다.
하나의 가능한 변경에 따르면, 현재의 슬라이스가 인트라("I") 슬라이스인 경우 cu_skip_flag[x0][y0]도 신호화된다. 인트라 BC 예측이 (시퀀스 파라미터 세트에서 플래그(intra_block_copy_enabled_flag)에 따라) 가능케 될 때, cu_skip_flag[x0][y0]의 값이 1이라면, 현재의 CU는 스킵하며, BV 예측자 인덱스 값(idx)을 제외하고 CU에 대해서 cu_skip_flag[x0][y0] 이후 어떠한 신택스 요소도 파싱되지 않는다. 특히, 현재의 스킵된 CU에 대해 어떠한 BV 차이도 신호화되지 않는다. 다른 한편으로, cu_skip_flag[x0][y0]의 값이 0인 경우, 현재의 CU는 스킵하지 않는다.
JCTVC-O1005_v3에서의 초안 HEVC 규격에서, intra_bc_flag[x0][y0]은 현재의 CU가 인트라 BC 예측 모드에서 코딩되는지를 나타낸다. 배치 인덱스(x0, y0)는 화상의 상단 왼쪽 루마 샘플에 대한 고려된 CB의 상단 왼쪽 루마 샘플의 위치(x0, y0)를 명시한다. intra_bc_flag[x0][y0]가 1이라면, 현재의 CU는 인트라 BC 예측 모드로 코딩된다. intra_bc_flag[x0][y0]가 0이라면, 현재의 CU는 인트라 공간 예측으로 코딩된다. 존재하지 않는 경우, intra_bc_flag의 값은 0이라고 추론한다.
intra_bc_flag[x0][y0]에 대한 하나의 가능한 변경에 따르면, intra_bc_flag[x0][y0]가 1일 때, 현재의 CU에 대한 신택스는 BV 예측자 후보의 선택을 나타내는 BV 예측자 인덱스 값(idx)을 포함한다. 인덱스 값(idx)은 두 개의 BV 예측자 후보 사이의 선택을 나타내는 플래그 값일 수 있거나, 두 개보다 많은 BV 예측자 후보 중의 선택을 나타내는 정수값일 수 있다. 인덱스 값은 예컨대 산술 코딩을 사용하여 엔트로피 코딩될 수 있다.
또는, intra_bc_flag[x0][y0]에 대한 다른 가능한 변경에 따르면, 신택스 요소는 이진수 플래그 대신 정수 값이다. intra_bc_flag[x0][y0]가 0이라면, JCTVC-O1005_v3에서처럼, 현재의 CU는 인트라 공간 예측으로 코딩된다. 다른 한편으로, intra_bc_flag[x0][y0]가 0보다 크다면, 현재의 CU는 인트라 BC 예측 모드에서 코딩되며, intra_bc_flag[x0][y0]는 또한 BV 예측자 인덱스 값(idx)을 나타낸다. 예컨대, intra_bc_flag[x0][y0]가 1이라면, idx는 1이며; intra_bc_flag[x0][y0]가 2라면, idx는 2가 되는 등으로 구성된다. 다시 말해, BV 예측자 인덱스 값(idx)은 단일 신택스 요소에서 공간 또는 BC 예측에 대한 이진 값으로 공동으로 코딩된다.
intra_bc_flag[x0][y0]을 변경하며 인덱스 값(idx)을 신호화하는 어느 방식에 대해서, 변수(BvIntraPredictor[idx][compIdx])는 현재의 CU의 인트라 BC 예측에 사용될 BV 예측자 후보를 명시한다. 예컨대, 도 14의 예에서, BvIntraPredictor[0][compIdx], BvIntraPredictor[1][compIdx] 및 BvIntraPredictor[2][compIdx]는 가장 최근의 이전 인트라-BC-예측된 블록 중 최대 3개의 BV 값을 저장한다. 또는, 도 15의 예에서, BvIntraPredictor[0][compIdx], BvIntraPredictor[1][compIdx] 및 BvIntraPredictor[2][compIdx]는 최대 3개의 이웃하는 인트라-BC-예측된 블록의 BV 값을 저장한다. BvIntraPredictor[3][compIdx] 및 BvIntraPredictor[4][compIdx]는 각각 수평 및 수직 방향에서 디폴트 BV 예측자를 저장한다. 수평 BV 성분은 compIdx=0이 할당되고, 수직 BV 성분은 compIdx=1이 할당된다.
스킵-모드 블록 또는 병합-모드 블록인 경우, BV 차분은 블록에 대해 신호화되지 않는다. 이 블록에 대한 BV 값은 선택된 BV 예측자 후보이다.
비-스킵-모드, 비-병합-모드 블록인 경우, BV 차분은 비트스트림에서 신호화된다. 변수(BvIntra[x0][y0][compIdx]는 BV 차분을 명시한다. 배치 인덱스(x0, y0)는 화상의 상단 왼쪽 루마 샘플에 대한 고려된 CB의 상단 왼쪽 루마 샘플의 위치(x0, y0)를 명시한다. 수평 BV 차분 성분은 compIdx=0이 할당되고, 수직 BV 차분 성분은 compIdx=1이 할당된다. 블록에 대한 BV 값은 BvIntra[x0][y0][compIdx] = BvIntra[x0][y0][compIdx] + BvIntraPredictor[idx][compIdx]이며, 여기서 compIdx는 0..1이다.
변수(BvIntraPredictor[idx][compIdx])는 그 후 현재의 CU에 대한 BV 값을 포함하도록 업데이트할 수 있다.
5. 대안 및 변형.
현재의 블록이 BV 추정을 통해 식별하는 BV 값을 가질 때, 인코더는 임의의 형태의 BV 추정을 사용할 수 있어서, 현재의 블록에 대한 BV 값을 식별할 수 있다. 현재의 블록에 대한 BV 추정 동안, 인코더는 현재의 블록에 이용 가능한 하나 이상의 BV 예측자 후보를 평가함으로써 시작할 수 있다. BV 예측자 후보(들)에 의해 BV 추정을 시작하면, 다른 BV 값의 추정을 피하면서 적절한 BV 값을 신속히 식별하는 것을 도울 수 있다. 인코더는 필요에 따라 다른 BV 값을 평가한다. 인코더는 데이터 구조를 사용하여 BV 예측자 후보를 추적할 수 있다. BV 값이 상이한 크기의 블록에(예컨대, 32×32 CU, 16×16 CU, 8×8 CU 또는 더 작은 TU 또는 CU에) 적용될 수 있을 때, 데이터 구조는 상이한 크기의 블록에 대해 상이한 BV 예측자 후보(예컨대, 32×32 CU에 대해 하나 이상의 BV 예측자 후보, 16×16 CU에 대해 하나 이상의 BV 예측자 후보 등등)를 포함할 수 있다. 현재의 블록의 경우, 인코더는 먼저 현재의 블록의 레벨(크기)에 대한 데이터 구조에 저장된 BV 예측자 후보(들)를 평가한 후, 필요한 경우 다른 BV 값의 평가를 진행한다.
개시한 발명의 원리가 적용될 많은 가능한 실시예에 비춰볼 때, 예시한 실시예는 본 발명의 단지 바람직한 예임을 인지해야 하며, 본 발명의 범위를 제한하는 것으로 받아들이지 않아야 한다. 오히려, 본 발명의 범위는 다음의 청구범위에 의해 한정한다. 우리는 그러므로 우리의 발명으로서 이들 청구범위의 범위와 사상 내에 있는 모든 것을 청구한다.

Claims (23)

  1. 컴퓨팅 디바이스에서,
    화상의 현재 블록에 대한 복수의 블록 벡터("BV") 예측자 후보들의 세트를 결정하는 단계 - 상기 현재 블록은 병합 모드(merge mode)에서 인트라-화상 코딩(intra-picture coding)으로 압축되고, 상기 복수의 BV 예측자 후보들의 세트는 상기 현재 블록의 주위의 이웃에서의 이전 블록들의 실제 BV 값들을 포함함 - ;
    상기 현재 블록에 대해 사용하기 위해 상기 복수의 BV 예측자 후보들 중 하나를 선택하는 단계;
    상기 선택된 BV 예측자 후보와 함께 인트라 블록 카피 예측을 사용하여 상기 현재 블록을 인코딩하는 단계 - 상기 선택된 BV 예측자 후보는 상기 화상 내의 구역으로의 변위를 나타냄 - ; 및
    상기 선택된 BV 예측자 후보를 나타내는 병합 모드 인덱스 값을 비트스트림으로 출력하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 비트스트림에는 상기 현재 블록에 대한 BV 차분이 없고, 상기 비트스트림에는 상기 현재 블록에 대한 잔차 데이터가 없는 것인 방법.
  3. 제1항에 있어서,
    상기 병합 모드 인덱스 값은 플래그 값이고, 상기 복수의 BV 예측자 후보들의 세트는 두 개의 BV 예측자 후보들을 가지거나; 또는
    상기 병합 모드 인덱스 값은 정수값이고, 상기 복수의 BV 예측자 후보들의 세트는 두 개보다 많은 BV 예측자 후보들을 가지는 것인 방법.
  4. 제1항에 있어서, 상기 복수의 BV 예측자 후보들은 상기 이전 블록들의 최대 x개의 실제 BV 값들을 포함하고, x는 적어도 2이며, 상기 이전 블록들은 상기 현재 블록의 주위의 이웃에서의 위치에 적어도 부분적으로 기초하여 식별되는 것인 방법.
  5. 제1항에 있어서,
    상기 현재 블록이 병합 모드로 인코딩된다는 표시를 상기 비트스트림으로 출력하는 단계
    를 더 포함하는 방법.
  6. 제1항에 있어서, 상기 복수의 BV 예측자 후보들의 세트를 결정하는 단계는, 상기 복수의 BV 예측자 후보들의 세트에 포함된 어느 BV 예측자 후보의 중복(redundancy)도 방지하도록, 상기 복수의 BV 예측자 후보들의 세트를 어셈블링(assembling)하는 단계를 포함하는 것인 방법.
  7. 인코딩된 데이터를 비트스트림으로 저장한 저장 디바이스에 있어서, 상기 인코딩된 데이터는 화상의 현재 블록에 대한 병합 모드 인덱스 값을 포함하고, 상기 현재 블록은 병합 모드에서 인트라-화상 코딩으로 압축되어 있고, 상기 인코딩된 데이터는, 동작들에 의해, 하나 이상의 프로세서 및 메모리를 사용하여 비디오 디코더를 구현하는 컴퓨팅 디바이스로, 디코딩을 용이하게 하도록 조직되고, 상기 동작들은,
    상기 병합 모드 인덱스 값을 상기 비트스트림으로부터 수신하는 동작;
    상기 현재 블록에 대한 복수의 블록 벡터("BV") 예측자 후보들의 세트를 결정하는 동작 - 상기 복수의 BV 예측자 후보들의 세트는 상기 현재 블록의 주위의 이웃에서의 이전 블록들의 실제 BV 값들을 포함함 - ;
    상기 병합 모드 인덱스 값에 기초하여, 상기 현재 블록에 대해 사용하도록 상기 복수의 BV 예측자 후보들 중 하나를 선택하는 동작; 및
    상기 선택된 BV 예측자 후보와 함께 인트라 블록 카피 예측을 사용하여 상기 현재 블록을 디코딩하는 동작
    을 포함하고,
    상기 선택된 BV 예측자 후보는 상기 화상 내의 구역으로의 변위를 나타내는 것인 저장 디바이스.
  8. 제7항에 있어서, 상기 비트스트림에는 상기 현재 블록에 대한 BV 차분이 없고, 상기 비트스트림에는 상기 현재 블록에 대한 잔차 데이터가 없는 것인 저장 디바이스.
  9. 제7항에 있어서, 상기 병합 모드 인덱스 값은 플래그 값이며, 상기 복수의 BV 예측자 후보들의 세트는 두 개의 BV 예측자 후보들을 갖는 것인 저장 디바이스.
  10. 제7항에 있어서, 상기 병합 모드 인덱스 값은 정수값이며, 상기 복수의 BV 예측자 후보들의 세트는 두 개보다 많은 BV 예측자 후보들을 갖는 것인 저장 디바이스.
  11. 제7항에 있어서, 상기 복수의 BV 예측자 후보들은 상기 이전 블록들의 최대 x개의 실제 BV 값들을 포함하고, x는 적어도 2이며, 상기 이전 블록들은 상기 현재 블록의 주위의 이웃에서의 위치에 적어도 부분적으로 기초하여 식별되는 것인 저장 디바이스.
  12. 제7항에 있어서, 상기 동작들은,
    상기 현재 블록이 병합 모드로 인코딩된다는 표시를 상기 비트스트림으로부터 수신하는 동작
    을 더 포함하는 것인 저장 디바이스.
  13. 제7항에 있어서, 상기 복수의 BV 예측자 후보들의 세트를 결정하는 동작은, 상기 복수의 BV 예측자 후보들의 세트에 포함된 어느 BV 예측자 후보의 중복도 방지하도록, 상기 복수의 BV 예측자 후보들의 세트를 어셈블링하는 동작을 포함하는 것인 저장 디바이스.
  14. 컴퓨팅 디바이스에 있어서,
    인코딩된 데이터를 비트스트림으로 저장하도록 구성된 버퍼; 및
    동작들을 수행하도록 구성된 비디오 디코더
    를 포함하고,
    상기 동작들은,
    병합 모드 인덱스 값을 상기 비트스트림으로부터 수신하는 동작;
    화상의 현재 블록에 대한 복수의 블록 벡터("BV") 예측자 후보들의 세트를 결정하는 동작 - 상기 현재 블록은 병합 모드에서 인트라-화상 코딩으로 압축되어 있고, 상기 복수의 BV 예측자 후보들의 세트는 상기 현재 블록의 주위의 이웃에서의 이전 블록들의 실제 BV 값들을 포함함 - ;
    상기 병합 모드 인덱스 값에 기초하여, 상기 현재 블록에 대해 사용하도록 상기 복수의 BV 예측자 후보들 중 하나를 선택하는 동작; 및
    상기 선택된 BV 예측자 후보와 함께 인트라 블록 카피 예측을 사용하여 상기 현재 블록을 디코딩하는 동작
    을 포함하고,
    상기 선택된 BV 예측자 후보는 상기 화상 내의 구역으로의 변위를 나타내는 것인 컴퓨팅 디바이스.
  15. 제14항에 있어서, 상기 비트스트림에는 상기 현재 블록에 대한 BV 차분이 없고, 상기 비트스트림에는 상기 현재 블록에 대한 잔차 데이터가 없는 것인 컴퓨팅 디바이스.
  16. 제14항에 있어서, 상기 병합 모드 인덱스 값은 플래그 값이며, 상기 복수의 BV 예측자 후보들의 세트는 두 개의 BV 예측자 후보들을 갖는 것인 컴퓨팅 디바이스.
  17. 제14항에 있어서, 상기 병합 모드 인덱스 값은 정수값이며, 상기 복수의 BV 예측자 후보들의 세트는 두 개보다 많은 BV 예측자 후보들을 갖는 것인 컴퓨팅 디바이스.
  18. 제14항에 있어서, 상기 복수의 BV 예측자 후보들은 상기 이전 블록들의 최대 x개의 실제 BV 값들을 포함하고, x는 적어도 2이며, 상기 이전 블록들은 상기 현재 블록의 주위의 이웃에서의 위치에 적어도 부분적으로 기초하여 식별되는 것인 컴퓨팅 디바이스.
  19. 제14항에 있어서, 상기 동작들은,
    상기 현재 블록이 병합 모드로 인코딩된다는 표시를 상기 비트스트림으로부터 수신하는 동작
    을 더 포함하는 것인 컴퓨팅 디바이스.
  20. 제14항에 있어서, 상기 복수의 BV 예측자 후보들의 세트를 결정하는 동작은, 상기 복수의 BV 예측자 후보들의 세트에 포함된 어느 BV 예측자 후보의 중복도 방지하도록, 상기 복수의 BV 예측자 후보들의 세트를 어셈블링하는 동작을 포함하는 것인 컴퓨팅 디바이스.
  21. 제1항에 있어서, 상기 현재 블록에 대한 복수의 BV 예측자 후보들의 세트를 결정하는 단계는,
    주어진 BV 예측자 후보가 상기 현재 블록에 대한 복수의 BV 예측자 후보들의 세트 중 하나와 중복된다고 결정하는 단계; 및
    상기 주어진 BV 예측자 후보를, 상기 현재 블록에 대한 복수의 BV 예측자 후보들의 세트 중 다른 BV 예측자 후보로 교체(replace)하는 단계
    를 포함하는 것인 방법.
  22. 제7항에 있어서, 상기 현재 블록에 대한 복수의 BV 예측자 후보들의 세트를 결정하는 동작은,
    주어진 BV 예측자 후보가 상기 현재 블록에 대한 복수의 BV 예측자 후보들의 세트 중 하나와 중복된다고 결정하는 동작; 및
    상기 주어진 BV 예측자 후보를, 상기 현재 블록에 대한 복수의 BV 예측자 후보들의 세트 중 다른 BV 예측자 후보로 교체하는 동작
    을 포함하는 것인 저장 디바이스.
  23. 제14항에 있어서, 상기 현재 블록에 대한 복수의 BV 예측자 후보들의 세트를 결정하는 동작은,
    주어진 BV 예측자 후보가 상기 현재 블록에 대한 복수의 BV 예측자 후보들의 세트 중 하나와 중복된다고 결정하는 동작; 및
    상기 주어진 BV 예측자 후보를, 상기 현재 블록에 대한 복수의 BV 예측자 후보들의 세트 중 다른 BV 예측자 후보로 교체하는 동작
    을 포함하는 것인 컴퓨팅 디바이스.
KR1020217014829A 2014-01-03 2014-01-03 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측 KR102353787B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020167021088A KR102258427B1 (ko) 2014-01-03 2014-01-03 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측
PCT/CN2014/070072 WO2015100726A1 (en) 2014-01-03 2014-01-03 Block vector prediction in video and image coding/decoding

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167021088A Division KR102258427B1 (ko) 2014-01-03 2014-01-03 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측

Publications (2)

Publication Number Publication Date
KR20210060650A KR20210060650A (ko) 2021-05-26
KR102353787B1 true KR102353787B1 (ko) 2022-01-19

Family

ID=53493035

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167021088A KR102258427B1 (ko) 2014-01-03 2014-01-03 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측
KR1020217014829A KR102353787B1 (ko) 2014-01-03 2014-01-03 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020167021088A KR102258427B1 (ko) 2014-01-03 2014-01-03 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측

Country Status (12)

Country Link
US (4) US10469863B2 (ko)
EP (2) EP4096221A1 (ko)
JP (1) JP6355744B2 (ko)
KR (2) KR102258427B1 (ko)
CN (1) CN105917650B (ko)
AU (1) AU2014376061B8 (ko)
BR (1) BR112016015080A2 (ko)
CA (1) CA2934699A1 (ko)
ES (1) ES2924392T3 (ko)
MX (1) MX360926B (ko)
RU (1) RU2669005C2 (ko)
WO (1) WO2015100726A1 (ko)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013403225B2 (en) 2013-10-14 2018-06-14 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
KR102170169B1 (ko) 2013-10-14 2020-10-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
US10469863B2 (en) 2014-01-03 2019-11-05 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
EP3078192B1 (en) * 2014-02-21 2019-12-04 MediaTek Singapore Pte Ltd. Method of video coding using prediction based on intra picture block copy
JP6482191B2 (ja) * 2014-06-12 2019-03-13 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
KR102413529B1 (ko) 2014-06-19 2022-06-24 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
US9948949B2 (en) * 2014-06-20 2018-04-17 Qualcomm Incorporated Intra block copy block vector signaling for video coding
CN105392008B (zh) * 2014-08-22 2018-09-25 中兴通讯股份有限公司 一种预测编、解码方法和相应的编、解码器和电子设备
CN105874795B (zh) 2014-09-30 2019-11-29 微软技术许可有限责任公司 在波前并行处理被启用时对图片内预测模式的规则
US9854237B2 (en) 2014-10-14 2017-12-26 Qualcomm Incorporated AMVP and merge candidate list derivation for intra BC and inter prediction unification
CN106664405B (zh) 2015-06-09 2020-06-09 微软技术许可有限责任公司 用调色板模式对经逸出编码的像素的稳健编码/解码
JP6998874B2 (ja) 2016-08-10 2022-02-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
FR3062010A1 (fr) 2017-07-05 2018-07-20 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'une sequence d'images
FR3068557A1 (fr) * 2017-07-05 2019-01-04 Orange Procede de codage et decodage d'images,dispositif de codage et decodage et programmes d'ordinateur correspondants
FR3068558A1 (fr) 2017-07-05 2019-01-04 Orange Procede de codage et decodage d'images,dispositif de codage et decodage et programmes d'ordinateur correspondants
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
JP7104186B2 (ja) 2018-06-05 2022-07-20 北京字節跳動網絡技術有限公司 Ｉｂｃとａｔｍｖｐとの間でのインタラクション
EP3788782A1 (en) 2018-06-21 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Sub-block mv inheritance between color components
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
CN110662056B (zh) * 2018-06-29 2022-06-07 北京字节跳动网络技术有限公司 哪个查找表需要更新或不更新
KR102646649B1 (ko) 2018-06-29 2024-03-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
CN110662053B (zh) 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 使用查找表的视频处理方法、装置和存储介质
BR112020024142A2 (pt) * 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório
EP3791587A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Resetting of look up table per slice/tile/lcu row
GB2588531B (en) * 2018-06-29 2023-02-01 Beijing Bytedance Network Tech Co Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
JP7256265B2 (ja) 2018-06-29 2023-04-11 北京字節跳動網絡技術有限公司 ルックアップテーブルの更新：ｆｉｆｏ、制限されたｆｉｆｏ
JP7460617B2 (ja) * 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Ｌｕｔ更新条件
TWI719525B (zh) * 2018-06-29 2021-02-21 大陸商北京字節跳動網絡技術有限公司 Lut與amvp之間的交互
GB2589241B (en) * 2018-07-02 2023-06-07 Beijing Bytedance Network Tech Co Ltd Update of look-up tables
KR20240035930A (ko) * 2018-07-04 2024-03-18 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
CN110719465B (zh) * 2018-07-14 2022-11-22 北京字节跳动网络技术有限公司 用时间信息扩展基于查找表的运动矢量预测
TWI822839B (zh) 2018-08-26 2023-11-21 大陸商北京字節跳動網絡技術有限公司 組合的基於歷史的運動矢量預測符和多運動模型解碼
TW202025760A (zh) 2018-09-12 2020-07-01 大陸商北京字節跳動網絡技術有限公司 要檢查多少個hmvp候選
WO2020058895A1 (en) 2018-09-19 2020-03-26 Beijing Bytedance Network Technology Co., Ltd. Selection of adjacent neighboring block for intra coding
CN110944170B (zh) 2018-09-24 2023-05-02 北京字节跳动网络技术有限公司 扩展Merge预测
US10764601B2 (en) * 2018-10-06 2020-09-01 Tencent America LLC Method and apparatus for video coding
CN112970262B (zh) 2018-11-10 2024-02-20 北京字节跳动网络技术有限公司 三角预测模式中的取整
WO2020141853A1 (ko) * 2019-01-01 2020-07-09 엘지전자 주식회사 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
KR102648159B1 (ko) 2019-01-10 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
WO2020156546A1 (en) 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Prediction using extra-buffer samples for intra block copy in video coding
KR102653088B1 (ko) 2019-02-02 2024-04-01 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 초기화
JP7405861B2 (ja) 2019-03-01 2023-12-26 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのための方向に基づく予測
CN117640927A (zh) 2019-03-04 2024-03-01 北京字节跳动网络技术有限公司 视频编解码中的帧内块复制中的实施方式方面
US11012686B2 (en) * 2019-03-08 2021-05-18 Tencent America LLC Unified block vector prediction for intra picture block compensation
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
KR20230157529A (ko) 2019-04-01 2023-11-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 히스토리 기반 움직임 벡터 예측을 위한 보간 필터 사용
JP7299341B2 (ja) 2019-04-12 2023-06-27 北京字節跳動網絡技術有限公司 ビデオ処理方法、装置、記憶媒体、及び記憶方法
KR102662874B1 (ko) 2019-04-28 2024-05-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 대칭 모션 벡터 차이 코딩
CN113924775B (zh) 2019-05-31 2023-11-14 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的限制的上采样
CN117354507A (zh) 2019-06-06 2024-01-05 北京字节跳动网络技术有限公司 视频编解码的运动候选列表构建
US11039156B2 (en) 2019-06-11 2021-06-15 Tencent America LLC Unified position dependent prediction combination process
CN112118451B (zh) * 2019-06-20 2022-09-27 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN110677655B (zh) * 2019-06-21 2022-08-16 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及存储介质
CN114009037A (zh) * 2019-06-22 2022-02-01 北京字节跳动网络技术有限公司 帧内块复制模式的运动候选列表构建
CN117294841A (zh) 2019-07-06 2023-12-26 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的虚拟预测缓冲
CN114175633B (zh) 2019-07-10 2023-12-29 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的样点标识
JP2022539887A (ja) 2019-07-11 2022-09-13 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのためのビットストリーム適合性の制約
KR20220024764A (ko) * 2019-07-19 2022-03-03 엘지전자 주식회사 Ibc를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
MX2022000716A (es) 2019-07-26 2022-02-23 Beijing Bytedance Network Tech Co Ltd Determinación del modo de particionado de imagen con base en el tamaño de bloque.
CN114342408A (zh) * 2019-08-26 2022-04-12 北京字节跳动网络技术有限公司 视频编码中帧内编码模式的扩展
JP7323709B2 (ja) 2019-09-09 2023-08-08 北京字節跳動網絡技術有限公司 イントラブロックコピーの符号化および復号化
KR20220066166A (ko) 2019-09-27 2022-05-23 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 현재 블록의 예측 방법 및 예측 장치, 디바이스, 저장 매체
US11516477B2 (en) * 2021-02-11 2022-11-29 Qualcomm Incorporated Intra block copy scratch frame buffer
US20230099655A1 (en) * 2021-09-30 2023-03-30 Comcast Cable Communications, Llc Video Compression Using Block Vector Predictor Refinement
US11683509B1 (en) * 2021-10-28 2023-06-20 Meta Platforms, Inc. Prediction unit skip detection in encoder
US20230388513A1 (en) * 2022-05-25 2023-11-30 Tencent America LLC Subblock level temporal motion vector prediction with multiple displacement vector predictors and an offset

Family Cites Families (257)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2114404B (en) 1982-01-28 1986-07-02 British Broadcasting Corp Generating a colour video signal representative of a stored picture
JPH087553B2 (ja) 1988-10-27 1996-01-29 インターナショナル・ビジネス・マシーンズ・コーポレーション 色画像量子化方法及び装置
US5706290A (en) 1994-12-15 1998-01-06 Shaw; Venson Method and apparatus including system architecture for multimedia communication
US6389162B2 (en) 1996-02-15 2002-05-14 Canon Kabushiki Kaisha Image processing apparatus and method and medium
JPH10262258A (ja) 1997-03-19 1998-09-29 Sony Corp 画像符号化装置及び方法
JP2000102016A (ja) 1998-09-22 2000-04-07 Victor Co Of Japan Ltd 動き補償予測回路
JP2001251507A (ja) 2000-03-03 2001-09-14 Fujitsu Ltd 画像処理装置
US6701012B1 (en) 2000-07-24 2004-03-02 Sharp Laboratories Of America, Inc. Out-of-layer pixel generation for a decomposed-image layer
US6748116B1 (en) 2000-08-22 2004-06-08 Airzip, Inc. Apparatus and method for compressing and decompressing image files
DE10049571C1 (de) 2000-10-06 2002-06-13 Siemens Ag Verfahren und Anordnung zum Übertragen eines Vektors
US7023924B1 (en) 2000-12-28 2006-04-04 Emc Corporation Method of pausing an MPEG coded video stream
US6853755B2 (en) 2001-03-28 2005-02-08 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive compression of scanned documents
EP1433121A4 (en) 2001-09-12 2007-03-21 Bonet Jeremy S De TRANSFORMATION TO INCREASE THE COMPRESSIBILITY OF IMAGES WITH A MINIMUM OF VISUAL DISTORTION BASED ON LEMPEL-ZIV METHODS
JP2004007379A (ja) 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
US7120196B2 (en) 2002-04-29 2006-10-10 Ess Technology, Inc. Intra-prediction using intra-macroblock motion compensation
RU2314656C2 (ru) 2002-06-11 2008-01-10 Нокиа Корпорейшн Внутреннее кодирование, основанное на пространственном прогнозировании
US7289674B2 (en) 2002-06-11 2007-10-30 Nokia Corporation Spatial prediction based intra coding
US7016547B1 (en) 2002-06-28 2006-03-21 Microsoft Corporation Adaptive entropy encoding/decoding for screen capture content
MXPA05007447A (es) 2003-01-10 2005-09-12 Thomson Licensing Sa Aparato de decodificador y metodo para suavizar artefactos creados durante el ocultamiento de error.
DE10301362B4 (de) 2003-01-16 2005-06-09 GEMAC-Gesellschaft für Mikroelektronikanwendung Chemnitz mbH Blockdatenkompressionssystem, bestehend aus einer Kompressionseinrichtung und einer Dekompressionseinrichtung, und Verfahren zur schnellen Blockdatenkompression mit Multi-Byte-Suche
US7373005B2 (en) 2003-04-10 2008-05-13 Micron Technology, Inc. Compression system for integrated sensor devices
US7609763B2 (en) 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
JP5052891B2 (ja) 2003-08-26 2012-10-17 トムソン ライセンシング ハイブリッド・イントラ・インター符号化ブロックを符号化する方法及び装置
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7317839B2 (en) 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
KR101044934B1 (ko) 2003-12-18 2011-06-28 삼성전자주식회사 움직임 벡터 추정방법 및 부호화 모드 결정방법
JP4591657B2 (ja) 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
US8036271B2 (en) 2004-02-24 2011-10-11 Lsi Corporation Method and apparatus for determining a second picture for temporal direct-mode block prediction
JP4338654B2 (ja) 2004-03-18 2009-10-07 三洋電機株式会社 動きベクトル検出装置及び方法、及びその動きベクトル検出装置を利用可能な画像符号化装置
JP4418762B2 (ja) 2004-05-07 2010-02-24 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
US8116374B2 (en) 2004-05-07 2012-02-14 Broadcom Corporation Method and system for generating a transform size syntax element for video decoding
CA2574590C (en) 2004-07-20 2013-02-19 Qualcomm Incorporated Method and apparatus for motion vector prediction in temporal video compression
JP2006140683A (ja) 2004-11-11 2006-06-01 Canon Inc 画像符号化装置
US7720154B2 (en) 2004-11-12 2010-05-18 Industrial Technology Research Institute System and method for fast variable-size motion estimation
JP2006140758A (ja) 2004-11-12 2006-06-01 Toshiba Corp 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
KR100679035B1 (ko) 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US20060274070A1 (en) 2005-04-19 2006-12-07 Herman Daniel L Techniques and workflows for computer graphics animation system
US20060282855A1 (en) 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
KR100716999B1 (ko) 2005-06-03 2007-05-10 삼성전자주식회사 영상의 대칭성을 이용한 인트라 예측 방법, 이를 이용한영상의 복호화, 부호화 방법 및 장치
KR101211665B1 (ko) 2005-08-12 2012-12-12 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP2007053561A (ja) 2005-08-17 2007-03-01 Matsushita Electric Ind Co Ltd 画像符号化装置および画像符号化方法
CN101258526B (zh) 2005-08-19 2011-05-11 艾利森电话股份有限公司 基于具有修改亮度的两个色调的纹理压缩
US7986844B2 (en) 2005-11-22 2011-07-26 Intel Corporation Optimized video compression using hashing function
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8792555B2 (en) 2006-01-31 2014-07-29 Qualcomm Incorporated Methods and systems for resizing multimedia content
CN101026761B (zh) 2006-02-17 2010-05-12 中国科学院自动化研究所 一种具有最小误差的快速变尺寸块匹配的运动估计方法
US7668382B2 (en) 2006-02-24 2010-02-23 Microsoft Corporation Block-based fast image compression
US7616816B2 (en) 2006-03-20 2009-11-10 Sarnoff Corporation System and method for mission-driven visual information retrieval and organization
EP2011342B1 (en) * 2006-04-14 2017-06-28 Nxp B.V. Motion estimation at image borders
WO2008004940A1 (en) 2006-07-07 2008-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Video data management
DE102007035204A1 (de) 2006-07-28 2008-02-07 Mediatek Inc. Videoverarbeitungs- und - betriebsvorrichtung
US8472527B2 (en) 2006-09-13 2013-06-25 Texas Instruments Incorporated Hierarchical motion estimation using original frame for sub-sampled reference
KR20090073112A (ko) 2006-09-22 2009-07-02 톰슨 라이센싱 다중 경로 비디오 코딩 및 디코딩을 위한 방법 및 장치
FR2906433B1 (fr) 2006-09-22 2009-02-27 Canon Kk Procedes et dispositifs de codage et de decodage d'images, programme d'ordinateur les mettant en oeuvre et support d'informaton permettant de les mettre en oeuvre
US20080084924A1 (en) 2006-10-05 2008-04-10 Donald Martin Monro Matching pursuits basis selection design
US8218640B2 (en) * 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture decoding using same-picture reference for pixel reconstruction
US8218641B2 (en) 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture encoding using same-picture reference for pixel reconstruction
JP2008154015A (ja) 2006-12-19 2008-07-03 Hitachi Ltd 復号化方法および符号化方法
US7907783B2 (en) 2007-01-24 2011-03-15 Samsung Electronics Co., Ltd. Apparatus and method of matching symbols in a text image coding and decoding system
CN100527842C (zh) 2007-01-26 2009-08-12 清华大学 基于背景的运动估计编码方法
US8472522B2 (en) 2007-02-23 2013-06-25 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
US8160150B2 (en) * 2007-04-10 2012-04-17 Texas Instruments Incorporated Method and system for rate distortion optimization
CN101682784A (zh) 2007-04-19 2010-03-24 汤姆逊许可证公司 用于帧内预测的自适应参考图片数据生成
US7903873B2 (en) 2007-09-13 2011-03-08 Microsoft Corporation Textual image coding
CN101420606A (zh) 2007-10-23 2009-04-29 青岛海信电器股份有限公司 图像处理方法和装置
JP2009147807A (ja) 2007-12-17 2009-07-02 Fujifilm Corp 画像処理装置
CN101232619B (zh) 2008-01-25 2011-05-11 浙江大学 嵌入帧内编码块的视频编码方法
TWI375472B (en) 2008-02-04 2012-10-21 Ind Tech Res Inst Intra prediction method for luma block of video
CN101552924B (zh) 2008-03-31 2011-08-03 深圳市融创天下科技发展有限公司 一种用于视频编码的空间预测方法
BRPI0911061A2 (pt) 2008-04-11 2015-12-29 Thomson Licensing filtragem de desblocagem para predição intra deslocada e correspondência de modelos
JP2009260473A (ja) 2008-04-14 2009-11-05 Canon Inc 色処理方法及び装置、プログラム、記録媒体
JP2010035137A (ja) 2008-07-01 2010-02-12 Sony Corp 画像処理装置および方法、並びにプログラム
CN102113326A (zh) 2008-08-04 2011-06-29 杜比实验室特许公司 重叠块差异估计和补偿体系结构
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
KR101306834B1 (ko) 2008-09-22 2013-09-10 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
US8254704B2 (en) 2008-10-30 2012-08-28 Microsoft Corporation Remote computing platforms providing high-fidelity display and interactivity for clients
US8180165B2 (en) 2008-12-19 2012-05-15 Microsoft Corp. Accelerated screen codec
KR101359490B1 (ko) 2008-12-23 2014-02-10 에스케이 텔레콤주식회사 컬러 영상 부호화/복호화 방법 및 장치
TW201028018A (en) 2009-01-07 2010-07-16 Ind Tech Res Inst Encoder, decoder, encoding method and decoding method
CA2750735C (en) 2009-02-02 2018-09-18 Calgary Scientific Inc. Image data transmission
RU2420021C2 (ru) 2009-03-24 2011-05-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ сжатия изображений и видеопоследовательностей
EP2249571A1 (en) 2009-05-04 2010-11-10 Thomson Licensing SA Method and device for encoding an image frame comprising macroblocks
US8837587B2 (en) 2009-06-22 2014-09-16 Thomson Licensing Process for coding and decoding video data of a sequence of images and corresponding encoder and decoder
US20120275518A1 (en) 2009-07-10 2012-11-01 Shinya Kadono Moving picture coding method, apparatus, program, and integrated circuit
CN101626512A (zh) 2009-08-11 2010-01-13 北京交通大学 一种基于相关性优化准则的多描述视频编码方法及装置
CN104602013B (zh) 2009-10-01 2017-10-31 Sk电信有限公司 视频编码装置和方法
CN102577392A (zh) 2009-10-20 2012-07-11 夏普株式会社 运动图像编码装置、运动图像解码装置以及数据结构
TWI566586B (zh) * 2009-10-20 2017-01-11 湯姆生特許公司 一序列形象的現時區塊之寫碼方法和重建方法
JP5321426B2 (ja) 2009-11-26 2013-10-23 株式会社Ｊｖｃケンウッド 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
KR101623124B1 (ko) 2009-12-03 2016-05-24 에스케이 텔레콤주식회사 비디오 인코딩 장치 및 그 인코딩 방법, 비디오 디코딩 장치 및 그 디코딩 방법, 및 거기에 이용되는 방향적 인트라 예측방법
CN102860006B (zh) * 2010-02-05 2016-11-23 瑞典爱立信有限公司 管理预测运动向量候选
US20110194613A1 (en) 2010-02-11 2011-08-11 Qualcomm Incorporated Video coding with large macroblocks
JP5375676B2 (ja) 2010-03-04 2013-12-25 富士通株式会社 画像処理装置、画像処理方法、および画像処理プログラム
ES2713173T3 (es) 2010-03-31 2019-05-20 Orange Procedimientos y dispositivos de codificación y de decodificación de una secuencia de imágenes que implementan una predicción por compensación de movimiento anticipado, y programa de ordenador correspondiente
US8619857B2 (en) 2010-04-09 2013-12-31 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
US8644375B2 (en) 2010-04-09 2014-02-04 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
KR101789634B1 (ko) 2010-04-09 2017-10-25 엘지전자 주식회사 비디오 데이터 처리 방법 및 장치
KR101752418B1 (ko) 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2011136896A1 (en) 2010-04-27 2011-11-03 Sony Corporation Boundary adaptive intra prediction for improving subjective video quality
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
WO2011160251A1 (en) 2010-06-21 2011-12-29 Thomson Broadband R&D (Beijing) Co., Ltd. Method and apparatus for encoding/decoding image data
CN107105256A (zh) 2010-07-02 2017-08-29 数码士有限公司 用于帧内预测的解码图像的装置
KR101484281B1 (ko) 2010-07-09 2015-01-21 삼성전자주식회사 블록 병합을 이용한 비디오 부호화 방법 및 그 장치, 블록 병합을 이용한 비디오 복호화 방법 및 그 장치
CA3096445C (en) 2010-07-14 2022-02-22 Ntt Docomo, Inc. Low-complexity intra prediction for video coding
CN105227958B (zh) 2010-07-20 2019-06-25 Sk电信有限公司 用于解码视频信号的解码装置
FI3962088T3 (fi) 2010-11-04 2023-09-20 Ge Video Compression Llc Kuvankoodaus, joka tukee lohkojen yhdistämistä ja ohittavaa toimintamuotoa
US8787459B2 (en) * 2010-11-09 2014-07-22 Sony Computer Entertainment Inc. Video coding methods and apparatus
KR101756442B1 (ko) 2010-11-29 2017-07-11 에스케이텔레콤 주식회사 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치
US8767835B2 (en) 2010-12-28 2014-07-01 Mitsubishi Electric Research Laboratories, Inc. Method for coding videos using dictionaries
US20120163457A1 (en) 2010-12-28 2012-06-28 Viktor Wahadaniah Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus
KR101739579B1 (ko) 2011-01-04 2017-05-24 에스케이 텔레콤주식회사 코딩 유닛 단위 병렬 인트라예측을 이용한 부호화/복호화 방법 및 장치
US8913662B2 (en) 2011-01-06 2014-12-16 Qualcomm Incorporated Indicating intra-prediction mode selection for video coding using CABAC
KR20120080122A (ko) 2011-01-06 2012-07-16 삼성전자주식회사 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법
KR102346666B1 (ko) * 2011-01-07 2022-01-03 엘지전자 주식회사 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
WO2012097376A1 (en) * 2011-01-14 2012-07-19 General Instrument Corporation Spatial block merge mode
EP2664146A1 (en) 2011-01-14 2013-11-20 Motorola Mobility LLC Joint spatial and temporal block merge mode for hevc
EP2664070B1 (en) 2011-01-14 2016-11-02 GE Video Compression, LLC Entropy encoding and decoding scheme
US9787981B2 (en) * 2011-01-19 2017-10-10 Renesas Electronics Corporation Image coding device and image decoding device
US8755437B2 (en) * 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
US9532066B2 (en) 2011-01-21 2016-12-27 Qualcomm Incorporated Motion vector prediction
US8548057B2 (en) 2011-01-25 2013-10-01 Microsoft Corporation Video coding redundancy reduction
US9319716B2 (en) 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
US9288501B2 (en) 2011-03-08 2016-03-15 Qualcomm Incorporated Motion vector predictors (MVPs) for bi-predictive inter mode in video coding
US9788019B2 (en) 2011-03-09 2017-10-10 Hfi Innovation Inc. Method and apparatus of transform unit partition with reduced complexity
CN107105286B (zh) * 2011-03-14 2020-01-21 寰发股份有限公司 推导运动向量预测子的方法与装置
PT2690870T (pt) 2011-03-21 2020-02-10 Lg Electronics Inc Processo de selecção de preditor de vectores de movimento e dispositivo que o utiliza
US8693547B2 (en) 2011-04-06 2014-04-08 Google Inc. Apparatus and method for coding using motion vector segmentation
BR122020023363B1 (pt) 2011-04-21 2021-06-01 Samsung Electronics Co., Ltd Método de decodificação
WO2012146320A1 (en) 2011-04-29 2012-11-01 Telefonaktiebolaget L M Ericsson (Publ) Encoder, decoder and methods thereof for texture compression
US20120281760A1 (en) * 2011-05-04 2012-11-08 Hyung Joon Kim Iterative Grid-Pattern Motion Search
US8971416B2 (en) 2011-05-05 2015-03-03 Vixs Systems, Inc Video decoder with vector processor and methods for use therewith
CN102137263B (zh) 2011-05-09 2013-07-03 松日数码发展(深圳)有限公司 基于cnm关键帧分类的分布式视频编码及解码方法
US20120294353A1 (en) 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
CN103563387A (zh) 2011-05-16 2014-02-05 索尼公司 图像处理设备和图像处理方法
CN102238391B (zh) 2011-05-25 2016-12-07 深圳市云宙多媒体技术有限公司 一种预测编码方法、装置
JP5727873B2 (ja) 2011-06-10 2015-06-03 日本放送協会 動きベクトル検出装置、符号化装置、及びこれらのプログラム
CN103688533B (zh) 2011-06-20 2015-12-23 联发科技（新加坡）私人有限公司 可减少行存储器的色度帧内预测方法及装置
EP3223523A1 (en) 2011-06-24 2017-09-27 HFI Innovation Inc. Method and apparatus for removing redundancy in motion vector predictors
EP4270950A3 (en) 2011-06-27 2024-02-14 Sun Patent Trust Encoding apparatus and decoding apparatus
US9060173B2 (en) 2011-06-30 2015-06-16 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
EP2705668A1 (en) 2011-07-12 2014-03-12 Huawei Technologies Co., Ltd Pixel-based intra prediction for coding in hevc
CN102223541B (zh) 2011-07-14 2013-07-03 北京工业大学 一种混合图像的编码方法
US9232237B2 (en) 2011-08-05 2016-01-05 Texas Instruments Incorporated Block-based parallel deblocking filter in video coding
WO2013023518A1 (en) 2011-08-17 2013-02-21 Mediatek Singapore Pte. Ltd. Method and apparatus for intra prediction using non-square blocks
KR101492104B1 (ko) 2011-08-29 2015-02-11 주식회사 아이벡스피티홀딩스 동영상 복호화 장치
US8804816B2 (en) 2011-08-30 2014-08-12 Microsoft Corporation Video encoding enhancements
US9578336B2 (en) 2011-08-31 2017-02-21 Texas Instruments Incorporated Hybrid video and graphics system with automatic content detection process, and other circuits, processes, and systems
US9992511B2 (en) * 2011-10-21 2018-06-05 Nokia Technologies Oy Method for video coding and an apparatus
GB2495990A (en) * 2011-10-28 2013-05-01 Canon Kk Motion compensated image coding with omission of coding mode cost calculation for a motion predictor in a set.
US9484952B2 (en) 2011-11-03 2016-11-01 Qualcomm Incorporated Context state and probability initialization for context adaptive entropy coding
US10390046B2 (en) 2011-11-07 2019-08-20 Qualcomm Incorporated Coding significant coefficient information in transform skip mode
US9392270B2 (en) 2011-11-08 2016-07-12 Google Technology Holdings LLC Devices and methods for sample adaptive offset coding and/or signaling
WO2013068564A1 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Effective wedgelet partition coding using spatial prediction
US20130121417A1 (en) 2011-11-16 2013-05-16 Qualcomm Incorporated Constrained reference picture sets in wave front parallel processing of video data
WO2013072484A1 (en) 2011-11-18 2013-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view coding with efficient residual handling
US9883203B2 (en) 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
CN108471532B (zh) 2011-11-25 2021-06-29 太阳专利托管公司 图像解码方法及图像解码装置
RU2493670C2 (ru) 2011-12-15 2013-09-20 Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский университет "МИЭТ" Способ блочной межкадровой компенсации движения для видеокодеков
KR20140120891A (ko) 2011-12-20 2014-10-14 모토로라 모빌리티 엘엘씨 효율적인 변환 유닛 인코딩을 위한 방법 및 장치
US9762904B2 (en) 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
US20130163664A1 (en) 2011-12-22 2013-06-27 Qualcomm Incorporated Unified partition mode table for intra-mode coding
US9900615B2 (en) 2011-12-28 2018-02-20 Microsoft Technology Licensing, Llc Representative motion information for temporal motion prediction in video encoding and decoding
WO2013102293A1 (en) 2012-01-04 2013-07-11 Mediatek Singapore Pte. Ltd. Improvements of luma-based chroma intra prediction
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9332259B2 (en) 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
JP2013150173A (ja) 2012-01-19 2013-08-01 Sony Corp 画像処理装置および方法
US20130188718A1 (en) 2012-01-20 2013-07-25 Qualcomm Incorporated Motion prediction in svc without including a temporally neighboring block motion vector in a candidate list
JP2013150215A (ja) 2012-01-20 2013-08-01 Fujitsu Ltd 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
US9210438B2 (en) 2012-01-20 2015-12-08 Sony Corporation Logical intra mode naming in HEVC video coding
KR101718488B1 (ko) 2012-01-20 2017-03-21 지이 비디오 컴프레션, 엘엘씨 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
US10244246B2 (en) 2012-02-02 2019-03-26 Texas Instruments Incorporated Sub-pictures for pixel rate balancing on multi-core platforms
WO2013128010A2 (en) 2012-03-02 2013-09-06 Canon Kabushiki Kaisha Method and devices for encoding a sequence of images into a scalable video bit-stream, and decoding a corresponding scalable video bit-stream
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
CA2868448A1 (en) 2012-03-26 2013-10-03 Euclid Discoveries, Llc Context based video encoding and decoding
US20130258052A1 (en) 2012-03-28 2013-10-03 Qualcomm Incorporated Inter-view residual prediction in 3d video coding
US9838684B2 (en) 2012-04-11 2017-12-05 Qualcomm Incorporated Wavefront parallel processing for video coding
US20130272409A1 (en) 2012-04-12 2013-10-17 Qualcomm Incorporated Bandwidth reduction in video coding through applying the same reference index
CN104170389B (zh) 2012-04-24 2018-10-26 联发科技股份有限公司 运动向量预测器的产生方法和装置及视点间运动向量预测器候选的产生方法
US9521410B2 (en) 2012-04-26 2016-12-13 Qualcomm Incorporated Quantization parameter (QP) coding in video coding
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9762903B2 (en) 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
CN102752595B (zh) 2012-06-29 2014-07-09 香港应用科技研究院有限公司 用于深度图编码和解码的混合型跳过模式
US9621905B2 (en) 2012-06-29 2017-04-11 Qualcomm Incorporated Tiles and wavefront parallel processing
US9716892B2 (en) 2012-07-02 2017-07-25 Qualcomm Incorporated Video parameter set including session negotiation information
US9549182B2 (en) 2012-07-11 2017-01-17 Qualcomm Incorporated Repositioning of prediction residual blocks in video coding
US9264713B2 (en) 2012-07-11 2016-02-16 Qualcomm Incorporated Rotation of prediction residual blocks in video coding with transform skipping
US9467692B2 (en) 2012-08-31 2016-10-11 Qualcomm Incorporated Intra prediction improvements for scalable video coding
US20140071235A1 (en) 2012-09-13 2014-03-13 Qualcomm Incorporated Inter-view motion prediction for 3d video
KR102063239B1 (ko) 2012-09-26 2020-01-07 벨로스 미디어 인터내셔널 리미티드 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
JPWO2014050948A1 (ja) * 2012-09-28 2016-08-22 シャープ株式会社 画像復号装置、画像復号方法及び画像符号化装置
WO2014053099A1 (en) 2012-10-03 2014-04-10 Mediatek Inc. Method and apparatus for motion information inheritance in three-dimensional video coding
US9357214B2 (en) * 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video
US9615090B2 (en) 2012-12-28 2017-04-04 Qualcomm Incorporated Parsing syntax elements in three-dimensional video coding
US9826244B2 (en) 2013-01-08 2017-11-21 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
CN103067716B (zh) 2013-01-10 2016-06-29 华为技术有限公司 深度图像的编解码方法和编解码装置
US9800857B2 (en) 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
US9516306B2 (en) 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US10904551B2 (en) * 2013-04-05 2021-01-26 Texas Instruments Incorporated Video coding using intra block copy
CN103237226B (zh) 2013-04-07 2016-08-03 宁波大学 一种立体视频宏块丢失错误隐藏方法
WO2014166104A1 (en) 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Removal of parsing dependency for illumination compensation
US11323747B2 (en) 2013-06-05 2022-05-03 Qualcomm Incorporated Residual differential pulse code modulation (DPCM) extensions and harmonization with transform skip, rotation, and scans
CN103281538B (zh) 2013-06-06 2016-01-13 上海交通大学 基于滚动哈希和块级别帧内预测的帧内编码方法
CN111800641B (zh) 2013-06-13 2023-08-25 上海天荷电子信息有限公司 同模式采用不同种类重构像素的图像编码解码方法和装置
US9300967B2 (en) 2013-06-19 2016-03-29 Apple Inc. Sample adaptive offset control
US10015515B2 (en) 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
GB2516422A (en) 2013-07-09 2015-01-28 Sony Corp Data encoding and decoding
US20150016533A1 (en) 2013-07-12 2015-01-15 Qualcomm Incorporated Intra motion compensation extensions
US9558567B2 (en) 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
US20150016516A1 (en) 2013-07-15 2015-01-15 Samsung Electronics Co., Ltd. Method for intra prediction improvements for oblique modes in video coding
CN105393538B (zh) * 2013-07-24 2018-12-04 高通股份有限公司 用于视频编解码的方法、装置及计算机可读存储介质
US9774879B2 (en) * 2013-08-16 2017-09-26 Sony Corporation Intra-block copying enhancements for HEVC in-range-extension (RExt)
CN112383780B (zh) 2013-08-16 2023-05-02 上海天荷电子信息有限公司 点匹配参考集和索引来回扫描串匹配的编解码方法和装置
US10313682B2 (en) 2013-08-26 2019-06-04 Qualcomm Incorporated Determining regions when performing intra block copying
US9503715B2 (en) 2013-08-30 2016-11-22 Qualcomm Incorporated Constrained intra prediction in video coding
US20170155899A1 (en) 2013-09-07 2017-06-01 Tongji University Image compression method and apparatus using matching
US20150071357A1 (en) 2013-09-12 2015-03-12 Qualcomm Incorporated Partial intra block copying for video coding
AU2013228045A1 (en) * 2013-09-13 2015-04-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
US10009629B2 (en) 2013-10-11 2018-06-26 Sony Corporation Video coding system with search range and method of operation thereof
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
AU2013403225B2 (en) 2013-10-14 2018-06-14 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
KR102170169B1 (ko) 2013-10-14 2020-10-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
US20150110181A1 (en) 2013-10-18 2015-04-23 Samsung Electronics Co., Ltd. Methods for palette prediction and intra block copy padding
US10291827B2 (en) * 2013-11-22 2019-05-14 Futurewei Technologies, Inc. Advanced screen content coding solution
WO2015090219A1 (en) 2013-12-18 2015-06-25 Mediatek Inc. Method and apparatus for palette initialization and management
TWI536811B (zh) * 2013-12-27 2016-06-01 財團法人工業技術研究院 影像處理方法與系統、解碼方法、編碼器與解碼器
US10469863B2 (en) 2014-01-03 2019-11-05 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US9883197B2 (en) 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
US20150271515A1 (en) 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
GB2522844A (en) 2014-01-29 2015-08-12 Sony Corp Data encoding and decoding
US9699468B2 (en) 2014-02-10 2017-07-04 Microsoft Technology Licensing, Llc Adaptive screen and video coding scheme
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
EP3078192B1 (en) * 2014-02-21 2019-12-04 MediaTek Singapore Pte Ltd. Method of video coding using prediction based on intra picture block copy
KR102185245B1 (ko) 2014-03-04 2020-12-01 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 해시 기반 블록 매칭을 위한 해시 테이블 구성 및 이용가능성 검사
BR112016018814A8 (pt) 2014-03-04 2020-06-23 Microsoft Technology Licensing Llc dispositivo de computação, método em dispositivo de computação com decodificador de vídeo ou decodificador de imagem e meio legível por computador
WO2015135509A1 (en) 2014-03-14 2015-09-17 Mediatek Inc. Method for palette table initialization and management
US20150264348A1 (en) 2014-03-17 2015-09-17 Qualcomm Incorporated Dictionary coding of video content
RU2668723C2 (ru) 2014-03-17 2018-10-02 Нокиа Текнолоджиз Ой Способ и оборудование для кодирования и декодирования видеосигналов
US10432928B2 (en) 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
US10477232B2 (en) 2014-03-21 2019-11-12 Qualcomm Incorporated Search region determination for intra block copy in video coding
AU2014202682A1 (en) * 2014-05-16 2015-12-03 Canon Kabushiki Kaisha Method, apparatus and system for copying a block of video samples
US11323733B2 (en) 2014-05-23 2022-05-03 Qualcomm Incorporated Predictor palette initialization in palette-based video coding
KR102413529B1 (ko) 2014-06-19 2022-06-24 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
CN111432220B (zh) * 2014-06-19 2022-05-06 Vid拓展公司 采用块向量导出的帧内块复制编码的方法和***
US9948949B2 (en) * 2014-06-20 2018-04-17 Qualcomm Incorporated Intra block copy block vector signaling for video coding
KR101748620B1 (ko) * 2014-06-20 2017-07-04 성균관대학교산학협력단 영상의 부호화/복호화 방법 및 이를 이용하는 장치
US20150381994A1 (en) 2014-06-27 2015-12-31 Futurewei Technologies, Inc. Advanced screen content coding with improved palette table and index map coding methods
US10412387B2 (en) 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
CN105874795B (zh) 2014-09-30 2019-11-29 微软技术许可有限责任公司 在波前并行处理被启用时对图片内预测模式的规则
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
US10638140B2 (en) 2015-05-29 2020-04-28 Qualcomm Incorporated Slice level intra block copy and other video coding improvements
CA3025477C (en) 2016-05-25 2023-10-03 Arris Enterprises Llc Jvet coding block structure with asymmetrical partitioning
JP2018032949A (ja) 2016-08-23 2018-03-01 キヤノン株式会社 動きベクトル検出装置およびその制御方法
US10817747B2 (en) 2019-03-14 2020-10-27 Ubicquia Iq Llc Homography through satellite image matching

Also Published As

Publication number Publication date
JP6355744B2 (ja) 2018-07-11
CN105917650B (zh) 2019-12-24
US10469863B2 (en) 2019-11-05
EP3090553A4 (en) 2017-12-20
MX360926B (es) 2018-11-22
US20160330471A1 (en) 2016-11-10
KR102258427B1 (ko) 2021-06-01
US20200092579A1 (en) 2020-03-19
AU2014376061B2 (en) 2019-04-11
JP2017510115A (ja) 2017-04-06
AU2014376061A1 (en) 2016-07-07
CA2934699A1 (en) 2015-07-09
US20220295093A1 (en) 2022-09-15
KR20210060650A (ko) 2021-05-26
EP3090553B1 (en) 2022-07-06
CN105917650A (zh) 2016-08-31
AU2014376061A8 (en) 2019-05-30
AU2014376061B8 (en) 2019-05-30
EP4096221A1 (en) 2022-11-30
US11388433B2 (en) 2022-07-12
RU2669005C2 (ru) 2018-10-05
WO2015100726A1 (en) 2015-07-09
US20240146955A1 (en) 2024-05-02
US11910005B2 (en) 2024-02-20
KR20160105510A (ko) 2016-09-06
RU2016125260A (ru) 2017-12-28
BR112016015080A2 (pt) 2017-08-08
EP3090553A1 (en) 2016-11-09
MX2016008784A (es) 2016-09-08
ES2924392T3 (es) 2022-10-06

Similar Documents

Publication Publication Date Title
US11910005B2 (en) Block vector prediction in video and image coding/decoding
US20220132163A1 (en) Features of base color index map mode for video and image coding and decoding
KR102401946B1 (ko) 인트라 블록 카피 예측에서의 스킵 모드 및 블록 플립핑
JP6359101B2 (ja) ビデオ及び画像の符号化及び復号のためのイントラブロックコピー予測モードの特徴
KR20230130178A (ko) 통합된 인트라 블록 카피 및 인터 예측 모드

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant