KR101543213B1 - 동화상 부호화 방법 및 동화상 복호화 방법 - Google Patents

동화상 부호화 방법 및 동화상 복호화 방법 Download PDF

Info

Publication number
KR101543213B1
KR101543213B1 KR1020157004872A KR20157004872A KR101543213B1 KR 101543213 B1 KR101543213 B1 KR 101543213B1 KR 1020157004872 A KR1020157004872 A KR 1020157004872A KR 20157004872 A KR20157004872 A KR 20157004872A KR 101543213 B1 KR101543213 B1 KR 101543213B1
Authority
KR
South Korea
Prior art keywords
motion information
unit
prediction
information
block
Prior art date
Application number
KR1020157004872A
Other languages
English (en)
Other versions
KR20150031490A (ko
Inventor
다이치로 시오데라
아키유키 다니자와
도모오 야마카게
다케시 추조
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20150031490A publication Critical patent/KR20150031490A/ko
Application granted granted Critical
Publication of KR101543213B1 publication Critical patent/KR101543213B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

입력 화상 신호를 화소 블록으로 분할하고, 이들 분할한 화소 블록에 대하여 인터 예측을 행하는 방법이다. 이 방법은, 부호화 완료 영역에서의 움직임 정보를 유지하는 움직임 정보 버퍼 중에서, 예측 움직임 정보를 선택하고, 상기 예측 움직임 정보를 이용하여, 부호화 대상 블록의 움직임 정보를 예측하는 것을 포함한다．또한, 이 방법은 부호화가 종료한 영역 내의 복수의 움직임 정보 중에서, 상기 예측 움직임 정보의 선택 방법을 나타내는 제1 정보에 따라서 대표 움직임 정보를 취득하고, 상기 대표 움직임 정보만을 얻는 것을 포함한다.

Description

동화상 부호화 방법 및 동화상 복호화 방법{VIDEO IMAGE ENCODING METHOD AND VIDEO IMAGE DECODING METHOD}
본 발명의 실시형태는, 동화상의 부호화 및 복호화에 있어서의 움직임 정보 압축 방법, 동화상 부호화 방법 및 동화상 복호화 방법에 관한 것이다.
최근, 대폭 부호화 효율을 향상시킨 화상 부호화 방법이, ITU-T와 ISO/IEC와의 공동으로, ITU-T Rec. H.264 및 ISO/IEC 14496-10(이하, H.264라 함)으로서 권고되어 있다. H.264에서는, 예측 처리, 변환 처리 및 엔트로피 부호화 처리는, 직사각형 블록 단위(예컨대, 16×16 화소 블록 단위, 8×8 화소 블록 단위 등)로 행해진다. 예측 처리에 있어서는, 부호화 대상의 직사각형 블록(부호화 대상 블록)에 대하여, 이미 부호화 완료된 프레임(참조 프레임)을 참조하여, 시간 방향의 예측을 행하는 움직임 보상이 행해진다. 이러한 움직임 보상에서는, 부호화 대상 블록과 참조 프레임 내에 있어서 참조되는 블록과의 공간적 시프트 정보로서의 움직임 벡터를 포함하는 움직임 정보를 부호화하여 복호화측으로 보낼 필요가 있다. 또한, 복수의 참조 프레임을 이용하여 움직임 보상을 행하는 경우, 움직임 정보와 함께 참조 프레임 번호도 부호화해야 한다. 이 때문에, 움직임 정보 및 참조 프레임 번호에 관한 부호량이 증대하는 경우가 있다. 또한, 참조 프레임의 움직임 정보 메모리에 저장되어 있는 움직임 정보를 참조하여, 부호화 대상 블록의 예측 움직임 정보를 도출하는 움직임 정보 예측 방법이 있고(특허문헌 1 및 비특허문헌 2), 움직임 정보를 저장하는 움직임 정보 메모리의 용량이 증가하는 경우가 있다.
움직임 정보 메모리의 용량을 삭감하는 방법의 일례로서, (비특허문헌 2)에서는, 미리 정해진 블록 내에서 대표하는 움직임 정보를 도출하고, 대표하는 움직임 정보만을 움직임 정보 메모리에 저장한다.
특허문헌 1 : 일본 특허 제4020789호
비특허문헌 1 : J. Jung et al, "Temporal MV predictor modification for MV-comp, Skip, Direct and Merge schemes", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 Document, JCTVC-D164, January 20110. 비특허문헌 2 : Yeping Su et al, "CE9: Reduced resolution storage of motion vector data", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 Document, JCTVC-D072, January 20110.
그러나, 비특허문헌 1에서 표시되는 예측 움직임 정보의 도출 방법과 비특허문헌 2에서 표시되는 대표 움직임 정보의 도출 방법이 상이한 경우에, 예측 움직임 정보의 시간 상관이 저감되기 때문에, 움직임 정보에 관한 부호량이 증가되는 문제가 있다.
본 발명이 해결하고자 하는 과제는, 상기 문제점을 해결하기 위해서 이루어진 것으로, 부호화 효율을 향상 가능한 움직임 정보 압축 장치를 포함한 동화상 부호화 장치 및 동화상 복호화 장치를 제공하는 것이다.
실시형태에 따르면, 동화상 부호화 방법은, 입력 화상 신호를 화소 블록으로 분할하고, 이들 분할한 화소 블록에 대하여 인터 예측을 행하는 방법이다. 이 방법은, 부호화 완료 영역에서의 움직임 정보를 유지하는 움직임 정보 버퍼 중에서, 예측 움직임 정보를 선택하고, 상기 예측 움직임 정보를 이용하여, 부호화 대상 블록의 움직임 정보를 예측하는 것을 포함한다．또, 이 방법은 부호화가 종료한 영역 내의 복수의 움직임 정보 중에서, 상기 예측 움직임 정보의 선택 방법을 나타내는 제1 정보에 따라서 대표 움직임 정보를 취득하고, 상기 대표 움직임 정보만을 얻는 것을 포함한다.
도 1은 제1 실시형태에 따른 화상 부호화 장치의 구성을 개략적으로 나타내는 블록도이다.
도 2a는 화소 블록의 예측 부호화 순서의 설명도이다.
도 2b는 화소 블록 사이즈의 일례의 설명도이다.
도 2c는 화소 블록 사이즈의 별도의 예의 설명도이다.
도 2d는 화소 블록 사이즈의 별도의 예의 설명도이다.
도 3a는 코딩 트리 유닛에 있어서의 화소 블록의 일례의 설명도이다.
도 3b는 코딩 트리 유닛에 있어서의 화소 블록의 별도의 예의 설명도이다.
도 3c는 코딩 트리 유닛에 있어서의 화소 블록의 별도의 예의 설명도이다.
도 3d는 코딩 트리 유닛에 있어서의 화소 블록의 별도의 예의 설명도이다.
도 4는 도 1의 엔트로피 부호화부의 구성을 개략적으로 나타내는 블록도이다.
도 5는 도 1의 움직임 정보 메모리의 구성을 개략적으로 나타내는 설명도이다.
도 6a는 도 1의 인터 예측부가 실행하는 인터 예측 처리의 일례의 설명도이다.
도 6b는 도 1의 인터 예측부가 실행하는 인터 예측 처리의 별도의 예의 설명도이다.
도 7a는 프리딕션 유닛의 일례의 설명도이다.
도 7b는 프리딕션 유닛의 별도의 예의 설명도이다.
도 7c는 프리딕션 유닛의 별도의 예의 설명도이다.
도 7d는 프리딕션 유닛의 별도의 예의 설명도이다.
도 7e는 프리딕션 유닛의 별도의 예의 설명도이다.
도 7f는 프리딕션 유닛의 별도의 예의 설명도이다.
도 7g는 프리딕션 유닛의 별도의 예의 설명도이다.
도 8은 스킵 모드, 머지 모드, 인터 모드를 나타내는 설명도이다.
도 9는 도 4의 움직임 정보 부호화부의 구성을 개략적으로 나타내는 블록도이다.
도 10은 부호화 대상 프리딕션 유닛에 대한, 예측 움직임 정보 후보의 위치의 예를 나타내는 설명도이다.
도 11은 부호화 대상 프리딕션 유닛에 대한, 예측 움직임 정보 후보의 위치의 또 다른 예를 나타내는 설명도이다.
도 12는 복수의 예측 움직임 정보 후보의 블록 위치와 인덱스 Mvpidx의 관계를 나타내는 리스트의 예를 나타내는 설명도이다.
도 13a는 부호화 대상 프리딕션 유닛의 사이즈가 32×32인 경우의, 프리딕션 유닛의 중심을 나타내는 참조 움직임 정보 취득 위치의 예를 나타내는 설명도이다.
도 13b는 부호화 대상 프리딕션 유닛의 사이즈가 32×16인 경우의, 프리딕션 유닛의 중심을 나타내는 참조 움직임 정보 취득 위치의 예를 나타내는 설명도이다.
도 13c는 부호화 대상 프리딕션 유닛의 사이즈가 16×32인 경우의, 프리딕션 유닛의 중심을 나타내는 참조 움직임 정보 취득 위치의 예를 나타내는 설명도이다.
도 13d는 부호화 대상 프리딕션 유닛의 사이즈가 16×16인 경우의, 프리딕션 유닛의 중심을 나타내는 참조 움직임 정보 취득 위치의 예를 나타내는 설명도이다.
도 13e는 부호화 대상 프리딕션 유닛의 사이즈가 16×8인 경우의, 프리딕션 유닛의 중심을 나타내는 참조 움직임 정보 취득 위치의 예를 나타내는 설명도이다.
도 13f는 부호화 대상 프리딕션 유닛의 사이즈가 8×16인 경우의, 프리딕션 유닛의 중심을 나타내는 참조 움직임 정보 취득 위치의 예를 나타내는 설명도이다.
도 14a는 부호화 대상 프리딕션 유닛의 사이즈가 32×32인 경우의, 프리딕션 유닛의 중심을 나타내는 참조 움직임 정보 취득 위치의 또 다른 예를 나타내는 설명도이다.
도 14b는 부호화 대상 프리딕션 유닛의 사이즈가 32×16인 경우의, 프리딕션 유닛의 중심을 나타내는 참조 움직임 정보 취득 위치의 또 다른 예를 나타내는 설명도이다.
도 14c는 부호화 대상 프리딕션 유닛의 사이즈가 16×32인 경우의, 프리딕션 유닛의 중심을 나타내는 참조 움직임 정보 취득 위치의 또 다른 예를 나타내는 설명도이다.
도 14d는 부호화 대상 프리딕션 유닛의 사이즈가 16×16인 경우의, 프리딕션 유닛의 중심을 나타내는 참조 움직임 정보 취득 위치의 또 다른 예를 나타내는 설명도이다.
도 14e는 부호화 대상 프리딕션 유닛의 사이즈가 16×8인 경우의, 프리딕션 유닛의 중심을 나타내는 참조 움직임 정보 취득 위치의 또 다른 예를 나타내는 설명도이다.
도 14f는 부호화 대상 프리딕션 유닛의 사이즈가 8×16인 경우의, 프리딕션 유닛의 중심을 나타내는 참조 움직임 정보 취득 위치의 또 다른 예를 나타내는 설명도이다.
도 15는 공간 방향 참조 움직임 정보 메모리(501) 및 시간 방향 참조 움직임 정보 메모리(502)에 관한 설명도이다.
도 16은 도 1의 움직임 정보 압축부의 동작의 일례를 나타내는 흐름도이다.
도 17a는 부호화 대상 프리딕션 유닛의 사이즈가 32×32인 경우의, 프리딕션 유닛의 좌상단(左上端)을 나타내는 참조 움직임 정보 취득 위치의 예를 나타내는 설명도이다.
도 17b는 부호화 대상 프리딕션 유닛의 사이즈가 32×16인 경우의, 프리딕션 유닛의 좌상단을 나타내는 참조 움직임 정보 취득 위치의 예를 나타내는 설명도이다.
도 17c는 부호화 대상 프리딕션 유닛의 사이즈가 16×32인 경우의, 프리딕션 유닛의 좌상단을 나타내는 참조 움직임 정보 취득 위치의 예를 나타내는 설명도이다.
도 17d는 부호화 대상 프리딕션 유닛의 사이즈가 16×16인 경우의, 프리딕션 유닛의 좌상단을 나타내는 참조 움직임 정보 취득 위치의 예를 나타내는 설명도이다.
도 17e는 부호화 대상 프리딕션 유닛의 사이즈가 16×8인 경우의, 프리딕션 유닛의 좌상단을 나타내는 참조 움직임 정보 취득 위치의 예를 나타내는 설명도이다.
도 17f는 부호화 대상 프리딕션 유닛의 사이즈가 8×16인 경우의, 프리딕션 유닛의 좌상단을 나타내는 참조 움직임 정보 취득 위치의 예를 나타내는 설명도이다.
도 18a는 대표 움직임 정보 위치의 예를 나타내는 설명도이다.
도 18b는 대표 움직임 정보 위치의 별도의 예를 나타내는 설명도이다.
도 19는 각 프리딕션 사이즈에 있어서의 프리딕션 유닛의 중심의 예를 나타내는 설명도이다.
도 20a는 움직임 정보 압축 블록마다의 복수의 참조 움직임 정보 취득 위치의 무게 중심을 대표 움직임 정보 위치로 설정한 경우의 대표 움직임 정보 위치의 예를 나타내는 설명도이다.
도 20b는 움직임 정보 압축 블록마다의 복수의 참조 움직임 정보 취득 위치의 무게 중심을 대표 움직임 정보 위치로 설정한 경우의 대표 움직임 정보 위치의 별예를 나타내는 설명도이다.
도 21a는 대표 움직임 정보 위치의 예를 나타내는 설명도이다.
도 21b는 대표 움직임 정보 위치의 별도의 예를 나타내는 설명도이다.
도 22는 일 실시형태에 따른 신택스 구조를 나타낸 도면이다.
도 23a는 일 실시형태에 따른 시퀀스 파라미터 세트 신택스의 일례를 나타낸도면이다.
도 23b는 일 실시형태에 따른 시퀀스 파라미터 세트 신택스의 다른 예를 나타내는 도면이다.
도 24는 일 실시형태에 따른 프리딕션 유닛 신택스의 일례를 나타낸 도면이다.
도 25는 제2 실시형태에 따른 화상 복호화 장치를 개략적으로 나타내는 블록도이다.
도 26은 도 25의 엔트로피 복호화부를 개략적으로 나타내는 블록도이다.
도 27은 도 26의 움직임 정보 복호화부를 개략적으로 나타내는 블록도이다.
이하, 도면을 참조하여, 각 실시형태에 따른 동화상 부호화 장치 및 동화상 복호화 장치에 관해서 상세히 설명한다. 또한, 이후의 설명에 있어서, 「화상」이라는 용어는, 「영상」 「화소」 「화상 신호」, 「화상 데이터」등의 용어로서 적절하게 바꿔 읽을 수 있다. 또, 이하의 실시형태에서는, 동일한 번호를 붙인 부분에 관해서는 동일한 동작을 행하는 것으로 하여, 중복된 설명을 생략한다.
(제1 실시형태)
제1 실시형태는 화상 부호화 장치에 관한 것이다. 본 실시형태에 따른 화상 부호화 장치에 대응하는 동화상 복호화 장치는, 제2 실시형태에 있어서 설명한다. 이 화상 부호화 장치는, LSI(Large-Scale Integration)칩이나 DSP(Digital Signal Processor), FPGA(Field Programmable Gate Array) 등의 하드웨어에 의해 실현 가능하다. 또한, 이 화상 부호화 장치는, 컴퓨터에 화상 부호화 프로그램을 실행시킴에 따라서도 실현 가능하다.
도 1에 나타낸 바와 같이, 본 실시형태에 따른 화상 부호화 장치(100)는, 감산부(101), 직교 변환부(102), 양자화부(103), 역양자화부(104), 역직교 변환부(105), 가산부(106), 참조 화상 메모리(107), 인터 예측부(108), 움직임 정보 압축부(109), 움직임 정보 메모리(110), 및 엔트로피 부호화부(112)를 포함한다. 부호화 제어부(114), 및 출력 버퍼(113)는 통상, 화상 부호화 장치(100)의 외부에 설치된다.
도 1의 화상 부호화 장치(100)는, 입력 화상 신호(151)를 구성하는 각 프레임 또는 각 필드 또는 각 슬라이스를 복수의 화소 블록으로 분할하고, 이들 분할한 화소 블록에 대하여 예측 부호화를 행하여, 부호화 데이터(163)를 출력한다. 이후의 설명에서는, 간단화를 위해, 도 2a에 나타낸 바와 같이 좌상(左上)으로부터 좌하를 향하여 화소 블록의 예측 부호화가 행해지는 것을 가정한다. 도 2a에서는, 부호화 처리 대상의 프레임 f에 있어서, 부호화 대상 화소 블록 c보다 좌측 및 상측에 부호화 완료 화소 블록 p이 위치하고 있다.
여기서, 화소 블록은, 예컨대, M×N 사이즈의 블록(N 및 M은 자연수), 코딩 유닛, 마크로 블록, 서브 블록, 1화소 등의 화상을 처리하는 단위를 가리킨다. 또, 이후의 설명에서는, 화소 블록을 코딩 유닛의 의미로 기본적으로 사용하지만, 설명을 적절하게 바꿔 읽음으로써 화소 블록을 전술한 의미로 해석하는 것도 가능하다. 코딩 유닛은, 전형적으로는, 예컨대 도 2b에 나타내는 16×16 화소 블록이지만, 도 2c에 나타내는 32×32 화소 블록, 도 2d에 나타내는 64×64 화소 블록이라도 좋고, 도시하지 않는 8×8 화소 블록, 4×4 화소 블록이라도 좋다. 또한, 코딩 유닛은 반드시 정방형일 필요는 없다. 이하, 입력 화상 신호(151)의 부호화 대상 블록 혹은 코딩 유닛을 「예측 대상 블록」이라고 칭하는 경우도 있다. 또한, 부호화 단위에는, 코딩 유닛과 같은 화소 블록에 한정되지 않고, 프레임 또는 필드, 슬라이스, 혹은 이들의 조합을 이용할 수 있다.
도 3a에서 도 3d까지는, 코딩 유닛의 구체예를 나타낸 도면이다. 도 3a는, 코딩 유닛의 사이즈가 64×64(N=32)인 경우의 예를 나타내고 있다. 여기서 N은, 기준이 되는 코딩 유닛의 사이즈를 표시하고 있고, 분할된 경우의 사이즈를 N으로 정의하며, 분할되지 않은 경우를 2N이라 정의한다. 코딩 트리 유닛은 사분목(四分木) 구조를 갖고, 분할된 경우는, 4개의 화소 블록에 대하여 Z 스캔 순서로 인덱스가 부여된다. 도 3b에, 도 3a의 64×64 화소 블록을 사분목 분할한 예를 나타낸다. 도면 중에 표시되는 번호가 Z 스캔의 순서를 표시하고 있다. 또한, 코딩 유닛의 하나의 사분목의 인덱스 내에서 다시 사분목 분할하는 것이 가능하다. 분할의 깊이를 Depth로 정의한다. 즉, 도 3a는 Depth=0인 예를 나타내고 있다. 도 3c에 Depth=1인 경우의 32×32(N=16) 사이즈의 코딩 트리 유닛의 예를 나타낸다. 이러한 코딩 트리 유닛의 가장 큰 유닛을 라지 코딩 트리 유닛 혹은 트리 블록이라고 부르고, 도 2a에 나타낸 바와 같이, 이 단위로 입력 화상 신호가 래스터 스캔 순서로 부호화된다.
도 1의 화상 부호화 장치(100)는, 부호화 제어부(114)로부터 입력되는 부호화 파라미터에 기초하여, 화소 블록에 대한 인터 예측(화면간 예측, 프레임간 예측, 움직임 보상 예측 등이라고도 지칭됨) 또는 도시되지 않는 인트라 예측(화면내예측, 프레임내 예측 등이라고도 지칭됨)을 행하여, 예측 화상 신호(159)를 생성한다. 이 화상 부호화 장치(100)는, 화소 블록(입력 화상 신호(151))과 예측 화상 신호(159)의 사이의 예측 오차 신호(152)를 직교 변환 및 양자화하고, 엔트로피 부호화를 행하여 부호화 데이터(163)를 생성하여 출력한다.
도 1의 화상 부호화 장치(100)는, 블록 사이즈 및 예측 화상 신호(159)의 생성 방법이 상이한 복수의 예측 모드를 선택적으로 적용하여 부호화를 행한다. 예측 화상 신호(159)의 생성 방법은, 크게 나누면, 부호화 대상 프레임 내에서 예측을 행하는 인트라 예측과, 시간적으로 상이한 하나 또는 복수의 참조 프레임을 이용하여 예측을 행하는 인터 예측의 2종류이다.
이하, 도 1의 화상 부호화 장치(100)에 포함되는 각 요소를 설명한다.
감산부(101)는, 입력 화상 신호(151)의 부호화 대상 블록으로부터, 대응하는 예측 화상 신호(159)를 감산하여 예측 오차 신호(152)를 얻는다. 감산부(101)는, 예측 오차 신호(152)를 직교 변환부(102)에 입력한다.
직교 변환부(102)는, 감산부(101)로부터의 예측 오차 신호(152)에 대하여, 예컨대 이산 코사인 변환(DCT)과 같은 직교 변환을 행하고, 변환 계수(153)를 얻는다. 직교 변환부(102)는, 변환 계수(153)를 양자화부(103)에 출력한다.
양자화부(103)는, 직교 변환부(102)로부터의 변환 계수(153)에 대하여 양자화를 행하고, 양자화 변환 계수(154)를 얻는다. 구체적으로는, 양자화부(103)는, 부호화 제어부(114)에 의해서 지정되는 양자화 파라미터, 양자화 매트릭스 등의 양자화 정보에 따라서 양자화를 행한다. 양자화 파라미터는, 양자화의 미세함을 나타낸다. 양자화 매트릭스는, 양자화의 미세함을 변환 계수의 성분마다 부가하기 위해서 사용되지만, 양자화 매트릭스의 사용·사용하지 않음은 본 발명의 실시형태의 본질 부분은 아니다. 양자화부(103)는, 양자화 변환 계수(154)를 엔트로피 부호화부(112) 및 역양자화부(104)에 출력한다.
엔트로피 부호화부(112)는, 양자화부(103)로부터의 양자화 변환 계수(154),인터 예측부(108)로부터의 움직임 정보(160), 부호화 제어부(114)에 의해서 지정되는 예측 정보(165), 부호화 제어부(114)로부터의 참조 위치 정보(164), 양자화 정보 등의 여러 가지 부호화 파라미터에 대하여 엔트로피 부호화(예컨대, 허프만 부호화, 산술 부호화 등)를 행하고, 부호화 데이터(163)를 생성한다. 또, 부호화 파라미터란, 예측 정보(165), 변환 계수에 관한 정보, 양자화에 관한 정보 등의 복호에 필요해지는 파라미터이다. 예컨대, 부호화 제어부(114)가 내부 메모리(도시하지 않음)를 갖고, 이 메모리에 부호화 파라미터가 유지되며, 예측 대상 블록을 부호화할 때에 인접하는 이미 부호화 완료된 화소 블록의 부호화 파라미터를 이용한다.
구체적으로는, 엔트로피 부호화부(112)는, 도 4에 나타낸 바와 같이, 파라미터 부호화부(401), 변환 계수 부호화부(402), 움직임 정보 부호화부(403), 및 다중화부(404)를 구비한다. 파라미터 부호화부(401)는, 부호화 제어부(114)로부터 수취한 예측 정보(165) 등의 부호화 파라미터를 부호화하여 부호화 데이터(451A)를 생성한다. 변환 계수 부호화부(402)는, 양자화부(103)로부터 수취한 양자화 후의 변환 계수(154)를 부호화하여 부호화 데이터(451B)를 생성한다.
움직임 정보 부호화부(403)는, 움직임 정보 메모리(110)로부터 수취한 참조 움직임 정보(166), 부호화 제어부(114)로부터 수취한 참조 위치 정보(164)를 참조하여, 인터 예측부(108)로부터 수취한 움직임 정보(160)를 부호화하여 부호화 데이터(451C)를 생성한다. 움직임 정보 부호화부(403)에 관해서는 그 세부사항을 후술한다.
다중화부(404)는, 부호화 데이터(451A, 451B, 451C)를 다중화하여 부호화 데이터(163)를 생성한다. 생성된 부호화 데이터(163)는, 움직임 정보(160), 예측 정보(165)와 함께, 변환 계수에 관한 정보, 양자화에 관한 정보 등의 복호 시에 필요해지는 모든 파라미터를 포함한다.
엔트로피 부호화부(112)에 의해서 생성된 부호화 데이터(163)는, 예컨대 다중화를 거쳐 출력 버퍼(113)에 일시적으로 축적되고, 부호화 제어부(114)가 관리하는 적절한 출력 타이밍에 따라서 부호화 데이터(163)로서 출력된다. 부호화 데이터(163)는, 예컨대, 도시하지 않는 축적계(축적 미디어) 또는 전송계(통신 회선)로 출력된다.
역양자화부(104)는, 양자화부(103)로부터의 양자화 변환 계수(154)에 대하여 역양자화를 행하고, 복원 변환 계수(155)를 얻는다. 구체적으로는, 역양자화부(104)는, 양자화부(103)에 있어서 사용된 양자화 정보에 따라서 역양자화를 행한다. 양자화부(103)에 있어서 사용된 양자화 정보는, 부호화 제어부(114)의 내부 메모리로부터 로드된다. 역양자화부(104)는, 복원 변환 계수(155)를 역직교 변환부(105)에 출력한다.
역직교 변환부(105)는, 역양자화부(104)로부터의 복원 변환 계수(155)에 대하여, 예컨대 역이산 코사인 변환 등과 같은 직교 변환부(102)에 있어서 행해진 직교 변환에 대응하는 역직교 변환을 행하여, 복원 예측 오차 신호(156)를 얻는다. 역직교 변환부(105)는, 복원 예측 오차 신호(156)를 가산부(106)에 출력한다.
가산부(106)는, 복원 예측 오차 신호(156)와, 대응하는 예측 화상 신호(159)를 가산하여, 국소적인 복호 화상 신호(157)를 생성한다. 복호 화상 신호(157)는 도시하지 않는 디블로킹 필터나 위너 필터 등을 실시하여, 참조 화상 메모리(107)로 입력된다.
참조 화상 메모리(107)는, 메모리에 국부 복호 후의 피(被)필터 화상 신호(158)를 축적하고 있어 인터 예측부(108)에 의해서 필요에 따라서 예측 화상을 생성할 때에, 참조 화상 신호(158)로서 참조된다.
인터 예측부(108)는, 참조 화상 메모리(107)에 보존되어 있는 참조 화상 신호(158)를 이용하여 인터 예측을 행한다. 구체적으로는, 인터 예측부(108)는, 예측 대상 블록과 참조 화상 신호(158)의 사이에서 블록 매칭 처리를 행하여 움직임의 어긋남량(움직임 벡터)을 도출한다. 인터 예측부(108)는, 이 움직임 벡터에 기초하여 움직임 보상(소수 정밀도의 움직임인 경우는 보간 처리)을 행하여 인터 예측 화상을 생성한다. H.264에서는, 1/4 화소 정밀도까지의 보간 처리가 가능하다. 도출된 움직임 벡터는 움직임 정보(160)의 일부로서 엔트로피 부호화된다.
움직임 정보 메모리(110)는, 움직임 정보 압축부(109)를 갖고, 움직임 정보(160)에 대하여 적절하게 압축 처리를 행하여 정보량을 삭감하며, 참조 움직임 정보(166)로서 일시적으로 저장한다. 도 5에 나타난 바와 같이, 움직임 정보 메모리(110)가 프레임(또는 슬라이스) 단위로 유지되어 있고, 동일 프레임상의 움직임 정보(160)를 참조 움직임 정보(166)로서 저장하는 공간 방향 참조 움직임 정보 메모리(501) 및, 이미 부호화가 종료한 프레임의 움직임 정보(160)를 참조 움직임 정보(166)로서 저장하는 시간 방향 참조 움직임 정보 메모리(502)를 더 갖는다. 시간 방향 참조 움직임 정보 메모리(502)는 부호화 대상 프레임이 예측에 이용하는 참조 프레임의 수에 따라서, 복수개 가져도 상관없다.
또한, 공간 방향 참조 움직임 정보 메모리(501) 및 시간 방향 참조 움직임 정보 메모리(502)는, 물리적으로 동일한 메모리를 논리적으로 구획해도 상관없다. 또, 공간 방향 참조 움직임 정보 메모리(501)는, 현재 부호화를 행하고 있는 프레임으로 필요한 공간 방향 움직임 정보만을 유지하고, 참조가 불필요해진 공간 방향 움직임 정보를 순차 압축하여 시간 방향 참조 움직임 정보 메모리(502)에 저장해도 상관없다.
참조 움직임 정보(166)는, 정해진 영역 단위(예컨대, 4×4 화소 블록 단위)로 공간 방향 참조 움직임 정보 메모리(501) 및 시간 방향 참조 움직임 정보 메모리(502) 내에 유지된다. 참조 움직임 정보(166)는, 그 영역이 후술하는 인터 예측으로 부호화된 것인지 혹은 후술하는 인트라 예측으로 부호화된 것인지를 나타내는 정보를 또한 갖는다. 또한, 코딩 유닛(또는 프리딕션 유닛)이 H.264로 규정되는 스킵 모드, 다이렉트 모드 혹은 후술하는 머지 모드와 같이, 움직임 정보(160) 내의 움직임 벡터의 값이 부호화되지 않고, 부호화 완료된 영역으로부터 예측된 움직임 정보(160)를 이용하여 인터 예측되는 경우에 있어서도, 그 코딩 유닛(또는 프리딕션 유닛)의 움직임 정보가 참조 움직임 정보(166)로서 유지된다.
부호화 대상의 프레임 또는 슬라이스의 부호화 처리가 종료했다면, 그 프레임의 공간 방향 참조 움직임 정보 메모리(501)는, 다음에 부호화 처리를 행하는 프레임에 이용하는 시간 방향 참조 움직임 정보 메모리(502)로서 그 취급이 변경된다. 이 때, 시간 방향 참조 움직임 정보 메모리(502)의 메모리 용량을 삭감하기 위해서, 후술하는 움직임 정보 압축부(109)에 의해서 압축된 움직임 정보(160)를 시간 방향 참조 움직임 정보 메모리(502)에 저장한다.
예측 정보(165)는 부호화 제어부(114)가 제어하는 예측 모드에 따르고 있고, 전술한 바와 같이, 예측 화상 신호(159)의 생성을 위해 인터 예측 또는 도시되지 않는 인트라 예측 또는 인터 예측이 선택 가능하지만, 인트라 예측 및 인터 예측의 각각에서 복수의 모드가 더 선택 가능해진다. 부호화 제어부(114)는 인트라 예측 및 인터 예측의 복수의 예측 모드 중 하나를 최적의 예측 모드로서 판정하여 예측 정보(165)를 설정한다.
예컨대, 부호화 제어부(114)는, 다음의 수식(1)에 나타내는 비용 함수를 이용하여 최적의 예측 모드를 판정한다.
Figure 112015018730515-pat00001
수식(1)(이하, 간이 부호화 비용이라고 부름)에 있어서, OH는 예측 정보(160)(예컨대, 움직임 벡터 정보, 예측 블록 사이즈 정보)에 관한 부호량을 나타내고, SAD는 예측 대상 블록과 예측 화상 신호(159)의 사이의 차분 절대값합(즉, 예측 오차 신호(152)의 절대값의 누적합)을 나타낸다. 또한, λ은 양자화 정보(양자화 파라미터)의 값에 기초하여 결정되는 라그랑쥬 미정 승수를 나타내고, K는 부호화 비용을 나타낸다. 수식(1)을 이용하는 경우에는, 부호화 비용 K를 최소화하는 예측 모드가 발생 부호량 및 예측 오차의 관점에서 최적의 예측 모드로서 판정된다. 수식(1)의 변형으로서, OH만 또는 SAD만으로부터 부호화 비용을 어림해도 좋고, SAD에 아다마르 변환을 실시한 값 또는 그 근사값을 이용하여 부호화 비용을 어림해도 좋다.
또한, 도시하지 않는 가부호화 유닛을 이용함으로써 최적인 예측 모드를 판정하는 것도 가능하다. 예컨대, 부호화 제어부(114)는, 다음의 수식(2)에 나타내는 비용 함수를 이용하여 최적의 예측 모드를 판정한다.
Figure 112015018730515-pat00002
수식(2)에 있어서, D는 예측 대상 블록과 국소 복호 화상과의 사이의 제곱 오차합(즉, 부호화 왜곡)을 나타내고, R은 예측 대상 블록과 예측 모드의 예측 화상 신호(159)의 사이의 예측 오차에 관해서 가부호화에 의해서 어림된 부호량을 나타내며, J는 부호화 비용을 나타낸다. 수식(2)의 부호화 비용 J(이후, 상세 부호화 비용이라고 부름)를 도출하는 경우에는 예측 모드마다 가부호화 처리 및 국부 복호화 처리가 필요하기 때문에, 회로 규모 또는 연산량이 증대한다. 반면, 보다 정확한 부호화 왜곡과 부호량에 기초하여 부호화 비용 J가 도출되기 때문에, 최적의 예측 모드를 고정밀도로 판정하여 높은 부호화 효율을 유지하기 쉽다. 또, 수식(2)의 변형으로서, R만 또는 D만으로부터 부호화 비용을 어림해도 좋고, R 또는 D의 근사값을 이용하여 부호화 비용을 어림해도 좋다. 또한, 이러한 비용을 계층적으로 이용해도 좋다. 부호화 제어부(114)는, 예측 대상 블록에 관해서 사전에 얻어지는 정보(주위의 화소 블록의 예측 모드, 화상 해석의 결과 등)에 기초하여, 수식(1) 또는 수식(2)를 이용한 판정을 행하는 예측 모드의 후보의 수를, 미리 압축해 두어도 좋다.
본 실시형태의 변형예로서, 수식(1)과 수식(2)를 조합시킨 2단계의 모드 판정을 행함으로써 부호화 성능을 유지하면서, 예측 모드의 후보수를 더 삭감하는 것이 가능해진다. 여기서, 수식(1)로 표시되는 간이 부호화 비용은, 수식(2)와 상이하여 국부 복호화 처리가 필요없기 때문에, 고속으로 연산이 가능하다. 본 실시형태의 동화상 부호화 장치에서는, H.264와 비교해도 예측 모드수가 많기 때문에, 상세 부호화 비용을 이용한 모드 판정은 현실적이지는 않다. 그래서, 제1 단계로서, 간이 부호화 비용을 이용한 모드 판정을, 그 화소 블록에서 이용 가능한 예측 모드에 대하여 행하고, 예측 모드 후보를 도출한다.
여기서, 양자화의 거칠기를 정한 양자화 파라미터의 값이 커질수록, 간이 부호화 비용과 상세 부호화 비용의 상관이 높아지는 성질을 이용하여, 예측 모드 후보수를 변경한다.
다음으로, 화상 부호화 장치(100)의 예측 처리에 관해서 설명한다.
도 1의 화상 부호화 장치(100)에는, 도시하지 않지만, 복수의 예측 모드가 준비되어 있고, 각 예측 모드에서는, 예측 화상 신호(159)의 생성 방법 및 움직임 보상 블록 사이즈가 서로 상이하다. 예측부(108)가 예측 화상 신호(159)를 생성하는 방법으로서는, 구체적으로는 크게 나누어, 부호화 대상 프레임(또는, 필드)의 참조 화상 신호(158)를 이용하여 예측 화상을 생성하는 인트라 예측(프레임내 예측)과, 1이상의 부호화 완료된 참조 프레임(또는, 참조 필드)의 참조 화상 신호(158)를 이용하여 예측 화상을 생성하는 인터 예측(프레임간 예측)이 있다. 예측부(108)는, 인트라 예측 및 인터 예측을 선택적으로 전환하여, 부호화 대상 블록의 예측 화상 신호(159)를 생성한다.
도 6a는, 인터 예측의 일례를 나타내고 있다. 인터 예측은, 전형적으로는 프리딕션 유닛의 단위로 실행되고, 프리딕션 유닛 단위로 상이한 움직임 정보(160)를 갖는 것이 가능해진다. 인터 예측에서는, 도 6a에 나타난 바와 같이, 이미 부호화가 완료되어 있는 참조 프레임(예컨대, 1프레임전의 부호화 완료 프레임)내의 화소 블록으로서, 부호화 대상의 프리딕션 유닛과 동일한 위치의 블록(601)으로부터, 움직임 정보(160)에 포함되는 움직임 벡터에 따라서 공간적으로 시프트된 위치의 블록(602)의 참조 화상 신호(158)를 사용하여, 예측 화상 신호(159)가 생성된다. 즉, 예측 화상 신호(159)의 생성에서는, 부호화 대상 블록의 위치(좌표) 및 움직임 정보(160)에 포함되는 움직임 벡터로 특정되는, 참조 프레임내의 블록(602)의 참조 화상 신호(158)가 사용된다.
인터 예측에서는, 소수 화소 정밀도(예컨대, 1/2 화소 정밀도 또는 1/4 화소 정밀도)의 움직임 보상이 가능하고, 참조 화상 신호(158)에 대하여 필터링 처리를 행함에 따라, 보간 화소의 값이 생성된다. 예컨대, H.264에서는, 휘도 신호에 대하여 1/4 화소 정밀도까지의 보간 처리가 가능하다. 그 보간 처리는, H.264에서 규정되는 필터링 이외에, 임의의 필터링을 이용함으로써 실행 가능하다.
또, 인터 예측에서는, 도 6a에 나타나는 바와 같은 1프레임전의 참조 프레임을 사용하는 예에 한정되지 않고, 도 6b에 나타난 바와 같이, 어느 것의 부호화 완료된 참조 프레임이 사용되어도 좋다. 시간 위치가 상이한 복수의 참조 프레임의 참조 화상 신호(158)가 유지되어 있는 경우, 어떤 시간 위치의 참조 화상 신호(158)로부터 예측 화상 신호(159)를 생성했는지를 나타내는 정보는, 참조 프레임 번호로 표시된다. 참조 프레임 번호는, 움직임 정보(160)에 포함된다. 참조 프레임 번호는, 영역 단위(픽쳐, 슬라이스, 블록 단위 등)로 변경할 수 있다. 즉, 프리딕션 유닛마다 상이한 참조 프레임이 사용될 수 있다. 일례로서, 부호화 완료된 1프레임전의 참조 프레임을 예측에 사용한 경우, 이 영역의 참조 프레임 번호는, 0으로 설정되고, 부호화 완료된 2프레임전의 참조 프레임을 예측에 사용한 경우, 이 영역의 참조 프레임 번호는, 1로 설정된다. 다른 예로서, 1프레임분만큼의 참조 화상 신호(158)가 참조 화상 메모리(107)에 유지되어 있는(유지되어 있는 참조 프레임의 수가 1개뿐인)경우, 참조 프레임 번호는, 항상 0으로 설정된다.
또한, 인터 예측에서는, 미리 준비되는 복수의 프리딕션 유닛의 사이즈 중에서 부호화 대상 블록에 알맞은 사이즈를 선택하여 이용할 수 있다. 예컨대, 도 7a에서 도 7g에 나타나는 바와 같은 코딩 트리 유닛을 분할하여 얻어지는 프리딕션 유닛마다 움직임 보상을 행하는 것이 가능하다. 또한, 도 7f, 도 7g에 나타나는 바와 같은 직사각형 이외로 분할하여 얻어지는 프리딕션 유닛마다 움직임 보상을 행하는 것이 가능하다.
전술한 바와 같이, 인터 예측에 사용하는 부호화 대상 프레임내의 부호화 완료된 화소 블록(예컨대, 4×4 화소 블록)의 움직임 정보(160)는 참조 움직임 정보(166)로서 유지되어 있기 때문에, 입력 화상 신호(151)의 국소적인 성질에 따라서, 최적의 움직임 보상 블록의 형상 및 움직임 벡터, 참조 프레임 번호를 이용할 수 있다. 또한, 코딩 유닛 및 프리딕션 유닛은 임의로 조합할 수 있다. 코딩 트리 유닛이 64×64 화소 블록인 경우, 64×64 화소 블록을 분할한 4개의 코딩 트리 유닛(32×32 화소 블록)의 각각에 대하여, 또 코딩 트리 유닛을 4개로 분할함으로써 계층적으로 64×64 화소 블록으로부터 16×16 화소 블록을 이용할 수 있다. 동일하게 하여, 계층적으로 64×64 화소 블록으로부터 8×8 화소 블록을 이용할 수 있다. 여기서, 프리딕션 유닛이 코딩 트리 유닛을 4개로 분할한 것이라고 한다면, 64×64 화소 블록으로부터 4×4 화소 블록까지의 계층적인 움직임 보상 처리를 실행하는 것이 가능해진다.
또한, 인터 예측에서는, 부호화 대상 화소 블록에 대하여 2종류의 움직임 보상을 이용한 쌍방향 예측을 실행할 수 있다. H.264에서는, 부호화 대상 화소 블록에 대하여 2종류의 움직임 보상을 행하고, 2종류의 예측 화상 신호를 가중 평균함으로써, 새로운 예측 화상 신호를 얻는다(도시하지 않음). 쌍방향 예측에 있어서 2종류의 움직임 보상을 각각 리스트 0 예측, 리스트 1 예측이라 지칭한다.
<스킵 모드, 머지 모드, 인터 모드의 설명>
본 실시형태에 따른 화상 부호화 장치(100)는, 도 8에 나타내는 부호화 처리의 상이한 복수의 예측 모드를 사용한다. 도면 중의 스킵 모드는 후술하는 예측 움직임 정보 위치(954)에 관한 신택스만을 부호화하고, 그 밖의 신택스는 부호화하지않는 모드이다. 머지 모드는 예측 움직임 정보 위치(954)에 관한 신택스, 변환 계수 정보(153)만을 부호화하고, 그 밖의 신택스는 부호화하지 않는 모드이다. 인터 모드는, 예측 움직임 정보 위치(954)에 관한 신택스, 후술하는 차분 움직임 정보(953), 변환 계수 정보(153)를 부호화하는 모드이다. 이러한 모드는 부호화 제어부(114)가 제어하는 예측 정보(165)에 의해서 전환된다.
<움직임 정보 부호화부(403)>
이하, 움직임 정보 부호화부(403)에 관해서 도 9를 이용하여 설명한다.
움직임 정보 부호화부(403)는, 참조 움직임 벡터 취득부(901), 예측 움직임 벡터 선택 스위치(예측 움직임 정보 선택 스위치라고도 지칭함)(902), 감산부(903), 차분 움직임 정보 부호화부(904), 예측 움직임 정보 위치 부호화부(905) 및 다중화부(906)를 갖는다.
참조 움직임 벡터 취득부(901)는, 참조 움직임 정보(166) 및 참조 위치 정보(164)를 입력으로 하여, 적어도 하나 이상의 예측 움직임 정보 후보(예측 움직임 벡터후보라고도 지칭함)(951)(951A, 951B, …)를 생성한다. 도 10, 도 11은, 대상 프리딕션 유닛에 대한, 예측 움직임 정보 후보(951)의 위치의 일례를 나타내고 있다. 도 10은 대상 프리딕션 유닛에 공간적으로 인접하는 프리딕션 유닛의 위치를 나타내고 있다. AX(X=0∼nA-1)는, 대상 프리딕션 유닛에 대하여 좌측에 인접하는 프리딕션 유닛, BY(Y=0∼nB-1)는 대상 프리딕션 유닛에 대하여 상측에 인접하는 프리딕션 유닛, C, D, E는 대상 프리딕션 유닛에 대하여 각각 우상측, 좌상측, 좌하측에 인접하는 프리딕션 유닛을 나타내고 있다. 또한, 도 11은 부호화 대상 프리딕션 유닛에 대하여, 이미 부호화 완료된 참조 프레임에 있어서의 프리딕션 유닛의 위치를 나타내고 있다. 도 11 중의 Col은, 참조 프레임 내로서 부호화 대상 프리딕션 유닛과 동일 위치에 있는 프리딕션 유닛을 나타내고 있다. 도 12는, 복수의 예측 움직임 정보 후보(951)의 블록 위치와 인덱스 Mvpidx의 관계를 나타내는 리스트의 일례를 나타낸다. Mvpidx가 0∼2이면, 공간 방향에 위치하는 예측 움직임 벡터 후보(951), Mvpidx가 3이면, 시간 방향에 위치하는 예측 움직임 벡터 후보(951)를 각각 나타내고 있다. 프리딕션 유닛 위치 A는 도 10에 나타나는 AX 중, 인터 예측인, 즉 참조 움직임 정보(166)를 갖는 프리딕션 유닛으로서, X의 값이 가장 작은 위치를 프리딕션 유닛 위치 A로 한다. 또한, 프리딕션 유닛 위치 B는 도 10에 나타내는 BY 중, 인터 예측인, 즉 참조 움직임 정보(166)를 갖는 프리딕션 유닛으로서, Y의 값이 가장 작은 위치를 프리딕션 유닛 위치 A로 한다. 프리딕션 유닛 위치 C가 인터 예측이 아닌 경우, 프리딕션 유닛 위치 D의 참조 움직임 정보(166)를 프리딕션 유닛 위치 C의 참조 움직임 정보(166)로서 치환한다. 프리딕션 유닛 위치 C 및 D가 인터 예측이 아닌 경우, 프리딕션 유닛 위치 E의 참조 움직임 정보(166)를 프리딕션 유닛 위치 C의 참조 움직임 정보(166)로서 치환한다.
부호화 대상 프리딕션 유닛의 사이즈가 최소 프리딕션 유닛보다 큰 경우에는, 프리딕션 유닛 위치 Col은, 복수의 참조 움직임 정보(166)를 시간 방향 참조 움직임 정보 메모리(502)에 유지하고 있을 가능성이 있다. 이 경우, 참조 위치 정보(164)에 따라서 위치 Col의 프리딕션 유닛 내의 참조 움직임 정보(166)를 취득한다. 이후, 위치 Col의 프리딕션 유닛 내의 참조 움직임 정보(166)의 취득 위치를 참조 움직임 정보 취득 위치라 지칭한다. 도 13a∼f는, 참조 위치 정보(164)가 위치 Col의 프리딕션 유닛의 중심을 나타내는 경우의 참조 움직임 정보 취득 위치의 일례를 부호화 대상 프리딕션 유닛의 사이즈(32×32∼16×16)마다 나타낸다. 도면 중의 블록은 각각 4×4 프리딕션 유닛을 나타내고, 원 표시는 예측 움직임 정보 후보(951)로서 취득하는 4×4 프리딕션 유닛의 위치를 나타내고 있다. 참조 움직임 정보 취득 위치의 다른 일례를 도 14a∼f에 나타낸다. 도 14a∼f에 있어서, 원 표시의 위치는 4×4 프리딕션 유닛이 존재하지 않기 때문에, 원 표시에 인접하는 4개의 4×4 프리딕션 유닛에 있어서의 참조 움직임 정보(166)의 평균값이나 메디안값이라는 미리 정해진 방식으로, 예측 움직임 정보 후보(951)를 생성한다. 참조 움직임 정보 취득 위치의 또 다른 일례로서, 위치 Col의 프리딕션 유닛의 좌상단에 위치하는 4×4 프리딕션 유닛의 참조 움직임 정보(166)를 예측 움직임 정보 후보(951)로 해도 상관없다. 상기의 예 이외에 있어서도, 미리 정해진 방식이면, 어느 쪽의 위치 및 방식을 이용하여 예측 움직임 정보 후보(951)를 생성해도 상관없다.
또, 참조 움직임 정보(166)가 존재하지 않는 경우, 제로 벡터를 갖는 움직임 정보(160)를, 예측 움직임 정보 후보(951)로서 출력한다.
이상에 의해, 적어도 하나 이상의 예측 움직임 정보 후보(951)가 참조 움직임 블록으로부터 출력된다. 상기의 예측 움직임 정보 후보(951)가 갖는 참조 프레임 번호와 부호화 대상 프리딕션 유닛의 참조 프레임 번호가 상이한 경우는, 예측 움직임 정보 후보(951)를 예측 움직임 정보 후보(951)가 갖는 참조 프레임 번호와 부호화 대상 프리딕션 유닛의 참조 프레임 번호에 따라서 스케일링해도 상관없다.
예측 움직임 정보 선택 스위치(902)는, 부호화 제어부(114)로부터의 지령에 따라서 복수의 예측 움직임 정보 후보(951)로부터 하나를 선택하고, 예측 움직임 정보(952)를 출력한다. 또한 예측 움직임 정보 선택 스위치(902)가, 후술하는 예측 움직임 정보 위치 정보(954)를 출력해도 좋다. 상기, 선택에는 수식(1)이나 (2)라는 평가 함수를 이용하여 선택해도 상관없다. 감산부(903)는, 움직임 정보(160)로부터 예측 움직임 벡터 정보(952)를 감산하여, 차분 움직임 정보(953)를 차분 움직임 정보 부호화부(904)에 출력한다. 차분 움직임 정보 부호화부(904)는, 차분 움직임 정보(953)를 부호화 처리하여 부호화 데이터(960A)를 출력한다. 또, 스킵 모드 및 머지 모드에서는 차분 움직임 정보 부호화부(904)에 있어서, 차분 움직임 정보(953)의 부호화는 불필요해진다.
예측 움직임 정보 위치 부호화부(905)는, 도 12에서 나타나는 리스트 중, 어떤 예측 움직임 정보 후보(951)를 선택했는지를 나타내는 예측 움직임 정보 위치 정보(954)(Mvpidx)를 부호화하여, 부호화 데이터(960B)를 출력한다. 예측 움직임 정보 위치 정보(954)는 예측 움직임 정보 후보(951)의 총수로부터 생성되는 등, 장(長)부호화나 가변장 부호화를 이용하여 부호화된다. 인접 블록과의 상관을 이용하여 가변장 부호화해도 상관없다. 또한, 복수의 예측 움직임 정보 후보(951)에서 중복된 정보를 갖는 경우, 중복된 예측 움직임 정보 후보(951)를 삭제한 예측 움직임 정보 후보(951)의 총수로부터 부호표를 작성하여, 예측 움직임 정보 위치 정보(954)를 부호화해도 상관없다. 또한, 예측 움직임 정보 후보(951)의 총수가 1종류인 경우, 그 예측 움직임 정보 후보(951)가 예측 움직임 정보(952)로 결정되기 때문에, 예측 움직임 정보 위치 정보(954)를 부호화할 필요는 없다.
또한, 스킵 모드, 머지 모드, 인터 모드 각각에 있어서, 예측 움직임 정보 후보(951)의 도출 방법은 동일할 필요는 없고, 각각 독립적으로 예측 움직임 정보 후보(951)의 도출 방법을 설정해도 상관없다. 본 실시형태에서는, 스킵 모드와 인터 모드의 예측 움직임 정보 후보(951)의 도출 방법은 동일하고, 머지 모드의 예측 움직임 정보 후보(951)의 도출 방법은 상이한 것으로서 설명한다.
<움직임 정보 압축부(109)의 세부사항>
우선, 움직임 정보 압축 처리에 관해서 도 15를 이용하여 설명한다. 도 15는, 공간 방향 참조 움직임 정보 메모리(501)의 참조 움직임 정보(166)를 압축하고, 시간 방향 참조 움직임 정보 메모리(502)로 저장한다. 공간 방향 참조 움직임 정보 메모리(501)에서는 움직임 정보 압축 블록(동 도면에서는 16×16 화소 블록)마다 대표 움직임 정보 위치에 유지되는 참조 움직임 정보(166)를 시간 방향 참조 움직임 정보 메모리(502)에 저장한다. 전술의 움직임 정보 부호화 처리를 행하는 경우에는, 전술의 참조 움직임 정보 취득 위치에 유지되는 참조 움직임 정보(166)를 예측 움직임 정보 후보(951)로서 설정한다. 이 때, 가상적으로 움직임 정보 압축 블록 내에는 동일한 참조 움직임 정보(166)를 갖는 것으로 하여, 전술의 참조 움직임 정보 취득 위치에 유지되는 참조 움직임 정보(166)를 예측 움직임 정보 후보(951)로서 설정해도 상관없다(동일한 예측 움직임 정보 후보(951)가 도출됨).
다음으로, 움직임 정보 압축부(109)에 관해서 도 16에 나타내는 흐름도를 이용하여 설명한다. 움직임 정보 압축부(109)는, 프레임(혹은 슬라이스, 코딩 유닛 등 임의의 단위)의 부호화 처리가 종료했을 때에, 움직임 정보(160)를 압축하여 시간 방향 참조 움직임 정보 메모리(502)에 움직임 정보(160)를 저장한다.
우선, 부호화 제어부(114)로부터 참조 위치 정보(164)를 취득하고(단계 S1601), 프레임을 움직임 정보(160)의 압축 단위인 움직임 정보 압축 블록으로 분할한다(단계 S1602). 움직임 정보 압축 블록은, 움직임 보상 처리에 의해 움직임 정보(160)가 유지되는 단위(전형적으로는 4×4 화소 블록)보다 큰 화소 블록이며, 전형적으로는 16×16 화소 블록이다. 움직임 정보 압축 블록은 64×64 화소 블록이나 32×32 화소 블록, 8×8 화소 블록, 직사각형 화소 블록, 임의의 형상의 화소 영역이라도 상관없다.
다음으로, 참조 위치 정보(164)에 따라서 대표 움직임 정보 위치를 생성한다(단계 S1603). 대표 움직임 정보 위치를 생성하는 일례로서, 움직임 정보 압축 블록이 16×16 화소 블록인 경우, 도 13d, 도 14d, 도 17d에 각각 나타내는 프리딕션 유닛의 사이즈가 16×16인 경우의 참조 움직임 정보 취득 위치를 대표 움직임 정보 위치로 한다. 다음으로, 생성한 대표 움직임 정보 위치의 참조 움직임 정보(166)를 대표 움직임 정보로 설정하고(단계 S1604), 그 대표 움직임 정보를 시간 방향 참조 움직임 정보 메모리에 저장한다(단계 S1605). 상기의 단계 S1604∼S1605를 모든 움직임 정보 압축 블록에 대하여 실행한다.
움직임 정보(160)가 유지되는 단위를 M×M 블록, 움직임 정보 압축 블록의 사이즈를 N×N(N은 M의 배수)으로 하면, 상기 움직임 정보 압축 처리를 실행함으로써, 참조 움직임 정보 메모리의 용량을 (M×M)/(N×N)로 삭감하는 것이 가능해진다.
<대표 움직임 정보 위치의 별도의 실시형태>
대표 움직임 정보 위치를 생성하는 별도의 예로서, 복수의 참조 움직임 정보 취득 위치의 중심 위치를 대표 움직임 정보 위치로 해도 상관없다. 도 18a 및 도 18b는 사이즈가 16×16인 움직임 압축 블록마다의 대표 움직임 정보 위치를 나타내고 있다. 도 18a는, 참조 움직임 정보 취득 위치가 도 13d에 나타나는 위치인 경우의 대표 움직임 정보 위치, 동일하게 도 18b는, 참조 움직임 정보 취득 위치가 도 17d에 나타나는 위치인 경우의 대표 움직임 정보 위치를 각각 나타내고 있다. 도 18a 및 도 18b 중 원 표시는, 프리딕션 유닛이 16×16 블록일 때의, 참조 움직임 정보 취득 위치를 나타내고 있고, 4점의 참조 움직임 정보 취득 위치의 중심 위치(무게 중심 위치라고도 지칭함)에 ×표로 표시되는 대표 움직임 정보 위치를 배치하고 있다.
대표 움직임 정보 위치를 생성하는 또 다른 예로서, 복수의 프리딕션 유닛의 사이즈마다의 참조 움직임 정보 취득 위치를 참조 위치 정보(164)로서 갖고, 복수의 참조 움직임 정보 취득 위치로부터 대표 움직임 정보 위치를 생성해도 상관없다.
대표 움직임 정보 위치를 생성하는 일례로서, 복수의 프리딕션 유닛의 사이즈마다의 참조 움직임 정보 취득 위치를 참조 위치 정보(164)로서 갖고, 복수의 참조 움직임 정보 취득 위치로부터 대표 움직임 정보 위치를 생성해도 상관없다. 도 19는, 트리 블록이 64×64 화소 블록인 경우의, 프리딕션 유닛의 사이즈가 16×16 이상인 각 사이즈에 있어서의 프리딕션 유닛의 중심(참조 움직임 정보 취득 위치)을 각각 나타내고 있다.
대표 움직임 정보 위치를 생성하는 다른 일례로서, 대표 움직임 정보 위치는 움직임 정보 압축 블록마다 배치되는 참조 움직임 정보 취득 위치를 이용하여 설정되어도 상관없다. 도 20a는, 움직임 정보 압축 블록마다의 복수의 참조 움직임 정보 취득 위치의 무게 중심을 대표 움직임 정보 위치로 설정한 경우의 예를 나타낸다. 무게 중심 위치가 4×4 블록의 위치와 일치하지 않는 경우에는, 최근방의 4×4 블록을 대표 움직임 정보 위치로 해도 좋고, 공1차 내삽법(bilinear interpolation) 등의 내삽법을 이용하여 무게 중심 위치의 참조 움직임 벡터(166)를 생성해도 상관없다.
또한, 도 20b는 움직임 정보 압축 블록마다 복수의 참조 움직임 정보 취득 위치 중 어느 하나를 선택하고, 대표 움직임 정보 위치로 설정한 경우의 예를 나타낸다.
또, 도 21a, 도 21b에 트리 블록 내에서 각 움직임 정보 압축 블록으로 참조 움직임 정보 취득 위치를 동일하게 한 경우의 예를 또한 나타낸다. 모든 움직임 정보 압축 블록 내에서 동일한 대표 움직임 정보 위치이기 때문에, 트리 블록 내의 위치에 따라서, 대표 움직임 정보 위치를 전환할 필요는 없다. 또한, 대표 움직임 정보 위치는 도 21a, 도 21b 이외로도, 움직임 정보 압축 블록 내의 좌상단이나 우상단 등, 어느 위치에 있어도 상관없다.
대표 움직임 정보 위치를 생성하는 일례, 움직임 정보 압축 블록 내의 4×4 블록 위치를 Z 스캔 순서로 나타내는 BlkIdx를 이용하여 대표 움직임 정보 위치를 나타내어도 상관없다. 움직임 정보 압축 블록의 사이즈가 16×16인 경우에, 도 21a에 나타나는 대표 움직임 정보 위치는 BlkIdx=12의 위치에 해당한다. 또한, 도 21b에 나타나는 대표 움직임 정보 위치는 BlkIdx=15의 위치에 해당한다.
움직임 정보 압축 처리에 있어서의 다른 일례로서, 참조 프레임 번호에 관한 메모리 용량을 삭감하기 위해서, 움직임 정보 압축 처리에 참조 프레임 번호를 포함해도 상관없다. 이 경우, 대표 움직임 정보 위치에 유지되는 참조 프레임 번호를 참조 프레임 번호에 관한 메모리 용량에 저장한다. 따라서, 도 5에 나타나는 공간 방향 참조 움직임 정보 메모리(501) 및 공간 방향 참조 움직임 정보 메모리(502)는 움직임 벡터 정보에 추가하여 참조 프레임 번호를 저장한다.
움직임 정보 압축 처리에 있어서의 또 다른 일례로서, 움직임 정보 압축 처리에 참조 프레임 번호를 포함하지 않는 경우에, 대표 움직임 정보 위치에 있는 움직임 정보 내의 움직임 벡터 정보를, 참조 프레임 번호를 이용하여 스케일링 처리를 실시하여, 움직임 정보 메모리(110)에 저장해도 상관없다. 스케일링 처리의 전형예로서, 참조 프레임 번호 제로를 기준으로 한 선형 스케일링 처리가 있다. 이것은, 참조 프레임 번호가 제로 이외의 값인 경우에, 움직임 벡터 정보가 참조 프레임 번호 제로에 대응하는 참조 프레임을 참조하도록 선형 스케일링 처리하는 것이다. 전술의 스케일링 처리의 기준은 참조 프레임 번호가 제로 이외의 값이라도 상관없다. 전술의 선형 스케일링 처리를 행하는 경우에 제산이 발생하는 경우에는, 미리 제산처리를 테이블화해 두고, 매번 테이블을 뺌으로써 상기 제산을 실현해도 상관없다.
움직임 정보 압축 블록의 사이즈가 16×16 블록 이외인 경우, 전술과 동일한 처리를 이용하여 대표 움직임 정보 위치를 생성한다. 일례에서는, 움직임 정보 압축 블록의 사이즈가 64×64인 경우, 프리딕션 유닛의 사이즈가 64×64에 있어서의 참조 움직임 정보 취득 위치를 대표 움직임 정보 위치로 한다. 또 다른 일례에서는, 도 21a, 도 21b 등으로 표시되는 움직임 정보 압축 블록의 사이즈가 16×16 블록에 있어서의 대표 움직임 정보 위치를, 움직임 정보 압축 블록의 사이즈에 따라서 수평 방향 및 수직 방향에서 스케일링한 위치를 대표 움직임 정보 위치로 해도 상관없다.
대표 움직임 정보 위치가, 픽쳐나 슬라이스 이외인 것으로 하여 참조 움직임 정보가 존재하지 않는 경우에는, 움직임 정보 압축 블록의 좌상단이라는 움직임 정보 압축 블록 내에서 참조 움직임 정보가 취득 가능한 위치를 새로운 대표 움직임 정보 위치로서 치환해도 상관없다. 또한, 대표 움직임 정보 위치가, 인트라 예측이 적용된 영역으로서, 참조 움직임 정보가 존재하지 않는 경우에도 동일한 처리를 실행하여, 새로운 대표 움직임 정보 위치로서 치환해도 상관없다.
<신택스 구성>
이하, 도 1의 화상 부호화 장치(100)가 이용하는 신택스에 관해서 설명한다.
신택스는, 화상 부호화 장치가 동화상 데이터를 부호화할 때의 부호화 데이터(예컨대, 도 1의 부호화 데이터(163))의 구조를 나타내고 있다. 이 부호화 데이터를 복호화할 때에, 동일한 신택스 구조를 참조하여 동화상 복호화 장치가 신택스 해석을 행한다. 도 1의 동화상 부호화 장치가 이용하는 신택스 2200을 도 22에 예시한다.
신택스 2200은, 하이 레벨 신택스 2201, 슬라이스 레벨 신택스 2202 및 코딩 트리 레벨 신택스 2203의 3가지의 파트를 포함한다. 하이 레벨 신택스 2201은, 슬라이스보다 상위인 레이어의 신택스 정보를 포함한다. 슬라이스란, 프레임 또는 필드에 포함되는 직사각형 영역 혹은 연속 영역을 가리킨다. 슬라이스 레벨 신택스 2202는, 각 슬라이스를 복호화하기 위해서 필요한 정보를 포함한다. 코딩 트리 레벨 신택스 2203은, 각 코딩 트리(즉, 각 코딩 트리 유닛)를 복호화하기 위해서 필요한 정보를 포함한다. 이들 각 파트는, 더욱 상세한 신택스를 포함한다.
하이 레벨 신택스 2201는, 시퀀스 파라미터 세트 신택스 2204 및 픽쳐 파라미터 세트 신택스 2205 등의, 시퀀스 및 픽쳐 레벨의 신택스를 포함한다. 슬라이스 레벨 신택스 2202는, 슬라이스 헤더 신택스 2206 및 슬라이스 데이터 신택스 2207 등을 포함한다. 코딩 트리 레벨 신택스 2203은, 코딩 트리 유닛 신택스 2208, 트랜스폼 유닛 신택스 2209 및 프리딕션 유닛 신택스 2210 등을 포함한다.
코딩 트리 유닛 신택스 2208은, 사분목 구조를 가질 수 있다. 구체적으로는, 코딩 트리 유닛 신택스 2208의 신택스 요소로서, 또한 코딩 트리 유닛 신택스 2208를 재귀 호출할 수 있다. 즉, 하나의 코딩 트리 유닛을 사분목으로 세분화할 수 있다. 또한, 코딩 트리 유닛 신택스 2208 내에는 트랜스폼 유닛 신택스 2209 및 프리딕션 유닛 신택스 2210이 포함되어 있다. 트랜스폼 유닛 신택스 2209 및 프리딕션 유닛 신택스 2210은, 사분목의 최말단의 각 코딩 트리 유닛 신택스 2208에 있어서 호출된다. 프리딕션 유닛 신택스 2210는 예측에 관한 정보, 트랜스폼 유닛 신택스 2209는, 역직교 변환 및 양자화 등에 관한 정보가 각각 기술되어 있다.
도 23은, 본 실시형태에 따른 시퀀스 파라미터 세트 신택스 2204를 예시한다. 도 23a 및 도 23b에 표시되는 motion_vector_buffer_comp_flag는, 그 시퀀스에 관해서 본 실시형태에 따른 움직임 정보 압축의 유효/무효를 나타내는 신택스이다. motion_vector_buffer_comp_flag가 0인 경우, 그 시퀀스에 관해서 본 실시형태에 따른 움직임 정보 압축은 무효이다. 따라서, 도 1에 표시되는 움직임 정보 압축부의 처리는 스킵된다. 일례로서, motion_vector_buffer_comp_flag가 1인 경우, 그 시퀀스에 관해서 본 실시형태에 따른 움직임 정보 압축은 유효하다. 도 23 및 도 23b에 표시되는 motion_vector_buffer_comp_ratio_log2는, 움직임 정보 압축 처리의 단위를 나타내는 정보이며, motion_vector_buffer_comp_flag가 1인 경우에 표시된다. motion_vector_buffer_comp_ratio_log2는, 예컨대 본 실시형태에 따른 움직임 정보 압축 블록의 사이즈의 정보를 나타내고, motion_vector_buffer_comp_ratio_log2는, 움직임 보상의 최소 단위에 2(motion_vector_buffer_comp_ratio_log2)를 곱한 값이 움직임 정보 압축 블록의 사이즈가 된다. 움직임 보상의 최소 단위가 4×4 화소 블록인, 즉 참조 움직임 정보 메모리가 4×4 화소 블록 단위에 유지되는 경우의 예를 이하에 나타낸다. motion_vector_buffer_comp_ratio_log2가 1인 경우, 본 실시형태에 따른 움직임 정보 압축 블록의 사이즈는 8×8 화소 블록이 된다. 마찬가지로, motion_vector_buffer_comp_ratio_log2가 2인 경우, 본 실시형태에 따른 움직임 정보 압축 블록의 사이즈는 16×16 화소 블록이 된다. 도 23b에 표시되는 motion_vector_buffer_comp_position은, 움직임 정보 압축 블록 내의 대표 움직임 정보 위치를 나타내는 정보이며, motion_vector_buffer_comp_flag가 1인 경우에 표시된다. motion_vector_buffer_comp_position은, 예컨대 도 21a, 도 21b에 표시되는 바와 같은 움직임 정보 압축 블록 내의 참조 움직임 정보 위치를 나타내거나, 도 20a, 도 20b에 나타내는 바와 같이 움직임 정보 압축 블록마다의 참조 움직임 정보 위치를 나타내어도 상관없다. 또한, 복수의 블록의 중심에 있어도 상관없다.
또한, 별도의 예로서, motion_vector_buffer_comp_flag, motion_vector_buffer_comp_ratio_log2, motion_vector_buffer_comp_position보다 하위의 레이어(픽쳐 파라미터 세트 신택스, 슬라이스 레벨 신택스, 코딩 트리 유닛, 트랜스폼 유닛 등)의 신택스에 있어서 그 슬라이스 내부의 국소 영역마다 본 실시형태에 따른 예측의 유효/무효가 규정되어도 좋다.
도 24에, 프리딕션 유닛 신택스의 일례를 나타낸다. 도면 중의 skip_flag는, 프리딕션 유닛 신택스가 속하는 코딩 유닛의 예측 모드가 스킵 모드인지 아닌지를 나타내는 플래그이다. skip_flag가 1인 경우, 예측 움직임 정보 위치 정보(954) 이외의 신택스(코딩 유닛 신택스, 프리딕션 유닛 신택스, 트랜스폼 유닛 신택스)를 부호화하지 않는 것을 나타낸다. NumMVPCand(L0), NumMVPCand(L1)는, 각각 리스트 0 예측, 리스트 1 예측에 있어서의 예측 움직임 정보 후보(951)의 수를 나타낸다. 예측 움직임 정보 후보(951)가 존재하는(NumMVPCand(LX)>0, X=0 혹은 1) 경우, 예측 움직임 정보 위치 정보(954)를 나타내는 mvp_idx_lX가 부호화된다.
skip_flag가 0인 경우, 프리딕션 유닛 신택스가 속하는 코딩 유닛의 예측 모드가 스킵 모드는 아닌 것을 나타낸다. NumMergeCandidates는, 도 12 등에서 도출되는 예측 움직임 정보 후보(951)의 수를 나타낸다. 예측 움직임 정보 후보(951)가 존재하는(NumMergeCandidates>0) 경우, 프리딕션 유닛이 머지 모드인지 아닌지를 나타내는 플래그인 merge_flag가 부호화된다. merge_flag는, 그 값이 1인 경우, 프리딕션 유닛이 머지 모드인 것을 나타내고, 그 값이 0인 경우, 프리딕션 유닛이 인터 모드를 이용하는 것을 나타낸다. merge_flag가 1 그리고 예측 움직임 정보 후보(951)가 2개 이상 존재하는(NumMergeCandidates>1) 경우, 예측 움직임 정보 후보(951) 중, 어느 블록으로부터 머지하는지를 나타내는 예측 움직임 정보(952)인 merge_idx가 부호화된다.
merge_flag가 1인 경우, merge_flag, merge_idx 이외의 프리딕션 유닛 신택스는 부호화할 필요는 없다.
merge_flag가 0인 경우, 프리딕션 유닛이 인터 모드인 것을 나타낸다. 인터 모드에서는 차분 움직임 정보(953)가 포함하는 차분 움직임 벡터 정보를 나타내는 mvd_lX(X=0 혹은 1)나 참조 프레임 번호 ref_idx_lX, B 슬라이스의 경우, 프리딕션 유닛이 단방향 예측(리스트 0 혹은 리스트 1)인지 쌍방향 예측인지를 나타내는 inter_pred_idc가 부호화된다. 또한, 스킵 모드와 동일하게 NumMVPCand(L0), NumMVPCand(L1)를 취득하고, 예측 움직임 정보 후보(951)가 존재하는(NumMVPCand(LX)>0, X=0 혹은 1) 경우, 예측 움직임 정보 위치 정보(954)를 나타내는 mvp_idx_lX가 부호화된다.
이상이, 본 실시형태에 따른 신택스 구성이다.
(제2 실시형태)
제2 실시형태는 동화상 복호화 장치에 관한 것이다. 본 실시형태에 따른 동화상 복호화 장치에 대응하는 동화상 부호화 장치는, 제1 실시형태에 있어서 설명한 대로이다. 즉, 본 실시형태에 따른 동화상 복호화 장치는, 예컨대 제1 실시형태에 따른 동화상 부호화 장치에 의해서 생성된 부호화 데이터를 복호화한다.
도 25에 나타낸 바와 같이, 본 실시형태에 따른 동화상 복호화 장치는, 엔트로피 복호화부(2501), 역양자화부(2502), 역직교 변환부(2503), 가산부(2504), 참조 화상 메모리(2505), 인터 예측부(2506), 참조 움직임 정보 메모리(2507), 참조 움직임 정보 압축부(2508) 및 복호화 제어부(2510)를 포함한다.
도 25의 동화상 복호화 장치는, 부호화 데이터(2550)를 복호하고, 복호 화상 신호(2554)를 출력 버퍼(2511)에 축적하여 출력 화상으로서 출력한다. 부호화 데이터(2550)는, 예컨대 도 1의 동화상 부호화 장치 등으로부터 출력되고, 도시하지 않는 축적계 또는 전송계를 거쳐, 동화상 복호화 장치(2500)에 입력된다.
엔트로피 복호화부(2501)는, 부호화 데이터(2550)의 복호화를 위해, 신택스에 기초하여 해독을 행한다. 엔트로피 복호화부(2501)는, 각 신택스의 부호열을 순차 엔트로피 복호화하고, 움직임 정보(2559), 양자화 변환 계수(2551) 등의 부호화 대상 블록의 부호화 파라미터를 재생한다. 부호화 파라미터란, 예측 정보, 변환 계수에 관한 정보, 양자화에 관한 정보 등의 복호에 필요해지는 파라미터이다.
구체적으로는, 엔트로피 복호화부(2501)는, 도 26에 나타낸 바와 같이, 분리부(2601), 파라미터 복호화부(2602), 변환 계수 복호화부(2603), 및 움직임 정보 복호화부(2604)를 구비한다. 분리부(2601)는 부호화 데이터(2550)를 분리하고, 파라미터에 관한 부호화 데이터(2651A)를 파라미터 복호화부(2602), 변환 계수에 관한 부호화 데이터(2651B)를 변환 계수 복호화부(2603), 움직임 정보에 관한 부호화 데이터(2651C)를 움직임 정보 복호화부(2604)에 각각 출력한다. 파라미터 복호화부(2602)는, 예측 정보 등의 부호화 파라미터(2570)를 복호화하고 부호화 파라미터(2570)를 출력하여 복호화 제어부(2510)에 출력한다. 변환 계수 복호화부(2603)는, 부호화 데이터(2651B)를 입력하고, 변환 계수 정보(2551)를 복호화하여 역양자화부(2502)에 출력한다.
움직임 정보 복호화부(2604)는, 분리부(2601)로부터 부호화 데이터(2651C), 복호화 제어부(2510)로부터 참조 위치 정보(2560), 참조 움직임 정보 메모리(2507)로부터 참조 움직임 정보(2558)를 각각 수취하고 움직임 정보(2559)를 출력한다. 출력된 움직임 정보(2559)는 인터 예측부(2506)에 입력된다.
움직임 정보 복호화부(2604)는, 도 27에 나타낸 바와 같이, 분리부(2701), 차분 움직임 정보 복호화부(2702), 예측 움직임 정보 위치 복호화부(2503), 참조 움직임 정보 취득부(2704), 예측 움직임 정보 선택 스위치(2705) 및 가산부(2706)를 포함한다.
움직임 정보에 관한 부호화 데이터(2651C)를 분리부(2701)에 입력하고, 차분 움직임 정보에 관한 부호화 데이터(2751)와 예측 움직임 정보 위치에 관한 부호화 데이터(2752)로 분리한다. 차분 움직임 정보 부호화부(2702)는, 차분 움직임 정보에 관한 부호화 데이터(2751)를 입력하고, 차분 움직임 정보(2753)를 복호화한다. 차분 움직임 정보(2753)는 가산부(2706)에서 후술하는 예측 움직임 정보(2756)와 가산되고, 움직임 정보(2759)가 출력된다. 예측 움직임 정보 위치 복호화부(2703)는 예측 움직임 정보 위치에 관한 부호화 데이터(2752)를 입력하고, 예측 움직임 정보 위치(2754)를 복호화한다.
예측 움직임 정보 위치(2754)는 예측 움직임 정보 선택 스위치(2705)에 입력되고, 예측 움직임 정보 후보(2755) 중에서 예측 움직임 정보(2756)를 선택한다. 예측 움직임 정보 위치 정보(2560)는 예측 움직임 정보 후보(2755)의 수로부터 생성되는 등, 장복호화나 가변장 복호화를 이용하여 복호화된다. 인접 블록과의 상관을 이용하여 가변장 복호화해도 상관없다. 또, 복수의 예측 움직임 정보 후보(2755)에서 중복되는 경우, 중복을 삭제한 예측 움직임 정보 후보(2755)의 총수로부터 생성되는 부호표로부터, 예측 움직임 정보 위치 정보(2560)를 복호화해도 상관없다. 또한, 예측 움직임 정보 후보(2755)의 총수가 1종류인 경우, 그 예측 움직임 정보 후보(2755)가 예측 움직임 정보(2556)와 결정되기 때문에, 예측 움직임 정보 위치 정보(2754)를 복호화할 필요는 없다.
참조 움직임 정보 취득부(2704)는 제1 실시형태에서 설명한 참조 움직임 정보 취득부(901)와 그 구성, 처리 내용은 동일하다.
참조 움직임 정보 취득부(2704)는, 참조 움직임 정보(2558) 및 참조 위치 정보(2560)를 입력으로 하여, 적어도 하나 이상의 예측 움직임 정보 후보(2755)(2755A, 2755B, …)를 생성한다. 도 10, 도 11은, 복호화 대상 프리딕션 유닛에 대한, 예측 움직임 정보 후보(2755)의 위치의 일례를 나타내고 있다. 도 10은 복호화 대상 프리딕션 유닛에 공간적으로 인접하는 프리딕션 유닛의 위치를 나타내고 있다. AX(X=0∼nA-1)는, 대상 프리딕션 유닛에 대하여 좌측에 인접하는 프리딕션 유닛, BY(Y=0∼nB-1)는 대상 프리딕션 유닛에 대하여 상측에 인접하는 프리딕션 유닛, C, D, E는 복호화 대상 프리딕션 유닛에 대하여 각각 우상측, 좌상측, 좌하측에 인접하는 프리딕션 유닛을 나타내고 있다. 또한, 도 11은 복호화 대상 프리딕션 유닛에 대하여, 이미 복호화 완료의 참조 프레임에 있어서의 프리딕션 유닛의 위치를 나타내고 있다. 도면 중의 Col은, 참조 프레임 내에 있어서 복호화 대상 프리딕션 유닛과 동일 위치에 있는 프리딕션 유닛을 나타내고 있다. 도 12는, 복수의 예측 움직임 정보 후보(2755)의 블록 위치와 인덱스 Mvpidx의 관계를 나타내는 리스트의 일례를 나타낸다. Mvpidx가 0∼2인 경우, 공간 방향에 위치하는 예측 움직임 정보 후보(2755), Mvpidx가 3인 경우, 시간 방향에 위치하는 예측 움직임 벡터 후보(2755)를 각각 나타내고 있다. 프리딕션 유닛 위치 A는 도 10에 나타나는 AX 중, 인터 예측인, 즉 참조 움직임 정보(2558)를 갖는 프리딕션 유닛으로서, X의 값이 가장 작은 위치를 프리딕션 유닛 위치 A로 한다. 또한, 프리딕션 유닛 위치 B는 도 10에 나타나는 BY 중, 인터 예측인, 즉 참조 움직임 정보(2558)를 갖는 프리딕션 유닛으로서, Y의 값이 가장 작은 위치를 프리딕션 유닛 위치 A로 한다. 프리딕션 유닛 위치 C가 인터 예측이 아닌 경우, 프리딕션 유닛 위치 D의 참조 움직임 정보(2558)를 프리딕션 유닛 위치 C의 참조 움직임 정보(2558)로서 치환한다. 프리딕션 유닛 위치 C 및 D가 인터 예측이 아닌 경우, 프리딕션 유닛 위치 E의 참조 움직임 정보(2558)를 프리딕션 유닛 위치 C의 참조 움직임 정보(2558)로서 치환한다.
복호화 대상 프리딕션 유닛의 사이즈가 최소 프리딕션 유닛보다 큰 경우에는, 프리딕션 유닛 위치 Col은, 복수의 참조 움직임 정보(2558)를 시간 방향 참조 움직임 정보 메모리(2507)에 유지하고 있을 가능성이 있다. 이 경우, 참조 위치 정보(2560)에 따라서 위치 Col의 프리딕션 유닛 내의 참조 움직임 정보(2558)를 취득한다. 이후, 위치 Col의 프리딕션 유닛 내의 참조 움직임 정보(2558)의 취득 위치를 참조 움직임 정보 취득 위치라 지칭한다. 도 13a∼f는, 참조 위치 정보(2560)가 위치 Col의 프리딕션 유닛의 중심을 나타내는 경우의 참조 움직임 정보 취득 위치의 일례를 복호화 대상 프리딕션 유닛의 사이즈(32×32∼16×16)마다 나타낸다. 도면 중의 블록은 각각 4×4 프리딕션 유닛을 나타내고, 원 표시는 예측 움직임 정보 후보(2755)로서 취득하는 4×4 프리딕션 유닛의 위치를 나타내고 있다. 참조 움직임 정보 취득 위치의 다른 일례를 도 14a∼f에 나타낸다. 도 14a∼f에 있어서, 원 표시의 위치는 4×4 프리딕션 유닛이 존재하지 않기 때문에, 원 표시에 인접하는 4×4 프리딕션 유닛에 있어서의 참조 움직임 정보(2558)의 평균값이나 메디안값이라는 미리 정해진 방식으로, 예측 움직임 정보 후보(2755)를 생성한다. 참조 움직임 정보 취득 위치의 또 다른 일례로서, 위치 Col의 프리딕션 유닛의 좌상단에 위치하는 4×4 프리딕션 유닛의 참조 움직임 정보(2558)를 예측 움직임 정보 후보(2755)로 해도 상관없다. 상기의 예 이외에 있어서도, 미리 정해진 방식이면, 어느 쪽의 위치 및 방식을 이용하여 예측 움직임 정보 후보(2755)를 생성해도 상관없다.
또, 참조 움직임 정보(2558)가 존재하지 않는 경우, 제로 벡터를 갖는 움직임 정보(2559)를, 예측 움직임 정보 후보(2755)로서 출력한다.
이상에 의해, 적어도 하나 이상의 예측 움직임 정보 후보(2755)가 참조 움직임블록으로부터 출력된다. 상기의 예측 움직임 정보 후보(2755)가 갖는 참조 프레임 번호와 복호화 대상 프리딕션 유닛의 참조 프레임 번호가 상이한 경우, 예측 움직임 정보 후보(2755)를 예측 움직임 정보 후보(2755)가 갖는 참조 프레임 번호와 복호화 대상 프리딕션 유닛의 참조 프레임 번호에 따라서 스케일링해도 상관없다. 예측 움직임 정보 선택 스위치(2705)는, 복수의 예측 움직임 정보 후보(2755)로부터 예측 움직임 정보 위치(2754)에 따라서 하나를 선택하고, 예측 움직임 정보(952)를 출력한다.
역양자화부(2502)는, 엔트로피 복호화부(2501)로부터의 양자화 변환 계수(2551)에 역양자화를 행하여, 복원 변환 계수(2552)를 얻는다. 구체적으로는, 역양자화부(2502)는, 엔트로피 복호화부(2501)에 의해서 복호화된 양자화에 관한 정보에 따라서 역양자화를 행한다. 역양자화부(2502)는, 복원 변환 계수(2552)를 역직교 변환부(2503)에 출력한다.
역직교 변환부(2503)는, 역양자화부(2502)로부터의 복원 변환 계수(2552)에 대하여, 부호화측에 있어서 행해진 직교 변환에 대응하는 역직교 변환을 행하여, 복원 예측 오차 신호(2553)를 얻는다. 역직교 변환부(2503)는, 복원 예측 오차 신호(2553)를 가산부(2504)에 입력한다.
가산부(2504)는, 복원 예측 오차 신호(2553)와, 대응하는 예측 화상 신호(2556)를 가산하고, 복호 화상 신호(2554)를 생성한다. 복호 화상 신호(2554)는, 도시되지 않는 디블로킹 필터나 위너 필터 등을 실시하고, 출력 화상을 위해 출력 버퍼(2511)에 일시적으로 축적되고, 참조 화상 신호(2555)를 위해 참조 화상 메모리(2505)에도 보존된다. 참조 화상 메모리(2505)에 보존된 복호 화상 신호(2554)는, 참조 화상 신호(2555)로 하여 인터 예측부(2506)에 의해서 필요에 따라서 프레임 단위 또는 필드 단위로 참조된다. 출력 버퍼(2511)에 일시적으로 축적된 복호 화상 신호(2554)는, 복호화 제어부(2510)에 의해서 관리되는 출력 타이밍 에 따라서 출력된다.
인터 예측부(2506)는, 참조 화상 메모리(2505)에 보존되어 있는 참조 화상 신호(2555)를 이용하여 인터 예측을 행한다. 구체적으로는, 인터 예측부(2506)는, 예측 대상 블록과 참조 화상 신호(2555)의 사이의 움직임의 어긋남량(움직임 벡터)을 포함하는 움직임 정보(2559)를 엔트로피 복호화부(2501)로부터 취득하고, 이 움직임 벡터에 기초하여 보간 처리(움직임 보상)를 행하여 인터 예측 화상을 생성한다. 인터 예측 화상의 생성에 관해서는, 제1 실시형태와 동일하기 때문에, 설명을 생략한다.
복호화 제어부(2510)는, 도 25의 동화상 복호화 장치의 각 요소를 제어한다. 구체적으로는, 복호화 제어부(2510)는, 후술하는 참조 위치 정보(2560)를 엔트로피 복호화부(2501)에 출력하거나, 전술의 동작을 포함하는 복호화 처리를 위한 여러 가지의 제어를 행한다.
<스킵 모드, 머지 모드, 인터 모드의 설명>
본 실시형태에 따른 화상 복호화 장치(2500)는, 도 8에 나타내는 복호화 처리의 상이한 복수의 예측 모드를 사용한다. 도면 중 스킵 모드는 후술하는 예측 움직임 정보 위치(2754)에 관한 신택스만을 복호화하고, 그 밖의 신택스는 복호화하지 않는 모드이다. 머지 모드는 예측 움직임 정보 위치(2754)에 관한 신택스, 변환 계수 정보(2551)만을 복호화하고, 그 밖의 신택스는 복호화하지 않는 모드이다. 인터 모드는, 예측 움직임 정보 위치(2754)에 관한 신택스, 후술하는 차분 움직임 정보(2753), 변환 계수 정보(2551)를 복호화하는 모드이다. 이러한 모드는 복호화 제어부(2510)가 제어하는 예측 정보(2571)에 의해서 전환된다.
또한, 도 25의 동화상 복호화 장치는, 도 28에서 설명한 신택스와 동일하거나 또는 유사한 신택스를 이용하기 때문에 그 상세한 설명을 생략한다.
<움직임 정보 압축부(2508)의 세부사항>
다음으로, 움직임 정보 압축부(2508)에 관해서 도 16에 나타내는 흐름도를 이용하여 설명한다. 움직임 정보 압축부(2508)는, 프레임(혹은 슬라이스, 코딩 유닛 등 임의의 단위)의 복호화 처리가 종료했을 때에, 움직임 정보(2559)를 압축하여 시간 방향 참조 움직임 정보 메모리(502)에 움직임 정보(2559)를 저장한다.
우선, 복호화 제어부(2510)로부터 참조 위치 정보(2560)를 취득하고(단계 S1601), 프레임을 움직임 정보(2559)의 압축 단위인 움직임 정보 압축 블록으로 분할한다(단계 S1602). 움직임 정보 압축 블록은, 움직임 보상 처리에 의해 움직임 정보(2559)가 유지되는 단위(전형적으로는 4×4 화소 블록)보다 큰 화소 블록이며, 전형적으로는 16×16 화소 블록이다. 움직임 정보 압축 블록은 32×32 화소 블록이나 8×8 화소 블록, 장방형 화소 블록, 임의의 형상의 화소 영역이라도 상관없다.
다음으로, 참조 위치 정보(2560)에 따라서 대표 움직임 정보 위치를 생성한다(단계 S1603). 대표 움직임 정보 위치를 생성하는 일례로서, 움직임 정보 압축 블록이 16×16 화소 블록인 경우, 도 13d, 도 14d, 도 17d에 각각 나타나는 프리딕션 유닛의 사이즈가 16×16인 경우의 참조 움직임 정보 취득 위치를 대표 움직임 정보 위치로 한다. 다음으로, 생성한 대표 움직임 정보 위치의 참조 움직임 정보(2558)를 대표 움직임 정보에 설정하고(단계 S1605), 그 대표 움직임 정보를 시간 방향 참조 움직임 정보 메모리에 저장한다(단계 S1606). 상기의 단계 S1604∼S1605를 모든 움직임 정보 압축 블록에 대하여 실행한다.
움직임 정보(2559)가 유지되는 단위를 M×M 블록, 움직임 정보 압축 블록의 사이즈를 N×N(N은 M의 배수)으로 하면, 상기 움직임 정보 압축 처리를 실행함으로써, 참조 움직임 정보 메모리의 용량을 (M×M)/(N×N)으로 삭감하는 것이 가능해진다.
<대표 움직임 정보 위치의 별도의 실시형태>
대표 움직임 정보 위치를 생성하는 별도의 예로서, 복수의 참조 움직임 정보 취득 위치의 중심 위치를 대표 움직임 정보 위치로 해도 상관없다. 도 18a 및 도 18b는 사이즈가 16×16인 움직임 압축 블록마다의 대표 움직임 정보 위치를 나타내고 있다. 도 18a는, 참조 움직임 정보 취득 위치가 도 13d에 표시되는 위치인 경우의 대표 움직임 정보 위치, 마찬가지로 도 18b는, 참조 움직임 정보 취득 위치가 도 17d에 표시되는 위치인 경우의 대표 움직임 정보 위치를 각각 나타내고 있다. 도 18a 및 도 18b 중의 원 표시는, 프리딕션 유닛이 16×16일 때의, 참조 움직임 정보 취득 위치를 나타내고 있고, 4점의 참조 움직임 정보 취득 위치의 중심 위치에 ×표시로 표시되는 대표 움직임 정보 위치를 배치하고 있다.
대표 움직임 정보 위치를 생성하는 또 다른 예로서, 복수의 프리딕션 유닛의 사이즈마다의 참조 움직임 정보 취득 위치를 참조 위치 정보(2560)로서 갖고, 복수의 참조 움직임 정보 취득 위치로부터 대표 움직임 정보 위치를 생성해도 상관없다. 도 19는, 트리 블록이 64×64 화소 블록인 경우의, 프리딕션 유닛의 사이즈가 16×16 이상인 각 사이즈에 있어서의 프리딕션 유닛의 중심(참조 움직임 정보 취득 위치)을 각각 나타내고 있다.
대표 움직임 정보 위치를 생성하는 다른 일례로서, 대표 움직임 정보 위치는 움직임 정보 압축 블록마다 배치되는 참조 움직임 정보 취득 위치를 이용하여 설정되어도 상관없다. 도 20a는, 움직임 정보 압축 블록마다의 복수의 참조 움직임 정보 취득 위치의 무게 중심을 대표 움직임 정보 위치로 설정한 경우의 예를 나타낸다. 무게 중심 위치가 4×4 블록의 위치와 일치하지 않는 경우에는, 최근방의 4×4 블록을 대표 움직임 정보 위치로 해도 좋고, 공1차 내삽법 등의 내삽법을 이용하여 무게 중심 위치의 참조 움직임 벡터(166)를 생성해도 상관없다.
또한, 도 20b는 움직임 정보 압축 블록마다 복수의 참조 움직임 정보 취득 위치 중 어느 하나를 선택하고, 대표 움직임 정보 위치로 설정한 경우의 예를 나타낸다.
또, 도 21a, b에 트리 블록 내에서 각 움직임 정보 압축 블록으로 참조 움직임 정보 취득 위치를 동일하게 한 경우의 예를 또한 나타낸다. 모든 움직임 정보 압축 블록 내에서 동일한 대표 움직임 정보 위치이기 때문에, 트리 블록 내의 위치에 따라서, 대표 움직임 정보 위치를 전환할 필요는 없다. 또한, 대표 움직임 정보 위치는 도 21a, b 이외에도, 움직임 정보 압축 블록 내의 좌상단이나 우상단 등 어느 위치에 있어도 상관없다.
대표 움직임 정보 위치를 생성하는 일례, 움직임 정보 압축 블록 내의 4×4 블록 위치를 Z 스캔 순서로 나타내는 BlkIdx를 이용하여 대표 움직임 정보 위치를 나타내어도 상관없다. 움직임 정보 압축 블록의 사이즈가 16×16인 경우에, 도 21a에 나타나는 대표 움직임 정보 위치는 BlkIdx=12의 위치에 해당한다. 또한, 도 21b에 나타나는 대표 움직임 정보 위치는 BlkIdx=15의 위치에 해당한다.
움직임 정보 압축 처리에 있어서의 다른 일례로서, 참조 프레임 번호에 관한 메모리 용량을 삭감하기 위해서, 움직임 정보 압축 처리에 참조 프레임 번호를 포함해도 상관없다. 이 경우, 대표 움직임 정보 위치에 유지되는 참조 프레임 번호를 참조 프레임 번호에 관한 메모리 용량에 저장한다. 따라서, 도 5에 나타나는 공간 방향 참조 움직임 정보 메모리(501) 및 공간 방향 참조 움직임 정보 메모리(502)는 움직임 벡터 정보에 추가하여 참조 프레임 번호를 저장한다.
움직임 정보 압축 처리에 있어서의 또 다른 일례로서, 움직임 정보 압축 처리에 참조 프레임 번호를 포함하지 않는 경우에, 대표 움직임 정보 위치에 있는 움직임 정보 내의 움직임 벡터 정보를, 참조 프레임 번호를 이용하여 스케일링 처리를 실시하여, 움직임 정보 메모리(110)에 저장해도 상관없다. 스케일링 처리의 전형예로서, 참조 프레임 번호 제로를 기준으로 한 선형 스케일링 처리가 있다. 이것은, 참조 프레임 번호가 제로 이외의 값인 경우에, 움직임 벡터 정보가 참조 프레임 번호 제로에 대응하는 참조 프레임을 참조하도록 선형 스케일링 처리하는 것이다. 전술의 스케일링 처리의 기준은 참조 프레임 번호가 제로 이외의 값이라도 상관없다. 전술의 선형 스케일링 처리를 행하는 경우에 제산이 발생하는 경우에는, 미리 제산 처리를 테이블화해 두고, 매번 테이블을 뺌으로써 상기 제산을 실현해도 상관없다.
움직임 정보 압축 블록의 사이즈가 16×16 블록 이외인 경우, 전술과 동일한 처리를 이용하여 대표 움직임 정보 위치를 생성한다. 일례로서는, 움직임 정보 압축 블록의 사이즈가 64×64인 경우, 프리딕션 유닛의 사이즈가 64×64에 있어서의 참조 움직임 정보 취득 위치를 대표 움직임 정보 위치로 한다. 또 다른 일례에서는, 도 21a, 도 21b 등으로 표시되는 움직임 정보 압축 블록의 사이즈가 16×16 블록에 있어서의 대표 움직임 정보 위치를, 움직임 정보 압축 블록의 사이즈에 따라서 수평 방향 및 수직 방향에서 스케일링한 위치를 대표 움직임 정보 위치로 해도 상관없다.
대표 움직임 정보 위치가, 픽쳐나 슬라이스 이외인 것으로 하여 참조 움직임 정보가 존재하지 않는 경우에는, 움직임 정보 압축 블록의 좌상단이라는 움직임 정보 압축 블록 내에서 참조 움직임 정보가 취득 가능한 위치를 새로운 대표 움직임 정보 위치로서 치환해도 상관없다. 또한, 대표 움직임 정보 위치가 인트라 예측이 적용된 영역으로서, 참조 움직임 정보가 존재하지 않는 경우에도 동일한 처리를 실행하여, 새로운 대표 움직임 정보 위치로서 치환해도 상관없다.
이하, 각 실시형태의 변형예를 열거하여 소개한다.
제1 및 제2 실시형태에 있어서, 프레임을 16×16 화소 사이즈 등의 직사각형 블록으로 분할하고, 화면 좌상측의 블록으로부터 우하측을 향하여 순서대로 부호화/복호화를 행하는 예에 관해서 설명하고 있다(도 2a를 참조). 그러나, 부호화 순서 및 복호화 순서는 이 예에 한정되지 않는다. 예컨대, 우하측으로부터 좌상측을 향하여 순서대로 부호화 및 복호화가 행해져도 좋고, 화면 중앙으로부터 화면단을 향하여 소용돌이를 그리도록 부호화 및 복호화가 행해져도 좋다. 또한, 우상측으로부터 좌하측을 향하여 순서대로 부호화 및 복호화가 행해져도 좋고, 화면단으로부터 화면 중앙을 향하여 소용돌이를 그리도록 부호화 및 복호화가 행해져도 좋다.
제1 및 제2 실시형태에 있어서, 4×4 화소 블록, 8×8 화소 블록, 16×16 화소 블록 등의 예측 대상 블록 사이즈를 예시하여 설명을 했지만, 예측 대상 블록은 균일한 블록 형상이 아니라도 좋다. 예컨대, 예측 대상 블록(프리딕션 유닛) 사이즈는, 16×8 화소 블록, 8×16 화소 블록, 8×4 화소 블록, 4×8 화소 블록 등이라도 좋다. 또한, 하나의 코딩 트리 유닛 내에서 모든 블록 사이즈를 통일시킬 필요는 없고, 복수의 상이한 블록 사이즈를 혼재시켜도 좋다. 하나의 코딩 트리 유닛 내에서 복수의 상이한 블록 사이즈를 혼재시키는 경우, 분할수의 증가에 수반하여 분할 정보를 부호화 또는 복호화하기 위한 부호량도 증가한다. 따라서, 분할 정보의 부호량과 국부 복호 화상 또는 복호 화상의 품질과의 사이의 밸런스를 고려하여, 블록 사이즈를 선택하는 것이 바람직하다.
제1 및 제2 실시형태에 있어서, 간단화를 위해, 휘도 신호와 색차 신호를 구별하지 않고, 색신호 성분에 관해서 포괄적인 설명을 기술했다. 그러나, 예측 처리가 휘도 신호와 색차 신호의 사이에서 상이한 경우에는, 동일 또는 상이한 예측 방법이 이용되어도 좋다. 휘도 신호와 색차 신호의 사이에서 상이한 예측 방법이 이용되면, 색차 신호에 대하여 선택한 예측 방법을 휘도 신호와 동일한 방법으로 부호화 또는 복호화할 수 있다.
제1 및 제2 실시형태에 있어서, 간단화를 위해, 휘도 신호와 색차 신호를 구별하지 않고, 색신호 성분에 관해서 포괄적인 설명을 기술했다. 그러나, 직교 변환 처리가 휘도 신호와 색차 신호의 사이에서 상이한 경우에는, 동일 또는 상이한 직교 변환 방법이 이용되어도 좋다. 휘도 신호와 색차 신호의 사이에서 상이한 직교 변환 방법이 이용되는 것이면, 색차 신호에 대하여 선택한 직교 변환 방법을 휘도 신호와 동일한 방법으로 부호화 또는 복호화할 수 있다.
제1 및 제2까지의 실시형태에 있어서, 신택스 구성에 나타내는 표의 행간에는, 실시형태에서 규정하고 있지 않은 신택스 요소가 삽입되는 것도 가능하고, 그 이외의 조건 분기에 관한 기술이 포함되어 있어도 상관없다. 혹은, 신택스 테이블을 복수의 테이블로 분할, 통합하는 것도 가능하다. 또한, 반드시 동일한 용어를 이용할 필요는 없고, 이용하는 형태에 따라서 임의로 변경해도 상관없다.
이상 설명한 바와 같이, 각 실시형태는, 하드웨어 실장 및 소프트웨어 실장에 있어서의 곤란성을 완화하면서, 고효율인 직교 변환 및 역직교 변환을 실현할 수 있다. 그러므로, 각 실시형태에 따르면, 부호화 효율이 향상되고, 나아가서는 주관 화질도 향상된다.
또한, 전술의 실시형태 중에서 나타낸 처리 순서에 표시된 지시는, 소프트웨어인 프로그램에 기초하여 실행되는 것이 가능하다. 범용의 계산기 시스템이, 이 프로그램을 미리 기억해 두고, 이 프로그램을 판독함으로써, 전술한 실시형태의 동화상 부호화 장치 및 동화상 복호화 장치에 의한 효과와 동일한 효과를 얻는 것도 가능하다. 전술의 실시형태에서 기술된 지시는, 컴퓨터에 실행시킬 수 있는 프로그램으로서, 자기 디스크(플렉시블 디스크, 하드 디스크 등), 광 디스크(CD-ROM, CD-R, CD-RW, DVD-ROM, DVD±R, DVD±RW 등), 반도체 메모리, 또는 이것과 유사한 기록 매체에 기록된다. 컴퓨터 또는 저장 시스템이 판독 가능한 기록 매체이면, 그 기억 형식은 어떠한 형태라도 좋다. 컴퓨터는, 이 기록 매체로부터 프로그램을 판독하고, 이 프로그램에 기초하여 프로그램에 기술되어 있는 지시를 CPU에서 실행시키면, 전술한 실시형태의 동화상 부호화 장치 및 동화상 복호화 장치와 동일한 동작을 실현할 수 있다. 물론, 컴퓨터가 프로그램을 취득하는 경우 또는 판독하는 경우는 네트워크를 통하여 취득 또는 판독해도 좋다.
또한, 기록 매체로부터 컴퓨터나 저장 시스템에 인스톨된 프로그램의 지시에 기초하여 컴퓨터상에서 가동하고 있는 OS(오퍼레이팅 시스템)나, 데이터베이스 관리 소프트, 네트워크 등의 MW(미들웨어) 등이 본 실시형태를 실현하기 위한 각 처리의 일부를 실행해도 좋다.
또한, 본원 발명의 실시형태에 있어서의 기록 매체는, 컴퓨터 혹은 저장 시스템과 독립된 매체에 한정되지 않고, LAN이나 인터넷 등에 의해 전달된 프로그램을 다운로드하고 기억 또는 일시 기억한 기록 매체도 포함된다. 또한, 상기 각 실시형태의 처리를 실현하는 프로그램을, 인터넷 등의 네트워크에 접속된 컴퓨터(서버) 상에 저장하고, 네트워크 경유로 컴퓨터(클라이언트)에 다운로드시켜도 좋다.
또한, 기록 매체는 하나에 한정되지 않고, 복수의 매체로부터 본 실시형태에 있어서의 처리가 실행되는 경우도, 본 발명의 실시형태에 있어서의 기록 매체에 포함되고, 매체의 구성은 어떠한 구성이라도 좋다.
또, 본원 발명의 실시형태에 있어서의 컴퓨터 또는 저장 시스템은, 기록 매체에 기억된 프로그램에 기초하여, 본 실시형태에 있어서의 각 처리를 실행하기 위한 것으로, 퍼스널 컴퓨터, 마이크로 컴퓨터 등의 하나로 이루어지는 장치, 복수의 장치가 네트워크 접속된 시스템 등의 어떠한 구성이라도 좋다.
또한, 본원 발명의 실시형태에 있어서의 컴퓨터란, 퍼스널 컴퓨터에 한정되지 않고, 정보 처리 기기에 포함되는 연산 처리 장치, 마이크로 컴퓨터 등도 포함하고, 프로그램에 따라서 본 발명의 실시형태에 있어서의 기능을 실현하는 것이 가능한 기기, 장치를 총칭하고 있다.
본 발명의 몇 개의 실시형태를 설명했지만, 이러한 실시형태는, 예로서 제시한 것이고, 발명의 범위를 한정하는 것은 의도하지 않는다. 이들 신규인 실시형태는, 그 밖의 여러 가지 형태로 실시되는 것이 가능하고, 발명의 요지를 일탈하지 않는 범위에서, 여러 가지의 생략, 치환, 변경을 행할 수 있다. 이들 실시형태나 그 변형은, 발명의 범위나 요지에 포함되고, 특허청구의 범위에 기재된 발명과 그 균등의 범위에 포함된다.
100 : 화상 부호화 장치, 101 : 감산부
102 : 직교 변환부, 103 : 양자화부
104, 2502 : 역양자화부, 105, 2503 : 역직교 변환부
106, 2504, 2706 : 가산부, 107, 2505 : 참조 화상 메모리
108, 2506 : 인터 예측부, 109 : 움직임 정보 압축부
110 : 움직임 정보 메모리, 112 : 엔트로피 부호화부
113 : 출력 버퍼, 114 : 부호화 제어부
401 : 파라미터 부호화부, 402 : 변환 계수 부호화부
403 : 움직임 정보 부호화부, 404 : 다중화부
901 : 참조 움직임 벡터 취득부, 902 : 예측 움직임 벡터 선택 스위치
903 : 감산부, 904 : 차분 움직임 정보 부호화부
905 : 예측 움직임 정보 위치 부호화부, 906 : 다중화부
2500 : 동화상 복호화 장치, 2501 : 엔트로피 복호화부
2507 : 참조 움직임 정보 메모리, 2508 : 참조 움직임 정보 압축부
2510 : 복호화 제어부, 2601, 2701 : 분리부
2602 : 파라미터 복호화부, 2603 : 변환 계수 복호화부
2604 : 움직임 정보 복호화부, 2702 : 차분 움직임 정보 복호화부
2503 : 예측 움직임 정보 위치 복호화부
2704 : 참조 움직임 정보 취득부,
2705 : 예측 움직임 정보 선택 스위치.

Claims (4)

  1. 입력 화상 신호를 화소 블록으로 분할하고, 이들 분할된 화소 블록에 대하여 인터 예측을 행하는 동화상 부호화 방법에 있어서,
    상기 동화상 부호화 방법은, 부호화가 종료된 영역 내의 복수의 움직임 정보 중에서, 예측 움직임 정보의 선택 방법을 나타내는 제1 정보에 따라서 취득한 정보에 기초하여 예측 움직임 정보를 선택하고, 상기 예측 움직임 정보를 이용하여 부호화 대상 블록의 움직임 정보를 예측하며,
    상기 제1 정보는, 상기 움직임 정보를 선택하기 위한, 상기 부호화 대상 블록 내의 위치를 특정하는 제2 정보를 포함하는 것인 동화상 부호화 방법.
  2. 입력 화상 신호를 화소 블록으로 분할하고, 이들 분할된 화소 블록에 대하여 인터 예측을 행하는 동화상 부호화 장치에 있어서,
    부호화가 종료된 영역 내의 복수의 움직임 정보 중에서, 예측 움직임 정보의 선택 방법을 나타내는 제1 정보에 따라서 취득한 정보에 기초하여 예측 움직임 정보를 선택하고, 상기 예측 움직임 정보를 이용하여 부호화 대상 블록의 움직임 정보를 예측하는 예측부를 포함하고,
    상기 제1 정보는, 상기 움직임 정보를 선택하기 위한, 상기 부호화 대상 블록 내의 위치를 특정하는 제2 정보를 포함하는 것인 동화상 부호화 장치.
  3. 입력 화상 신호를 화소 블록으로 분할하고, 이들 분할된 화소 블록에 대하여 인터 예측을 행하는 동화상 복호화 방법에 있어서,
    상기 동화상 복호화 방법은, 복호화가 종료된 영역 내의 복수의 움직임 정보 중에서, 예측 움직임 정보의 선택 방법을 나타내는 제1 정보에 따라서 취득한 정보에 기초하여 예측 움직임 정보를 선택하고, 상기 예측 움직임 정보를 이용하여 복호화 대상 블록의 움직임 정보를 예측하며,
    상기 제1 정보는, 상기 움직임 정보를 선택하기 위한, 상기 복호화 대상 블록 내의 위치를 특정하는 제2 정보를 포함하는 것인 동화상 복호화 방법.
  4. 입력 화상 신호를 화소 블록으로 분할하고, 이들 분할된 화소 블록에 대하여 인터 예측을 행하는 동화상 복호화 장치에 있어서,
    복호화 종료된 영역 내의 복수의 움직임 정보 중에서, 예측 움직임 정보의 선택 방법을 나타내는 제1 정보에 따라 취득한 정보에 기초하여 예측 움직임 정보를 선택하고, 상기 예측 움직임 정보를 이용하여 복호화 대상 블록의 움직임 정보를 예측하는 예측부를 포함하고,
    상기 제1 정보는, 상기 움직임 정보를 선택하기 위한, 상기 복호화 대상 블록 내의 위치를 특정하는 제2 정보를 포함하는 것인 동화상 복호화 장치.
KR1020157004872A 2011-03-09 2011-03-09 동화상 부호화 방법 및 동화상 복호화 방법 KR101543213B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/055504 WO2012120661A1 (ja) 2011-03-09 2011-03-09 動画像符号化方法及び動画像復号化方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137020349A Division KR101543138B1 (ko) 2011-03-09 2011-03-09 동화상 부호화 방법 및 동화상 복호화 방법

Publications (2)

Publication Number Publication Date
KR20150031490A KR20150031490A (ko) 2015-03-24
KR101543213B1 true KR101543213B1 (ko) 2015-08-07

Family

ID=46797664

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020157004872A KR101543213B1 (ko) 2011-03-09 2011-03-09 동화상 부호화 방법 및 동화상 복호화 방법
KR1020137020349A KR101543138B1 (ko) 2011-03-09 2011-03-09 동화상 부호화 방법 및 동화상 복호화 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020137020349A KR101543138B1 (ko) 2011-03-09 2011-03-09 동화상 부호화 방법 및 동화상 복호화 방법

Country Status (13)

Country Link
US (9) US9900594B2 (ko)
EP (4) EP3349457A1 (ko)
JP (1) JP5563148B2 (ko)
KR (2) KR101543213B1 (ko)
CN (1) CN103339940B (ko)
AU (1) AU2011361644A1 (ko)
BR (5) BR122018003088B1 (ko)
CA (1) CA2829038C (ko)
MX (1) MX2013010112A (ko)
RU (1) RU2571538C2 (ko)
SG (1) SG192985A1 (ko)
WO (1) WO2012120661A1 (ko)
ZA (1) ZA201306523B (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR122018003088B1 (pt) 2011-03-09 2023-01-24 Kabushiki Kaisha Toshiba Método para codificação e decodificação de imagem e a realização de interpredição em um bloco de pixels divididos
JP5982734B2 (ja) 2011-03-11 2016-08-31 ソニー株式会社 画像処理装置および方法
JP2012253722A (ja) * 2011-06-07 2012-12-20 Sony Corp 画像符号化装置と画像復号装置およびその方法とプログラム
KR20130050405A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 시간 후보자 결정방법
JP5893178B2 (ja) * 2015-01-06 2016-03-23 株式会社東芝 動画像符号化方法及び動画像復号化方法
WO2016158518A1 (ja) * 2015-03-27 2016-10-06 富士フイルム株式会社 電気音響変換器
JP6914722B2 (ja) * 2017-05-11 2021-08-04 キヤノン株式会社 動画像符号化装置、動画像符号化方法及びプログラム
JP6936641B2 (ja) * 2017-07-05 2021-09-22 キヤノン株式会社 画像処理装置、画像処理方法
WO2019142667A1 (ja) * 2018-01-17 2019-07-25 ソニー株式会社 画像処理装置および方法
CN108769688B (zh) * 2018-05-24 2021-09-03 西华师范大学 视频编解码方法
WO2020009515A1 (ko) * 2018-07-05 2020-01-09 엘지전자 주식회사 Ctu 단위의 버퍼 압축을 이용한 영상 코딩 방법 및 그 장치
CN112313938B (zh) 2018-07-10 2022-06-21 奥林巴斯株式会社 摄像装置、图像校正方法以及计算机可读记录介质
US11451807B2 (en) * 2018-08-08 2022-09-20 Tencent America LLC Method and apparatus for video coding
CN118042150A (zh) 2018-09-22 2024-05-14 Lg 电子株式会社 使用间预测处理视频信号的方法和装置
RU2701058C1 (ru) * 2019-04-12 2019-09-24 Общество с ограниченной ответственностью "Научно-производственная фирма "САД-КОМ" Способ компенсации движения и устройство для его реализации
JP6871343B2 (ja) * 2019-11-28 2021-05-12 株式会社東芝 動画像符号化方法及び動画像復号化方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008278091A (ja) 2007-04-27 2008-11-13 Hitachi Ltd 動画像記録方法及びその装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263960B2 (ja) 1991-10-22 2002-03-11 ソニー株式会社 動きベクトル符号器および復号器
JPH07131792A (ja) 1993-11-01 1995-05-19 Olympus Optical Co Ltd 動画像符号化装置
KR100198986B1 (ko) 1995-03-15 1999-06-15 전주범 블록킹 현상방지용 움직임 보상장치
JP3639640B2 (ja) 1995-06-20 2005-04-20 キヤノン株式会社 動きベクトル検出装置
JP2798035B2 (ja) 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
KR100865034B1 (ko) * 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
KR100506864B1 (ko) 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
TWI249356B (en) * 2002-11-06 2006-02-11 Nokia Corp Picture buffering for prediction references and display
US7978769B2 (en) 2003-06-30 2011-07-12 Ntt Docomo, Inc. Method and apparatus for coding motion information
US20060002474A1 (en) * 2004-06-26 2006-01-05 Oscar Chi-Lim Au Efficient multi-block motion estimation for video compression
KR101182977B1 (ko) 2004-06-29 2012-09-18 소니 주식회사 움직임 예측 보상 방법 및 움직임 예측 보상 장치
US7558428B2 (en) 2004-09-13 2009-07-07 Microsoft Corporation Accelerated video encoding using a graphics processing unit
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
JP2008193410A (ja) * 2007-02-05 2008-08-21 Matsushita Electric Ind Co Ltd 画像符号化装置、録画装置、動画像符号化方法、動画像符号化プログラム
JP2008283490A (ja) * 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム
KR101712915B1 (ko) 2007-10-16 2017-03-07 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
JP2012502552A (ja) 2008-09-04 2012-01-26 トムソン ライセンシング 暗黙的な動き予測を使用した予測精緻化のための方法及び装置
CN102301720A (zh) 2009-01-29 2011-12-28 松下电器产业株式会社 图像编码方法以及图像解码方法
KR101452859B1 (ko) 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
CN101917627B (zh) * 2010-08-20 2012-01-25 浙江大学 一种基于自适应灵活宏块次序的视频容错编码方法
US8736767B2 (en) * 2010-09-29 2014-05-27 Sharp Laboratories Of America, Inc. Efficient motion vector field estimation
US9560352B2 (en) * 2011-01-28 2017-01-31 Sun Patent Trust Image coding method and image decoding method
KR101961889B1 (ko) * 2011-02-09 2019-03-25 엘지전자 주식회사 움직임 정보 저장 방법 및 이를 이용한 시간적 움직임 벡터 예측자 유도 방법
JP2012186760A (ja) 2011-03-08 2012-09-27 Jvc Kenwood Corp 動画像復号化装置、動画像復号化方法及び動画像復号化プログラム
JP2012186759A (ja) * 2011-03-08 2012-09-27 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP5807588B2 (ja) * 2011-03-08 2015-11-10 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに、送信装置、送信方法及び送信プログラム
BR122018003088B1 (pt) 2011-03-09 2023-01-24 Kabushiki Kaisha Toshiba Método para codificação e decodificação de imagem e a realização de interpredição em um bloco de pixels divididos
GB2488815C (en) * 2011-03-09 2018-03-28 Canon Kk Video decoding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008278091A (ja) 2007-04-27 2008-11-13 Hitachi Ltd 動画像記録方法及びその装置

Also Published As

Publication number Publication date
WO2012120661A1 (ja) 2012-09-13
US20210385480A1 (en) 2021-12-09
BR122020020897B1 (pt) 2023-01-24
MX2013010112A (es) 2013-10-07
US11290738B2 (en) 2022-03-29
RU2571538C2 (ru) 2015-12-20
US9900594B2 (en) 2018-02-20
EP4254956A3 (en) 2023-12-20
CA2829038A1 (en) 2012-09-13
BR122018003088B1 (pt) 2023-01-24
US11303917B2 (en) 2022-04-12
EP4254956A2 (en) 2023-10-04
BR122018003088A2 (pt) 2020-08-25
US20180131956A1 (en) 2018-05-10
AU2011361644A1 (en) 2013-09-19
US11323735B2 (en) 2022-05-03
ZA201306523B (en) 2014-05-28
US20230232033A1 (en) 2023-07-20
US10511851B2 (en) 2019-12-17
KR101543138B1 (ko) 2015-08-07
KR20130122652A (ko) 2013-11-07
BR112013022646A2 (pt) 2020-06-02
EP3349457A1 (en) 2018-07-18
CA2829038C (en) 2020-04-07
SG192985A1 (en) 2013-09-30
US20210014517A1 (en) 2021-01-14
RU2013140677A (ru) 2015-04-20
EP2685717A1 (en) 2014-01-15
US20210014518A1 (en) 2021-01-14
US20210014519A1 (en) 2021-01-14
US20200059656A1 (en) 2020-02-20
BR122020020892B1 (pt) 2023-01-24
US20210021851A1 (en) 2021-01-21
BR122020020797B1 (pt) 2023-01-24
CN103339940B (zh) 2016-08-10
JPWO2012120661A1 (ja) 2014-07-07
KR20150031490A (ko) 2015-03-24
EP3681160A1 (en) 2020-07-15
US10841606B2 (en) 2020-11-17
BR112013022646B1 (pt) 2022-09-13
US11303918B2 (en) 2022-04-12
EP2685717A4 (en) 2014-08-27
CN103339940A (zh) 2013-10-02
US11647219B2 (en) 2023-05-09
JP5563148B2 (ja) 2014-07-30
US20140010309A1 (en) 2014-01-09

Similar Documents

Publication Publication Date Title
KR101543213B1 (ko) 동화상 부호화 방법 및 동화상 복호화 방법
JP6503014B2 (ja) 動画像符号化方法及び動画像復号化方法
JP6871447B2 (ja) 動画像符号化方法及び動画像復号化方法
JP6871343B2 (ja) 動画像符号化方法及び動画像復号化方法
JP6871442B2 (ja) 動画像符号化方法及び動画像復号化方法
JP6510084B2 (ja) 動画像復号化方法及び電子装置
JP2016106494A (ja) 動画像符号化方法及び動画像復号化方法
JP5680778B2 (ja) 動画像符号化方法及び動画像復号化方法
JP5893178B2 (ja) 動画像符号化方法及び動画像復号化方法
RU2615677C1 (ru) Способ кодирования изображений и способ декодирования изображений
CN105933709B (zh) 运动图像编码方法、装置以及运动图像解码方法、装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180302

Year of fee payment: 4