KR101858289B1 - 화상 복호 장치 및 화상 복호 방법 - Google Patents

화상 복호 장치 및 화상 복호 방법 Download PDF

Info

Publication number
KR101858289B1
KR101858289B1 KR1020137018559A KR20137018559A KR101858289B1 KR 101858289 B1 KR101858289 B1 KR 101858289B1 KR 1020137018559 A KR1020137018559 A KR 1020137018559A KR 20137018559 A KR20137018559 A KR 20137018559A KR 101858289 B1 KR101858289 B1 KR 101858289B1
Authority
KR
South Korea
Prior art keywords
quantization parameter
unit
block
information
decoded
Prior art date
Application number
KR1020137018559A
Other languages
English (en)
Other versions
KR20140029381A (ko
Inventor
겐지 곤도
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20140029381A publication Critical patent/KR20140029381A/ko
Application granted granted Critical
Publication of KR101858289B1 publication Critical patent/KR101858289B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/008—Vector quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

가역 복호부(52)는 복호 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 복호 완료 블록의 양자화 파라미터를 선택 후보로 하여, 이 선택 후보로부터 선택된 예측 양자화 파라미터에 대한 차분을 나타내는 차분 정보를 스트림 정보로부터 취출한다. 양자화 파라미터 산출부(59)는 예측 양자화 파라미터와 차분 정보로부터, 복호 대상 블록의 양자화 파라미터를 산출한다. 이와 같이 하여, 화상 부호화 시에 이용된 양자화 파라미터와 동일한 양자화 파라미터를 산출함으로써 화상의 복호를 정확하게 행할 수 있다.

Description

화상 복호 장치 및 화상 복호 방법{IMAGE DECODING APPARATUS AND IMAGE DECODING METHOD}
이 기술은, 화상 복호 장치와 화상 부호화 장치 및 그 방법에 관한 것이다. 상세하게는, 양자화 파라미터의 부호화 효율을 향상시킨다.
최근 들어, 화상 정보를 디지털로서 취급하고, 그 때, 효율이 높은 정보의 전송, 축적을 행하는 장치, 예를 들어 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축하는 MPEG 등의 방식에 준거한 장치가, 방송국이나 일반 가정에서 보급되고 있다.
특히, MPEG2(ISO/IEC13818-2)는 범용 화상 부호화 방식으로서 정의되고 있으며, 프로페셔널 용도 및 컨슈머 용도의 광범위한 어플리케이션으로 현재 널리 이용되고 있다. MPEG2 압축 방식을 이용함으로써, 예를 들어 720×480화소를 갖는 표준 해상도의 비월 주사 화상이면 4 내지 8Mbps의 부호량(비트 레이트)을 할당함으로써 높은 압축률과 양호한 화질의 실현이 가능하다. 또한, 1920×1088화소를 갖는 고해상도의 비월 주사 화상이면 18 내지 22Mbps의 부호량을 할당함으로써 높은 압축률과 양호한 화질의 실현이 가능하다.
또한, MPEG2나 MPEG4와 같은 종래의 부호화 방식에 비해, 그 부호화, 복호에 보다 많은 연산량이 요구되지만, 보다 높은 부호화 효율을 실현하는 표준화가 Joint Model of Enhanced-Compression Video Coding으로서 행해져서, H.264 및 MPEG-4 Part10(이하「H.264/AVC(Advanced Video Coding)」이라고 기재함)이라고 하는 이름 하에 국제 표준으로 되었다.
이 MPEG이나 H.264/AVC에서는, 매크로 블록을 양자화할 때에 양자화 스텝의 크기를 바꿔서, 압축률을 일정하게 하는 것이 가능하게 되어 있다. 또한, MPEG에서는, 양자화 스텝에 비례한 양자화 파라미터가 이용되고 있으며, H.264/AVC에서는 양자화 스텝이 2배로 될 때, 파라미터값이 「6」 증가하는 양자화 파라미터가 이용되고 있다. MPEG이나 H.264/AVC에서는, 양자화 파라미터를 부호화하는 일이 행해지고 있다(특허문헌 1 참조).
일본 특허 공개 제2006-094081호 공보
그런데, 양자화 파라미터의 부호화 처리에서는, 예를 들어 디코드 순서가 도 1에 도시한 바와 같이 래스터 주사일 때, 슬라이스의 선두의 매크로 블록에서 초기값의 양자화 파라미터 SliceQPY가 이용된다. 그 후, 화살표가 나타내는 디코드 순서로 처리되고, 좌측에 위치하는 매크로 블록과의 양자화 파라미터의 차분값(mb_qp_delta)에 의해, 상기 매크로 블록의 양자화 파라미터가 갱신된다. 따라서, 디코드순이 우단의 블록으로부터 좌단의 블록으로 이동했을 때, 화상이 서로 다르기 때문에 차분값이 커져서 부호화 효율이 악화되는 경우가 있다. 또한, 좌측에 위치하는 매크로 블록과의 차분값이 큰 경우에도 부호화 효율이 악화된다.
또한, 화상 압축 기술에서는, H.264/AVC 방식보다도 더 높은 부호화 효율을 실현하는 HEVC(High Efficiency Video Coding)의 규격화도 검토되고 있다. 이 HEVC에서는, 매크로 블록의 개념을 확장한 코딩 유닛(CU: Coding Unit)이라 불리는 기본 단위가 정의되어 있다. 도 2에 도시한 각 블록이 코딩 유닛인 경우, 디코드 순서는 숫자가 「0」으로부터 순차 증가하는 블록의 순서로 된다. 이와 같이 디코드 순서가 래스터 주사가 아닌 경우, 예를 들어 블록 「7」에서 블록 「8」, 블록 「15」에서 블록 「16」과 같이 이동하면, 공간적인 거리가 멀어지기 때문에 차분값이 커진다고 생각된다.
따라서, 본 기술에서는, 양자화 파라미터의 부호화 효율을 향상시키는 것을 목적으로 한다.
이 기술의 제1 측면은, 복호 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 복호 완료 블록의 양자화 파라미터를 선택 후보로 하여, 이 선택 후보로부터 선택된 예측 양자화 파라미터에 대한 차분을 나타내는 차분 정보를 스트림 정보로부터 취출하는 정보 취득부와, 상기 예측 양자화 파라미터와 상기 차분 정보로부터, 상기 복호 대상 블록의 양자화 파라미터를 산출하는 양자화 파라미터 산출부를 갖는 화상 복호 장치에 있다.
이 기술에서는, 복호 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 복호 완료 블록의 양자화 파라미터인 선택 후보로부터 선택된 예측 양자화 파라미터에 대한 차분을 나타내는 차분 정보가 스트림 정보로부터 취출된다. 또한, 화상 복호 장치에서는, 복호 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 복호 완료 블록의 양자화 파라미터로부터, 적어도 양자화 파라미터가 중복되는 블록 또는 양자화 파라미터를 이용한 양자화가 행해지지 않는 블록이 제외되어 선택 후보로 된다. 예측 양자화 파라미터의 설정은, 예를 들어 인접하는 복호 완료 블록을 소정의 배열 순서로 하여, 스트림 정보에 포함되어 있는 식별 정보로 나타낸 순서의 양자화 파라미터가 예측 양자화 파라미터로서 선택된다. 또는, 미리 설정된 순서로 선택 후보의 판정을 행하고, 판정 결과에 기초하여 예측 양자화 파라미터가 설정된다. 또는, 스트림 정보에 포함되어 있는 식별 정보로 나타낸 순서의 양자화 파라미터를 예측 양자화 파라미터로 설정하는 처리와, 미리 설정된 순서로 선택 후보의 판정을 행하고 판정 결과에 기초하여 예측 양자화 파라미터를 설정하는 처리 중 어느 하나가, 스트림 정보에 포함되어 있는 판별 정보에 기초하여 선택된다. 또한, 화상 복호 장치에서는, 예측 양자화 파라미터와 차분 정보가 나타내는 차분을 가산하여 복호 대상 블록의 양자화 파라미터가 산출된다. 또한, 선택 후보가 없는 경우, 슬라이스에서의 초기값의 양자화 파라미터가 선택된 양자화 파라미터로서 이용된다. 또한, 선택 후보로 마지막으로 갱신된 양자화 파라미터를 포함하는 것도 행해진다.
이 기술의 제2 측면은, 복호 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 복호 완료 블록의 양자화 파라미터를 선택 후보로 하여, 이 선택 후보로부터 선택된 예측 양자화 파라미터에 대한 차분을 나타내는 차분 정보를 스트림 정보로부터 취출하는 공정과, 상기 예측 양자화 파라미터와 상기 차분 정보로부터, 상기 복호 대상 블록의 양자화 파라미터를 산출하는 공정을 포함하는 화상 복호 방법에 있다.
이 기술의 제3 측면은, 부호화 대상 블록에 대하여 양자화 파라미터를 설정하는 제어부와, 상기 부호화 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 부호화 완료 블록의 양자화 파라미터를 선택 후보로 하여, 이 선택 후보로부터 상기 설정된 양자화 파라미터에 따라서 예측 양자화 파라미터를 선택하고, 이 예측 양자화 파라미터와 상기 설정된 양자화 파라미터의 차분을 나타내는 차분 정보를 생성하는 정보 생성부와, 상기 설정된 양자화 파라미터를 이용하여 상기 부호화 대상 블록의 부호화 처리를 행하여 생성된 스트림 정보에, 상기 차분 정보를 포함하는 부호화부를 갖는 화상 부호화 장치에 있다.
이 기술에서는, 부호화 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 부호화 완료 블록의 양자화 파라미터로부터, 적어도 양자화 파라미터가 중복되는 블록 또는 양자화 파라미터를 이용한 양자화가 행해지지 않는 블록이 제외되어 선택 후보로 된다. 또한, 선택 후보에는 마지막으로 갱신된 양자화 파라미터 등도 포함된다. 이 선택 후보로부터 설정된 양자화 파라미터와의 차분이 가장 작은 양자화 파라미터가 예측 양자화 파라미터로서 선택되고, 선택 후보로부터 예측 양자화 파라미터를 선택하기 위한 식별 정보가 생성된다. 예를 들어, 인접하는 부호화 완료 블록을 소정의 배열 순서로 하여, 선택한 양자화 파라미터에 대응하는 블록의 순서가 식별 정보로 된다. 또한, 소정의 배열 순서에서는, 좌측에 인접하는 부호화 완료 블록과, 상측에 인접하는 부호화 완료 블록과, 시간적으로 인접하는 부호화 완료 블록 중 어느 하나를 우선시킨 어느 하나의 배열 순서로 된다. 또한 배열 순서는 전환 가능해진다. 또, 시간적으로 인접하는 부호화 완료 블록의 양자화 파라미터를 파라미터값에 따라서 재배열하여, 선택한 양자화 파라미터의 순서를 식별 정보로 하여도 된다. 또한, 미리 설정된 순서로 선택 후보의 판정을 행하고, 판정 결과에 기초하여 예측 양자화 파라미터를 선택하는 것도 가능해진다. 또, 화상 부호화 장치에서는, 예측 양자화 파라미터와 설정된 양자화 파라미터의 차분을 나타내는 차분 정보가 생성된다. 또한 선택 후보가 없는 경우, 슬라이스에서의 초기값의 양자화 파라미터와 설정된 양자화 파라미터의 차분을 나타내는 차분 정보가 생성된다. 또한, 설정된 양자화 파라미터와의 차분이 가장 작은 양자화 파라미터를 예측 양자화 파라미터로 설정하는 처리와, 미리 설정된 순서로 선택 후보의 판정을 행하고 판정 결과에 기초하여 예측 양자화 파라미터를 설정하는 처리를 선택 가능하게 하여, 선택한 처리를 나타내는 판별 정보가 생성된다. 생성된 차분 정보나 식별 정보, 판별 정보는, 설정된 양자화 파라미터를 이용하여 부호화 대상 블록의 부호화 처리를 행하여 생성된 스트림 정보에 포함된다.
이 기술의 제4 측면은, 부호화 대상 블록에 대하여 양자화 파라미터를 설정하는 공정과, 상기 부호화 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 부호화 완료 블록의 양자화 파라미터를 선택 후보로 하여, 이 선택 후보로부터 상기 설정된 양자화 파라미터에 따라서 예측 양자화 파라미터를 선택하고, 이 예측 양자화 파라미터와 상기 설정된 양자화 파라미터의 차분을 나타내는 차분 정보를 생성하는 공정과, 상기 설정된 양자화 파라미터를 이용하여 상기 부호화 대상 블록의 부호화 처리를 행하여 생성된 스트림 정보에, 상기 차분 정보를 포함하는 공정을 포함하는 화상 부호화 방법에 있다.
이 기술에 의하면, 부호화 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 부호화 완료 블록의 양자화 파라미터가 선택 후보로 되고, 선택 후보로부터 부호화 대상 블록에 대하여 설정된 양자화 파라미터에 따라서 예측 양자화 파라미터가 선택된다. 이 예측 양자화 파라미터와 부호화 대상 블록에 대하여 설정된 양자화 파라미터의 차분을 나타내는 차분 정보가 생성된다. 따라서, 양자화 파라미터의 차분이 큰 값으로 되는 것을 방지하는 것이 가능해져서, 양자화 파라미터의 부호화 효율을 향상시킬 수 있다.
또한, 차분 정보가 포함되는 스트림 정보를 복호하는 경우, 복호 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 복호 완료 블록의 양자화 파라미터로부터 예측 양자화 파라미터가 선택되고, 예측 양자화 파라미터와 차분 정보로부터 복호 대상 블록의 양자화 파라미터가 산출된다. 따라서, 양자화 파라미터의 부호화 효율을 향상시켜 스트림 정보가 생성되어도, 이 스트림 정보를 복호하는 경우에는 예측 양자화 파라미터와 차분 정보에 기초하여 양자화 파라미터가 복원되어 정확하게 복호 처리를 행할 수 있다.
도 1은 디코드 순서가 래스터 주사인 경우를 나타낸 도면이다.
도 2는 디코드 순서가 래스터 주사가 아닌 경우를 예시한 도면이다.
도 3은 화상 부호화 장치의 구성을 나타낸 도면이다.
도 4는 정보 생성부의 구성을 나타낸 도면이다.
도 5는 코딩 유닛의 계층 구조를 예시한 도면이다.
도 6은 화상 부호화 장치의 동작을 나타낸 흐름도이다.
도 7은 예측 처리를 나타낸 흐름도이다.
도 8은 인트라 예측 처리를 나타낸 흐름도이다.
도 9는 인터 예측 처리를 나타낸 흐름도이다.
도 10은 정보 생성부의 동작을 설명하기 위한 도면이다.
도 11은 정보 생성부의 동작예를 나타낸 도면이다.
도 12는 부호화에서의 양자화 파라미터에 대한 처리를 나타낸 흐름도이다.
도 13은 시퀀스 파라미터 세트를 예시한 도면이다.
도 14는 프레임 부호화 처리를 나타낸 흐름도이다.
도 15는 픽처 파라미터 세트를 예시한 도면이다.
도 16은 슬라이스 헤더를 예시한 도면이다.
도 17은 슬라이스 부호화 처리를 나타낸 흐름도이다.
도 18은 화상 복호 장치의 구성을 나타낸 도면이다.
도 19는 양자화 파라미터 산출부의 구성을 나타낸 도면이다.
도 20은 화상 복호 장치의 동작을 나타낸 흐름도이다.
도 21은 예측 화상 생성 처리를 나타낸 흐름도이다.
도 22는 복호에서의 양자화 파라미터에 대한 처리를 나타낸 흐름도이다.
도 23은 화상 부호화 장치의 다른 동작을 설명하기 위한 흐름도이다.
도 24는 암묵적으로 양자화 파라미터를 예측하는 경우의 동작예를 나타낸 도면이다.
도 25는 암묵적으로 양자화 파라미터를 예측하는 경우의 흐름도예이다.
도 26은 암묵적으로 양자화 파라미터를 예측하는 경우의 다른 동작예를 나타낸 도면이다.
도 27은 프로그램을 예시한 도면이다.
도 28은 화상 복호 장치의 다른 동작을 설명하기 위한 흐름도이다.
도 29는 컴퓨터 장치의 개략 구성을 예시한 도면이다.
도 30은 텔레비전 장치의 개략 구성을 예시한 도면이다.
도 31은 휴대 전화기의 개략 구성을 예시한 도면이다.
도 32는 기록 재생 장치의 개략 구성을 예시한 도면이다.
도 33은 촬상 장치의 개략 구성을 예시한 도면이다.
이하, 본 기술을 실시하기 위한 형태에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 화상 부호화 장치의 구성
2. 화상 부호화 장치의 동작
3. 양자화 파라미터에 기초한 식별 정보와 차분 정보의 생성 동작
4. 화상 복호 장치의 구성
5. 화상 복호 장치의 동작
6. 화상 부호화 장치와 화상 복호 장치의 다른 동작
7. 소프트웨어 처리의 경우
8. 전자 기기에 적용한 경우
<1. 화상 부호화 장치의 구성>
도 3은, 화상 부호화 장치의 구성을 나타내고 있다. 화상 부호화 장치(10)는 아날로그/디지털 변환부(11: A/D 변환부), 화면 재배열 버퍼(12), 감산부(13), 직교 변환부(14), 양자화부(15), 가역 부호화부(16), 축적 버퍼(17), 레이트 제어부(18)를 구비하고 있다. 또한, 화상 부호화 장치(10)는 역양자화부(21), 역직교 변환부(22), 가산부(23), 디블로킹 필터(24), 프레임 메모리(26), 인트라 예측부(31), 움직임 예측·보상부(32), 예측 화상·최적 모드 선택부(33)를 구비하고 있다.
A/D 변환부(11)는 아날로그의 화상 신호를 디지털 화상 데이터로 변환하여 화면 재배열 버퍼(12)로 출력한다.
화면 재배열 버퍼(12)는 A/D 변환부(11)로부터 출력된 화상 데이터에 대하여 프레임의 재배열을 행한다. 화면 재배열 버퍼(12)는 부호화 처리에 관한 GOP(Group of Pictures) 구조에 따라서 프레임의 재배열을 행하고, 재배열 후의 화상 데이터를 감산부(13)와 레이트 제어부(18) 및 인트라 예측부(31)와 움직임 예측·보상부(32)로 출력한다.
감산부(13)에는, 화면 재배열 버퍼(12)로부터 출력된 화상 데이터와, 후술하는 예측 화상·최적 모드 선택부(33)에서 선택된 예측 화상 데이터가 공급된다. 감산부(13)는 화면 재배열 버퍼(12)로부터 출력된 화상 데이터와 예측 화상·최적 모드 선택부(33)로부터 공급된 예측 화상 데이터의 차분인 예측 오차 데이터를 산출하여, 직교 변환부(14)로 출력한다.
직교 변환부(14)는 감산부(13)로부터 출력된 예측 오차 데이터에 대하여 이산 코사인 변환(DCT; Discrete Cosine Transform), 카루넨 루베 변환 등의 직교 변환 처리를 행한다. 직교 변환부(14)는 직교 변환 처리를 행함으로써 얻어진 변환 계수 데이터를 양자화부(15)로 출력한다.
양자화부(15)에는, 직교 변환부(14)로부터 출력된 변환 계수 데이터와, 후술하는 정보 생성부(19)로부터 양자화 파라미터(양자화 스케일)가 공급되어 있다. 양자화부(15)는 변환 계수 데이터의 양자화를 행하고, 양자화 데이터를 가역 부호화부(16)와 역양자화부(21)로 출력한다. 또한, 양자화부(15)는 레이트 제어부(18)에서 설정된 양자화 파라미터에 따라서 양자화 데이터의 비트 레이트를 변화시킨다.
가역 부호화부(16)에는, 양자화부(15)로부터 양자화 데이터, 후술하는 정보 생성부(19)로부터 식별 정보와 차분 정보, 인트라 예측부(31)로부터 예측 모드 정보나 움직임 예측·보상부(32)로부터 예측 모드 정보와 차분 움직임 벡터 등이 공급된다. 또한, 예측 화상·최적 모드 선택부(33)로부터 최적 모드가 인트라 예측인지 인터 예측인지를 나타내는 정보가 공급된다. 또한, 예측 모드 정보에는, 인트라 예측 또는 인터 예측에 따라서, 예측 모드나 움직임 예측 유닛의 블록 사이즈 정보 등이 포함된다.
가역 부호화부(16)는 양자화 데이터에 대하여 예를 들어 가변 길이 부호화 또는 산술 부호화 등에 의해 가역 부호화 처리를 행하고, 스트림 정보를 생성하여 축적 버퍼(17)로 출력한다. 또한, 가역 부호화부(16)는 최적 모드가 인트라 예측인 경우, 인트라 예측부(31)로부터 공급된 예측 모드 정보의 가역 부호화를 행한다. 또한, 가역 부호화부(16)는 최적 모드가 인터 예측인 경우, 움직임 예측·보상부(32)로부터 공급된 예측 모드 정보나 차분 움직임 벡터 등의 가역 부호화를 행한다. 또, 가역 부호화부(16)는 양자화 파라미터에 관한 정보 예를 들어 차분 정보 등의 가역 부호화를 행한다. 가역 부호화부(16)는 가역 부호화 후의 정보를 스트림 정보에 포함시킨다.
축적 버퍼(17)는 가역 부호화부(16)로부터의 스트림 정보를 축적한다. 또한, 축적 버퍼(17)는 축적한 스트림 정보를 전송로에 따른 전송 속도로 출력한다.
레이트 제어부(18)는 축적 버퍼(17)의 빈 용량의 감시를 행하여, 빈 용량이 적어진 경우에는 양자화 데이터의 비트 레이트가 저하하고, 빈 용량이 충분히 큰 경우에는 양자화 데이터의 비트 레이트가 높아지도록 양자화 파라미터를 설정한다. 또한, 레이트 제어부(18)는 화면 재배열 버퍼로부터 공급된 화상 데이터를 이용하여 화상의 복잡도, 예를 들어 화소값의 분산을 나타내는 정보인 액티비티를 검출한다. 레이트 제어부(18)는 화상의 복잡도의 검출 결과에 기초하여, 예를 들어 화소의 분산값이 낮은 화상 부분은 대략적인 양자화이고, 그렇지 않은 부분은 세밀한 양자화가 되도록 양자화 파라미터를 설정한다. 레이트 제어부(18)는 설정한 양자화 파라미터를, 정보 생성부(19)로 출력한다.
정보 생성부(19)는 레이트 제어부(18)로부터 공급된 양자화 파라미터를 양자화부(15)로 출력한다. 또한, 정보 생성부(19)는 부호화 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 부호화 완료 블록의 양자화 파라미터를 선택 후보로 한다. 정보 생성부(19)는 레이트 제어부(18)에서 설정된 양자화 파라미터에 따라서 선택 후보로부터 양자화 파라미터를 선택하여 예측 양자화 파라미터로 한다. 또, 정보 생성부(19)는 선택한 양자화 파라미터에 대응하는 식별 정보, 즉 선택 후보로부터 예측 양자화 파라미터를 선택하기 위한 식별 정보와, 예측 양자화 파라미터와 설정된 양자화 파라미터의 차분을 나타내는 차분 정보를 생성한다.
도 4는, 정보 생성부의 구성을 나타내고 있다. 정보 생성부(19)는 양자화 파라미터 메모리부(191)와 차분 연산부(192)를 갖는다. 정보 생성부(19)는 레이트 제어부(18)로부터 공급된 양자화 파라미터를 양자화부(15)로 출력한다. 또한, 정보 생성부(19)는 레이트 제어부(18)로부터 공급된 양자화 파라미터를 양자화 파라미터 메모리부(191)와 차분 연산부(192)에 공급한다.
양자화 파라미터 메모리부(191)는 공급된 양자화 파라미터를 기억한다. 차분 연산부(192)는 양자화 파라미터 메모리부(191)에 기억되어 있는 부호화 완료 블록의 양자화 파라미터로부터, 부호화 대상 블록에 대하여 공간적 또는 시간적으로 주위의 부호화 완료인 블록의 양자화 파라미터를 선택 후보로서 판독한다. 또한, 적어도 양자화 파라미터가 중복된 블록 또는 양자화 파라미터를 이용한 양자화가 행해지지 않는 블록, 예를 들어 양자화부(15)에서 양자화하는 변환 계수 데이터가 모두 「0」인 블록을 선택 후보로부터 제외한다. 또한, 차분 연산부(192)는 후술하는 움직임 예측·보상부(32)와 예측 화상·최적 모드 선택부(33)로부터의 정보에 기초하여 스킵 처리를 행한다고 판별한 블록(이하 「스킵 블록」이라고 함)을 선택 후보로부터 제외한다.
차분 연산부(192)는 부호화 대상 블록의 양자화 파라미터, 즉 레이트 제어부(18)로부터 공급된 양자화 파라미터에 따라서, 선택 후보로부터 양자화 파라미터를 선택하여 예측 양자화 파라미터로 한다. 또한, 차분 연산부(192)는 선택 후보로부터 예측 양자화 파라미터를 선택하기 위한 식별 정보와, 예측 양자화 파라미터와 부호화 대상 블록의 양자화 파라미터의 차분을 나타내는 차분 정보를 생성하여 가역 부호화부(16)로 출력한다.
도 3으로 되돌아가서, 역양자화부(21)는 양자화부(15)로부터 공급된 양자화 데이터의 역양자화 처리를 행한다. 역양자화부(21)는 역양자화 처리를 행함으로써 얻어진 변환 계수 데이터를 역직교 변환부(22)로 출력한다.
역직교 변환부(22)는 역양자화부(21)로부터 공급된 변환 계수 데이터의 역직교 변환 처리를 행하고, 얻어진 데이터를 가산부(23)로 출력한다.
가산부(23)는 역직교 변환부(22)로부터 공급된 데이터와 예측 화상·최적 모드 선택부(33)로부터 공급된 예측 화상 데이터를 가산하여 복호 화상 데이터를 생성하여, 디블로킹 필터(24)와 인트라 예측부(31)로 출력한다. 또한, 복호 화상 데이터는 참조 화상의 화상 데이터로서 이용된다.
디블로킹 필터(24)는, 화상의 부호화 시에 발생하는 블록 왜곡을 감소시키기 위한 필터 처리를 행한다. 디블로킹 필터(24)는, 가산부(23)로부터 공급된 복호 화상 데이터로부터 블록 왜곡을 제거하는 필터 처리를 행하고, 필터 처리 후의 복호 화상 데이터를 프레임 메모리(26)로 출력한다.
프레임 메모리(26)는 디블로킹 필터(24)로부터 공급된 필터 처리 후의 복호 화상 데이터를 유지한다. 프레임 메모리(26)에 유지된 복호 화상 데이터는, 움직임 예측·보상부(32)에 참조 화상 데이터로서 공급된다.
인트라 예측부(31)는 화면 재배열 버퍼(12)로부터 공급된 부호화 대상 화상의 입력 화상 데이터와 가산부(23)로부터 공급된 참조 화상 데이터를 이용하여, 후보가 되는 모든 인트라 예측 모드에서 예측을 행하고, 최적 인트라 예측 모드를 결정한다. 인트라 예측부(31)는 예를 들어 각 인트라 예측 모드에서 비용 함수값을 산출하여, 산출한 비용 함수값에 기초하여 부호화 효율이 가장 좋아지는 인트라 예측 모드를 최적 인트라 예측 모드로 한다. 인트라 예측부(31)는 최적 인트라 예측 모드에서 생성된 예측 화상 데이터와 최적 인트라 예측 모드에서의 비용 함수값을 예측 화상·최적 모드 선택부(33)로 출력한다. 또한, 인트라 예측부(31)는 최적 인트라 예측 모드를 나타내는 예측 모드 정보를 가역 부호화부(16)로 출력한다.
움직임 예측·보상부(32)는 화면 재배열 버퍼(12)로부터 공급된 부호화 대상 화상의 입력 화상 데이터와 프레임 메모리(26)로부터 공급된 참조 화상 데이터를 이용하여, 후보가 되는 모든 인터 예측 모드에서 예측을 행하고, 최적 인터 예측 모드를 결정한다. 움직임 예측·보상부(32)는 예를 들어 각 인터 예측 모드에서 비용 함수값을 산출하여, 산출된 비용 함수값에 기초하여 부호화 효율이 가장 좋아지는 인터 예측 모드를 최적 인터 예측 모드로 한다. 움직임 예측·보상부(32)는 최적 인터 예측 모드에서 생성된 예측 화상 데이터와 최적 인터 예측 모드에서의 비용 함수값을 예측 화상·최적 모드 선택부(33)로 출력한다. 또한, 움직임 예측·보상부(32)는 최적 인터 예측 모드에 관한 예측 모드 정보를 가역 부호화부(16)와 정보 생성부(19)로 출력한다.
예측 화상·최적 모드 선택부(33)는 인트라 예측부(31)로부터 공급된 비용 함수값과 움직임 예측·보상부(32)로부터 공급된 비용 함수값을 비교하여, 비용 함수값이 적은 쪽을, 부호화 효율이 가장 좋아지는 최적 모드로서 선택한다. 또한, 예측 화상·최적 모드 선택부(33)는 최적 모드에서 생성한 예측 화상 데이터를 감산부(13)와 가산부(23)로 출력한다. 또, 예측 화상·최적 모드 선택부(33)는 최적 모드가 인트라 예측 모드인지 인터 예측 모드인지를 나타내는 정보를 가역 부호화부(16)와 정보 생성부(19)로 출력한다. 또한, 예측 화상·최적 모드 선택부(33)는 슬라이스 단위로 인트라 예측 또는 인터 예측의 전환을 행한다.
<2. 화상 부호화 장치의 동작>
화상 부호화 장치에서는, 예를 들어 H.264/AVC 방식보다도 매크로 블록의 크기를 확장하여 부호화 처리를 행한다. 도 5는 코딩 유닛의 계층 구조를 예시하고 있다. 또한, 도 5에서는, 최대 크기가 128화소×128화소, 계층의 깊이(Depth)가 「5」인 경우를 나타내고 있다. 예를 들어, 계층의 깊이가 「0」인 경우, 2N×2N (N=64화소)의 블록이 코딩 유닛 CU0으로 된다. 또한, split flag=1이라 하면, 코딩 유닛 CU0은 4개의 독립된 N×N의 블록으로 분할되고, N×N의 블록이 하나 아래의 계층인 블록으로 된다. 즉, 계층의 깊이가 「1」로 되고, 2N×2N(N=32화소)의 블록이 코딩 유닛 CU1로 된다. 마찬가지로, split flag=1로 되면, 4개의 독립된 블록으로 분할된다. 또한, 가장 깊은 계층인 깊이 「4」의 경우, 2N×2N(N=4화소)의 블록이 코딩 유닛 CU4로 되고, 8화소×8화소가 코딩 유닛 CU의 최소 크기로 된다. 또한, HEVC에서는, 코딩 유닛을 분할하여 예측용 기본 단위인 예측 유닛(PU: Prediction Unit)이나, 변환이나 양자화를 위한 기본 단위인 트랜스폼 유닛(TU: Transform Unit)이 정의되어 있다.
이어서, 화상 부호화 장치의 동작에 대하여, 도 6에 나타낸 흐름도를 이용하여 설명한다. 스텝 ST11에서, A/D 변환부(11)는 입력된 화상 신호를 A/D 변환한다.
스텝 ST12에서 화면 재배열 버퍼(12)는 화상 재배열을 행한다. 화면 재배열 버퍼(12)는 A/D 변환부(11)로부터 공급된 화상 데이터를 기억하고, 각 픽처의 표시하는 순서로부터 부호화하는 순서로의 재배열을 행한다.
스텝 ST13에서 감산부(13)는 예측 오차 데이터의 생성을 행한다. 감산부(13)는 스텝 ST12에서 재배열된 화상의 화상 데이터와 예측 화상·최적 모드 선택부(33)에서 선택된 예측 화상 데이터의 차분을 산출하여 예측 오차 데이터를 생성한다. 예측 오차 데이터는, 원래의 화상 데이터에 비하여 데이터량이 작다. 따라서, 화상을 그대로 부호화하는 경우에 비하여, 데이터량을 압축할 수 있다.
스텝 ST14에서 직교 변환부(14)는 직교 변환 처리를 행한다. 직교 변환부(14)는 감산부(13)로부터 공급된 예측 오차 데이터를 직교 변환한다. 구체적으로는, 예측 오차 데이터에 대하여 이산 코사인 변환, 카루넨 루베 변환 등의 직교 변환이 행해지고, 변환 계수 데이터를 출력한다.
스텝 ST15에서 양자화부(15)는 양자화 처리를 행한다. 양자화부(15)는 변환 계수 데이터를 양자화한다. 양자화 시에는, 후술하는 스텝 ST25의 처리에서 설명 되는 바와 같이, 레이트 제어가 행해진다.
스텝 ST16에서 역양자화부(21)는 역양자화 처리를 행한다. 역양자화부(21)는 양자화부(15)에 의해 양자화된 변환 계수 데이터를 양자화부(15)의 특성에 대응하는 특성으로 역양자화한다.
스텝 ST17에서 역직교 변환부(22)는 역직교 변환 처리를 행한다. 역직교 변환부(22)는 역양자화부(21)에 의해 역양자화된 변환 계수 데이터를 직교 변환부(14)의 특성에 대응하는 특성으로 역직교 변환한다.
스텝 ST18에서 가산부(23)는 참조 화상 데이터의 생성을 행한다. 가산부(23)는 예측 화상·최적 모드 선택부(33)로부터 공급된 예측 화상 데이터와, 이 예측 화상과 대응하는 위치의 역직교 변환 후의 데이터를 가산하여, 복호 데이터(참조 화상 데이터)를 생성한다.
스텝 ST19에서 디블로킹 필터(24)는, 필터 처리를 행한다. 디블로킹 필터(24)는, 가산부(23)로부터 출력된 복호 화상 데이터를 필터링하여 블록 왜곡을 제거한다.
스텝 ST20에서 프레임 메모리(26)는 참조 화상 데이터를 기억한다. 프레임 메모리(26)는 필터 처리 후의 복호 데이터(참조 화상 데이터)를 기억한다.
스텝 ST21에서 인트라 예측부(31)와 움직임 예측·보상부(32)는 각각 예측 처리를 행한다. 즉, 인트라 예측부(31)는 인트라 예측 모드의 인트라 예측 처리를 행하고, 움직임 예측·보상부(32)는 인터 예측 모드의 움직임 예측·보상 처리를 행한다. 예측 처리는, 도 7을 참조하여 후술하는데, 이 처리에 의해, 후보가 되는 모든 예측 모드에서의 예측 처리가 각각 행해지고, 후보가 되는 모든 예측 모드에서의 비용 함수값이 각각 산출된다. 그리고, 산출된 비용 함수값에 기초하여, 최적 인트라 예측 모드와 최적 인터 예측 모드가 선택되고, 선택된 예측 모드에서 생성된 예측 화상과 그 비용 함수 및 예측 모드 정보가 예측 화상·최적 모드 선택부(33)에 공급된다.
스텝 ST22에서 예측 화상·최적 모드 선택부(33)는 예측 화상 데이터의 선택을 행한다. 예측 화상·최적 모드 선택부(33)는 인트라 예측부(31) 및 움직임 예측·보상부(32)로부터 출력된 각 비용 함수값에 기초하여, 부호화 효율이 가장 좋아지는 최적 모드를 결정한다. 즉, 예측 화상·최적 모드 선택부(33)에서는, 예를 들어 도 5에 도시한 각 계층으로부터 부호화 효율이 좋아지는 코딩 유닛과 이 코딩 유닛에서의 예측 유닛의 블록 사이즈 및 인트라 예측과 인터 예측 중 어느 하나를 행할지를 결정한다. 또한, 예측 화상·최적 모드 선택부(33)는 결정한 최적 모드의 예측 화상 데이터를, 감산부(13)와 가산부(23)로 출력한다. 이 예측 화상 데이터가, 전술한 바와 같이, 스텝 ST13, ST18의 연산에 이용된다.
스텝 ST23에서 가역 부호화부(16)는 가역 부호화 처리를 행한다. 가역 부호화부(16)는 양자화부(15)로부터 출력된 양자화 데이터를 가역 부호화한다. 즉, 양자화 데이터에 대하여 가변 길이 부호화나 산술 부호화 등의 가역 부호화가 행해져서, 데이터 압축된다. 또한, 가역 부호화부(16)는 스텝 ST22에서 선택된 예측 화상 데이터에 대응하는 예측 모드 정보 등의 가역 부호화를 행하고, 양자화 데이터를 가역 부호화하여 생성된 스트림 정보에, 예측 모드 정보 등의 가역 부호화 데이터가 포함된다.
스텝 ST24에서 축적 버퍼(17)는 축적 처리를 행한다. 축적 버퍼(17)는 가역 부호화부(16)로부터 출력되는 스트림 정보를 축적한다. 이 축적 버퍼(17)에 축적된 스트림 정보는, 적절히 판독되어 전송로를 통해 복호측으로 전송된다.
스텝 ST25에서 레이트 제어부(18)는 레이트 제어를 행한다. 레이트 제어부(18)는 축적 버퍼(17)로 스트림 정보를 축적하는 경우, 오버플로우 또는 언더플로우가 축적 버퍼(17)에서 발생하지 않도록, 양자화부(15)의 양자화 동작의 레이트를 제어한다.
이어서, 도 7의 흐름도를 참조하여, 도 6의 스텝 ST21에서의 예측 처리를 설명한다.
스텝 ST31에서, 인트라 예측부(31)는 인트라 예측 처리를 행한다. 인트라 예측부(31)는 부호화 대상인 예측 유닛의 화상을, 후보가 되는 모든 인트라 예측 모드에서 인트라 예측한다. 또한, 인트라 예측에서 참조되는 복호 화상의 화상 데이터는, 디블로킹 필터(24)로 블로킹 필터 처리가 행해지기 전의 복호 화상 데이터가 이용된다. 이 인트라 예측 처리에 의해, 후보가 되는 모든 인트라 예측 모드에서 인트라 예측이 행해지고, 후보가 되는 모든 인트라 예측 모드에 대하여 비용 함수값이 산출된다. 그리고, 산출된 비용 함수값에 기초하여, 모든 인트라 예측 모드 중에서 부호화 효율이 가장 좋아지는 하나의 인트라 예측 모드가 선택된다.
스텝 ST32에서, 움직임 예측·보상부(32)는 인터 예측 처리를 행한다. 움직임 예측·보상부(32)는 프레임 메모리(26)에 기억되어 있는 디블로킹 필터 처리 후의 복호 화상 데이터를 이용하여, 후보가 되는 인터 예측 모드의 인터 예측 처리를 행한다. 이 인터 예측 처리에 의해, 후보가 되는 모든 인터 예측 모드에서 예측 처리가 행해지고, 후보가 되는 모든 인터 예측 모드에 대하여 비용 함수값이 산출된다. 그리고, 산출된 비용 함수값에 기초하여, 모든 인터 예측 모드 중에서 부호화 효율이 가장 좋아지는 1개의 인터 예측 모드가 선택된다.
이어서, 도 8의 흐름도를 참조하여, 도 7에서의 스텝 ST31의 인트라 예측 처리에 대하여 설명한다.
스텝 ST41에서 인트라 예측부(31)는 각 예측 모드의 인트라 예측을 행한다. 인트라 예측부(31)는 블로킹 필터 처리 전의 복호 화상 데이터를 이용하여, 인트라 예측 모드마다 예측 화상 데이터를 생성한다.
스텝 ST42에서 인트라 예측부(31)는 각 예측 모드에서의 비용 함수값을 산출한다. 비용 함수값의 산출은, 예를 들어 H.264/AVC 방식에서의 참조 소프트웨어인 JM(Joint Model)로 정해져 있는 바와 같이, High Complexity 모드이거나, Low Complexity 모드 중 어느 하나의 방법에 기초하여 행한다.
즉, High Complexity 모드에서는, 후보가 되는 모든 예측 모드에 대하여 가령 가역 부호화 처리까지를 행하고, 다음의 수학식 1로 표현되는 비용 함수값을 각 예측 모드에 대하여 산출한다.
Figure 112013063756432-pct00001
Ω은, 상기 예측 유닛의 화상을 부호화하기 위한 후보가 되는 예측 모드의 전체 집합을 나타내고 있다. D는, 예측 모드에서 부호화를 행한 경우의 예측 화상과 입력 화상의 차분 에너지(왜곡)를 나타내고 있다. R은, 직교 변환 계수나 예측 모드 정보 등을 포함한 발생 부호량, λ는, 양자화 파라미터의 함수로서 부여되는 라그랑제 승수이다. 즉, High Complexity 모드에서는, 스텝 ST42의 처리로서, 후보가 되는 모든 예측 모드에 대하여 가령 가역 부호화 처리까지를 행하고, 전술한 수학식 1로 표현되는 비용 함수값을 각 예측 모드에 대하여 산출한다.
한편, Low Complexity 모드에서는, 후보가 되는 모든 예측 모드에서, 예측 화상의 생성 및 차분 움직임 벡터나 예측 모드 정보 등을 포함하는 헤더 비트의 생성 등을 행하고, 다음의 수학식 2로 표현되는 비용 함수값을 산출한다.
Figure 112013063756432-pct00002
Ω은, 상기 예측 유닛의 화상을 부호화하기 위한 후보가 되는 예측 모드의 전체 집합을 나타내고 있다. D는, 예측 모드에서 부호화를 행한 경우의 예측 화상과 입력 화상의 차분 에너지(왜곡)를 나타내고 있다. Header_Bit는, 예측 모드에 대한 헤더 비트, QP2Quant는, 양자화 파라미터의 함수로서 부여되는 함수이다. 즉, Low Complexity 모드에서는, 스텝 ST42의 처리로서, 후보가 되는 모든 예측 모드에 대하여 예측 화상의 생성 및 움직임 벡터나 예측 모드 정보 등의 헤더 비트를 이용하여, 전술한 수학식 2로 표현되는 비용 함수값을 각 예측 모드에 대하여 산출한다.
스텝 ST43에서 인트라 예측부(31)는 최적 인트라 예측 모드를 결정한다. 인트라 예측부(31)는 스텝 ST42에서 산출된 비용 함수값에 기초하여, 이들 중에서 비용 함수값이 최소값인 하나의 인트라 예측 모드를 선택하여 최적 인트라 예측 모드로 결정한다.
이어서, 도 9의 흐름도를 참조하여, 도 7에서의 스텝 ST32의 인터 예측 처리에 대하여 설명한다.
스텝 ST51에서 움직임 예측·보상부(32)는 움직임 검출 처리를 행한다. 움직임 예측·보상부(32)는 움직임 벡터를 검출하여 스텝 ST52로 진행한다.
스텝 ST52에서 움직임 예측·보상부(32)는 움직임 보상 처리를 행한다. 움직임 예측·보상부(32)는 스텝 ST51에서 검출한 움직임 벡터에 기초하여 참조 화상 데이터를 이용하여 움직임 보상을 행하고, 예측 화상 데이터를 생성한다.
스텝 ST53에서 움직임 예측·보상부(32)는 비용 함수값의 산출을 행한다. 움직임 예측·보상부(32)는 부호화 대상인 예측 유닛의 입력 화상 데이터와, 스텝 ST52에서 생성한 예측 화상 데이터 등을 이용하여, 전술한 바와 같이 비용 함수값을 산출하여 스텝 ST54로 진행한다.
스텝 ST54에서 움직임 예측·보상부(32)는 최적 인터 예측 모드를 결정한다. 움직임 예측·보상부(32)는 스텝 ST51부터 스텝 ST53까지의 처리를 모든 인터 예측 모드마다 행한다. 움직임 예측·보상부(32)는 예측 모드마다 산출된 비용 함수값이 최소값이 되는 참조 인덱스, 코딩 유닛의 블록 사이즈, 상기 코딩 유닛에서의 예측 유닛의 블록 사이즈를 판별하여, 최적 인터 예측 모드를 결정한다. 또한, 비용 함수가 최소가 되는 모드의 결정에서는, 스킵 모드에서 인터 예측을 행한 경우의 비용 함수값도 이용한다.
또한, 움직임 예측·보상부(32)는 예측 화상·최적 모드 선택부(33)에서 최적 인터 예측 모드가 최적 예측 모드로서 선택된 경우, 최적 인터 예측 모드의 예측 화상 데이터를 감산부(13)와 가산부(23)에 공급할 수 있도록, 예측 화상 데이터의 생성을 행한다.
<3. 양자화 파라미터에 기초한 식별 정보와 차분 정보의 생성 동작>
전술한 화상 부호화 처리에서, 화상 부호화 장치(10)는 블록마다 화상의 복잡도에 따라서 적응 양자화를 행하도록, 양자화 파라미터를 설정한다. 또한, 화상 부호화 장치(10)는 스텝 ST15의 양자화 처리에서 이용하는 양자화 파라미터의 부호화 효율을 향상시키기 위해서, 식별 정보와 차분 정보를 생성하여 가역 부호화해서 스트림 정보에 포함시킨다.
이어서, 양자화 파라미터의 설정 및 식별 정보와 차분 정보의 생성에 대하여 설명한다. 레이트 제어부(18)는 예를 들어 MPEG2의 TM5로 정해져 있는 부호량 제어 방식을 이용하여, 양자화 파라미터의 설정을 행한다.
MPEG2의 TM5에서 정해져 있는 레이트 제어 방식에서는, 스텝 1 내지 스텝 3의 처리가 나타나 있다.
스텝 1에서는, GOP(Group Of Pictures) 내의 각 픽처에 대한 할당 부호량을, 할당 대상 픽처를 포함시켜, 아직 부호화되어 있지 않은 픽처에 대하여 할당되는 비트량 R을 기초로 하여 배분한다. 이 배분을 GOP 내의 부호화 픽처순으로 반복한다. 그 때, 이하의 2개의 가정을 이용하여, 각 픽처에의 부호량 할당을 행하고 있다.
제1 가정은, 각 픽처를 부호화할 때에 이용하는, 평균 양자화 스케일 코드와 발생 부호량의 곱은, 화면이 변화하지 않는 한, 픽처 타입마다 일정해진다고 하는 가정이다.
따라서, 각 픽처를 부호화한 후, 픽처 타입마다, 화면의 복잡함을 나타내는 매개 변수 XI, XP, XB(Global Complexity Measure)를 수학식 3 내지 수학식 5에 의해 갱신한다. 이 매개 변수에 의해, 다음 픽처를 부호화할 때의 양자화 스케일 코드와 발생 부호량의 관계를 추정할 수 있다.
Figure 112013063756432-pct00003
Figure 112013063756432-pct00004
Figure 112013063756432-pct00005
여기서, SI, SP, SB는, 픽처 부호화 시의 발생 부호화 비트, QI, QP, QB는, 픽처 부호화 시의 평균 양자화 스케일 코드이다. 또한, 초기값은, 목표 부호량인bit_rate[bits/sec]를 이용하여, 하기 수학식 6, 7, 8로 나타내는 값으로 한다.
Figure 112013063756432-pct00006
Figure 112013063756432-pct00007
Figure 112013063756432-pct00008
제2 가정은, I 픽처의 양자화 스케일 코드를 기준으로 한 P, B 픽처의 양자화 스케일 코드의 비율 KP, KB가, 수학식 9에 정하는 값으로 될 때, 항상 전체 화질이 최적화된다고 가정한다.
Figure 112013063756432-pct00009
즉, B 픽처의 양자화 스케일 코드는, I, P 픽처의 양자화 스케일 코드의 항상 1.4배로 하고 있다. 이것은, B 픽처를 I, P 픽처에 비교하여 다소 대략적으로 양자화함으로써, B 픽처에서 절약할 수 있는 부호량을 I, P 픽처에 더하면, I, P 픽처의 화질이 개선됨과 함께, 이것을 참조하는 B 픽처의 화질도 향상시키는 것을 상정하고 있다.
상기 2가지 가정으로부터, GOP 중의 각 픽처에 대한 할당 부호량(TI, TP, TB), 수학식 10, 11, 12로 나타내는 값으로 된다. 또한, picture_rate는, 상기 시퀀스에서의, 1초당 표시되는 픽처의 수를 나타내고 있다.
Figure 112013063756432-pct00010
Figure 112013063756432-pct00011
Figure 112013063756432-pct00012
여기서, NP, NB는, GOP 내에서 아직 부호화되지 않은, P, B 픽처의 매수이다. 즉, GOP 내의 미부호화 픽처 중, 할당 대상으로 되는 픽처와, 서로 다른 픽처 타입의 것에 관해서는, 전술한 화질 최적화 조건 하에 그 픽처가 발생하는 부호량이, 할당 대상 픽처의 발생 부호량의 몇 배가 되는지를 추정한다. 이어서, 미부호화 픽처 전체의 발생하는 추정 발생 부호량이, 할당 대상 픽처의 몇 매분의 부호량에 상당하는지를 구한다. 예를 들어, TI에 관한 식의, 제1 인수의 분모 제2항, NPXP/XIKP는, GOP 내의, NP매의 미부호화 픽처가, I 픽처로 환산하면 몇 매분으로 환산되는지를 나타내고 있다. 또한, NP에, P 픽처에 대한 발생 부호량의, I 픽처의 발생 부호량에 대한 비율 SP/SI를 곱하여, 전술한 바와 같이 XI, XP, KP로 나타냄으로써 얻어진다.
할당 대상 픽처에 대한 비트량은, 미부호화 픽처에 대한 할당 부호량 R을, 이 매수로 나눔으로써 얻어진다. 단, 헤더 등에, 고정적으로 필요해지는 부호량을 고려하여, 그 값으로 하한을 설정하고 있다.
이와 같이 하여 구한 할당 부호량을 기초로 하여, 각 픽처를 스텝 1, 2에 따라서 부호화할 때마다, GOP 내의 미부호화 픽처에 대하여 할당되는 부호량 R을, 수학식 13에 의해 갱신한다.
Figure 112013063756432-pct00013
또한, GOP의 최초의 픽처를 부호화할 때에는, 이하의 수학식 14에 의해, R을 갱신한다.
Figure 112013063756432-pct00014
또한, N은 GOP 내의 픽처 수이다. 또한, 시퀀스 최초에서의 R의 초기값은 0으로 한다.
이어서, 스텝 2에 대하여 설명한다. 스텝 2에서는, 스텝 1에서 구한, 각 픽처에 대한 할당 부호량(TI, TP, TB)을 실제의 부호량에 일치시키기 위해 양자화 스케일 코드를 구한다. 양자화 스케일 코드는, 픽처 타입마다, 독립적으로 설정한 3종류의 가상 버퍼의 용량을 기초로, 매크로 블록 단위의 피드백 제어에 의해 구한다.
우선, j번째의 매크로 블록 부호화에 앞서서, 가상 버퍼의 점유량을 수학식 15 내지 17에 의해 구한다.
Figure 112013063756432-pct00015
Figure 112013063756432-pct00016
Figure 112013063756432-pct00017
d0 I, d0 P, d0 B는, 각 가상 버퍼의 초기 점유량, Bj는, 픽처의 선두부터 j번째의 매크로 블록까지의 발생 비트량, MBcnt는, 1 픽처 내의 매크로 블록수이다.
각 픽처 부호화 종료 시의 가상 버퍼 점유량(dMBcnt I, dMBcnt P, dMBcnt B)은 각각 동일한 픽처 타입이며, 다음 픽처에 대한 가상 버퍼 점유량의 초기값(d0 I, d0 P, d0 B)으로서 이용된다.
이어서, j번째의 매크로 블록에 대한 참조 양자화 스케일 코드 Qj를 수학식 18에 의해 산출한다.
Figure 112013063756432-pct00018
r은 리액션 파라미터라 불리는 피드백 루프의 응답 속도를 제어하는 매개 변수이며, 수학식 19에 의해 부여된다.
Figure 112013063756432-pct00019
또한, 시퀀스의 최초에서의 가상 버퍼 초기값은 수학식 20에 의해 부여된다.
Figure 112013063756432-pct00020
이어서, 스텝 3에 대하여 설명한다. 액티비티는, 원 화상의 휘도 신호 화소값을 이용하고, 예를 들어 프레임 DCT 모드에서의 4개의 8×8블록과, 필드 DCT 부호화 모드에서의 4개의 8×8블록의 합계 8개의 블록 화소값을 이용하여, 수학식 21 내지 23에 의해 부여된다.
Figure 112013063756432-pct00021
Figure 112013063756432-pct00022
Figure 112013063756432-pct00023
수학식 21에 나타내는 var_sblk는, 각 화소의 화소 데이터와 그 평균값의 차분의 제곱 합이며, 상기 8×8블록의 화상이 복잡해짐에 따라서 값이 커진다. 수학식 22, 23의 Pk는, 원 화상의 휘도 신호 블록 내 화소값이다. 수학식 22에서 최소값(min)을 채용하는 것은, 16×16의 매크로 블록 내의 일부만이라도 평탄 부분이 있는 경우에는 양자화를 세밀화하기 위함이다. 또한, 수학식 24에 의해, 그 값이 0.5 내지 2의 범위를 취하는 정규화 액티비티 Nactj를 구한다.
Figure 112013063756432-pct00024
avg_act는, 직전에 부호화한 픽처에서의 액티비티의 평균값이다. 시각 특성을 고려한 양자화 스케일 코드 mquantj는, 참조 양자화 스케일 코드 Qj를 기초로 수학식 25에 의해 부여된다.
Figure 112013063756432-pct00025
레이트 제어부(18)는 전술한 바와 같이 하여 산출한 양자화 스케일 코드mquantj를 양자화 파라미터로서 출력한다. 또한, 슬라이스 경계에 위치하는 매크로 블록에 대해서도, 전술한 방법에 의해, 슬라이스 경계 이외에 위치하는 매크로 블록과 마찬가지로, 양자화 파라미터를 생성한다. 또한, 양자화 파라미터는, 전술한 바와 같이 액티비티에 기초하여 결정하는 경우에 한하지 않고, 비용 함수값이 작아지도록 결정해도 된다.
또한, 전술한 MPEG2의 TM5에서 정해져 있는 레이트 제어 방식의 설명에서는, 매크로 블록 단위로 처리가 행해지는 경우에 대하여 설명하고 있다. 이로 인해, 양자화 파라미터의 전환이 가능한 블록 단위로 마찬가지의 처리를 행함으로써, 양자화 파라미터의 전환이 가능한 블록마다 양자화 파라미터를 설정할 수 있다.
이어서, 양자화 파라미터의 부호화 효율을 향상시키기 위해 이용하는 정보의 생성 동작에 대하여 설명한다. 정보 생성부(19)는 부호화 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 부호화 완료된 양자화 파라미터를 선택 후보로 한다. 또한, 정보 생성부(19)는 부호화 대상 블록에 대하여 설정된 양자화 파라미터에 따라서 선택 후보로부터 양자화 파라미터를 선택하여 예측 양자화 파라미터로 한다. 또, 정보 생성부(19)는 선택 후보로부터 예측 양자화 파라미터를 선택하기 위한 식별 정보와, 예측 양자화 파라미터와 부호화 대상 블록에 설정된 양자화 파라미터의 차분을 나타내는 차분 정보를 생성한다.
도 10은, 정보 생성부의 동작을 설명하기 위한 도면으로, 부호화 대상 프레임과, 표시 순서에서 가장 시간이 가까운 부호화 완료 프레임을 나타내고 있다. 부호화 대상 프레임에서의 부호화 대상 블록의 양자화 파라미터를 예를 들어 「QP_O」라 한다. 또한, 좌측에 인접하는 부호화 완료 블록의 양자화 파라미터를 예를 들어 「QP_A」라 한다. 마찬가지로, 상측, 우측 상단, 좌측 상단, 좌측 하단에 인접하는 부호화 완료 블록의 양자화 파라미터를 예를 들어 「QP_B」「QP_C」「QP_D」「QP_E」라 한다. 또한, 시간적으로 인접하는 부호화 완료 블록의 양자화 파라미터를 「QP_T」라 한다. 또, 부호화 대상 프레임에서의 부호화 대상 블록의 부호화를 행할 때, 양자화 파라미터 「QP_A」 내지 「QP_E」, 「QP_T」는, 양자화 파라미터 메모리부(191)에 기억되어 있다. 또한, 각 블록은, 양자화 파라미터가 바뀌는 최소 단위의 블록으로 한다.
차분 연산부(192)는 부호화 대상 블록과 인접하는 부호화 완료 블록의 양자화 파라미터를 선택 후보로 하여, 부호화 대상 블록에 설정된 양자화 파라미터와의 차분이 가장 작은 양자화 파라미터를 선택 후보로부터 선택하여 예측 양자화 파라미터로 한다. 차분 연산부(192)는 선택 후보로부터 예측 양자화 파라미터를 선택하기 위한 식별 정보와, 예측 양자화 파라미터와 부호화 대상 블록의 양자화 파라미터의 차분을 나타내는 차분 정보를 생성한다.
도 11은, 정보 생성부의 동작예를 나타낸 도면이다. 또한, 스킵 블록이나 잔차 정보가 없기 때문에 블록에 대하여 양자화 파라미터가 설정되어 있지 않은 경우를 「-」로 나타내고 있다.
부호화 대상 블록을 블록 BKO이라 하면, 부호화 완료 블록의 양자화 파라미터는, 「QP_A=32」, 「QP_B=40」, 「QP_C=40」, 「QP_D=35」, 「QP_E=-」, 「QP_T=31」로 된다. 여기서, 정보 생성부(19)는 스킵 블록이나 잔차 정보가 없기 때문에 양자화 파라미터가 설정되어 있지 않은 블록 및 양자화 파라미터가 중복되는 블록을 후보로부터 제외한다. 따라서, 선택 후보는, 양자화 파라미터 「QP_A=32」, 「QP_B=40」, 「QP_D=35」, 「QP_T=31」의 부호화 완료 블록으로 된다. 또한, 정보 생성부(19)는 선택 후보에 대하여 미리 식별 정보 예를 들어 인덱스 번호를 설정한다. 식별 정보는, 인접하는 부호화 완료 블록에 대하여 설정해도 되며, 인접하는 부호화 완료 블록의 양자화 파라미터에 대하여 설정해도 된다.
인접하는 부호화 완료 블록에 대하여 식별 정보를 설정하는 경우, 정보 생성부(19)는 인접하는 부호화 완료 블록을 소정의 배열 순서로 하여, 배열순으로 인덱스 번호를 미리 설정한다. 소정의 배열 순서는, 예를 들어 좌측에 인접하는 부호화 완료 블록과, 상측에 인접하는 부호화 완료 블록과, 시간적으로 인접하는 부호화 완료 블록 중 어느 하나를 우선시킨 배열 순서로 한다. 또한, 정보 생성부(19)는 배열 순서를 전환 가능하게 해도 된다. 배열 순서를 전환 가능하게 하는 경우, 어떤 배열 순서인지를 나타내는 정보를 스트림 정보에 포함시킨다. 또한, 가역 부호화부(16)와 정보 생성부(19)는 우선시킨 블록의 식별 정보를 부호화했을 때의 부호량이 적어지도록 식별 정보의 설정이나 가역 부호화를 행한다.
차분 연산부(192)는 선택 후보로부터 부호화 대상 블록의 양자화 파라미터와의 차분이 가장 작아지는 후보를 선택하여, 선택한 후보에 대하여 설정되어 있는 식별 정보를 이용함으로써 선택 후보로부터 예측 양자화 파라미터를 선택하기 위한 식별 정보의 생성을 행한다. 또한, 차분 연산부(192)는 선택한 후보의 양자화 파라미터인 예측 양자화 파라미터와 부호화 대상 블록의 양자화 파라미터의 차분을 나타내는 차분 정보를 생성한다. 예를 들어, 도 11에서 좌측에 인접하는 부호화 완료 블록을 우선시킨 경우, 정보 생성부(19)는 「0(인덱스 번호): QP_A의 블록」 「1: QP_B의 블록」 「2: QP_D의 블록」 「3: QP_T의 블록」이라 한다. 또한, 예를 들어 부호화 대상 블록의 양자화 파라미터가 「33」이면, 차분 연산부(192)는 부호화 대상 블록의 양자화 파라미터의 차분이 가장 작은 블록의 인덱스 번호를, 선택 후보로부터 예측 양자화 파라미터를 선택하기 위한 식별 정보 「0(인덱스 번호)」으로 한다. 또한, 차분 연산부(192)는 예측 양자화 파라미터와 부호화 대상 블록의 양자화 파라미터의 차분을 나타내는 차분 정보 「1(=33-32)」를 생성한다.
이와 같이, 인접하는 부호화 완료 블록에 대하여 식별 정보를 설정함으로써, 양자화 파라미터의 부호화 효율을 높이는 것이 가능해진다. 예를 들어 좌측의 블록을 우선시켜서, 양자화 파라미터 「QP_A」 「QP_B」 「QP_C」 「QP_D」 「QP_E」 「QP_T」의 블록순으로 하면, 좌측의 블록의 화상과 근사한 부호화 대상 블록이 많은 화상에서 데이터량이 적어진다. 또한, 상측의 블록을 우선시켜 양자화 파라미터 「QP_B」 「QP_A」 「QP_C」 「QP_D」 「QP_E」 「QP_T」의 블록순으로 하면, 상측의 블록의 화상과 근사한 부호화 대상 블록이 많은 화상에서 데이터량이 적어진다. 또한, 시간적으로 인접하는 블록을 우선시켜 양자화 파라미터 「QP_T」 「QP_A」 「QP_B」 「QP_C」 「QP_D」 「QP_E」의 블록순으로 하면, 시간적으로 인접하는 블록의 화상과 근사한 부호화 대상 블록이 많은 화상, 즉 정지하고 있는 피사체가 많은 화상에서 데이터량이 적어진다.
인접하는 부호화 완료 블록의 양자화 파라미터에 대하여 미리 식별 정보를 설정하는 경우, 정보 생성부(19)는 인접하는 부호화 완료 블록을 소정의 배열 순서로 하여 인덱스 번호를 설정한다. 예를 들어, 정보 생성부(19)는 파라미터값이 작은 양자화 파라미터로부터 순서대로 배열하여 인덱스 번호를 설정한다. 즉, 도 11의 경우, 정보 생성부(19)는 「0(인덱스 번호): 32(양자화 파라미터)」 「1:40」 「2:35」 「3:31」과 같이 인덱스 번호를 설정한다.
차분 연산부(192)는 선택 후보로부터 부호화 대상 블록의 양자화 파라미터와의 차분이 가장 작아지는 후보를 선택하여, 선택한 후보에 대하여 설정되어 있는 식별 정보를 이용함으로써 선택 후보로부터 예측 양자화 파라미터를 선택하기 위한 식별 정보의 생성을 행한다. 또한, 차분 연산부(192)는 예측 양자화 파라미터와 부호화 대상 블록의 양자화 파라미터의 차분을 나타내는 차분 정보를 생성한다. 예를 들어, 부호화 대상 블록의 양자화 파라미터가 「33」이면, 차분 연산부(192)는 식별 정보로서 「0(인덱스 번호)」과 차분 정보 「1(=33-32)」을 생성한다.
또한, 선택 후보가 없는 경우, 차분 연산부(192)는 슬라이스에서의 초기값의 양자화 파라미터 SliceQPY로 설정된 양자화 파라미터와의 차분을 나타내는 차분 정보를 생성한다.
도 12는, 부호화에서의 양자화 파라미터에 대한 처리를 나타낸 흐름도이다. 스텝 ST61에서 화상 부호화 장치(10)는 양자화 파라미터 유닛 최소 크기(MinQpUnitSize)를 구하기 위한 정보를 생성한다. 양자화 파라미터 유닛 최소 크기는, 적응적으로 양자화 파라미터가 전환되는 최소 크기이다.
화상 부호화 장치(10)는 양자화 파라미터 유닛 최소 크기(MinQpUnitSize)를 구하기 위한 정보로서, 예를 들어 트랜스폼 유닛 최소 크기(MinTransformUnitSize)와의 차분을 이용한다.
양자화 파라미터 유닛 최소 크기(MinQpUnitSize)는 수학식 26에 의해 결정된다.
Figure 112013063756432-pct00026
또한, 수학식 26에서의 「log2_min_transform_unit_size_minus2」는, 트랜스폼 유닛 최소 크기(MinTransformUnitSize)를 정하는 파라미터이다.
트랜스폼 유닛 최소 크기(MinTransformUnitSize)는 수학식 27에 의해 결정된다.
Figure 112013063756432-pct00027
양자화 파라미터 유닛 최소 크기(MinQpUnitSize)와 트랜스폼 유닛 최소 크기(MinTransformUnitSize)의 차분은, 수학식 26, 27로부터 밝혀진 바와 같이, 「log2_min_qp_unit_size_offset」에 상당한다. 또한, 양자화 파라미터는, 트랜스폼 유닛(TU) 단위로 이용된다. 즉 트랜스폼 유닛 내에서는 양자화 파라미터가 변하지 않는다.
또한, 양자화 파라미터 유닛 최소 크기(MinQpUnitSize)는 코딩 유닛 사이즈에 따라서 결정하도록 해도 된다. 이 경우, 화상 부호화 장치(10)는 양자화 파라미터 유닛 최소 크기(MinQpUnitSize)를 구하기 위한 정보로서, 예를 들어 코딩 유닛 CU의 최소 크기를 규정하는 정보(log2_min_coding_block_size_minus3) 및 코딩 유닛 CU의 최대 크기를 규정하는 정보(log2_diff_max_min_coding_block_size)를 이용한다. 또한, 코딩 유닛 CU의 최대 크기 「log2MaxCUSize」는 수학식 28로 된다.
Figure 112013063756432-pct00028
양자화 파라미터 유닛 최소 크기의 대수값(log2MinQpUnitSize)은 수학식 29에 의해 결정된다.
Figure 112013063756432-pct00029
따라서, 「log2_min_qp_unit_size_offset」을 크게 하면 양자화 파라미터 유닛 최소 크기가 작아진다. 예를 들어, 코딩 유닛 CU의 최소 크기가 「8×8」이고 최대 크기가 「64×64」인 경우, 「log2_min_qp_unit_size_offset」을 「1」로 하면 양자화 파라미터 유닛 최소 크기는 「32×32」로 된다. 또한, 「log2_min_qp_unit_size_offset」을 「2」로 하면 양자화 파라미터 유닛 최소 크기는 「16×16」으로 된다.
스텝 ST62에서 화상 부호화 장치(10)는 생성된 정보를 스트림 정보에 포함하는 처리를 행한다. 화상 부호화 장치(10)는 「log2_min_qp_unit_size_offset」이나 트랜스폼 유닛 최소 크기(MinTransformUnitSize)를 정하는 파라미터인 「log2_min_qp_unit_size_offset」을 스트림 정보에 포함시켜 스텝 ST63으로 진행한다. 또한, 코딩 유닛 사이즈에 따라서 양자화 파라미터 유닛 최소 크기를 결정하는 경우에는, 「log2_min_coding_block_size_minus3」「log2_diff_max_min_coding_block_size」「log2_min_qp_unit_size_offset」을 스트림 정보에 포함시킨다. 화상 부호화 장치(10)는 생성된 정보를, 예를 들어 RBSP(Raw Byte Sequence Payload)의 구문으로서 정의되어 있는 시퀀스 파라미터 세트(SPS: Sequence Parameter Set)에 포함시킨다. 또한, 또한, 도 13은 시퀀스 파라미터 세트를 예시하고 있다.
스텝 ST63에서 화상 부호화 장치(10)는 부호화할 프레임이 존재하는지를 판별한다. 화상 부호화 장치(10)는 부호화할 프레임이 존재하는 경우에는 스텝 ST64로 진행하여 도 14에 나타낸 프레임 부호화 처리를 행하고, 존재하지 않는 경우에는 부호화 처리를 종료한다.
도 14의 프레임 부호화 처리에서, 스텝 ST71에서 화상 부호화 장치(10)는 부호화할 슬라이스가 존재하는지를 판별한다. 화상 부호화 장치(10)는 부호화할 슬라이스가 존재하는 경우에는 스텝 ST72로 진행하고, 존재하지 않는 경우에는 상기 프레임의 부호화 처리를 종료한다.
스텝 ST72에서 화상 부호화 장치(10)는 부호화할 슬라이스의 양자화 파라미터를 결정한다. 화상 부호화 장치(10)는 목표 부호량이 되도록 슬라이스에서의 초기값의 양자화 파라미터를 결정하여 스텝 ST73으로 진행한다.
스텝 ST73에서 화상 부호화 장치(10)는 「slice_qp_delta」를 산출한다. 슬라이스에서의 초기값의 양자화 파라미터 SliceQPY는, 수학식 30에 나타내는 관계를 가지며, 「pic_init_qp_minus26」은, 미리 유저 등에 의해 설정된다. 따라서, 화상 부호화 장치(10)는 스텝 ST72에 의해 결정된 양자화 파라미터가 되도록 「slice_qp_delta」를 산출하여 스텝 ST74로 진행한다.
Figure 112013063756432-pct00030
스텝 ST74에서 화상 부호화 장치(10)는 「slice_qp_delta」와 「pic_init_qp_minus26」을 스트림 정보에 포함시킨다. 화상 부호화 장치(10)는 산출한 「slice_qp_delta」를 스트림 정보의 예를 들어 슬라이스 헤더에 포함시킨다. 또한, 화상 부호화 장치(10)는 설정되어 있는 「pic_init_qp_minus26」을 스트림 정보의 예를 들어 픽처 파라미터 세트에 포함시킨다. 이와 같이, 「slice_qp_delta」와 「pic_init_qp_minus26」을 스트림 정보에 포함시킴으로써, 스트림 정보의 복호를 행하는 화상 복호 장치에서는, 수학식 30의 연산을 행함으로써, 슬라이스에서의 초기값의 양자화 파라미터 SliceQPY를 산출할 수 있다. 또한, 도 15는 시퀀스 파라미터 세트, 도 16은 슬라이스 헤더를 예시하고 있다.
스텝 ST75에서 화상 부호화 장치(10)는 슬라이스 부호화 처리를 행한다. 도 17은 슬라이스 부호화 처리를 나타내는 흐름도이다.
도 17의 스텝 ST81에서 화상 부호화 장치(10)는 부호화할 코딩 유닛 CU가 존재하는지를 판별한다. 화상 부호화 장치(10)는 부호화 처리할 슬라이스에서, 부호화 처리가 행해지고 있지 않은 코딩 유닛이 존재하는 경우에는 스텝 ST82로 진행한다. 또한, 화상 부호화 장치(10)는 슬라이스 내의 모든 코딩 유닛의 부호화 처리가 완료된 경우에는, 슬라이스 부호화 처리를 종료한다.
스텝 ST82에서 화상 부호화 장치(10)는 부호화할 코딩 유닛 CU에 트랜스폼 유닛 TU가 존재하는지를 판별한다. 화상 부호화 장치(10)는 트랜스폼 유닛이 존재하는 경우에는 스텝 ST83으로 진행하고, 트랜스폼 유닛이 존재하지 않는 경우에는 스텝 ST87로 진행한다. 예를 들어 양자화 파라미터를 이용하여 양자화하는 계수가 모두 「0」인 경우나 스킵 블록인 경우에는 스텝 ST87로 진행한다.
스텝 ST83에서 화상 부호화 장치(10)는 부호화할 코딩 유닛 CU의 양자화 파라미터를 결정한다. 화상 부호화 장치(10)의 레이트 제어부(18)는 전술한 바와 같이 코딩 유닛의 화상의 복잡함에 따라서, 또는 비용 함수값이 작아지도록 양자화 파라미터를 결정하여 스텝 ST84로 진행한다.
스텝 ST84에서 화상 부호화 장치(10)는 선택 후보에 식별 정보를 설정한다. 화상 부호화 장치(10)의 정보 생성부(19)는 부호화할 코딩 유닛에 대하여 공간적 또는 시간적으로 주위의 부호화 완료된 코딩의 양자화 파라미터를 선택 후보로 한다. 또한, 정보 생성부(19)는 스킵 블록이나 잔차 정보가 없기 때문에 블록에 대하여 양자화 파라미터가 설정되어 있지 않은 경우, 및 양자화 파라미터가 다른 후보와 동일한 경우, 이들을 선택 후보로부터 제외한다. 화상 부호화 장치(10)는 선택 후보에 대하여 식별 정보 예를 들어 인덱스(ref_qp_block_index)를 설정하여 스텝 ST85로 진행한다.
스텝 ST85에서 화상 부호화 장치(10)는 식별 정보와 차분 정보를 생성한다. 화상 부호화 장치(10)의 정보 생성부(19)는 부호화 대상인 코딩 유닛의 양자화 파라미터와의 차분이 가장 작아지는 후보를 선택 후보로부터 선택하여 예측 양자화 파라미터로 한다. 정보 생성부(19)는 선택한 후보의 인덱스(ref_qp_block_index)를 선택 후보로부터 예측 양자화 파라미터를 선택하기 위한 식별 정보로서 이용함으로써 식별 정보의 생성을 행한다. 또한, 정보 생성부(19)는 예측 양자화 파라미터와 부호화할 코딩 유닛의 양자화 파라미터의 차분(qb_qp_delta)을 차분 정보로 하여 스텝 ST86으로 진행한다. 여기서, 판별한 후보의 인덱스(ref_qp_block_index)로 나타내는 예측 양자화 파라미터를 「ref_qp(ref_qp_block_index)」로 하면, 부호화 대상인 코딩 유닛의 양자화 파라미터(CurrentQP)는 수학식 31에 나타내는 관계로 된다.
Figure 112013063756432-pct00031
스텝 ST86에서 화상 부호화 장치(10)는 식별 정보와 차분 정보를 스트림 정보에 포함시킨다. 화상 부호화 장치(10)의 가역 부호화부(16)는 정보 생성부(19)에서 생성된 식별 정보와 차분 정보를 가역 부호화하여 스트림 정보에 포함시켜 스텝 ST87로 진행한다.
스텝 ST87에서 화상 부호화 장치(10)는 결정된 양자화 파라미터를 이용하여 코딩 유닛에 대한 양자화를 양자화부(15)에서 행하고 스텝 ST81로 복귀된다.
이와 같이, 화상 부호화 장치(10)는 부호화 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 부호화 완료 블록의 양자화 파라미터로부터, 부호화 대상 블록의 양자화 파라미터와의 차분이 가장 작아지는 후보를 예측 양자화 파라미터로서 선택한다. 또한, 화상 부호화 장치(10)는 선택한 양자화 파라미터에 대응하는 식별 정보를 생성한다. 또한, 화상 부호화 장치(10)는 예측 양자화 파라미터와 부호화 대상 블록의 양자화 파라미터의 차분을 나타내는 차분 정보를 생성한다. 화상 부호화 장치(10)는 생성한 식별 정보와 차분 식별을 스트림 정보에 포함시킨다. 이와 같이, 차분이 가장 작아지는 후보가 예측 양자화 파라미터로서 선택되는 점에서, 예측 양자화 파라미터와 부호화 대상 블록의 양자화 파라미터의 차분이 큰 값으로 되는 것을 방지하는 것이 가능해진다. 따라서, 화상 부호화 장치(10)는 양자화 파라미터의 부호화 효율을 향상시킬 수 있다.
<4. 화상 복호 장치의 구성>
이어서, 화상 부호화 장치로부터 출력되는 스트림 정보의 복호 처리를 행하는 화상 복호 장치에 대하여 설명한다. 입력 화상을 부호화하여 생성된 스트림 정보는, 소정의 전송로나 기록 매체 등을 통해 화상 복호 장치에 공급되어 복호된다.
도 18은, 스트림 정보의 복호 처리를 행하는 화상 복호 장치의 구성을 나타내고 있다. 화상 복호 장치(50)는 축적 버퍼(51), 가역 복호부(52), 역양자화부(53), 역직교 변환부(54), 가산부(55), 디블로킹 필터(56), 화면 재배열 버퍼(57), 디지털/아날로그 변환부(58: D/A 변환부)를 구비하고 있다. 또한, 화상 복호 장치(50)는 양자화 파라미터 산출부(59), 프레임 메모리(61), 인트라 예측부(71), 움직임 보상부(72), 셀렉터(73)를 구비하고 있다.
축적 버퍼(51)는 전송되어 온 스트림 정보를 축적한다. 가역 복호부(52)는 축적 버퍼(51)로부터 공급된 스트림 정보를, 도 3의 가역 부호화부(16)의 부호화 방식에 대응하는 방식으로 복호한다.
가역 복호부(52)는 정보 취득부로서 동작을 행하고 스트림 정보로부터 다양한 정보를 취득한다. 예를 들어, 가역 복호부(52)는 스트림 정보를 복호하여 얻어진 예측 모드 정보를 인트라 예측부(71)나 움직임 보상부(72)로 출력한다. 또한, 가역 복호부(52)는 스트림 정보를 복호하여 얻어진 차분 움직임 벡터나 임계값 또는 임계값 생성 정보를 움직임 보상부(72)로 출력한다. 또한, 가역 복호부(52)는 스트림 정보를 복호하여 얻어진 양자화 파라미터에 관한 정보 예를 들어 차분 정보 등을 양자화 파라미터 산출부(59)로 출력한다. 또, 가역 복호부(52)는 스트림 정보를 복호하여 얻어진 양자화 데이터를 역양자화부(53)로 출력한다.
역양자화부(53)는 양자화 파라미터 산출부(59)로부터 공급된 양자화 파라미터를 이용하여, 도 3의 양자화부(15)의 양자화 방식에 대응하는 방식으로, 가역 복호부(52)로부터 공급된 양자화 데이터의 역양자화를 행한다. 역직교 변환부(54)는 도 3의 직교 변환부(14)의 직교 변환 방식에 대응하는 방식으로 역양자화부(53)의 출력을 역직교 변환하여 가산부(55)로 출력한다.
가산부(55)는 역직교 변환 후의 데이터와 셀렉터(73)로부터 공급되는 예측 화상 데이터를 가산하여 복호 화상 데이터를 생성하여 디블로킹 필터(56)와 인트라 예측부(71)로 출력한다.
디블로킹 필터(56)는, 가산부(55)로부터 공급된 복호 화상 데이터에 대하여 디블로킹 필터 처리를 행하고, 블록 왜곡을 제거하고 나서 프레임 메모리(61)에 공급하여 축적시킴과 함께, 화면 재배열 버퍼(57)로 출력한다.
화면 재배열 버퍼(57)는 화상의 재배열을 행한다. 즉, 도 3의 화면 재배열 버퍼(12)에 의해 부호화의 순서를 위해 재배열된 프레임의 순서가, 원래의 표시 순서대로 재배열되어, D/A 변환부(58)로 출력된다.
D/A 변환부(58)는 화면 재배열 버퍼(57)로부터 공급된 화상 데이터를 D/A 변환하고, 디스플레이(도시생략)로 출력함으로써 화상을 표시시킨다.
양자화 파라미터 산출부(59)는 가역 복호부(52)로부터 공급된 정보에 기초하여 양자화 파라미터를 복원하여 역양자화부(53)로 출력한다. 도 19는, 양자화 파라미터 산출부의 구성을 나타내고 있으며, 양자화 파라미터 산출부(59)는 연산부(591)와 양자화 파라미터 메모리부(592)를 갖고 있다.
연산부(591)는 가역 복호부(52)로부터 공급된 정보와 양자화 파라미터 메모리부(592)에 기억되어 있는 양자화 파라미터를 이용하여, 복호 대상 블록에서 행해지고 있는 부호화에서의 양자화에서 이용된 양자화 파라미터를 복원하여 역양자화부(53)로 출력한다. 또한, 연산부(591)는 복호 대상 블록의 양자화 파라미터를 양자화 파라미터 메모리부(592)에 기억시킨다.
연산부(591)는 예를 들어 픽처 파라미터 세트로부터 취출한 「pic_init_qp_minus26」과, 슬라이스 헤더로부터 취출한 「slice_qp_delta」를 이용하여, 수학식 30의 연산을 행하고, 양자화 파라미터 SliceQPY를 산출하여 역양자화부(53)로 출력한다.
또한, 연산부(591)는 가역 복호부(52)로부터 공급된 식별 정보 및 차분 정보와, 양자화 파라미터 메모리부(592)에 기억되어 있는 복호 완료 블록의 양자화 파라미터를 이용하여, 복호 대상 블록의 양자화 파라미터를 산출한다. 연산부(591)는 산출한 양자화 파라미터를 역양자화부(53)로 출력한다. 이 경우, 연산부(591)는 양자화 파라미터 메모리부(592)에 기억되어 있는 복호 완료 블록의 양자화 파라미터로부터, 복호 대상 블록에 대하여 공간적 또는 시간적으로 주위의 복호 완료인 블록의 양자화 파라미터를 판독한다. 연산부(591)는 차분 연산부(192)와 마찬가지로 하여 선택 후보를 설정한다. 예를 들어 연산부(591)는 적어도 양자화 파라미터가 중복되는 블록 또는 양자화 파라미터를 이용한 역양자화가 행해지지 않는 블록을 제외하여 선택 후보로 한다. 또한, 연산부(591)는 각 후보의 양자화 파라미터에 대하여 차분 연산부(192)와 동일한 식별 정보 예를 들어 인덱스(ref_qp_block_index)를 설정한다. 즉, 연산부(591)는 인접하는 복호 완료 블록을 소정의 배열 순서로 하여, 인덱스(ref_qp_block_index)를 설정한다. 연산부(591)는 가역 복호부(52)로부터 공급된 식별 정보에 대응하는 양자화 파라미터 「ref_qp(ref_qp_block_index)」, 즉 예측 양자화 파라미터와, 가역 복호부(52)로부터 공급된 차분 정보로 나타낸 차분(qb_qp_delta)을 이용하여 수학식 31의 연산을 행한다. 연산부(91)는 산출한 양자화 파라미터(CurrentQP)를 복호 대상인 양자화 파라미터로서 역양자화부(53)로 출력한다. 또한, 선택 후보가 없는 경우, 연산부(591)는 슬라이스에서의 초기값의 양자화 파라미터를 역양자화부(53)로 출력한다.
또한, 연산부(591)는 스트림 정보로부터 블록의 배열 순서를 지정하는 정보가 취출되어 있는 경우, 복호 완료 블록을 지정된 배열 순서로 하여, 인덱스(ref_qp_block_index)를 설정한다. 이와 같이 하면, 화상 부호화 장치(10)에서 배열 순서가 변경되어도, 화상 복호 장치(50)는 화상 부호화 장치(10)에서 이용된 양자화 파라미터를 복원할 수 있다.
도 18로 되돌아가서, 프레임 메모리(61)는 디블로킹 필터(24)로 필터 처리가 행해진 후의 복호 화상 데이터를 참조 화상 데이터로서 기억한다.
인트라 예측부(71)는 가역 복호부(52)로부터 공급된 예측 모드 정보와 가산부(55)로부터 공급된 복호 화상 데이터에 기초하여 예측 화상 데이터의 생성을 행하고, 생성한 예측 화상 데이터를 셀렉터(73)로 출력한다.
움직임 보상부(72)는 가역 복호부(52)로부터 공급된 예측 모드 정보나 차분 움직임 벡터에 기초하여 프레임 메모리(61)로부터 참조 화상 데이터를 판독하여 움직임 보상을 행하고, 예측 화상 데이터를 생성한다. 움직임 보상부(72)는 생성한 예측 화상 데이터를 셀렉터(73)로 출력한다. 또한, 움직임 보상부(72)는 움직임 벡터의 크기에 따라서, 필터 특성을 전환하여 예측 화상 데이터의 생성을 행한다.
셀렉터(73)는 가역 복호부(52)로부터 공급된 예측 모드 정보에 기초하여, 인트라 예측인 경우에는 인트라 예측부(71), 인터 예측인 경우에는 움직임 보상부(72)를 선택한다. 셀렉터(73)는 선택된 인트라 예측부(71) 또는 움직임 보상부(72)에서 생성된 예측 화상 데이터를 가산부(55)로 출력한다.
셀렉터(73)는 가역 복호부(52)로부터 공급된 예측 모드 정보에 기초하여, 인트라 예측인 경우에는 인트라 예측부(71), 인터 예측인 경우에는 움직임 보상부(72)를 선택한다. 셀렉터(73)는 선택된 인트라 예측부(71) 또는 움직임 보상부(72)에서 생성된 예측 화상 데이터를 가산부(55)로 출력한다.
<5. 화상 복호 장치의 동작>
이어서, 도 20의 흐름도를 참조하여, 화상 복호 장치(50)의 동작에 대하여 설명한다.
스텝 ST91에서 축적 버퍼(51)는 공급된 스트림 정보를 축적한다. 스텝 ST92에서 가역 복호부(52)는 가역 복호 처리를 행한다. 가역 복호부(52)는 축적 버퍼(51)로부터 공급되는 스트림 정보를 복호한다. 즉, 도 3의 가역 부호화부(16)에 의해 부호화된 각 픽처의 양자화 데이터가 얻어진다. 또한, 가역 복호부(52), 스트림 정보에 포함되어 있는 예측 모드 정보 등의 가역 복호를 행하고, 얻어진 예측 모드 정보가 인트라 예측 모드에 관한 정보인 경우, 예측 모드 정보를 인트라 예측부(71)로 출력한다. 또한, 가역 복호부(52)는 예측 모드 정보가 인터 예측 모드에 관한 정보인 경우, 예측 모드 정보를 움직임 보상부(72)로 출력한다. 또, 가역 복호부(52)는 스트림 정보를 복호하여 얻어진 차분 움직임 벡터나 임계값 또는 임계값 생성 정보를 움직임 보상부(72)로 출력한다.
스텝 ST93에서 역양자화부(53)는 역양자화 처리를 행한다. 역양자화부(53)는 가역 복호부(52)에 의해 복호된 양자화 데이터를, 도 3의 양자화부(15)의 특성에 대응하는 특성으로 역양자화한다.
스텝 ST94에서 역직교 변환부(54)는 역직교 변환 처리를 행한다. 역직교 변환부(54)는 역양자화부(53)에 의해 역양자화된 변환 계수 데이터를, 도 3의 직교 변환부(14)의 특성에 대응하는 특성으로 역직교 변환한다.
스텝 ST95에서 가산부(55)는 복호 화상 데이터의 생성을 행한다. 가산부(55)는 역직교 변환 처리를 행함으로써 얻어진 데이터와, 후술하는 스텝 ST99에서 선택된 예측 화상 데이터를 가산하여 복호 화상 데이터를 생성한다. 이에 의해원래의 화상이 복호된다.
스텝 ST96에서 디블로킹 필터(56)는, 필터 처리를 행한다. 디블로킹 필터(56)는, 가산부(55)로부터 출력된 복호 화상 데이터의 디블로킹 필터 처리를 행하고, 복호 화상에 포함되어 있는 블록 왜곡을 제거한다.
스텝 ST97에서 프레임 메모리(61)는 복호 화상 데이터의 기억 처리를 행한다. 또한, 프레임 메모리(61)에 기억된 복호 화상 데이터나 가산부(55)로부터 출력되는 복호 화상 데이터는, 참조 화상 데이터로서 예측 화상 데이터의 생성에서 이용된다.
스텝 ST98에서 인트라 예측부(71)와 움직임 보상부(72)는 예측 화상 생성 처리를 행한다. 인트라 예측부(71)와 움직임 보상부(72)는 가역 복호부(52)로부터 공급되는 예측 모드 정보에 대응하여 각각 예측 화상 생성 처리를 행한다.
즉, 가역 복호부(52)로부터 인트라 예측의 예측 모드 정보가 공급된 경우, 인트라 예측부(71)는 예측 모드 정보에 기초하여 예측 화상 데이터를 생성한다. 또한, 가역 복호부(52)로부터 인터 예측의 예측 모드 정보가 공급된 경우, 움직임 보상부(72)는 예측 모드 정보에 기초하여 움직임 보상을 행하고, 예측 화상 데이터를 생성한다.
스텝 ST99에서, 셀렉터(73)는 예측 화상 데이터의 선택을 행한다. 셀렉터(73)는 인트라 예측부(71)로부터 공급된 예측 화상과 움직임 보상부(72)로부터 공급된 예측 화상 데이터의 선택을 행하고, 선택한 예측 화상 데이터를 가산부(55)에 공급하여, 전술한 바와 같이, 스텝 ST95에서 역직교 변환부(54)의 출력과 가산시킨다.
스텝 ST100에서 화면 재배열 버퍼(57)는 화상 재배열을 행한다. 즉 화면 재배열 버퍼(57)는 도 3의 화상 부호화 장치(10)의 화면 재배열 버퍼(12)에 의해 부호화를 위해 재배열된 프레임의 순서가, 원래의 표시 순서로 재배열된다.
스텝 ST101에서, D/A 변환부(58)는 화면 재배열 버퍼(57)로부터의 화상 데이터를 D/A 변환한다. 이 화상이 디스플레이(도시생략)로 출력되고, 화상이 표시된다.
이어서, 도 21의 흐름도를 참조하여, 도 20의 스텝 ST98의 예측 화상 생성 처리에 대하여 설명한다.
스텝 ST111에서 가역 복호부(52)는 복호 대상 블록이 인트라 부호화되어 있는지 여부를 판정한다. 가역 복호부(52)는 가역 복호를 행함으로써 얻어진 예측 모드 정보가 인트라 예측의 예측 모드 정보인 경우, 예측 모드 정보를 인트라 예측부(71)에 공급하여 스텝 ST112로 진행한다. 또한, 가역 복호부(52)는 예측 모드 정보가 인터 예측의 예측 모드 정보인 경우, 예측 모드 정보를 움직임 보상부(72)에 공급하여 스텝 ST113으로 진행한다.
스텝 ST112에서 인트라 예측부(71)는 인트라 예측 화상 생성 처리를 행한다. 인트라 예측부(71)는 가산부(55)로부터 공급된 디블록 필터 처리 전의 복호 화상 데이터와 예측 모드 정보를 이용하여 인트라 예측을 행하고, 예측 화상 데이터를 생성한다.
스텝 ST113에서 움직임 보상부(72)는 인터 예측 화상 생성 처리를 행한다. 움직임 보상부(72)는 가역 복호부(52)로부터 공급된 예측 모드 정보 등의 정보에 기초하여, 프레임 메모리(61)로부터 참조 화상 데이터를 판독하여 예측 화상 데이터의 생성을 행한다.
도 22는, 복호에서의 양자화 파라미터에 대한 처리를 나타내는 흐름도이다. 스텝 ST121에서 화상 복호 장치(50)는 양자화 파라미터 유닛 최소 크기를 구하기 위한 정보의 취출을 행한다. 화상 복호 장치(50)는 부호화 파라미터 유닛 최소 크기를 구하기 위한 정보, 예를 들어 「log2_min_qp_unit_size_offset」을 스트림 정보로부터 취출하여 스텝 ST122로 진행한다.
스텝 ST122에서 화상 복호 장치(50)는 양자화 파라미터 유닛 최소 크기를 산출한다. 화상 복호 장치(50)는 「log2_min_qp_unit_size_offset」과, 트랜스폼 유닛 최소 크기(MinTransformUnitSize)를 정하는 파라미터 「log2_min_transform_unit_size_minus2」를 이용하여 수학식 26의 연산을 행하고, 양자화 파라미터 유닛 최소 크기(MinQpUnitSize)를 산출한다. 또한, 화상 복호 장치(50)는 수학식 29의 연산에 의해 양자화 파라미터 유닛 최소 크기(MinQpUnitSize)를 산출하여도 된다.
스텝 ST123에서 화상 복호 장치(50)는 복호할 프레임이 존재하는지를 판별한다. 화상 복호 장치(50)는 복호할 프레임이 존재하는 경우에는 스텝 ST124로 진행하고, 복호할 프레임이 존재하지 않는 경우에는 처리를 종료한다.
스텝 ST124에서 화상 복호 장치(50)는 복호할 슬라이스가 존재하는지를 판별한다. 화상 복호 장치(50)는 복호할 슬라이스가 존재하는 경우에는 스텝 ST125로 진행하고, 복호할 슬라이스가 존재하지 않는 경우에는 스텝 ST123으로 복귀된다.
스텝 ST125에서 화상 복호 장치(50)는 슬라이스에서의 초기값의 양자화 파라미터를 구하기 위한 정보의 취출을 행한다. 화상 복호 장치(50)의 가역 복호부(52)는 예를 들어 픽처 파라미터 세트(PPS: picture parameter set)로부터 「pic_init_qp_minus26」을 취출한다. 또한 슬라이스 헤더로부터 「slice_qp_delta」를 취출하여 스텝 ST126으로 진행한다.
스텝 ST126에서 화상 복호 장치(50)는 슬라이스에서의 초기값의 양자화 파라미터를 산출한다. 화상 복호 장치(50)의 양자화 파라미터 산출부(59)는 「pic_init_qp_minus26」과 「slice_qp_delta」를 이용하여 수학식 30의 연산을 행하고, 양자화 파라미터 SliceQPY를 산출하여 스텝 ST127로 진행한다.
스텝 ST127에서 화상 복호 장치(50)는 복호할 코딩 유닛 CU가 존재하는지를 판별한다. 화상 복호 장치(50)는 복호할 코딩 유닛이 존재하는 경우에는 스텝 ST128로 진행하고, 존재하지 않는 경우에는 스텝 ST124로 복귀된다.
스텝 ST128에서 화상 복호 장치(50)는 선택 후보에 식별 정보를 설정한다. 화상 복호 장치(50)의 양자화 파라미터 산출부(59)는 화상 부호화 장치(10)의 정보 생성부(19)와 마찬가지로 하여, 선택 후보에 식별 정보를 설정한다. 즉, 양자화 파라미터 산출부(59)는 복호할 코딩 유닛에 대하여 공간적 또는 시간적으로 주위의 복호 완료 코딩의 양자화 파라미터를 후보로 한다. 또한, 양자화 파라미터 산출부(59)는 스킵 블록이나 잔차 정보가 없기 때문에 블록에 대하여 양자화 파라미터가 설정되어 있지 않은 경우 및 양자화 파라미터가 다른 후보와 동일한 경우, 후보로부터 제외한다. 양자화 파라미터 산출부(59)는 각 후보의 양자화 파라미터에 대하여 화상 부호화 장치(10)와 동일한 식별 정보 예를 들어 인덱스(ref_qp_block_index)를 설정하여 스텝 ST129로 진행한다.
스텝 ST129에서 화상 복호 장치(50)는 식별 정보와 차분 정보를 취득한다. 화상 복호 장치(50)의 가역 복호부(52)는 화상 부호화 장치(10)에서 스트림 정보에 포함된 식별 정보와 차분 정보, 즉 인덱스(ref_qp_block_index)와 차분(qb_qp_delta)을 취출한다. 가역 복호부(52)는 취출한 식별 정보와 차분 정보를 양자화 파라미터 산출부(59)에 공급하여 스텝 ST130으로 진행한다.
스텝 ST130에서 화상 복호 장치(50)는 식별 정보와 차분 정보를 이용하여 양자화 파라미터의 산출을 행한다. 화상 복호 장치(50)의 양자화 파라미터 산출부(59)는 식별 정보인 인덱스(ref_qp_block_index)에 대응하는 양자화 파라미터 「ref_qp(ref_qp_block_index)」와, 차분 정보인 차분(qb_qp_delta)을 이용하여, 수학식 31의 연산을 행한다. 즉, 예측 양자화 파라미터에 대하여 차분을 가산함으로써, 복호 대상인 코딩 유닛의 양자화 파라미터를 산출한다. 양자화 파라미터 산출부(59)는 산출된 복호 대상인 코딩 유닛의 양자화 파라미터(CurrentQP)를 역양자화부(53)로 출력하여 스텝 ST124로 복귀된다.
이와 같이, 스트림 정보에 포함된 식별 정보와 차분 정보를 이용함으로써, 스트림 정보에 각 블록의 양자화 파라미터가 포함되어 있지 않아도 복호 대상 블록에 관한 양자화 파라미터를 복원할 수 있다. 즉, 화상 부호화 장치(10)에서 식별 정보와 차분 정보를 이용함으로써 양자화 파라미터의 부호화 효율이 향상되어 있어도, 화상 복호 장치(50)에서는, 각 블록에 관한 양자화 파라미터를 복원하여 정확하게 복호 처리를 행하고 복호 화상을 생성할 수 있다.
<6. 화상 부호화 장치와 화상 복호 장치의 다른 동작>
전술한 화상 부호화 장치와 화상 복호 장치의 동작에서는, 부호화 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 부호화 완료 블록의 양자화 파라미터를 선택 후보로 한다. 또한, 부호화 대상 블록에 대하여 설정된 양자화 파라미터에 따라서 선택 후보로부터 선택한 양자화 파라미터를 예측 양자화 파라미터로 한다. 또한, 선택 후보로부터 예측 양자화 파라미터를 선택하기 위한 식별 정보와, 예측 양자화 파라미터와 부호화 대상 블록에 대하여 설정된 양자화 파라미터의 차분을 나타내는 차분 정보를 스트림 정보에 포함함으로써, 양자화 파라미터의 부호화 효율의 향상이 도모되고 있다.
그러나, 선택 후보는 공간적 또는 시간적으로 인접하는 부호화 완료 블록의 양자화 파라미터에 한하지 않고, 마지막으로 갱신된 양자화 파라미터를 선택 후보에 포함시켜도 된다. 마지막으로 갱신된 양자화 파라미터를 선택 후보에 포함함으로써, 후술하는 바와 같이, 공간적 또는 시간적으로 인접하는 부호화 완료 블록이 역양자화를 수반하지 않는 블록이어도, 부호화 대상 블록에 가까운 위치의 블록의 양자화 파라미터를 예측 양자화 파라미터로서 설정할 수 있다. 또한, 선택 후보의 양자화 파라미터로부터 암묵적 또는 명시적으로 양자화 파라미터를 예측하여, 예측한 양자화 파라미터와 부호화 대상 블록의 양자화 파라미터의 차분을 나타내는 차분 정보를 생성하여도 된다.
이어서, 화상 부호화 장치와 화상 복호 장치의 다른 동작으로서, 양자화 파라미터 유닛 최소 크기(MinQpUnitSize)를 코딩 유닛 사이즈에 따라서 결정하고, 선택 후보의 양자화 파라미터로부터 암묵적 또는 명시적으로 예측 양자화 파라미터를 선택하는 경우에 대하여 설명한다. 이하, 전술한 화상 부호화 장치와 화상 복호 장치에 대한 차이 부분에 대하여 설명한다.
화상 부호화 장치는, 선택 후보의 양자화 파라미터로부터 암묵적 또는 명시적으로 예측 양자화 파라미터를 선택하는 경우, 양자화 파라미터를 암묵적으로 결정하는지 명시적으로 결정하는지를 나타내는 판별 정보 「qp_explicit_flag」를 스트림 정보에 포함시킨다. 또한, 화상 부호화 장치와 화상 복호 장치에서, 양자화 파라미터를 암묵적으로 결정하는지 명시적으로 결정하는지 미리 정해두도록 해도 된다.
암묵적으로 양자화 파라미터를 결정함이란, 선택 후보로부터 예측 양자화 파라미터를 선택하기 위한 식별 정보를 화상 부호화 장치로부터 화상 복호 장치에 공급하지 않고, 화상 복호 장치에서 화상 부호화 장치와 동일한 예측 양자화 파라미터를 선택할 수 있음을 의미한다. 구체적으로는, 선택 후보로부터 미리 정해진 우선 순위에 기초하여 양자화 파라미터 선택하여 예측 양자화 파라미터를 결정하는 방법, 선택 후보의 양자화 파라미터의 통계값을 예측 양자화 파라미터로 하는 방법, 현재의 블록으로부터의 거리에 따라서 선택 후보의 양자화 파라미터의 가중치 부여를 행하고, 가중치 부여 후의 양자화 파라미터의 통계값을 예측 양자화 파라미터로 하는 방법 등이 이용된다.
명시적으로 양자화 파라미터를 결정함이란, 선택 후보로부터 예측 양자화 파라미터를 선택하기 위한 식별 정보를 화상 부호화 장치로부터 화상 복호 장치에 공급함으로써, 화상 복호 장치가 화상 부호화 장치와 동일한 예측 양자화 파라미터를 선택할 수 있음을 의미한다. 구체적으로는, 화상 부호화 장치에서 선택 후보를 지정하는 인덱스 정보를 계산하여 스트림 정보에 포함시키고, 화상 복호 장치에서는, 예측 양자화 파라미터로서 인덱스 정보로 나타낸 선택 후보의 양자화 파라미터를 이용하는 방법, 양자화가 행해지지 않는 블록에 대하여 인덱스 정보를 포함하지 않는 방법 등이 이용된다.
도 23은, 화상 부호화 장치의 다른 동작을 설명하기 위한 흐름도로서, 슬라이스 부호화 처리를 나타내고 있다. 스텝 ST141에서 화상 부호화 장치(10)는 부호화할 코딩 유닛 CU가 존재하는지를 판별한다. 화상 부호화 장치(10)는 부호화 처리하는 슬라이스에서, 부호화 처리가 행해지고 있지 않은 코딩 유닛이 존재하는 경우에는 스텝 ST142로 진행한다. 또한, 화상 부호화 장치(10)는 슬라이스 내의 모든 코딩 유닛의 부호화 처리가 완료된 경우에는, 슬라이스 부호화 처리를 종료한다.
스텝 ST142에서 화상 부호화 장치(10)는 코딩 유닛 CU의 분할을 행한다. 화상 부호화 장치(10)는 도 5에 도시한 바와 같이 코딩 유닛의 분할을 행하고, 비용 함수값이 작아지는 코딩 유닛의 크기를 결정하여 스텝 ST143으로 진행한다. 또한, 화상 부호화 장치(10)는 비용 함수값이 작아지는 코딩 유닛의 크기를 판별 가능하게 하기 때문에, 도 5에 도시한 split flag에 상당하는 「split_coding_unit_flag」를 스트림 정보에 포함시킨다. 예를 들어 「Coding tree syntax」에 포함시킨다.
스텝 ST143에서 화상 부호화 장치(10)는 부호화할 코딩 유닛 CU가, 역양자화를 수반하는지를 판별한다. 화상 부호화 장치(10)는 부호화할 코딩 유닛 CU가, 복호를 행할 때에 양자화 파라미터를 이용한 역양자화를 행할 필요가 없는 모드, 예를 들어 스킵 모드나 I_PCM 모드, 다이렉트 모드(CBP(Coded Block Pattern)=0)가 블록인 경우에 스텝 ST141로 복귀되고, 역양자화를 행하는 블록인 경우에 스텝 ST144로 진행한다.
스텝 ST144에서 화상 부호화 장치(10)는 코딩 유닛 CU의 크기가 「log2MinQpUnitSize」 이상인지를 판별한다. 화상 부호화 장치(10)는 코딩 유닛의 크기가 「log2MinQpUnitSize」 이상인 경우, 스텝 ST145로 진행한다. 또한, 화상 부호화 장치(10)는 코딩 유닛의 크기가 「log2MinQpUnitSize」 이상이 아닌 경우에는 스텝 ST152로 진행한다.
스텝 ST145에서 화상 부호화 장치(10)는 부호화할 코딩 유닛 CU의 양자화 파라미터 QP를 결정한다. 화상 부호화 장치(10)의 레이트 제어부(18)는 전술한 바와 같이 코딩 유닛 화상의 복잡함에 따라서, 또는 비용 함수값이 작아지도록 양자화 파라미터를 결정하여 스텝 ST146으로 진행한다.
스텝 ST146에서 화상 부호화 장치(10)는 암묵적 또는 명시적 중 어느 하나로 양자화 파라미터를 예측하는지를 식별 가능하게 하기 위한 판별 정보 「qp_explicit_flag」가 「1」인지를 판별한다. 화상 부호화 장치(10)는 판별 정보 「qp_explicit_flag」가 「1」이며, 명시적으로 양자화 파라미터를 예측하는 경우에는 스텝 ST147로 진행한다. 또한, 화상 부호화 장치(10)는 판별 정보 「qp_explicit_flag」가 「0」이며, 암묵적으로 양자화 파라미터를 예측하는 경우에는 스텝 ST149로 진행한다. 화상 부호화 장치(10)는 예를 들어 판별 정보 「qp_explicit_flag」를 「1」로 한 경우의 비용 함수값과, 판별 정보 「qp_explicit_flag」를 「0」으로 한 경우의 비용 함수값을 비교한다. 화상 부호화 장치(10)는 비교 결과에 기초하여 부호화 효율이 높아지도록 판별 정보 「qp_explicit_flag」의 값을 설정한다. 또한, 유저에 의해 판별 정보 「qp_explicit_flag」가 설정 가능한 경우, 화상 부호화 장치(10)는 유저의 지시에 따라서 판별 정보 「qp_explicit_flag」를 설정한다.
스텝 ST147에서 화상 부호화 장치(10)는 식별 정보의 생성을 행한다. 화상 부호화 장치(10)는 전술한 바와 같이 정보 생성부(19)에서 부호화 대상인 코딩 유닛의 양자화 파라미터와의 차분이 가장 작아지는 후보를 선택 후보로부터 선택하여 예측 양자화 파라미터로 한다. 화상 부호화 장치(10)는 예를 들어 부호화 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 부호화 완료 블록의 양자화 파라미터, 마지막으로 갱신된 양자화 파라미터, 슬라이스의 선두 블록에 설정된 양자화 파라미터를 선택 후보로 한다. 화상 부호화 장치(10)는 선택 후보로부터 부호화 대상인 코딩 유닛의 양자화 파라미터와의 차분이 가장 작아지는 후보를 선택하여 예측 양자화 파라미터로 한다. 또한 정보 생성부(19)는 선택한 후보의 인덱스(ref_qp_block_index)를 선택 후보로부터 예측 양자화 파라미터를 선택하기 위한 식별 정보로서 스텝 ST148로 진행한다.
스텝 ST148에서 화상 부호화 장치(10)는 식별 정보를 스트림 정보에 포함시킨다. 화상 부호화 장치(10)는 스텝 ST147에서 생성한 식별 정보를 스트림 정보에 포함시켜 스텝 ST150으로 진행한다.
스텝 ST149에서 화상 부호화 장치(10)는 암묵적으로 예측 양자화 파라미터dQP를 결정한다. 즉, 화상 부호화 장치(10)는 화상 복호 장치(50)와 동일한 방법으로 양자화 파라미터를 예측한다. 양자화 파라미터를 예측하는 방법으로서는, 예를 들어 미리 결정된 우선 순위에 기초하여 예측 양자화 파라미터를 결정한다. 또한, 후보가 되는 복수의 양자화 파라미터의 통계값을 예측 양자화 파라미터로 해도 된다. 또한, 현재의 블록으로부터의 거리에 따라서 가중치 부여가 행해진 후보의 양자화 파라미터의 통계값을 예측 양자화 파라미터로 하는 방법 등을 이용할 수도 있다. 화상 부호화 장치(10)는 예측 양자화 파라미터를 산출하여 스텝 ST150으로 진행한다.
스텝 ST150에서 화상 부호화 장치(10)는 차분 정보를 생성한다. 화상 부호화 장치(10)는 스텝 ST147에서 생성한 식별 정보로 나타낸 예측 양자화 파라미터와 스텝 ST145에서 결정된 양자화 파라미터의 차분 또는 스텝 ST149에서 결정된 예측 양자화 파라미터와 스텝 ST145에서 결정된 양자화 파라미터의 차분을 산출한다. 화상 부호화 장치(10)는 산출된 차분을 나타내는 차분 정보를 생성하여 스텝 ST151로 진행한다.
스텝 ST151에서 화상 부호화 장치(10)는 차분 정보와 판별 정보를 스트림 정보에 포함시킨다. 화상 부호화 장치(10)는 스텝 ST151에서 생성한 차분 정보와 스텝 ST146에서 이용한 판별 정보 「qp_explicit_flag」를 스트림 정보에 포함시킨다. 화상 부호화 장치(10)는 예를 들어 시퀀스 파라미터 세트 또는 픽처 파라미터 세트, 슬라이스 헤더 등의 어느 하나에 판별 정보를 포함시켜 스텝 ST152로 진행한다.
스텝 ST152에서 화상 부호화 장치(10)는 코딩 유닛 CU의 양자화를 행한다. 화상 부호화 장치(10)는 결정되어 있는 양자화 파라미터를 이용하여 코딩 유닛의 양자화를 행하고 스텝 ST141로 복귀된다.
도 24는, 암묵적으로 양자화 파라미터를 예측하는 경우의 동작예, 도 25는, 암묵적으로 양자화 파라미터를 예측하는 경우의 흐름도예를 나타내고 있다. 또한, 설명의 편의를 위해, 선택 후보는 3가지 경우를 나타내고 있다.
도 24의 (A)에 도시한 바와 같이, 부호화 대상 프레임에서의 부호화 대상 블록의 양자화 파라미터는 예를 들어 「QP_O」로 한다. 또한, 3개의 후보는, 좌측에 인접하는 부호화 완료 블록의 양자화 파라미터 「QP_A」, 인접하는 부호화 완료 블록의 양자화 파라미터 「QP_B」, 디코드 완료 코딩 유닛의 양자화 파라미터 「QP_LS」로 한다.
도 25에서, 스텝 ST161에서 화상 부호화 장치(10)는 양자화 파라미터 「QP_A」 「QP_B」가 참조 가능한지를 판별한다. 화상 부호화 장치(10)는 좌측에 인접하는 부호화 완료 블록 및 상측에 인접하는 부호화 완료 블록이, 역양자화를 행할 필요가 없는 모드, 예를 들어 스킵 모드나 I_PCM 모드, 다이렉트 모드(CBP(Coded Block Pattern)=0)의 블록이 아닌 경우, 참조 가능하다고 판별하여 스텝 ST162로 진행한다. 또한, 화상 부호화 장치(10)는 양자화 파라미터 「QP_A」와 양자화 파라미터 「QP_B」 중 적어도 어느 하나가 역양자화를 행할 필요가 없는 모드인 경우, 스텝 ST163으로 진행한다.
스텝 ST162에서 화상 부호화 장치(10)는 양자화 파라미터 「QP_A」 「QP_B」의 평균값을 예측 양자화 파라미터 dQP로 한다. 즉, 도 24의 (B)에 도시한 바와 같이, 양자화 파라미터 「QP_A」「QP_B」가 참조 가능한 경우에는, 양자화 파라미터 「QP_A」 「QP_B」의 평균값 「(QP_A+QP_B+1)/2」를 예측 양자화 파라미터 dQP로 한다.
스텝 ST163에서 화상 부호화 장치(10)는 양자화 파라미터 「QP_A」가 참조가능한지를 판별한다. 화상 부호화 장치(10)는 좌측에 인접하는 부호화 완료 블록이 역양자화를 행할 필요가 없는 모드가 아닌 경우, 참조 가능하다고 판별하여 스텝 ST164로 진행한다. 또한, 화상 부호화 장치(10)는 좌측에 인접하는 부호화 완료 블록이 역양자화를 행할 필요가 없는 모드인 경우, 참조 가능하지 않다고 판별하여 스텝 ST165로 진행한다.
스텝 ST164에서 화상 부호화 장치(10)는 양자화 파라미터 「QP_A」를 예측 양자화 파라미터 dQP로 한다. 즉, 도 24의 (C)에 도시한 바와 같이, 양자화 파라미터 「QP_A」가 참조 가능하고, 양자화 파라미터 「QP_B」가 참조 가능하지 않은 경우, 양자화 파라미터 「QP_A」를 예측 양자화 파라미터 dQP로 한다. 또한, 도 24 및 후술하는 도 26에서는, 역양자화를 행할 필요가 없는 모드의 블록, 즉 참조가능하지 않은 블록을 사선으로 나타낸다.
스텝 ST165에서 화상 부호화 장치(10)는 양자화 파라미터 「QP_B」가 참조 가능한지를 판별한다. 화상 부호화 장치(10)는 상측에 인접하는 부호화 완료 블록이, 역양자화를 행할 필요가 없는 모드가 아닌 경우, 참조 가능하다고 판별하여 스텝 ST166으로 진행한다. 또한, 화상 부호화 장치(10)는 상측에 인접하는 부호화 완료 블록이, 역양자화를 행할 필요가 없는 모드인 경우, 참조 가능하지 않다고 판별하여 스텝 ST167로 진행한다.
스텝 ST166에서 화상 부호화 장치(10)는 양자화 파라미터 「QP_B」를 예측 양자화 파라미터 dQP로 한다. 즉, 도 24의 (D)에 도시한 바와 같이, 양자화 파라미터 「QP_B」가 참조 가능하고, 양자화 파라미터 「QP_A」가 참조 가능하지 않은 경우, 양자화 파라미터 「QP_B」를 예측 양자화 파라미터 dQP로 한다.
스텝 ST167에서 화상 부호화 장치(10)는 양자화 파라미터 「QP_LS」를 예측 양자화 파라미터 dQP로 한다. 도 24의 (E)에 도시한 바와 같이, 좌측의 인접 블록과 상측의 인접 블록이 역양자화를 행할 필요가 없는 모드인 경우, 양자화 파라미터 「QP_LS」를 예측 양자화 파라미터 dQP로 한다.
도 26은, 암묵적으로 양자화 파라미터를 예측하는 경우의 다른 동작예를 나타내고 있다. 예를 들어, 도 24의 (E)에 도시한 바와 같이, 좌측의 인접 블록과 상측의 인접 블록이 역양자화를 행할 필요가 없는 모드인 경우, 선택 후보를 늘려서 예측 양자화 파라미터의 생성을 행하도록 해도 된다. 예를 들어, 도 26의 (A)에 도시한 바와 같이, 우측 상단에 인접하는 부호화 완료 블록의 양자화 파라미터 「QP_C」, 좌측 상단에 인접하는 부호화 완료 블록의 양자화 파라미터 「QP_D」, 좌측 하단에 인접하는 부호화 완료 블록의 양자화 파라미터 「QP_E」를 선택 후보에 추가한다.
화상 부호화 장치(10)는 도 26의 (B)에 도시한 바와 같이, 양자화 파라미터 「QP_C」 「QP_D」 「QP_E」가 참조 가능한 경우에는, 양자화 파라미터 「QP_C」 「QP_D」의 평균값 「(QP_C+QP_D+1)/2」 또는 메디안을 예측 양자화 파라미터 dQP로 한다.
화상 부호화 장치(10)는 도 26의 (C)에 도시한 바와 같이, 양자화 파라미터 「QP_C」 「QP_D」가 참조 가능한 경우에는, 양자화 파라미터 「QP_C」 「QP_D」의 평균값 「(QP_C+QP_D+1)/2」를 예측 양자화 파라미터 dQP로 한다.
화상 부호화 장치(10)는 도 26의 (D)에 도시한 바와 같이, 양자화 파라미터 「QP_D」 「QP_E」가 참조 가능한 경우에는, 양자화 파라미터 「QP_D」 「QP_E」의 평균값 「(QP_D+QP_E+1)/2」를 예측 양자화 파라미터 dQP로 한다.
화상 부호화 장치(10)는 도 26의 (E)에 도시한 바와 같이, 양자화 파라미터 「QP_C」 「QP_E」가 참조 가능한 경우에는, 양자화 파라미터 「QP_C」 「QP_E」의 평균값 「(QP_C+QP_E+1)/2」를 예측 양자화 파라미터 dQP로 한다.
화상 부호화 장치(10)는 도 26의 (F)에 도시한 바와 같이, 양자화 파라미터 「QP_C」 「QP_D」 「QP_E」가 참조 가능하지 않은 경우, 양자화 파라미터 「QP_LS」를 예측 양자화 파라미터 dQP로 한다. 또한, 도 27은, 도 24의 (B) 내지 (D)와 도 26의 (B) 내지 (F)의 동작을 행하는 프로그램을 나타내고 있다.
또한, 도 26의 (G) 내지 (I)에 도시한 바와 같이, 참조 가능한 양자화 파라미터가 하나인 경우에는, 이 참조 가능한 양자화 파라미터를 예측 양자화 파라미터dQP로서 이용하도록 해도 된다.
이와 같이, 화상 부호화 장치(10)는 부호화 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 부호화 완료 블록 등의 양자화 파라미터를 선택 후보로 하여, 설정된 양자화 파라미터에 따라서 선택 후보로부터 예측 양자화 파라미터를 선택한다. 또한, 화상 부호화 장치(10)는 선택 후보로부터 예측 양자화 파라미터를 선택하기 위한 식별 정보를 생성한다. 또한, 화상 부호화 장치(10)는 예측 양자화 파라미터와 부호화 대상 블록에 설정된 양자화 파라미터의 차분을 나타내는 차분 정보를 생성한다. 화상 부호화 장치(10)는 생성한 식별 정보와 차분 식별을 스트림 정보에 포함시킨다. 이러한 처리를 행함으로써, 부호화 대상 블록의 양자화 파라미터와 예측 양자화 파라미터의 차분이 큰 값으로 되는 것을 방지하는 것이 가능해진다. 이로 인해, 화상 부호화 장치(10)는 양자화 파라미터의 부호화 효율을 향상시킬 수 있다.
또한, 암묵적으로 양자화 파라미터를 예측하는 경우, 선택 후보로부터 예측 양자화 파라미터를 선택하기 위한 식별 정보를 스트림 정보에 포함시키지 않고, 화상 복호 장치(50)에서 화상 부호화 장치(10)와 동일한 예측 양자화 파라미터를 이용할 수 있다. 또한, 판별 정보를 스트림 정보에 포함함으로써, 명시적인 예측 양자화 파라미터의 예측과 암묵적인 양자화 파라미터의 예측을 적용적으로 전환하는 것이 가능해진다.
도 28은, 화상 복호 장치의 다른 동작을 설명하기 위한 흐름도이다. 화상 복호 장치(50)는 도 22의 스텝 ST127에서, 복호할 코딩 유닛이 존재한다고 판별된 경우, 스텝 ST171로부터의 처리를 행하고, 코딩 유닛의 복호를 행한다.
스텝 ST171에서 화상 복호 장치(50)는 정보의 취출을 행한다. 화상 복호 장치(50)는 스트림 정보로부터 코딩 유닛의 복호에 이용하는 정보를 추출한다. 예를 들어, 코딩 유닛의 크기를 판별 가능하게 하기 위한 정보 「Coding tree syntax」나 양자화 파라미터 유닛 최소 크기를 판별 가능하게 하기 위한 정보 「log2_min_qp_unit_size_offset」, 판별 정보 「qp_explicit_flag」 등을 취출하여 스텝 ST172로 진행한다.
스텝 ST172에서 화상 복호 장치(50)는 코딩 유닛 CU의 분할을 행한다. 화상 복호 장치(50)는 스트림 정보에 포함되어 있는 「split_coding_unit_flag」 등에 기초하여 코딩 유닛 CU의 분할을 행하고 스텝 ST173으로 진행한다.
스텝 ST173에서 화상 복호 장치(50)는 복호할 코딩 유닛 CU가, 역양자화를 수반하는지를 판별한다. 화상 복호 장치(50)는 복호할 코딩 유닛 CU가, 양자화 파라미터를 이용한 역양자화를 행하는 모드인 경우에는 스텝 ST174로 진행하고, 양자화 파라미터를 이용한 역양자화를 행할 필요가 없는 모드인 경우에는 복호 처리를 종료한다.
스텝 ST174에서 화상 복호 장치(50)는 코딩 유닛 CU의 크기가 「log2MinQpUnitSize」 이상인지를 판별한다. 화상 복호 장치(50)는 코딩 유닛의 크기가 「log2MinQpUnitSize」 이상인 경우, 스텝 ST175로 진행한다. 또한, 화상 복호 장치(50)는 코딩 유닛의 크기가 「log2MinQpUnitSize」 이상이 아닌 경우에는 스텝 ST180으로 진행한다.
스텝 ST175에서 화상 복호 장치(50)는 판별 정보 「qp_explicit_flag」가 「1」인지를 판별한다. 화상 복호 장치(50)는 스트림 정보에 포함되어 있는 판별 정보 「qp_explicit_flag」가 「1」로 되어 있으며, 명시적으로 양자화 파라미터를 예측하는 경우에는 스텝 ST176으로 진행한다. 또한, 화상 복호 장치(50)는 판별 정보 「qp_explicit_flag」가 「0」이며, 암묵적으로 양자화 파라미터를 예측하는 경우에는 스텝 ST178로 진행한다.
스텝 ST176에서 화상 복호 장치(50)는 스트림 정보로부터 인덱스(ref_qp_block_index)를 취출하여 스텝 ST177로 진행한다.
스텝 ST177에서 화상 복호 장치(50)는 예측 양자화 파라미터 dQP를 결정한다. 화상 복호 장치(50)는 화상 부호화 장치(10)와 동일한 선택 후보의 양자화 파라미터로부터 인덱스(ref_qp_block_index)에 기초하여 양자화 파라미터를 선택하고, 선택한 양자화 파라미터를 예측 양자화 파라미터 dQP로 결정하여 스텝 ST179로 진행한다.
스텝 ST178에서 화상 복호 장치(50)는 암묵적으로 예측 양자화 파라미터 dQP를 결정한다. 화상 복호 장치(50)는 화상 부호화 장치(10)와 동일한 방법으로 양자화 파라미터를 예측한다. 양자화 파라미터를 예측하는 방법으로서는, 예를 들어 미리 정해진 우선 순위에 기초하여 양자화 파라미터를 결정한다. 또한, 후보가 되는 복수의 양자화 파라미터의 통계값을 예측 양자화 파라미터로 해도 된다. 또, 현재의 블록으로부터의 거리에 따라서 가중치 부여가 행해진 후보의 양자화 파라미터의 통계값을 예측 양자화 파라미터로 하는 방법 등을 이용할 수도 있다. 화상 복호 장치(50)는 양자화 파라미터를 예측하여 스텝 ST179로 진행한다.
스텝 ST179에서 화상 복호 장치(50)는 상기 코딩 유닛 CU의 양자화 파라미터QP를 계산한다. 화상 복호 장치(50)는 스트림 정보로부터 차분 정보 「qb_qp_delta」를 취득하여, 이 차분 정보와 예측 양자화 파라미터 dQP를 가산하고, 복호 대상인 코딩 유닛의 양자화 파라미터를 산출하여 스텝 ST180으로 진행한다.
스텝 ST180에서 화상 복호 장치(50)는 코딩 유닛의 역양자화를 행한다. 화상 복호 장치(50)는 결정되어 있는 양자화 파라미터를 이용하여 코딩 유닛의 역양자화를 행한다.
이와 같이 하면, 화상 복호 장치(50)는 화상 부호화 장치에서 이용되고 있는 양자화 파라미터와 동일한 양자화 파라미터를 이용하여 화상의 복호를 행할 수 있다.
<7. 소프트웨어 처리의 경우>
전술한 일련의 처리는, 하드웨어 또는 소프트웨어 또는 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨하여 실행시킨다. 또는, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것도 가능하다.
도 29는, 전술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터 장치의 개략 구성을 예시한 도면이다. 컴퓨터 장치(80)의 CPU(801)는, ROM(802) 또는 기록부(808)에 기록되어 있는 프로그램에 따라서 각종 처리를 실행한다.
RAM(803)에는, CPU(801)가 실행하는 프로그램이나 데이터 등이 적절히 기억된다. 이들 CPU(801), ROM(802) 및 RAM(803)은, 버스(804)에 의해 서로 접속되어 있다.
CPU(801)에는 또한, 버스(804)를 통해 입출력 인터페이스(805)가 접속되어 있다. 입출력 인터페이스(805)에는, 터치 패널이나 키보드, 마우스, 마이크로폰 등의 입력부(806), 디스플레이 등으로 이루어지는 출력부(807)가 접속되어 있다. CPU(801)는, 입력부(806)로부터 입력되는 명령에 대응하여 각종 처리를 실행한다. 그리고, CPU(801)는 처리 결과를 출력부(807)로 출력한다.
입출력 인터페이스(805)에 접속되어 있는 기록부(808)는 예를 들어 하드디스크를 포함하여 이루어지며, CPU(801)가 실행하는 프로그램이나 각종 데이터를 기록한다. 통신부(809)는 인터넷이나 근거리 네트워크 등의 네트워크나 디지털 방송과 같은 유선 또는 무선의 통신 매체를 통하여 외부의 장치와 통신한다. 또한, 컴퓨터 장치(80)는 통신부(809)를 통해 프로그램을 취득하고, ROM(802)이나 기록부(808)에 기록해도 된다.
드라이브(810)는 자기 디스크, 광 디스크, 광자기 디스크 또는 반도체 메모리 등의 리무버블 미디어(85)가 장착된 경우, 이들을 구동하여, 기록되어 있는 프로그램이나 데이터 등을 취득한다. 취득된 프로그램이나 데이터는, 필요에 따라서 ROM(802)이나 RAM(803) 또는 기록부(808)에 전송된다.
CPU(801)는, 전술한 일련의 처리를 행하는 프로그램을 판독하여 실행하고, 기록부(808)나 리무버블 미디어(85)에 기록되어 있는 화상 신호나, 통신부(809)를 통해 공급된 화상 신호의 부호화 처리나 스트림 정보의 복호 처리를 행한다.
<8. 전자 기기에 적용한 경우>
또한, 이상에서는, 부호화 방식/복호 방식으로서 H.264/AVC 방식이 이용되었지만, 본 기술은, 그 밖의 움직임 예측·보상 처리를 행하는 부호화 방식/복호 방식을 이용하는 화상 부호화 장치/화상 복호 장치에 적용할 수도 있다.
또한, 본 기술은, 예를 들어 MPEG, H.26x 등과 같이 부호화 처리를 행함으로써 얻어진 스트림 정보를, 위성 방송, 케이블 TV(텔레비전), 인터넷 및 휴대 전화기 등의 네트워크 미디어를 통해 수신할 때에, 또는 광, 자기 디스크 및 플래시 메모리와 같은 기억 미디어상에서 처리할 때에 이용되는 화상 부호화 장치 및 화상 복호 장치에 적용할 수 있다.
이어서, 전술한 화상 부호화 장치(10)나 화상 복호 장치(50)가 적용된 전자 기기에 대하여 설명한다.
도 30은, 본 기술을 적용한 텔레비전 장치의 개략 구성을 예시하고 있다. 텔레비전 장치(90)는 안테나(901), 튜너(902), 디멀티플렉서(903), 디코더(904), 영상 신호 처리부(905), 표시부(906), 음성 신호 처리부(907), 스피커(908), 외부 인터페이스부(909)를 갖는다. 또한, 텔레비전 장치(90)는 제어부(910), 유저 인터페이스부(911) 등을 갖는다.
튜너(902)는 안테나(901)로 수신된 방송파 신호로부터 원하는 채널을 선국하여 복조를 행하고, 얻어진 스트림을 디멀티플렉서(903)로 출력한다.
디멀티플렉서(903)는 스트림으로부터 시청 대상인 프로그램의 영상이나 음성의 패킷을 추출하고, 추출한 패킷의 데이터를 디코더(904)로 출력한다. 또한, 디멀티플렉서(903)는 EPG(Electronic Program Guide) 등의 데이터의 패킷을 제어부(910)로 출력한다. 또한, 스크램블이 행해지고 있는 경우, 디멀티플렉서 등으로 스크램블의 해제를 행한다.
디코더(904)는 패킷의 복호 처리를 행하고, 복호 처리화에 의해 생성된 영상 데이터를 영상 신호 처리부(905), 음성 데이터를 음성 신호 처리부(907)로 출력한다.
영상 신호 처리부(905)는 영상 데이터에 대하여 노이즈 제거나 유저 설정에 따른 영상 처리 등을 행한다. 영상 신호 처리부(905)는 표시부(906)에 표시시키는 프로그램의 영상 데이터나, 네트워크를 통해 공급되는 어플리케이션에 기초한 처리에 의한 화상 데이터 등을 생성한다. 또한, 영상 신호 처리부(905)는 항목의 선택 등의 메뉴 화면 등을 표시하기 위한 영상 데이터를 생성하고, 이것을 프로그램의 영상 데이터에 중첩한다. 영상 신호 처리부(905)는 이와 같이 하여 생성한 영상 데이터에 기초하여 구동 신호를 생성하여 표시부(906)를 구동한다.
표시부(906)는 영상 신호 처리부(905)로부터의 구동 신호에 기초하여 표시 디바이스(예를 들어 액정 표시 소자 등)를 구동하여, 프로그램의 영상 등을 표시시킨다.
음성 신호 처리부(907)는 음성 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 처리 후의 음성 데이터의 D/A 변환 처리나 증폭 처리를 행하여, 스피커(908)에 공급함으로써 음성 출력을 행한다.
외부 인터페이스부(909)는 외부 기기나 네트워크와 접속하기 위한 인터페이스로서, 영상 데이터나 음성 데이터 등의 데이터 송수신을 행한다.
제어부(910)에는 유저 인터페이스부(911)가 접속되어 있다. 유저 인터페이스부(911)는 조작 스위치나 리모트 컨트롤 신호 수신부 등으로 구성되어 있으며, 유저 조작에 따른 조작 신호를 제어부(910)에 공급한다.
제어부(910)는 CPU(Central Processing Unit)나 메모리 등을 이용하여 구성되어 있다. 메모리는, CPU에 의해 실행되는 프로그램이나 CPU가 처리를 행하는 데 있어서 필요한 각종 데이터, EPG 데이터, 네트워크를 통해 취득된 데이터 등을 기억한다. 메모리에 기억되어 있는 프로그램은, 텔레비전 장치(90)의 기동 시 등의 소정 타이밍으로 CPU에 의해 판독되어 실행된다. CPU는, 프로그램을 실행함으로써, 텔레비전 장치(90)가 유저 조작에 따른 동작이 되도록 각 부를 제어한다.
또한, 텔레비전 장치(90)에서는, 튜너(902), 디멀티플렉서(903), 영상 신호 처리부(905), 음성 신호 처리부(907), 외부 인터페이스부(909) 등과 제어부(910)를 접속하기 위해 버스(912)가 설치되어 있다.
이와 같이 구성된 텔레비전 장치에서는, 디코더(904)에 본원의 화상 복호 장치(화상 복호 방법)의 기능이 설치된다. 이로 인해, 방송국측의 화상 부호화 처리에서, 양자화 파라미터를 전송하기 위해 필요해지는 부호량을 삭감하는 처리가 행해져도, 텔레비전 장치에서 정확하게 양자화 파라미터를 복원하여 복호 화상을 생성할 수 있다.
도 31은, 본 기술을 적용한 휴대 전화기의 개략 구성을 예시하고 있다. 휴대 전화기(92)는 통신부(922), 음성 코덱(923), 카메라부(926), 화상 처리부(927), 다중 분리부(928), 기록 재생부(929), 표시부(930), 제어부(931)를 갖는다. 이들은, 버스(933)를 통해 서로 접속되어 있다.
또한, 통신부(922)에는 안테나(921)가 접속되어 있으며, 음성 코덱(923)에는, 스피커(924)와 마이크로폰(925)이 접속되어 있다. 또한 제어부(931)에는, 조작부(932)가 접속되어 있다.
휴대 전화기(92)는 음성 통화 모드나 데이터 통신 모드 등의 각종 모드에서, 음성 신호의 송수신, 전자 메일이나 화상 데이터의 송수신, 화상 촬영 또는 데이터 기록 등의 각종 동작을 행한다.
음성 통화 모드에서, 마이크로폰(925)에서 생성된 음성 신호는, 음성 코덱(923)에서 음성 데이터로의 변환이나 데이터 압축이 행해져서 통신부(922)에 공급된다. 통신부(922)는 음성 데이터의 변조 처리나 주파수 변환 처리 등을 행하고, 송신 신호를 생성한다. 또한, 통신부(922)는 송신 신호를 안테나(921)에 공급하여 기지국(도시생략)으로 송신한다. 또한, 통신부(922)는 안테나(921)로 수신한 수신 신호의 증폭이나 주파수 변환 처리 및 복조 처리 등을 행하고, 얻어진 음성 데이터를 음성 코덱(923)에 공급한다. 음성 코덱(923)은 음성 데이터의 데이터 신장이나 아날로그 음성 신호로의 변환을 행하고, 스피커(924)로 출력한다.
또한, 데이터 통신 모드에서, 메일 송신을 행하는 경우, 제어부(931)는 조작부(932)의 조작에 의해 입력된 문자 데이터를 접수하여, 입력된 문자를 표시부(930)에 표시한다. 또한, 제어부(931)는 조작부(932)에서의 유저 지시 등에 기초하여 메일 데이터를 생성하여 통신부(922)에 공급한다. 통신부(922)는 메일 데이터의 변조 처리나 주파수 변환 처리 등을 행하고, 얻어진 송신 신호를 안테나(921)로부터 송신한다. 또한, 통신부(922)는 안테나(921)로 수신한 수신 신호의 증폭이나 주파수 변환 처리 및 복조 처리 등을 행하고, 메일 데이터를 복원한다. 이 메일 데이터를, 표시부(930)에 공급하고, 메일 내용의 표시를 행한다.
또한, 휴대 전화기(92)는 수신한 메일 데이터를, 기록 재생부(929)에서 기억 매체에 기억시키는 것도 가능하다. 기억 매체는, 재기입 가능한 임의의 기억 매체이다. 예를 들어, 기억 매체는, RAM이나 내장형 플래시 메모리 등의 반도체 메모리, 하드디스크, 자기 디스크, 광자기 디스크, 광 디스크, USB 메모리 또는 메모리 카드 등의 리무버블 미디어이다.
데이터 통신 모드에서 화상 데이터를 송신하는 경우, 카메라부(926)에서 생성된 화상 데이터를, 화상 처리부(927)에 공급한다. 화상 처리부(927)는 화상 데이터의 부호화 처리를 행하고, 스트림 정보를 생성한다.
다중 분리부(928)는 화상 처리부(927)에서 생성된 스트림 정보와, 음성 코덱(923)으로부터 공급된 음성 데이터를 소정의 방식으로 다중화하여, 통신부(922)에 공급한다. 통신부(922)는 다중화 데이터의 변조 처리나 주파수 변환 처리 등을 행하고, 얻어진 송신 신호를 안테나(921)로부터 송신한다. 또한, 통신부(922)는 안테나(921)로 수신한 수신 신호의 증폭이나 주파수 변환 처리 및 복조 처리 등을 행하고, 다중화 데이터를 복원한다. 이 다중화 데이터를 다중 분리부(928)에 공급한다. 다중 분리부(928)는 다중화 데이터의 분리를 행하고, 스트림 정보를 화상 처리부(927), 음성 데이터를 음성 코덱(923)에 공급한다.
화상 처리부(927)는 스트림 정보의 복호 처리를 행하고, 화상 데이터를 생성한다. 이 화상 데이터를 표시부(930)에 공급하여, 수신한 화상의 표시를 행한다. 음성 코덱(923)은 음성 데이터를 아날로그 음성 신호로 변환하여 스피커(924)에 공급하고, 수신한 음성을 출력한다.
이와 같이 구성된 휴대 전화 장치에서는, 화상 처리부(927)에 본원의 기능이 설치된다. 따라서, 예를 들어 화상을 부호화 처리하여 송신하는 경우에, 데이터를 삭감할 수 있다. 또한, 수신한 화상의 복호 처리에서, 양자화 파라미터를 복원하여 복호 화상을 생성할 수 있다.
도 32는, 본 기술을 적용한 기록 재생 장치의 개략 구성을 예시하고 있다. 기록 재생 장치(94)는 예를 들어 수신한 방송 프로그램의 오디오 데이터와 비디오 데이터를, 기록 매체에 기록하고, 그 기록된 데이터를 유저의 지시에 따른 타이밍으로 유저에게 제공한다. 또한, 기록 재생 장치(94)는 예를 들어 다른 장치로부터 오디오 데이터나 비디오 데이터를 취득하고, 이들을 기록 매체에 기록시킬 수도 있다. 또, 기록 재생 장치(94)는 기록 매체에 기록되어 있는 오디오 데이터나 비디오 데이터를 복호하여 출력함으로써, 모니터 장치 등에서 화상 표시나 음성 출력을 행할 수 있도록 한다.
기록 재생 장치(94)는 튜너(941), 외부 인터페이스부(942), 인코더(943), HDD(Hard Disk Drive)부(944), 디스크 드라이브(945), 셀렉터(946), 디코더(947), OSD(On-Screen Display)부(948), 제어부(949), 유저 인터페이스부(950)를 갖는다.
튜너(941)는 안테나(도시생략)로 수신된 방송 신호로부터 원하는 채널을 선국한다. 튜너(941)는 원하는 채널의 수신 신호를 복조하여 얻어진 스트림 정보를 셀렉터(946)로 출력한다.
외부 인터페이스부(942)는 IEEE1394 인터페이스, 네트워크 인터페이스부, USB 인터페이스, 플래시 메모리 인터페이스 등의 적어도 어느 하나로 구성되어 있다. 외부 인터페이스부(942)는 외부 기기나 네트워크, 메모리 카드 등과 접속하기 위한 인터페이스로서, 기록하는 영상 데이터나 음성 데이터 등의 데이터 수신을 행한다.
인코더(943)는 외부 인터페이스부(942)로부터 공급된 영상 데이터나 음성 데이터가 부호화되어 있지 않은 경우 소정의 방식으로 부호화 처리를 행하고, 스트림 정보를 셀렉터(946)로 출력한다.
HDD부(944)는 영상이나 음성 등의 콘텐츠 데이터, 각종 프로그램이나 그 밖의 데이터 등을 내장된 하드디스크에 기록하고, 또한 재생시 등에 이들을 상기 하드디스크로부터 판독한다.
디스크 드라이브(945)는 장착되어 있는 광 디스크에 대한 신호의 기록 및 재생을 행한다. 광 디스크, 예를 들어 DVD 디스크(DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW 등)나 Blu-ray 디스크 등이다.
셀렉터(946)는 영상이나 음성의 기록 시에는, 튜너(941) 또는 인코더(943)로부터 나오는 어느 하나의 스트림을 선택하여, HDD부(944)나 디스크 드라이브(945) 중 어느 하나에 공급한다. 또한, 셀렉터(946)는 영상이나 음성의 재생 시에, HDD부(944) 또는 디스크 드라이브(945)로부터 출력된 스트림을 디코더(947)에 공급한다.
디코더(947)는 스트림의 복호 처리를 행한다. 디코더(947)는 복호 처리화를 행함으로써 생성된 영상 데이터를 OSD부(948)에 공급한다. 또한, 디코더(947)는 복호 처리화를 행함으로써 생성된 음성 데이터를 출력한다.
OSD부(948)는 항목의 선택 등의 메뉴 화면 등을 표시하기 위한 영상 데이터를 생성하고, 이것을 디코더(947)로부터 출력된 영상 데이터에 중첩하여 출력한다.
제어부(949)에는, 유저 인터페이스부(950)가 접속되어 있다. 유저 인터페이스부(950)는 조작 스위치나 리모트 컨트롤 신호 수신부 등으로 구성되어 있으며, 유저 조작에 따른 조작 신호를 제어부(949)에 공급한다.
제어부(949)는 CPU나 메모리 등을 이용하여 구성되어 있다. 메모리는, CPU에 의해 실행되는 프로그램이나 CPU가 처리를 행하는 데 있어서 필요한 각종 데이터를 기억한다. 메모리에 기억되어 있는 프로그램은, 기록 재생 장치(94)의 기동시 등의 소정 타이밍으로 CPU에 의해 판독되어 실행된다. CPU는, 프로그램을 실행함으로써, 기록 재생 장치(94)가 유저 조작에 따른 동작이 되도록 각 부를 제어한다.
이와 같이 구성된 기록 재생 장치에서는, 인코더(943)에 본원의 기능이 설치된다. 따라서, 예를 들어 화상을 부호화 처리하여 기록하는 경우에, 기록하는 데이터량을 삭감할 수 있다. 또한, 기록된 화상의 복호 처리에서, 양자화 파라미터를 복원하여 복호 화상을 생성할 수 있다.
도 33은, 본 기술을 적용한 촬상 장치의 개략 구성을 예시하고 있다. 촬상 장치(96)는 피사체를 촬상하고, 피사체의 화상을 표시부에 표시시키거나, 이것을 화상 데이터로서, 기록 매체에 기록한다.
촬상 장치(96)는 광학 블록(961), 촬상부(962), 카메라 신호 처리부(963), 화상 데이터 처리부(964), 표시부(965), 외부 인터페이스부(966), 메모리부(967), 미디어 드라이브(968), OSD부(969), 제어부(970)를 갖는다. 또한, 제어부(970)에는, 유저 인터페이스부(971)가 접속되어 있다. 또한, 화상 데이터 처리부(964)나 외부 인터페이스부(966), 메모리부(967), 미디어 드라이브(968), OSD부(969), 제어부(970) 등은, 버스(972)를 통해 접속되어 있다.
광학 블록(961)은 포커스 렌즈나 교축 기구 등을 이용하여 구성되어 있다. 광학 블록(961)은 피사체의 광학상을 촬상부(962)의 촬상면에 결상시킨다. 촬상부(962)는 CCD 또는 CMOS 이미지 센서를 이용하여 구성되어 있으며, 광전 변환에 의해 광학상에 따른 전기 신호를 생성하여 카메라 신호 처리부(963)에 공급한다.
카메라 신호 처리부(963)는 촬상부(962)로부터 공급된 전기 신호에 대하여 니 보정이나 감마 보정, 색 보정 등의 다양한 카메라 신호 처리를 행한다. 카메라 신호 처리부(963)는 카메라 신호 처리 후의 화상 데이터를 화상 데이터 처리부(964)에 공급한다.
화상 데이터 처리부(964)는 카메라 신호 처리부(963)로부터 공급된 화상 데이터의 부호화 처리를 행한다. 화상 데이터 처리부(964)는 부호화 처리를 행함으로써 생성된 스트림 정보를 외부 인터페이스부(966)나 미디어 드라이브(968)에 공급한다. 또한, 화상 데이터 처리부(964)는 외부 인터페이스부(966)나 미디어 드라이브(968)로부터 공급된 스트림 정보의 복호 처리를 행한다. 화상 데이터 처리부(964)는 복호 처리를 행함으로써 생성된 화상 데이터를 표시부(965)에 공급한다. 또한, 화상 데이터 처리부(964)는 카메라 신호 처리부(963)로부터 공급된 화상 데이터를 표시부(965)에 공급하는 처리나, OSD부(969)로부터 취득한 표시용 데이터를, 화상 데이터에 중첩시켜 표시부(965)에 공급한다.
OSD부(969)는 기호, 문자 또는 도형을 포함하여 이루어지는 메뉴 화면이나 아이콘 등의 표시용 데이터를 생성하여 화상 데이터 처리부(964)로 출력한다.
외부 인터페이스부(966)는 예를 들어 USB 입출력 단자 등으로 구성되며, 화상의 인쇄를 행하는 경우에, 프린터와 접속된다. 또한, 외부 인터페이스부(966)에는, 필요에 따라서 드라이브가 접속되고, 자기 디스크, 광 디스크 등의 리무버블 미디어가 적절히 장착되어, 이들로부터 판독된 프로그램이, 필요에 따라서 인스톨된다. 또한, 외부 인터페이스부(966)는 LAN이나 인터넷 등의 소정의 네트워크에 접속되는 네트워크 인터페이스를 갖는다. 제어부(970)는 예를 들어 유저 인터페이스부(971)로부터의 지시에 따라서, 메모리부(967)로부터 스트림 정보를 판독하고, 이것을 외부 인터페이스부(966)로부터, 네트워크를 통해서 접속되는 다른 장치에 공급시킬 수 있다. 또한, 제어부(970)는 네트워크를 통해서 다른 장치로부터 공급되는 스트림 정보나 화상 데이터를, 외부 인터페이스부(966)를 통해 취득하고, 이것을 화상 데이터 처리부(964)에 공급할 수도 있다.
미디어 드라이브(968)로 구동되는 기록 미디어로서는, 예를 들어 자기 디스크, 광자기 디스크, 광 디스크 또는 반도체 메모리 등의, 판독 기입 가능한 임의의 리무버블 미디어가 이용된다. 또한, 기록 미디어는, 리무버블 미디어로서의 종류도 임의이며, 테이프 디바이스이어도 되고, 디스크이어도 되며, 메모리 카드이어도 된다. 물론, 비접촉 IC 카드 등이어도 된다.
또한, 미디어 드라이브(968)와 기록 미디어를 일체화하고, 예를 들어 내장형 하드디스크 드라이브나 SSD(Solid State Drive) 등과 같이, 비가반성의 기억 매체에 의해 구성되도록 해도 된다.
제어부(970)는 CPU나 메모리 등을 이용하여 구성되어 있다. 메모리는, CPU에 의해 실행되는 프로그램이나 CPU가 처리를 행하는 데 있어서 필요한 각종 데이터 등을 기억한다. 메모리에 기억되어 있는 프로그램은, 촬상 장치(96)의 기동 시 등의 소정의 타이밍으로 CPU에 의해 판독되어 실행된다. CPU는, 프로그램을 실행함으로써, 촬상 장치(96)의 유저 조작에 따른 동작이 되도록 각 부를 제어한다.
이와 같이 구성된 촬상 장치에서는, 화상 데이터 처리부(964)에 본원의 기능이 설치된다. 따라서, 촬상 화상을 부호화 처리하여 메모리부(967)나 기록 미디어 등에 기록하는 경우에, 기록하는 데이터량을 삭감할 수 있다. 또한, 기록된 화상의 복호 처리에서, 양자화 파라미터를 복원하여 복호 화상을 생성할 수 있다.
또한, 본 기술은, 전술한 실시 형태에 한정하여 해석되어서는 안 된다. 이 실시 형태는, 예시라고 하는 형태에서 본 기술을 개시하고 있으며, 본 기술의 요지를 일탈하지 않는 범위에서 당업자가 실시 형태의 수정이나 대용을 이룰 수 있는 것은 자명하다. 즉, 본 기술의 요지를 판단하기 위해서는, 특허청구범위를 참작해야 한다.
또한, 본 기술의 화상 복호 장치와 화상 부호화 장치는, 이하와 같은 구성도 취할 수 있다.
(1) 복호 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 복호 완료 블록의 양자화 파라미터를 선택 후보로 하여, 이 선택 후보로부터 선택된 예측 양자화 파라미터에 대한 차분을 나타내는 차분 정보를 스트림 정보로부터 취출하는 정보 취득부와,
상기 예측 양자화 파라미터와 상기 차분 정보로부터, 상기 복호 대상 블록의 양자화 파라미터를 산출하는 양자화 파라미터 산출부
를 갖는 화상 복호 장치.
(2) 상기 양자화 파라미터 산출부는, 상기 인접하는 복호 완료 블록을 소정의 배열 순서로 하여, 상기 스트림 정보에 포함되어 있는 식별 정보로 나타낸 순서의 양자화 파라미터를 상기 예측 양자화 파라미터로 설정하는 상기 (1)에 기재된 화상 복호 장치.
(3) 상기 양자화 파라미터 산출부는, 미리 설정된 순서로 선택 후보의 판정을 행하고, 판정 결과에 기초하여 상기 예측 양자화 파라미터를 설정하는 상기 (1)에 기재된 화상 복호 장치.
(4) 상기 양자화 파라미터 산출부는, 상기 스트림 정보에 포함되어 있는 식별 정보로 나타낸 순서의 양자화 파라미터를 상기 예측 양자화 파라미터로 설정하는 처리와, 미리 설정된 순서로 선택 후보의 판정을 행하고 판정 결과에 기초하여 상기 예측 양자화 파라미터를 설정하는 처리 중 어느 하나를, 상기 스트림 정보에 포함되어 있는 판별 정보에 기초하여 선택하는 상기 (1)에 기재된 화상 복호 장치.
(5) 상기 양자화 파라미터 산출부는, 상기 인접하는 복호 완료 블록으로부터, 적어도 양자화 파라미터가 중복되는 블록 또는 양자화 파라미터를 이용한 역양자화가 행해지지 않는 블록을 제외하여 상기 선택 후보로 하는 상기 (1) 내지 (4) 중 어느 하나에 기재된 화상 복호 장치.
(6) 상기 양자화 파라미터 산출부는, 상기 선택 후보가 없는 경우, 슬라이스에서의 초기값의 양자화 파라미터를 상기 예측 양자화 파라미터로 하는 상기 (1) 내지 (5) 중 어느 하나에 기재된 화상 복호 장치.
(7) 상기 양자화 파라미터 산출부는, 상기 선택 후보로 마지막으로 갱신된 양자화 파라미터를 포함하는 상기 (1) 내지 (6) 중 어느 하나에 기재된 화상 복호 장치.
(8) 상기 양자화 파라미터 산출부는, 상기 예측 양자화 파라미터에 대하여 상기 차분 정보가 나타내는 차분을 가산하여 상기 복호 대상 블록의 양자화 파라미터를 산출하는 상기 (1) 내지 (7) 중 어느 하나에 기재된 화상 복호 장치.
(9) 부호화 대상 블록에 대하여 양자화 파라미터를 설정하는 제어부와,
상기 부호화 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 부호화 완료 블록의 양자화 파라미터를 선택 후보로 하여, 이 선택 후보로부터 상기 설정된 양자화 파라미터에 따라서 예측 양자화 파라미터를 선택하고, 이 예측 양자화 파라미터로 상기 설정된 양자화 파라미터의 차분을 나타내는 차분 정보를 생성하는 정보 생성부와,
상기 설정된 양자화 파라미터를 이용하여 상기 부호화 대상 블록의 부호화 처리를 행하여 생성된 스트림 정보에, 상기 차분 정보를 포함하는 부호화부
를 갖는 화상 부호화 장치.
(10) 상기 정보 생성부는, 상기 설정된 양자화 파라미터와의 차분이 가장 작은 양자화 파라미터를 상기 예측 양자화 파라미터로서 선택하는 상기 (9)에 기재된 화상 부호화 장치.
(11) 상기 정보 생성부는, 상기 인접하는 부호화 완료 블록을 소정의 배열 순서로 하여, 상기 선택한 양자화 파라미터에 대응하는 블록의 순서를 나타내는 식별 정보를 생성하고,
상기 부호화부는, 상기 스트림 정보에 상기 식별 정보를 포함하는 상기 (10)에 기재된 화상 부호화 장치.
(12) 상기 정보 생성부는, 좌측에 인접하는 부호화 완료 블록과, 상측에 인접하는 부호화 완료 블록과, 시간적으로 인접하는 부호화 완료 블록 중 어느 하나를 우선시킨 배열 순서로 하는 상기 (11)에 기재된 화상 부호화 장치.
(13) 상기 정보 생성부는, 상기 인접하는 부호화 완료 블록의 배열 순서를 전환 가능하게 하는 상기 (11) 또는 (12)에 기재된 화상 부호화 장치.
(14) 상기 정보 생성부는, 미리 설정된 순서로 선택 후보의 판정을 행하고, 판정 결과에 기초하여 상기 예측 양자화 파라미터를 선택하는 상기 (9)에 기재된 화상 부호화 장치.
(15) 상기 정보 생성부는, 상기 설정된 양자화 파라미터와의 차분이 가장 작은 양자화 파라미터를 상기 예측 양자화 파라미터로서 선택하는 처리와, 미리 설정된 순서로 선택 후보의 판정을 행하여 판정 결과에 기초하여 상기 예측 양자화 파라미터를 선택하는 처리를 선택 가능하게 하여, 선택한 처리를 나타내는 판별 정보를 생성하고,
상기 부호화부는, 상기 판별 정보를 상기 스트림 정보에 포함하는 상기 (9)에 기재된 화상 부호화 장치.
(16) 상기 정보 생성부는, 상기 인접하는 부호화 완료 블록으로부터, 적어도 양자화 파라미터가 중복되는 블록 또는 양자화 파라미터를 이용한 양자화가 행해지지 않는 블록을 제외하여 선택 후보로 하는 상기 (9) 내지 (15) 중 어느 하나에 기재된 화상 부호화 장치.
(17) 상기 정보 생성부는, 상기 선택 후보가 없는 경우, 슬라이스에서의 초기값의 양자화 파라미터로 상기 설정된 양자화 파라미터의 차분을 나타내는 차분 정보를 생성하는 상기 (9) 내지 (16) 중 어느 하나에 기재된 화상 부호화 장치.
(18) 상기 정보 생성부는, 상기 선택 후보로 마지막으로 갱신된 양자화 파라미터를 포함하는 상기 (9) 내지 (17) 중 어느 하나에 기재된 화상 부호화 장치.
이 기술의 화상 복호 장치와 화상 부호화 장치 및 그 방법에서는, 부호화 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 부호화 완료 블록의 양자화 파라미터가 선택 후보로 되고, 선택 후보로부터 부호화 대상 블록에 대하여 설정된 양자화 파라미터에 따라서 예측 양자화 파라미터가 선택된다. 이 예측 양자화 파라미터와 부호화 대상 블록에 대하여 설정된 양자화 파라미터의 차분을 나타내는 차분 정보가 생성된다. 따라서, 양자화 파라미터의 차분이 큰 값으로 되는 것을 방지하는 것이 가능해져서, 양자화 파라미터의 부호화 효율을 향상시킬 수 있다. 또한, 차분 정보가 포함되는 스트림 정보를 복호할 경우, 복호 대상 블록에 대하여 공간적 또는 시간적으로 인접하는 복호 완료 블록의 양자화 파라미터로부터 예측 양자화 파라미터가 선택되고, 예측 양자화 파라미터와 차분 정보로부터 복호 대상 블록의 양자화 파라미터가 산출된다. 따라서, 양자화 파라미터의 부호화 효율을 향상시켜서 스트림 정보가 생성되어도, 이 스트림 정보를 복호할 경우에는 예측 양자화 파라미터와 차분 정보에 기초하여 양자화 파라미터가 복원되어 정확하게 복호 처리를 행할 수 있다. 이로 인해, 블록 단위로 부호화를 행함으로써 얻어진 스트림 정보를, 위성 방송, 케이블 TV, 인터넷, 휴대 전화 등의 네트워크 미디어를 통해 송수신하는 기기 또는 광, 자기 디스크, 플래시 메모리와 같은 기억 미디어상에서 처리하는 기기 등에 적합하다.
10: 화상 부호화 장치
11: A/D 변환부
12, 57: 화면 재배열 버퍼
13: 감산부
14: 직교 변환부
15: 양자화부
16: 가역 부호화부
17, 51: 축적 버퍼
18: 레이트 제어부
19: 정보 생성부
21, 53: 역양자화부
22, 54: 역직교 변환부
23, 55: 가산부
24, 56: 디블로킹 필터
26, 61: 프레임 메모리
31, 71: 인트라 예측부
32: 움직임 예측·보상부
33: 예측 화상·최적 모드 선택부
50: 화상 복호 장치
52: 가역 복호부
58: D/A 변환부
59: 양자화 파라미터 산출부
62, 73: 셀렉터
72: 움직임 보상부
80: 컴퓨터 장치
90: 텔레비전 장치
92: 휴대 전화기
94: 기록 재생 장치
96: 촬상 장치
191: 양자화 파라미터 메모리부
192: 차분 연산부
591: 연산부
592: 양자화 파라미터 메모리부

Claims (21)

  1. 예측 양자화 파라미터에 대한 차분을 나타내는 차분 정보를 스트림 정보로부터 취출하는 정보 취득부와,
    복호 대상 블록의 좌측에 인접하는 블록과 상측에 인접하는 블록이 참조 가능한 경우, 상기 좌측에 인접하는 블록의 양자화 파라미터와 상기 상측에 인접하는 블록의 양자화 파라미터와의 평균치를 이용하여 상기 복호 대상 블록의 예측 양자화 파라미터를 산출하고, 상기 좌측에 인접하는 블록이 참조 불가능하고 상기 상측에 인접하는 블록이 참조 가능한 경우, 상기 상측에 인접하는 블록의 양자화 파라미터를 이용하여 상기 복호 대상 블록의 예측 양자화 파라미터를 산출하고, 상기 좌측에 인접하는 블록이 참조 가능하고 상기 상측에 인접하는 블록이 참조 불가능한 경우, 상기 좌측에 인접하는 블록의 양자화 파라미터를 이용하여 상기 복호 대상 블록의 예측 양자화 파라미터를 산출하고, 상기 좌측에 인접하는 블록과 상기 상측에 인접하는 블록이 참조 불가능한 경우, 상기 스트림 정보의 픽처 파라미터 세트에 포함되어 있는 정보와 상기 스트림 정보의 슬라이스 헤더에 포함되어 있는 정보에 기초하여 산출된 슬라이스에서의 양자화 파라미터 초기값을, 상기 복호 대상 블록의 예측 양자화 파라미터로서 설정하고, 상기 차분 정보와 상기 복호 대상 블록의 예측 양자화 파라미터를 이용하여, 상기 복호 대상 블록의 양자화 파라미터를 산출하는 양자화 파라미터 산출부
    를 포함하는, 화상 복호 장치.
  2. 제1항에 있어서,
    상기 블록은 코딩 유닛이고, 상기 코딩 유닛은 계층 구조로 되어 있는, 화상 복호 장치.
  3. 제1항에 있어서,
    상기 산출된 양자화 파라미터를 이용하여 상기 복호 대상 블록의 역양자화를 행하는 역양자화부
    를 더 포함하는, 화상 복호 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 산출된 양자화 파라미터를 이용하여 상기 복호 대상 블록의 복호 처리를 행함으로써 얻어진 영상 데이터에 대하여 영상 처리를 행하는 영상 신호 처리부
    를 더 포함하는, 화상 복호 장치.
  5. 제4항에 있어서,
    상기 영상 신호 처리부는, 상기 영상 처리로서 노이즈 제거를 행하는, 화상 복호 장치.
  6. 제4항에 있어서,
    상기 영상 신호 처리부에서 처리된 영상 데이터에 기초하여 영상 표시를 행하는 표시부
    를 더 포함하는, 화상 복호 장치.
  7. 제4항에 있어서,
    스트림으로부터 원하는 패킷을 추출하는 디멀티플렉서
    를 더 포함하고,
    상기 정보 취득부와 상기 양자화 파라미터 산출부는, 상기 디멀티플렉서에서 추출된 패킷의 데이터를 이용하여 처리를 행하는, 화상 복호 장치.
  8. 제7항에 있어서,
    수신된 신호로부터 원하는 채널을 선국하여 얻어진 스트림을 상기 디멀티플렉서로 출력하는 튜너
    를 더 포함하는, 화상 복호 장치.
  9. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 산출된 양자화 파라미터를 이용하여 상기 복호 대상 블록의 복호 처리를 행함으로써 얻어진 음성 데이터에 대하여 음성 처리를 행하는 음성 신호 처리부
    를 더 포함하는, 화상 복호 장치.
  10. 제9항에 있어서,
    상기 음성 신호 처리부는, 상기 음성 처리로서 노이즈 제거를 행하는, 화상 복호 장치.
  11. 정보 취득부에서, 예측 양자화 파라미터에 대한 차분을 나타내는 차분 정보를 스트림 정보로부터 취출하는 단계와,
    양자화 파라미터 산출부에서, 복호 대상 블록의 좌측에 인접하는 블록과 상측에 인접하는 블록이 참조 가능한 경우, 상기 좌측에 인접하는 블록의 양자화 파라미터와 상기 상측에 인접하는 블록의 양자화 파라미터와의 평균치를 이용하여 상기 복호 대상 블록의 예측 양자화 파라미터를 산출하고, 상기 좌측에 인접하는 블록이 참조 불가능하고 상기 상측에 인접하는 블록이 참조 가능한 경우, 상기 상측에 인접하는 블록의 양자화 파라미터를 이용하여 상기 복호 대상 블록의 예측 양자화 파라미터를 산출하고, 상기 좌측에 인접하는 블록이 참조 가능하고 상기 상측에 인접하는 블록이 참조 불가능한 경우, 상기 좌측에 인접하는 블록의 양자화 파라미터를 이용하여 상기 복호 대상 블록의 예측 양자화 파라미터를 산출하고, 상기 좌측에 인접하는 블록과 상기 상측에 인접하는 블록이 참조 불가능한 경우, 상기 스트림 정보의 픽처 파라미터 세트에 포함되어 있는 정보와 상기 스트림 정보의 슬라이스 헤더에 포함되어 있는 정보에 기초하여 산출된 슬라이스에서의 양자화 파라미터 초기값을, 상기 복호 대상 블록의 예측 양자화 파라미터로서 설정하고, 상기 차분 정보와 상기 복호 대상 블록의 예측 양자화 파라미터를 이용하여, 상기 복호 대상 블록의 양자화 파라미터를 산출하는 단계
    를 포함하는, 화상 복호 방법.
  12. 제11항에 있어서,
    상기 블록은 코딩 유닛이고, 상기 코딩 유닛은 계층 구조로 되어 있는, 화상 복호 방법.
  13. 제11항에 있어서,
    역양자화부에서, 상기 산출된 양자화 파라미터를 이용하여 상기 복호 대상 블록의 역양자화를 행하는 단계
    를 더 포함하는, 화상 복호 방법.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    영상 신호 처리부에서, 상기 산출된 양자화 파라미터를 이용하여 상기 복호 대상 블록의 복호 처리를 행함으로써 얻어진 영상 데이터에 대하여 영상 처리를 행하는 단계
    를 더 포함하는, 화상 복호 방법.
  15. 제14항에 있어서,
    상기 영상 신호 처리부에서, 상기 영상 처리로서 노이즈 제거를 행하는 단계,
    를 더 포함하는 화상 복호 방법.
  16. 제14항에 있어서,
    표시부에서, 상기 영상 신호 처리부에서 처리된 영상 데이터에 기초하여 영상 표시를 행하는 단계
    를 더 포함하는, 화상 복호 방법.
  17. 제14항에 있어서,
    디멀티플렉서에서, 스트림으로부터 원하는 패킷을 추출하는 단계
    를 더 포함하고,
    상기 정보 취득부와 상기 양자화 파라미터 산출부는, 상기 디멀티플렉서에서 추출된 패킷의 데이터를 이용하여 처리를 행하는, 화상 복호 방법.
  18. 제17항에 있어서,
    튜너에서, 수신된 신호로부터 원하는 채널을 선국하여 얻어진 스트림을 상기 디멀티플렉서로 출력하는 단계
    를 더 포함하는, 화상 복호 방법.
  19. 제11항 내지 제13항 중 어느 한 항에 있어서,
    음성 신호 처리부에서, 상기 산출된 양자화 파라미터를 이용하여 상기 복호 대상 블록의 복호 처리를 행함으로써 얻어진 음성 데이터에 대하여 음성 처리를 행하는 단계
    를 더 포함하는, 화상 복호 방법.
  20. 제19항에 있어서,
    상기 음성 신호 처리부에서, 상기 음성 처리로서 노이즈 제거를 행하는 단계, 를 더 포함하는 화상 복호 방법.
  21. 프로그램을 기록한 컴퓨터 판독가능 기록매체로서, 상기 프로그램은 컴퓨터를,
    예측 양자화 파라미터에 대한 차분을 나타내는 차분 정보를 스트림 정보로부터 취출하는 정보 취득부와,
    복호 대상 블록의 좌측에 인접하는 블록과 상측에 인접하는 블록이 참조 가능한 경우, 상기 좌측에 인접하는 블록의 양자화 파라미터와 상기 상측에 인접하는 블록의 양자화 파라미터와의 평균치를 이용하여 상기 복호 대상 블록의 예측 양자화 파라미터를 산출하고, 상기 좌측에 인접하는 블록이 참조 불가능하고 상기 상측에 인접하는 블록이 참조 가능한 경우, 상기 상측에 인접하는 블록의 양자화 파라미터를 이용하여 상기 복호 대상 블록의 예측 양자화 파라미터를 산출하고, 상기 좌측에 인접하는 블록이 참조 가능하고 상기 상측에 인접하는 블록이 참조 불가능한 경우, 상기 좌측에 인접하는 블록의 양자화 파라미터를 이용하여 상기 복호 대상 블록의 예측 양자화 파라미터를 산출하고, 상기 좌측에 인접하는 블록과 상기 상측에 인접하는 블록이 참조 불가능한 경우, 상기 스트림 정보의 픽처 파라미터 세트에 포함되어 있는 정보와 상기 스트림 정보의 슬라이스 헤더에 포함되어 있는 정보에 기초하여 산출된 슬라이스에서의 양자화 파라미터 초기값을, 상기 복호 대상 블록의 예측 양자화 파라미터로서 설정하고, 상기 차분 정보와 상기 복호 대상 블록의 예측 양자화 파라미터를 이용하여, 상기 복호 대상 블록의 양자화 파라미터를 산출하는 양자화 파라미터 산출부로 기능시키는, 컴퓨터 판독가능 기록매체.
KR1020137018559A 2011-01-24 2012-01-12 화상 복호 장치 및 화상 복호 방법 KR101858289B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011011861 2011-01-24
JPJP-P-2011-011861 2011-01-24
JP2011153183A JP6056122B2 (ja) 2011-01-24 2011-07-11 画像符号化装置と画像復号装置およびその方法とプログラム
JPJP-P-2011-153183 2011-07-11
PCT/JP2012/050456 WO2012102088A1 (ja) 2011-01-24 2012-01-12 画像復号装置と画像符号化装置およびその方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020187013098A Division KR101965119B1 (ko) 2011-01-24 2012-01-12 화상 부호화 장치 및 화상 부호화 방법

Publications (2)

Publication Number Publication Date
KR20140029381A KR20140029381A (ko) 2014-03-10
KR101858289B1 true KR101858289B1 (ko) 2018-05-15

Family

ID=46580661

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020137018559A KR101858289B1 (ko) 2011-01-24 2012-01-12 화상 복호 장치 및 화상 복호 방법
KR1020187013098A KR101965119B1 (ko) 2011-01-24 2012-01-12 화상 부호화 장치 및 화상 부호화 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187013098A KR101965119B1 (ko) 2011-01-24 2012-01-12 화상 부호화 장치 및 화상 부호화 방법

Country Status (16)

Country Link
US (5) US9560348B2 (ko)
EP (2) EP2645717A4 (ko)
JP (1) JP6056122B2 (ko)
KR (2) KR101858289B1 (ko)
CN (6) CN110602497B (ko)
AU (6) AU2012210001B2 (ko)
BR (1) BR112013018305B1 (ko)
CA (1) CA2823024C (ko)
CO (1) CO6731124A2 (ko)
MX (2) MX2013008289A (ko)
MY (2) MY158425A (ko)
RU (4) RU2719453C1 (ko)
SG (2) SG10201406196PA (ko)
TW (1) TWI495350B (ko)
WO (1) WO2012102088A1 (ko)
ZA (1) ZA201304818B (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101474756B1 (ko) * 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
JP6056122B2 (ja) 2011-01-24 2017-01-11 ソニー株式会社 画像符号化装置と画像復号装置およびその方法とプログラム
WO2012120822A1 (en) 2011-03-09 2012-09-13 Canon Kabushiki Kaisha Image coding apparatus, method for coding image, program therefor, image decoding apparatus, method for decoding image, and program therefor
JP2013034037A (ja) * 2011-03-09 2013-02-14 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9112526B2 (en) * 2011-06-15 2015-08-18 Sony Corporation Binarization of DQP using separate absolute value and sign (SAVS) in CABAC
JP6154588B2 (ja) * 2012-08-23 2017-06-28 日本放送協会 画像符号化装置、画像復号装置及びプログラム
JP5937926B2 (ja) * 2012-08-30 2016-06-22 日本放送協会 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
US20150237378A1 (en) * 2014-02-20 2015-08-20 Mediatek Inc. Method for controlling sample adaptive offset filtering applied to different partial regions in one frame based on different weighting parameters and related sample adaptive offset filter
MX2016012455A (es) 2014-03-25 2017-07-28 6115187 Canada Inc D/B/A Immervision Inc Definicion automatizada del comportamiento del sistema o experiencia del usuario mediante grabacion, intercambio y procesamiento de la informacion asociada con imagen gran angular.
JP6532222B2 (ja) * 2014-11-28 2019-06-19 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US10264257B2 (en) * 2015-06-30 2019-04-16 Texas Instruments Incorporated Video encoding
CN109314790A (zh) * 2016-05-23 2019-02-05 佳稳电子有限公司 影像处理方法、利用其的影像解码及编码方法
US10904531B2 (en) * 2017-03-23 2021-01-26 Qualcomm Incorporated Adaptive parameters for coding of 360-degree video
CN106851274B (zh) * 2017-03-31 2019-08-06 北京奇艺世纪科技有限公司 差分量化参数的确定方法、确定***及视频编码器
US10506196B2 (en) 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
WO2019050300A1 (ko) * 2017-09-06 2019-03-14 가온미디어 주식회사 효과적인 차분양자화 파라미터 전송 기반 영상 부/복호화 방법 및 장치
CN109660825B (zh) * 2017-10-10 2021-02-09 腾讯科技（深圳）有限公司 视频转码方法、装置、计算机设备及存储介质
US20200322606A1 (en) * 2017-10-24 2020-10-08 Sharp Kabushiki Kaisha Systems and methods for determining quantization parameter predictive values
CN109688409B (zh) * 2018-12-28 2021-03-02 北京奇艺世纪科技有限公司 一种视频编码方法及装置
WO2020244663A1 (en) * 2019-06-06 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Applicability of implicit transform selection
US11818479B2 (en) 2020-05-14 2023-11-14 Board Of Trustees Of Michigan State University Sigma Delta quantization for images
US11259055B2 (en) * 2020-07-10 2022-02-22 Tencent America LLC Extended maximum coding unit size
US20220108488A1 (en) * 2020-10-07 2022-04-07 Qualcomm Incorporated Angular mode and in-tree quantization in geometry point cloud compression

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080256589A1 (en) * 2007-04-12 2008-10-16 Sony Corporation Reproduction controlling method and receiving apparatus
WO2009158113A2 (en) * 2008-06-03 2009-12-30 Microsoft Corporation Adaptive quantization for enhancement layer video coding

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3845913B2 (ja) * 1996-10-11 2006-11-15 ソニー株式会社 量子化制御方法および量子化制御装置
DE69841897D1 (de) * 1997-07-25 2010-10-28 Sony Corp Bearbeitungsanlage, bearbeitungsverfahren, spleissungsanlage, spleissungsverfahren, kodieranlage und kodierverfahren
JP2003101416A (ja) * 2001-09-19 2003-04-04 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
DE60230666D1 (de) 2001-11-29 2009-02-12 Panasonic Corp Verfahren zur beseitigung von kodierungsverzerrung und verfahren zur videokodierung und -dekodierung
CN101232618B (zh) * 2002-04-23 2013-03-27 诺基亚有限公司 用于在视频编码***中指示量化器参数的方法与设备
KR100936034B1 (ko) * 2003-08-11 2010-01-11 삼성전자주식회사 블록 단위로 부호화된 디지털 영상의 블로킹 현상을제거하는 방법 및 그 영상재생장치
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
JP2005124001A (ja) * 2003-10-17 2005-05-12 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
US7280595B1 (en) * 2003-10-21 2007-10-09 Redrock Semiconductor, Ltd. Post-inverse-quantization AC prediction with a unified variable-length-decoding and inverse-quantization stage
US20050111545A1 (en) * 2003-11-25 2005-05-26 Ram Prabhakar Dynamic packet size control for MPEG-4 data partition mode
JP4529615B2 (ja) 2004-09-24 2010-08-25 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
KR100703749B1 (ko) * 2005-01-27 2007-04-05 삼성전자주식회사 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치
US8548055B2 (en) * 2005-03-10 2013-10-01 Qualcomm Incorporated Encoding of multimedia data
JP4784188B2 (ja) * 2005-07-25 2011-10-05 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
AU2006320064B2 (en) * 2005-11-30 2010-09-09 Kabushiki Kaisha Toshiba Image encoding/image decoding method and image encoding/image decoding apparatus
CN101039432A (zh) * 2006-03-16 2007-09-19 华为技术有限公司 在编码过程中实现自适应量化的方法及装置
CN101127900A (zh) * 2006-08-17 2008-02-20 上海乐金广电电子有限公司 利用基本层的图像信号的编码/解码方法及装置
KR100823287B1 (ko) * 2007-01-03 2008-04-21 삼성전자주식회사 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
US8718139B2 (en) * 2007-01-12 2014-05-06 Mitsubishi Electric Corporation Image decoding device and image decoding method
JPWO2008139721A1 (ja) * 2007-05-07 2010-07-29 パナソニック株式会社 復号化装置及び復号化方法
WO2009001793A1 (ja) 2007-06-26 2008-12-31 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
US8184711B2 (en) * 2007-09-12 2012-05-22 Sony Corporation Image processing device and image processing method
JP2009094828A (ja) 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
EP2200330A1 (en) * 2007-10-15 2010-06-23 Mitsubishi Electric Corporation Image coding device, image decoding device, image coding method, and image decoding method
KR20090041944A (ko) * 2007-10-25 2009-04-29 (주)씨앤에스 테크놀로지 인근 블록의 모드정보를 이용한 움직임 추정 방법 및 장치
CN101159871B (zh) 2007-11-12 2010-08-04 中兴通讯股份有限公司 宏块组级视频码率控制方法
CN101202915A (zh) * 2007-12-06 2008-06-18 北京大学深圳研究生院 一种帧内预测模式的选择方法及装置
BRPI0906824A2 (pt) * 2008-01-09 2015-07-14 Mitsubishi Electric Corp Dispositivo de codificação de imagem, dispositivo de decodificação de imagem, método de codificação de imagem e método de decodificação de imagem
US8335385B2 (en) * 2008-01-21 2012-12-18 Telefonaktiebolaget Lm Ericsson (Publ) Pixel block processing
US8542730B2 (en) * 2008-02-22 2013-09-24 Qualcomm, Incorporated Fast macroblock delta QP decision
US20090238479A1 (en) * 2008-03-20 2009-09-24 Pawan Jaggi Flexible frame based energy efficient multimedia processor architecture and method
JP4650512B2 (ja) 2008-03-28 2011-03-16 セイコーエプソン株式会社 画像符号化装置及び集積回路装置
US8270744B2 (en) * 2008-06-27 2012-09-18 Sony Corporation Image processing apparatus and image processing method
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
CN102224734B (zh) * 2008-10-02 2013-11-13 索尼公司 图像处理设备和方法
JP5001964B2 (ja) 2009-02-18 2012-08-15 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム
KR101624649B1 (ko) 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
JP2011259204A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号装置およびその方法とプログラム
PL4024865T3 (pl) * 2010-06-10 2024-05-06 Interdigital Vc Holdings, Inc. Sposoby i urządzenie do określania elementów predykcji parametrów kwantyzacji z wielu sąsiadujących parametrów kwantyzacji
CN101888550A (zh) * 2010-06-28 2010-11-17 中兴通讯股份有限公司 一种slice头信息中量化参数编码方法和装置
JP6056122B2 (ja) * 2011-01-24 2017-01-11 ソニー株式会社 画像符号化装置と画像復号装置およびその方法とプログラム
CN102685478B (zh) 2011-03-11 2015-04-29 华为技术有限公司 编码方法以及装置、解码方法以及装置
CN106454381B (zh) * 2011-03-11 2019-05-28 索尼公司 图像处理装置和方法
US20130033001A1 (en) * 2011-08-07 2013-02-07 Luck Kent W Game of Craps
JP2013102297A (ja) * 2011-11-07 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
TWI726579B (zh) * 2011-12-21 2021-05-01 日商Ｊｖｃ建伍股份有限公司 動態影像編碼裝置、動態影像編碼方法、動態影像解碼裝置、及動態影像解碼方法
JP6116699B2 (ja) * 2013-10-15 2017-04-19 三菱電機株式会社 デジタル放送受信装置及び選局方法
US9473628B2 (en) * 2014-07-17 2016-10-18 Verizon Patent And Licensing Inc. Method and system for providing communication hold status management

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080256589A1 (en) * 2007-04-12 2008-10-16 Sony Corporation Reproduction controlling method and receiving apparatus
WO2009158113A2 (en) * 2008-06-03 2009-12-30 Microsoft Corporation Adaptive quantization for enhancement layer video coding

Also Published As

Publication number Publication date
CN107087190A (zh) 2017-08-22
JP2012170042A (ja) 2012-09-06
CN107087190B (zh) 2020-04-21
US20180063530A1 (en) 2018-03-01
BR112013018305B1 (pt) 2022-10-11
AU2012210001A1 (en) 2013-07-04
AU2021201931A1 (en) 2021-04-29
US20200336743A1 (en) 2020-10-22
ZA201304818B (en) 2013-09-25
MX2013008289A (es) 2013-09-13
MY177870A (en) 2020-09-23
RU2020108522A (ru) 2021-08-27
WO2012102088A1 (ja) 2012-08-02
CO6731124A2 (es) 2013-08-15
US20130266233A1 (en) 2013-10-10
AU2018201382B2 (en) 2018-11-08
KR20180053425A (ko) 2018-05-21
MY158425A (en) 2016-10-14
AU2019200515B2 (en) 2020-02-06
CN107087191B (zh) 2020-01-07
KR20140029381A (ko) 2014-03-10
CN110602497B (zh) 2021-11-30
AU2018201382A1 (en) 2018-03-15
KR101965119B1 (ko) 2019-04-02
TW201242377A (en) 2012-10-16
MX336094B (es) 2016-01-08
CN110602497A (zh) 2019-12-20
SG10201406196PA (en) 2014-12-30
EP3512198A1 (en) 2019-07-17
AU2020203010A1 (en) 2020-05-28
CN103329536B (zh) 2017-02-15
US10419761B2 (en) 2019-09-17
CN110839154A (zh) 2020-02-25
CN106878738A (zh) 2017-06-20
CN107087191A (zh) 2017-08-22
AU2016234951A1 (en) 2016-10-13
RU2615675C2 (ru) 2017-04-06
CN103329536A (zh) 2013-09-25
JP6056122B2 (ja) 2017-01-11
US20130301710A1 (en) 2013-11-14
CN106878738B (zh) 2019-11-08
RU2719453C1 (ru) 2020-04-17
SG191994A1 (en) 2013-08-30
TWI495350B (zh) 2015-08-01
AU2020203010B2 (en) 2021-01-28
AU2012210001B2 (en) 2016-07-21
US20190327471A1 (en) 2019-10-24
EP2645717A4 (en) 2016-07-27
RU2020108486A (ru) 2021-08-27
US9560348B2 (en) 2017-01-31
AU2016234951B2 (en) 2018-01-04
RU2013132921A (ru) 2015-01-27
BR112013018305A2 (pt) 2020-07-28
CA2823024A1 (en) 2012-08-02
US8787453B2 (en) 2014-07-22
CA2823024C (en) 2018-01-02
AU2019200515A1 (en) 2019-02-14
EP2645717A1 (en) 2013-10-02

Similar Documents

Publication Publication Date Title
KR101858289B1 (ko) 화상 복호 장치 및 화상 복호 방법
KR101808357B1 (ko) 화상 처리 장치와 화상 처리 방법
KR20140043758A (ko) 화상 처리 장치와 화상 처리 방법
KR20130118727A (ko) 화상 복호화 장치와 화상 부호화 장치 및 그 방법과 프로그램
WO2012063878A1 (ja) 画像処理装置と画像処理方法
KR20130090322A (ko) 화상 복호화 장치와 화상 부호화 장치 및 그 방법과 프로그램
JP2018191334A (ja) 画像符号化装置と画像符号化方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant