KR20220053561A - 화상 처리 장치 및 화상 처리 방법 - Google Patents

화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR20220053561A
KR20220053561A KR1020227005183A KR20227005183A KR20220053561A KR 20220053561 A KR20220053561 A KR 20220053561A KR 1020227005183 A KR1020227005183 A KR 1020227005183A KR 20227005183 A KR20227005183 A KR 20227005183A KR 20220053561 A KR20220053561 A KR 20220053561A
Authority
KR
South Korea
Prior art keywords
parameter set
offset parameter
unit
image
decoded image
Prior art date
Application number
KR1020227005183A
Other languages
English (en)
Inventor
마사루 이케다
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20220053561A publication Critical patent/KR20220053561A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 기술은, 화질을 향상시킬 수 있도록 하는 화상 처리 장치 및 화상 처리 방법에 관한 것이다. 비트스트림을 복호한 복호 화상의 색차 성분에 대하여 디블로킹 필터를 적용할 때 사용하는 색차 오프셋 파라미터 세트가 설정된다. 그리고, 화상이 부호화되어, 색차 오프셋 파라미터 세트를 포함하는 비트스트림이 생성된다. 또한, 비트스트림이 복호되어 복호 화상이 생성된다. 그리고, 색차 오프셋 파라미터 세트를 사용하여, 복호 화상의 블록 경계의 근방의 화소의 색차 성분에 대하여 디블로킹 필터가 적용된다. 본 기술은, 화상의 부호화 및 복호를 행하는 경우에 적용할 수 있다.

Description

화상 처리 장치 및 화상 처리 방법
본 기술은 화상 처리 장치 및 화상 처리 방법에 관한 것으로, 특히, 예를 들어 화질을 향상시킬 수 있도록 하는 화상 처리 장치 및 화상 처리 방법에 관한 것이다.
ITU-T와 ISO/IEC의 공동의 표준화 단체인 JVET(Joint Video Experts Team)에서는, H.265/HEVC보다 부호화 효율을 더 향상시키는 것을 목적으로 하여, 차세대의 화상 부호화 방식인 VVC(Versatile Video Coding)의 표준화 작업이 진행되고 있다.
DF(디블로킹 필터)의 필터 파라미터인 tc 및 beta에 대해서는, 각각 1개의 오프셋 파라미터 slice_tc_offset_div2 및 slice_beta_offset_div2를, 슬라이스 단위로 설정 가능하게 하는 기술이, 예를 들어 비특허문헌 1 및 2에 기재되어 있다.
비특허문헌 1 및 2에 기재된 기술에 따르면, 슬라이스 단위로, 필터 파라미터 tc 및 beta를 오프셋 파라미터 slice_tc_offset_div2 및 slice_beta_offset_div2로 조정하고, 조정 후의 필터 파라미터를 사용하여 DF를 제어하여, DF를 적용할 수 있다.
Benjamin Bross, Jianle Chen, Shan Liu, Versatile Video Coding(Draft 6), JVET-O2001-v14(version 14-date 2019-07-31) Jianle Chen, Yan Ye, Seung Hwan Kim, Algorithm description for Versatile Video Coding and Test Model 6(VTM 6), JVET-O2002-v1(version 1 date 2019-08-15)
비특허문헌 1 및 2에 기재된 기술에서는, 슬라이스 내에, DF의 필터 강도를 강하게 하여 블록 노이즈를 억제하고 싶은 부분과, DF의 필터 강도를 약하게 하여 부호화 대상의 원화상의 디테일을 남기고 싶은 부분이, 휘도 성분과 색차 성분에서 다른 경우에, 휘도 성분과 색차 성분에서 필터 강도를 조정하는 것이 곤란하였다. 그 때문에, 복호 화상의 (주관) 화질을 향상시키는 것이 곤란하였다.
본 기술은 이러한 상황을 감안하여 이루어진 것이며, 화질을 향상시킬 수 있도록 하는 것이다.
본 기술의 제1 화상 처리 장치는, 비트스트림을 복호하여 복호 화상을 생성하는 복호부와, 상기 복호부에 의해 생성된 복호 화상의 색차 성분에 대하여 디블로킹 필터를 적용할 때 사용하는 색차 오프셋 파라미터 세트를 사용하여, 상기 복호부에 의해 생성된 복호 화상의 블록 경계의 근방의 화소의 색차 성분에 대하여 디블로킹 필터를 적용하는 필터부를 구비하는 화상 처리 장치이다.
본 기술의 제1 화상 처리 방법은, 비트스트림을 복호하여 복호 화상을 생성하는 복호 공정과, 상기 복호 공정에 의해 생성된 복호 화상의 색차 성분에 대하여 디블로킹 필터를 적용할 때 사용하는 색차 오프셋 파라미터 세트를 사용하여, 상기 복호 공정에 의해 생성된 복호 화상의 블록 경계의 근방의 화소의 색차 성분에 대하여 디블로킹 필터를 적용하는 필터 공정을 포함하는 화상 처리 방법이다.
본 기술의 제1 화상 처리 장치 및 화상 처리 방법에 있어서는, 비트스트림이 복호되어 복호 화상이 생성된다. 그리고, 복호 화상의 색차 성분에 대하여 디블로킹 필터를 적용할 때 사용하는 색차 오프셋 파라미터 세트를 사용하여, 복호 화상의 블록 경계의 근방의 화소의 색차 성분에 대하여 디블로킹 필터가 적용된다.
본 기술의 제2 화상 처리 장치는, 비트스트림을 복호한 복호 화상의 색차 성분에 대하여 디블로킹 필터를 적용할 때 사용하는 색차 오프셋 파라미터 세트를 설정하는 설정부와, 화상을 부호화하여, 상기 설정부에 의해 설정된 색차 오프셋 파라미터 세트를 포함하는 비트스트림을 생성하는 부호화부를 구비하는 화상 처리 장치이다.
본 기술의 제2 화상 처리 방법은, 비트스트림을 복호한 복호 화상의 색차 성분에 대하여 디블로킹 필터를 적용할 때 사용하는 색차 오프셋 파라미터 세트를 설정하는 설정 공정과, 화상을 부호화하여, 상기 설정 공정에 의해 설정된 색차 오프셋 파라미터 세트를 포함하는 비트스트림을 생성하는 부호화 공정을 포함하는 화상 처리 방법이다.
본 기술의 제2 화상 처리 장치 및 화상 처리 방법에 있어서는, 비트스트림을 복호한 복호 화상의 색차 성분에 대하여 디블로킹 필터를 적용할 때 사용하는 색차 오프셋 파라미터 세트가 설정된다. 그리고, 화상이 부호화되어, 색차 오프셋 파라미터 세트를 포함하는 비트스트림이 생성된다.
화상 처리 장치는, 독립된 장치여도 되고, 1개의 장치를 구성하고 있는 내부 블록이어도 된다.
화상 처리 장치는, 컴퓨터에 프로그램을 실행시킴으로써 실현할 수 있다. 프로그램은, 전송 매체를 통하여 전송함으로써, 또는 기록 매체에 기록하여 제공할 수 있다.
도 1은 부호화 대상의 화상(원화상)으로서의 픽처의 예를 도시하는 도면이다.
도 2는 양자화 스텝 사이즈와 DF의 필터 파라미터 tc 및 beta의 관계를 설명하는 도면이다.
도 3은 본 기술을 적용한 화상 처리 시스템의 일 실시 형태의 구성예를 도시하는 블록도이다.
도 4는 인코더(11)의 상세한 구성예를 도시하는 블록도이다.
도 5는 인코더(11)의 부호화 처리의 예를 설명하는 흐름도이다.
도 6은 디코더(51)의 상세한 구성예를 도시하는 블록도이다.
도 7은 디코더(51)의 복호 처리의 예를 설명하는 흐름도이다.
도 8은 DF(31a)의 구성예를 도시하는 블록도이다.
도 9는 DF(31b)의 구성예를 도시하는 블록도이다.
도 10은 2조의 오프셋 파라미터 세트를 픽처 파라미터 세트에 포함시키는 경우의 픽처 파라미터 세트의 신택스의 예를 도시하는 도면이다.
도 11은 2조의 오프셋 파라미터 세트를 슬라이스 헤더에 포함시키는 경우의 슬라이스 헤더의 신택스의 예를 도시하는 도면이다.
도 12는 본 기술을 적용한 컴퓨터의 일 실시 형태의 구성예를 도시하는 블록도이다.
본 명세서에서 개시되는 범위는, 실시 형태의 내용에 한정되는 것은 아니며, 출원 당시에 있어서 공지로 되어 있는 이하의 참조 문헌 REF1 내지 REF6의 내용도, 참조에 의해 본 명세서에 원용된다. 즉, 이하의 참조 문헌 REF1 내지 REF6에 기재되어 있는 내용도 서포트 요건에 대하여 판단할 때의 근거가 된다. 예를 들어, Quad-Tree Block Structure, OTBT(Quad Tree Plus Binary Tree) Block Structure, MTT(Multi-type Tree) Block Structure가 발명의 상세한 설명에 있어서 직접적으로 정의되어 있지 않은 경우라도, 본 개시의 범위 내이며, 청구범위의 서포트 요건을 충족시키는 것으로 한다. 또한, 예를 들어 파싱(Parsing), 신택스(Syntax), 시맨틱스(Semantics) 등의 기술 용어에 대해서도 마찬가지로, 발명의 상세한 설명에 있어서 직접적으로 정의되어 있지 않은 경우라도, 본 개시의 범위 내이며, 청구범위의 서포트 요건을 충족시키는 것으로 한다. 또한, 예를 들어 Deblocking Filter, Offset Parameter(tc, beta) 등의 기술 용어에 대해서도 마찬가지로, 발명의 상세한 설명에 있어서 직접적으로 정의되어 있지 않은 경우라도, 본 개시의 범위 내이며, 청구범위의 서포트 요건을 충족시키는 것으로 한다.
REF1: Recommendation ITU-T H.264(04/2017) | Advanced video coding for generic audiovisual services", April 2017
REF2: Recommendation ITU-T H.265(02/2018) High efficiency video coding", February 2018
REF3: Benjamin Bross, Jianle Chen, Shan Liu, Versatile Video Coding(Draft 6), JVET-O2001-v14(version 14-date 2019-07-31)
REF4: Jianle Chen, Yan Ye, Seung Hwan Kim, Algorithm description for Versatile Video Coding and Test Model 6(VTM 6), JVET-O2002-v1(version 1 date 2019-08-15)
REF5: Geert Van der Auwera, Rajan Joshi, Marta Karczewicz: AHG6: Quantization Matrices and Deblocking Filtering, JCTVC-I0280_r1, (version 2-2012-04-25)
REF6: Kazushi Sato: Title: On Deblocking Filter and DC Component of Quantization Matrices, JCTVC-J0186_r1(version 2-data-2012-07-11)
<정의>
본 개시에서는, 이하의 용어를 이하와 같이 정의한다.
원화상이란, 부호화하기 전의 오리지널 화상을 의미한다.
복호 화상이란, 복호 처리에 있어서 생성되는 화상을 의미한다. 복호 화상에는, 복호 처리의 도중에 생성되는 화상, 및 복호 처리가 행해진 후에 출력된 화상이 포함된다.
로컬 복호 화상이란, 화상을 부호화할 때의 로컬 복호에 있어서 생성되는 화상을 의미하며, 로컬 복호의 도중에 생성되는 화상, 및 로컬 복호된 후에 출력된 화상을 포함한다. 이하, 로컬 복호 화상을, 단순히 복호 화상이라고도 한다.
부호화 데이터란, 화상(텍스처)이 부호화된 후의 데이터를 의미한다.
비트스트림(또는 부호화 비트스트림, 혹은 부호화 스트림)이란, 부호화 데이터에 추가하여, 부호화 또는 복호할 때 필요하게 되는 파라미터가 부호화된 데이터를 포함하는 데이터를 의미한다.
파라미터(부호화 파라미터)란, 부호화 또는 복호할 때 필요하게 되는 데이터의 총칭이며, 전형적으로는 비트스트림의 신택스, 파라미터 세트 등이다. 또한, 파라미터(부호화 파라미터)는, 도출 과정에서 사용되는 변수 등을 포함한다.
필터 파라미터란, 필터를 제어할 때 사용하는 파라미터이며, 예를 들어 디블로킹 필터에 대해서는, REF3/REF4에 기재되어 있는 tc, beta가 필터 파라미터에 상당한다.
오프셋 파라미터란, 필터를 제어할 때 사용하는 필터 파라미터를 조정하는 오프셋이며, 예를 들어 디블로킹 필터에 대해서는, REF3/REF4에 기재되어 있는 tc_offset, beta_offset이 오프셋 파라미터에 상당한다.
오프셋 파라미터 세트란, 오프셋 파라미터의 조(집합)를 의미하며, 예를 들어 (tc_offset, beta_offset)의 조에 상당한다.
복수의 오프셋 파라미터 세트란, (tc_offset0, beta_offset0), (tc_offset1, beta_offset1), ..., (tc_offset#N, beta_offset#N)에 상당한다. 예를 들어, 2조의 오프셋 파라미터 세트란, (tc_offset0, beta_offset0), (tc_offset1, beta_offset1)에 상당한다.
블록이란, 부호화 처리 또는 시를 행할 때의 처리 단위로 되는 블록(화소(값)의 집합)을 의미한다.
예측 블록이란, 인트라 예측이나 인터 예측을 행할 때의 처리 단위로 되는 블록을 의미하며, 예측 블록 내의 서브블록을 포함한다.
예측 블록이, 직교 변환을 행할 때의 처리 단위로 되는 직교 변환 블록이나, 부호화 처리를 행할 때의 처리 단위로 되는 부호화 블록 등의 처리 단위와 통일화되어 있는 경우에는, 예측 블록(예를 들어, PU), 직교 변환 블록(예를 들어, TU), 및 부호화 블록(예를 들어, CU)은 동일한 블록을 의미한다.
블록 경계란, 블록의 경계를 의미한다.
블록 경계의 근방에 위치하는 화소란, 블록 경계에 대하여 디블로킹 필터를 적용하는 범위 내에 위치하는 화소를 의미한다.
본 개시에 있어서, 복수의 패턴을 식별하는 식별 데이터를, 비트스트림의 신택스로서 설정할 수 있다. 이 경우, 디코더에서는 식별 데이터를 파싱 및 참조함으로써, 보다 효율적으로 처리를 행하는 것이 가능하게 된다.
<원화상의 예>
도 1은, 부호화 대상의 화상(원화상)으로서의 픽처의 예를 도시하는 도면이다.
픽처에는 다양한 피사체가 찍힌다. 도 1의 픽처에는, 캠프 파이어의 한 씬을 구성하는 모닥불의 불꽃 및 연기, 인물, 깃발, 잔디밭 등이 찍혀 있다.
다양한 피사체가 찍히는 픽처를 부호화하고, 또한 복호하여 얻어지는 복호 화상에 있어서는, 블록 내에 찍히는 피사체의 특징이나 블록 사이즈 등에 의해, 블록 경계가 눈에 띄는 부분과 그다지 눈에 띄지 않는 부분이 혼재한다.
복호 화상의 화질을 향상시키는 관점에서는, 블록 경계가 눈에 띄는 부분에는, 상대적으로 필터 강도(평활화의 정도)가 강한 DF를 적용하고, 블록 경계가 그다지 눈에 띄지 않는 부분에는, 상대적으로 필터 강도가 약한 DF를 적용하는 것이 바람직하다.
따라서, 복호 화상에는, 상대적으로 필터 강도가 강한 DF를 적용하고 싶은 부분과, 필터 강도가 약한 DF를 적용하고 싶은 부분이 혼재한다.
예를 들어, 도 1에 있어서, 연기가 찍히는 부분이나, 깃발이 찍히는 평탄 부분은, 필터 강도가 강한 DF를 적용하고 싶은 부분에 해당한다.
한편, 인물의 얼굴이 찍히는 부분이나, 잔디밭이 찍히는 텍스처 부분은, 블록 사이즈가 작게 설정되기 쉬우며, 필터 강도가 약한 DF를 적용하고 싶은 부분에 해당한다.
일반적으로, 양자화 파라미터가 커질수록, (부호화) 블록의 블록 사이즈가 커지는 경향이 있다. 블록 사이즈가 큰 블록에 대해서는, 인접하는 2개의 블록의 블록 경계가 눈에 띄기 쉬워, DF를 적용하는 요구가 있다.
VVC에서는, DF의 하나로서, 필터 강도가 강한 롱 탭 필터가 채용되어 있다. 휘도 성분의 화소가 32화소 이상이고, 색차 성분의 화소가 8화소 이상인 큰 블록 사이즈의 블록에 대해서는, 롱 탭 필터를 적용하는 조건이 충족되는 경우, 롱 탭 필터가 적용된다. 따라서, 큰 블록 사이즈의 블록에, 필터 강도가 강한 DF를 적용하고 싶다고 하는 요구가 잠재적으로 있다.
(주관) 화질을 향상시키기 위해, 예를 들어 롱 탭 필터가 적극적으로 적용되는 DF의 오프셋 파라미터를 설정하는 것을 생각할 수 있다.
그러나, 오프셋 파라미터는, 슬라이스 단위로, DF의 필터 파라미터 tc 및 beta에 반영된다. 그 때문에, 슬라이스 내에, 큰 블록 사이즈의 블록 외에, DF를 적극적으로 적용하고 싶지 않은, 비교적 작은 블록 사이즈의 블록이 존재하면, 큰 블록 사이즈의 블록뿐만 아니라, 작은 블록 사이즈의 블록에도 DF가 적용되기 쉬워진다. 이 경우, 복호 화상이 흐려져 버려, 화질을 향상시키는 것이 곤란하게 된다.
한편, 오프셋 파라미터를 적용하지 않는 경우에는, 슬라이스 내의 큰 블록 사이즈의 블록에 대하여, DF가 적용되기 어려워져, 블록 노이즈가 눈에 띄게 된다.
<양자화 스텝 사이즈와 필터 파라미터 tc 및 beta의 관계>
도 2는, 양자화 스텝 사이즈와 DF의 필터 파라미터 tc 및 beta의 관계를 설명하는 도면이다.
화상의 부호화에 있어서, 양자화 매트릭스를 적용하는 경우, 양자화 스텝 사이즈가 조정된다. VVC의 DF의 필터 파라미터 tc 및 beta는, 인접하는 2개의 블록의 양자화 파라미터 QPp 및 QPq의 평균 (QPp+QPq+1)>>1에 기초하여 도출된다. 이 때문에, 양자화 매트릭스에 의한 양자화 스텝 사이즈의 조정분이, 필터 파라미터 tc 및 beta에 반영되지 않는다.
도 2에서는, 베이스 QP(QPp 및 QPq)가 17이고, 양자화 매트릭스에 대응하는 scalingList[]가 defaultScaling으로서의, 예를 들어 16으로 되어 있고, 양자화 스텝 사이즈 Qstep이 20인 인접하는 2개의 블록인 인접 블록 B1이 도시되어 있다.
또한, 도 2에서는, 베이스 QP가 23이고, 양자화 매트릭스에 대응하는 scalingList[]가 defaultScaling으로서의 16으로 되어 있고, 양자화 스텝 사이즈 Qstep이 40인 인접하는 2개의 블록인 인접 블록 B2가 도시되어 있다.
도 2에 있어서, 인접 블록 B1의 블록 경계(의 근방의 화소)에 적용되는 DF의 필터 파라미터 tc 및 beta(t'c 및 β')는, 각각 0 및 7로 되어 있다. 인접 블록 B2의 블록 경계에 적용되는 DF의 필터 파라미터 tc 및 beta는, 각각 5 및 13으로 되어 있다.
이제, 인접 블록 B1에 대하여, 양자화 매트릭스에 대응하는 scalingList[]를 defaultScaling으로서의 16으로부터 32로 변경하면, 양자화 스텝 사이즈 Qstep은, 인접 블록 B2와 마찬가지인 40으로 조정된다.
단, 양자화 스텝 사이즈 Qstep이 40으로 조정된 후의 인접 블록 B1의 블록 경계에 적용되는 필터 파라미터 tc 및 beta는, 각각 0 및 7인 상태이다.
이상과 같이, 베이스 QP=23 && default scaling list(scalingList[]=16)와 베이스 QP=17 && scalingList[]=32인 경우에, 양자화 스텝 사이즈가 동일하지만, 도출되는 DF의 필터 파라미터는 크게 다른 경우가 있다.
즉, 베이스 QP가 17이고, scalingList[]가 32인 인접 블록 B1과, 베이스 QP가 23이고, scalingList[]가 defaultScaling으로서의 16인 인접 블록 B2에 대해서는, 양자화 스텝 사이즈 Qstep은 모두 40으로 동일하다.
그러나, 베이스 QP가 17이고, scalingList[]가 32인 인접 블록 B1의 블록 경계에 적용되는 DF의 필터 파라미터 tc 및 beta는, 각각 0 및 7이다. 베이스 QP가 23이고, scalingList[]가 defaultScaling으로서의 16인 인접 블록 B2의 블록 경계에 적용되는 DF의 필터 파라미터 tc 및 beta는, 각각 5 및 13이다. 따라서, 양자화 스텝 사이즈 Qstep이 40으로 동일한 인접 블록 B1과 B2에 있어서, DF의 필터 파라미터 tc 및 beta는 크게 다르다.
참조 문헌 REF5 및 REF6에서는, 양자화 파라미터를 조정하기 위한 기술이 제안되어 있지만, 처리의 복잡도가 증가하기 때문에 채용되어 있지 않다. 양자화 매트릭스에 의한 양자화 스텝 사이즈의 조정분이, 필터 파라미터 tc 및 beta에 반영되지 않는 것에 대해서는, 간이적인 방법으로의 해결 수단이 요망되고 있다.
필터 파라미터 tc 및 beta에 대해서는, 오프셋 파라미터로 조정할 수 있다. DF는 큰 블록에 적용하고 싶다는 경향을 고려하면, 오프셋 파라미터에서의 필터 파라미터 tc 및 beta의 조정을 대 블록(큰 블록 사이즈의 블록)에만 하고 싶다는 요구가 고려된다.
현상의 1조의 오프셋 파라미터를 슬라이스에 균일하게 적용하면, 상대적으로 소 블록(작은 블록 사이즈의 블록)에 DF가 강하게 적용되어(필터 강도가 강한 DF가 적용되어) 화상이 흐려져 버릴 가능성이 있다.
이에 비해, 오프셋 파라미터를 적용하지 않으면, 대 블록에 있어서 블록 노이즈가 눈에 띄게 된다.
따라서, 현상의 1조의 오프셋 파라미터에서는, 즉 필터 파라미터 tc를 조정하는 오프셋 파라미터와, 필터 파라미터 beta를 조정하는 오프셋 파라미터의 세트(오프셋 파라미터 세트)가 1조뿐인 것에서는, 대 블록과 소 블록이 혼재하는 슬라이스에 있어서, 전체적으로 화질을 향상시키는 것이 곤란한 경우가 있다.
그래서, 본 기술에서는 DF의 필터 파라미터 tc 및 beta를 조정하는 경우, 필터 파라미터 tc 및 beta를 조정하고 싶은 처리 단위(필터 처리 단위)(이하, 조정 단위라고도 함)에 있어서 복수조의 오프셋 파라미터 세트를 설정할 수 있다. 설정한 복수조의 오프셋 파라미터 세트는, 화상을 부호화한 비트스트림의 신택스로서 설정할 수 있다.
복수조의 오프셋 파라미터 세트에 의한 필터 파라미터 tc 및 beta의 조정을 조정하는 조정 단위로서는, 예를 들어 픽처 단위나 슬라이스 단위를 채용할 수 있다.
조정 단위로서, 픽처 단위를 채용하는 경우에는, 복수조의 오프셋 파라미터 세트는, 픽처 파라미터 세트나 픽처 헤더에 설정할 수 있다.
조정 단위로서, 슬라이스 단위를 채용하는 경우에는, 복수조의 오프셋 파라미터 세트는, 슬라이스 헤더에 설정할 수 있다.
또한, 조정 단위로서, 픽처 단위를 채용하는 경우에는, 복수조의 오프셋 파라미터 세트는, 픽처 파라미터 세트 및 슬라이스의 양쪽에 설정할 수 있다. 복수조의 오프셋 파라미터 세트를, 픽처 파라미터 세트 및 슬라이스의 양쪽에 설정하는 경우, 픽처 파라미터 세트 및 슬라이스 각각의 오프셋 파라미터가 다를 때에는, 필터 파라미터 tc 및 beta의 조정에는, 픽처 파라미터 세트에 설정된 복수조의 오프셋 파라미터 세트를 우선하여 사용할 수 있다.
조정 단위에 설정하는 오프셋 파라미터 세트의 조수로서는, 2조나 3조, 4조 이상의 임의의 복수조를 채용할 수 있다. 조정 단위에 설정하는 오프셋 파라미터 세트의 조수로서, 2조를 채용하는 경우, 처리를 심플하게 하거나, 오프셋 파라미터 세트의 사이즈를 삭감할 수 있다.
복수조의 오프셋 파라미터 세트로부터, 커런트 오프셋 파라미터 세트, 즉 DF를 적용하는 블록 경계에 사용하는 오프셋 파라미터의 선택은, 부호화 파라미터에 따라 행할 수 있다.
커런트 오프셋 파라미터 세트의 선택을 부호화 파라미터에 따라 행하는 경우에는, 부호화 파라미터에 따라 커런트 오프셋 파라미터 세트를 선택하는 선택 기준으로서, 그 부호화 파라미터에 대한 역치를 설정할 수 있다.
커런트 오프셋 파라미터 세트의 선택에서 사용하는 부호화 파라미터로서는, 예를 들어 블록 사이즈를 채용할 수 있다.
이 경우, 예를 들어 블록 사이즈가 역치 이상인 블록의 블록 경계에 적용되는 DF의 필터 파라미터 tc 및 beta의 조정에 사용되는 제1 오프셋 파라미터 세트와, 블록 사이즈가 역치 이상이 아닌 블록의 블록 경계에 적용되는 DF의 필터 파라미터 tc 및 beta의 조정에 사용되는 제2 오프셋 파라미터 세트를 설정할 수 있다.
그리고, 블록 사이즈가 역치 이상인 블록에 대해서는, 제1 오프셋 파라미터 세트를 커런트 오프셋 파라미터 세트로서 선택할 수 있다. 블록 사이즈가 역치 이상이 아닌 블록에 대해서는, 제2 오프셋 파라미터 세트를 커런트 오프셋 파라미터 세트로서 선택할 수 있다.
제1 오프셋 파라미터 세트, 제2 오프셋 파라미터 세트, 및 블록 사이즈의 역치는, 비트스트림의 신택스에 설정할 수 있다.
복수조의 오프셋 파라미터 세트로서는, 그 밖에, 예를 들어 복호 화상의 휘도 성분과 색차 성분의 각각에 대한 오프셋 파라미터 세트를 설정할 수 있다.
색차 성분이 복수인 경우에는, 복수의 색차 성분에 대하여 통합하여, 1조의 오프셋 파라미터 세트를 설정할 수도 있고, 복수의 색차 성분의 각각에 대하여, 개별적으로 1조씩의 오프셋 파라미터 세트를 설정할 수도 있다.
복호 화상의 휘도 성분과 색차 성분의 각각에 대한 오프셋 파라미터 세트를 설정하는 경우에 있어서, 복수의 색차 성분의 각각에 대하여, 1조씩의 오프셋 파라미터 세트를 설정할 때에는, 복호 화상의 각 컴포넌트 성분에 대하여, 1조씩의 오프셋 파라미터 세트가 설정된다.
예를 들어, 복호 화상이 YCbCr의 컴포넌트 성분을 갖는 경우(복호 화상에 대한 색 공간이 YCbCr인 경우), YCbCr의 각 컴포넌트 성분, 즉 휘도 성분 Y, 색차 성분 Cb(Cb 성분), 및 색차 성분 Cr(Cr 성분)의 각각에 대하여, 1조씩의 오프셋 파라미터 세트를 설정할 수 있다. 이 경우, 3조의 오프셋 파라미터 세트가 설정된다.
또한, 예를 들어 복호 화상이 YUV의 컴포넌트 성분을 갖는 경우(복호 화상에 대한 색 공간이 YUV인 경우), YUV의 각 컴포넌트 성분, 즉 휘도 성분 Y, 색차 성분 U(U 성분), 및 색차 성분 V(V 성분)의 각각에 대하여, 1조씩의 오프셋 파라미터 세트를 설정할 수 있다. 이 경우, 3조의 오프셋 파라미터 세트가 설정된다.
휘도 성분에 대한 1조의 오프셋 파라미터 세트와, 색차 성분에 대한 1조의 오프셋 파라미터 세트의 합계로 2조의 오프셋 파라미터 세트가 설정되는 경우, DF의 적용에서는, 2조의 오프셋 파라미터 세트로부터, 휘도 성분에 대해서는, 휘도 성분에 대한 오프셋 파라미터 세트가 커런트 오프셋 파라미터 세트로서 사용되고, 색차 성분에 대해서는, 색차 성분에 대한 오프셋 파라미터 세트가 커런트 오프셋 파라미터 세트로서 사용된다.
휘도 성분 Y에 대한 1조의 오프셋 파라미터 세트(휘도 오프셋 파라미터 세트), 색차 성분(제1 색차 성분) Cb 또는 U에 대한 1조의 오프셋 파라미터 세트(제1 색차 오프셋 파라미터 세트), 및 색차 성분(제2 색차 성분) Cr 또는 V에 대한 1조의 오프셋 파라미터 세트(제2 색차 오프셋 파라미터 세트)의 합계로 3조의 오프셋 파라미터 세트가 설정되는 경우, DF의 적용에서는, 3조의 오프셋 파라미터 세트로부터, 휘도 성분 Y에 대해서는, 휘도 성분 Y에 대한 오프셋 파라미터 세트가 커런트 오프셋 파라미터 세트로서 사용된다. 색차 성분 Cb 또는 U에 대해서는, 색차 성분 Cb 또는 U에 대한 오프셋 파라미터 세트가 커런트 오프셋 파라미터 세트로서 사용되고, 색차 성분 Cr 또는 V에 대해서는, 색차 성분 Cr 또는 V에 대한 오프셋 파라미터 세트가 커런트 오프셋 파라미터 세트로서 사용된다.
DF의 적용에 있어서, 휘도 성분에 대한 1조의 오프셋 파라미터 세트와, 색차 성분에 대한 1조의 오프셋 파라미터 세트의 합계로 2조의 오프셋 파라미터 세트를 사용하는 경우에는, DF의 필터 강도를 강하게 하여 블록 노이즈를 억제하고 싶은 부분과, DF의 필터 강도를 약하게 하여 부호화 대상의 원화상의 디테일을 남기고 싶은 부분이, 휘도 성분과 색차 성분에서 다를 때, 휘도 성분과 색차 성분에서, 필터 강도를 조정할 수 있고, 복호 화상의 화질을 향상시킬 수 있다.
또한, DF의 적용에 있어서, 휘도 성분 Y에 대한 1조의 오프셋 파라미터 세트, 색차 성분 Cb 또는 U에 대한 1조의 오프셋 파라미터 세트, 및 색차 성분 Cr 또는 V에 대한 1조의 오프셋 파라미터 세트의 합계로 3조의 오프셋 파라미터 세트를 사용하는 경우에는, DF의 필터 강도를 강하게 하여 블록 노이즈를 억제하고 싶은 부분과, DF의 필터 강도를 약하게 하여 부호화 대상의 원화상의 디테일을 남기고 싶은 부분이, 각 컴포네트 성분에서 다를 때, 각 컴포넌트 성분에서, 필터 강도를 조정할 수 있고, 복호 화상의 화질을 향상시킬 수 있다.
<본 기술을 적용한 화상 처리 시스템>
도 3은, 본 기술을 적용한 화상 처리 시스템의 일 실시 형태의 구성예를 도시하는 블록도이다.
화상 처리 시스템(10)은, 인코더(11)로서의 화상 처리 장치, 및 디코더(51)로서의 화상 처리 장치를 갖는다.
인코더(11)는, 여기에 공급되는 부호화 대상의 원화상을 부호화하고, 그 부호화에 의해 얻어지는 부호화 비트스트림을 출력한다. 부호화 비트스트림은, 도시하지 않은 기록 매체 또는 전송 매체를 통하여 디코더(51)에 공급된다.
디코더(51)는, 여기에 공급되는 부호화 비트스트림을 복호하고, 그 복호에 의해 얻어지는 복호 화상을 출력한다.
<인코더(11)의 구성예>
도 4는, 도 3의 인코더(11)의 상세한 구성예를 도시하는 블록도이다.
또한, 이하 설명하는 블록도에 대해서는, 도면이 번잡해지는 것을 피하기 위해, 각 블록의 처리에서 필요한 정보(데이터)를 공급하는 선의 기재를 적절하게 생략한다.
도 4에 있어서, 인코더(11)는, A/D 변환부(21), 재배열 버퍼(22), 연산부(23), 직교 변환부(24), 양자화부(25), 가역 부호화부(26) 및 축적 버퍼(27)를 갖는다. 또한, 인코더(11)는, 역양자화부(28), 역직교 변환부(29), 연산부(30), 프레임 메모리(32), 선택부(33), 인트라 예측부(34), 움직임 예측 보상부(35), 예측 화상 선택부(36) 및 레이트 제어부(37)를 갖는다. 또한, 인코더(11)는, DF(31a), 적응 오프셋 필터(41) 및 ALF(adaptive loop filter)(42)를 갖는다.
A/D 변환부(21)는, 아날로그 신호의 원화상(부호화 대상)을 디지털 신호의 원화상으로 A/D 변환하고, 재배열 버퍼(22)에 공급하여 기억시킨다. 또한, 인코더(11)에 디지털 신호의 원화상이 공급되는 경우에는, 인코더(11)는 A/D 변환부(21)를 마련하지 않고 구성할 수 있다.
재배열 버퍼(22)는, 원화상의 프레임을, GOP(Group Of Picture)에 따라, 표시순으로부터 부호화(복호)순으로 재배열하고, 연산부(23), 인트라 예측부(34) 및 움직임 예측 보상부(35)에 공급한다.
연산부(23)는, 재배열 버퍼(22)로부터의 원화상으로부터, 예측 화상 선택부(36)를 통하여 인트라 예측부(34) 또는 움직임 예측 보상부(35)로부터 공급되는 예측 화상을 감산하고, 그 감산에 의해 얻어지는 잔차(예측 잔차)를 직교 변환부(24)에 공급한다.
직교 변환부(24)는, 연산부(23)로부터 공급되는 잔차에 대하여, 이산 코사인 변환이나 카루넨ㆍ루베 변환 등의 직교 변환을 실시하고, 그 직교 교환에 의해 얻어지는 직교 변환 계수를 양자화부(25)에 공급한다.
양자화부(25)는, 직교 변환부(24)로부터 공급되는 직교 변환 계수를 양자화한다. 양자화부(25)는, 레이트 제어부(37)로부터 공급되는 부호량의 목표값(부호량 목표값)에 기초하여 양자화 파라미터를 설정하고, 직교 변환 계수의 양자화를 행한다. 양자화부(25)는, 양자화된 직교 변환 계수인 부호화 데이터를 가역 부호화부(26)에 공급한다.
가역 부호화부(26)는, 양자화부(25)로부터의 부호화 데이터로서의 양자화된 직교 변환 계수를 소정의 가역 부호화 방식으로 부호화한다.
또한, 가역 부호화부(26)는, 인코더(11)에서의 예측 부호화에 관한 부호화 정보 중, 복호 장치(170)에서의 복호에 필요한 부호화 정보를, 각 블록으로부터 취득한다.
여기서, 부호화 정보로서는, 예를 들어 인트라 예측이나 인터 예측의 예측 모드, 움직임 벡터 등의 움직임 정보, 부호량 목표값, 양자화 파라미터, 픽처 타입(I, P, B), DF(31a) 및 적응 오프셋 필터(41)의 필터 파라미터 등의 부호화 파라미터가 있다.
예측 모드는, 인트라 예측부(34)나 움직임 예측 보상부(35)로부터 취득할 수 있다. 움직임 정보는, 움직임 예측 보상부(35)로부터 취득할 수 있다. DF(31a) 및 적응 오프셋 필터(41)의 필터 파라미터는, DF(31a) 및 적응 오프셋 필터(41)로부터 각각 취득할 수 있다.
가역 부호화부(26)는, 부호화 정보를, 예를 들어 CAVLC(Context-Adaptive Variable Length Coding)나 CABAC(Context-Adaptive Binary Arithmetic Coding) 등의 가변 길이 부호화 또는 산술 부호화 그 밖의 가역 부호화 방식으로 부호화하고, 부호화 후의 부호화 정보, 및 양자화부(25)로부터의 부호화 데이터를 포함하는 (다중화한) 부호화 비트스트림을 생성하여, 축적 버퍼(27)에 공급한다.
축적 버퍼(27)는, 가역 부호화부(26)로부터 공급되는 부호화 비트스트림을 일시적으로 축적한다. 축적 버퍼(27)에 축적된 부호화 비트스트림은, 소정의 타이밍에 판독되어 전송된다.
양자화부(25)에 있어서 양자화된 직교 변환 계수인 부호화 데이터는, 가역 부호화부(26)에 공급되는 것 외에, 역양자화부(28)에도 공급된다. 역양자화부(28)는, 양자화된 직교 변환 계수를, 양자화부(25)에 의한 양자화에 대응하는 방법으로 역양자화하고, 그 역양자화에 의해 얻어지는 직교 변환 계수를 역직교 변환부(29)에 공급한다.
역직교 변환부(29)는, 역양자화부(28)로부터 공급되는 직교 변환 계수를, 직교 변환부(24)에 의한 직교 변환 처리에 대응하는 방법으로 역직교 변환하고, 그 역직교 변환의 결과 얻어지는 잔차를 연산부(30)에 공급한다.
연산부(30)는, 역직교 변환부(29)로부터 공급되는 잔차에, 예측 화상 선택부(36)를 통하여 인트라 예측부(34) 또는 움직임 예측 보상부(35)로부터 공급되는 예측 화상을 가산하고, 이에 의해, 원화상을 복호한 복호 화상(의 일부)을 얻어 출력한다.
연산부(30)가 출력하는 복호 화상은, DF(31a) 또는 프레임 메모리(32)에 공급된다.
프레임 메모리(32)는, 연산부(30)로부터 공급되는 복호 화상, 및 ALF(42)로부터 공급되는, DF(31a), 적응 오프셋 필터(41), 및 ALF(42)가 적용된 복호 화상(필터 화상)을 일시 기억한다. 프레임 메모리(32)에 기억된 복호 화상은, 필요한 타이밍에, 예측 화상의 생성에 사용되는 참조 화상으로서 선택부(33)에 공급된다.
선택부(33)는, 프레임 메모리(32)로부터 공급되는 참조 화상의 공급처를 선택한다. 인트라 예측부(34)에 있어서 인트라 예측이 행해지는 경우, 선택부(33)는, 프레임 메모리(32)로부터 공급되는 참조 화상을 인트라 예측부(34)에 공급한다. 움직임 예측 보상부(35)에 있어서 인터 예측이 행해지는 경우, 선택부(33)는, 프레임 메모리(32)로부터 공급되는 참조 화상을 움직임 예측 보상부(35)에 공급한다.
인트라 예측부(34)는, 재배열 버퍼(22)로부터 공급되는 원화상과, 선택부(33)를 통하여 프레임 메모리(32)로부터 공급되는 참조 화상을 사용하여, 인트라 예측(화면 내 예측)을 행한다. 인트라 예측부(34)는, 소정의 비용 함수(예를 들어, RD 비용 등)에 기초하여, 최적의 인트라 예측 모드를 선택하고, 그 최적의 인트라 예측 모드에서 참조 화상으로부터 생성된 예측 화상을 예측 화상 선택부(36)에 공급한다. 또한, 상술한 바와 같이, 인트라 예측부(34)는, 비용 함수에 기초하여 선택된 인트라 예측 모드를 나타내는 예측 모드를 가역 부호화부(26) 등에 적절하게 공급한다.
움직임 예측 보상부(35)는, 재배열 버퍼(22)로부터 공급되는 원화상과, 선택부(33)를 통하여 프레임 메모리(32)로부터 공급되는 참조 화상을 사용하여, 움직임 예측(인터 예측)을 행한다. 또한, 움직임 예측 보상부(35)는, 움직임 예측에 의해 검출되는 움직임 벡터에 따라 움직임 보상을 행하여, 예측 화상을 생성한다. 움직임 예측 보상부(35)는, 미리 준비된 복수의 인터 예측 모드에서, 인터 예측을 행하여, 참조 화상으로부터 예측 화상을 생성한다.
움직임 예측 보상부(35)는, 복수의 인터 예측 모드 각각에 대하여 얻어진 예측 화상의 소정의 비용 함수에 기초하여, 최적의 인터 예측 모드를 선택한다. 또한, 움직임 예측 보상부(35)는, 최적의 인터 예측 모드에서 생성된 예측 화상을 예측 화상 선택부(36)에 공급한다.
또한, 움직임 예측 보상부(35)는, 비용 함수에 기초하여 선택된 인터 예측 모드를 나타내는 예측 모드나, 그 인터 예측 모드에서 부호화된 부호화 데이터를 복호할 때 필요한 움직임 벡터 등의 움직임 정보 등을 가역 부호화부(26)에 공급한다.
예측 화상 선택부(36)는, 연산부(23) 및 연산부(30)에 공급하는 예측 화상의 공급원을, 인트라 예측부(34) 및 움직임 예측 보상부(35) 중에서 선택하고, 그 선택한 쪽의 공급원으로부터 공급되는 예측 화상을 연산부(23) 및 연산부(30)에 공급한다.
레이트 제어부(37)는, 축적 버퍼(27)에 축적된 부호화 비트스트림의 부호량에 기초하여, 오버플로 혹은 언더플로가 발생하지 않도록, 양자화부(25)의 양자화 동작의 레이트를 제어한다. 즉, 레이트 제어부(37)는, 축적 버퍼(27)의 오버플로 및 언더플로가 발생하지 않도록, 부호화 비트스트림의 목표 부호량을 설정하고, 양자화부(25)에 공급한다.
DF(31a)는, 연산부(30)로부터의 복호 화상에, DF를 필요에 따라 적용하고, DF가 적용된 복호 화상(필터 화상), 또는 DF가 적용되어 있지 않은 복호 화상을 적응 오프셋 필터(41)에 공급한다.
적응 오프셋 필터(41)는, DF(31a)로부터의 복호 화상에, 적응 오프셋 필터를 필요에 따라 적용하고, 적응 오프셋 필터가 적용된 복호 화상(필터 화상), 또는 적응 오프셋 필터가 적용되어 있지 않은 복호 화상을 ALF(42)에 공급한다.
ALF(42)는, 적응 오프셋 필터(41)로부터의 복호 화상에, ALF를 필요에 따라 적용하고, ALF가 적용된 복호 화상, 또는 ALF가 적용되어 있지 않은 복호 화상을 프레임 메모리(32)에 공급한다.
이상과 같이 구성되는 인코더(11)에서는, 연산부(23), 직교 변환부(24), 양자화부(25), 가역 부호화부(26)가, 필터 화상을 사용하여 화상을 부호화하고, 부호화 비트스트림을 생성하는 부호화부로서 기능한다.
<부호화 처리>
도 5는, 도 4의 인코더(11)의 부호화 처리의 예를 설명하는 흐름도이다.
또한, 도 5에 도시하는 부호화 처리의 각 스텝의 순번은, 설명의 편의상의 순번이며, 실제의 부호화 처리의 각 스텝은, 적절하게 병렬적으로, 필요한 순번으로 행해진다. 이것은, 후술하는 처리에 대해서도 마찬가지이다.
인코더(11)에서는, 스텝 S11에 있어서, A/D 변환부(21)는, 원화상을 A/D 변환하고, 재배열 버퍼(22)에 공급하고, 처리는 스텝 S12로 진행한다.
스텝 S12에 있어서, 재배열 버퍼(22)는, A/D 변환부(21)로부터의 원화상을 기억하고, 부호화순으로 재배열하여 출력하고, 처리는 스텝 S13으로 진행한다.
스텝 S13에서는, 인트라 예측부(34)는, 인트라 예측 모드의 인트라 예측 처리를 행하고, 처리는 스텝 S14로 진행한다. 스텝 S14에 있어서, 움직임 예측 보상부(35)는, 인터 예측 모드에서의 움직임 예측이나 움직임 보상을 행하는 인터 움직임 예측 처리를 행하고, 처리는 스텝 S15로 진행한다.
인트라 예측부(34)의 인트라 예측 처리, 및 움직임 예측 보상부(35)의 인터 움직임 예측 처리에서는, 각종 예측 모드의 비용 함수가 연산됨과 함께, 예측 화상이 생성된다.
스텝 S15에서는, 예측 화상 선택부(36)는, 인트라 예측부(34) 및 움직임 예측 보상부(35)에서 얻어지는 각 비용 함수에 기초하여, 최적의 예측 모드를 결정한다. 그리고, 예측 화상 선택부(36)는, 인트라 예측부(34)에 의해 생성된 예측 화상과, 움직임 예측 보상부(35)에 의해 생성된 예측 화상 중 최적의 예측 모드의 예측 화상을 선택하여 출력하고, 처리는 스텝 S15로부터 스텝 S16으로 진행한다.
스텝 S16에서는, 연산부(23)는, 재배열 버퍼(22)가 출력하는 원화상인 부호화 대상의 대상 화상과, 예측 화상 선택부(36)가 출력하는 예측 화상의 잔차를 연산하여, 직교 변환부(24)에 공급하고, 처리는 스텝 S17로 진행한다.
스텝 S17에서는, 직교 변환부(24)는, 연산부(23)로부터의 잔차를 직교 변환하고, 그 결과 얻어지는 직교 변환 계수를 양자화부(25)에 공급하고, 처리는 스텝 S18로 진행한다.
스텝 S18에서는, 양자화부(25)는, 직교 변환부(24)로부터의 직교 변환 계수를 양자화하고, 그 양자화에 의해 얻어지는 양자화 계수를 가역 부호화부(26) 및 역양자화부(28)에 공급하고, 처리는 스텝 S19로 진행한다.
스텝 S19에서는, 역양자화부(28)는, 양자화부(25)로부터의 양자화 계수를 역양자화하고, 그 결과 얻어지는 직교 변환 계수를 역직교 변환부(29)에 공급하고, 처리는 스텝 S20으로 진행한다. 스텝 S20에서는, 역직교 변환부(29)는, 역양자화부(28)로부터의 직교 변환 계수를 역직교 변환하고, 그 결과 얻어지는 잔차를 연산부(30)에 공급하고, 처리는 스텝 S21로 진행한다.
스텝 S21에서는, 연산부(30)는, 역직교 변환부(29)로부터의 잔차와, 예측 화상 선택부(36)가 출력하는 예측 화상을 가산하고, 연산부(23)에서의 잔차의 연산의 대상으로 된 원화상에 대응하는 복호 화상을 생성한다. 연산부(30)는, 복호 화상을 DF(31a)에 공급하고, 처리는 스텝 S21로부터 스텝 S22로 진행한다.
스텝 S22에서는, DF(31a)는, 연산부(30)로부터의 복호 화상에 DF를 적용하고, 그 결과 얻어지는 필터 화상을 적응 오프셋 필터(41)에 공급하고, 처리는 스텝 S23으로 진행한다.
스텝 S23에서는, 적응 오프셋 필터(41)는, DF(31a)로부터의 필터 화상에 적응 오프셋 필터를 적용하고, 그 결과 얻어지는 필터 화상을 ALF(42)에 공급하고, 처리는 스텝 S24로 진행한다.
스텝 S24에서는, ALF(42)는, 적응 오프셋 필터(41)로부터의 필터 화상에 ALF를 적용하고, 그 결과 얻어지는 필터 화상을 프레임 메모리(32)에 공급하고, 처리는 스텝 S25로 진행한다.
스텝 S25에서는, 프레임 메모리(32)는, ALF(42)로부터 공급되는 필터 화상을 기억하고, 처리는 스텝 S26으로 진행한다. 프레임 메모리(32)에 기억된 필터 화상은, 스텝 S13이나 S14에서, 예측 화상을 생성하는 근원이 되는 참조 화상으로서 사용된다.
스텝 S26에서는, 가역 부호화부(26)는, 양자화부(25)로부터의 양자화 계수인 부호화 데이터를 부호화하고, 그 부호화 데이터를 포함하는 부호화 비트스트림을 생성한다. 또한, 가역 부호화부(26)는, 양자화부(25)에서의 양자화에 사용된 양자화 파라미터나, 인트라 예측부(34)에서의 인트라 예측 처리에서 얻어진 예측 모드, 움직임 예측 보상부(35)에서의 인터 움직임 예측 처리에서 얻어진 예측 모드나 움직임 정보, DF(31a) 및 적응 오프셋 필터(41)의 필터 파라미터 등의 부호화 정보를 필요에 따라 부호화하고, 부호화 비트스트림에 포함시킨다.
그리고, 가역 부호화부(26)는, 부호화 비트스트림을 축적 버퍼(27)에 공급하고, 처리는 스텝 S26으로부터 스텝 S27로 진행한다.
스텝 S27에 있어서, 축적 버퍼(27)는, 가역 부호화부(26)로부터의 부호화 비트스트림을 축적하고, 처리는 스텝 S28로 진행한다. 축적 버퍼(27)에 축적된 부호화 비트스트림은, 적절하게 판독되어 전송된다.
스텝 S28에서는, 레이트 제어부(37)는, 축적 버퍼(27)에 축적되어 있는 부호화 비트스트림의 부호량(발생 부호량)에 기초하여, 오버플로 혹은 언더플로가 발생하지 않도록, 양자화부(25)의 양자화 동작의 레이트를 제어하고, 부호화 처리는 종료한다.
<디코더(51)의 구성예>
도 6은, 도 3의 디코더(51)의 상세한 구성예를 도시하는 블록도이다.
도 6에 있어서, 디코더(51)는, 축적 버퍼(61), 가역 복호부(62), 역양자화부(63), 역직교 변환부(64), 연산부(65), 재배열 버퍼(67) 및 D/A 변환부(68)를 갖는다. 또한, 디코더(51)는, 프레임 메모리(69), 선택부(70), 인트라 예측부(71), 움직임 예측 보상부(72) 및 선택부(73)를 갖는다. 또한, 디코더(51)는, DF(31b), 적응 오프셋 필터(81) 및 ALF(82)를 갖는다.
축적 버퍼(61)는, 인코더(11)로부터 전송되어 오는 부호화 비트스트림을 일시 축적하고, 소정의 타이밍에 있어서, 그 부호화 비트스트림을 가역 복호부(62)에 공급한다.
가역 복호부(62)는, 축적 버퍼(61)로부터의 부호화 비트스트림을 수신하고, 도 4의 가역 부호화부(26)의 부호화 방식에 대응하는 방식으로 복호한다.
그리고, 가역 복호부(62)는, 부호화 비트스트림의 복호 결과에 포함되는 부호화 데이터로서의 양자화 계수를 역양자화부(63)에 공급한다.
또한, 가역 복호부(62)는, 파싱을 행하는 기능을 갖는다. 가역 복호부(62)는, 부호화 비트스트림의 복호 결과에 포함되는 필요한 부호화 정보를 파싱하고, 부호화 정보를, 인트라 예측부(71)나, 움직임 예측 보상부(72), DF(31b), 적응 오프셋 필터(81) 그 밖의 필요한 블록에 공급한다.
역양자화부(63)는, 가역 복호부(62)로부터의 부호화 데이터로서의 양자화 계수를, 도 4의 양자화부(25)의 양자화 방식에 대응하는 방식으로 역양자화하고, 그 역양자화에 의해 얻어지는 직교 변환 계수를 역직교 변환부(64)에 공급한다.
역직교 변환부(64)는, 역양자화부(63)로부터 공급되는 직교 변환 계수를, 도 4의 직교 변환부(24)의 직교 변환 방식에 대응하는 방식으로 역직교 변환하고, 그 결과 얻어지는 잔차를 연산부(65)에 공급한다.
연산부(65)에는, 역직교 변환부(64)로부터 잔차가 공급되는 것 외에, 선택부(73)를 통하여 인트라 예측부(71) 또는 움직임 예측 보상부(72)로부터 예측 화상이 공급된다.
연산부(65)는, 역직교 변환부(64)로부터의 잔차와, 선택부(73)로부터의 예측 화상을 가산하여, 복호 화상을 생성하고, DF(31b)에 공급한다.
재배열 버퍼(67)는, ALF(82)로부터 공급되는 복호 화상을 일시 기억하고, 복호 화상의 프레임(픽처)의 배열을 부호화(복호)순으로부터 표시순으로 재배열하고, D/A 변환부(68)에 공급한다.
D/A 변환부(68)는, 재배열 버퍼(67)로부터 공급되는 복호 화상을 D/A 변환하고, 도시하지 않은 디스플레이에 출력하여 표시시킨다. 또한, 디코더(51)에 접속되는 기기가 디지털 신호의 화상을 접수하는 경우에는, 디코더(51)는, D/A 변환부(68)를 마련하지 않고 구성할 수 있다.
프레임 메모리(69)는, ALF(82)로부터 공급되는 복호 화상을 일시 기억한다. 또한, 프레임 메모리(69)는, 소정의 타이밍에 있어서, 또는 인트라 예측부(71)나 움직임 예측 보상부(72) 등의 외부의 요구에 기초하여, 복호 화상을, 예측 화상의 생성에 사용하는 참조 화상으로서, 선택부(70)에 공급한다.
선택부(70)는, 프레임 메모리(69)로부터 공급되는 참조 화상의 공급처를 선택한다. 선택부(70)는, 인트라 예측에서 부호화된 화상을 복호하는 경우, 프레임 메모리(69)로부터 공급되는 참조 화상을 인트라 예측부(71)에 공급한다. 또한, 선택부(70)는, 인터 예측에서 부호화된 화상을 복호하는 경우, 프레임 메모리(69)로부터 공급되는 참조 화상을 움직임 예측 보상부(72)에 공급한다.
인트라 예측부(71)는, 가역 복호부(62)로부터 공급되는 부호화 정보에 포함되는 예측 모드에 따라, 도 4의 인트라 예측부(34)에 있어서 사용된 인트라 예측 모드에서, 프레임 메모리(69)로부터 선택부(70)를 통하여 공급되는 참조 화상을 사용하여 인트라 예측을 행한다. 그리고, 인트라 예측부(71)는, 인트라 예측에 의해 얻어지는 예측 화상을 선택부(73)에 공급한다.
움직임 예측 보상부(72)는, 가역 복호부(62)로부터 공급되는 부호화 정보에 포함되는 예측 모드에 따라, 도 4의 움직임 예측 보상부(35)에 있어서 사용된 인터 예측 모드에서, 프레임 메모리(69)로부터 선택부(70)를 통하여 공급되는 참조 화상을 사용하여 인터 예측을 행한다. 인터 예측은, 가역 복호부(62)로부터 공급되는 부호화 정보에 포함되는 움직임 정보 등을 필요에 따라 사용하여 행해진다.
움직임 예측 보상부(72)는, 인터 예측에 의해 얻어지는 예측 화상을 선택부(73)에 공급한다.
선택부(73)는, 인트라 예측부(71)로부터 공급되는 예측 화상, 또는 움직임 예측 보상부(72)로부터 공급되는 예측 화상을 선택하고, 연산부(65)에 공급한다.
DF(31b)는, 가역 복호부(62)로부터 공급되는 부호화 정보에 포함되는 필터 파라미터 등에 따라, 연산부(65)로부터의 복호 화상에 DF를 적용하고, DF가 적용된 복호 화상(필터 화상), 또는 DF가 적용되어 있지 않은 복호 화상을 적응 오프셋 필터(81)에 공급한다.
적응 오프셋 필터(81)는, 가역 복호부(62)로부터 공급되는 부호화 정보에 포함되는 필터 파라미터에 따라, DF(31b)로부터의 복호 화상에, 적응 오프셋 필터를 필요에 따라 적용하고, 적응 오프셋 필터가 적용된 복호 화상(필터 화상), 또는 적응 오프셋 필터가 적용되어 있지 않은 복호 화상을 ALF(82)에 공급한다.
ALF(82)는, 적응 오프셋 필터(81)로부터의 복호 화상에, ALF를 필요에 따라 적용하고, ALF가 적용된 복호 화상, 또는 ALF가 적용되어 있지 않은 복호 화상을 재배열 버퍼(67) 및 프레임 메모리(69)에 공급한다.
이상과 같이 구성되는 디코더(51)에서는, 가역 복호부(62), 역양자화부(63), 역직교 변환부(64), 연산부(65)가, 부호화 비트스트림을 복호하여 화상(복호 화상)을 생성하는 복호부로서 기능한다.
<복호 처리>
도 7은, 도 6의 디코더(51)의 복호 처리의 예를 설명하는 흐름도이다.
복호 처리에서는, 스텝 S51에 있어서, 축적 버퍼(61)는, 인코더(11)로부터 전송되어 오는 부호화 비트스트림을 일시 축적하고, 적절하게 가역 복호부(62)에 공급하고, 처리는 스텝 S52로 진행한다.
스텝 S52에서는, 가역 복호부(62)는, 축적 버퍼(61)로부터 공급되는 부호화 비트스트림을 수취하여 복호하고, 부호화 비트스트림의 복호 결과에 포함되는 부호화 데이터로서의 양자화 계수를 역양자화부(63)에 공급한다.
또한, 가역 복호부(62)는, 부호화 비트스트림의 복호 결과에 포함되는 부호화 정보를 파싱한다. 그리고, 가역 복호부(62)는, 필요한 부호화 정보를, 인트라 예측부(71)나, 움직임 예측 보상부(72), DF(31b), 적응 오프셋 필터(81) 그 밖의 필요한 블록에 공급한다.
그리고, 처리는 스텝 S52로부터 스텝 S53으로 진행하고, 인트라 예측부(71) 또는 움직임 예측 보상부(72)가, 프레임 메모리(69)로부터 선택부(70)를 통하여 공급되는 참조 화상, 및 가역 복호부(62)로부터 공급되는 부호화 정보에 따라, 예측 화상을 생성하는 인트라 예측 처리 또는 인터 움직임 예측 처리를 행한다. 그리고, 인트라 예측부(71) 또는 움직임 예측 보상부(72)는, 인트라 예측 처리 또는 인터 움직임 예측 처리에 의해 얻어지는 예측 화상을 선택부(73)에 공급하고, 처리는 스텝 S53으로부터 스텝 S54로 진행한다.
스텝 S54에서는, 선택부(73)는, 인트라 예측부(71) 또는 움직임 예측 보상부(72)로부터 공급되는 예측 화상을 선택하여, 연산부(65)에 공급하고, 처리는 스텝 S55로 진행한다.
스텝 S55에서는, 역양자화부(63)는, 가역 복호부(62)로부터의 양자화 계수를 역양자화하고, 그 결과 얻어지는 직교 변환 계수를 역직교 변환부(64)에 공급하고, 처리는 스텝 S56으로 진행한다.
스텝 S56에서는, 역직교 변환부(64)는, 역양자화부(63)로부터의 직교 변환 계수를 역직교 변환하고, 그 결과 얻어지는 잔차를 연산부(65)에 공급하고, 처리는 스텝 S57로 진행한다.
스텝 S57에서는, 연산부(65)는, 역직교 변환부(64)로부터의 잔차와, 선택부(73)로부터의 예측 화상을 가산함으로써, 복호 화상을 생성한다. 그리고, 연산부(65)는, 복호 화상을 DF(31b)에 공급하고, 처리는 스텝 S57로부터 스텝 S58로 진행한다.
스텝 S58에서는, DF(31b)는, 가역 복호부(62)로부터 공급되는 부호화 정보에 포함되는 필터 파라미터에 따라, 연산부(65)로부터의 복호 화상에 DF를 적용하고, 그 결과 얻어지는 필터 화상을 적응 오프셋 필터(81)에 공급하고, 처리는 스텝 S59로 진행한다.
스텝 S59에서는, 적응 오프셋 필터(81)는, 가역 복호부(62)로부터 공급되는 부호화 정보에 포함되는 필터 파라미터에 따라, DF(31b)로부터의 필터 화상에 적응 오프셋 필터를 적용하고, 그 결과 얻어지는 필터 화상을 ALF(82)에 공급하고, 처리는 스텝 S60으로 진행한다.
ALF(82)는, 적응 오프셋 필터(81)로부터의 필터 화상에 ALF를 적용하고, 그 결과 얻어지는 필터 화상을 재배열 버퍼(67) 및 프레임 메모리(69)에 공급하고, 처리는 스텝 S61로 진행한다.
스텝 S61에서는, 프레임 메모리(69)는, ALF(82)로부터 공급되는 필터 화상을 일시 기억하고, 처리는 스텝 S62로 진행한다. 프레임 메모리(69)에 기억된 필터 화상(복호 화상)은, 스텝 S53의 인트라 예측 처리 또는 인터 움직임 예측 처리에서, 예측 화상을 생성하는 근원이 되는 참조 화상으로서 사용된다.
스텝 S62에서는, 재배열 버퍼(67)는, ALF(82)로부터 공급되는 필터 화상을 표시순으로 재배열하여 D/A 변환부(68)에 공급하고, 처리는 스텝 S63으로 진행한다.
스텝 S63에서는, D/A 변환부(68)는, 재배열 버퍼(67)로부터의 필터 화상을 D/A 변환하고, 처리는 복호 처리가 종료된다. D/A 변환 후의 필터 화상(복호 화상)은, 도시하지 않은 디스플레이에 출력되어 표시된다.
<DF(31a)의 구성예>
도 8은, 인코더(11)의 DF(31a)의 구성예를 도시하는 블록도이다.
여기서, 이하에서는, DF에 대해서는, 예를 들어 휘도 성분에 대한 1조의 오프셋 파라미터 세트와, 색차 성분에 대한 1조의 오프셋 파라미터 세트의 합계로 2조의 오프셋 파라미터 세트가 설정되는 것으로 한다. 그리고, 2조의 오프셋 파라미터 세트로부터, 휘도 성분에 대해서는, 휘도 성분에 대한 오프셋 파라미터 세트가 커런트 오프셋 파라미터 세트로서 사용되고, 색차 성분에 대해서는, 색차 성분에 대한 오프셋 파라미터 세트가 커런트 오프셋 파라미터 세트로서 사용되는 것으로 한다.
도 8에 있어서, DF(31a)는, 설정부(111) 및 필터부(112)를 갖는다.
설정부(111)는, 복호 화상의 블록의 블록 경계에 적용하는 DF의 필터 파라미터 tc 및 beta, 그리고 필터 파라미터 tc 및 beta를 조정하는 오프셋 파라미터 세트를 설정한다.
설정부(111)는, 오프셋 파라미터 세트에 대해서는, 휘도 성분에 대한 1조의 오프셋 파라미터 세트와, 색차 성분에 대한 1조의 오프셋 파라미터 세트의 합계로 2조의 오프셋 파라미터 세트를 설정한다.
휘도 성분 및 색차 성분 각각에 대한 오프셋 파라미터 세트는, 예를 들어 부호화 파라미터나, 휘도 성분 및 색차 성분으로부터 검출되는 화상의 특징량, 소정의 비용 함수 등에 따라 설정할 수 있다.
설정부(111)에서 설정된 필터 파라미터 tc 및 beta, 그리고 2조의 오프셋 파라미터 세트는, 필터부(112) 및 가역 부호화부(26)에 공급된다.
가역 부호화부(26)에서는, 설정부(111)로부터의 필터 파라미터 tc 및 beta, 그리고 2조의 오프셋 파라미터 세트가, 부호화 비트스트림의 신택스, 예를 들어 픽처 파라미터 세트나 슬라이스 헤더에 설정된다(포함된다).
필터부(112)에는, 설정부(111)로부터 필터 파라미터 tc 및 beta, 그리고 2조의 오프셋 파라미터 세트가 공급되는 것 외에, 연산부(30)로부터 복호 화상이 공급된다.
필터부(112)는, 설정부(111)로부터의 필터 파라미터 tc 및 beta를 사용하여, 연산부(30)로부터의 복호 화상의 블록 경계의 근방의 화소로의 DF의 적용(DF에 의한 필터링)을 행한다.
DF의 적용에 있어서는, 필터 판정이 행해진다. 필터 판정에서는, DF의 적용의 유무의 판정과, DF를 적용하는 경우에 적용할 DF의 종류의 판정이 행해진다. DF의 종류로서는, 예를 들어 롱 탭 필터, 스트롱 필터, 및 위크 필터가 있다.
블록 경계의 근방의 화소로의 DF의 적용에서는, 필터 판정에 있어서 적용하는 것이 판정된 종류의 DF가 적용된다.
필터 판정을 포함하는 DF의 적용에서는, 설정부(111)로부터의 2조의 오프셋 파라미터 세트로부터, 복호 화상의 휘도 성분과 색차 성분의 각각에 대하여, 커런트 오프셋 파라미터 세트가 선택된다.
즉, 휘도 성분에 대해서는, 휘도 성분에 대한 오프셋 파라미터 세트가 커런트 오프셋 파라미터 세트로서 선택된다. 색차 성분에 대해서는, 색차 성분에 대한 오프셋 파라미터 세트가 커런트 오프셋 파라미터 세트로서 선택된다.
그리고, 휘도 성분에 대해서는, 휘도 성분에 대하여 선택된 커런트 오프셋 파라미터 세트, 즉 휘도 성분에 대한 오프셋 파라미터 세트를 사용하여, 필터 파라미터 tc 및 beta가 조정된다.
색차 성분에 대해서는, 색차 성분에 대하여 선택된 커런트 오프셋 파라미터 세트, 즉 색차 성분에 대한 오프셋 파라미터 세트를 사용하여, 필터 파라미터 tc 및 beta가 조정된다.
그리고, 조정 후의 필터 파라미터 tc 및 beta를 사용하여, 복호 화상의 블록 경계의 근방의 화소의 휘도 성분 및 색차 성분의 각각에 대하여, DF가 적용된다.
필터부(112)는, DF의 적용에 의해 필터 화상을 생성하고, 적응 오프셋 필터(41)에 공급한다.
<DF(31b)의 구성예>
도 9는, 디코더(51)의 DF(31b)의 구성예를 도시하는 블록도이다.
도 9에 있어서, DF(31b)는, 필터부(121)를 갖는다.
필터부(121)에는, 가역 복호부(62)로부터 필터 파라미터 tc 및 beta, 그리고 2조의 오프셋 파라미터 세트가 파싱되어 공급된다. 또한, 필터부(121)에는, 연산부(65)로부터 복호 화상이 공급된다.
필터부(121)는, 가역 복호부(62)로부터의 필터 파라미터 tc 및 beta를 사용하여, 연산부(65)로부터의 복호 화상의 블록 경계의 근방의 화소로의 DF의 적용을 행한다. 필터부(121)는, DF의 적용에 의해 필터 화상을 생성하고, 적응 오프셋 필터(81)에 공급한다.
필터부(121)에서의 DF의 적용은, 도 8의 필터부(112)와 마찬가지로 행해지기 때문에, 그 설명은 생략한다.
<신택스>
도 10은, 2조의 오프셋 파라미터 세트를 픽처 파라미터 세트에 포함시키는 경우의 픽처 파라미터 세트의 신택스의 예를 도시하는 도면이다.
도 10에 있어서, pps_beta_offset0_div2 및 pps_tc_offset0_div2가, 필터 파라미터 beta 및 tc를 각각 조정하는 1조의 오프셋 파라미터 세트이고, pps_beta_offset1_div2 및 pps_tc_offset1_div2가, 필터 파라미터 beta 및 tc를 각각 조정하는 다른 1조의 오프셋 파라미터 세트이다.
예를 들어, pps_beta_offset0_div2 및 pps_tc_offset0_div2가, 휘도 성분에 대한 오프셋 파라미터 세트이고, pps_beta_offset1_div2 및 pps_tc_offset1_div2가, 색차 성분에 대한 오프셋 파라미터 세트이다.
도 10에 있어서, deblocking_offset_component_use_flag는, pps_beta_offset0_div2 및 pps_tc_offset0_div2, 그리고 pps_beta_offset1_div2 및 pps_tc_offset1_div2의 2조의 오프셋 파라미터 세트가, 휘도 성분과 색차 성분의 각각에 대한 오프셋 파라미터 세트인지 여부를 나타내는 플래그이다.
예를 들어, deblocking_offset_component_use_flag가 1(참)인 경우, pps_beta_offset0_div2 및 pps_tc_offset0_div2, 그리고 pps_beta_offset1_div2 및 pps_tc_offset1_div2의 2조의 오프셋 파라미터 세트가, 휘도 성분과 색차 성분의 각각에 대한 오프셋 파라미터 세트인 것을 나타낸다.
deblocking_offset_component_use_flag가 1이 아닌 경우, 즉 0(거짓)인 경우, pps_beta_offset0_div2 및 pps_tc_offset0_div2, 그리고 pps_beta_offset1_div2 및 pps_tc_offset1_div2의 2조의 오프셋 파라미터 세트는, 부호화 파라미터, 예를 들어 블록 사이즈에 따라 커런트 오프셋 파라미터 세트를 선택하는 경우의 선택 대상으로 되는 복수의 오프셋 파라미터 세트로서 사용할 수 있다.
이 경우, pps_beta_offset0_div2 및 pps_tc_offset0_div2를 선택할지, 또는 pps_beta_offset1_div2 및 pps_tc_offset1_div2를 선택할지의 선택 기준으로서, 부호화 파라미터에 대한 역치를 픽처 파라미터 세트에 포함시킬 수 있다.
도 10에 있어서, pps_tc_beta_offset_switched_threshold는, 부호화 파라미터에 대한 역치를 나타낸다.
예를 들어, pps_tc_beta_offset_switched_threshold가 블록 사이즈의 역치인 것으로 하면, DF를 적용하는 블록 경계를 구성하는 블록의 블록 사이즈가 역치 pps_tc_beta_offset_switched_threshold 이상인 경우에는, pps_beta_offset0_div2 및 pps_tc_offset0_div2, 그리고 pps_beta_offset1_div2 및 pps_tc_offset1_div2의 2조의 오프셋 파라미터 세트 중 한쪽이 선택된다.
한편, 블록의 블록 사이즈가 역치 pps_tc_beta_offset_switched_threshold 이상이 아닌 경우에는, pps_beta_offset0_div2 및 pps_tc_offset0_div2, 그리고 pps_beta_offset1_div2 및 pps_tc_offset1_div2의 2조의 오프셋 파라미터 세트 중 다른 쪽이 선택된다.
플래그 deblocking_offset_component_use_flag, 및 역치 pps_tc_beta_offset _switched_threshold는, 설정부(111)에 있어서 설정되며, 가역 부호화부(26)에 있어서 픽처 파라미터 세트에 포함된다.
도 11은, 2조의 오프셋 파라미터 세트를 슬라이스 헤더에 포함시키는 경우의 슬라이스 헤더의 신택스의 예를 도시하는 도면이다.
도 11에 있어서, slice_beta_offset0_div2, slice_tc_offset0_div2, slice_beta_offset1_div2, slice_tc_offset1_div2, slice_tc_beta_offset_switched_threshold는, 도 10의 pps_beta_offset0_div2, pps_tc_offset0_div2, pps_beta_offset1_div2, pps_tc_offset1_div2, pps_tc_beta_offset_switched_threshold에 각각 상당한다.
또한, 여기서는, DF에 대하여, 예를 들어 휘도 성분에 대한 1조의 오프셋 파라미터 세트와, 색차 성분에 대한 1조의 오프셋 파라미터 세트의 합계로 2조의 오프셋 파라미터 세트가 설정되고, 휘도 성분에 대하여, 휘도 성분에 대한 오프셋 파라미터 세트가 커런트 오프셋 파라미터 세트로서 사용되고, 색차 성분에 대해서는, 색차 성분에 대한 오프셋 파라미터 세트가 커런트 오프셋 파라미터 세트로서 사용되는 것으로 하였다.
단, DF에 대해서는, 도 2에서 설명한 바와 같이, YUV 또는 YCbCr의 각 컴포넌트 성분에 대한 3조의 오프셋 파라미터 세트를 설정하고, 각 컴포넌트 성분에 대하여, 각 컴포넌트 성분에 대한 오프셋 파라미터 세트를 커런트 오프셋 파라미터 세트로서 사용할 수 있다.
이 경우, 도 10의 픽처 파라미터 세트나 도 11의 슬라이스 헤더에는, YUV 또는 YCbCr의 각 컴포넌트 성분에 대한 3조의 오프셋 파라미터 세트가 포함된다.
픽처 파라미터 세트에 포함되는 복수조의 오프셋 파라미터 세트가, 휘도 성분과 색차 성분의 각각에 대한 오프셋 파라미터 세트, 또는 각 컴포넌트 성분에 대한 오프셋 파라미터 세트에 고정되는 경우, 도 10의 픽처 파라미터 세트는 deblocking_offset_component_use_flag 및 pps_tc_beta_offset_switched_threshold 없이 구성할 수 있다. 마찬가지로, 도 11의 슬라이스 헤더는, deblocking_offset_component_use_flag 및 slice_tc_beta_offset_switched_threshold 없이 구성할 수 있다.
<본 기술을 적용한 컴퓨터의 설명>
다음에, 상술한 일련의 처리는, 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해 행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 범용의 컴퓨터 등에 인스톨된다.
도 12는, 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시 형태의 구성예를 도시하는 블록도이다.
프로그램은, 컴퓨터에 내장되어 있는 기록 매체로서의 하드 디스크(905)나 ROM(903)에 미리 기록해 둘 수 있다.
혹은 또한, 프로그램은, 드라이브(909)에 의해 구동되는 리무버블 기록 매체(911)에 저장(기록)해 둘 수 있다. 이러한 리무버블 기록 매체(911)는, 소위 패키지 소프트웨어로서 제공할 수 있다. 여기서, 리무버블 기록 매체(911)로서는, 예를 들어 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등이 있다.
또한, 프로그램은, 상술한 바와 같은 리무버블 기록 매체(911)로부터 컴퓨터에 인스톨하는 것 외에, 통신망이나 방송망을 통하여 컴퓨터에 다운로드하고, 내장되는 하드 디스크(905)에 인스톨할 수 있다. 즉, 프로그램은, 예를 들어 다운로드 사이트로부터, 디지털 위성 방송용의 인공위성을 통하여 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷과 같은 네트워크를 통하여 컴퓨터에 유선으로 전송할 수 있다.
컴퓨터는, CPU(Central Processing Unit)(902)를 내장하고 있고, CPU(902)에는, 버스(901)를 통하여, 입출력 인터페이스(910)가 접속되어 있다.
CPU(902)는, 입출력 인터페이스(910)를 통하여, 유저에 의해 입력부(907)가 조작되거나 함으로써 명령이 입력되면, 그에 따라, ROM(Read Only Memory)(903)에 저장되어 있는 프로그램을 실행한다. 혹은, CPU(902)는, 하드 디스크(905)에 저장된 프로그램을 RAM(Random Access Memory)(904)에 로드하여 실행한다.
이에 의해, CPU(902)는, 상술한 흐름도에 따른 처리, 혹은 상술한 블록도의 구성에 의해 행해지는 처리를 행한다. 그리고, CPU(902)는, 그 처리 결과를, 필요에 따라, 예를 들어 입출력 인터페이스(910)를 통하여, 출력부(906)로부터 출력, 혹은 통신부(908)로부터 송신, 나아가 하드 디스크(905)에 기록 등을 하게 한다.
또한, 입력부(907)는, 키보드나, 마우스, 마이크 등으로 구성된다. 또한, 출력부(906)는, LCD(Liquid Crystal Display)나 스피커 등으로 구성된다.
여기서, 본 명세서에 있어서, 컴퓨터가 프로그램에 따라 행하는 처리는, 반드시 흐름도로서 기재된 순서를 따라 시계열로 행해질 필요는 없다. 즉, 컴퓨터가 프로그램에 따라 행하는 처리는, 병렬적 혹은 개별적으로 실행되는 처리(예를 들어, 병렬 처리 혹은 오브젝트에 의한 처리)도 포함한다.
또한, 프로그램은, 하나의 컴퓨터(프로세서)에 의해 처리되는 것이어도 되고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 된다. 또한, 프로그램은, 먼 곳의 컴퓨터에 전송되어 실행되는 것이어도 된다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 불문한다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통하여 접속되어 있는 복수의 장치, 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.
또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어, 본 기술은, 하나의 기능을 네트워크를 통하여 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시로서 한정되는 것은 아니며, 다른 효과가 있어도 된다.
10: 화상 처리 시스템
11: 인코더
21: A/D 변환부
22: 재배열 버퍼
22, 23: 연산부
24: 직교 변환부
25: 양자화부
26: 가역 부호화부
27: 축적 버퍼
28: 역양자화부
29: 역직교 변환부
30: 연산부
31a, 31b: DF
32: 프레임 메모리
33: 선택부
34: 인트라 예측부
35: 움직임 예측 보상부
36: 예측 화상 선택부
37: 레이트 제어부
41: 적응 오프셋 필터
42: ALF
51: 디코더
61: 축적 버퍼
62: 가역 복호부
63: 역양자화부
64: 역직교 변환부
65: 연산부
67: 재배열 버퍼
68: D/A 변환부
69: 프레임 메모리
70: 선택부
71: 인트라 예측부
72: 움직임 예측 보상부
73: 선택부
81: 적응 오프셋 필터
82: ALF
111: 설정부
112, 121: 필터부
901: 버스
902: CPU
903: ROM
904: RAM
905: 하드 디스크
906: 출력부
907: 입력부
908: 통신부
909: 드라이브
910: 입출력 인터페이스
911: 리무버블 기록 매체

Claims (19)

  1. 비트스트림을 복호하여 복호 화상을 생성하는 복호부와,
    상기 복호부에 의해 생성된 복호 화상의 색차 성분에 대하여 디블로킹 필터를 적용할 때 사용하는 색차 오프셋 파라미터 세트를 사용하여, 상기 복호부에 의해 생성된 복호 화상의 블록 경계의 근방의 화소의 색차 성분에 대하여 디블로킹 필터를 적용하는 필터부
    를 구비하는 화상 처리 장치.
  2. 제1항에 있어서, 상기 필터부는, 상기 복호 화상의 제1 색차 성분에 대하여 디블로킹 필터를 적용할 때 사용하는 제1 색차 오프셋 파라미터 세트와 상기 복호 화상의 제2 색차 성분에 대하여 디블로킹 필터를 적용할 때 사용하는 제2 색차 오프셋 파라미터 세트를 사용하여, 상기 복호부에 의해 생성된 복호 화상의 블록 경계의 근방의 화소의 제1 색차 성분과 제2 색차 성분에 대하여 디블로킹 필터를 적용하는
    화상 처리 장치.
  3. 제2항에 있어서, 상기 복호 화상에 대한 색 공간이 YUV인 경우에,
    상기 제1 색차 오프셋 파라미터 세트는, 상기 복호 화상의 U 성분에 대하여 사용되는 오프셋 파라미터 세트이고,
    상기 제2 색차 오프셋 파라미터 세트는, 상기 복호 화상의 V 성분에 대하여 사용되는 오프셋 파라미터 세트인
    화상 처리 장치.
  4. 제2항에 있어서, 상기 복호 화상에 대한 색 공간이 YCbCr인 경우에,
    상기 제1 색차 오프셋 파라미터 세트는, 상기 복호 화상의 Cb 성분에 대하여 사용되는 오프셋 파라미터 세트이고,
    상기 제2 색차 오프셋 파라미터 세트는, 상기 복호 화상의 Cr 성분에 대하여 사용되는 오프셋 파라미터 세트인
    화상 처리 장치.
  5. 제2항에 있어서, 상기 제1 색차 오프셋 파라미터 세트와 상기 제2 색차 오프셋 파라미터 세트는, 상기 비트스트림의 신택스로서 설정되어 있고,
    상기 복호부는, 상기 비트스트림에 포함되는 제1 색차 오프셋 파라미터 세트와 제2 색차 오프셋 파라미터 세트를 파싱하는
    화상 처리 장치.
  6. 제5항에 있어서, 상기 신택스는 픽처 파라미터 세트 또는 슬라이스 헤더인
    화상 처리 장치.
  7. 제5항에 있어서, 상기 신택스는 픽처 파라미터 세트 및 슬라이스 헤더인
    화상 처리 장치.
  8. 제2항에 있어서, 상기 필터부는, 상기 복호 화상의 휘도 성분에 대하여 디블로킹 필터를 적용할 때 사용하는 휘도 오프셋 파라미터 세트를 사용하여, 상기 복호부에 의해 생성된 복호 화상의 블록 경계의 근방의 화소의 휘도 성분에 대하여 디블로킹 필터를 적용하는
    화상 처리 장치.
  9. 비트스트림을 복호하여 복호 화상을 생성하는 복호 공정과,
    상기 복호 공정에 의해 생성된 복호 화상의 색차 성분에 대하여 디블로킹 필터를 적용할 때 사용하는 색차 오프셋 파라미터 세트를 사용하여, 상기 복호 공정에 의해 생성된 복호 화상의 블록 경계의 근방의 화소의 색차 성분에 대하여 디블로킹 필터를 적용하는 필터 공정
    을 포함하는 화상 처리 방법.
  10. 비트스트림을 복호한 복호 화상의 색차 성분에 대하여 디블로킹 필터를 적용할 때 사용하는 색차 오프셋 파라미터 세트를 설정하는 설정부와,
    화상을 부호화하여, 상기 설정부에 의해 설정된 색차 오프셋 파라미터 세트를 포함하는 비트스트림을 생성하는 부호화부
    를 구비하는 화상 처리 장치.
  11. 제10항에 있어서, 상기 설정부는, 상기 복호 화상의 제1 색차 성분에 대하여 디블로킹 필터를 적용할 때 사용하는 제1 색차 오프셋 파라미터 세트와 상기 복호 화상의 제2 색차 성분에 대하여 디블로킹 필터를 적용할 때 사용하는 제2 색차 오프셋 파라미터 세트를 설정하고,
    상기 부호화부는, 상기 설정부에 의해 설정된 제1 색차 오프셋 파라미터 세트와 제2 색차 오프셋 파라미터 세트를 포함하는 비트스트림을 생성하는
    화상 처리 장치.
  12. 제11항에 있어서, 상기 복호 화상에 대한 색 공간이 YUV인 경우에,
    상기 제1 색차 오프셋 파라미터 세트는, 상기 복호 화상의 U 성분에 대하여 사용되는 파라미터 세트이고,
    상기 제2 색차 오프셋 파라미터 세트는, 상기 복호 화상의 V 성분에 대하여 사용되는 파라미터 세트인
    화상 처리 장치.
  13. 제11항에 있어서, 상기 복호 화상에 대한 색 공간이 YCbCr인 경우에,
    상기 제1 색차 오프셋 파라미터 세트는, 상기 복호 화상의 Cb 성분에 대하여 사용되는 오프셋 파라미터 세트이고,
    상기 제2 색차 오프셋 파라미터 세트는, 상기 복호 화상의 Cr 성분에 대하여 사용되는 오프셋 파라미터 세트인
    화상 처리 장치.
  14. 제11항에 있어서, 상기 부호화부는, 상기 설정부에 의해 설정된 제1 색차 오프셋 파라미터 세트와 제2 색차 오프셋 파라미터 세트를 신택스로서 포함하는 비트스트림을 생성하는
    화상 처리 장치.
  15. 제14항에 있어서, 상기 신택스는 픽처 파라미터 세트 또는 슬라이스 헤더인, 화상 처리 장치.
  16. 제14항에 있어서, 상기 신택스는 픽처 파라미터 세트 및 슬라이스 헤더인
    화상 처리 장치.
  17. 제11항에 있어서, 상기 설정부는, 상기 복호 화상의 휘도 성분에 대하여 디블로킹 필터를 적용할 때 사용하는 휘도 오프셋 파라미터 세트를 설정하고,
    상기 부호화부는, 상기 설정부로부터 설정된 휘도 오프셋 파라미터 세트를 포함하는 비트스트림을 생성하는
    화상 처리 장치.
  18. 제11항에 있어서, 상기 색차 오프셋 파라미터 세트를 사용하여, 부호화할 때 로컬 복호된 로컬 복호 화상의 블록 경계의 근방의 화소의 색차 성분에 대하여 디블로킹 필터를 적용하여, 필터 화상을 생성하는 필터부를 더 구비하고,
    상기 부호화부는, 상기 필터부에 의해 생성된 필터 화상을 사용하여, 상기 화상을 부호화하는
    화상 처리 장치.
  19. 비트스트림을 복호한 복호 화상의 색차 성분에 대하여 디블로킹 필터를 적용할 때 사용하는 색차 오프셋 파라미터 세트를 설정하는 설정 공정과,
    화상을 부호화하여, 상기 설정 공정에 의해 설정된 색차 오프셋 파라미터 세트를 포함하는 비트스트림을 생성하는 부호화 공정
    을 포함하는 화상 처리 방법.
KR1020227005183A 2019-09-06 2020-09-03 화상 처리 장치 및 화상 처리 방법 KR20220053561A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962897038P 2019-09-06 2019-09-06
US62/897,038 2019-09-06
PCT/JP2020/033468 WO2021045162A1 (ja) 2019-09-06 2020-09-03 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
KR20220053561A true KR20220053561A (ko) 2022-04-29

Family

ID=74853198

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227005183A KR20220053561A (ko) 2019-09-06 2020-09-03 화상 처리 장치 및 화상 처리 방법

Country Status (6)

Country Link
US (1) US20220295055A1 (ko)
EP (1) EP4020994A4 (ko)
JP (1) JPWO2021045162A1 (ko)
KR (1) KR20220053561A (ko)
CN (1) CN114342382A (ko)
WO (1) WO2021045162A1 (ko)

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070121728A1 (en) * 2005-05-12 2007-05-31 Kylintv, Inc. Codec for IPTV
CN101867820B (zh) * 2005-09-20 2013-05-29 三菱电机株式会社 图像解码装置以及图像解码方法
JP2007174196A (ja) * 2005-12-21 2007-07-05 Toshiba Corp 情報処理装置、制御方法およびプログラム
JP2007180723A (ja) * 2005-12-27 2007-07-12 Toshiba Corp 画像処理装置及び画像処理方法
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
US8204129B2 (en) * 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
US20080292505A1 (en) * 2007-05-25 2008-11-27 Jiamin Tian Disposable safety pipet
JP2011259362A (ja) * 2010-06-11 2011-12-22 Sony Corp 画像処理装置および方法
US10484693B2 (en) * 2011-06-22 2019-11-19 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation for image and video coding
US10038903B2 (en) * 2011-06-22 2018-07-31 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation in video coding
JP5907367B2 (ja) * 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
TWI618404B (zh) * 2012-06-27 2018-03-11 Sony Corp Image processing device and method
US9591302B2 (en) * 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
US20170295369A1 (en) * 2014-10-06 2017-10-12 Sony Corporation Image processing device and method
US9883184B2 (en) * 2014-10-07 2018-01-30 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
US10264269B2 (en) * 2014-10-13 2019-04-16 Apple Inc. Metadata hints to support best effort decoding for green MPEG applications
CN115134611A (zh) * 2015-06-11 2022-09-30 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
US20170064301A1 (en) * 2015-08-26 2017-03-02 Zhan Ma Methods and Apparatus for Use of Reference Block in Video Coding
US11909964B2 (en) * 2019-03-08 2024-02-20 Sony Group Corporation Information processing device, information processing method, and program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross, Jianle Chen, Shan Liu, Versatile Video Coding(Draft 6), JVET-O2001-v14(version 14-date 2019-07-31)
Jianle Chen, Yan Ye, Seung Hwan Kim, Algorithm description for Versatile Video Coding and Test Model 6(VTM 6), JVET-O2002-v1(version 1 date 2019-08-15)

Also Published As

Publication number Publication date
US20220295055A1 (en) 2022-09-15
WO2021045162A1 (ja) 2021-03-11
EP4020994A1 (en) 2022-06-29
EP4020994A4 (en) 2022-10-26
CN114342382A (zh) 2022-04-12
JPWO2021045162A1 (ko) 2021-03-11

Similar Documents

Publication Publication Date Title
US11943442B2 (en) Use of chroma quantization parameter offsets in deblocking
US11457212B2 (en) Control and use of chroma quantization parameter values
US11575900B2 (en) Video coding device, video decoding device, video coding method, video decoding method and program
CN108028936B9 (zh) 分量用于使用固定点计算实施动态范围调整的方法和设备
KR20170139016A (ko) 높은 동적 범위 및 넓은 색역 비디오 코딩에 대한 동적 범위 조정
US20220353546A1 (en) Image processing device and image processing method
US20220321910A1 (en) Image processing device and image processing method
US11991370B2 (en) Intra prediction device, image encoding device, image decoding device and program
KR20220053561A (ko) 화상 처리 장치 및 화상 처리 방법
KR20220113708A (ko) 화상 처리 장치 및 화상 처리 방법
KR20240089011A (ko) 선택 가능한 뉴럴 네트워크 기반 코딩 도구를 사용하는 비디오 코딩