KR102007050B1 - 펄스 코드 변조 모드에서 부호화된 블록의 필터링 - Google Patents

펄스 코드 변조 모드에서 부호화된 블록의 필터링 Download PDF

Info

Publication number
KR102007050B1
KR102007050B1 KR1020147000323A KR20147000323A KR102007050B1 KR 102007050 B1 KR102007050 B1 KR 102007050B1 KR 1020147000323 A KR1020147000323 A KR 1020147000323A KR 20147000323 A KR20147000323 A KR 20147000323A KR 102007050 B1 KR102007050 B1 KR 102007050B1
Authority
KR
South Korea
Prior art keywords
block
filter
samples
indicator
deblocking
Prior art date
Application number
KR1020147000323A
Other languages
English (en)
Other versions
KR20140094496A (ko
Inventor
마티아스 나로쉬케
토마스 베디
세미흐 에센릭
아난드 코트라
Original Assignee
선 페이턴트 트러스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선 페이턴트 트러스트 filed Critical 선 페이턴트 트러스트
Publication of KR20140094496A publication Critical patent/KR20140094496A/ko
Application granted granted Critical
Publication of KR102007050B1 publication Critical patent/KR102007050B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 이미지 또는 비디오 부호화 및 복호화의 블록 경계를 평활화하는데 적용가능한 디블로킹 필터링에 관한 것이다. 특히 본 발명은, 샘플의 PCM(pulse code modulation) 부호화 블록의 필터링에 관한 것이다. 따라서, 디블로킹 필터링 및 적응적 루프 필터링 또는 적응적 샘플 오프셋 등의 다른 종류의 필터링을 개별적으로 스위칭-온 또는 스위칭-오프시키기 위해, PCM 부호화 블록의 디블로킹 필터링의 인에이블 또는 디스에이블에 대한 별개의 지시자 및 제2 필터링의 인에이블 또는 디스에이블에 대한 별개의 지시자가 부호화 비트스트림에 삽입된다.

Description

펄스 코드 변조 모드에서 부호화된 블록의 필터링{FILTERING OF BLOCKS CODED IN THE PULSE CODE MODULATION MODE}
본 발명은 이미지의 필터링에 관한 것이다. 특히, 본 발명은 디블로킹 필터링 및 PCM-부호화 샘플에 대한 그 적용에 관한 것이다.
현재, 다수의 표준화된 비디오 부호화 알고리즘은 하이브리드 비디오 부호화에 기초한다. 일반적으로, 하이브리드 비디오 부호화 방법은 소망의 압축 이득을 얻기 위해 몇몇 상이한 가역(lossless) 및 비가역(lossy) 압축 방식을 통합한다. 하이브리드 비디오 부호화는 또한 ITU-T 표준 (H.261, H.263과 같은 H.26x 표준) 뿐만 아니라 ISO/IEC 표준(MPEG-1, MPEG-2, 및 MPEG-4와 같은 MPEG-X 표준)의 기초가 된다. 가장 최근의 진보된 비디오 부호화 표준은 현재 H.264/MPEG-4 AVC (advanced video coding)으로 명시되는 표준이며, 이것은 ITU-T 및 ISO/IEC MPEG 그룹의 JVT(joint video team) 및 연합 팀에 의해 행해진 표준화 노력의 결과이다. 이 코덱(codec)은 HEVC(High-Efficiency Video Coding)의 이름으로 특히, 고해상도 비디오 부호화에 대한 효율성을 개선하는 것을 목표로 JCT-VC(Joint Collaborative Team on Video Coding)에 의해 더욱 발전되고 있다.
인코더에 입력되는 비디오 신호는 프레임이라고 칭해지는 이미지 시퀀스이며, 각각의 프레임은 픽셀의 이차원 매트릭스이다. 하이브리드 비디오 부호화에 기초하는 위에 기재된 표준 등은 모두 각각의 개별 비디오 프레임을, 복수의 픽셀로 이루어지는 더 작은 블록으로 재분할하는 것을 포함한다. 블록의 크기는 예를 들면, 이미지의 내용에 따라서 변화할 수 있다. 부호화 방법은 일반적으로 블록 단위로 변경될 수 있다. 예를 들면, HEVC에서 이러한 블록의 가장 큰 가능한 크기는 64 x 64 픽셀이다. 이것은 LCU(largest coding unit)라고 불린다. H.264/MPEG-4 AVC에서 매크로블록(일반적으로 16 x 16 픽셀의 블록을 나타냄)은 부호화가 행해지는 기본 이미지 요소이며, 이것은 일부 부호화/복호화 단계들이 적용되는 더 작은 서브블록으로 분할될 가능성이 있다.
일반적으로, 하이브리드 비디오 부호화의 부호화 단계는 공간적 및/또는 시간적 예측을 포함한다. 따라서, 부호화되는 각 블록은 공간적으로 인접하는 블록 또는 시간적으로 인접하는 블록, 즉 이전 부호화된 비디오 프레임을 사용하여 우선 예측된다. 예측 잔여의 블록으로도 칭해지는, 부호화되는 블록과 그 예측되는 블록의 차이의 블록이 계산된다. 또 다른 부호화 단계는 잔여의 블록을 공간적(픽셀) 도메인에서 주파수 도메인으로 변환하는 것이다. 이 변환은 입력 블록의 상관을 감소시키는 것을 목표로 한다. 또 다른 부호화 단계는 변환 계수의 양자화이다. 이 단계에서, 실제의 비가역(불가역(irreversible)) 압축이 발생한다. 일반적으로, 압축된 변환 계수 값은 엔트로피 부호화에 의해 더 압축된다(가역 압축). 또한, 부호화된 비디오 신호의 재구성에 필요한 사이드 정보가 부호화되어, 부호화된 비디오 신호와 함께 제공된다. 이 사이드 정보는 예를 들면, 공간적 및/또는 시간적 예측, 양자화량 등에 관한 정보이다.
도 1은 전형적인 H.264/MPEG-4 AVC 및/또는 HEVC 비디오 인코더(100)의 일 예이다. 감산기(105)는 입력 비디오 이미지(입력 신호 s)의 부호화되는 현재의 블록과, 부호화되는 현재의 블록의 예측으로서 사용되는 대응 예측 블록
Figure 112014001178927-pct00001
사이의 차이를 우선 결정한다. 예측 신호는 시간적 또는 공간적 예측(180)에 의해 얻어질 수 있다. 예측의 유형은 프레임 단위로 또는 블록 단위로 변경될 수 있다. 시간적 예측을 사용하여 예측된 블록 및/또는 프레임은 "인터" 부호화되었다고 칭하고, 공간적 예측을 사용하여 예측된 블록 및/또는 프레임은 "인트라" 부호화되었다고 칭한다. 시간적 예측을 사용하는 예측 신호는, 메모리에 저장되어 있는 미리 부호화되어 있는 이미지로부터 도출된다. 공간적 예측을 사용하는 예측 신호는, 미리 부호화되거나 복호화되어 메모리에 저장되어 있는 인접 블록의 경계 픽셀의 값으로부터 도출된다. 입력 신호, 및 예측 에러 또는 잔여로 표시된 예측 신호 사이의 차이 e는 변환되어(110), 계수가 양자화된다(120). 가역 방식으로 저장 및/또는 전송되는 데이터의 양을 더 감소시키기 위해 엔트로피 인코더(190)가 양자화된 계수에 적용된다. 이것은, 코드 워드의 길이가 그 발생 가능성에 기초하여 선택되는, 가변 길이의 코드 워드를 코드에 적용함으로써 주로 이루어진다.
복호화된 (재구성된) 비디오 신호 s'를 얻기 위해 복호화 유닛이 비디오 인코더(100) 내에 통합된다. 부호화 단계에 따라서, 복호화 단계는 역양자화 및 역변환(130)을 포함한다. 이렇게 얻어진 예측 에러 신호 e'는 양자화 노이즈로 또한 칭해지는 양자화 에러로 인해서 원래의 예측 에러 신호에서 변경된다. 재구성된 이미지 신호 s'는 예측 신호
Figure 112014001178927-pct00002
와 복호화된 예측 에러 신호 e'를 가산하여(140) 얻어진다. 인코더 측과 디코더 측 사이의 호환성을 유지하기 위해, 인코더 및 디코더 양측에서 알고 있는, 부호화되고 이어서 복호화된, 비디오 신호에 기초하여, 예측 신호
Figure 112014001178927-pct00003
가 얻어진다.
양자화로 인해서, 양자화 노이즈가 재구성된 비디오 신호에 중첩된다. 블록-와이즈(block-wise) 부호화로 인해서, 중첩된 노이즈는 블로킹 특징을 가지므로, 강한 양자화로 인해서 복호화된 이미지에 가시의(visible) 블록 경계가 생긴다. 이러한 블로킹 결함은 사람의 시각에 부정적인 효과를 준다. 이들 결함을 감소시키기 위해, 디블로킹 필터(150)가 모든 재구성된 이미지 블록에 적용된다. 디블로킹 필터가 재구성된 신호 s'에 적용된다. 예를 들면, H.264/MPEG-4 AVC의 디블로킹 필터는 국소 적응의 특성을 갖는다. 고도의 블로킹 노이즈를 갖는 경우에, 강한(협대역) 저역 통과 필터가 적용되는 반면, 저도의 블로킹 노이즈에 대해서, 약한(광대역) 저역 통과 필터가 적용된다. 저역 통과 필터의 세기는 예측 신호
Figure 112014001178927-pct00004
및 양자화된 예측 에러 신호 e'에 의해 결정된다. 디블로킹 필터는 블록 에지를 일반적으로 평활화하여 복호화된 이미지의 주관적인(subjective) 품질을 개선시킨다. 더욱이, 이미지의 필터링된 부분이 이미지의 움직임 보상 예측을 위해 사용되기 때문에, 필터링은 또한 예측 에러를 감소시키므로 부호화 효율의 개선을 가능하게 한다.
디블로킹 필터 다음에, 적응적 샘플 오프셋(155) 및/또는 적응적 루프 필터(160)가, 이미 디블로킹된 신호 s''를 포함하는 이미지에 적용될 수 있다. 디블로킹 필터는 주관적 품질을 개선하는 반면, 적응적 샘플 오프셋(SAO: sample adaptive offset) 및 ALF는 픽셀-와이즈 충실도 ("객관적인(objective)" 품질)을 개선시키는 것을 목표로 한다. 특히, SAO는 픽셀의 인접 정도에 따라서 오프셋을 가산한다. 적응적 루프 필터(ALF: adaptive loop filter)는 압축에 의해 생긴 이미지 왜곡을 보상하기 위해 사용된다. 일반적으로, 적응적 루프 필터는 재구성된 이미지 s' 및 소스 이미지 s 사이의 MSE(mean square error)가 최소가 되도록 결정된 필터 계수를 갖는 위너(Wiener) 필터이다. ALF의 계수는 프레임 단위로 계산 및 전송된다. ALF는 전체 프레임(비디오 시퀀스의 이미지) 또는 로컬 영역(블록)에 적용될 수 있다. 어느 영역이 필터링되는가를 나타내는 부가 사이드 정보가 전송될 수 있다 (블록-기반, 프레임-기반 또는 쿼드트리-기반(quadtree-based)).
복호화를 위해서, 인터-부호화된 블록들에 대해서, 기준 프레임 버퍼(170)에, 미리 부호화되고 이어서 복호화된 이미지의 부분들이 저장되는 것이 필요하다. 인터-부호화된 블록은 움직임 보상 예측을 사용하여 예측된다(180). 우선, 가장 일치하는 블록이, 미리 부호화되고 복호화된 비디오 프레임 내에서 현재의 블록에 대해서 움직임 추정기를 사용하여 발견된다. 가장 일치하는 블록은 예측 신호가 되며, 현재의 블록과 그 가장 일치하는 블록 사이의 상대적인 변위(움직임)는, 부호화된 비디오 데이터와 함께 제공되는 사이드 정보 내에서 3차원 움직임 벡터의 형태로 움직임 데이터로서 신호화된다. 3차원은 2개의 공간적 차원과 1개의 시간적 차원으로 이루어진다. 예측 정확도를 최적화하기 위해, 움직임 벡터가 공간적 서브-픽셀 해상도, 예를 들면, 1/2 픽셀 또는 1/4 픽셀 해상도로 결정된다. 공간적 서브-픽셀 해상도를 갖는 움직임 벡터는, 실제 픽셀 값이 유용하지 않은 이미 복호화된 프레임 내의 공간적인 위치, 즉, 서브-픽셀 위치를 나타낼 수 있다. 그러므로, 움직임 보상 예측을 행하기 위해 이러한 픽셀 값의 공간적인 보간이 필요하다. 이것은 보간 필터 (도 1에서 예측 블록(180) 내에 통합)에 의해 이루어질 수 있다.
인트라 및 인터 부호화 모드 모두에 대해서, 현재의 입력 신호와 예측 신호 사이의 차이 e가 변환되고(110), 양자화되어(120), 계수가 양자화된다. 일반적으로, 2차원 DCT(discrete cosine transformation)과 같은 직교 변환 또는 그 정수 버젼(integer version)이 자연 비디오 이미지의 상관을 효과적으로 감소시키기 때문에 사용된다. 변환 뒤, 더 높은 주파수 성분 보다 더 낮은 주파수 성분이 이미지 품질을 위해 통상적으로 보다 중요하므로, 높은 주파수 성분보다 낮은 주파수 성분을 부호화하는데 더 많은 비트가 소비된다. 엔트로피 코더에서, 양자화된 계수의 2차원 매트릭스는 1차원 배열로 변환된다. 일반적으로, 이 변환은 소위 지그-재그(zig-zag) 주사에 의해 실행되며, 2차원 어레이의 좌상 코너의 DC-계수에서 시작하여, 우하 코너의 AC 계수로 끝나는 소정의 시퀀스로 2차원 배열을 주사한다. 에너지가, 더 낮은 주파수에 대응하여, 계수의 2차원 매트릭스의 좌상 부분에 일반적으로 집중되므로, 지그-재그 주사로 인해서 통상적으로 어레이의 마지막 값이 제로가 된다. 이로 인해, 실제의 엔트로피 부호화의 일부로서 또는 그 이전에 런-렝스(run-length) 코드를 사용한 효과적인 부호화가 가능하다.
HEVC뿐 아니라 H.264/MPEG-4 H.264/MPEG-4 AVC는 2개의 기능층, VCL(Video Coding Layer) 및 NAL(Network Abstraction Layer)를 포함한다. VCL은 상기 간략하게 설명한 것같이 부호화 기능을 제공한다. NAL은, 채널을 통한 전송 또는 저장 매체로의 저장 등과 같은 또 다른 애플리케이션에 따라서 NAL 유닛으로 불리는 표준화된 유닛으로 정보 요소를 캡슐화한다. 예를 들면, 정보 요소는 부호화된 예측 에러 신호, 또는 예측의 유형, 양자화 파라미터, 움직임 벡터 등과 같이 비디오 신호의 복호화에 필요한 다른 정보이다. 압축된 비디오 데이터 및 관련 정보를 포함하는 VCL NAL 유닛, 전체 비디오 시퀀스에 관련된 파라미터 세트 등의 부가 데이터를 캡슐화하는 non-VCL 유닛, 또는 복호화 성능을 개선시키기 위해 사용될 수 있는 부가 정보를 제공하는 SEI(Supplemental Enhancement 정보)이 있다.
도 2는 H.264/MPEG-4 AVC 또는 HEVC 비디오 부호화 표준에 따른 디코더(200)의 일예를 도시한다. 부호화된 비디오 신호 (디코더로 입력된 신호)는 우선 엔트로피 디코더(290)에 전달되어, 그 양자화 계수, 움직임 데이터, 예측 모드 등과 같이 복호화를 위해 필요한 정보 요소를 복호화한다. 그 양자화 계수는 2차원 매트릭스를 얻기 위해 역으로 주사되어, 역양자화 및 역변환(230)에 공급된다. 역양자화 및 역변환(230) 후, 복호화된 (양자화된) 예측 에러 신호 e'가 얻어지며, 이것은 양자화 노이즈가 들어가지 않고, 에러가 발생하지 않는 경우에 인코더로 입력된 신호에서 예측 신호를 감산하여 얻어지는 차이에 대응한다.
예측 신호는 시간적 또는 공간적 예측(280)으로부터 얻어진다. 복호화된 정보 요소는 통상적으로 인트라-예측의 경우에 예측 유형과 움직임 보상 예측의 경우에 움직임 데이터와 같이 예측을 위해 필요한 정보를 더 포함한다. 공간 도메인에서 양자화 예측 에러 신호가 가산기(240)에 의해 움직임 보상된 예측 또는 인트라-프레임 예측(280)으로부터 얻어진 예측 신호에 가산된다. 재구성된 이미지 s'는 디블로킹 필터(250), 적응적 샘플 오프셋 처리(255), 및 적응적 루프 필터(260)를 통과하고, 결과의 복호화된 신호는 다음의 블록/이미지의 시간적 또는 공간적 예측을 위해 적용되도록 메모리(270)에 저장된다.
이미지를 압축할 때 및 압축을 풀 때, 블로킹 결함은 사용자에게 일반적으로 가장 성가신 결함이다. 디블로킹 필터링은 재구성된 이미지의 블록들 사이의 에지를 평활화함으로써 사용자의 지각 경험을 개선시키는 것을 도와 준다. 디블로킹 필터링의 어려움 중 하나는 양자화기의 적용으로 인한 블로킹에 의해 생긴 에지 사이 및 부호화된 신호의 일부인 에지 사이를 정확하게 결정하는 것이다. 블록 경계의 에지가 압축 결함을 가지면, 디블로킹 필터를 적용하는 것이 소망된다. 다른 경우에, 디블로킹 필터를 적용하면, 재구성된 신호가 왜곡되고 망가질 수 있다. 또 다른 어려움은 디블로킹 필터링을 위해 적절한 필터를 선택하는 것이다. 일반적으로, 상이한 주파수 응답을 갖는 몇몇 저역 통과 필터들 사이에서 결정이 이루어지므로, 강하거나 약한 저역 통과 필터링이 행해진다. 디블로킹 필터링이 적용되는지를 결정하고 적절한 필터를 선택하기 위해, 2개의 블록들 사이의 경계의 근방의 이미지 데이터가 고려된다.
예를 들면, H.264/MPEG-4　AVC는, 그 경계가 디블로킹되는, 2개의 인접한 블록의 각각에서, 제1 도함수(derivative)의 절대값을 평가한다. 또한, 2개의 블록 사이의 에지에 걸친 제1 도함수의 절대값이, 예를 들면, H.264/MPEG-4　AVC 표준, 섹션 8.7.2.2에 기재된 것같이 평가된다. 그러나, HEVC는 유사한 메카니즘, 제2 도함수를 또한 사용한다.
디블로킹 필터는 블록 경계에서의 각 샘플에 대해서 필터링되는지 아닌지 및 어느 필터 또는 필터 유형이 사용되는지를 결정한다. 필터가 적용되는 것으로 결정되면, 블록 경계를 평활하기 위해 저역 통과 필터가 적용된다. 필터링할 것인지 아닌지를 결정하는 것은 상기 배경 기술 선택에 서술된 것같이 블록-와이즈 처리에 적용된 양자화의 결과 큰 신호 변화가 블록 경계에서 생기는 샘플에 대해서만 필터링하는 것을 목표로 한다. 디블로킹 필터링의 결과 평활화된 신호가 블록 경계에서 얻어진다. 평활화된 신호는 시청자에게 있어서 블로킹 결함보다는 덜 짜증스럽다. 블록 경계에 존재하는 큰 신호 변화가 부호화되는 오리지널 신호에 속하는 샘플은 고주파수를 유지하여 시각적 선명도를 유지하도록 필터링되지 않아야 한다. 잘못된 결정의 경우에, 이미지는 불필요하게 평활화되거나 블록으로 남아 있다. 디블로킹 필터링은 블록 (수평 필터링)의 수직 에지 및 블록 (수직 필터링)의 수평 에지에 걸쳐서 행해진다.
도 4a는 수직 경계 (수평 디블로킹 필터로 필터링되거나 필터링되지 않는)에 대한 결정을 도시하고, 및 도 4b는 수평 경계 (수직 디블로킹 필터로 필터링되거나 필터리되지 않는)에 대한 결정을 도시한다. 특히, 도 4a는 복호화되는 현재의 블록(440) 및 이미 복호화된 인접 블록(410, 420, 및 430)을 나타낸다. 하나의 라인의 픽셀(460)에 대해서 결정이 행해진다. 유사하게, 도 4b는 동일한 현재의 블록(440) 및 하나의 칼럼의 픽셀(470)에 대해서 결정이 행해진다.
디블로킹 필터를 적용할 것인지의 판단이 다음과 같이 행해질 수 있다. 도 4에도 도시된 것같이, 첫 번째 3개의 픽셀 p2, p1, p0이 좌측 인접 블록 A430에 속하고, 그 다음의 3개의 픽셀 q0, q1, 및 q2이 현재의 블록 B440에 속하는 6개의 픽셀(460)의 라인을 취한다.
도 14의 라인 1410은 블록 A 및 B의 경계를 나타낸다. 픽셀 p0 및 q0는 각 좌측 인접 블록 A 및 현재의 블록 B의 픽셀들이며, 서로 인접하여 위치하고 있다. 다음의 조건이 만족되면, 픽셀 p0 및 q0는 예를 들면, 디블로킹 필터에 의해 필터링된다.
Figure 112014001178927-pct00005
Figure 112014001178927-pct00006
및
Figure 112014001178927-pct00007
여기서, 일반적으로,
Figure 112014001178927-pct00008
이다. 이들 조건은 p0 및 q0 사이의 차이가 블로킹 결함에 기인하는지 아닌지를 검출하기 위한 것이다. 이들은 블록 A 및 B의 각각 및 그들 사이의 제1 도함수의 평가에 대응한다. 3개의 조건에 추가하여, 다음의 조건이 만족되면, 픽셀 p1이 필터링된다.
Figure 112014001178927-pct00009
예를 들면, 상기 첫 번째 3개의 조건에 추가하여 다음의 조건이 만족되면, 픽셀 q1이 필터링된다.
Figure 112014001178927-pct00010
.
이들 조건은 제1 블록 내의 제1 도함수 및 제2 블록 내의 제1 도함수에 각각 대응한다. 상기 조건에서, QP는 적용된 양자화 양을 나타내는 양자화 파라미터를 나타내며,
Figure 112014001178927-pct00011
는 스칼라 상수이다. 특히,
Figure 112014001178927-pct00012
는 각각의 제1 및 제2 블록 A 및 B에 적용된 양자화 파라미터s QP A 및 QP B 에 기초하여 도출된 다음과 같은 양자화 파라미터이다.
Figure 112014001178927-pct00013
,
여기서, ">>1"은 일 비트만큼의 우측 시프트를 나타낸다.
선택된 라인 또는 블록의 라인들에 대해서만 결정이 행해질 수 있으며, 따라서, 모든 라인들 460에 대해서 픽셀의 필터링이 행해진다. HEVC에 따른 결정에 관련된 라인들 530의 예 520이 도 5에 도시되어 있다. 라인들(530)에 기초하여, 전체 블록을 필터링할 것인지 아닌지 결정이 행해진다.
HEVC에서 디블로킹 필터링의 또 다른 예가, ITU-T SG16 WP3 및 ISO/IEC JTC1/SC29/WG11의 JTC-VC에 의한 JCTVC-E603 도큐먼트의 섹션 8.6.1에서 발견되며, http://phenix.int-evry.fr/jct/index.php /에서 무료로 이용가능하다.
디블로킹 필터링의 적용 여부와 적용 방법을 결정하기 위해 2개의 라인 1430이 사용된다. 예 1420는 수평 블로킹 필터링을 목적으로 3번째 (인덱스 2를 갖는) 및 6번째 (인덱스 5를 갖는) 라인을 평가하는 것으로 가정한다. 특히, 각각의 블록 내의 제2 도함수가 평가되어 다음과 같이 측정치 d2 및 d5가 얻어진다.
Figure 112014001178927-pct00014
픽셀 p은 블록 A에 속하고, 픽셀 q는 블록 B에 속한다. p 또는 q 다음의 첫번째 수는 칼럼 인덱스를 나타내고, 그 다음의 첨자의 숫자는 블록 내의 로우 번호를 나타낸다. 다음의 조건이 만족되면, 예 520에 도시된 8개의 라인에 대한 디블로킹이 인에이블된다.
Figure 112014001178927-pct00015
상기 조건이 만족되지 않으면, 디블로킹이 적용되지 않는다. 디블로킹이 인에이블되는 경우에, 디블로킹을 위해서 사용되는 필터가 결정된다. 이 결정은 블록 A 및 B 사이의 제1 도함수의 평가에 기초한다. 특히, 각 라인 i에 대해서, 여기서 i는 0과 7 사이의 정수, 강한 저역 통과 필터가 적용될 것인지 또는 약한 저역 통과 필터가 적용될 것인지가 결정된다. 다음 조건이 만족되면 강한 필터가 선택된다.
Figure 112014001178927-pct00016
HEVC 모델에 따르면, "강한 필터"가 샘플
Figure 112014001178927-pct00017
을
Figure 112014001178927-pct00018
을 사용하여 필터링하는 반면, "약한 필터"는 샘플
Figure 112014001178927-pct00019
을
Figure 112014001178927-pct00020
을 사용하여 필터링한다. 상기 조건에서, 파라미터
Figure 112014001178927-pct00021
및 t c 는 모두 이미지 등의 슬라이스에 대해서 설정될 수 있는 양자화 파라미터 QP Frame 의 함수이다. 값
Figure 112014001178927-pct00022
및 t c 는 룩업 테이블을 사용하여 QP Frame 에 기초하여 일반적으로 구동된다.
매우 평활한 신호에 대해서만 강한 필터링이 유익한 것에 주의하다. 그렇지 않은 경우에, 보다 약한 저역 통과 필터링이 유익하다.
종래의 하이브리드 부호화에 따른 강한 저역 통과 필터링에 관련된 픽셀이 도 15a에 도시되어 있다. 특히, 도 15a는 필터링을 위해 사용되는 샘플을 나타낸다. 이들 샘플은 블록 A 및 B 사이의 경계로부터 좌측 및 우측에 인접한 각각 4개의 픽셀에 대응한다. 이들 샘플은 필터링을 위해 사용되며, 이것은 그들 값이 필터링 처리에 입력되는 것을 의미한다. 도 15a는 필터에 의해 변경되는 샘플을 또한 나타낸다. 이것은 블록 A 및 B 사이의 경계에 가장 근접한, 그 우측 및 그 좌측의 인접한 각각 3개의 픽셀이다. 이들 값은 필터에 의해 변경, 즉, 평활화된다. 특히, 아래에, 인덱스 i를 갖는 라인의 변경된 샘플의 값들
Figure 112014001178927-pct00023
및
Figure 112014001178927-pct00024
이 나열된다.
Figure 112014001178927-pct00025
함수
Figure 112014001178927-pct00026
은 다음과 같이 정의된다.
Figure 112014001178927-pct00027
이에 의해,
Figure 112014001178927-pct00028
는 최대값이며, 여기서는 x가 가능하다. k 비트 샘플의 PCM 부호화의 경우에, 최대값은
Figure 112014001178927-pct00029
이다. 예를 들면, 8 비트 샘플의 PCM 부호화의 경우에, 최대값은
Figure 112014001178927-pct00030
이다. 10 비트 샘플의 PCM 부호화의 경우에, 최대값은
Figure 112014001178927-pct00031
이다.
상기 식은 적용되는 강한 필터링의 처리를 서술한다. 상기 식으로부터 알 수 있는 것같이, 로우 i의 픽셀 p3i 및 q3i가 식에서, 즉, 필터링에서 사용되지만, 변경되지 않는다, 즉, 필터링되지 않는다.
도 16b는 약한 디블로킹 필터의 적용을 도시한다. 특히, 필터링에 사용된 샘플이 좌측에 도시되며, 필터링에 의해 변경된 샘플이 우측에 도시된다. 약한 필터의 동작에 대해서, 블록 A 및 B 사이의 경계의 각각 2개의 인접한 픽셀만이 필터링되는 반면, 그 경계에서 블록 A 및 B의 각각에서 각각의 3개의 인접한 블록이 사용된다. 약한 필터링을 목적으로 2개의 결정이 행해진다. 제1 결정은 약한 필터가 전체에 적용되는지 또는 특정 라인에 적용되는지에 관한 것이다. 이 결정은 다음과 같이 계산되는
Figure 112014001178927-pct00032
값에 기초한다.
Figure 112014001178927-pct00033
Figure 112014001178927-pct00034
이면, 계산된
Figure 112014001178927-pct00035
에 기초하여, 필터링이 적용된다. 그렇지 않으면, 각각의 블록 A 및 B의 경계에 있는 2개의 픽셀
Figure 112014001178927-pct00036
및
Figure 112014001178927-pct00037
에 필터링이 적용되지 않는다. 필터링이 적용되면, 다음과 같이 행해진다.
Figure 112014001178927-pct00038
여기서,
Figure 112014001178927-pct00039
함수
Figure 112014001178927-pct00040
는 상기와 같이 정의된다. 또한, 함수
Figure 112014001178927-pct00041
는 다음과 같이 정의된다.
Figure 112014001178927-pct00042
필터링이 적용되고,
Figure 112014001178927-pct00043
및
Figure 112014001178927-pct00044
이 필터링되었다고 결정될 때,
Figure 112014001178927-pct00045
및
Figure 112014001178927-pct00046
이 필터링되는지를 더 판정한다. 오직
Figure 112014001178927-pct00047
이면
Figure 112014001178927-pct00048
이 필터링되고, 오직
Figure 112014001178927-pct00049
이면,
Figure 112014001178927-pct00050
필터링된다. 이들 픽셀의 필터링은 다음과 같이 행해진다.
Figure 112014001178927-pct00051
여기서,
Figure 112014001178927-pct00052
Figure 112014001178927-pct00053
Figure 112014001178927-pct00054
예측 부호화에 추가하여, 블록이 예측의 적용없이 부호화될 수 있다. 대응하는 부호화 모드는 "PCM(pulse coded modulation) 모드"로 칭한다. PCM 모드에서 부호화된 샘플은 양자화 노이즈를 포함할 수 있지만, 반드시 그러한 것은 아니다. JCTVC-E192 컨트리뷰션 "HEVC에서 개선된 PCM 부호화의 제안"에 따르면, PCM 부호화 샘플의 필터링을 인에이블과 디스에이블 사이에서 스위칭시키기 위해 HEVC 인코더 및 디코더에서 스위치가 사용된다. 따라서, 루프의 모든 필터가 스위칭-온되거나 또는 스위칭-오프된다. PCM 부호화 샘플이 양자화 노이즈를 포함하지 않는 경우에 스위칭 메카니즘은 필터링을 스위칭 오프할 수 있으므로 유익하다. 이러한 경우에, 필터링은 노이즈없는 필터링된 이미지의 품질을 악화시킬 수 있다. 한편, PCM 부호화 샘플이 양자화 노이즈를 포함하면 필터링이 인에이블되는 것이 유익하다.
노이즈를 갖지 않는 PCM 부호화 영역이, PCM 부호화되지 않지만 공간적 또는 시간적 예측에 의해 예측되는 영역에 인접한 경우, 블로킹 결함은 이미지의 감각적 품질을 저하시킬 수 있다. 한편, 이러한 경우에 행해지는 필터링은 노이즈를 갖지 않는 PCM 부호화 영역의 품질을 저하시킬 수 있다.
현재 기술에서 이러한 문제점들이 존재하기 때문에, PCM 샘플이 예측 부호화에 의해 부호화되는 샘플에 둘러싸여 있는 경우에 이 PCM 샘플에 적용가능한 효과적인 디블로킹 필터링 방법을 제공하는 것이 유익하다.
본 발명의 방법은 PCM 부호화 블록에 대해서 디블로킹 필터 또는 다른 필터를 분리하여 개별적으로 인에이블 또는 디스에이블시킬 수 있는 것이다.
본 발명의 구성에 따르면, 비디오 신호의 이미지의 샘플의 블록을 펄스 부호 변조(PCM: pulse-coded modulation)에 의해 비트스트림으로 부호화하는 방법이 제공되며, 이 방법은, 디블로킹 필터가 상기 샘플의 블록에 적용되는지 판단하는 단계; 상기 디블로킹 필터와 다른, 제2 필터가 상기 샘플의 블록에 적용되는지 판단하는 단계; 상기 디블로킹 필터가 적용되는지 판단한 결과를 나타내는 디블로킹 필터 지시자를 상기 비트스트림에 포함시키는 단계; 및 상기 제2 필터가 적용되는지 판단한 결과를 나타내는, 상기 디블로킹 필터 지시자와 다른, 제2 필터 지시자를 상기 비트스트림에 포함시키는 단계를 포함한다.
본 발명의 또 다른 구성에 따르면, 비트스트림으로부터, 비디오 신호의 이미지에서 펄스 부호 변조(PCM)에 의해 부호화되어 있는 샘플의 블록을 복호화하는 방법이 제공되며, 이 방법은, 디블로킹 필터가 샘플의 블록에 적용되는지를 나타내는 디블로킹 필터 지시자를 상기 비트스트림으로부터 추출하는 단계; 제2 필터가 샘플의 블록에 적용되는지를 나타내는, 상기 디블로킹 필터 지시자와 별개의, 제2 필터 지시자를 상기 비트스트림으로부터 추출하는 단계; 추출된 디블로킹 필터 지시자에 따라서 상기 샘플의 블록에 상기 디블로킹 필터를 적용하거나 적용하지 않는 단계; 및 추출된 제2 필터 지시자에 따라서 상기 샘플의 블록에 상기 제2 필터를 적용하거나 적용하지 않는 단계를 포함한다.
본 발명의 또 다른 구성에 따르면, 비디오 신호의 이미지의 샘플의 블록을 펄스 부호 변조(PCM)에 의해 비트스트림으로 부호화하는 장치가 제공되며, 이 장치는, 디블로킹 필터가 상기 샘플의 블록에 적용되는지 판단하는 디블로킹 판단 유닛; 상기 디블로킹 필터와 다른, 제2 필터가 상기 샘플의 블록에 적용되는지 판단하는 제2 판단 유닛; 및 상기 디블로킹 필터가 적용되는지 판단한 결과를 나타내는 디블로킹 필터 지시자를 상기 비트스트림에 포함시키고, 상기 제2 필터가 적용되는지 판단한 결과를 나타내는, 상기 디블로킹 필터 지시자와 다른, 제2 필터 지시자를 상기 비트스트림에 포함시키는 삽입 유닛을 포함한다.
본 발명의 또 다른 구성에 따르면, 비트스트림으로부터, 비디오 신호의 이미지에서 펄스 부호 변조(PCM)에 의해 부호화되어 있는 샘플의 블록을 복호화하는 장치가 제공되며, 이 장치는, 디블로킹 필터가 샘플의 블록에 적용되는지를 나타내는 디블로킹 필터 지시자를 상기 비트스트림으로부터 추출하고, 제2 필터가 샘플의 블록에 적용되는지를 나타내는, 상기 디블로킹 필터 지시자와 별개의, 제2 필터 지시자를 상기 비트스트림으로부터 추출하는 추출 유닛; 추출된 디블로킹 필터 지시자에 따라서 상기 샘플의 블록에 디블로킹 필터를 적용하거나 적용하지 않도록 구성된 디블로킹 필터링 유닛; 및 추출된 제2 필터 지시자에 따라서 샘플의 블록에 제2 필터를 적용하거나 적용하지 않도록 구성된 제2 필터링 유닛을 포함한다.
첨부 도면들은 본 발명의 일부 실시예들을 도시하기 위해 본 명세서에 통합되어 명세서의 일부를 형성한다. 상세한 설명과 함께 이들 도면은 본 발명의 요지를 설명한다. 이들 도면은 본 발명의 구현 및 사용 방법의 바람직한 일부 예들을 도시하는 것만을 목적으로 하며, 본 발명의 도시 및 서술된 실시예들에 한정시키고자 의도된 것은 아니다. 본 발명의 특징 및 장점들은, 동일한 도면 부호가 동일한 구성 소자를 나타내는 첨부 도면에 도시된 바와 같이, 본 발명의 여러 실시예들의 다음의 보다 상세한 설명으로부터 더욱 명백해진다.
도 1은 비디오 인코더 예의 블록도이다.
도 2는 비디오 디코더 예의 블록도이다.
도 3은 별개의 수직 및 수평 필터링이 행해지는 비디오 인코더 예의 블록도이다.
도 4a는 수평 디블로킹 필터링의 적용을 나타내는 개략도이다.
도 4b는 수직 디블로킹 필터링의 적용을 나타내는 개략도이다.
도 5는 비트-깊이가 감소되는 PCM 부호화 모드를 포함하는 인코더를 도시하는 블록도이다.
도 6은 비트-깊이가 감소되지 않는 PCM 부호화 모드를 포함하는 인코더를 도시하는 블록도이다.
도 7은 필터링을 스위칭 온/오프하는 스위치를 갖는 PCM 부호화 모드를 포함하는 인코더를 도시하는 블록도이다.
도 8은 PCM 부호화된 및 PCM 부호화되지 않은 블록에 대한 필터링의 인에이블/디스에이블의 예를 도시하는 개략도이다.
도 9는 본 발명의 실시예에 따라서 상이한 필터를 개별적으로 스위칭 온/오프 시키는 인코더를 나타내는 블록도이다.
도 10a는 디블로킹 필터에 의해 변경될 수 있는 영역을 도시하는 개략도이다.
도 10b는 디블로킹 필터에 의해 변경될 수 있거나 변경될 수 없는 영역에 대해서 적응적 샘플 오프셋의 적용을 스위칭 온/오프시키는 것을 도시하는 개략도이다.
도 10c는 디블로킹 필터에 의해 변경될 수 있거나 변경될 수 없는 영역에 대해서 적응적 루프 필터의 적용을 스위칭 온/오프시키는 것을 도시하는 개략도이다.
도 11은 PCM 부호화된 및 PCM 부호화되지 않은 인접 블록의 예 및 그 특징적인 양자화 파라미터의 예를 도시하는 개략도이다.
도 12는 본 발명의 실시예에 따른 디블로킹 필터링을 사용하는 부호화 방법의 예를 도시하는 플로우도이다.
도 13은 본 발명의 실시예에 따른 디블로킹 필터링을 사용하는 복호화 방법의 예를 도시하는 플로우도이다.
도 14는 종래 기술에 따른 디블로킹 필터링을 도시하는 개략도이다.
도 15a는 디블로킹 필터링에 의해 사용된 샘플 및 디블로킹 필터링에 의해 변경된 샘플을 도시하는 개략도이다.
도 15b는 디블로킹 필터링에 의해 사용된 샘플 및 디블로킹 필터링에 의해 변경된 샘플을 도시하는 개략도이다.
도 16a는 PCM 부호화된 샘플을 복호화 및 필터링하는 복호화 방법의 일 예를 도시하는 플로우도이다.
도 16b는 샘플의 블록을 PCM 부호화 및 필터링하는 부호화 방법의 일 예를 도시하는 플로우도이다.
도 17은 컨텐츠 분배 서비스를 구현하는 컨텐츠 제공 시스템의 전체 구성을 나타낸다.
도 18은 디지털 방송 시스템의 전체 구성을 나타낸다.
도 19는 텔레비전의 구성예를 도시하는 블록도이다.
도 20은 광 디스크인 기록 매체로부터 정보를 판독하거나 기록 매체에 정보를 기록하는 정보 재생/기록 유닛의 구성예를 도시하는 블록도이다.
도 21은 광 디스크인 기록 매체의 구성예를 나타낸다.
도 22a는 휴대폰의 예를 나타낸다.
도 22b는 휴대폰의 구성예를 나타내는 블록도이다.
도 23은 다중화된 데이터의 구조를 도시한다.
도 24는 다중화된 데이터에서 각 스트림이 다중화되는 방법을 개략적으로 나타낸다.
도 25는 PES 패킷의 스트림에 비디오 스트림이 저장되는 방법을 보다 상세히 나타낸다.
도 26은 다중화된 데이터에서 TS 패킷 및 소스 패킷의 구조를 나타낸다.
도 27은 PMT의 데이터 구조를 나타낸다.
도 28은 다중화된 데이터 정보의 내부 구조를 나타낸다.
도 29는 스트림 속성 정보의 내부 구조를 나타낸다.
도 30은 비디오 데이터를 식별하는 단계를 나타낸다.
도 31은 각 실시예에 기재된 동화상 부호화 방법 및 동화상 복호화 방법을 구현하는 집적 회로의 구성예를 나타낸다.
도 32는 구동 주파수들 사이의 스위칭의 구성을 나타낸다.
도 33은 비디오 데이터를 식별하고 구동 주파수들 사이에서 스위칭하는 단계들을 나타낸다.
도 34는 비디오 데이터 표준이 구동 주파수에 대응되어 있는 룩업 테이블의 예를 나타낸다.
도 35a는 신호 처리 유닛의 모듈을 공유하는 구성의 일 예를 나타내는 도면이다.
도 35b는 신호 처리 유닛의 모듈을 공유하는 구성의 또 다른 예를 나타내는 도면이다.
본 발명은, 루프의 모든 필터를 턴온 또는 턴오프시키는 것이 일부의 경우에 주관적인 화질을 저하시킨다는 것을 관찰한 것에 기초한다. 특히, 디블로킹 필터를 적용하는 것이, 적응적 루프 필터 및/또는 적응적 샘플 오프셋이 유익하다는 것과는 다른 시나리오에서 유익할 수 있다.
특히, PCM 부호화 블록이 다른 방법으로 부호화된 블록에 인접한 경우에, 디블로킹 필터는 유익할 수 있다. 이러한 경우에 디블로킹 필터는 2개의 블록의 경계 영역에서 신호를 평활화하므로 노이즈가 PCM 부호화 블록으로 들어올 때에도 주관적 품질을 개선시킨다. 그러나, PCM 부호화 블록의 품질은, 디블로킹 필터가 이 블록에 적용되지 않지만 적응적 루프 필터 및/또는 적응적 샘플 오프셋이 적용되는 영역에서 감소될 수 있다. 적응적 루프 필터 및 적응적 샘플 오프셋은 부가적인 노이즈 및/또는 결함을 가져올 수 있다.
본 발명에 따르면, 디블로킹 필터를 PCM 부호화 샘플에 적용하는 것은 다른 필터의 적용을 제어하는 것과 별개로 개별적으로 제어된다. 따라서, 본 발명은 원하지 않는 양자화 노이즈를 더 감소시켜서 이미지 품질을 더욱 개선시킨다.
도 5는 도 1 및 도 3에 도시된 인코더에 기본적으로 대응하는 인코더(500)를 도시한다. 또한, 예를 들면, JCTVC-D0044 컨트리뷰션 "HEVC용 펄스 코드 변조 모드"에 기재된 것같이 PCM 부호화 모드가 도입된다. 예를 들면, 더 높은 정확도를 갖는 부호화 동작을 가능하게 하도록 비트 깊이가 확장되어(510), 원래의 비디오 신호에 적용될 수 있다. 비디오 신호가 PCM 부호화 모드에 의해 부호화되면, 비트 깊이는 다시 감소되고(550), 신호는 비트스트림에 포함되도록 멀티플렉서(595)에 직접 출력된다. 스위치(570)는 PCM 부호화 모드 또는 예측으로부터의 입력과 변환 부호화사이에서 전환한다. 따라서, PCM 부호화 샘플은 디블로킹 필터 (도 5에서 "디블로킹") 및 다른 루프 필터 (도 5에서 "ALF")를 통과하고 버퍼링 되어(530), 기준 샘플로서 사용된다.
도 6은 JCTVC-E057 "HEVC용 펄스 코드 변조 모드"에 따른 PCM 부호화 모드의 또 다른 구현예를 도시한다. 특히, 비트 깊이가 증가된(610) 후에, PCM 샘플이 멀티플렉서(695)에 직접 공급되어 부호화 비트스트림에 포함된다. 스위치(670)는 PCM 부호화 모드 샘플 또는 예측/변환 부호화 모드 샘플 사이를 스위칭한다. PCM 부호화 샘플 또는 예측/변환 부호화 샘플은 디블로킹 필터링 및 적응적 루프 필터링되고, 또한 적응적 샘플 오프셋 필터링이 된다. 그 후, 필터링된 샘플은 버퍼(630)에 저장되어 기준 샘플로서 또한 사용된다.
PCM 샘플이 양자화 에러를 포함하지 않는 경우에, 디블로킹 필터링, 적응적 루프 필터링 또는 적응적 샘플 오프셋등의 필터링을 적용하면 부가적인 노이즈가 이미지 신호에 들어올 수 있다. 그러므로, JCTVC-E192 컨트리뷰션은 필터링의 스위칭-온 또는 스위칭-오프를 제안한다.
도 7은 PCM 부호화 모드 및 스위칭 필터링 온/오프를 지원하는 HEVC에 따른 인코더의 가능한 구현예를 도시한다. 특히, 원래의 비디오 신호가 비트 깊이를 증가시키는 유닛(710)에 입력된다. 부호화 모드가 PCM 부호화 모드이면, 비트 깊이 감소 유닛(750)에서, PCM 샘플은 소정의 비트 깊이로 감소된다. 동시에, 이 소정의 비트 깊이는 비트스트림내에서 신호화된다. "xxx"가 샘플의 휘도 또는 색차("luma", "chroma")를 나타내는 파라미터 PCM _ sample _ bit _ depth _ xxx _ minus8는 결과의 PCM 신호의 비트 깊이를 제어하며, 멀티플렉서(795)에 공급되어 비트스트림에 삽입된다. 예측 부호화에 사용하기 위해 샘플을 기준 샘플로서 버퍼링할 목적으로 PCM 부호화 샘플의 비트 깊이가 증가된다(760). 스위치(770)를 통해서, PCM 샘플은 디블로킹 필터링 유닛(740) 및 제2 필터링 유닛(745) (이 경우, 적응적 루프 필터 유닛)에 입력되어, 최종적으로 버퍼(730)에 저장된다. JCTVC-E192 컨트리뷰션에 따르면, 디블로킹 필터링(740) 및 다른 유형의 루프 필터링(745)과 같은 루프 필터링을 스위칭-온 또는 스위칭-오프하기 위한 스위치가 설치된다. 디코더 및 인코더의 유사 동작을 가능하게 하도록, 스위치 값 (온/오프)은 비트스트림에 포함되어 디코더로 시그널링된다. 스위칭(플래그와 같은 지시자에 의해 제어됨)이 도 7에 도시되어 있다. 특히, 파라미터 PCM _ sample _ loop _ filter _ disable _ flag는 SPS NAL 유닛에서 시그널링되어 적응적 루프 필터링(745) 및 디블로킹 필터링(740) 모두를 인에이블 또는 디스에이블시킨다.
인-루프 필터, 즉, 디블로킹 필터 및 적응적 루프 필터의 목적은 비가역 압축과 관련된 왜곡을 보정하는 것이다. 그러나, 원래의 비압축된 샘플이 PCM 부호화 모드를 사용하여 부호화될 때, 샘플은 왜곡이 없다. 그러므로, 인-루프 필터링 처리는 도 7에 도시된 것같이 개념적으로 디스에이블되어야 한다. 한편, 일부의 인코더 실행은 오리지널이 아닌(non-original)(재구성된) 샘플을 PCM 샘플로서 부호화할 수 있다. 이 경우에, 이들 PCM 샘플은 양자화 노이즈를 확실하게 포함할 수 있다. 따라서, 인-루프 필터링을 실행하여 결과의 이미지 품질을 개선하므로 인-루프 필터링은 유용하다. 그러므로, JCTVC-E192은 인-루프 필터링을 스위칭-온 또는 스위칭-오프시킬 수 있다. 그러나, 이러한 스위치는, 필터링을 적용하거나 적용하지 않아서 발생하는 품질 감소를 방지할 수 있을 정도로 충분하지 않다.
도 8은 2개의 블록(801 및 802)을 도시하며, 블록(801)은 PCM 부호화 모드에 의해 부호화되며, I_PCM으로 표시된 원래의 비디오 샘플을 포함한다. 블록(802)은 인트라 또는 인터 예측을 사용하여 부호화되고 non-I_PCM 샘플로 표시된 예측된 샘플을 포함한다. 샘플들(p2, p1, p0, q0, q1 및 q2)은 도 8에 8 x 6 그리드에 의해 표시된 라인들 중 하나에 블록들(801 및 802) 사이의 경계에 위치한 경계 픽셀들이다. JCTVC-E192의 제안이 이 시나리오에 적용될 때, 블록(801)에 대해서 적응적 루프 필터링 및 디블로킹 필터링이 모두 디스에이블된다. 이것은 픽셀들 p0, p1, 및 p2이 필터링되지 않은 것을 의미한다. 이에 대해, 적응적 루프 필터링 및 디블로킹 필터링이 블록(802)에 대해서 모두 인에이블된다. 이 경우에, 이 블록 경계는 복호화 후에 눈으로 보여지며, 블록(801)의 부분에서 평활화되지 않기 때문에 블로킹 결함을 포함할 수 있다. 상기 예들에서, 디블로킹 필터링 및 적응적 루프 필터링이 설명되어 있다. 그러나, 동일한 것이, 적응적 루프 필터링 전후에 실행될 수 있거나 또는 적응적 루프 필터링없이 실행될 수 있는 적응적 샘플 오프셋에 적용된다.
품질 감소를 극복하기 위해서, 본 발명에서 신호들은 적응적 루프 필터 또는 적응적 샘플 오프셋과 같은 다른 필터를 인에이블 또는 디스에이블시키는 것과 별개로 개별적으로 디블로킹 필터를 인에이블 또는 디스에이블시킨다.
본 발명의 바람직한 실시예에 따르면, 각각의 노이즈 감소 필터를 적용하는 것은 PCM 부호화 블록에 대해서 개별적으로 제어된다. 이것은 각각의 개별적인 노이즈 감소 필터에 대해서 부호화되고 전송되는 하나의 플래그에 의해 실행될 수 있으며, 이 플래그는 PCM 부호화 블록에 대한 필터의 적용을 나타낸다. 도 1 및 도 3에 도시된 것같이, 디블로킹 필터, SAO 및 적응적 루프 필터의 3개의 필터의 경우에, 3개의 개별 플래그가 사용될 수 있다.
그러나, 본 발명은 이것에 한정되지 않고, 하나의 플래그가 디블로킹 필터링을 제어하기 위해 사용될 수 있고, 또 다른 플래그가 적응적 루프 필터 및 적응적 샘플 오프셋과 같은 나머지 필터를 공통으로 제어하기 위해 사용될 수 있다.
도 9는 적응적 루프 필터, 적응적 샘플 오프셋 및 디블로킹 필터를 각각 스위칭-온 또는 스위칭-오프하기 위한 각각의 스위치(981, 982, 및 983)를 포함하는 비디오 인코더(900)의 일 예를 도시한다. 이 스위치 위치는 디코더를 인코더와 동일한 방식으로 필터링을 행하도록 제어할 수 있도록 하기 위해 비트스트림 내에서 송신된 각각의 플래그로서 부호화될 수 있다.
디블로킹 필터에 의해 변경될 수 있는 샘플 및 디블로킹 필터에 의해 변경될 수 없는 샘플에 대해서, 개별적으로 PCM 부호화 블록들에 대해서 각각의 필터를 적용하는 것을 제어하는 것이 더 유리하다. 부호화된 이미지 데이터와 함께 비트스트림 내에서 부호화되고 송신된 부가적인 지시자(플래그)를 제공함으로써 이러한 제어가 이루어질 수 있다. 디블로킹 필터에 의해 변경된 샘플 및 변경되지 않은 샘플을 개별적으로 제어함으로써, 필터링의 더욱 미세한 적응이 이루어진다. 특히, 디블로킹 필터링이 PCM 부호화 샘플에 적용되지 않는 경우, 적응적 루프 필터 또는 적응적 샘플 오프셋으로 인해 부가적인 노이즈가 이들 샘플에 생길 수 있다. 일반적으로, 블록 경계에서의 주관적인 품질을 개선하기 위해 디블로킹 필터가 이미지 신호에 적용될 수 있다. 디블로킹 필터가 적용되었으면, 객관적인 이미지 품질을 개선하기 위해 적응적 샘플 오프셋 및 적응적 루프 필터링이 더 유리할 수 있다.
더욱이, PCM 부호화 블록에 대해서, SAO 오프셋뿐만 아니라 적응적 루프 필터링도 디블로킹 필터 판단의 결과에 기초하여 스위칭-온 또는 스위칭-오프될 수 있다. 특히, 디블로킹으로 인해 노이즈가 들어오면, 뒤에 적용되는 적응적 루프 필터링 및/또는 적응적 샘플 오프셋에 의해 이 노이즈가 감소될 수 있다. 디블로킹 필터가 적용되지 않았다고 판단되면, 노이즈가 들어오지 않으므로, 적응적 루프 필터링 및/또는 적응적 샘플 오프셋으로 인해 부가적인 노이즈가 들어올 수 있다. 이 경우에, 필터링을 스위칭-오프시키는 것이 또한 유익할 수 있다.
도 10a, 10b 및 10c는 본 발명에 따른 실시예를 도시한다. 특히, 현재 블록 1010에 대해서 디블로킹 필터가 적용되어야 하는지 및 또 다른 필터가 이 블록에 대해서 적용되어야 하는지에 개별적으로 판단된다. 디블로킹 필터에 의해 변경되는 샘플 및 다른 샘플 (디블로킹 필터에 의해 변경되지 않는)에 대해서 다음의 필터링이 적용되어야 하는지 아닌지 개별적으로 판단된다. 그 다음, 변경된 블록 샘플 및 변경되지 않은 블록 샘플에 대해서 필터링의 적용을 나타내기 위해 별개의 플래그들이 사용된다.
도 10a는 현재의 블록 1010 및 현재의 블록의 좌측에 인접한 블록 1020을 나타낸다. 이 예에서, 2개의 블록 사이의 경계에 가장 근접한 각각 3개의 픽셀들이 디블로킹 필터에 의해 변경되는 것으로 가정한다. 도 10a의 대시 사각형들은 디블로킹 필터에 의해 변경된 샘플 및 인접하는 블록 1010 및 1020에서 디블로킹 필터에 의해 변경되지 않은 샘플을 나타낸다. 현재의 블록 1010은 양자화 노이즈가 없는 PCM 부호화 블록인 것으로 가정한다. 한편, 블록 1020은 양자화 노이즈를 갖는 non-PCM 부호화 블록인 것으로 가정한다. 이 예에서, 블록은 16 x 16 샘플의 크기를 갖는 부호화 유닛이다. 개별 플래그("플래그 1")는 디블로킹 필터가 현재의 블록 1010에 적용되는지 아닌지를 나타낸다. 디블로킹 필터가 적용되면, 블록 경계의 근방에 있는 샘플만이 변경된다 (변경가능 샘플). 도 10에는 수평 디블로킹 필터링 영역만이 도시되어 있는 것에 주의한다. 그러나, 본 발명은 그것에 한정되는 것이 아니라, 수평 블록 경계에 걸친 수직 필터링도 유사하게 적용될 수 있다.
도 10b는 동일한 블록 1010 및 1020을 도시하며, 여기서, 적응적 샘플 오프셋이 인접 블록 1020, 예를 들면, 모든 8 x 8 샘플에 적용된다. 적응적 샘플 오프셋을 현재의 블록 1010에 적용하는가 아닌가는 디블로킹 필터에 의해 변경된 샘플 및 디블로킹 필터에 의해 변경되지 않은 샘플에 대해서 본 실시예에서 개별적으로 판정된다. 따라서, 2개의 플래그(도 10b에서 "플래그 2a" 및 "플래그 2b")는 적응적 샘플 오프셋이 디블로킹 필터에 의해 변경가능한 영역에 적용되는가 및 적응적 샘플 오프셋이 디블로킹 필터에 의해 변경가능하지 않은 영역에 적용되는가를 특정하기 위해 비트스트림에 포함될 수 있다.
도 10c는 동일한 블록 1010 및 1020과 디블로킹 필터에 의해 변경된 샘플 및 디블로킹 필터에 의해 변경되지 않은 샘플에 대해서 적응적 루프 필터를 적용하는 것을 나타낸다. SAO의 적용의 경우와 유사하게, 2개의 플래그(도 10c에서 "플래그 3a" 및 "플래그 3b")는 적응적 샘플 오프셋이 디블로킹 필터에 의해 변경된 현재의 블록의 영역 및 디블로킹 필터에 의해 변경되지 않은 현재의 블록의 영역에 대해서 적응적 루프 필터가 적용되는가 아닌가를 각각 개별적으로 나타내도록 비트스트림에 포함될 수 있다.
본 발명에 따르면, PCM 부호화 블록의 필터링이 디블로킹 필터, 적응적 샘플 오프셋 및 적응적 루프 필터와 같은 상이한 필터 유형에 대해서 개별적으로 제어될 수 있다. 이들 필터의 적용 순서는 본 발명에 있어서 중요하지 않으며, 임의로 선택가능하다. 지시자는 0 또는 1의 값을 취할 수 있으며, 필터링이 적용되었는지 아닌지를 나타내는 이진 플래그일 수 있다. 이들 플래그는 상이한 위치에서 비트스트림에 삽입될 수 있다. 바람직하게, 플래그들은 슬라이스 헤더에 삽입되고 그 슬라이스에 포함된 모든 블록에 대해서 적용된다. 그러나, 본 발명은 그것에 한정되는 것이 아니며, 지시자들은 SPS, PPS, 또는 APS를 포함하는 패킷을 통해 삽입될 수 있다. 특히, 필터링의 미세 조정에 대해서, 플래그는 부호화 유닛 단위로 신호화된다. 지시자(플래그)는 특별 블록 서브-영역에 대해서, 필터링을 스위칭-온 또는 스위칭-오프하는 스위치의 위치를 나타낸다. 예를 들면, 블록이 PCM 모드에서 부호화되는 정보의 부호화 직후에, 스위치의 위치가 부호화될 수 있다.
비디오 신호의 재구성 품질을 개선하기 위해, PCM 부호화 블록과 인접한 블록 사이의 경계는, 인접한 블록의 양자화 에러가 더 높다고 간주되면, 블록화 제거될 수 있다. 이것은 소정의 임계치를 사용하여 테스트될 수 있다. 예를 들면, 인접 블록의 양자화 파라미터값이 소정의 임계치를 초과할 때 양자화 에러가 높다고 간주될 수 있다. 이 임계치는, 예를 들면, 부호화된 데이터와 함께 비트스트림내에서 부호화된 고정(fixed) 값이거나 적응(adaptive) 값일 수 있다.
디블로킹 필터링을 인에비블시키거나 디스에이블시키기 위한 지시자 대신에 또는 그것에 추가하여, 양자화 파라미터 값 QPPCM이 부호화된 비트스트림에 포함될 수 있다. 이 PCM 양자화 파라미터는 PCM 부호화 블록에 대한 디블로킹 필터의 조정을 위해 사용되는 양자화량을 나타낸다. PCM 양자화 파라미터는 PCM 부호화에 입력된 원래의 비디오 신호의 특성으로서 결정될 수 있다. 예를 들면, PCM 양자화 파라미터는 PCM 샘플의 비트 깊이에 의존할 수 있다.
디블로킹 또는 다른 필터링의 적응적인 선택을 가능하게 하도록, QPPCM이 최적화에 의해 인코더 (인코더가 원래의 비디오 신호를 알고 있기 때문에)에서 결정될 수 있다. 예를 들면, QPPCM의 상이한 값들이 테스트될 수 있고, 결과의 주관적인 비디오 품질이 평가된다. 최고의 주관적인 품질을 가져 오는 값이 QPPCM로서 취해진다. 주관적 비디오 품질 메트릭을 계산함으로써 주관적인 품질이 테스트될 수 있는 것에 주의한다. 주관적인 비디오 품질의 평가를 위해 정의된 다수의 상이한 메트릭이 존재한다. 일반적으로, 본 발명은 임의의 특정 메트릭에 의해 한정되지는 않는다.
또는, QPPCM이 평가될 수 있다. 인코더에서, 평균 제곱 오차가 PCM 부호화 블록에 대해서 측정된다. 그 다음, 동등한 양자화 파라미터가 평가되어, 변환 부호화가 사용되었으면, 동일한 평균 제곱 오차가 얻어진다. 이렇게 얻어진 동등한 QPPCM가 사용된다.
그러나, 파라미터 QPPCM를 얻는 상기의 예는 배타적이지 않으며, 본 발명의 목적을 위해서 PCM 부호화 블록에서 노이즈의 유무를 나타내는 파라미터가 사용될 수 있다.
도 11은 2개의 인접 블록을 나타내며, 이중 하나는 PCM 부호화 모드에 의해 부호화된 것이며, 다른 하나는 배경 기술부분에서 설명된 인트라 또는 인터 예측 모드와 같은 non-PCM 부호화 모드에 의해 부호화된 것이다. non-PCM 부호화 블록에 대해서, 양자화 파라미터가 일반적으로 신호화되며, 비가역 압축을 가능하게 하도록 변환된 예측 에러에 적용된다.
PCM 부호화 블록은 양자화되지 않는다. 오히려, 샘플은, 비트 깊이로 칭해지는 소정 수의 비트가 할당된다. 그러나, PCM 부호화 신호는 그 전에 양자화되었던 비디오 시퀀스에 기인하며, 양자화 노이즈 또는 다른 노이즈 또는 결함을 포함할 수 있다. 본 발명의 구성에 따라서, 디블로킹 필터링을 PCM 부호화 샘플에 적용하는 것이 "PCM 양자화 파라미터" QPPCM 및 non-PCM 블록의 양자화 파라미터의 함수로서 실행된다. 예를 들면, 평균 양자화 파라미터 QPAVE는 다음과 같이 계산될 수 있다.
Figure 112014001178927-pct00055
여기서, 동작 ">> 1"은 하나의 비트만큼 오른쪽으로 시프트하는 것을 나타낸다. 이 시프트는 2에 의한 정수 분할에 대응한다. 계산된 평균 양자화 파라미터 QPAVE에 따라서, 디블로킹 필터의 조정이 행해질 수 있다. 예를 들면, 디블로킹 필터가 PCM 부호화 블록에 적용되는지 아닌지가 판정될 수 있다. 이것은 평균 양자화 파라미터를 소정의 임계치와 비교하여 행해질 수 있다. 이 임계치는 비디오 시퀀스 내에서 신호화된 고정된 임계치 또는 적응적 임계치일 수 있다. 이 임계치는 테스트 이미지에 기초한 최적화 또는 미리 부호화된 이미지 신호에 기초한 최적화를 적용하여 얻어질 수 있다.
선택적으로 또는 추가적으로, 디블로킹 필터는 PCM 양자화 파라미터 및 인접 블록의 양자화 파라미터의 함수에 기초하여 선택될 수 있다. 특히, 적용된 디블로킹 필터의 세기(주파수 응답 및 필터 계수)가 선택될 수 있다. 선택적인 또는 추가적인 선택 기준으로서, 현재의 블록의 경계에서 어느 샘플 (몇 개의 샘플)이 필터링되는지가 결정될 수 있다.
PCM 양자화 파라미터 QPPCM는 예측 부호화를 사용하여 부호화될 수 있다. 예측은 예를 들면, 이전 부호화된 블록의 슬라이스 양자화 파라미터 또는 양자화 파라미터일 수 있다. QPPCM 부호화는 PCM 부호화 블록 또는 블록들에 기초하여 실행될 수 있으며, 비트 깊이가 부호화되어 송신될 수 있다(비트스트림에 삽입). 부호화된 PCM 양자화 파라미터는 슬라이스의 헤더, 픽처, 픽처 시퀀스 등에 삽입될 수 있다. 그러나, 적응 파라미터 세트 (APS: adaptation parameter set) 또는 PPS 또는 SPS와 같은 또 다른 파라미터 세트에 삽입될 수 있다.
PCM 양자화 파라미터 QPPCM는 PCM 부호화 블록의 비트 깊이에 기초하여 도출될 수 있다.
도 12는 본 발명의 일 실시예에 따라서 비디오 신호의 이미지의 샘플의 블록을 비트스트림으로 부호화하는 부호화 방법의 일예를 나타낸다. 특히, 입력 블록은 PCM을 사용하여 부호화된다(1210). 따라서, 각 샘플은 PCM 심볼로 표현된다. PCM 심볼은 예를 들면 8비트 샘플당 8비트의 고정된 비트 길이를 갖는 이진 심볼이다. 그러나, 샘플당 6, 7, 9, 10 등과 같이 임의의 다른 길이가 사용될 수 있다. PCM 부호화는 원래의 입력 이미지 신호의 비트 깊이의 증가 또는 감소를 수반할 수 있다. 입력 이미지 신호가 이미 원하는 비트 깊이이면, 더 이상의 동작이 필요하지 않다. 샘플의 PCM 부호화 블록은 필터링이 적용되어야 하는지 아닌지를 판정하기 위해 전달된다.
특히, 디블로킹 필터가 샘플의 PCM 부호화 블록에 적용되어야 하는지 아닌지 판단된다(1220). 1220에서 디블로킹 필터가 적용되어야 한다고 판단되면 (단계 1230에서 "예"), PCM 블록은 블록화 제거된다(1240). 1220에서 디블로킹 필터링이 적용되지 않는다고 판단되면 (단계 1230에서 "아니오"), 블록은 디블로킹 필터에 의해 필터링되지 않는다. 수직 및 수평으로 인접한 블록의 특성에 의존하여 수직 및 수평 필터링에 별개의 판단이 행해질 수 있다. 디블로킹 필터링의 가능한 적용과 판단이 행해진 후, 1250에서 디블로킹 필터와는 다른 제2 필터가 샘플의 현재의 블록에 적용되어야 하는지 판단된다. 제2 필터가 적용되어야 한다고 판단되면 (단계 1260에서 "예"), 제2 필터가 현재의 블록에 적용된다(1270). 제2 필터가 적용되지 않아야 한다고 판단되면 (단계 1260에서 "아니오"), 제2 유형의 필터가 적용되지 않는다(1270). 1220과 1250의 판단에 따라서, 2개의 지시자가 비트스트림에 삽입된다. 우선, 디블로킹 필터 지시자가, 디블로킹 필터가 적용되어야 하는지 아닌지의 판단 결과를 나타내는 비트스트림에 포함된다(1280). 그 다음, 제2 필터 지시자가, 제2 필터가 적용되어야 하는지 아닌지의 판단 결과를 나타내는 비트스트림에 포함된다(1290).
디블로킹 필터가 샘플의 PCM 부호화 블록에 적용되어야 하는가에 대한 판단은, 샘플의 블록에 인접한 블록이 펄스 부호 변조를 사용하여 부호화되는가 또는 예측/변환 부호화에 의해 부호화되는가를 판단하는 단계를 더 포함한다. 인접 블록이 예측 부호화에 의해 부호화될 때, 디블로킹 필터가 샘플의 블록에 적용된다고 판단된다. 그렇지 않은 경우에, 디블로킹 필터가 적용되지 않는다. 여기서, 예측 부호화를 적용하면, 인접 블록의 품질을 감소시키는, 즉 양자화 노이즈를 인접 블록에 들여 오는 양자화가 행해진다고 가정한다. 그러므로, 이러한 인접 블록에 대한 원래의 PCM 부호화 블록 경계가 더 가시화되어 블록 결함은 발생시키므로 블록이 해제되는 것이 바람직하다.
선택적으로 또는 추가적으로, 디블로킹 필터가 샘플의 블록에 적용되는지의 판단은, 샘플의 블록에 인접한 블록의 양자화 에러를 소정의 임계치와 비교하는 것에 기초하여 행해진다.
제2 필터가 샘플의 현재의 블록에 적용되는지의 판단은, PCM 부호화 현재의 블록에서 양자화 노이즈의 양을 판단하는 단계와, 판단된 양자화 노이즈의 양에 기초하여 제2 필터가 현재의 블록에 적용되는지를 판단하는 것을 포함한다. PCM 부호화 블록에서 양자화 노이즈는 예를 들면, 샘플의 PCM 부호화에 대해 사용된 비트 깊이에 기초하여 추정될 수 있다. 선택적으로 또는 추가적으로, 이 양자화 노이즈는 입력 이미지 신호의 예비 지식에 기초하여 추정될 수 있다. 예를 들면, 입력 이미지 신호는 이전의 양자화 후에 재구성된 신호일 수 있다. 이전의 양자화량을 알고 있는 경우에, 이전의 양자화량은 제2 필터가 적용되는지를 판단하기 위해 사용될 수 있다. 그러나, 양자화 노이즈의 양은 임의의 이용가능한 추정 또는 최적화 방법을 사용하여 추정될 수 있다.
제2 필터는 적응적 루프 필터 또는 적응적 샘플 오프셋 중 하나일 수 있다. 그러나, 다른 유형의 노이즈 억제 필터도 가능하다. 제2 필터가 적응적 루프 필터인 경우에, 대응하는 제2 지시자는 비트스트림에 삽입될 수 있다. 또한, 적응적 샘플 오프셋일 수 있는 제3 필터가 판단 후에 적용될 수 있으며, 대응하는 제3 지시자가 디블로킹 필터 및 적응적 루프 필터의 적용에 관한 지시자와는 별개로 독립적으로 비트스트림에 포함될 수 있다.
또는, 제2 필터 지시자는 ALF 및 SAO 모두가 샘플의 블록에 적용되는지 아닌지를 공통적으로 나타내는 이진 지시자일 수 있다. 이 지시자가 0의 값을 가지면, ALF와 SAO가 적용되지 않는다. 이 지시자가 1의 값을 가지면, ALF와 SAO가 모두 적용된다.
본 발명의 실시예에 따르면, 제2 필터가 샘플의 블록에 적용되는지를 판단하는 단계는 제2 필터가 디블로킹 필터링에 의해 변경가능한 블록의 샘플에 적용되는지를 판단하는 단계를 더 포함한다. 또한, 제2 필터가 디블로킹 필터링에 의해 변경가능하지 않은 블록의 샘플에 적용되는지를 판단하는 단계를 더 포함한다. 대응하는 지시자는 비트스트림에 포함된다. 특히, 변경가능한 샘플 지시자는, 제2 필터가 변경된 샘플에 적용되는지를 판단한 결과를 나타내는 비트스트림에 포함된다. 또한, 변경가능하지 않은 샘플 지시자는, 제2 필터가 변경가능하지 않은 샘플에 적용되는지를 판단한 결과를 나타내는 비트스트림에 포함된다. 본 실시예는 디블로킹 필터에 의해 변경된 샘플 및 디블로킹 필터에 의해 변경되지 않은 샘플을 공간적으로 분리하는 장점을 제공한다. 특히, 디블로킹 필터는 주관적인 이미지 품질을 개선하는 것을 목표로 한다. 그러나, 이것은 객관적인 이미지 품질, 즉, 오리지널 신호 및 필터 신호 사이의 픽셀-와이즈 차이를 악화시킨다. 디블록화된 샘플의 객관적인 품질을 개선하기 위해, 필터링을 샘플에 더 적용하는지 아닌지의 판정은, 디블로킹 필터에 의해 변경되지 않은 샘플에 필터링을 적용하는지 아닌지의 판정과는 별개로 행해진다.
디블로킹 필터에 의해 "변경가능한" 및/또는 "변경된"의 용어는, 여기서, 디블로킹 필터가 적용가능한 블록들 사이의 경계에 인접한 샘플들을 지칭한다. 일반적으로, 디블로킹 필터링은 경계에 가장 가까운 1, 2, 또는 3 샘플에만 적용가능하다. 디블로킹 필터링이 "변경가능한 샘플"에 실제로 적용되는지 아닌지에 상관없이, 상기 설명된 것과는 별개로, 또 다른 필터링을 인에이블시킬지 디스에이블시킬지의 판단이 행해질 수 있는 영역을 형성할 수 있다. 종래 기술로부터 알려진 디블로킹 필터의 판정 및 선택의 보다 상세한 내용을 이하에 설명한다. 본 발명은 블록의 변경가능 및 변경가능하지 않은 샘플을 분리하는 것에 한정되지 않는다. 또는, 실제로 변경된 샘플 및 변경되지 않은 샘플은 판정이 개별적으로 행해지는 별개의 영역을 형성할 수 있다.
제2 필터가 샘플의 블록에 적용되는지의 판정은 디블로킹 필터가 샘플의 블록에 적용되는지의 판정에 기초하여 행해질 수 있다. 유사하게, 제2 필터가 샘플의 블록에 적용되는지를 나타내는 지시자의 부호화는 디블로킹 필터가 샘플의 블록에 적용되는지를 나타내는 지시자에 대해서 예측할 수 있다.
도 13은 본 발명의 구성에 따른 비디오 신호의 이미지의 샘플의 블록을 복호화하는 방법을 도시하며, PCM 부호화 샘플의 비트스트림으로부터의 복호화는 비트스트림으로부터 디블로킹 필터가 샘플의 블록에 적용되는지를 나타내는 디블로킹 필터 지시자를 추출하는 단계(1310)와, 비트스트림으로부터 제2 필터가 샘플의 블록에 적용되는지를 나타내는, 디블로킹 필터 지시자와는 별개의 (다른) 제2 필터 지시자를 추출하는 단계(1320)를 포함한다. 디블로킹 필터 지시자가 디블로킹 필터링이 적용되는 것을 나타낼 때 (단계 1330에서 "예"), 디블로킹이 적용된다(1340). 그 다음, 제2 필터 지시자가 제2 필터링이 적용되는 것을 나타낼 때 (단계 1350에서 "예"), 제2 필터가 적용된다(1360). 각각의 지시자들이 각각의 필터가 적용되지 않는 것을 나타내면, 각각의 필터가 적용되지 않는다.
상기 서술된 인코더에 대응하여, 제2 필터 지시자는 적응적 루프 필터 및 적응적 샘플 오프셋 모두가 샘플의 블록에 적용되는지를 나타내거나 또는 비트스트림으로부터 추출된 2개의 상이한 지시자가 있을 수 있으며, 하나는 적응적 루프 필터가 샘플의 블록에 적용되는지를 나타내고, 다른 하나는 적응적 샘플 오프셋이 샘플의 블록에 적용되는지를 나타낸다. 선택적으로 또는 추가적으로, 변경가능한 샘플 지시자가 디블로킹 필터링에 의해 변경될 수 있었던 블록의 샘플들에 제2 필터가 적용되는지를 나타내기 위해 추출 및 사용될 수 있고, 및/또는 비변경 가능한 샘플 지시자가 디블로킹 필터링에 의해 변경될 수 없었던 블록의 샘플들에 제2 필터가 적용되는지를 나타낼 수 있다.
본 발명의 또 다른 구성에 따르면, 비트스트림의 비디오 신호의 이미지의 샘플의 블록을 복호화하는 방법이 제공되며, 샘플의 블록은 펄스-부호 변조, 및 PCM에 의해 부호화되고, 이 방법은 비트스트림으로부터 샘플의 블록의 노이즈량을 나타내는 PCM 양자화 파라미터를 추출하는 단계(1610), 추출된 PCM 양자화 파라미터에 기초하여 블록에 적용되는 디블로킹 필터를 선택하는 단계(1620), 및 선택된 디블로킹 필터를 샘플의 블록에 적용하는 단계(1640)를 포함한다.
복호화 방법의 일 예가 도 16a에 도시되어 있다. 특히, 비트스트림으로부터 "PCM 양자화 파라미터"가 추출된다(1610). 그 후, 추출된 PCM 양자화 파라미터 (QP_PCM)에 따라서 디블로킹 필터의 선택(1620)이 행해지며, 이 선택은 디블로킹 필터가 적용되는지 아닌지의 판단을 포함한다. 따라서, 디블로킹 필터링이 적용될 때 (단계 1630에서 "예"), 블록은 선택된 디블로킹 필터에 의해 필터링되고(1640), 그렇지 않은 경우에, 블록은 디블로킹되지 않는다.
유사하게, 비디오 신호의 이미지의 샘플의 블록을 펄스-부호 변조(PCM)에 의해 비트스트림으로 부호화하는 방법이 제공되고, 이 방법은 샘플의 블록의 노이즈량을 나타내는 PCM 양자화 파라미터를 결정하는 단계(1650), 추출된 PCM 양자화 파라미터에 기초하여 블록에 적용되는 디블로킹 필터를 선택하는 단계(1660), 선택된 디블로킹 필터를 샘플의 블록에 적용하는 단계(1670), 및 PCM 양자화 파라미터를 비트스트림에 포함시키는 단계(1680)를 포함한다. 이 방법은 도 16b의 순서도에 도시되어 있다.
디블로킹 필터를 선택하는 단계는 샘플의 블록에 인접한 블록에 적용되는 PCM 양자화 파라미터 및 양자화의 양 (또는 양자화 스텝 크기)의 함수를 소정의 임계치와 비교하는 것에 기초한다. 특히, PCM 양자화 파라미터의 함수와 인접한 블록에 관련된 양자화 파라미터를 비교하는 것에 기초한다.
이 함수는 평균일 수 있다. 그러나, 최소, 최대, 가중 평균 등과 같은 다른 함수도 가능하다.
디블로킹 필터를 선택하는 단계는 디블로킹 필터를 샘플의 블록에 적용할지 아닐지를 판단하는 단계를 포함할 수 있으며, 이 단계는 필터 선택과 동일한 방법으로 인코더 및 디코더 모두에서 행해질 수 있다.
선택적으로 또는 추가적으로, 디블로킹 필터를 선택하는 단계는 필터 통과 대역폭 (주파수 응답)의 선택 및/또는 필터가 적용되는 블록에서 샘플의 선택을 포함할 수 있다.
PCM 양자화 파라미터는 블록 샘플의 PCM 부호화의 비트 깊이에 기초할 수 있다. PCM 양자화 파라미터는 예측을 사용하여 및/또는 PCM 부호화 샘플의 비트 깊이에 기초하여 및/또는 엔트로피 코드에 의해 부호화될 수 있다. PCM 양자화 파라미터는 비트스트림내에서 픽처 헤더, 이미지 슬라이스 헤더, 샘플의 블록에 관련된 정보 또는 복수의 비디오 픽처에 관련된 부가 정보내에 삽입될 수 있다.
본 발명의 또 다른 구성에 따르면, 비트스트림으로부터 비디오 신호의 이미지의 샘플의 블록을 복호화하는 장치가 제공되며, 샘플의 블록은 펄스-부호 변조 및 PCM에 의해 부호화되고, 이 장치는 비트스트림으로부터 샘플의 블록의 노이즈량을 나타내는 PCM 양자화 파라미터를 추출하는 추출 유닛, 추출된 PCM 양자화 파라미터에 기초하여 블록에 적용되는 디블로킹 필터를 선택하는 필터 선택 유닛, 및 선택된 디블로킹 필터를 샘플의 블록에 적용하는 필터링 유닛을 포함한다.
본 발명의 또 다른 구성에 따르면, 비디오 신호의 이미지의 샘플의 블록을 펄스-부호 변조, 및 PCM에 의해 비트스트림으로 부호화하는 장치가 제공되고, 이 장치는 샘플의 블록의 노이즈량을 나타내는 PCM 양자화 파라미터를 결정하는 파라미터 결정 유닛, 추출된 PCM 양자화 파라미터에 기초하여 블록에 적용되는 디블로킹 필터를 선택하는 필터 선택 유닛, 선택된 디블로킹 필터를 샘플의 블록에 적용하는 필터링 유닛, 및 PCM 양자화 파라미터를 비트스트림에 포함시키는 임베딩 유닛을 포함한다.
필터 선택 유닛은 PCM 양자화 파라미터의 함수 및 인접 블록에 연관된 양자화 파라미터의 비교에 기초하여 디블로킹 필터를 선택하도록 구성될 수 있다. 필터 선택 유닛은 디블로킹 필터를 샘플의 블록에 적용할지 아닐지를 결정하도록 구성될 수 있다. 선택적으로 또는 부가적으로, 필터 선택 유닛은 필터의 세기 및/또는 필터가 적용되는 블록에서 샘플의 수 및 위치를 선택하도록 구성될 수 있다.
본 발명의 장치는 특별한 필터링 유닛 (인코더에서 디블로킹 필터링 유닛 150 및 디코더에서 디블로킹 필터링 유닛 250)을 변경하여 및/또는 ALF 및/또는 SAO 필터링 유닛을 변경하여 상기 서술된 것같이 판단, 선택 및 필터링을 허용하도록 실행될 수 있다.
파라미터 결정 유닛은 디블로킹 필터링 뒤 주관적인 품질을 최대로 하는 값으로서 또는 변환 부호화가 적용되었을 때 동일한 노이즈를 발생시키는 양자화 파라미터로서 PCM 양자화 파라미터를 추정하여 PCM 양자화 파라미터를 결정하도록 구성될 수 있다.
상기 서술된 것같이, PCM 양자화 파라미터에 따라서 디블로킹 필터의 결정 및/또는 선택이 행해질 수 있다. 본 발명의 또 다른 실시예에 따르면, 디블로킹 필터의 선택 및 결정은 PCM 부호화 블록이 관련된 경우 및 PCM 부호화 블록이 관련되지 않은 경우에 대해서 유사하게 행해질 수 있다. 특히, 도 15를 참고하면, 디블로킹 필터링이 유리할 수 있는 인접 블록 A 및 B에 대해서 기본적으로 3개의 가능성이 있다.
- 블록 A는 non-PCM 부호화 블록이고, 블록 B도 또한 non-PCM 부호화 블록이다. 이러한 경우에, 블록 A는 양자화 파라미터, 즉, 블록 A의 부호화에 적용된 양자화 파라미터 (QPA = QP(A))를 갖는 것을 특징으로 한다. 블록 B에도 동일하게 적용된다 (QPB=QP(B)).
- 블록 A는 non-PCM 부호화 블록이고, 블록 B는 PCM 부호화 블록이다 (또는 그 반대의 경우도 가능). 이 경우에, 블록 A는 양자화 파라미터 (QPA = QP(A))를 갖는 것을 특징으로 한다. 블록 B는 블록 B의 노이즈량을 나타내는 추정된 "PCM 양자화 파라미터" (QPB= QPPCM(B))를 갖는 것을 특징으로 한다.
- 블록 A 및 블록 B는 모두 PCM 부호화 블록이다. 이 경우에, 블록 A뿐 아니라 블록 B는 블록 A 및 블록 B의 각각의 노이즈량을 나타내는 각각의 추정된 "PCM 양자화 파라미터" QPA= QPPCM(A) 및 QPB= QPPCM(B)를 갖는 것을 특징으로 한다.
블록 A 및 B의 양자화 파라미터의 함수는 디블로킹 필터의 결정 및/또는 선택을 위해 사용될 수 있다. 예를 들면, 다음의 QPA 및 QPB의 함수가 실행될 수 있다.
Figure 112014001178927-pct00056
또는
Figure 112014001178927-pct00057
그러나, 일 예만이 제시되었으며, 다른 함수들이 적용될 수 있다.
도 14와 유사하게, 필터링을 전체 블록 A 및/또는 B에 적용할 것인지에 관해서 결정이 우선 행해질 수 있다. 예를 들면,
Figure 112014001178927-pct00058
이면,
디블로킹이 인에이블된다.
디블로킹 필터링이 블록 A 및/또는 B에 대해서 인에이블되면, 디블로킹 필터링을 블록의 특정 라인 (로우 또는 칼럼)에 적용할 것인지에 대해서 한 라인씩 결정된다.
Figure 112014001178927-pct00059
Figure 112014001178927-pct00060
일 때,
강한 필터링을 적용하기로 결정될 수 있다.
그렇지 않은 경우에, 특정 라인 i에 대해서 약한 필터링이 적용되거나 필터링이 적용되지 않는다.
상기 배경 기술에 도시된 것같이 강한 필터링이 행해질 수 있다. 상기 도시된 것같이, 즉,
Figure 112014001178927-pct00061
로서 델타 값이 또한 계산될 수 있다,
Figure 112014001178927-pct00062
일 때에만, 필터에 대해서 결정된다. 그렇지 않은 경우, 디블로킹 필터링이 행해지지 않는다. 필터링이 행해지면 (약한 디블로킹 필터링), 다음의 값 (delta1)이 계산되며,
Figure 112014001178927-pct00063
블록 A 및 B 모두에 가장 가까운 경계 픽셀은 다음과 같이 필터링된다:
Figure 112014001178927-pct00064
또한, 경계에 두 번째로 가까운 픽셀이 필터링되는지가 또한 판정된다.
Figure 112014001178927-pct00065
일 때 픽셀 p1이 필터링되며, 그렇지 않은 경우에, 디블로킹 필터에 의해 필터링되지 않는다.
Figure 112014001178927-pct00066
일 때 픽셀 q1이 필터링되며, 그렇지 않은 경우에, 디블로킹 필터에 의해 필터링되지 않는다. 필터링이 다음과 같이 행해진다.
Figure 112014001178927-pct00067
상기 방법은 PCM 부호화 블록 및 non-PCM 부호화 블록의 필터링이 동일한 방식으로 행해진다고 하는 장점을 가지며, 여기서 PCM 양자화 파라미터는 PCM 부호화 블록의 노이즈 특성을 나타내므로, non-PCM 블록의 양자화 파라미터와 동일한 방식으로 사용될 수 있다.
일반적으로, 디블로킹 필터링을 샘플의 블록에 적용할 것인지 아닌지를 나타내는 지시자는 블록/블록의 샘플에 대해서 디블로킹 필터를 인에이블시킬 것인지 디스에이블시킬 것인지 결정하기 위해 또한 사용될 수 있으므로, PCM 양자화 파라미터는 그 지시자인 것으로 고려될 수 있다.
상기 실시예들은 모두 블록 또는 부호화 유닛에 관한 것이다. 그러나, 본 기술 분야에서 숙련된 자에게 명백한 것같이, 본 발명은, HEVC에서 사용되는 블록 또는 부호화 유닛과 다른 형태(형상, 크기)의 이미지 영역에 적용될 수 있다.
각 실시예들에서 서술된 처리는, 각 실시예에 기재된 동화상 부호화 방법 (이미지 부호화 방법) 및 동화상 복호화 방법 (이미지 복호화 방법)의 구성을 구현하기 위한 프로그램을 기록 매체에 기록하여 개별 컴퓨터 시스템에서 간단히 실행될 수 있다. 기록 매체는 프로그램이 기록될 수 있으면, 자기 디스크, 광 디스크, 광자기 디스크, IC 카드 및 반도체 메모리와 같은 어떠한 기록 매체도 가능하다.
이후, 각 실시예에 기재된 동화상 부호화 방법 (이미지 부호화 방법) 및 동화상 복호화 방법 (이미지 복호화 방법)의 적용 및 이들을 이용한 시스템에 대해 설명한다. 시스템은 이미지 부호화 및 복호화 장치를 갖는 특징을 가지며, 이미지 부호화 장치는 이미지 부호화 방법을 사용하고, 이미지 복호화 장치는 이미지 복호화 방법을 사용한다. 시스템의 다른 구성은 경우에 따라서 적절히 변경될 수 있다.
(실시예 A)
도 17은 컨텐츠 분배 서비스를 실행하기 위한 컨텐츠 제공 시스템(ex100)의 전체 구성을 나타낸다. 통신 서비스를 제공하는 영역은 원하는 크기의 셀로 분할되며, 고정된 무선국인 기지국(ex106, ex107, ex108, ex109, 및 ex110)이 각 셀에 위치한다.
컨텐츠 제공 시스템(ex100)은 인터넷(ex101), ISP(internet service provider)(ex102), 전화망(ex104) 및 기지국(ex106 ~ ex110)을 통하여 컴퓨터(ex111), PDA(personal digital assistant)(ex112), 카메라(ex113), 휴대폰(ex114) 및 게임기(ex115) 등의 장치에 각각 연결된다.
그러나, 컨텐츠 제공 시스템(ex100)의 구성은 도 17에 도시된 구성에 제한되지 않고, 임의의 소자들이 연결된 조합이 가능하다. 또한, 각 장치는 고정된 무선국인 기지국(ex106 ~ ex110)을 통하기보다는 전화망(ex104)에 직접 연결될 수 있다. 또한, 장치는 단거리 무선 통신 등을 통해 서로 연결될 수 있다.
디지털 비디오 카메라와 같은 카메라(ex113)가 비디오를 캡쳐할 수 있다. 디지털 카메라 등의 카메라(ex116)는 정지 화상 및 비디오를 캡쳐할 수 있다. 또한, 휴대폰(ex114)은 GSM(Global System for Mobile Communications)(등록 상표), CDMA(Code Division Multiple Access), W-CDMA(Wideband-Code Division Multiple Access), LTE(Long Term Evolution), 및 HSPA(High Speed packet Access) 등의 표준 중 하나를 충족하는 것일 수 있다. 또는, 휴대폰(ex114)은 PHS(Personal Handyphone System)일 수 있다.
컨텐츠 제공 시스템(ex100)에서, 스트리밍 서버(ex103)는 전화망(ex104) 및 기지국(ex109)을 통하여 카메라(ex113) 등에 연결되어, 생방송의 이미지 등의 분배를 가능하게 한다. 이러한 분배에서, 사용자에 의해 카메라(ex113)를 사용하여 캡쳐된 컨텐츠(예를 들면, 생방송 음악쇼의 비디오)는 각 실시예에서 상기 서술된 것같이 부호화되며 (즉, 카메라는 본 발명의 구성에 따른 이미지 부호화 장치로서 기능함), 부호화 컨텐츠는 스트리밍 서버(ex103)로 전송된다. 한편, 스트리밍 서버(ex103)는 그 요구에 받으면 전송된 컨텐츠 데이터의 스트림 분배를 클라이언트에게 행한다. 클라이언트는, 상기 서술된 부호화 데이터를 복호화할 수 있는 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대폰(ex114), 및 게임기(ex115)를 포함한다. 분배된 데이터를 수신한 각각의 장치는 부호화 데이터를 복호화 및 재생한다(즉, 본 발명의 구성에서 이미지 복호화 장치로서 기능한다).
캡쳐된 데이터는 카메라(ex113) 또는 데이터를 전송하는 스트리밍 서버(ex103)에 의해 부호화되거나, 또는 부호화 처리가 카메라(ex113) 및 스트리밍 서버(ex103)의 사이에서 공유될 수 있다. 유사하게, 분배된 데이터는 클라이언트 또는 스트리밍 서버(ex103)에 의해 복호화될 수 있거나, 복호화 처리가 클라이언트 및 스트리밍 서버(ex103) 사이에서 공유될 수 있다. 또한, 카메라(ex113)뿐 아니라 카메라(ex116)에 의해서도 캡쳐된 정지 화상 및 비디오의 데이터가 컴퓨터(ex111)를 통하여 스트리밍 서버(ex103)에 전송될 수 있다. 부호화 처리는 카메라(ex116), 컴퓨터(ex111), 또는 스트리밍 서버(ex103)에 의해 실행되거나 그들 사이에서 공유될 수 있다.
또한, 부호화 및 복호화 처리는 컴퓨터(ex111) 및 장치의 각각에 일반적으로 포함되는 LSI(ex500)에 의해 실행될 수 있다. LSI(ex500)는 단일 칩 또는 복수의 칩으로 구성될 수 있다. 비디오를 부호화 및 복호화하기 위한 소프트웨어는, 컴퓨터(ex111) 등에 의해 판독가능한 일부 유형의 기록 매체(CD-ROM, 플렉서블 디스크 및 하드 디스크 등)에 통합될 수 있으며, 부호화 및 복호화 처리는 소프트웨어를 사용하여 실행될 수 있다. 또한, 휴대폰(ex114)이 카메라를 구비하는 경우, 카메라에 의해 획득된 비디오 데이터가 전송될 수 있다. 비디오 데이터는 휴대폰(ex114)에 포함되는 LSI(ex500)에 의해 부호화된 데이터이다.
또한, 스트리밍 서버(ex103)는 서버 및 컴퓨터로 구성될 수 있으며, 데이터를 분산시키고, 분산된 데이터를 처리하여 기록 또는 분배할 수 있다.
상기 서술된 것같이, 클라이언트는 부호화된 데이터를 컨텐츠 제공 시스템(ex100)에서 수신 및 재생할 수 있다. 즉, 클라이언트는 사용자에 의해 전송된 정보를 수신 및 복호화할 수 있고, 복호화된 데이터를 컨텐츠 제공 시스템(ex100)에서 실시간으로 재생할 수 있으므로, 특별한 권한 및 장비를 갖지 않은 사용자가 개인 방송을 구현할 수 있다.
컨텐츠 제공 시스템(ex100)의 예와 달리, 각각의 실시예에 기재된 동화상 부호화 장치(이미지 부호화 장치) 및 동화상 복호화 장치(이미지 복호화 장치) 중 적어도 하나가 도 18에 도시된 디지털 방송 시스템(ex200)에서 구현될 수 있다. 더 상세하게, 방송국(ex201)은 오디오 데이터 등을 비디오 데이터로 다중화하여 얻어진 다중화된 데이터를 전파를 통하여 방송국(ex202)과 통신하거나 또는 방송국(ex202)에 전송한다. 비디오 데이터는 각 실시예에 기재된 동화상 부호화 방법에 의해 부호화된 데이터(즉, 본 발명의 구성에 따른 이미지 부호화 장치에 의해 부호화된 데이터)이다. 다중화된 데이터를 수신하면, 방송 위성(ex202)은 방송용 전파를 송신한다. 그리고, 위성 방송 수신 기능을 갖는 가정용 안테나(ex204)는 전파를 수신한다. 다음에, 텔레비전(수신기)(ex300) 및 셋탑 박스(STB)(ex217) 등의 장치가 수신된 다중화된 데이터를 복호화하고, 복호화된 데이터를 재생한다 (즉, 본 발명의 구성에 따른 이미지 복호화 장치로서 기능한다).
또한, 리더/레코더(ex218)는 DVD 및 BD 등의 기록 매체(ex215) 상에 기록된 다중화된 데이터를 판독 및 복호화하거나, 기록 매체(ex215)에 있는 비디오 신호를 부호화하고, 어떠한 경우에, 부호화된 데이터 상의 오디오 데이터를 다중화하여 얻어진 데이터를 기록한다. 리더/레코더(ex218)는 각 실시예에 나타낸 것같이 동화상 복호화 장치 또는 동화상 부호화 장치를 포함할 수 있다. 이 경우에, 재생된 비디오 신호는 모니터(ex219) 상에 표시되고, 다중화된 데이터가 기록되어 있는 기록 매체(ex215)를 사용하는 다른 장치 또는 시스템에 의해 재생될 수 있다. 케이블 텔레비전용 케이블(ex203) 또는 위성 및/또는 지상파 방송용 안테나(ex204)에 연결된 셋탑 박스(ex217)에 동화상 복호화 장치를 구현하여, 텔레비전(ex300)의 모니터(ex219) 상에 비디오 신호를 표시한다. 동화상 복호화 장치는 셋탑 박스뿐 아니라 텔레비전(ex300)에도 구현될 수 있다.
도 19는 각 실시예에 기재된 동화상 부호화 방법 및 동화상 복호화 방법을 사용하는 텔레비전(수신기)(ex300)를 도시한다. 텔레비전(ex300)은 오디오 데이터를 비디오 데이터로 다중화하여 얻어진 다중화된 데이터를 방송을 수신하는 안테나(ex204) 또는 케이블(ex203) 등을 통하여 획득 또는 제공하는 튜너(ex301), 수신된 다중화된 데이터를 복조하거나 또는 데이터를 외부로 공급되는 다중화된 데이터로 변조하는 변조/복조 유닛(ex302), 및 변조된 다중화된 데이터를 비디오 데이터 및 오디오 데이터로 역다중화하거나, 또는 신호 처리 유닛(ex306)에 의해 부호화된 비디오 데이터 및 오디오 데이터를 데이터로 다중화하는 다중화/역다중화 유닛(ex303)을 포함한다.
텔레비전(ex300)은 각각 오디오 데이터 및 비디오 데이터를 복호화하고 오디오 데이터 및 비디오 데이터를 부호화하는 오디오 신호 처리 유닛(ex304) 및 비디오 신호 처리 유닛(ex305) (본 발명의 구성에 따른 이미지 부호화 장치 및 이미지 복호화 장치로서 기능) 신호 처리 유닛(ex306) 및 복호화된 오디오 신호를 제공하는 스피커(ex307) 및 복호화된 비디오 신호를 표시하는, 디스플레이 등의 디스플레이 유닛(ex308)을 포함하는 출력 유닛(ex309) 더 포함한다. 또한, 텔레비전(ex300)은 사용자 조작의 입력을 받는 조작 입력 유닛(ex312)을 포함하는 인터페이스 유닛(ex317)을 포함한다. 또한, 텔레비전(ex300)은 텔레비전(ex300)의 전체 각 구성 소자를 제어하는 제어 유닛(ex310) 및 각 소자에 전력을 공급하는 전력 공급 회로 유닛(ex311)을 포함한다. 조작 입력 유닛(ex312)과 달리, 인터페이스 유닛(ex317)은 리더/레코더(ex218) 등의 외부 장치에 연결된 브리지(ex313), SD 카드 등의 기록 매체(ex216)의 부착을 가능하게 할 수 있는 슬롯 유닛(ex314), 및 하드 디스크 등의 외부 기록 매체에 연결되는 드라이버(ex315) 및 전화망에 연결되는 모뎀(ex316)을 포함할 수 있다. 여기서, 기록 매체(ex216)는 저장용 비휘발성/휘발성 반도체 메모리 소자를 사용하여 정보를 전기적으로 기록할 수 있다. 텔레비전(ex300)의 구성 소자는 동기 버스를 통해 서로 연결된다.
우선, 텔레비전(ex300)이 안테나(ex204) 등을 통해 외부로부터 얻어진 다중화된 데이터를 복호화하고 복호화된 데이터를 재생하는 구성을 설명한다. 텔레비전(ex300)에서, 리모트 컨트롤러(ex220) 등을 통한 사용자 조작이 있으면, CPU를 포함하는 제어 유닛(ex310)의 제어 하에서 다중화/역다중화 유닛(ex303)은 변조/복조 유닛(ex302)에 의해 복조된 다중화된 데이터를 역다중화한다. 또한, 텔레비전(ex300)에서, 각 실시예에 기재된 복호화 방법을 사용하여, 오디오 신호 처리 유닛(ex304)은 역다중화된 오디오 데이터를 복호화하고, 비디오 신호 처리 유닛(ex305)은 역다중화된 비디오 데이터를 복호화한다. 출력 유닛(ex309)은 복호화된 비디오 신호 및 오디오 신호를 각각 외부에 제공한다. 출력 유닛(ex309)이 비디오 신호 및 오디오 신호를 제공할 때, 신호가 버퍼(ex318 및 ex319) 등에 저장되므로, 신호는 서로 동기하여 재생된다. 또한, 텔레비전(ex300)은 다중화된 데이터를 방송 등을 통해서뿐 아니라 자기 디스크, 광 디스크 및 SD 카드 등의 기록 매체(ex215 및 ex216)로부터도 판독한다. 다음에, 텔레비전(ex300)이 오디오 신호 및 비디오 신호를 부호화하여 외부로 데이터를 전송하고 기록 매체에 데이터를 기록하는 구성을 설명한다. 텔레비전(ex300)에서, 리모트 컨트롤러(ex220) 등을 통한 사용자 조작이 있으면, 각 실시예에서 설명된 부호화 방법을 사용하는 제어 유닛(ex310)의 제어 하에서, 오디오 신호 처리 유닛(ex304)은 오디오 신호를 부호화하고, 비디오 신호 처리 유닛(ex305)은 비디오 신호를 부호화한다. 다중화/역다중화 유닛(ex303)은 부호화된 비디오 신호 및 오디오 신호를 다중화하여, 결과의 신호를 외부에 제공한다. 다중화/역다중화 유닛(ex303)이 비디오 신호 및 오디오 신호를 다중화할 때, 신호는 버퍼(ex320 및 ex321) 등에 임시적으로 저장되므로, 신호는 서로 동기하여 재생된다. 여기서, 버퍼(ex318, ex319, ex320, 및 ex321)는 도시된 것같이, 복수 또는 적어도 하나의 버퍼가 텔레비전(ex300)에서 공유될 수 있다. 또한, 데이터가 버퍼에 저장될 수 있으므로, 예를 들면, 변조/복조 유닛(ex302) 및 다중화/역다중화 유닛(ex303) 사이에서 시스템 오버플로우 및 언더플로우가 방지될 수 있다.
또한, 텔레비전(ex300)은 방송 또는 기록 매체로부터 오디오 및 비디오 데이터를 얻는 구성 이외에도 마이크 또는 카메라로부터 AV입력을 받는 구성을 포함할 수 있으며, 얻어진 데이터를 부호화할 수 있다. 상기 설명에서 텔레비전(ex300)은 데이터를 부호화 및 다중화하여 외부에 제공하지만, 텔레비전(ex300)은 데이터를 부호화 및 다중화하여 외부에 제공할 뿐 아니라 데이터를 수신 및 복호화하여 외부에 제공할 수도 있다.
또한, 리더/레코더(ex218)가 다중화된 데이터를 기록매체로부터 판독하거나 또는 기록 매체에 기록할 때, 텔레비전(ex300) 및 리더/레코더(ex218) 중 하나가 다중화된 데이터를 복호화 또는 부호화할 수 있고, 텔레비전(ex300) 및 리더/레코더(ex218)가 복호화 또는 부호화를 공유할 수 있다.
일 예로서, 도 20은 데이터가 광디스크로부터 판독되거나 또는 광디스크에 기록될 때 정보 재생/기록 유닛(ex400)의 구성을 도시한다. 정보 재생/기록 유닛(ex400)은 이후 설명할 구성 소자(ex401, ex402, ex403, ex404, ex405, ex406, 및 ex407)를 포함한다. 광디스크(ex401)는 정보를 기록하기 위해 광디스크인 기록 매체(ex215)의 기록 면에 레이저 스폿을 조사하고, 정보를 판독하기 위해 기록 매체(ex215)의 기록 면으로부터 반사된 광을 검출한다.
변조 기록 유닛(ex402)은 광 헤드(ex401)에 포함된 반도체 레이저를 전기적으로 구동하여, 기록된 데이터에 따라서 레이저 광을 변조한다. 재생 복조 유닛(ex403)은 광 헤드(ex401)에 포함된 광 검출기를 사용하여 기록면으로부터 반사된 광을 전기적으로 검출하여 얻어진 재생 신호를 증폭하고, 기록 매체(ex215)에 기록된 신호 성분을 분리하여 재생 신호를 복조하여 필요한 정보를 재생한다. 버퍼(ex404)는 기록 매체(ex215) 상에 기록되는 정보 및 기록 매체(ex215)로부터 재생된 정보를 임시적으로 보유한다. 디스크 모터(ex405)는 기록 매체(ex215)를 회전시킨다. 서보 제어 유닛(ex406)은 레이저 스폿을 따르도록 디스크 모터(ex405)의 회전 구동을 제어하면서 소정의 정보 트랙으로 광 헤드(ex401)를 이동시킨다. 시스템 제어 유닛(ex407)은 정보 재생/기록 유닛(ex400)을 전체 제어한다. 판독 및 기록 처리는 버퍼(ex404)에 저장된 다양한 정보를 사용하여 필요에 따라서 새로운 정보를 생성하거나 추가하는 시스템 제어 유닛(ex407)에 의해 또는 협력하여 동작되면서 광 헤드(ex401)를 통해서 정보를 기록 및 재생하는 변조 기록 유닛(ex402), 재생 복조 유닛(ex403), 및 서보 제어 유닛(ex406)에 의해 구현될 수 있다. 시스템 제어 유닛(ex407)은 예를 들면, 마이크로프로세서를 포함하며, 컴퓨터가 판독 및 기록용 프로그램을 실행하여 처리를 행한다.
상기 설명에서 광 헤드(ex401)는 레이저 스폿을 조사하지만, 근접장(near field) 광을 사용하여 고밀도 기록을 행할 수 있다.
도 21은 광 디스크인 기록 매체(ex215)를 도시한다. 기록 매체(ex215)의 기록 면위에, 안내 홈이 나선형으로 형성되고, 정보 트랙(ex230)은 안내 홈의 형상의 변화에 따라 디스크 상의 절대 위치를 나타내는 어드레스 정보를 미리 기록한다. 어드레스 정보는 데이터를 기록하는 유닛인 기록 블록(ex231)의 위치를 결정하기 위한 정보를 포함한다. 데이터를 기록 및 재생하는 장치에서 정보 트랙(ex230)을 재생하고 어드레스 정보를 판독하여, 기록 블록의 위치를 결정할 수 있다. 또한, 기록 매체(ex215)는 데이터 기록 영역(ex233), 내주 영역(ex232), 및 외주 영역(ex234)을 포함한다. 데이터 기록 영역(ex233)은 사용자 데이터를 기록하는데 사용하는 영역이다. 데이터 기록 영역(ex233)의 내부 및 외부인 내주 영역(ex232) 및 외주 영역(ex234)은 각각 사용자 데이터의 기록을 제외한 특정 사용을 위한 것이다. 정보 재생/기록 유닛(400)은 부호화된 오디오, 부호화된 비디오 데이터, 또는 부호화된 오디오 및 비디오 데이터를 기록 매체(ex215)의 데이터 기록 영역(ex233)으로부터 및 데이터 기록 영역(ex233)에 다중화하여 얻어진 다중화된 데이터를 판독 및 기록한다.
상기 설명에서는 DVD 및 BD와 같이, 일층을 갖는 광 디스크를 예로서 설명하였지만, 광디스크는 이것에 제한되는 것이 아니며, 다층 구조를 가지며 표면 이외의 부분에 기록될 수 있는 광디스크일 수 있다. 또한, 광디스크는 광 디스크의 동일한 부분에 상이한 파장을 갖는 칼라의 광을 사용한 정보의 기록과 같이 다차원 기록/재생을 위한 구조 및 다양한 각도로부터 상이한 층을 갖는 정보를 기록하는 구조를 가질 수 있다.
또한, 안테나(ex205)를 갖는 자동차(ex210)는 위성(ex202) 등으로부터 데이터를 수신할 수 있고, 디지털 방송 시스템(ex200)에서, 자동차(ex210)에 설치된 카 네비게이션 시스템(ex211)과 같이 디스플레이 장치에 비디오를 재생한다. 여기서, 카 네비게이션 시스템(ex211)의 구성은 예를 들면, 도 19에 도시된 구성에 GPS 수신 유닛을 포함하는 구성이 된다. 컴퓨터(ex111), 휴대폰(ex114) 등의 구성에 대해서도 동일하게 적용된다.
도 22a는 실시예들에 설명된 동화상 부호화 방법 및 동화상 복호화 방법을 사용하는 휴대폰(ex114)을 도시한다. 휴대폰(ex114)은 기지국(ex110)을 통해서 전파를 송수신하는 안테나(ex350), 움직이는 이미지 및 정지 화상을 캡쳐할 수 있는 카메라 유닛(ex365), 및 카메라 유닛(ex365)에 의해 캡쳐되거나 또는 안테나(ex350)에 의해 수신된 복호화된 비디오와 같은 데이터를 디스플레이하는 액정 디스플레이와 같은 디스플레이 유닛(ex358)을 포함한다. 휴대폰(ex114)은 조작 키 유닛(ex366)을 포함하는 본체 유닛, 오디오의 출력을 위한 스피커와 같은 오디오 출력 유닛(ex357), 오디오의 입력을 위한 마이크와 같은 오디오 입력 유닛(ex356), 캡쳐된 비디오 또는 정지 픽처, 기록된 오디오, 수신된 비디오의 부호화된 또는 복호화된 데이터, 이메일 등을 저장하는 저장 유닛(ex367), 및 저장 유닛(ex367)과 동일한 방식으로 데이터를 저장하는 기록 매체용 인터페이스 유닛인 슬롯 유닛(ex364)을 더 포함한다.
다음에, 휴대폰(ex114)의 구성예를 도 22b를 참조하여 설명한다. 휴대폰(ex114)에서, 디스플레이 유닛(ex358)뿐 아니라 조작키 유닛(ex366)을 포함하는 본체의 각 유닛의 전체를 제어하도록 설계된 본체 제어 유닛(ex360)은 동기 버스(ex370)를 통해, 전원 회로 유닛(ex361), 조작 입력 제어 유닛(ex362), 비디오 신호 처리 유닛(ex355), 카메라 인터페이스 유닛(ex363), 액정 디스플레이(LCD) 제어 유닛(ex359), 변조/복조 유닛(ex352), 다중화/역다중화 유닛(ex353), 오디오 신호 처리 유닛(ex354), 슬롯 유닛(ex364), 및 저장 유닛(ex367)에 상호 연결된다.
전화 종료 키 또는 전원 키가 사용자의 조작에 의해 온으로 될 때, 전원 공급 회로 유닛(ex361)은 각 유닛에 배터리 팩으로부터 전원을 공급하여 휴대폰(ex114)을 기동시킨다.
휴대폰(ex114)에서, 오디오 신호 처리 유닛(ex354)은, CPU, ROM, 및 RAM을 포함하는 주제어 유닛(ex360)의 제어하에서, 음성 통화 모드에서, 오디오 입력 유닛(ex356)에 의해 집음된 오디오 신호를 디지털 오디오 신호로 변환한다. 변조/복조 유닛(ex352)은 디지털 오디오 신호에 스펙트럼 확산 처리를 행하고, 송수신 유닛(ex351)은 데이터에 디지털-아날로그 변환 및 주파수 변화를 행하여, 결과의 데이터를 안테나(ex350)를 통해 전송한다. 또한, 휴대폰(ex114)에서, 송수신 유닛(ex351)은 음성 통화 모드에서 안테나(ex350)에 의해 수신된 데이터를 증폭하고, 그 데이터에 주파수 변환 및 아날로그-디지털 변환을 행한다. 그 다음, 변조/복조 유닛(ex352)은 데이터에 역스펙트럼 확산 처리를 행하고, 오디오 신호 처리 유닛(ex354)은 이 데이터를 아날로그 오디오 신호로 변환하여, 오디오 출력 유닛(ex357)을 통해 출력한다.
또한, 데이터 통신 모드에서 이메일이 전송될 때, 본체의 조작키 유닛(ex366) 등을 조작하여 입력된 이메일의 텍스트 데이터가 조작 입력 제어 유닛(ex362)을 통해서 주제어 유닛(ex360)으로 송신된다. 주제어 유닛(ex360)은 변조/복조 유닛(ex352)이 텍스트 데이터에 스펙트럼 확산 처리를 행하게 하고, 송수신 유닛(ex351)은 결과의 데이터에 디지털-아날로그 변환 및 주파수 변환을 행하여 그 데이터를 안테나(ex350)를 통하여 기지국(ex110)으로 송신한다. 이메일이 수신될 때, 이메일을 송신하는 처리의 거의 반대의 처리가 수신된 데이터에 대해 행해지고, 결과의 데이터가 디스플레이 유닛(ex358)에 공급된다.
데이터 통신 모드에서 비디오, 정지 화상, 또는 비디오 및 오디오가 송신될 때, 비디오 신호 처리 유닛(ex355)은 각 실시예에 기재된 동화상 부호화 방법을 사용하여 카메라 유닛(ex365)으로부터 공급된 비디오 신호를 압축 및 부호화하고(즉, 본 발명의 구성에 따른 이미지 부호화 장치로서 기능), 부호화된 비디오 데이터를 다중화/역다중화 유닛(ex353)에 전송한다. 이에 대해, 카메라 유닛(ex365)이 비디오, 정지 화상 등을 캡쳐하는 동안, 오디오 신호 처리 유닛(ex354)은 오디오 입력 유닛(ex356)에 의해 집음된 오디오 신호를 부호화하여, 부호화된 오디오 데이터를 다중화/역다중화 유닛(ex353)을 전송한다.
다중화/역다중화 유닛(ex353)은 비디오 신호 처리 유닛(ex355)으로부터 공급된 부호화된 비디오 데이터 및 오디오 신호 처리 유닛(ex354)으로부터 공급된 부호화된 오디오 데이터를 소정의 방법을 사용하여 다중화한다. 변조/복조 유닛 (변조/복조 회로 유닛)(ex352)은 다중화된 데이터에 스펙트럼 확산 처리를 행하고, 수신 유닛(ex351)은 데이터에 디지털-아날로그 변환 및 주파수 변환을 행하여 결과의 데이터를 안테나(ex350)를 통해 전송한다.
데이터 통신 모드에서 웹 페이지(Web page) 등에 링크되어 있는 비디오 파일의 데이터를 수신할 때 또는 비디오 및/또는 오디오가 첨부된 이메일을 수신할 때, 안테나(ex350)를 통해서 수신된 다중화된 데이터를 복호화하도록, 다중화/역다중화 유닛(ex353)은 다중화된 데이터를 비디오 데이터 비트스트림 및 오디오 데이터 비트스트림을 역다중화하여, 동기 버스(ex370)를 통해서 비디오 신호 처리 유닛(ex355)에 부호화된 비디오 데이터를 공급하고, 오디오 신호 처리 유닛(ex354)에 부호화된 오디오 데이터를 공급한다. 비디오 신호 처리 유닛(ex355)은 각 실시예에 기재된 동화상 부호화 방법에 대응하는 동화상 복호화 방법을 사용하여 비디오 신호를 복호화하고, (즉, 본 발명의 구성에 따라서 이미지 복호화 장치로 기능), 디스플레이 유닛(ex358)은 LCD 제어 유닛(ex359)을 통해서 예를 들면, 웹 페이지에 링크된 비디오 파일에 포함된 비디오 및 정지 화상를 표시한다. 또한, 오디오 신호 처리 유닛(ex354)은 오디오 신호를 복호화하고, 오디오 출력 유닛(ex357)은 오디오를 제공한다.
또한, 텔레비전(ex300)과 유사하게, 휴대폰(ex114)과 같은 단말은, (i) 부호화 장치 및 복호화 장치 모두를 포함하는 송수신 단말뿐 아니라, (ii) 부호화 장치만을 포함하는 수신 단말 및 (iii) 복호화 장치만을 포함하는 수신 단말도 포함하는 3가지 유형의 실현 구성을 가질 수 있다. 상기 설명에서 디지털 방송 시스템(ex200)은 오디오 데이터를 비디오 데이터로 다중화하여 얻어진 다중화된 데이터를 송수신하지만, 다중화된 데이터는 오디오 데이터뿐 아니라 비디오에 관련된 캐릭터 데이터를 비디오 데이터로 다중화하여 얻어진 데이터, 및 다중화된 데이터뿐 아니라 비디오 데이터 자신일 수도 있다.
이와 같이, 각 실시예의 동화상 부호화 방법 및 동화상 복호화 방법을 서술된 장치 및 시스템 중 하나에서 사용될 수 있다. 그래서, 각 실시예에 기재된 장점이 얻어질 수 있다.
또한, 본 발명은 상기 실시예들에 한정되는 것이 아니라, 본 발명의 범위를 벗어나지 않는 한 다양한 변경과 수정이 행해질 수 있다.
(실시예 B)
(i) 각 실시예에 기재된 동화상 부호화 방법 또는 동화상 부호화 장치 및 (ii) MPEG-2, MPEG-4 AVC, 및 VC-1 등의 상이한 표준에 따른 동화상 부호화 방법 또는 동화상 부호화 장치 사이의 필요에 따른 스위칭에 의해 비디오 데이터가 생성될 수 있다.
여기서, 상이한 표준을 따르는 복수의 비디오 데이터가 복호화될 때, 복호화 방법은 그 상이한 표준에 따르도록 선택된다. 그러나, 복호화되는 복수의 비디오 데이터의 각각이 어느 표준을 따르는지 검출될 수 없으므로, 적절한 복호화 방법이 선택될 수 없다고 하는 문제가 있다.
상기 문제를 해결하기 위해서, 오디오 데이터 등을 비디오 데이터로 다중화하여 얻어진 다중화된 데이터는 비디오 데이터가 어느 표준을 따르는가를 나타내는 식별 정보를 포함하는 구조를 갖는다. 각 실시예에 설명된 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 비디오 데이터를 포함하는 다중화된 데이터의 특정 구조를 이후 설명한다. 다중화된 데이터는 MPEG-2 트랜스포트 스트림 포맷의 디지털 스트림이다.
도 23은 다중화된 데이터의 구조를 도시한다. 도 23에 도시된 것같이, 다중화된 데이터는 비디오 스트림, 오디오 스트림, 프리젠테이션 그래픽 스트림(PG), 및 인터랙티브 그래픽 스트림 중 적어도 하나를 다중화하여 얻어진다. 비디오 스트림은 영화의 프라이머리 비디오 및 세컨더리 비디오를 표시하고, 오디오 스트림(IG)은 프라이머리 오디오 부분과 이 프라이머리 오디오 부분과 혼합되는 세컨더리 오디오 부분을 표시하고, 프리젠테이션 그래픽 스트림은 영화의 자막을 표시한다. 여기서, 프라이머리 비디오는 스크린에 표시되는 통상의 비디오이며, 세컨더리 비디오는 프라이머리 비디오의 더 작은 창에 표시되는 비디오이다. 또한, 인터랙티브 그래픽 스트림은 스크린 상의 GUI 성분들을 배열하여 생성되는 인터랙티브 스크린을 표시한다. 비디오 스트림은 각 실시예에 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해, 또는 MPEG-2, MPEG-4 AVC, 및 VC-1와 같은 종래의 표준에 따른 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 부호화된다. 오디오 스트림은 Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD, 및 선형(linear) PCM과 같은 표준에 따라서 부호화된다.
다중화된 데이터에 포함된 각 스트림은 PID에 의해 식별된다. 예를 들면, 0x1011는 영화의 비디오에 대해서 사용되는 비디오 스트림에 할당되고, 0x1100 ~ 0x111F는 오디오 스트림에 할당되고, 0x1200 ~ 0x121F는 프리젠테이션 그래픽 스트림에 할당되고, 0x1400 ~ 0x141F는 인터랙티브 그래픽 스트림에 할당되고, 0x1B00 ~ 0x1B1F는 영화의 세컨더리 비디오에 대해서 사용되는 비디오 스트림에 할당되고, 0x1A00 ~ 0x1A1F는 프라이머리 오디오에 믹스되는 세컨더리 오디오에 대해서 사용되는 오디오 스트림에 할당된다.
도 24는 데이터가 다중화되는 방법을 개략적으로 도시한다. 우선, 비디오 프레임으로 구성된 비디오 스트림(ex235)과 오디오 프레임으로 구성된 오디오 스트림(ex238)이 PES 패킷(ex236)과 PES 패킷(ex239), 및 TS 패킷(ex237)과 TS 패킷(ex240)의 스트림으로 각각 변환된다. 유사하게, 프리젠테이션 그래픽 스트림(ex241)의 데이터 및 인터랙티브 그래픽 스트림(ex244)의 데이터는 PES 패킷(ex242)의 스트림과 PES 패킷(ex245)의 스트림, 및 TS 패킷(ex243)과 TS 패킷(ex246)으로 각각 변환된다. 이들 TS 패킷은 스트림으로 다중화되므로 다중화된 데이터(ex247)를 얻을 수 있다.
도 25는 비디오 스트림이 PES 패킷의 스트림에 저장되는 방법을 더욱 상세히 도시한다. 도 25의 첫번째 바(bar)는 비디오 스트림에서 비디오 프레임 스트림을 나타낸다. 두 번째 바는 PES 패킷의 스트림을 나타낸다. 도 25에 yy1, yy2, yy3, 및 yy4로 명시된 화살표로 표시한 것같이, 비디오 스트림은, 각각 비디오 프리젠테이션 유닛인 I 픽처, B 픽처, 및 P 픽처의 픽처로 분할되며, 픽처는 각 PES 패킷의 페이로드에 저장된다. 각 PES 패킷은 PES 헤더를 가지고, PES 헤더는 픽처의 표시 시간을 나타내는 PTS(Presentation Time-Stamp) 및 픽처의 복호화 시간을 나타내는 DTS(Decoding Time-Stamp)를 저장한다.
도 26는 다중화된 데이터에 최종적으로 기록되는 TS 패킷의 포맷을 도시한다. 각각의 TS 패킷은 스트림을 식별하기 위한 PID와 같은 정보를 갖는 4-바이트 TS 헤더를 포함하는 188-바이트 고정 길이 패킷, 및 데이터를 저장하기 위한 184-바이트 TS 페이로드이다. PES 패킷은 분할되어 각각 TS 페이로드에 저장된다. BD ROM이 사용될 때, 각각의 TS 패킷에 4-바이트 TP_Extra_Header가 주어지므로, 192-바이트 소스 패킷이 된다. 소스 패킷은 다중화된 데이터에 기록된다. TP_Extra_Header는 ATS(Arrival_Time_Stamp) 등의 정보를 저장한다. ATS는 각각의 패킷이 PID 필터로 전송되는 전송 개시 시간을 나타낸다. 도 26의 아래에 도시된 같이 다중화된 데이터에 소스 패킷이 배치된다. 다중화된 데이터의 헤드로부터 증가하는 숫자는 SPN(source packet numbers)로 불린다.
다중화된 데이터에 포함되는 각각은 TS 패킷은 오디오, 비디오, 자막 등의 스트림뿐 아니라 PAT(Program Association Table), PMT(Program Map Table), 및 PCR(Program Clock Reference)을 포함한다. PAT는 다중화된 데이터에서 사용된 PMT에서 PID가 표시하는 것을 나타내며, PAT 자신의 PID는 0으로 등록되어 있다. PMT는 다중화된 데이터에 포함된 비디오, 오디오, 자막 등의 스트림의 PID, 및 그 PID에 대응하는 스트림의 속성 정보를 저장한다. PMT는 또한 다중화된 데이터에 관한 다양한 디스크립터를 갖는다. 디스크립터는 다중화된 데이터의 복사가 허용되는지 아닌지를 나타내는 복사 제어 정보 등의 정보를 갖는다. ATS의 시간축인 ATC(Arrival Time Clock)와 PTS 및 DTS의 시간축인 STC(System Time Clock) 사이의 동기를 얻기 위해 PCR는 디코더로 전송되는 시간을 나타내는 ATS에 대응하는 STC 시간 정보를 저장한다.
도 27는 PMT의 데이터 구조를 상세하게 도시한다. PMT 헤더는 PMT의 가장 위에 배치된다. PMT 헤더에 PMT에 포함된 데이터의 길이 등이 기재된다. 다중화된 데이터에 관한 복수의 디스크립터는 PMT 헤더 다음에 배치된다. 복사 제어 정보 등의 정보가 디스크립터에 기재된다. 디스크립터의 다음에, 다중화된 데이터에 포함된 스트림에 관한 복수의 스트림 정보가 배치된다. 각각의 스트림 정보는 각각 스트림의 압축 코덱을 식별하기 위한 스트림 유형, 스트림 PID, 및 스트림 속성 정보(프레임 레이트 또는 애스팩트비) 등의 정보를 나타내는 스트림 디스크릅터를 포함한다. 스트림 디스크립터의 수는 다중화된 데이터의 스트림의 수와 같다.
다중화된 데이터가 기록 매체 등에 기록될 때, 다중화된 데이터 정보 파일도 함께 기록된다.
각각의 다중화된 데이터 정보 파일은 도 28에 도시된 다중화된 데이터의 관리 정보이다. 다중화된 데이터 정보 파일은 다중화된 데이터에 따르는 것이며, 각 파일은 다중화된 데이터 정보, 스트림 속성 정보, 및 엔트리 맵을 포함한다.
도 28에 도시된 것같이, 다중화된 데이터 정보는 시스템 레이트, 재생 개시 시각 및 재생 종료 시각을 포함한다. 시스템 레이트는 아래에 설명할 시스템 대상 디코더가 다중화된 데이터를 PID 필터에 전송하는 최대 전송률을 나타낸다. 다중화된 데이터에 포함된 ATS의 간격이 시스템 레이트보다 높지 않게 설정된다. 재생 개시 시각은 다중화된 데이터의 헤드에서 비디오 프레임의 PTS를 나타낸다. 프레임의 간격이 다중화된 데이터의 끝부분에서 비디오 프레임의 PTS에 추가되며, PTS는 재생 종료 시각으로 설정된다.
도 29에 도시된 것같이, 하나의 속성 정보가 다중화된 데이터에 포함된 각 스트림의 각 PID 별로, 스트림 속성 정보에 등록되어 있다. 각 속성 정보는 대응 스트림이 비디오 스트림인지 오디오 스트림인지, 프리젠테이션 그래픽 스트림인지, 또는 인터랙티브 그래픽 스트림인지에 따라서 상이한 정보를 갖는다. 각 비디오 스트림 속성 정보는 비디오 스트림을 압축하기 위해 사용되는 압축 코덱의 종류, 비디오 스트림에 포함된 픽처 데이터의 해상도, 애스팩트 비, 및 프레임 레이트를 포함하는 정보를 갖는다. 각 오디오 스트림 속성 정보는 오디오 스트림을 압축하기 위해 사용되는 압축 코덱의 종류, 오디오 스트림에 포함된 채널 수, 오디오 스트림이 지원하는 언어 및 샘플링 주파수의 높이를 포함하는 정보를 갖는다. 비디오 스트림 속성 정보 및 오디오 스트림 속성 정보는 플레이어가 정보를 재생하기 전에 디코더를 초기화하기 위해 사용된다.
본 실시예에서, 사용되는 다중화된 데이터는 PMT에 포함된 스트림 유형이다. 또한, 다중화된 데이터가 기록 매체 상에 기록될 때, 다중화된 데이터 정보에 포함된 비디오 스트림 속성 정보가 사용된다. 보다 구체적으로, 각 실시예에 기재된 동화상 부호화 방법 또는 동화상 부호화 장치는 각 실시예의 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성되는 비디오 데이터를 나타내는 고유한 정보를 PMT에 포함된 스트림 유형 또는 비디오 스트림 속성 정보에 할당하는 단계 또는 유닛을 포함한다. 그 구성에 있어서, 각 실시예에 기재된 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 비디오 데이터는 다른 표준을 따르는 비디오 데이터와 구별될 수 있다.
또한, 도 30은 본 실시예에 따른 동화상 복호화 방법의 단계들을 나타낸다. 단계 exS100에서, PMT에 포함된 스트림 유형 또는 다중화된 데이터 정보에 포함된 비디오 스트림 속성 정보가 다중화된 데이터로부터 얻어진다. 다음에, 단계 exS101에서, 스트림 유형 또는 비디오 스트림 속성 정보가 다중화된 데이터가 각 실시예의 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성되었는지를 나타내는지 판단된다. 스트림 유형 또는 비디오 스트림 속성 정보가 다중화된 데이터가 각 실시예의 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성되었다고 판단되면, 단계 exS102에서, 각 실시예의 동화상 복호화 방법에 의해 복호화가 실행된다. 또한, 스트림 유형 또는 비디오 스트림 속성 정보가 MPEG-2, MPEG-4 AVC, 및 VC-1 등의 종래의 표준에 따르고 있는 것을 나타내면, 단계 exS103에서, 종래의 표준에 따른 동화상 복호화 방법에 의해 복호화가 행해진다.
이와 같이, 새로운 고유한 값을 스트림 유형 또는 비디오 스트림 속성 정보에 할당함으로써, 각 실시예에 기재된 동화상 복호화 방법 또는 동화상 복호화 장치가 복호화를 행할 수 있는지 없는지 판단할 수 있다. 상이한 표준을 따르는 다중화된 데이터가 입력된 경우라도, 적절한 복호화 방법 또는 장치가 선택될 수 있다. 따라서, 에러 없이 정보를 복호화할 수 있다. 또한, 본 실시예의 동화상 부호화 방법 또는 장치, 또는 동화상 복호화 방법 또는 장치는 상기 서술된 장치 및 시스템에서 사용될 수 있다.
(실시예 C)
각 실시예에서 동화상 부호화 방법, 동화상 부호화 장치, 동화상 복호화 방법, 및 동화상 복호화 장치의 각각이 집적 회로 또는 LSI(Large Scale Integrated) 회로의 형태로 일반적으로 형성된다. LSI의 일예로서, 도 31은 하나의 칩으로 형성된 LSI(ex500)의 구성을 도시한다. LSI(ex500)는 아래 설명할 소자들(ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508, 및 ex509)을 포함하며, 소자들이 버스(ex510)를 통해 서로 연결되어 있다. 전원 회로 유닛(ex505)이 온이 될 때, 전원 회로 유닛(ex505)이 구동되어 각 소자에 전력을 공급한다.
예를 들면, 부호화가 행해질 때, LSI(ex500)는 CPU(ex502), 메모리 컨트롤러(ex503), 스트림 컨트롤러(ex504), 및 구동 주파수 제어 유닛(ex512)을 포함하는 제어 유닛(ex501)의 제어 하에서, AV IO(ex509)를 통하여 마이크(ex117), 카메라(ex113) 등으로부터 AV 신호를 수신한다. 수신된 AV 신호는 SDRAM과 같은 외부 메모리(ex511)에 임시로 저장된다. 제어 유닛(ex501)의 제어 하에서, 저장된 데이터는 신호 처리 유닛(ex507)에 전송되는 처리량 및 속도에 따라서 데이터 부분들로 분할된다. 그 다음, 신호 처리 유닛(ex507)은 오디오 신호 및/또는 비디오 신호를 부호화한다. 여기서, 비디오 신호의 부호화는 각 실시예에 기재된 부호화이다. 또한, 어느 경우에 신호 처리 유닛(ex507)는 부호화된 오디오 데이터 및 부호화된 비디오 데이터를 다중화하고, 스트림 IO(ex506)는 다중화된 데이터를 외부에 공급한다. 공급된 다중화된 데이터가 기지국(ex107)에 전송되거나 또는 기록 매체(ex215)에 기록된다. 데이터 세트가 다중화될 때, 데이터가 버퍼(ex508)에 임시적으로 저장되어야 하므로, 데이터 세트가 서로 동기화된다.
메모리(ex511)는 LSI(ex500) 외부에 있는 소자이지만, LSI(ex500)에 포함될 수도 있다. 버퍼(ex508)는 하나의 버퍼에 한정되지 않지만, 버퍼들로 구성될 수도 있다. 또한, LSI(ex500)는 하나의 칩 또는 복수의 칩으로 만들어질 수 있다.
또한, 제어 유닛(ex501)은 CPU(ex502), 메모리 컨트롤러(ex503), 스트림 컨트롤러(ex504), 및 구동 주파수 제어 유닛(ex512)을 포함하지만, 제어 유닛(ex501)의 구성은 이것에 한정되지 않는다. 예를 들면, 신호 처리 유닛(ex507)이 CPU를 더 포함할 수 있다. 신호 처리 유닛(ex507)이 또 다른 CPU를 포함하여, 처리 속도를 향상시킬 수 있다. 또한, 또 다른 예로서, CPU(ex502)는 신호 처리 유닛(ex507)으로서 기능하거나 그 일부로서 기능할 수 있으며, 예를 들면, 오디오 신호 처리 유닛을 포함할 수 있다. 이러한 경우에, 제어 유닛(ex501)은 신호 처리 유닛(ex507), 또는 신호 처리 유닛(ex507)의 일부를 포함하는 CPU(ex502)를 포함한다.
여기서 사용된 이름은 LSI이지만, 집적도에 따라서 IC, 시스템 LSI, 슈퍼 LSI, 또는 울트라 LSI로 칭해진다.
또한, 집적하는 방법은 LSI에 한정되지 않고, 특별 회로 또는 범용 프로세서 등이 집적될 수 있다. LSI가 제조된 후에 프로그램가능한 FPGA(Field Programmable Gate Array) 또는 커넥션의 재구성 및 LSI의 구성이 가능한 재구성가능한 프로세서가 동일한 목적으로 사용될 수 있다.
장래에, 반도체 기술의 진보로 인해서, 새로운 이름의 기술이 LSI를 대체할 수 있다. 기능 블록들이 이러한 기술을 사용하여 집적될 수 있다. 본 발명은 생명 공학에 적용될 가능성도 있다.
(실시예 D)
각 실시예에 기재된 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 비디오 데이터가 복호화될 때를 MPEG-2, MPEG-4 AVC, 및 VC-1 등의 종래 표준에 따르는 비디오 데이터가 복호화될 때와 비교하면, 처리량이 증가될 가능성이 있다. 따라서, LSI(ex500)는 종래 표준에 따라서 비디오 데이터가 복호화될 때 사용되는 CPU(ex502) 보다 높게 구동 주파수를 설정하는 것이 필요하다. 그러나, 구동 주파수가 높게 설정되면, 전력 소비가 증가되는 문제가 발생한다.
이러한 문제를 해결하기 위해, 텔레비전(ex300) 및 LSI(ex500) 등의 동화상 복호화 장치는 비디오 데이터가 따르는 표준을 선택하고 선택된 표준에 따른 구동 주파수 사이를 스위칭하도록 구성된다. 도 32는 본 실시예의 구성(ex800)을 도시한다. 구동 주파수 스위칭 유닛(ex803)은 비디오 데이터가 각 실시예에 기재된 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성될 때 구동 주파수를 더 높게 설정한다. 그 다음, 구동 주파수 스위칭 유닛(ex803)은 각 실시예에 기재된 동화상 부호화 방법을 실행하는 복호화 처리 유닛(ex801)이 비디오 데이터를 복호화하도록 지시한다. 비디오 데이터가 종래의 표준을 따를 때, 구동 주파수 스위칭 유닛(ex803)은 각 실시예에 기재된 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 비디오 데이터의 구동 주파수보다 더 낮게 구동 주파수를 설정한다. 구동 주파수 스위칭 유닛(ex803)은 종래의 표준에 따르는 복호화 처리 유닛(ex802)이 비디오 데이터를 복호화하도록 지시한다.
더욱 구체적으로, 구동 주파수 스위칭 유닛(ex803)은 도 31에 나타낸 CPU(ex502) 및 구동 주파수 제어 유닛(ex512)을 포함한다. 여기서, 각 실시예에 기재된 동화상 부호화 방법을 행하는 복호화 처리 유닛(ex801)과 종래의 표준을 따르는 복호화 처리 유닛(ex802)의 각각은 도 31에서 신호 처리 유닛(ex507)에 대응한다. CPU(ex502)는 비디오 데이터가 따르는 표준을 결정한다. 구동 주파수 제어 유닛(ex512)은 CPU(ex502)로부터의 신호에 기초하여 구동 주파수를 결정한다. 신호 처리 유닛(ex507)은 CPU(ex502)로부터의 신호에 기초하여 비디오 데이터를 복호화한다. 예를 들면, 실시예 B에 서술된 식별 정보가 비디오 데이터를 식별하기 위해 사용될 수 있다. 식별 정보는 실시예 B에 서술된 것에 한정되지 않지만, 그 정보가 비디오 데이터가 어느 표준을 따르는지를 나타내기만 하면 임의의 정보일 수 있다. 예를 들면, 비디오 데이터가 따르는 표준이, 비디오 데이터가 텔레비전 또는 디스크 등에 대해서 사용되는 것을 결정하기 위한 외부 신호에 기초하여 결정될 수 있을 때, 이러한 외부 신호에 기초하여 결정이 이루어진다. 또한, CPU(ex502)는 예를 들면, 도 34에 도시된 것같이 비디오 데이터의 표준이 구동 주파수와 대응되어져 있는 룩업 테이블에 기초하여, 구동 주파수를 선택한다. 구동 주파수는 버퍼(ex508) 및 LSI의 내부 메모리에 룩업 테이블을 저장하고, CPU(ex502)가 룩업 테이블을 참조하여 선택될 수 있다.
도 33은 본 실시예의 방법을 실행하는 단계들을 도시한다. 우선, 단계 exS200에서, 신호 처리 유닛(ex507)은 다중화된 데이터로부터 식별 정보를 얻는다. 그 다음, 단계 exS201에서, CPU(ex502)는 식별 정보에 기초하여 각 실시예에 기재된 부호화 방법 및 부호화 장치에 의해 비디오 데이터가 생성되었는지를 결정한다. 각 실시예에 기재된 동화상 부호화 방법 및 동화상 부호화 장치에 의해 비디오 데이터가 생성되면, 단계 exS202에서, CPU(ex502)는 구동 주파수를 더 높게 설정하기 위한 신호를 구동 주파수 제어 유닛(ex512)에 전송한다. 그리고, 구동 주파수 제어 유닛(ex512)은 구동 주파수를 더 높게 설정한다. 한편, 식별 정보가 비디오 데이터가 MPEG-2, MPEG-4 AVC, 및 VC-1과 같은 종래 표준을 따르는 것을 나타낼 때, 단계 exS203에서, CPU(ex502)는 구동 주파수를 더 낮게 설정하기 위한 신호를 구동 주파수 제어 유닛(ex512)에 전송한다. 구동 주파수 제어 유닛(ex512)은 동화상 부호화 방법 및 동화상 부호화 장치에 의해 비디오 데이터가 생성되는 경우보다 더 낮게 구동 주파수를 설정한다.
또한, 구동 주파수의 스위칭에 수반하여, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 적용되는 전압을 변경하여 전력 보존 효과가 개선될 수 있다. 예를 들면, 구동 주파수가 낮게 설정될 때, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 적용되는 전압이 구동 주파수가 더 높게 설정되는 경우보다 낮은 전압으로 설정될 수 있다.
또한, 구동 주파수를 설정하는 방법으로서, 복호화의 처리량이 더 많으면, 구동 주파수가 더 높게 설정되고, 복호화의 처리량이 더 적으면, 구동 주파수는 더 낮게 설정될 수 있다. 따라서, 설정 방법은 상기 서술된 것에 한정되지 않는다. 예를 들면, MPEG-4 AVC에 따른 복호화 비디오 데이터에 대한 처리량이 각 실시예에 기재된 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 복호화 비디오 데이터에 대한 처리량보다 많을 때, 구동 주파수는 상기 서술된 설정과 역으로 설정될 수 있다.
또한, 구동 주파수를 설정하는 방법은 구동 주파수를 더 낮게 설정하는 방법에 한정되지 않는다. 예를 들면, 식별 정보가 비디오 데이터가 각 실시예에 기재된 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 것을 나타낼 때, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 적용되는 전압이 더 높게 설정될 수 있다. 식별 정보가 비디오 데이터가 MPEG-2, MPEG-4 AVC, 및 VC-1의 종래 표준에 따르는 것을 나타낼 때, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 적용되는 전압이 더 낮게 설정될 수 있다. 또 다른 실시예로서, 식별 정보가 비디오 데이터가 각 실시예에 기재된 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 것을 나타낼 때, CPU(ex502)의 구동이 정지(suspend)되지 않아도 된다. 식별 정보가 비디오 데이터가 MPEG-2, MPEG-4 AVC, 및 VC-1 등의 종래 표준을 따르는 것을 나타낼 때, CPU(ex502)가 잉여의 처리 용량을 가지기 때문에 CPU(ex502)의 구동이 주어진 시각에 정지될 수 있다. 식별 정보가 비디오 데이터가 각 실시예에 기재된 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 것을 나타낼 때에도, CPU(ex502)가 잉여의 처리 용량을 가지는 경우에, CPU(ex502)의 구동이 주어진 시각에 정지될 수 있다. 이러한 경우에, 정지 시간은 식별 정보가 비디오 데이터가 MPEG-2, MPEG-4 AVC, 및 VC-1 등의 종래 표준을 따르는 것을 나타내는 경우보다도 더 짧게 설정될 수 있다.
따라서, 전력 보존 효과는 비디오 데이터가 따르는 표준에 따른 구동 주파수 사이의 스위칭에 의해 개선될 수 있다. 또한, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치가 배터리를 사용하여 구동될 때, 배터리 수명은 전력 보존 효과로 인해서 연장될 수 있다.
(실시예 E)
상이한 표준에 따르는 복수의 비디오 데이터가 텔레비전 및 휴대폰 등의 장치 및 시스템에 제공되는 경우가 있다. 상이한 표준을 따르는 복수의 비디오 데이터의 복호화를 가능하게 하기 위해, LSI(ex500)의 신호 처리 유닛(ex507)은 상이한 표준을 따를 필요가 있다. 그러나, 각각의 표준을 따르는 신호 처리 유닛(ex507)의 개별 사용으로 인해서 LSI(ex500)의 크기의 증가 및 비용의 증가의 문제가 발생한다.
상기 문제를 해결하기 위해, 각 실시예에 기재된 동화상 복호화 방법을 실행하는 복호화 처리 유닛과 MPEG-2, MPEG-4 AVC, 및 VC-1 등의 종래의 표준을 따르는 복호화 처리 유닛이 부분적으로 공유되는 구성이 고안된다. 도 35a에서 Ex900은 구성 예를 나타낸다. 예를 들면, 각 실시예에 기재된 동화상 복호화 방법 및 MPEG-4 AVC에 따른 동화상 복호화 방법은 엔트로피 부호화, 역 양자화, 디블로킹 필터링, 및 움직임 보상 예측 등의 처리의 상세를 부분적으로 공통으로 가진다. 공유될 수 있는 처리의 상세는 MPEG-4 AVC을 따른 복호화 처리 유닛(ex902)의 사용을 포함한다. 이에 대해, 전용의 복호화 처리 유닛(ex901)은 본 발명의 구성에 고유한 다른 처리를 위해 사용된다. 본 발명의 구성은 역양자화를 특징으로 하므로, 특히, 예를 들면, 전용의 복호화 처리 유닛(ex901)이 역양자화를 위해 사용된다. 이와 달리, 복호화 처리 유닛이 엔트로피 복호화, 디블로킹 필터링, 및 움직임 보상중 하나 또는 모든 처리에 대해서 공유될 수 있다. 각 실시예에 기재된 동화상 복호화 방법을 실행하는 복호화 처리 유닛이 공유되는 처리를 위해서 공유될 수 있고, 전용의 복호화 처리 유닛이 MPEG-4 AVC에 고유한 처리를 위해 사용될 수 있다.
또한, 도 35b의 ex1000는 처리가 부분적으로 공유되는 또 다른 예를 나타낸다. 이 예는 본 발명의 구성에 고유한 처리를 지원하는 전용의 복호화 처리 유닛(ex1001), 또 다른 종래의 표준에 고유한 처리를 지원하는 전용의 복호화 처리 유닛(ex1002), 및 본 발명의 구성에 따른 동화상 복호화 방법과 종래의 동화상 복호화 방법 사이에서 공유되는 처리를 지원하는 복호화 처리 유닛(ex1003)을 포함하는 구성을 사용한다. 여기서, 전용의 복호화 처리 유닛(ex1001 및 ex1002)은 각각 본 발명의 구성에 다른 처리와 종래의 표준의 처리에 대해서 반드시 전용화되지는 않으며, 일반적인 처리를 실행할 수 있다. 또한, 본 실시예의 구성은 LSI(ex500)에 의해 실행될 수 있다.
이와 같이, LSI의 회로의 크기를 감소시키는 것 및 비용을 감소시키는 것이 본 발명의 구성에 따른 동화상 복호화 방법과 종래의 표준에 따른 동화상 복호화 방법 사이에서 공유되는 처리를 위한 복호화 처리 유닛을 공유함으로써 가능해진다.
요약하면, 본 발명은 이미지 또는 비디오 부호화 및 복호화의 블록 경계를 평활화시킬 수 있는 디블로킹 필터링에 관련된다. 특히, 본 발명은 샘플의 PCM(pulse code modulation) 부호화 블록을 필터링하는 것에 관련된다. 따라서, PCM 부호화 블록의 디블로킹 필터링을 인에이블 또는 디스에이블시키는 별개의 지시자 및 제2 필터링을 인에이블 또는 디스에이블시키는 별개의 지시자가 부호화 비트스트림에 삽입되어 디블로킹 필터링, 및 적응적 루프 필터링 또는 적응적 샘플 오프셋 등의 또 다른 유형의 필터링을 개별적으로 스위칭 온 또는 오프시킨다.

Claims (18)

  1. 비디오 신호의 이미지의 샘플의 블록을 펄스 부호 변조(PCM: pulse-coded modulation)에 의해 비트스트림으로 부호화하는 방법으로서,
    디블로킹 필터가 상기 샘플의 블록에 적용되는지 판단하는 단계;
    상기 디블로킹 필터와 다른 제2 필터가 상기 샘플의 블록에 적용되는지 판단하는 단계;
    디블로킹 필터가 적용되는지 판단한 결과를 나타내는 디블로킹 필터 지시자를 상기 비트스트림에 포함시키는 단계; 및
    제2 필터가 적용되는지 판단한 결과를 나타내는, 상기 디블로킹 필터 지시자와 다른 제2 필터 지시자를 상기 비트스트림에 포함시키는 단계를 포함하고,
    상기 제2 필터가 적용되는지 판단하는 단계는,
    샘플의 PCM 부호화된 블록에서 양자화 노이즈의 양을 결정하는 단계; 및
    결정된 양자화 노이즈의 양에 기초하여, 제2 필터가 적용되는지 판단하는 단계를 포함하는, 방법.
  2. 청구항 1에 있어서,
    상기 제2 필터는 적응적 루프 필터 또는 적응적 샘플 오프셋(SAO)인, 방법.
  3. 청구항 1에 있어서,
    상기 디블로킹 필터 지시자는 시퀀스 파라미터 세트 내에서 상기 비트스트림에 포함되는, 방법.
  4. 청구항 1에 있어서,
    상기 제2 필터 지시자는 블록 단위로 상기 비트스트림에 포함되는, 방법.
  5. 삭제
  6. 청구항 1에 있어서,
    적응적 샘플 오프셋(SAO)이 상기 샘플의 블록에 적용되는지 판단하는 단계; 및
    SAO가 적용되는지 판단한 결과를 나타내는 SAO 지시자를 상기 비트스트림에 포함시키는 단계를 포함하는, 방법.
  7. 청구항 1에 있어서,
    상기 제2 필터가 상기 샘플의 블록에 적용되는지 판단하는 단계는,
    상기 제2 필터가, 디블로킹 필터링에 의해 변경될 수 있는 상기 블록의 샘플에 적용되는지 판단하는 단계;
    상기 제2 필터가 변경된 샘플에 적용되는지 판단한 결과를 나타내는 변경 샘플 지시자를 상기 비트스트림에 포함시키는 단계;
    상기 제2 필터가 상기 디블로킹 필터링에 의해 변경될 수 없는 상기 블록의 샘플에 적용되는지 판단하는 단계; 및
    상기 제2 필터가 변경되지 않은 샘플에 적용되는지 판단한 결과를 나타내는 비변경(non-modified) 샘플 지시자를 상기 비트스트림에 포함시키는 단계를 더 포함하는, 방법.
  8. 청구항 1에 있어서,
    상기 제2 필터가 상기 샘플의 블록에 적용되는지 판단하는 단계는 상기 디블로킹 필터가 상기 샘플의 블록에 적용되는지 판단한 결과에 기초하여 실행되는, 방법.
  9. 청구항 1에 있어서,
    상기 디블로킹 필터가 상기 샘플의 PCM 부호화된 블록에 적용되는지 판단하는 단계는,
    상기 샘플의 블록에 인접한 블록이 상기 펄스 부호 변조를 사용하여 또는 예측 부호화에 의해 부호화되는지 결정하는 단계; 및
    상기 인접한 블록이 예측 부호화에 의해 부호화될 때, 디블로킹 필터가 상기 샘플의 블록에 적용됨을 판단하는 단계를 포함하는, 방법.
  10. 청구항 1에 있어서,
    상기 디블로킹 필터가 상기 샘플의 블록에 적용되는지 판단하는 단계는, 상기 샘플의 블록에 인접한 블록의 양자화 에러를 소정의 임계치와 비교하는 것에 기초하여 실행되는, 방법.
  11. 비트스트림으로부터, 비디오 신호의 이미지에서 펄스 부호 변조(PCM)에 의해 부호화되어 있는 샘플의 블록을 복호화하는 방법으로서,
    디블로킹 필터가 상기 샘플의 블록에 적용되는지를 나타내는 디블로킹 필터 지시자를 상기 비트스트림으로부터 추출하는 단계;
    제2 필터가 상기 샘플의 블록에 적용되는지를 나타내는, 상기 디블로킹 필터 지시자와 별개의 제2 필터 지시자를 상기 비트스트림으로부터 추출하는 단계;
    추출된 디블로킹 필터 지시자에 따라서 상기 샘플의 블록에 상기 디블로킹 필터를 적용하거나 적용하지 않는 단계; 및
    추출된 제2 필터 지시자에 따라서 상기 샘플의 블록에 상기 제2 필터를 적용하거나 적용하지 않는 단계를 포함하고,
    상기 제2 필터 지시자는,
    샘플의 PCM 부호화된 블록에서 양자화 노이즈의 양을 결정하는 단계; 및
    결정된 양자화 노이즈의 양에 기초하여, 제2 필터가 적용되는지 판단하는 단계를 거친 결과인, 방법.
  12. 청구항 11에 있어서,
    상기 제2 필터 지시자는 적응적 루프 필터 및 적응적 샘플 오프셋(SAO)의 양자가 상기 샘플의 블록에 적용되는지를 나타내거나, 또는
    2개의 별개의 지시자가 상기 비트스트림으로부터 추출되고, 그 중 하나는 적응적 루프 필터가 상기 샘플의 블록에 적용되는지를 나타내고, 다른 하나는 SAO가 상기 샘플의 블록에 적용되는지를 나타내고, 및
    적응적 루프 필터링 및 상기 SAO는 추출된 지시자(들)에 따라서 상기 샘플의 블록에 적용되거나 적용되지 않는, 방법.
  13. 청구항 11에 있어서,
    상기 제2 필터 지시자는
    상기 제2 필터가 디블로킹 필터링에 의해 변경될 수 있는 상기 블록의 샘플에 적용되는지를 나타내는 변경 샘플 지시자; 및/또는
    상기 제2 필터가 디블로킹 필터링에 의해 변경될 수 없는 상기 블록의 샘플에 적용되는지를 나타내는 비변경 샘플 지시자를 포함하고,
    추출된 변경 샘플 지시자 및 비변경 샘플 지시자에 따라서 상기 제2 필터를 상기 블록의 변경된 샘플 및 변경되지 않은 샘플 각각에 적용하거나 또는 적용하지 않는, 방법.
  14. 청구항 1에 있어서,
    상기 디블로킹 필터 지시자 및/또는 상기 제2 필터 지시자는 이미지 슬라이스 헤더 또는 블록 정보에 삽입되는, 방법.
  15. 컴퓨터 판독가능한 프로그램 코드가 구현되어 있는 컴퓨터 판독가능 저장 매체로서, 상기 프로그램 코드는 청구항 1 내지 4 및 청구항 6 내지 14 중 어느 한 항에 기재된 방법을 행하도록 구성된, 컴퓨터 판독가능 저장 매체.
  16. 비디오 신호의 이미지의 샘플의 블록을 펄스 부호 변조(PCM)에 의해 비트스트림으로 부호화하는 장치로서,
    디블로킹 필터가 상기 샘플의 블록에 적용되는지 판단하는 디블로킹 판단 유닛;
    상기 디블로킹 필터와 다른 제2 필터가 상기 샘플의 블록에 적용되는지 판단하는 제2 판단 유닛; 및
    상기 디블로킹 필터가 적용되는지 판단한 결과를 나타내는 디블로킹 필터 지시자를 상기 비트스트림에 포함시키고, 제2 필터가 적용되는지 판단한 결과를 나타내는, 상기 디블로킹 필터 지시자와 다른 제2 필터 지시자를 상기 비트스트림에 포함시키는 삽입 유닛을 포함하고,
    상기 제2 판단 유닛은,
    샘플의 PCM 부호화된 블록에서 양자화 노이즈의 양을 결정하고, 결정된 양자화 노이즈의 양에 기초하여, 제2 필터가 적용되는지 판단하는, 장치.
  17. 비트스트림으로부터, 비디오 신호의 이미지의 펄스 부호 변조(PCM)에 의해 부호화되어 있는 샘플의 블록을 복호화하는 장치로서,
    디블로킹 필터가 상기 샘플의 블록에 적용되는지를 나타내는 디블로킹 필터 지시자를 상기 비트스트림으로부터 추출하고, 제2 필터가 상기 샘플의 블록에 적용되는지를 나타내는, 상기 디블로킹 필터 지시자와 별개의 제2 필터 지시자를 상기 비트스트림으로부터 추출하는 추출 유닛;
    상기 추출된 디블로킹 필터 지시자에 따라서 상기 샘플의 블록에 상기 디블로킹 필터를 적용하거나 적용하지 않도록 구성된 디블로킹 필터링 유닛; 및
    상기 추출된 제2 필터 지시자에 따라서 상기 샘플의 블록에 상기 제2 필터를 적용하거나 적용하지 않도록 구성된 제2 필터링 유닛을 포함하고,
    상기 제2 필터 지시자는,
    샘플의 PCM 부호화된 블록에서 양자화 노이즈의 양을 결정하고, 결정된 양자화 노이즈의 양에 기초하여, 제2 필터가 적용되는지 판단된 결과인, 장치.
  18. 청구항 16 또는 청구항 17에 기재된 장치를 구현하는 집적 회로로서, 메모리를 더 포함하고, 상기 메모리는 필터링되는 픽셀을 저장하는 수직 및/또는 수평 라인 메모리인, 집적 회로.
KR1020147000323A 2011-11-03 2012-11-02 펄스 코드 변조 모드에서 부호화된 블록의 필터링 KR102007050B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161555193P 2011-11-03 2011-11-03
US61/555,193 2011-11-03
PCT/EP2012/071756 WO2013064661A1 (en) 2011-11-03 2012-11-02 Filtering of blocks coded in the pulse code modulation mode

Publications (2)

Publication Number Publication Date
KR20140094496A KR20140094496A (ko) 2014-07-30
KR102007050B1 true KR102007050B1 (ko) 2019-10-01

Family

ID=47178630

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147000323A KR102007050B1 (ko) 2011-11-03 2012-11-02 펄스 코드 변조 모드에서 부호화된 블록의 필터링

Country Status (3)

Country Link
KR (1) KR102007050B1 (ko)
TW (1) TWI577191B (ko)
WO (1) WO2013064661A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201119206D0 (en) 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
WO2014002386A1 (ja) * 2012-06-26 2014-01-03 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム
EP3138293A4 (en) 2014-04-29 2017-05-24 Microsoft Technology Licensing, LLC Encoder-side decisions for sample adaptive offset filtering
US9747673B2 (en) 2014-11-05 2017-08-29 Dolby Laboratories Licensing Corporation Systems and methods for rectifying image artifacts
CN107211161B (zh) * 2015-03-10 2020-05-15 苹果公司 包括最后阶段处理的扩展空间的视频编码优化
WO2016204531A1 (ko) * 2015-06-16 2016-12-22 엘지전자(주) 블록 경계에 따라 적응적으로 필터링을 수행하는 방법 및 장치
GB2582029A (en) * 2019-03-08 2020-09-09 Canon Kk An adaptive loop filter
KR20210152576A (ko) 2019-07-09 2021-12-15 엘지전자 주식회사 디블록킹 필터링에 기반한 영상 코딩 방법 및 그 장치
CN113411584A (zh) * 2020-03-17 2021-09-17 北京三星通信技术研究有限公司 视频编解码的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008057308A2 (en) * 2006-11-08 2008-05-15 Thomson Licensing Methods and apparatus for in-loop de-artifact filtering
US20080267297A1 (en) 2007-04-26 2008-10-30 Polycom, Inc. De-blocking filter arrangements
EP2375747A1 (en) 2010-04-12 2011-10-12 Panasonic Corporation Filter Positioning and Selection

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3284932B2 (ja) * 1997-08-05 2002-05-27 松下電器産業株式会社 画像処理装置
KR100399932B1 (ko) * 2001-05-07 2003-09-29 주식회사 하이닉스반도체 메모리의 양을 감소시키기 위한 비디오 프레임의압축/역압축 하드웨어 시스템
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
JP2009506699A (ja) * 2005-08-29 2009-02-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ブロックに基づく画像伸長により得られる画像をフィルタリングする装置
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008057308A2 (en) * 2006-11-08 2008-05-15 Thomson Licensing Methods and apparatus for in-loop de-artifact filtering
US20080267297A1 (en) 2007-04-26 2008-10-30 Polycom, Inc. De-blocking filter arrangements
EP2375747A1 (en) 2010-04-12 2011-10-12 Panasonic Corporation Filter Positioning and Selection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Osman G. Sezer et al., "Subjective Tests on ALF and SAO", JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011, JCTVC-F320*

Also Published As

Publication number Publication date
TWI577191B (zh) 2017-04-01
TW201325242A (zh) 2013-06-16
WO2013064661A1 (en) 2013-05-10
KR20140094496A (ko) 2014-07-30

Similar Documents

Publication Publication Date Title
JP7246008B2 (ja) 復号装置および符号化装置
JP2023166602A (ja) 復号方法および復号装置
EP2774362B1 (en) Quantization parameter for blocks coded in the pcm mode
RU2598799C2 (ru) Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений, устройство декодирования изображений и устройство кодирования-декодирования изображений
KR102007050B1 (ko) 펄스 코드 변조 모드에서 부호화된 블록의 필터링
WO2012169184A1 (ja) 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
KR101863397B1 (ko) 디블로킹을 위한 효율적인 결정
KR20140098740A (ko) 변경된 이미지 블록 경계 세기 유도에 의한 디블로킹 필터링
WO2011128056A2 (en) Filter positioning and selection
KR20130051950A (ko) 주변 블록의 통계로부터 추론되는 인트라 예측을 위한 필터링 모드
WO2012175196A1 (en) Deblocking control by individual quantization parameters
WO2011134642A1 (en) Predictive coding with block shapes derived from a prediction error
WO2012013327A1 (en) Quantized prediction error signal for three-input-wiener-filter

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant