KR20100086478A - 조합된 공간 및 비트 심도 확장성 - Google Patents

조합된 공간 및 비트 심도 확장성 Download PDF

Info

Publication number
KR20100086478A
KR20100086478A KR1020107010574A KR20107010574A KR20100086478A KR 20100086478 A KR20100086478 A KR 20100086478A KR 1020107010574 A KR1020107010574 A KR 1020107010574A KR 20107010574 A KR20107010574 A KR 20107010574A KR 20100086478 A KR20100086478 A KR 20100086478A
Authority
KR
South Korea
Prior art keywords
base layer
bit depth
layer
macroblock
source picture
Prior art date
Application number
KR1020107010574A
Other languages
English (en)
Inventor
유 웬 우
용 잉 가오
펑 인
지앙총 루오
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20100086478A publication Critical patent/KR20100086478A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

여러 가지 구현예들이 설명된다. 몇 가지 구현예들은 확장성의 조합에 관한 것이다. 한 방법(800)은 공간 및 비트 심도 확장성의 조합을 부호화하기 위한 것이다. 이 방법은 기본 계층 매크로블럭의 소스 화상을 부호화하는 단계(S810)를 포함한다. 이 방법은 또한 계층간 예측을 실행하여 상위 계층 매크로블럭의 소스 화상을 부호화하는 단계를 포함한다. 기본 계층의 소스 화상과 상위 계층의 소스 화상은 공간 해상도와 색상 비트 심도 둘 다가 서로 다르다.

Description

조합된 공간 및 비트 심도 확장성{COMBINED SPATIAL AND BIT-DEPTH SCALABILITY}
본 발명은 "비트 심도 확장성"으로 표제되어 2007년 10월 19일자 출원된 미국 예비 출원 번호 60/999,569의 우선권을 주장하며, 이의 내용은 여기에서 사실상 모두 참고로 언급되고 있다.
본 발명은 일반적으로 부호화 시스템에 관한 것이다. 본 발명은 특히 비트 심도 확장 가능 부호화 및/또는 공간 확장 가능 부호화에 관한 것이다.
최근에, 8비트 이상의 색상 비트 심도를 가지는 디지털 화상 및 비디오가 많은 비디오 및 화상 응용들에 활용되고 있다. 이런 응용들은 예를 들어, 의료 화상 처리, 제작 및 후편집시의 디지털 영화 워크플로, 및 홈시어터 관련 응용을 포함한다. 비트 심도는 비트맵 화상이나 비디오 프레임에서의 단일 픽셀의 색상을 나타내기 위해 이용되는 비트의 수이다. 비트 심도 확장성은 시장에서 종래의 8비트 심도와 그 이상의 비트 심도 디지털 촬상 시스템의 공존을 가능하게 하는 데에 특히 유용한 해결책이다. 예를 들어, 비디오 소스는 8비트 심도와 10비트 심도를 갖는 비디오 스트림이 될 수 있다. 비트 심도 확장성은 이런 비디오 스트림을 각각 다른 비트 심도 용량을 각각 갖는 두 개의 다른 비디오 싱크 (예를 들어, 디스플레이)가 복호화하는 것을 가능하게 한다.
일반적인 형태에 따르면, 기본 계층 매크로블럭(base layer macroblock)의 소스 화상이 부호화된다. 상위 계층 매크로블럭(enhancement layer macroblock)의 소스 화상이 계층간 예측(inter-layer prediction)을 실행함으로써 부호화된다. 기본 계층의 소스 화상과 상위 계층의 소스 화상은 공간 해상도(spatial resolution)와 색상 비트 심도(color bit-depth) 둘 다가 서로 다르다.
다른 일반 형태에 따르면, 기본 계층 매크로블럭의 소스 화상이 복호화된다. 상위 계층 매크로블럭의 소스 화상은 계층간 예측을 실행하여 복호화된다. 기본 계층의 소스 화상과 상위 계층의 소스 화상은 공간 해상도와 색상 비트 심도 둘 다가 서로 다르다.
다른 일반 형태에 따르면, 부호화된 화상의 일부는 액세스되어 복호화된다. 복호화는 액세스된 부분의 공간 해상도를 증가시키기 위해서 액세스된 부분의 공간 업샘플링(spatial upsampling)의 실행을 포함한다. 복호화는 또한 액세스된 부분의 비트 심도 해상도를 증가시키기 위해서 액세스된 부분의 비트 심도 업샘플링의 실행을 포함한다.
하나 이상의 구현에 대한 상세 사항을 첨부한 도면 및 이하 설명에서 기재한다. 하나의 특정한 방법으로 설명되었지만, 구현들은 여러 가지 방법으로 구성되거나 구체화될 수 있다는 것이 명백하다. 예를 들어, 일 구현은 예를 들어, 하나의 방법으로 실행되거나, 일련의 동작을 실행하도록 구성된 장치와 같은 장치 또는 일련의 동작을 실행하기 위한 명령을 저장하는 장치로 구현되거나, 신호로 구체화될 수 있다. 다른 형태와 특성들은 첨부한 도면 및 청구범위와 관련하여 고찰되는 다음 상세한 설명으로부터 명백하게 될 것이다.
도 1은 인트라 부호화를 위해 구현되는 계층간 예측을 이용한 공간 및 비트 심도 확장성의 조합을 부호화하기 위한 부호화기의 블럭도이다.
도 2는 인트라 부호화를 위해 구현되는 부호화기의 계층간 예측 모듈의 블럭도이다.
도 3은 인트라 부호화를 위해 구현되는 계층간 예측을 이용한 비트 심도와 공간 확장성의 조합을 복호화하기 위한 복호화기의 블럭도이다.
도 4는 인트라 부호화를 위해 구현되는 복호화기의 계층간 예측 모듈의 블럭도이다.
도 5는 인터 부호화를 위해 구현되는 계층간 잔여 예측을 이용하여 공간 및 비트 심도 확장성의 조합을 부호화하기 위한 부호화기의 블럭도이다.
도 6은 인터 부호화를 위해 구현되는 계층간 잔여 예측 모듈의 블럭도이다.
도 7은 인터 부호화를 위해 구현되는 계층간 잔여 예측을 이용하여 공간 및 비트 심도 확장성의 조합을 복호화하기 위한 복호화기의 블럭도이다.
도 8은 공간 및 비트 심도 확장성의 조합을 위한 부호화 방법을 설명하는 플로우챠트이다.
도 9는 공간 및 비트 심도 확장성의 조합을 위한 복호화 방법을 설명하는 플로우챠트이다.
도 10은 비디오 전송기의 블럭도이다.
도 11은 비디오 수신기의 블럭도이다.
도 12는 부호화기의 다른 구현예의 블럭도이다.
도 13은 복호화기의 다른 구현예의 블럭도이다.
도 14는 복호화기나 부호화기에 이용하기 위한 복호화 프로세스의 구현예의 플로우챠트이다.
8비트의 비트 심도와 그 이상의 비트 심도 (및 특히 10비트 비디오)의 공존을 취급하기 위한 몇 가지 기술이 이하 설명된다. 특정 실시예는 공간 및 비트 심도 확장성이 조합되도록 하여 데이터를 부호화하는 방법을 포함한다. 특정 실시예는 또한 이런 부호화를 복호화하는 방법을 포함한다.
기술들 중 하나는 10비트 부호화 비트스트림 만을 전송하는 것을 포함하고, 이 때 표준 8비트 디스플레이 장치에 대한 8비트 표시는 톤 매핑법 (tone mapping method)을 10비트 프리젠테이션에 적용하여 얻어진다. 8비트와 10비트의 공존을 가능하게 하기 위한 다른 기술은 8비트 부호화 프리젠테이션과 10비트 부호화 프리젠테이션을 포함하는 동시방송 비트스트림의 전송을 포함한다. 복호화기는 어느 비트 심도로 복호화할지를 선택한다. 예를 들어, 10비트 가능 복호화기는 10비트 비디오를 복호화 및 출력할 수 있는 반면 8비트 데이터만을 지원하는 통상의 복호화기는 8비트 비디오만을 출력할 수 있다.
제1 기술은 10비트 데이터를 전송하고, 이에 따라 H.264/AVC 8-bit 프로파일과 호환되지는 않는다. 제2 기술은 모든 현재 표준과 호환하지만 부가의 처리를 요한다.
비트 감소와 하위 호환성 간의 트레이드오프는 확장이 가능한 해결책이 된다. H.264/AVC의 확장형 (이하, "SVC")은 비트 심도 확장성을 지원한다. 비트 심도 확장 가능한 부호화 해결책은 상술한 기술들 보다 많은 장점들을 갖고 있다. 예를 들어, 이런 해결책은 10비트 심도가 AVC 하이 프로파일과 하위 호환되게 하고 또한 여러 네트워크 대역폭이나 장치의 능력에도 적합하게 한다. 확장형 해결책은 또한 저 복잡성 및 고 효율성과 유연성을 제공한다.
SVC 비트 심도 해결책은 임시, 공간 및 SNR 확장성을 지원하지만, 확장성의 조합을 지원하지는 못했다. 확장성 조합은 공간과 비트 심도 확장성 둘 다를 조합하는 것을 말하는데, 즉 비디오 프레임이나 화상의 여러 층들은 공간 해상도와 색상 비트 심도 둘 다가 서로 다를 수 있다. 일 예에서, 기본 계층은 8비트 심도 및 표준 화질 (SD) 해상도이고, 상위 계층은 10비트 심도와 고화질 (HD) 해상도이다.
특정 실시예는 비트 심도 확장성이 공간 확장성과 완전 호환되게 할 수 있는 해결책을 제공한다. 도 1은 계층간 예측을 이용하여 공간 및 비트 심도 확장성의 조합을 부호화하기 위한 부호화기(100)의 구현예의 비제한적 블럭도를 나타낸다. 부호화기(100)는 병치된 기본 계층 매크로블럭(collocated base layer macroblock)이 인트라 부호화될 때 이용된다 부호화기(100)는 기본 계층(BL)과 상위 계층(EL) 각각의 두 소스 화상(101 및 102)을 수신한다. 기본 계층과 상위 계층은 적어도 다른 비트 심도와 해상도 특성을 갖는다. 예를 들어, 기본 계층은 저 비트 심도와 저 공간 해상도를 갖는 반면 상위 계층은 고 비트 심도와 고 공간 해상도를 갖는다. BL 비트스트림(101)를 부호화하기 위해, 먼저 공간 예측 모듈(140)에 의해 연산되는 현재 블럭의 공간 예측 신호가 소스 화상(101)으로부터 제해진다. 그 차이는 변형 및 양자화 모듈(110)을 이용하여 변형 및 양자화된 다음에 엔트로피 부호화 모듈(120)을 이용하여 부호화된다. 모듈(110)의 출력은 역 양자화되고 모듈(130)에 의해 역 변형되어 재구성된 기본 계층 잔여 신호 BLres를 형성한다. 다음에 신호 BLres는 공간 예측 모듈(140)의 출력에 추가되어 병치된 기본 계층 매크로블럭 BLrec를 형성한다.
EL 소스 화상(102)은 계층간 예측 모듈(150)의 출력을 이용하거나 단지 모듈(160)을 이용한 공간 예측을 실행하는 것으로 부호화될 수 있다. 동작 모드는 스위치(104)의 상태로 결정된다. 스위치(104)의 상태는 비트율-왜곡 최적화 프로세스에 의해 결정되는 부호화기의 결정으로, 이는 더 높은 부호화 효율을 갖는 상태를 선택한다. 더 높은 부호화 효율은 낮은 코스트를 의미한다. 코스트는 비트율과 왜곡을 조합한 측정치이다. 동일한 왜곡에 대한 저 비트율이나 동일한 비트율을 갖는 저 왜곡은 저 코스트를 의미한다.
계층간 예측 모듈(150)은 BLrec를 공간 및 비트 심도 업샘플링(bit-depth upsampling)하여 현재 상위 계층의 예측을 연산한다. 또한 도 1에는 엔트로피 부호화 모듈(180), 역 양자화 및 역 변형 모듈(190) 및 변형 및 양자화 모듈(170)이 도시되어 있다.
계층간 예측 모듈(150)의 비제한적 블럭도를 도 2에 나타내었다. 모듈(150)은 먼저 공간 업샘플러(210)를 이용하여 재구성된 기본 계층 매크로블럭 BLrec 에 대해 공간 업샘플링을 실행한다. 다음에, 비트 심도 업샘플링은 공간 업샘플링된 신호에 대해 비트 심도 업샘플링 함수 Fb{.}를 적용하여, 비트 심도 업샘플러(220)를 이용하여 실행된다. 함수 Fb는 원래의 상위 계층 매크로블럭 ELorg 및 공간 업샘플러(240)에 의해 형성된 공간 업샘플링된 신호를 이용하여 모듈(230)에 의해 형성된다. 업샘플러(240)는 원래의 병치된 기본 계층 매크로블럭 BLorg 또는 재구성된 기본 계층 매크로블럭 BLrec를 처리할 수 있다. 일 실시예에서, 비트 심도 업샘플러(220)는 역 톤 매핑(inverse tone mapping)을 실행한다. 계층간 예측 모듈(150)의 출력은 현재 상위 계층의 예측 신호와 비트 심도 업샘플링 함수 Fb의 파라미터를 포함한다. 입력 소스 화상(102)과 예측 신호 간의 차이가 부호화된다.
도 3은 계층간 예측을 이용하여 비트 심도와 공간 확장성의 조합을 복호화하기 위한 복호화기(300)의 구현예의 비제한적 블럭도를 나타낸다. 복호화기(300)는 동 위치된 기본 계층 매크로블럭이 인트라 부호화될 때 이용된다. 복호화기(300)는 BL 비트스트림(301) 및 EL 비트스트림(302)을 수신한다.
입력 BL 비트스트림(301)은 엔트로피 복호화 유닛(310)에 의해 파싱 (parsed)된 다음에 역 양자화기 및 역 변형기 모듈(320)에 의해 역 양자화 및 역 변형되어 재구성된 기본 계층 잔여신호 BLres를 출력한다. 공간 예측 모듈(330)에 의해 연산된 바와 같이, 현재 블럭의 공간 예측 신호는 모듈(320)의 출력에 부가되어 재구성된 기본 계층 병치된 매크로블럭 BLrec를 형성한다.
EL 비트스트림(302)은 계층간 예측 모듈(340)의 출력을 이용하여 복호화될 수 있다. 그렇지 않으면, 복호화는 BL 비트스트림(301)의 복호화와 유사한 공간 예측 신호에 기초하여 실행된다. 계층간 예측 모듈(340)은 공간 및 비트 심도 업샘플링을 실행함으로써 매크로블럭 BLrec을 이용하여 상위 계층 비트스트림(302)을 복호화한다. 디블러킹은 모듈(360-1 및 360-2)을 디블러킹하여 실행된다.
계층간 예측 모듈(340)의 구현에 대한 비제한적 블럭도를 도 4에 나타내었다.
계층간 예측 모듈(340)은 인트라 부호화된 매크로블럭을 처리하는 데에 적합한다. 상세하게, 먼저 재구성된 기본 계층 매크로 블럭 BLrec는 공간 업샘플러(410)을 이용하여 공간 업샘플링된다. 다음에, 비트 심도 업샘플링은 비트 심도 업샘플러(420)를 이용하여, 공간 업샘플링된 신호에 대해 비트 심도 업샘플링 함수 Fb를 적용함으로써 실행된다. Fb 함수는 상위 계층을 부호화하는 데에 이용된 Fb 함수의 것과 동일한 파라미터를 갖는다. 도 2의 요소(230 및 240)와 유사한 구성 요소는 도 4에서의 함수 Fb 및 Fs를 결정하는 데에 이용될 수 있다. 계층간 예측 모듈(340)의 출력은 현재 상위 계층의 예측 신호를 포함한다. 이 출력은 도 3의 상위 계층 잔여 신호 ELres에 부가된다.
도 5는 층간 잔여 예측(interlayer residual prediction)을 이용하여 공간 및 비트 심도 확장성의 조합을 부호화하기 위한 부호화기(500)의 구현도를 나타낸다. 부호화기(500)는 재구성된 기본 계층 매크로블럭이 인터 부호화될 때 이용된다. BL 소스 화상(501)의 부호화는 MC 예측 모듈(510)에 의해 제공된 움직임 보상 (motion compensation, MC) 예측(prediction)에 기초한다. EL 소스 화상(502)의 부호화는 계층간 예측 모듈(520)에 의해 실행될 수 있고 MC 예측 신호는 MC 예측 모듈(540)에 의해 형성될 수 있다. 모듈(540)은 움직임 업샘플러(550)에 의해 형성된 움직임 업샘플링된 신호를 처리한다.
계층간 잔여 예측 모듈(520)은 재구성된 기본 계층 잔여 신호 BLk res를 처리한다 (이때 k는 현재 영상의 영상 출력 순서임). 잔여 신호 BLk res는 역 양자화기 및 변형기 모듈(530)에 의해 출력된다.
도 6에서 나타낸 바와 같이, 계층간 잔여 예측 모듈(520)의 비트 심도는 신호 Fb'{BLk res}를 형성하도록 비트 심도 업샘플링 함수를 적용한 비트 심도 업샘플러(640)를 이용하여 신호 BLk res를 업샘플링한다. 이 신호는 다음에 공간 업샘플러(630)를 이용하여 공간 업샘플링되어, 잔여 예측 신호 Fs{Fb'{BLk res}}를 형성한다.
도 7은 인터 부호화된 병치된 기본 계층 매크로블럭을 복호화하기 위한 복호화기(700)의 구현의 비제한적 블럭도이다. EL 비트스트림(702)이 결과적으로 출력되게 하는 복호화는 재구성된 기본 계층 잔여 신호 BLres를 처리하여 계층간 예측 잔여 모듈(710)을 이용하여 실행된다. 부가하여, 병치된 기본 계층 매크로블럭 움직임 벡터(motion vector)는 움직임 업샘플러 모듈(720)을 이용하여 움직임 업샘플링된다. 모듈(720)으로부터의 업샘플링된 움직임 벡터는 움직임 보상 예측 모듈(730)에 제공될 수 있다. 모듈(730)은 현재의 상위 계층 매크로블럭에 움직임 보상된 예측을 제공한다. 계층간 예측 잔여 모듈(710)은 잔여 예측 신호를 형성하도록 공간 업샘플링된 신호에 대해 공간 업샘플링과 비트 심도 업샘플링을 실행한다.
도 7은 또한 기본 계층을 복호화하여, BL 비트스트림(701)이 결과적으로 출력되게 하는 일련의 요소들을 나타낸다. 기본 계층을 복호화하기 위한 일련의 요소들은 움직임 보상 예측 모듈(740)을 포함하여 공지된 요소들을 포함한다.
도 8은 공간 및 비트 심도 확장성의 조합을 위한 부호화 방법을 설명하는 비제한적 플로우챠트(800)를 나타낸다. 이 방법은 공간 해상도 및 색상 비트 심도가 서로 다른 적어도 두 개의 기본 계층과 상위 계층의 입력 소스 화상을 이용하여, 병치된 기본 계층 매크로블럭이 인트라 부호화되거나 인터 부호화될 때 상위 계층 매크로블럭을 부호화한다. 이 방법은 공간 업샘플링과 비트심도 업샘플링 둘 다를 처리하는 계층간 예측에 기초한다.
S810에서 기본 계층 비트스트림이 부호화된다. 기본 계층은 통상 저 비트 심도 및 저 공간 해상도를 갖는다. S820에서 병치된 기본 계층 매크로블럭이 인트라 부호화되었는지의 여부가 체크되고, 그렇다면 실행은 S830으로 이어진다. 아니면, 실행은 S840로 진행하게 된다. S830에서, 재구성된 기본 계층 병치된 매크로블럭 BLrec는 공간 업샘플링되어 신호 Fs{BLrec}를 형성한다. S831에서, 비트 심도 업샘플링 함수 Fb{.}가 형성된다. S832에서, 비트 심도 업샘플링 함수 Fb{.}가 공간 엄샘플링된 신호 Fs{BLrec}}에 적용되어 현재 상위 계층의 예측 신호 Fb{Fs{BLrec}}을 형성한다. S833에서, 비트 심도 업샘플링 함수 Fb{.}의 파라미터가 부호화되고 부호화된 비트는 입력된 EL 비트스트림에 삽입된다. 다음에, 실행은 S850으로 진행한다.
S840에서, 병치된 기본 계층 매크로블럭 움직임 벡터는 현재 상위 계층 매크로블럭의 움직임 보상 예측을 위해 움직임 업샘플링된다. 다음에, S841에서, 계층간 잔여 예측은 재구성된 기본 계층 잔여 신호 BLk res를 공간 업샘플링하여 (Fs{.}) 실행되어 신호 Fs{BLk res}를 형성한다. 신호 Fs{BLk res}는 다음에 비트 심도 업샘플링되어 (Fb'{.}) 잔여 예측 신호 Fb'{Fs{BLres}}를 형성한다. S850에서, S833 또는 S841에 의해 출력되는 현재 상위 계층의 잔여 예측 신호는 EL 비트스트림에 부가된다.
도 9는 공간 및 비트 심도 확장성의 조합을 위한 복호화 방법을 설명하는 비제한적 플로우챠트(900)를 나타낸다. 이 방법은 공간 해상도와 색상 비트 심도가 다른 적어도 두 개의 기본 계층과 상위 계층의 입력 비트스트림을 이용하여, 병치된 기본 계층 매크로블럭이 인트라 부호화되거나 인터 부호화될 때 상위 계층 매크로블럭을 복호화한다. 이 방법은 공간 업샘플링과 비트 심도 업샘플링 둘 다를 처리하는 계층간 예측에 기초한 것이다.
S910에서 기본 계층 비트스트림은 파싱되고 비트 심도 업샘플링 함수 Fb{.}의 파라미터는 비트스트림에서 제해진다. S920에서 병치된 기본 계층 매크로블럭이 인트라 부호화되었는지에 대한 체크가 행해지고, 그렇다면 S930으로 실행이 계속된다. 아니면, 실행은 S940으로 진행한다.
S930에서, 재구성된 기본 계층 병치된 매크로블럭 BLrec는 공간 업샘플링되어 (Fs{.}) 신호 Fs{BLrec}를 형성한다. S931에서, 공간 업샘플링된 신호 Fs{BLrec}는 비트 심도 업샘플링되어(Fb{.}) 현재 상위 계층의 예측 신호 Fb{Fs{BLrec}}를 형성한다. 다음에, S950으로 실행이 이어진다.
S940에서, 병치된 기본 계층 매크로블럭 움직임 벡터는 현재 상위 계층 매크로블럭의 움직임 보상 예측을 위해 움직임 업샘플링된다. 다음에, S941에서, 계층간 잔여 예측은 재구성된 기본 계층 잔여 신호 BLres를 공간 업샘플링하여 (Fs{.}) 신호 Fs{BLk res}를 형성한 다음에 신호 Fs{BLk res}를 비트 심도 업샘플링하여 (Fb'{.}) 잔여 예측 신호 Fb'{Fs{BLk res}}를 형성한다. S950에서, 현재 상위 계층의 잔여 예측 신호는 상위 계층의 비트스트림에 부가된다.
도 10은 비디오 전송 시스템(1000)의 구현도이다. 비디오 전송 시스템(1000)은 예를 들어, 위성, 케이블, 전화선, 또는 지상 방송과 같은 각종 미디어 중 하나를 이용하여 신호를 전송하기 위한 헤드-엔드 또는 전송 시스템일 수 있다. 전송은 인터넷이나 그 외 다른 네트워크를 통해 제공될 수 있다.
비디오 전송 시스템(1000)은 여러 비디오 수신기 조건과 호환 가능한 광색역및 하이 다이나믹과 같은 고급 특성을 갖는 비디오 컨텐츠를 형성 및 전달할 수 있다. 예를 들어, 비디오 컨텐츠는 고급 특성을 지원하는 홈시어터 장치, 종래의 특성을 지원하는 CRT와 플랫패널 디스플레이, 및 제한된 특성을 지원하는 휴대용 디스플레이 장치를 통해 표시될 수 있다. 이것은 공간 및 비트 심도 확장성의 조합을 포함하는 부호화 신호를 형성하여 성취된다.
비디오 전송 시스템(1000)은 부호화기(1010) 및 부호화된 신호를 전송할 수 있는 전송기(1020)를 포함한다. 부호화기(1010)는 여러 비트 심도와 해상도를 갖는 두 비디오 스트림을 수신하며 확장성 조합의 특성을 갖는 부호화된 신호를 형성한다. 부호화기(1010)는 예를 들어 상기에서 상세히 설명한 부호화기(100) 또는 부호화기(500)일 수 있다.
전송기(1020)는 예를 들어, 부호화된 영상을 나타내는 복수의 비트스트림을 갖는 프로그램 신호를 전송하는 데에 적합할 수 있다. 통상의 전송기는 예를 들어, 에러 정정 부호화를 제공하고, 신호에서 데이터를 인터리빙하고, 신호에서 에너지를 랜덤화하고, 하나 이상의 반송파에 대해 신호를 변조하는 것 중 하나 이상과 같은 기능을 실행한다. 전송기는 안테나 (도시 생략)를 포함하거나 이와 인터페이스할 수 있다.
도 11은 비디오 수신 시스템(2000)의 구현도를 나타낸다. 비디오 수신 시스템(2000)은 예를 들어, 위성, 케이블, 전화선, 또는 지상파 방송과 같은 각종 미디어를 통해 신호를 수신하도록 구성될 수 있다. 신호는 인터넷이나 그 외 다른 네트워크를 통해 수신될 수 있다.
비디오 수신 시스템(2000)은 예를 들어, 셀폰, 컴퓨터, 셋톱박스, 텔레비젼, 또는 그 외 부호화된 비디오를 수신하여 예를 들어, 사용자에게 표시하거나 저장하기 위해 부호화된 비디오를 제공하는 장치일 수 있다. 따라서, 비디오 수신 시스템(2000)은 예를 들어, 텔레비젼의 스크린, 컴퓨터 모니터, 컴퓨터 (저장, 처리, 또는 표시용) 또는 그 외 다른 저장, 처리 또는 표시 장치에 그 출력을 제공할 수 있다.
비디오 수신 시스템(2000)은 여러 비디오 수신기 조건과 호환 가능한 광색역 및 하이 다이나믹과 같은 고급 특성을 갖는 비디오 컨텐츠를 형성 및 전달할 수 있다. 예를 들어, 비디오 컨텐츠는 고급 특성을 지원하는 홈시어터 장치, 종래의 특성을 지원하는 CRT와 플랫패널 디스플레이, 및 제한된 특성을 지원하는 휴대용 디스플레이 장치를 통해 표시될 수 있다. 이것은 공간 및 비트 심도 확장성의 조합을 포함하는 부호화 신호를 형성하여 성취된다.
비디오 수신 시스템(2000)은 공간 조합 특성을 갖는 부호화 신호를 수신할 수 있는 수신기(2100) 및 수신된 신호를 복호할 수 있는 복호화기(2200)를 포함한다.
수신기(2100)는 예를 들어, 부호화된 영상을 나타내는 복수의 비트스트림을 갖는 프로그램 신호를 수신하는 데에 적합할 수 있다. 통상의 수신기는 예를 들어, 변조 및 부호화된 데이터 신호를 수신하고, 하나 이상의 반송파로부터 데이터 신호를 복조하고, 신호에서 에너지를 디랜덤화하고, 신호에서 데이터를 디인터리빙하고, 신호를 에러 정정 복호화하는 것 중에서 하나 이상과 같은 기능을 실행한다. 수신기(2100)는 안테나 (도시 생략)를 포함하거나 이와 인터페이스로 연결되어 있다.
복호화기(2200)는 다른 비트 심도와 해상도를 갖는 두 개의 비디오 신호를 출력한다. 복호화기(2200)는 예를 들어, 상기 상세히 설명한 복호화기(300 또는 700)일 수 있다. 특정 구현예에서, 비디오 수신 시스템(2000)은 다른 용량을 갖는 두 개의 다른 디스플레이에 연결된 셋톱 박스이다. 이 특정 구현예에서, 시스템(2000)은 디스플레이에 의해 지원되는 특성을 갖는 비디오 신호를 각 유형의 디스플레이에 제공한다.
도 12는 부호화기(1200)의 다른 구현예를 나타낸다. 부호화기(1200)는 상위 계층 부호화기(1220)에 결합된 기본 계층 부호화기(1210)를 포함한다. 기본 계층 부호화기(1210)는 예를 들어, 부호화기(100 또는 500)의 기본 계층 부호화 부분에 따라 동작할 수 있다. 부호화기(100 및 500)의 기본 계층 부호화 부분은 일반적으로 파선 아래인 도 1 및 도 5의 절반부의 요소들을 포함한다. 유사하게, 상위 계층 부호화기(1220)는 예를 들어, 부호화기(100 또는 500)의 상위 계층 부호화 부분에 따라 동작할 수 있다. 부호화기(100 및 500)의 상위 계층 부호화 부분은 일반적으로 파선 위인 도 1 및 도 5의 상반부의 요소들을 포함한다.
도 13은 복호화기(1300)의 다른 구현예를 나타낸다. 복호화기(1300)는 상위 계층 복호화기(1320)에 결합된 기본 계층 복호화기(1310)를 포함한다. 기본 계층 복호화기(1310)은 예를 들어, 복호화기(300 또는 700)의 기본 계층 복호화 부분에 따라 동작할 수 있다. 복호화기(300 및 700)의 기본 계층 복호화 부분은 일반적으로 파선 아래인 도 3 및 도 7의 절반부의 요소들을 포함한다. 유사하게, 상위 계층 복호화기(1320)는 예를 들어, 복호화기(300 또는 700)의 상위 계층 복호화 부분에 따라 동작할 수 있다. 복호화기(300 및 700)의 상위 계층 복호화 부분은 파선 위인 도 3 및 도 7의 상반부의 요소들을 포함한다.
도 14는 비트 심도 확장 가능하고 공간 확장 가능한 데이터를 제공하는 수신 데이터 스트림을 복호화하기 위한 프로세스(1400)를 제공한다. 프로세스(1400)는 부호화 화상 부분을 액세스하는 단계(1410) 및 액세스된 부분을 복호화하는 단계(1420)를 포함한다. 이 부분은 예를 들어, 영상, 프레임 또는 계층에 대한 상위 계층일 수 있다.
복호화 동작(1420)은 이 액세스된 부분의 공간 해상도를 증가시키기 위해서 액세스된 부분의 공간 업샘플링을 실행하는 단계(1430)를 포함한다. 공간 업샘플링은 액세스된 부분을 예를 들어, 표준 화질 (SD)에서 고화질 (HD)까지 변경할 수 있다.
복호화 동작(1420)은 이 액세스된 부분의 비트 심도 해상도를 증가시키기 위해서 액세스된 부분의 비트 심도 업샘플링을 실행하는 단계(1440)를 포함한다. 비트 심도 업샘플링은 이 액세스된 부분을 예를 들어, 8비트에서 10비트까지 변경시킬 수 있다.
비트 심도 업샘플링(1440)은 공간 업샘플링(1430) 이전이나 이후에 실행될 수 있다. 특정 구현예에서, 비트 심도 업샘플링은 공간 업샘플링 후에 실행되며, 이 액세스된 부분을 8비트 SD에서 10비트 HD로 변경시킨다. 여러 구현예에서 비트 심도 업샘플링은 역 톤 매핑을 이용하며, 이는 일반적으로 비선형 결과를 제공한다. 여러 구현예는 공간 업샘플링 이후, 비선형 역 톤 매핑을 적용한다.
프로세스(1400)는 예를 들어, 복호화기(300 또는 700)의 상위 계층 복호화 부분을 이용하여 실행될 수 있다. 또한, 공간 및 비트 심도 업샘플링은 예를 들어, 계층간 예측 모듈(340) (도 3 및 도 4 참조) 또는 (710) (도 7 참조)에 의해 실행될 수 있다. 명백한 바와 같이, 프로세스(1400)는 인트라 부호화 또는 인터 부호화의 컨텍스트에서 실행될 수 있다.
또한, 프로세스(1400)는 예를 들어, 부호화기(100 또는 500)와 같은 부호화기에 의해 실행될 수 있다. 특히, 프로세스(1400)는 부호화기(100 또는 500)의 상위 계층 부호화 부분을 이용하여 실행될 수 있다. 또한, 공간 및 비트 심도 업샘플링은 예를 들어, 계층간 예측 모듈(150) (도 1 및 2 참조) 또는 (520)(도 5 및 도 6 참조)에 의해 실행될 수 있다.
여기에서 설명되는 구현예는 예를 들어, 방법 또는 프로세스, 장치 또는 소프트웨어 프로그램으로 구현될 수 있다. 단일 형태의 구현의 컨텍스트로만 설명되었지만 (예를 들어, 한 방법으로만 설명되었지만), 설명된 특성의 구현예는 다른 형태 (예를 들어, 장치나 프로그램)으로도 구현될 수 있다. 장치는 예를 들어, 적합한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 이 방법은 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래머블 로직 장치를 포함하여, 예를 들어, 일반적으로 처리 장치로 참조되는 프로세서와 같은 예를 들어 장치로 구현될 수 있다. 프로세서는 또한 예를 들어, 컴퓨터, 셀폰, 휴대용/퍼스널 디지털 보조 장치 (PDA") 및 그 외 말단 사용자 간의 정보 통신을 용이하게 하는 장치와 같은 통신 장치를 포함한다.
여기 설명되는 여러 프로세스 및 특성의 구현들은 각종 여러 장비나 애플리케이션, 특히 예를 들어, 데이터 부호화 및 복호화와 관련되는 장비나 애플리케이션으로 구체화될 수 있다. 장비의 예로는 비디오 부호화기, 비디오 복호화기, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 퍼스널 컴퓨터, 셀폰, PDA 및 그 외 통신 장치를 포함한다. 명백한 바와 같이, 장비는 이동 가능할 수 있고 이동 차량에 설비될 수도 있다.
부가하여, 이 방법들은 프로세서에 의해 실행되는 명령에 의해 구현될 수 있으며, 이 명령은 예를 들어, 집적 회로, 소프트웨어 캐리어 또는 그 외 예를 들어, 하드 디스크, 컴팩트 디스켓, 랜덤 액세스 메모리 (RAM), 또는 리드온리 메모리 (ROM)와 같은 저장 장치에 저장될 수 있다. 명령은 프로세서 판독 가능한 매체에 구체적으로 구현되는 애플리케이션 프로그램을 형성할 수 있다. 명령은 운영 시스템, 개별의 애플리케이션, 또는 이 둘의 조합으로 나타나게 된다. 프로세서는 예를 들어, 프로세스를 실행하도록 구성된 장치 및 프로세스를 실행하기 위한 명령을 갖는 컴퓨터 판독 가능 매체를 포함하는 장치 둘 다의 특징을 가질 수 있다.
당업자에게 명백한 바와 같이, 구현예들은 예를 들어, 저장되거나 전송될 수 있는 정보를 전달하도록 포맷되는 각종 신호를 형성할 수 있다. 정보는 예를 들어, 방법을 실행하기 위한 명령, 또는 설명된 구현예들 중 하나로 형성된 데이터를 포함할 수 있다. 예를 들어, 신호는 설명된 실시예의 신택스(syntax)를 기록하거나 판독하기 위한 규칙을 데이터로 전달하거나, 설명된 실시예로 기록된 실재 신택스값을 전달하도록 포맷된다. 이런 신호는 예를 들어, 전자기파 (예를 들어, 스펙트럼의 무선 주파수 부분을 이용함) 또는 기저대 신호로 포맷될 수 있다. 포매팅은 예를 들어, 데이터 스트림을 부호화하고 이 부호화된 데이터 스트림으로 반송파를 변조하는 것을 포함한다. 신호가 전달한 정보는 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 이 신호는 공지된 바와 같이, 각종 다른 유선 또는 무선 링크를 통해 전송될 수 있다.
다수의 구현예를 설명하였다. 그렇지만, 여러 변형들이 가능하다는 것이 이해될 것이다. 예를 들어, 다른 구현예의 요소들이 다른 구현예를 형성하기 위해 조합, 보충, 변형되거나 제거될 수 있다. 부가하여, 당업자들은 다른 구조 및 프로세스들이 개시된 것들 대신에 대체될 수 있으며 최종 구현예들은 적어도 실질적으로 동일한 방법으로 적어도 실질적으로 동일한 기능을 실행하게 되어, 개시된 구현예들과 적어도 실질적으로 동일한 결과를 성취하게 된다. 따라서, 이들 및 그 외 구현예들은 본 출원으로 안출되며 다음 청구범위의 영역 내에 들어가는 것이다.
100: 부호화기
101, 102: 소스 화상
110: 변형 및 양자화 모듈
140: 공간 예측 모듈
150: 계층간 예측 모듈
170: 변형 및 양자화 모듈
180: 엔트로피 부호화 모듈
190: 역 양자화 및 역 변형 모듈
240: 공간 업샘플러
510: 움직임 보상 예측 모듈
520: 계층간 잔여 예측 모듈
550: 움직임 업샘플러

Claims (33)

  1. 방법(800)에 있어서:
    기본 계층 매크로블럭의 소스 화상을 부호화하는 단계 (S810); 및
    계층간 예측을 실행하여 상위 계층 매크로블럭의 소스 화상을 부호화하는 단계 (820-850)
    를 포함하고,
    상기 기본 계층의 상기 소스 화상 및 상기 상위 계층의 상기 소스 화상은 공간 해상도와 색상 비트 심도 둘 다에 있어 서로 다른 방법.
  2. 제1항에 있어서, 병치된 기본 계층 매크로블럭(collocated base layer macroblock)이 인트라 부호화 또는 인터 부호화되었는지를 체크하는 단계를 더 포함하는 방법.
  3. 제2항에 있어서, 상기 병치된 기본 계층 매크로블럭이 인트라 부호화되어 있는 상기 상위 계층 매크로블럭을 부호화하기 위한 상기 계층간 예측은:
    신호 Fs{BLrec}를 형성하기 위하여 상기 재구성된 기본 계층 병치된 매크로블럭 BLrec를 공간 업샘플링(Fs{.})하는 단계(S830);
    비트 심도 업샘플링 함수 Fb{.}를 형성하는 단계 (S831);
    현재 상위 계층의 예측 신호 Fb{Fs{BLrec}}을 형성하기 위하여 상기 공간 업샘플링된 신호 Fs{BLrec}를 비트 심도 업샘플링(Fb{.})하는 단계(S832);
    상기 비트 심도 업샘플링 함수 Fb{.}의 파라미터를 부호화하는 단계(S833); 및
    상기 부호화된 비트를 비트스트림에 삽입하는 단계
    를 포함하는 방법.
  4. 제3항에 있어서, 상기 비트 심도 업샘플링 함수 Fb{.}를 실행하는 단계는 적어도:
    원래의 상위 계층 매크로블럭 ELorg 및 공간 업샘플링된 신호 Fs{BLorg}; 또는
    원래의 상위 계층 매크로블럭 ELorg 및 공간 업샘플링된 신호 Fs{BLrec}에 따라 결정되고,
    BLorg는 원래의 병치된 기본 계층 매크로블럭인, 방법.
  5. 제3항에 있어서, 상기 비트 심도 업샘플링 단계는 역 톤 매핑하는 단계를 포함하는 방법.
  6. 제2항에 있어서, 상기 병치된 기본 계층 매크로블럭이 인터 부호화되어 있는 상기 상위 계층 매크로블럭을 부호화하기 위해 상기 계층간 예측을 실행하는 단계는:
    현재 상위 계층 매크로블럭의 움직임 보상 예측(motion-compensated prediction)을 위하여, 병치된 기본 계층 매크로블럭 움직임 벡터를 움직임 업샘플링하는 단계(S840); 및
    계층간 잔여 예측을 실행하는 단계(S841)
    를 더 포함하는 방법.
  7. 제6항에 있어서, 상기 계층간 잔여 예측을 실행하는 단계는:
    신호 Fb'{BLk res}를 형성하기 위하여 재구성된 기본 계층 잔여 신호 BLk res를 비트 심도 업샘플링(Fb'{.})하는 단계; 및
    잔여 예측 신호 Fs{Fb'{BLk res}}를 형성하기 위하여 상기 비트 심도 업샘플링된 신호 Fb'{BLk res}를 공간 업샘플링(Fs{.})하는 단계를 더 포함하되,
    k는 현재 영상의 영상 출력 순서인, 방법.
  8. 제7항에 있어서, 상기 비트 심도 업샘플링하는 단계는 역 톤 매핑하는 단계를 포함하는 방법.
  9. 제6항에 있어서, 상기 계층간 잔여 예측을 실행하는 단계는:
    신호 Fs{BLk res}를 형성하기 위하여, 재구성된 기본 계층 잔여 신호 BLk res를 공간 업샘플링(Fs{.})하는 단계; 및
    잔여 예측 신호 Fb'{Fs{BLk res}}를 형성하기 위하여 상기 신호 Fs{BLk res}를 비트 심도 업샘플링(Fb'{.})하는 단계를 더 포함하되,
    k는 현재 영상의 영상 출력 순서인, 방법.
  10. 제9항에 있어서, 비트 심도 업샘플링하는 단계는 역 톤 매핑하는 단계를 포함하는 방법.
  11. 방법(1400)에 있어서:
    부호화된 화상의 일부를 액세스하는 단계; 및
    상기 액세스된 부분을 복호화하는 단계를 포함하되,
    상기 복호화하는 단계는:
    상기 액세스된 부분의 상기 공간 해상도를 증가시키기 위해서 상기 액세스된 부분의 공간 업샘플링을 실행하는 단계; 및
    상기 액세스된 부분의 상기 비트 심도 해상도를 증가시키기 위해서 상기 액세스된 부분의 비트 심도 업샘플링을 실행하는 단계
    를 포함하는 방법.
  12. 제11항에 있어서, 상기 비트 심도 업샘플링을 실행하는 단계는 역 톤 매핑을 실행하는 단계를 포함하는 방법.
  13. 제11항에 있어서, 상기 비트 심도 업샘플링은 상기 공간 업샘플링이 실행된후에 실행되는 방법.
  14. 제11항에 있어서, 상기 액세스된 부분을 복호화하는 단계는:
    기본 계층 매크로블럭의 소스 화상을 복호화하는 단계(S910); 및
    계층간 예측을 실행하여 상위 계층 매크로블럭의 소스 화상을 복호화하는 단계
    를 포함하고,
    상기 기본 계층의 상기 소스 화상 및 상기 상위 계층의 상기 소스 화상은 공간 해상도와 색상 비트 심도 둘 다에 있어 서로 다른, 방법.
  15. 제14항에 있어서,
    상기 상위 계층 매크로블럭과 병치되어 있는 병치된 기본 계층 매크로블럭이 인트라 부호화 또는 인터 부호화되었는지를 체크하는 단계(S920)
    를 더 포함하는 방법.
  16. 제15항에 있어서, 상기 병치된 기본 계층 매크로블럭이 인트라 부호화되어 있는 상기 상위 계층 매크로블럭을 복호화하기 위해 상기 계층간 예측을 실행하는 단계는, 상기 공간 업샘플링 단계와 상기 비트 심도 업샘플링 단계를 포함하고,
    상기 공간 업샘플링 단계는, 상기 신호 Fs{BLrec}를 형성하기 위하여, 재구성된 기본 계층 병치 매크로블럭 BLrec를 공간 업샘플링(Fs{.})하는 단계(S930)를 포함하고,
    상기 비트 심도 업샘플링 단계는, 현재 상위 계층의 예측 신호 Fb{Fs{BLrec}}를 형성하기 위하여, 상기 공간 업샘플링된 신호 Fs{BLrec}를 비트 심도 업샘플링(Fb{.})하는 단계(S931)를 포함하는 방법.
  17. 제15항에 있어서, 상기 병치된 기본 계층 매크로블럭이 인터 부호화되어 있는 상기 상위 계층 매크로블럭을 복호화하기 위한 계층간 예측을 실행하는 단계는:
    현재 상위 계층 매크로블럭의 움직임 보상 예측을 위해 병치된 기본 계층 매크로블럭 움직임 벡터를 움직임 업샘플링하는 단계(S940); 및
    계층간 잔여 예측을 실행하는 단계(S941)
    를 포함하는 방법.
  18. 제17항에 있어서,
    상기 계층간 잔여 예측을 실행하는 단계는 상기 공간 업샘플링 단계 및 상기 비트 심도 업샘플링 단계를 포함하고,
    상기 비트 심도 업샘플링 단계는, 신호 Fb'{BLk res}를 형성하기 위하여, 재구성된 기본 계층 잔여 신호 BLk res를 비트 심도 업샘플링{Fb'{.})하는 단계를 포함하고;
    상기 공간 업샘플링 단계는, 잔여 예측 신호 Fs{Fb'{BLk res}}를 형성하기 위하여, 비트 심도 업샘플링된 신호 Fb'{BLk res}를 공간 업샘플링(Fs{.})하는 단계를 포함하되,
    k는 현재 영상의 영상 출력 순서인, 방법.
  19. 제17항에 있어서,
    상기 계층간 잔여 예측을 실행하는 단계는 상기 공간 업샘플링 단계 및 상기 비트 심도 업샘플링 단계를 포함하고,
    상기 공간 업샘플링 단계는, 신호 Fs{BLk res}를 형성하기 위하여, 재구성된 기본 계층 잔여 신호 BLk res를 공간 업샘플링(Fs{.})하는 단계를 포함하고;
    상기 비트 심도 업샘플링 단계는, 잔여 예측 신호 Fb'{Fs{BLk res}}를 형성하위하여, 신호 Fs{BLk res}를 비트 심도 업샘플링(Fb'{.})하는 단계를 포함하되,
    k는 현재 영상의 영상 출력 순서인, 방법.
  20. 장치(1200)에 있어서,
    기본 계층 매크로블럭의 소스 화상을 부호화하기 위한 기본 계층 부호화기(1210); 및
    계층간 예측을 실행하여 상위 계층 매크로블럭의 소스 화상을 부호화하기 위한 상위 계층 부호화기(1220)
    를 포함하고, 상기 기본 계층의 상기 소스 화상 및 상기 상위 계층의 상기 소스 화상은 공간 해상도와 색상 비트 심도 둘 다에 있어 서로 다른 장치.
  21. 제20항에 있어서,
    상기 기본 계층 부호화기는 기본 계층 매크로블럭의 소스 화상을 부호화하기 위한 공간 예측 모듈(140)을 포함하고,
    상기 상위 계층 부호화기는 병치된 기본 계층 매크로블럭이 인트라 부호화되어 있는 상위 계층 매크로블럭의 소스 화상을 부호화하기 위한 계층간 예측 모듈(150)을 포함하고,
    상기 기본 계층의 상기 소스 화상 및 상기 상위 계층의 상기 소스 화상은 공간 해상도와 색상 비트 심도 둘 다에 있어 서로 다른 장치.
  22. 제20항에 있어서,
    상기 기본 계층 부호화기는 기본 계층 매크로블럭의 소스 화상을 부호화하기 위한 움직임 보상 예측 모듈(510)을 포함하고,
    상기 상위 계층 부호화기는:
    현재 상위 계층 매크로블럭의 움직임 보상 예측을 위해, 병치된 기본 계층 매크로블럭 움직임 벡터를 움직임 업샘플링하기 위한 움직임 업샘플러(550); 및
    계층간 잔여 예측을 실행하기 위한 계층간 잔여 예측 모듈(520)
    를 포함하고,
    상기 기본 계층의 상기 소스 화상 및 상기 상위 계층의 상기 소스 화상은 공간 해상도와 색상 비트 심도 둘 다에 있어 서로 다른 장치.
  23. 장치(1300)에 있어서,
    기본 계층 매크로블럭의 소스 화상을 복호화하기 위한 기본 계층 복호화기(1310); 및
    계층간 예측을 실행하여 상위 계층 매크로블럭의 소스 화상을 복호화하기 위한 상위 계층 복호화기(1320)
    을 포함하고, 상기 기본 계층의 상기 소스 화상 및 상기 상위 계층의 상기 소스 화상은 공간 해상도와 색상 비트 심도 둘 다에 있어 서로 다른 장치.
  24. 제23항에 있어서,
    상기 기본 계층 복호화기는 기본 계층 매크로블럭의 소스 화상을 복호화하기 위한 공간 예측 모듈(330)을 포함하고,
    상기 상위 계층 복호화기는 병치된 기본 계층 매크로블럭이 인트라 부호화된 상위 계층 매크로블럭의 소스 화상을 복호화하기 위한 계층간 예측 모듈(340)을 포함하고,
    상기 기본 계층의 상기 소스 화상 및 상기 상위 계층의 상기 소스 화상은 공간 해상도와 색상 비트 심도 둘 다에 있어 서로 다른 장치.
  25. 제23항에 있어서,
    상기 기본 계층 복호화기는 기본 계층 매크로블럭의 소스 화상을 복호화하기 위한 움직임 보상 예측 모듈(740)을 포함하고,
    상기 상위 계층 복호화기는:
    현재 상위 계층 매크로블럭의 움직임 보상 예측을 위해, 병치된 기본 계층 매크로블럭 움직임 벡터를 움직임 업샘플링하기 위한 움직임 업샘플러(720); 및
    계층간 잔여 예측을 실행하기 위한 계층간 잔여 예측 모듈(710)
    을 포함하고,
    상기 기본 계층의 상기 소스 화상 및 상기 상위 계층의 상기 소스 화상은 공간 해상도와 색상 비트 심도 둘 다에 있어 서로 다른 장치.
  26. 프로세서가 적어도,
    기본 계층 매크로블럭의 소스 화상을 부호화하는 단계; 및
    계층간 예측을 실행하여 상위 계층 매크로블럭의 소스 화상을 부호화하는 단계를
    실행하도록 하기 위한 명령이 저장되어 있는 프로세서 판독 가능 매체로서,
    상기 기본 계층의 상기 소스 화상 및 상기 상위 계층의 상기 소스 화상은 공간 해상도와 색상 비트 심도 둘 다에 있어 서로 다른 프로세서 판독 가능 매체.
  27. 프로세서가 적어도,
    기본 계층 매크로블럭의 소스 화상을 복호화하는 단계; 및
    계층간 예측을 실행하여 상위 계층 매크로블럭의 소스 화상을 복호화하는 단계를
    실행하도록 하기 위한 명령이 저장되어 있는 프로세스 판독 가능 매체로서,
    상기 기본 계층의 상기 소스 화상 및 상기 상위 계층의 상기 소스 화상은 공간 해상도와 색상 비트 심도 둘 다에 있어 서로 다른 프로세서 판독 가능 매체.
  28. 기본 계층 비트스트림(301, 701); 및
    상위 계층 비트스트림(302, 702)를 포함하도록 포매팅된 신호로서,
    상기 기본 계층 비트스트림 및 상기 상위 계층 비트스트림은 공간 해상도와 색상 비트 심도 둘 다에 있어 서로 다른 신호.
  29. 기본 계층 비트스트림; 및
    상위 계층 비트스트림을 포함하도록 포매팅된 데이터를 포함하는 프로세서 판독 가능 매체로서,
    상기 기본 계층 비트스트림 및 상기 상위 계층 비트스트림은 공간 해상도와 색상 비트 심도 둘 다에 있어 서로 다른 프로세서 판독 가능 매체.
  30. 비디오 전송 시스템(1000)에 있어서,
    기본 계층 매크로블럭의 소스 화상을 부호화하는 단계(S810); 및
    계층간 예측을 실행하여 상위 계층 매크로블럭의 소스 화상을 부호화하는 단계를 실행하도록 구성된 부호화기(1010), 및
    상기 부호화된 기본 계층 매크로블럭과 상기 부호화된 상위 계층 매크로블럭을 변조 및 전송하기 위한 전송기(1020)
    를 포함하되,
    상기 기본 계층의 상기 소스 화상 및 상기 상위 계층의 상기 소스 화상은 공간 해상도와 색상 비트 심도 둘 다에 있어 서로 다른 비디오 전송 시스템.
  31. 비디오 수신 시스템(2000)에 있어서,
    조합된 공간 특성을 갖는 부호화된 신호를 수신하여 상기 수신된 신호를 복조하기 위한 수신기(2100); 및
    상기 복조된 부호화 신호로부터 부호화된 화상의 부분을 액세스하는 단계; 상기 액세스된 부분의 상기 공간 해상도를 증가시키기 위해서 상기 액세스된 부분의 공간 업샘플링을 실행하는 단계; 및 상기 액세스된 부분의 상기 비트 심도 해상도를 증가시키기 위해서 상기 액세스된 부분의 비트 심도 업샘플링을 실행하는 단계를 적어도 실행하도록 구성된 복호화기(2200)를
    포함하는 비디오 수신 시스템.
  32. 장치에 있어서,
    기본 계층 매크로블럭의 소스 화상을 부호화하기 위한 수단; 및
    계층간 예측을 실행하여 상위 계층 매크로블럭의 소스 화상을 부호화하기 위한 수단을 포함하고,
    상기 기본 계층의 상기 소스 화상 및 상기 상위 계층의 상기 소스 화상은 공간 해상도와 색상 비트 심도 둘 다에 있어 서로 다른 장치.
  33. 장치에 있어서,
    기본 계층 매크로블럭의 소스 화상을 복호화하기 위한 수단; 및
    계층간 예측을 실행하여 상위 계층 매크로블럭의 소스 화상을 복호화하기 위한 수단을 포함하고,
    상기 기본 계층의 상기 소스 화상 및 상기 상위 계층의 상기 소스 화상은 공간 해상도와 색상 비트 심도 둘 다에 있어 서로 다른 장치.
KR1020107010574A 2007-10-19 2008-10-17 조합된 공간 및 비트 심도 확장성 KR20100086478A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US99956907P 2007-10-19 2007-10-19
US60/999,569 2007-10-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020157031004A Division KR20150126728A (ko) 2007-10-19 2008-10-17 조합된 공간 및 비트 심도 확장성

Publications (1)

Publication Number Publication Date
KR20100086478A true KR20100086478A (ko) 2010-07-30

Family

ID=40580280

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020157031004A KR20150126728A (ko) 2007-10-19 2008-10-17 조합된 공간 및 비트 심도 확장성
KR1020107010574A KR20100086478A (ko) 2007-10-19 2008-10-17 조합된 공간 및 비트 심도 확장성
KR1020177034645A KR20170137941A (ko) 2007-10-19 2008-10-17 조합된 공간 및 비트 심도 확장성

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020157031004A KR20150126728A (ko) 2007-10-19 2008-10-17 조합된 공간 및 비트 심도 확장성

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020177034645A KR20170137941A (ko) 2007-10-19 2008-10-17 조합된 공간 및 비트 심도 확장성

Country Status (7)

Country Link
US (1) US20100220789A1 (ko)
EP (1) EP2206351A2 (ko)
JP (1) JP5451626B2 (ko)
KR (3) KR20150126728A (ko)
CN (1) CN101822060B (ko)
BR (1) BRPI0818650A2 (ko)
WO (1) WO2009054920A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150107727A (ko) * 2012-11-29 2015-09-23 어드밴스드 마이크로 디바이시즈, 인코포레이티드 범위성 비디오 코딩 공간 모드용 대역폭 절감 구조

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3484154A1 (en) 2006-10-25 2019-05-15 GE Video Compression, LLC Quality scalable coding
WO2009003499A1 (en) * 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
WO2009051704A1 (en) * 2007-10-16 2009-04-23 Thomson Licensing Methods and apparatus for artifact removal for bit depth scalability
DK2279622T3 (en) * 2008-04-16 2015-01-12 Fraunhofer Ges Forschung Bit depth scalability
JP5688773B2 (ja) * 2009-02-03 2015-03-25 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置
CN102025990B (zh) * 2010-11-04 2013-11-27 曙光信息产业(北京)有限公司 一种众核环境下视频编解码动态多分辨率自适应并行方法
US8891863B2 (en) * 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
CN108391137B (zh) 2011-06-15 2022-07-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
WO2013106190A1 (en) 2012-01-09 2013-07-18 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
CN104247423B (zh) * 2012-03-21 2018-08-07 联发科技（新加坡）私人有限公司 可伸缩视频编码***的帧内模式编码方法和装置
GB2501517A (en) * 2012-04-27 2013-10-30 Canon Kk Scalable Encoding and Decoding of a Digital Image
US9843801B2 (en) 2012-07-10 2017-12-12 Qualcomm Incorporated Generalized residual prediction for scalable video coding and 3D video coding
US9491459B2 (en) * 2012-09-27 2016-11-08 Qualcomm Incorporated Base layer merge and AMVP modes for video coding
US9124899B2 (en) 2012-09-28 2015-09-01 Sharp Laboratories Of America, Inc. Motion derivation and coding for scaling video
US20140198846A1 (en) * 2013-01-16 2014-07-17 Qualcomm Incorporated Device and method for scalable coding of video information
CN105580369B (zh) 2013-03-11 2019-04-26 杜比实验室特许公司 使用分层编码对多格式高动态范围视频进行编解码的方法、装置及***
US9800884B2 (en) * 2013-03-15 2017-10-24 Qualcomm Incorporated Device and method for scalable coding of video information
WO2014162736A1 (en) * 2013-04-05 2014-10-09 Sharp Kabushiki Kaisha Video compression with color bit depth scaling
SG11201508427YA (en) * 2013-04-15 2015-11-27 Luca Rossato Hybrid backward-compatible signal encoding and decoding
EP2997732A1 (en) * 2013-05-15 2016-03-23 VID SCALE, Inc. Single loop decoding based inter layer prediction
US9762920B2 (en) * 2013-06-07 2017-09-12 Qualcomm Incorporated Dynamic range control of intermediate data in resampling process
GB2516424A (en) 2013-07-15 2015-01-28 Nokia Corp A method, an apparatus and a computer program product for video coding and decoding
US9497439B2 (en) * 2013-07-15 2016-11-15 Ati Technologies Ulc Apparatus and method for fast multiview video coding
KR102127603B1 (ko) * 2013-10-07 2020-06-26 브이아이디 스케일, 인크. 다계층 비디오 코딩을 위해 조합된 확장성 프로세싱
KR102361927B1 (ko) * 2014-02-26 2022-02-11 인터디지털 브이씨 홀딩스 인코포레이티드 Hdr 이미지들을 인코딩 및 디코딩하기 위한 방법 및 장치
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
US10440401B2 (en) 2016-04-07 2019-10-08 Dolby Laboratories Licensing Corporation Backward-compatible HDR codecs with temporal scalability
CN112040240B (zh) * 2020-11-03 2021-08-27 深圳市大疆创新科技有限公司 数据处理方法、设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5821986A (en) * 1994-11-03 1998-10-13 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
KR100679031B1 (ko) * 2004-12-03 2007-02-05 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
CN100584026C (zh) * 2006-03-27 2010-01-20 华为技术有限公司 交织模式下的视频分层编码方法
CN101102503A (zh) * 2006-07-07 2008-01-09 华为技术有限公司 视频分层编码层间运动矢量的预测方法
EP2057847A4 (en) * 2006-08-31 2011-12-21 Samsung Electronics Co Ltd VIDEO CODING ARRANGEMENT AND METHOD AND VIDEO ENCODING ARRANGEMENT AND METHOD
WO2009003499A1 (en) * 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150107727A (ko) * 2012-11-29 2015-09-23 어드밴스드 마이크로 디바이시즈, 인코포레이티드 범위성 비디오 코딩 공간 모드용 대역폭 절감 구조
KR20210109045A (ko) * 2012-11-29 2021-09-03 어드밴스드 마이크로 디바이시즈, 인코포레이티드 범위성 비디오 코딩 공간 모드용 대역폭 절감 구조

Also Published As

Publication number Publication date
EP2206351A2 (en) 2010-07-14
KR20170137941A (ko) 2017-12-13
BRPI0818650A2 (pt) 2015-04-07
WO2009054920A3 (en) 2009-12-23
JP5451626B2 (ja) 2014-03-26
CN101822060B (zh) 2014-08-06
CN101822060A (zh) 2010-09-01
KR20150126728A (ko) 2015-11-12
JP2011501568A (ja) 2011-01-06
US20100220789A1 (en) 2010-09-02
WO2009054920A2 (en) 2009-04-30

Similar Documents

Publication Publication Date Title
KR20100086478A (ko) 조합된 공간 및 비트 심도 확장성
US9961365B2 (en) Scalable video encoding method and apparatus using image up-sampling in consideration of phase-shift and scalable video decoding method and apparatus
JP5676637B2 (ja) 符号化ビットストリームのマージ
JP5180298B2 (ja) 映像符号化装置及び方法と、映像復号化装置及び方法
US20150043637A1 (en) Image processing device and method
US20100284466A1 (en) Video and depth coding
JP2017216698A (ja) ビデオビットストリームをトランスコーディングする方法及び構成
US10034008B2 (en) Method and apparatus for scalable video encoding using switchable de-noising filtering, and method and apparatus for scalable video decoding using switchable de-noising filtering
KR102616143B1 (ko) 인트라 예측 모드 스케일러블 코딩 방법 및 장치
US20180176588A1 (en) Scalable video encoding/decoding method and apparatus
US20050094726A1 (en) System for encoding video data and system for decoding video data
US20150139303A1 (en) Encoding device, encoding method, decoding device, and decoding method
US20150358617A1 (en) Image processing apparatus and image processing method
TW201026054A (en) Method and system for motion-compensated framrate up-conversion for both compressed and decompressed video bitstreams
US10469853B2 (en) Scalable video encoding/decoding method and apparatus
US10827197B2 (en) Method and apparatus for encoding multilayer video and method and apparatus for decoding multilayer video
CA2882519C (en) Method and apparatus of interlayer texture prediction
US20160227248A1 (en) Method and apparatus for encoding scalable video for encoding auxiliary picture, method and apparatus for decoding scalable video for decoding auxiliary picture
US8243798B2 (en) Methods and apparatus for scalable video bitstreams
US20130195186A1 (en) Scalable Video Coding Extensions for High Efficiency Video Coding
US20160037177A1 (en) Interlayer video encoding method and apparatus and interlayer video decoding method and apparatus for compensating luminance difference
KR20140043240A (ko) 영상 부호화/복호화 방법 및 장치
KR20230025429A (ko) 스케일러빌리티를 위한 서브-비트스트림 추출 기반 영상 코딩 장치 및 방법
KR20230017817A (ko) 멀티 레이어 기반 영상 코딩 장치 및 방법
KR20120012089A (ko) 스케일러블 비디오 코딩기법을 활용하는 영상 제공 시스템 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2015101006386; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20151027

Effective date: 20170523