KR20060105407A - 영상 신호의 스케일러블 인코딩 및 디코딩 방법 - Google Patents

영상 신호의 스케일러블 인코딩 및 디코딩 방법 Download PDF

Info

Publication number
KR20060105407A
KR20060105407A KR1020050084729A KR20050084729A KR20060105407A KR 20060105407 A KR20060105407 A KR 20060105407A KR 1020050084729 A KR1020050084729 A KR 1020050084729A KR 20050084729 A KR20050084729 A KR 20050084729A KR 20060105407 A KR20060105407 A KR 20060105407A
Authority
KR
South Korea
Prior art keywords
layer
phase difference
frame
base layer
information
Prior art date
Application number
KR1020050084729A
Other languages
English (en)
Inventor
박승욱
전병문
윤도현
박지호
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US11/392,637 priority Critical patent/US7787540B2/en
Priority to US11/392,674 priority patent/US7864849B2/en
Priority to PCT/KR2006/001196 priority patent/WO2006104363A1/en
Priority to EP06716551A priority patent/EP1878248A4/en
Priority to CN2006800161647A priority patent/CN101176347B/zh
Priority to TW095111659A priority patent/TWI330498B/zh
Priority to PCT/KR2006/001197 priority patent/WO2006104364A1/en
Priority to KR1020077025372A priority patent/KR100883604B1/ko
Priority to TW095111667A priority patent/TWI320289B/zh
Priority to EP06716550A priority patent/EP1878247A4/en
Priority to KR1020077025373A priority patent/KR100878825B1/ko
Priority to CN200680016296XA priority patent/CN101176349B/zh
Priority to MYPI20061478A priority patent/MY141121A/en
Priority to MYPI20061481A priority patent/MY140016A/en
Publication of KR20060105407A publication Critical patent/KR20060105407A/ko
Priority to US11/657,012 priority patent/US8761252B2/en
Priority to US11/657,011 priority patent/US8660180B2/en
Priority to US11/657,043 priority patent/US8755434B2/en
Priority to HK08111619.0A priority patent/HK1119892A1/xx
Priority to US12/801,916 priority patent/US8514936B2/en
Priority to US14/274,113 priority patent/US9288486B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 신호를 스케일러블하게 인코딩 하고 디코딩 하는 방법에 관한 것이다. 본 발명에서는, 영상 소오스로부터 베이스 레이어와 인핸스드 레이어를 생성할 때 베이스 레이어 및/또는 인핸스드 레이어에서의 위상 차이에 관한 정보를 생성하고, 상기 위상 차이에 관한 정보를 기초로 베이스 레이어를 이용한 레이어 간 예측 방법을 적용하여 인핸스드 레이어를 인코딩하고 디코딩 한다. 인트라 BL 모드 또는 레이어 간 레지듀얼 모드로 인핸스드 레이어를 인코딩/디코딩 할 때, 상기 위상 차이에 관한 정보를 반영하여 베이스 레이어를 업샘플링 하여, 인핸스드 레이어와 베이스 레이어의 위상을 일치시킨다. 따라서, 레이어 간 예측 방법으로 영상 신호를 인코딩 및 디코딩 할 때, 다운샘플링과 업샘플링에서 발생할 수 있는 베이스 레이어와 인핸스드 레이어 사이의 위상 차이를 조절할 수 있게 되고, 코딩 효율을 향상시킬 수 있게 된다.
MCTF, 베이스 레이어, 인핸스드 레이어, 레이어 간 예측, 다운샘플링, 업샘플링, 위상 차이

Description

영상 신호의 스케일러블 인코딩 및 디코딩 방법 { Method for scalably encoding and decoding video signal }
도 1은 베이스 레이어를 이용하여 인핸스드 레이어를 인코딩 하는 레이어 간 예측 방법에 대한 실시예를 도시한 것이고,
도 2는 인핸스드 레이어와 베이스 레이어의 위상 관계를 도시한 것이고,
도 3은 본 발명에 따른 영상 신호의 스케일러블 코딩 방법이 적용되는 영상 신호 인코딩 장치의 구성을 도시한 것이고,
도 4는 어느 한 시간적 분해 레벨에서 영상 신호에 대해 시간적 분해를 하는 구성을 도시한 것이고,
도 5는, 레이어 간 예측 방법에 따라 인코딩 된 인핸스드 레이어를 디코딩 할 때, 베이스 레이어 및/또는 인핸스드 레이어에서의 위상 차이를 반영하여 상기 디코딩에 이용될 베이스 레이어를 업샘플링 하는 본 발명에 따른 실시예를 도시한 것이고,
도 6은 도 3의 장치에 의해 인코딩 된 비트스트림을 디코딩 하는 장치의 구성을 도시한 것이고,
도 7은 시간적 분해 레벨 N의 'H' 프레임 시퀀스와 'L' 프레임 시퀀스를 분 해 레벨 N-1의 'L' 프레임 시퀀스로 시간적 합성하는 구성을 도시한 것이다.
<도면의 주요부분에 대한 부호의 설명>
100 : EL 인코더 101 : 추정/예측기
102 : 갱신기 105 : BL 디코더
110 : 텍스처 인코더 120 : 모션 코딩부
130 : 먹서 140 : 다운샘플링부
150 : BL 인코더 200 : 디먹서
210 : 텍스처 디코더 220 : 모션 디코딩부
230 : EL 디코더 231 : 역갱신기
232 : 역예측기 233 : 모션 벡터 디코더
234 : 배열기 240 : BL 디코더
본 발명은, 영상 신호의 스케일러블 인코딩 및 디코딩 방법에 관한 것으로, 좀더 상세하게는 영상 신호를 레이어 간 예측 방법을 적용하여 인코딩 및 디코딩 할 때, 베이스 레이어 및/또는 인핸스드 레이어에서의 위상 차이를 조절하는 방법에 관한 것이다.
현재 널리 사용되고 있는 휴대폰과 노트북, 그리고 앞으로 널리 사용하게 될 이동(mobile) TV와 핸드헬드 PC 등이 무선으로 송수신하는 디지털 영상 신호에 대해서는 TV 신호에서와 같은 넓은 대역을 할당하기가 여의치 않다. 따라서, 이와 같은 이동성 휴대 장치를 위한 영상 압축 방식에 사용될 표준은 좀 더 영상 신호의 압축 효율이 높아야만 한다.
더욱이, 상기와 같은 이동성 휴대 장치는 자신이 처리 또는 표현(presentation)할 수 있는 능력이 다양할 수 밖에 없다. 따라서, 압축된 영상이 그만큼 다양하게 사전 준비되어야만 하는 데, 이는 동일한 하나의 영상원(source)에 대해서 초당 전송 프레임 수, 해상도, 픽셀 당 비트 수 등 다양한 변수들로 각각 조합된 여러 품질의 영상 데이터를 구비하고 있어야 함을 의미하므로, 컨텐츠 제공자에게 많은 부담이 될 수 밖에 없다.
이러한 이유로, 컨텐츠 제공자는, 하나의 영상원에 대해 고속 비트레이트의 압축 영상 데이터를 구비해 두고, 상기와 같은 이동성 장치가 요청하면 압축 영상을 디코딩 한 다음 요청한 장치의 영상 처리 능력(capability)에 맞는 영상 데이터로 다시 인코딩 하여 이를 제공한다. 하지만 이러한 방식에는 트랜스코딩(transcoding)(decoding+scaling+encoding) 과정이 필히 수반되므로 이동성 장치가 요청한 영상을 제공함에 있어서 다소 시간 지연이 발생한다. 또한 트랜스코딩도 목표 인코딩이 다양함에 따라 복잡한 하드웨어의 디바이스와 알고리즘을 필요로 한다.
이와 같은 불리한 점들을 해소하기 위해 제안된 것이 스케일러블 영상 코덱(SVC : Scalable Video Codec)이다. 이 방식은 영상 신호를 인코딩함에 있어, 최고 화질로 인코딩 하되, 그 결과로 생성된 픽처(프레임) 시퀀스의 부분 시퀀스(시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스)를 디코딩 하여도 영상의 화질을 어느 정도 보장할 수 있도록 하는 방식이다.
MCTF(Motion Compensated Temporal Filter(or Filtering))는 상기와 같은 스케일러블 영상 코덱에 사용하기 위해 제안된 인코딩 방식이다. MCTF 방식은 대역폭이 제한된 이동 통신 등과 같은 전송 환경에 적용될 가능성이 높으므로 초당 전송되는 비트 수를 낮추기 위해 높은 압축 효율, 즉 높은 코딩 효율(coding efficiency)을 필요로 한다.
앞서 언급한 바와 같이 스케일러블 방식인 MCTF로 인코딩 된 픽쳐 시퀀스 중 일부만을 수신하여 처리하여도 어느 정도의 화질을 보장하지만, 비트 레이트(bit rate)가 낮아지는 경우에는 화질 저하가 크게 나타난다. 이를 해소하기 위해서 낮 은 전송률을 위한 별도의 보조 픽쳐 시퀀스, 예를 들어 소화면 및/또는 초당 프레임 수 등이 낮은 픽쳐 시퀀스를 제공할 수도 있다.
보조 픽쳐 시퀀스를 베이스 레이어(base layer)라고 부르고, 주 픽쳐 시퀀스를 인핸스드(enhanced)(또는 인핸스먼트(enhancement)) 레이어라고 부른다. 베이스 레이어와 인핸스드 레이어는 동일한 영상 콘텐츠를 공간 해상도나 프레임 레이트 등을 달리하여 인코딩 한 것이므로, 양 레이어의 영상 신호에는 잉여 정보(redundancy)가 존재한다. 따라서, 인핸스드 레이어의 코딩 효율을 높이기 위해, 베이스 레이어의 모션 정보 및/또는 텍스쳐(texture) 정보를 이용하여 인핸스드 레이어의 영상 신호를 예측하는데, 이를 레이어 간 예측 방법(Inter-layer prediction method)이라 한다.
도 1은 베이스 레이어를 이용하여 인핸스드 레이어를 인코딩 하는 레이어 간 예측 방법 중 인트라 BL 예측(Intra BL prediction) 방법과 레이어 간 레지듀얼 예측(Inter-layer residual prediction) 방법에 대한 실시예를 도시한 것이다.
인트라 BL 예측 방법은, 베이스 레이어의 텍스처(이미지 데이터)를 이용하는 방법으로, 인핸스드 레이어의 매크로 블록에 대응되고(상기 매크로 블록을 포함하는 프레임과 동시간인 베이스 레이스의 프레임 내에 위치하고, 인핸스드 레이어와 베이스 레이어의 화면 크기의 비율에 따라 확대했을 때 현재 매크로 블록을 커버하는 영역을 갖는 블록을 의미), 인트라 모드(Intra mode)로 인코딩 된, 베이스 레이어의 블록을 기초로, 상기 인핸스드 레이어의 매크로 블록에 대한 예측 데이터를 생성하는 방법이다. 이때, 베이스 레이어의 상기 대응 블록은, 업샘플링(up- sampling) 동작을 통해 인핸스드 레이어와 베이스 레이어의 화면 크기의 비율에 따라 확대되어 사용된다.
레이어 간 레지듀얼 예측 방법은, 이미지 데이터를 갖는 베이스 레이어의 대응 블록이 아닌 이미지의 차이값인 레지듀얼 데이터를 갖도록 인코딩 된 베이스 레이어의 대응 블록을 이용하는 점을 제외하고는, 상기 인트라 BL 예측 방법과 유사하다. 레지듀얼 데이터를 갖도록 인코딩 된 베이스 레이어의 대응 블록을 기초로, 이미지 차값인 레지듀얼 데이터를 갖도록 인코딩 된 인핸스드 레이어의 매크로 블록에 대한 예측 데이터가 생성된다. 이때, 레지듀얼 데이터를 갖는 베이스 레이어의 대응 블록은, 인트라 BL 예측 방법에서와 마찬가지로, 업샘플링을 통해 인핸스드 레이어와 베이스 레이어의 화면 크기의 비율에 따라 확대되어 사용된다.
이러한 레이어 간 예측 방법에 사용되는 낮은 해상도의 베이스 레이어는 영상 소오스를 다운샘플링(down-sampling) 하여 생성된다. 상기 다운샘플링 기법과 다운샘플링 비율(가로 및/또는 세로 축소 비율)은 매우 다양하기 때문에, 동일한 영상 소오스로부터 생성된 인핸스드 레이어와 베이스 레이어에서 서로 대응되는 픽처(또는 프레임 또는 블록)의 위상이 일치하지 않는 경우가 발생하게 된다.
도 2는 인핸스드 레이어와 베이스 레이어의 위상 관계를 도시한 것이다. 베이스 레이어는, (i) 인핸스드 레이어와는 별개로 영상 소오스를 낮은 공간적 해상도로 샘플링 하여 생성될 수도 있고, (ii) 공간 해상도가 높은 인핸스드 레이어를 다운샘플링 하여 생성될 수도 있다. 도 2에서 인핸스드 레이어와 베이스 레이어의 다운샘플링 비율은 2/3이다.
영상 신호는 휘도 정보(Y)와 관련되는 루마(Luma) 성분과 색차 정보(Cb, Cr)와 관련되는 크로마(Chroma) 성분이 분리되어 관리된다. 휘도 신호와 색차 신호의 비율은 일반적으로 4:2:0이 널리 사용되고, 색차 신호의 샘플은 휘도 신호의 샘플의 중간에 위치하는 것이 일반적이다. 따라서, 영상 소오스로부터 직접 인핸스드 레이어 및/또는 베이스 레이어를 생성할 때, 상기 비율과 이에 따른 위치 조건을 만족하도록 휘도 신호와 색차 신호를 샘플링 한다.
상기 (i)의 경우, 인핸스드 레이어와 베이스 레이어의 샘플링의 위치가 다를 수 있기 때문에, 도 2의 (a)에 도시한 바와 같이, 인핸스드 레이어와 베이스 레이어의 위상이 일치하지 않는 경우가 있다. 도 2의 (a)에서, 인핸스드 레이어와 베이스 레이어는, 각각 휘도 신호와 색차 신호는 상기 4:2:0의 비율과 이에 따른 위치 조건을 만족한다.
상기 (ii)의 경우, 인핸스드 레이어의 휘도 신호와 색차 신호를 각각 소정의 비율로 다운샘플링 하여 베이스 레이어를 생성한다. 이때, 인핸스드 레이어의 휘도 신호와 색차 신호의 위상을 각각 일치시키면서 베이스 레이어를 생성하면, 도 2의 (b)에 도시한 바와 같이, 베이스 레이어에서는 휘도 신호와 색차 신호의 4:2:0 비율에 따른 위치 조건이 만족하지 않게 된다.
또한, 휘도 신호와 색차 신호의 4:2:0 비율에 따른 위치 조건을 만족시키면서 베이스 레이어를 생성하면, 도 2의 (c)에 도시한 바와 같이, 인핸스드 레이어의 색차 신호와 베이스 레이어의 색차 신호의 위상이 일치하지 않게 된다. 이 경우, 레이어 간 예측 방법에 따라 베이스 레이어의 색차 신호를 소정의 비율로 업샘플링 하면, 인핸스드 레이어의 색차 신호와 위상이 일치하지 않게 된다.
반면에, 상기 (ii)의 경우에도, 도 2의 (a)와 같이 인핸스드 레이어와 베이스 레이어의 위상이 일치하지 않을 수 있다.
즉, 베이스 레이어를 생성할 때의 다운샘플링 과정과 레이어 간 예측 방법에서의 업샘플링 과정에서 위상이 변경되어, 인핸스드 레이어와 베이스 레이어의 위상이 일치하지 않게 되고, 이에 따라 코딩 효율이 저하되는 문제가 발생한다.
본 발명은 이러한 문제점을 해결하기 위해 창작된 것으로서, 본 발명의 목적은, 코딩 효율을 향상시킬 수 있도록, 레이어 간 예측 방법을 적용할 때 베이스 레이어와 인핸스드 레이어의 위상의 불일치를 해결하는 방법을 제공하는데 있다.
또한, 본 발명의 다른 목적은, 베이스 레이어와 인핸스드 레이어 사이의 위상에 관한 정보를 제공하는 방법을 제공하는데 있다.
상기한 목적을 달성하기 위해 본 발명의 일 실시예에 따른 영상 신호를 인코딩 하는 방법은, 영상 신호를 스케일러블하게 인코딩 하여 제 1 레이어의 비트 스트림을 생성하는 단계; 및 상기 영상 신호를 소정의 방식으로 인코딩 하여 제 2 레이어의 비트 스트림을 생성하는 단계를 포함하여 이루어지고, 여기서, 상기 제 1 레이어의 비트 스트림을 생성하는 단계는, 제 1 레이어 및/또는 제 2 레이어에서의 위상 차이에 관한 정보를 기초로, 이미지 차이값인 레지듀얼 데이터를 갖도록 인코딩 된 제 2 레이어의 대응 블록을 이용하여, 제 1 레이어의 영상 블록을 인코딩 하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
상기 영상 블록을 인코딩 하는 단계는, 상기 대응 블록을 상기 위상 차이에 관한 정보를 반영하여 업샘플링 하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
상기 위상 차이에 관한 정보는, 상기 제 1 레이어와 제 2 레이어의 휘도 성분의 신호 사이의 위상 차이, 상기 제 1 레이어와 제 2 레이어의 색차 성분의 신호 사이의 위상 차이 또는 상기 제 1 또는 제 2 레이어 각각의 휘도 및 색차 성분에 기초한 위상 차이 중 어느 하나이고, 상기 제 1 레이어의 시퀀스 또는 슬라이스 헤더 영역에 기록되는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 인코딩 된 영상 비트 스트림을 디코딩 하는 방법은, 스케일러블하게 인코딩 되어 수신되는 제 1 레이어의 비트 스트림을 디코딩 하는 단계; 및 소정의 방식으로 인코딩 되어 수신되는 제 2 레이어의 비트 스트림을 디코딩 하는 단계를 포함하여 이루어지고, 여기서, 상기 제 1 레이어를 디코딩 하는 단계는, 제 1 레이어 및/또는 제 2 레이어에서의 위상 차이에 관한 정보를 기초로, 이미지 차이값인 레지듀얼 데이터를 갖도록 인코딩 된 제 2 레이어의 대응 블록을 이용하여, 제 1 레이어의 영상 블록을 디코딩 하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
이하, 본 발명의 바람직한 실시예에 대해 첨부 도면을 참조하여 상세히 설명한다.
도 3은 본 발명에 따른 영상 신호의 스케일러블 코딩 방법이 적용되는 영상 신호 인코딩 장치의 구성을 도시한 것이다.
도 3의 영상 신호 인코딩 장치는, 입력되는 영상 신호를 그대로 또는 다운샘플링 하여 인핸스드 레이어 신호를 생성하고 또한 상기 입력되는 영상 신호 또는 상기 인핸스드 레이어 신호를 소정 방식에 따라 다운샘플링 하여 베이스 레이어 신호를 생성하는 다운샘플링부(140), 상기 다운샘플링부(140)에서 생성되는 인핸스드 레이어 신호를, 예를 들어 MCTF 방식에 의해 매크로 블록(macro block) 단위로 스케일러블하게 인코딩 하고 적절한 관리 정보를 생성하는 인핸스드 레이어(EL) 인코더(100), 상기 인코딩 된 각 매크로 블록의 데이터를 압축된 비트 열로 변환하는 텍스처(Texture) 코딩부(110), 상기 EL 인코더(100)에 의해 얻어지는 영상 블록의 모션 벡터(motion vectors)를 지정된 방식에 의해 압축된 비트 열로 코딩 하는 모션 코딩부(120), 상기 다운샘플링부(140)에서 생성되는 베이스 레이어 신호를 신호를 지정된 방식, 예를 들어 MPEG 1, 2, 또는 4, 또는 H.261, H.264 방식으로 인코딩 하여 필요에 따라 소화면, 예를 들어 원래 크기의 25%인 픽쳐들의 시퀀스를 생성하는 베이스 레이어(BL) 인코더(150), 상기 텍스처 코딩부(110)의 출력 데이터, 상기 BL 인코더(150)의 소화면 시퀀스 및 상기 모션 코딩부(120)의 출력 벡터 데이터를 기 지정된 포맷으로 인캡슐(encapsulate) 한 다음 기 지정된 전송 포맷으로 상호 먹싱하여 출력하는 먹서(130)를 포함하여 구성된다.
상기 다운샘플링부(140)는, 인핸스드 레이어 신호와 베이스 레이어 신호뿐만 아니라, 각 레이어에 대한 공간 해상도(화면 크기), 프레임 레이트, 휘도 신호와 색차 신호의 비율, 색차 신호의 위치 등의 샘플링과 관련된 정보, 및 각 레이어의 휘도 신호와 색차 신호의 위치에 기초한 위상 차이에 관한 정보를 상기 EL 인코더(100)와 BL 인코더(150)에 전송한다.
상기 위상 차이 정보는 두 레이어의 휘도 신호의 위상 차이로 정의될 수 있다. 각 레이어의 휘도 신호와 색차 신호에 대해서는 휘도 신호와 색차 신호의 비율에 따른 위치 조건을 만족하도록 샘플링 되고, 두 레이어의 휘도 신호는 서로 위상이 동기되도록(위상이 일치하도록) 샘플링 되는 것이 일반적이다.
또는, 상기 위상 차이 정보는, 두 레이어의 색차 신호의 위상 차이로 정의될 수도 있다. 여기서, 상기 두 레이어의 색차 신호의 위상 차이는, 두 레이어의 휘도 신호의 위치를 일치시켜 위상이 동일하도록 하여, 두 레이어의 색차 신호의 위치 간의 차이에 기초하여 구해질 수 있다.
또는, 상기 위상 차이 정보는, 예를 들어 인핸스드 또는 베이스 레이어를 생성하기 위한 상기 입력되는 영상 신호에 기초한, 하나의 가상 레이어를 기준으로 하여 각 레이어에 대하여 개별적으로 정의될 수도 있다.
상기 EL 인코더(100)는, 상기 다운샘플링부(140)로부터 전송되는 상기 위상 차이 정보를 시퀀스 층(Sequence layer) 또는 슬라이스 층(Slice layer)의 헤더 영역에 기록하는데, 상기 위상 차이 정보가 0이 아닌 경우, 두 레이어 사이에 위상 차이가 존재하는 것을 가리키는 글로벌 쉬프트 플래그(global_shift_flag)를, 예를 들어 '1'로 설정하고, 상기 위상 차이 값을 global_shift_x 및 global_shift_y에 기록한다.
반면에, 상기 위상 차이 정보가 0인 경우, 상기 EL 인코더(100)는, 상기 global_shift_flag를, 예를 들어 '0'으로 설정하고, 상기 global_shift_x 및 global_shift_y는 기록하지 않는다.
물론, 상기 EL 인코더(100)는, 필요한 경우 상기 샘플링과 관련된 정보도 상기 시퀀스 층(Sequence layer) 또는 슬라이스 층(Slice layer)의 헤더 영역에 기록한다.
상기 EL 인코더(100)는, 임의 영상 프레임(또는 픽쳐) 내의 매크로 블록에 대하여 모션 추정(motion estimation)으로 구한 기준 블록을 감하는 예측 동작을 수행하며, 또한 선택적으로 상기 매크로 블록과 기준 블록의 이미지 차를 그 기준 블록에 더하는 갱신(update) 동작을 수행한다.
상기 EL 인코더(100)는, 입력되는 영상 프레임 시퀀스를 에러 값을 갖게 될 프레임과 상기 에러 값이 더해질 프레임, 예를 들어 홀수(odd) 프레임과 짝수(even) 프레임으로 분리하여, 예측 동작과 갱신 동작을 여러 인코딩 레벨에 걸쳐, 예를 들어 하나의 GOP(Group Of Pictures)에 대해 L 프레임(갱신 동작에 의해 생성되는 프레임)의 수가 1개가 될 때까지 수행하는데, 도 4는 그 중 한 레벨에서의 예측 동작과 갱신 동작에 관련된 구성을 도시한 것이다.
도 4의 구성은, 상기 BL 인코더(150)에서 인코딩 된 소화면 시퀀스의 스트림에 대해서 매크로 블록의 모드와 같은 인코딩 정보를 추출하고, 인코딩 된 베이스 레이어 스트림을 디코딩 하여 매크로 블록 또는 매크로 블록들로 구성된 프레임을 생성하는 기능을 갖는 베이스 레이어(BL) 디코더(105), 및 모션 추정(motion estimation)을 통해 레지듀얼(residual) 데이터를 갖게 될 프레임, 예를 들어 홀수 프레임에 대해서, 그 프레임 내의 각 매크로 블록에 대한 기준 블록을 찾고 그 기준 블록과의 이미지 차(각 대응 화소의 차값) 및 모션 벡터를 산출하는 예측 동작을 수행하는 추정/예측기(101)를 포함하고 있다. 나아가, 상기 매크로 블록에 대한 기준 블록을 포함하는 프레임, 예를 들어 짝수 프레임에 대해서, 상기 매크로 블록에 대해 산출한 이미지 차를 정규화(normalize)하여 해당 기준 블록에 더하는 갱신 동작을 수행하는 갱신기(102)를 더 포함할 수 있다.
여기서, 이미지 차가 가장 적은 블록이 가장 높은 상관 관계를 갖는 블록이다. 이미지 차의 크기는, 예를 들어 pixel-to-pixel의 차이값 총합 또는 그 평균값 등으로 정해지며, 그 크기가 소정 문턱값 이하가 되는 블록들 중에서 크기가 가장 작은 매크로 블록 또는 블록들을 기준(reference) 블록(들)이라 한다.
상기 추정/예측기(101)가 수행하는 동작을 'P' 동작이라 하며, 'P' 동작에 의해 생성되는 프레임은 'H' 프레임으로, 이 'H' 프레임에 있는 레지듀얼 데이터는 영상 신호의 고주파 성분을 반영한다. 또한, 상기 갱신기(102)가 수행하는 동작을 'U' 동작이라 하며, 'U' 동작에 의해 생성되는 프레임은 'L' 프레임으로, 'L' 프레임은 저역 서브밴드 픽쳐를 갖는다.
도 4의 추정/예측기(101)와 갱신기(102)는 프레임 단위가 아니고 하나의 프레임이 분할된 복수 개의 슬라이스에 대해 병렬적으로 동시에 수행할 수도 있다. 이하의 실시예에서 사용되는 '프레임'의 용어는 '슬라이스'로 대체하여도 기술의 등가성이 유지되는 경우에는 '슬라이스'의 의미를 당연히 포함하는 것으로 해석되어야 한다.
상기 추정/예측기(101)는, 입력되는 영상 프레임 또는 전 레벨에서 얻어진 'L' 프레임의 홀수 프레임 각각에 대해서, 기 정해진 크기의 매크로 블록(macro-block)으로 분할하고, 각 분할된 매크로 블록과 이미지가 가장 유사한 블록을, 동일한 시간적 분해 레벨에 있는 전후의 짝수 프레임 내에서 또는 자신의 프레임 내에서 찾아서 예측 영상을 만들고 모션 벡터를 구하는 과정을 수행한다.
또는, 상기 추정/예측기(101)는, 인트라 BL 예측 방법을 적용하여 상기 매크로 블록에 대한 기준 블록을 베이스 레이어 프레임에서 찾을 수도 있는데, 상기 BL 디코더(105)에 의해 복원된 베이스 레이어의 동시간의 프레임 내에 내부 모드로 인코딩 된 대응 블록(상기 매크로 블록을 포함하는 프레임과 동시간인 베이스 레이스의 프레임 내에 위치하고, 인핸스드 레이어와 베이스 레이어의 화면 크기의 비율에 따라 확대했을 때 현재 매크로 블록을 커버하는 영역을 갖는 블록)을 찾는다.
이후, 상기 추정/예측기(101)는, 상기 찾아진 베이스 레이어의 대응 블록을 내부 모드의 기준이 되는 다른 블록의 화소값을 근거로 원래의 이미지로 복원하고, 업샘플링 동작을 통해 인핸스드 레이어와 베이스 레이어의 화면 크기의 비율에 따라 확대한다. 이때 상기 추정/예측기(101)는, 확대되는 베이스 레이어의 대응 블록과 인핸스드 레이어의 상기 매크로 블록의 위상이 일치할 수 있도록, 상기 다운샘플링부(140)로부터 전송되는 상기 위상 차이 정보(global_shift_x/y)를 고려하여 업샘플링 동작을 수행한다.
그리고, 상기 추정/예측기(101)는, 위상이 일치하도록 확대된 베이스 레이어의 대응 블록 내의 대응 영역(상기 대응 블록 내의 부분 영역으로 프레임 내에서의 상대적인 위치가 상기 매크로 블록과 동일한 영역)을 기준으로 상기 매크로 블록을 인코딩 한다.
또한, 상기 추정/예측기(101)는, 필요한 경우, 상기 확대된 베이스 레이어의 대응 블록의 위상을 변경하면서 상기 매크로 블록에 대한 모션 추정 동작을 수행하여, 상기 매크로 블록과 상관 관계가 더 높은 기준 영역을 검색하고, 상기 검색된 기준 영역을 이용하여 상기 매크로 블록을 인코딩 한다.
그리고, 상기 기준 영역을 검색하면서 상기 확대된 대응 블록의 위상이 추가로 변경되는 경우, 상기 global_shift_x/y와 다른 위상 차이가 상기 매크로 블록과 이에 대응되는 블록 사이에 존재하는 것을 가리키기 위한 로컬 쉬프트 플래그(local_shift_flag)를, 예를 들어 '1'로 설정하여 상기 매크로 블록의 헤더 영역에 기록하고, 상기 매크로 블록과 대응 블록 사이의 위상 차이를 local_shift_x 및 local_shift_y에 기록한다.
나아가, 상기 추정/예측기(101)는, 인핸스드 레이어의 매크로 블록이 인트라 BL 모드로 인코딩 되었음을 알리는 정보를 상기 매크로 블록의 헤더 영역에 삽입하여, 디코더에 알린다.
한편, 상기 추정/예측기(101)는, 전후의 다른 프레임 내에서 검색한 기준 블록을 이용하여 이미지 차이값인 레지듀얼 데이터를 갖도록 인코딩 한 매크로 블록 에 대해서 레이어 간 레지듀얼 예측(Inter-layer residual prediction) 방법을 적용할 수도 있다. 이 경우에도, 상기 추정/예측기(101)는, 베이스 레이어의 대응 블록(이미지의 차이값인 레지듀얼 데이터를 갖도록 인코딩 된 블록)을 상기 다운샘플링부(140)로부터 전송되는 상기 위상 차이 정보(global_shift_x/y)를 고려하여 업샘플링 하여, 두 레이어에서의 위상을 일치시키도록 한다.
또한, 상기 추정/예측기(101)는, 인핸스드 레이어의 매크로 블록이 레이어 간 레지듀얼 예측 방법으로 인코딩 되었음을 알리는 정보를 상기 매크로 블록의 헤더 영역에 삽입하여, 디코더에 알린다.
상기 추정/예측기(101)는, 프레임 내의 모든 매크로 블록에 대해 상기의 과정을 수행하여, 해당 프레임에 대한 예측 영상인 'H' 프레임을 완성한다. 또한, 상기 추정/예측기(101)는, 입력되는 영상 프레임 또는 전 레벨에서 얻어진 'L' 프레임의 모든 홀수 프레임에 대해서, 각 프레임에 대한 예측 영상인 'H' 프레임을 완성한다.
한편, 상기 갱신기(102)는, 앞서 설명한 바와 같이, 상기 추정/예측기(101)에 의해 생성된 'H' 프레임 내의 각 매크로 블록 내의 이미지 차를 해당 기준 블록이 있는 'L' 프레임(입력되는 영상 프레임 또는 전 레벨에서 얻어진 'L' 프레임의 짝수 프레임)에 더하는 동작을 수행한다.
지금까지 설명한 방법에 의해 인코딩 된 데이터 스트림은 유선 또는 무선으로 디코딩 장치에 전송되거나 기록 매체를 매개로 하여 전달되며, 디코딩 장치는 이후 설명하는 방법에 따라 원래의 영상 신호를 복원하게 된다.
도 5에서는, 레이어 간 예측 방법에 따라 인코딩 된 인핸스드 레이어를 디코딩 할 때, 베이스 레이어 및/또는 인핸스드 레이어에서의 위상 차이를 반영하여 상기 디코딩에 이용될 베이스 레이어를 업샘플링 하는 본 발명에 따른 실시예를 도시하고 있다.
레이어 간 예측 방법에 따라 인코딩 된 인핸스드 레이어의 매크로 블록을 디코딩 하기 위하여, 상기 매크로 블록에 대응되는 베이스 레이어의 대응 블록을 업샘플링을 통해 인핸스드 레이어와 베이스 레이어의 화면 크기의 비율로 확대한다. 이때, 인핸스드 레이어 및/또는 베이스 레이어에서의 위상 차이 정보(global_shift_x/y)를 반영하여 업샘플링 동작을 수행하여, 상기 인핸스드 레이이어의 매크로 블록과 확대된 베이스 레이어의 대응 블록 사이의 위상을 보정하도록 한다.
또한, 상기 global_shift_x/y와 다른 위상 차이(local_shift_x/y)가 상기 인핸스드 레이어의 매크로 블록과 베이스 레이어의 대응 블록 사이에 존재하는 경우, 상기 대응 블록에 대해서는 상기 local_shift_x/y를 반영하여 업샘플링 동작을 수행한다.
이후, 인핸스드 레이어의 매크로 블록과 위상이 일치되도록 확대된 대응 블록을 이용하여 상기 매크로 블록의 원래의 이미지를 복원한다.
도 6은 도 3의 장치에 의해 인코딩 된 비트 스트림을 디코딩 하는 장치의 블록도이다. 도 6의 디코딩 장치는, 수신되는 비트 스트림에서 압축된 모션 벡터 스 트림과 압축된 매크로 블록 정보 스트림을 분리하는 디먹서(200), 압축된 매크로 블록 정보 스트림을 원래의 비압축 상태로 복원하는 텍스처 디코딩부(210), 압축된 모션 벡터 스트림을 원래의 비압축 상태로 복원하는 모션 디코딩부(220), 압축 해제된 매크로 블록 정보 스트림과 모션 벡터 스트림을, 예를 들어 MCTF 방식에 따라 원래의 영상 신호로 역변환하는 인핸스드 레이어(EL) 디코더(230), 베이스 레이어 스트림을 정해진 방식, 예를 들어 MPEG4 또는 H.264 방식에 의해 디코딩 하는 베이스 레이어(BL) 디코더(240)를 포함하여 구성된다.
상기 EL 디코더(230)는, 레이어 간 예측 방법에 따라 인핸스드 레이어의 스트림을 디코딩 하기 위하여, 베이스 레이어의 인코딩 정보 및/또는 디코딩 된 베이스 레이어의 프레임(또는 매크로 블록)을 이용한다. 이를 위해, 상기 EL 디코더(230)는, 인핸스드 레이어의 시퀀스 헤더 영역 또는 슬라이스 헤더 영역으로부터 global_shift_flag와 global_shift_x/y를 독출하여, 인핸스드 레이어 및/또는 베이스 레이어에서의 위상 차이가 존재하는지 그리고 그 위상 차이를 확인한다. 그리고, 상기 EL 디코더(230)는, 상기 확인된 위상 차이를 반영하면서 베이스 레이어를 업샘플링 함으로써, 레이어 간 예측 방법에 이용될 베이스 레이어를 인핸스드 레이어와 위상을 일치시키도록 한다.
상기 EL 디코더(230)는, 입력되는 스트림으로부터 원래의 프레임 시퀀스로 복원하는데, 도 7은 상기 EL 디코더(230)의 주요 구성을 상세히 도시한 것으로, MCTF 방식에 대한 예이다.
도 7은 시간적 분해 레벨 N의 'H' 프레임 시퀀스와 'L' 프레임 시퀀스를 시 간적 분해 레벨 N-1의 'L' 프레임 시퀀스로 시간적 합성(Temporal Composition)하는 구성이다. 도 7에는, 입력되는 'H' 프레임의 화소의 차값을 입력되는 'L' 프레임에서 선택적으로 감하는 역갱신기(231), 'H' 프레임의 이미지 차가 감해진 'L' 프레임과 그 'H' 프레임을 사용하여 원래의 이미지를 갖는 'L' 프레임을 복원하는 역예측기(232), 입력되는 모션 벡터 스트림을 디코딩 하여 'H' 프레임 내의 각 블록의 모션 벡터 정보를 각 단(stage)의 역갱신기(231)와 역예측기(232)에 제공하는 모션 벡터 디코더(233) 및 상기 역예측기(232)에 의해 완성된 'L' 프레임을 상기 역갱신기(231)의 출력 'L' 프레임 사이에 삽입하여 정상적인 순서의 'L' 프레임 시퀀스로 만드는 배열기(234)를 포함한다.
상기 배열기(234)에 의해 출력되는 'L' 프레임은 레벨 N-1의 'L' 프레임 시퀀스(701)가 되고, 이는 입력되는 N-1 레벨의 'H' 프레임 시퀀스(702)와 함께 다음 단의 역갱신기와 역예측기에 의해 'L' 프레임 시퀀스로 다시 복원되며, 이 과정이 인코딩 할 때 수행된 레벨만큼 수행되어 원래의 영상 프레임 시퀀스로 복원된다.
수신되는 레벨 N의 'H' 프레임과 레벨 N+1에서 생성된 레벨 N의 'L' 프레임이 레벨 N-1의 'L' 프레임으로 복원되는 레벨 N에서의 복원(시간적 합성) 과정을 보다 상세히 설명한다.
먼저 상기 역갱신기(231)는, 임의의 'L' 프레임(레벨 N)에 대해, 상기 모션 벡터 디코더(233)로부터 제공되는 모션 벡터를 참조하여, 인코딩 과정에서 상기 임의의 'L' 프레임(레벨 N)으로 갱신되는 원래의 'L' 프레임(레벨 N-1) 내의 블록을 기준 블록으로 하여 이미지 차를 구한 모든 'H' 프레임(레벨 N)을 파악한 다음, 상 기 'H' 프레임 내의 매크로 블록의 에러 값을 상기 임의의 'L' 프레임 내의 해당 블록의 화소값에서 감하는 동작을 수행하여, 원래의 'L' 프레임을 복원한다.
현재 'L' 프레임(레벨 N) 내의 블록 중 인코딩 과정에서 'H' 프레임 내의 매크로 블록의 에러 값에 의해 갱신된 블록에 대해 상기와 같은 역갱신 동작을 수행하여 레벨 N-1의 'L' 프레임으로 복원한다.
상기 역예측기(232)는, 임의의 'H' 프레임 내의 매크로 블록에 대해, 상기 모션 벡터 디코더(233)로부터 제공되는 모션 벡터를 참조하여, 'L' 프레임(상기 역갱신기(231)에 의해 역갱신되어 출력되는 'L' 프레임)에 있는 기준 블록을 파악한 다음, 상기 매크로 블록의 화소의 차값(에러 값)에 기준 블록의 화소값을 더함으로써 원래의 이미지를 복원한다.
또는, 상기 역예측기(232)는, 임의의 'H' 프레임 내의 매크로 블록이 인트라 BL 모드로 인코딩 되었음을 가리키는 정보가 상기 매크로 블록의 헤더 영역에 포함된 경우, 상기 BL 디코더(240)로부터 제공되는 베이스 레이어의 프레임을 이용하여 상기 매크로 블록에 대한 원래의 이미지를 복원하는데, 이에 대해 설명하면 다음과 같다.
상기 역예측기(232)는, 베이스 레이어에 내부 모드로 인코딩 된, 상기 매크로 블록에 대한 대응 블록을 내부 모드의 기준이 되는 다른 블록의 화소값을 근거로 원래의 이미지로 복원하고, 업샘플링 동작을 통해 인핸스드 레이어와 베이스 레이어의 화면 크기의 비율에 따라 확대한다. 이때 인핸스드 레이어 및/또는 베이스 레이어에서의 위상 차이 정보(global_shift_x/y)를 반영하여 업샘플링 동작을 수행 한다. 이후, 상기 역예측기(232)는, 위상이 일치하도록 확대된 베이스 레이어의 대응 블록 내의 대응 영역(상기 대응 블록 내의 부분 영역으로 프레임 내에서의 상대적인 위치가 상기 매크로 블록과 동일한 영역)의 화소값을 상기 매크로 블록의 화소의 차값들에 더함으로써, 상기 매크로 블록에 대한 원래의 이미지를 복원한다.
또한, 상기 매크로 블록과 대응 블록 사이에 상기 global_shift_x/y와 다른 위상 차이(local_shift_x/y)가 존재하는 것을 가리키는 정보(local_shift_flag)가 상기 매크로 블록의 헤더 영역에 포함된 경우, 상기 local_shift_x/y를 반영하여 상기 대응 블록에 대한 업샘플링 동작을 수행한다.
한편, 상기 역예측기(232)는, 임의의 'H' 프레임 내의 매크로 블록이 레이어 간 레지듀얼 모드로 인코딩 되었음을 가리키는 정보가 상기 매크로 블록의 헤더 영역에 포함된 경우, 상기 매크로 블록에 대한 베이스 레이어의 대응 블록(이미지의 차이값인 레지듀얼 데이터를 갖도록 인코딩 된 블록)을 상기 global_shift_x/y를 반영하여 업샘플링 동작을 수행하고, 위상이 일치하도록 확대된 상기 대응 블록을 이용하여 상기 매크로 블록을 레지듀얼 데이터를 갖도록 복원한다.
이후, 상기 역예측기(232)는, 레지듀얼 데이터를 갖도록 상기 복원된 매크로 블록에 대해, 상기 모션 벡터 디코더(233)로부터 제공되는 모션 벡터를 참조하여, 'L' 프레임에 있는 기준 블록을 파악하고, 상기 매크로 블록의 화소의 차이값(레지듀얼 데이터)에 기준 블록의 화소값을 더함으로써 원래의 이미지를 복원한다.
현재 'H' 프레임 내의 모든 매크로 블록이 상기와 같은 동작을 통해 원래의 이미지로 복원되고, 이들이 모두 조합되어 'L' 프레임으로 복원되면, 이 'L' 프레 임은 상기 배열기(234)를 통해 상기 역갱신기(231)에서 복원된 'L' 프레임과 교대로 배열되어 다음 단으로 출력된다.
전술한 방법에 따라, 인코딩 된 데이터 스트림이 완전한 영상 프레임 시퀀스로 복구된다. 특히, MCTF 방식을 예로 들어 설명한 인코딩 과정에서 예측 동작과 갱신 동작을 한 GOP에 대해서 N회 수행한 경우, MCTF 디코딩 과정에서 역갱신 동작과 역예측 동작을 N회 수행하면 원래 영상 신호의 화질을 얻을 수 있고, 그 보다 작은 횟수로 수행하면 화질이 다소 저하되지만 비트 레이트는 보다 낮은 영상 프레임 시퀀스를 얻을 수 있다. 따라서, 디코딩 장치는 자신의 성능에 맞는 정도로 상기 역갱신 동작과 역예측 동작을 수행하도록 설계된다.
전술한 디코딩 장치는 이동 통신 단말기 등에 실장되거나 또는 기록 매체를 재생하는 장치에 실장될 수 있다.
이상, 전술한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서 또 다른 다양한 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
따라서, 영상 신호를 레이어 간 예측 방법을 적용하여 인코딩/디코딩 할 때, 다운샘플링과 업샘플링 과정에서 베이스 레이어 및/또는 인핸스드 레이어에서의 위상 차이가 발생하지 않도록 함으로써, 코딩 효율을 향상시킬 수 있게 된다.

Claims (8)

  1. 영상 신호를 스케일러블하게 인코딩 하여 제 1 레이어의 비트 스트림을 생성하는 단계; 및
    상기 영상 신호를 소정의 방식으로 인코딩 하여 제 2 레이어의 비트 스트림을 생성하는 단계를 포함하여 이루어지고,
    여기서, 상기 제 1 레이어의 비트 스트림을 생성하는 단계는,
    제 1 레이어 및/또는 제 2 레이어에서의 위상 차이에 관한 정보를 기초로, 이미지 차이값인 레지듀얼 데이터를 갖도록 인코딩 된 제 2 레이어의 대응 블록을 이용하여, 제 1 레이어의 영상 블록을 인코딩 하는 단계를 포함하여 이루어지는 것을 특징으로 하는 영상 신호를 인코딩 하는 방법.
  2. 제 1항에 있어서,
    상기 영상 블록을 인코딩 하는 단계는, 상기 대응 블록을 상기 위상 차이에 관한 정보를 반영하여 업샘플링 하는 단계를 포함하여 이루어지는 것을 특징으로 하는 영상 신호를 인코딩 하는 방법.
  3. 제 1항에 있어서,
    상기 위상 차이에 관한 정보는, 상기 제 1 레이어와 제 2 레이어의 휘도 성분의 신호 사이의 위상 차이, 상기 제 1 레이어와 제 2 레이어의 색차 성분의 신호 사이의 위상 차이 또는 상기 제 1 또는 제 2 레이어 각각의 휘도 및 색차 성분에 기초한 위상 차이 중 어느 하나인 것을 특징으로 하는 영상 신호를 인코딩 하는 방법.
  4. 제 1항에 있어서,
    상기 제 1 레이어 및/또는 제 2 레이어에서의 위상 차이에 관한 정보는 상기 제 1 레이어의 시퀀스 또는 슬라이스 헤더 영역에 기록되는 것을 특징으로 하는 영상 신호를 인코딩 하는 방법.
  5. 스케일러블하게 인코딩 되어 수신되는 제 1 레이어의 비트 스트림을 디코딩 하는 단계; 및
    소정의 방식으로 인코딩 되어 수신되는 제 2 레이어의 비트 스트림을 디코딩 하는 단계를 포함하여 이루어지고,
    여기서, 상기 제 1 레이어를 디코딩 하는 단계는,
    제 1 레이어 및/또는 제 2 레이어에서의 위상 차이에 관한 정보를 기초로, 이미지 차이값인 레지듀얼 데이터를 갖도록 인코딩 된 제 2 레이어의 대응 블록을 이용하여 제 1 레이어의 영상 블록을 디코딩 하는 단계를 포함하여 이루어지는 것을 특징으로 하는 인코딩 된 영상 비트 스트림을 디코딩 하는 방법.
  6. 제 5항에 있어서,
    상기 위상 차이에 관한 정보는 제 1 레이어의 시퀀스 또는 슬라이스 헤더 영역으로부터 독출되는 것을 특징으로 하는 인코딩 된 영상 비트 스트림을 디코딩 하는 방법.
  7. 제 5항에 있어서,
    상기 영상 블록을 디코딩 하는 단계는, 상기 대응 블록을 상기 위상 차이에 관한 정보를 반영하여 업샘플링 하는 단계를 포함하여 이루어지는 것을 특징으로 하는 인코딩 된 영상 비트 스트림을 디코딩 하는 방법.
  8. 제 5항에 있어서,
    상기 위상 차이에 관한 정보는, 상기 제 1 레이어와 제 2 레이어의 휘도 성분의 신호 사이의 위상 차이, 상기 제 1 레이어와 제 2 레이어의 색차 성분의 신호 사이의 위상 차이 또는 상기 제 1 또는 제 2 레이어 각각의 휘도 및 색차 성분에 기초한 위상 차이 중 어느 하나인 것을 특징으로 하는 인코딩 된 영상 비트 스트림을 디코딩 하는 방법.
KR1020050084729A 2003-03-27 2005-09-12 영상 신호의 스케일러블 인코딩 및 디코딩 방법 KR20060105407A (ko)

Priority Applications (20)

Application Number Priority Date Filing Date Title
US11/392,637 US7787540B2 (en) 2005-04-01 2006-03-30 Method for scalably encoding and decoding video signal
US11/392,674 US7864849B2 (en) 2005-04-01 2006-03-30 Method for scalably encoding and decoding video signal
EP06716550A EP1878247A4 (en) 2005-04-01 2006-03-31 METHOD FOR SCALABLE CODING AND DECODING OF VIDEO SIGNAL
CN200680016296XA CN101176349B (zh) 2005-04-01 2006-03-31 可对视频信号缩放地进行编码和解码的方法
CN2006800161647A CN101176347B (zh) 2005-04-01 2006-03-31 可对视频信号缩放地进行编码和解码的方法
TW095111659A TWI330498B (en) 2005-04-01 2006-03-31 Method for scalably encoding and decoding video signal
PCT/KR2006/001197 WO2006104364A1 (en) 2005-04-01 2006-03-31 Method for scalably encoding and decoding video signal
KR1020077025372A KR100883604B1 (ko) 2005-04-01 2006-03-31 스케일러블 비디오 신호 인코딩 및 디코딩 방법
TW095111667A TWI320289B (en) 2005-04-01 2006-03-31 Method for scalably encoding and decoding video signal
PCT/KR2006/001196 WO2006104363A1 (en) 2005-04-01 2006-03-31 Method for scalably encoding and decoding video signal
KR1020077025373A KR100878825B1 (ko) 2005-04-01 2006-03-31 스케일러블 비디오 신호 인코딩 및 디코딩 방법
EP06716551A EP1878248A4 (en) 2005-04-01 2006-03-31 METHOD FOR SCALABLE CODING AND DECODING A VIDEO SIGNAL
MYPI20061478A MY141121A (en) 2005-04-01 2006-04-03 Method for scalably encoding and decoding video signal
MYPI20061481A MY140016A (en) 2005-04-01 2006-04-03 Method for scalably encoding and decoding video signal
US11/657,012 US8761252B2 (en) 2003-03-27 2007-01-24 Method and apparatus for scalably encoding and decoding video signal
US11/657,011 US8660180B2 (en) 2005-04-01 2007-01-24 Method and apparatus for scalably encoding and decoding video signal
US11/657,043 US8755434B2 (en) 2005-07-22 2007-01-24 Method and apparatus for scalably encoding and decoding video signal
HK08111619.0A HK1119892A1 (en) 2005-04-01 2008-10-22 Method for scalably encoding and decoding video signal
US12/801,916 US8514936B2 (en) 2005-04-01 2010-07-01 Method for scalably encoding and decoding video signal
US14/274,113 US9288486B2 (en) 2005-04-01 2014-05-09 Method and apparatus for scalably encoding and decoding video signal

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US66711505P 2005-04-01 2005-04-01
US60/667,115 2005-04-01
US67024605P 2005-04-12 2005-04-12
US67024105P 2005-04-12 2005-04-12
US60/670,241 2005-04-12
US60/670,246 2005-04-12

Publications (1)

Publication Number Publication Date
KR20060105407A true KR20060105407A (ko) 2006-10-11

Family

ID=37635195

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020050084729A KR20060105407A (ko) 2003-03-27 2005-09-12 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR1020050084742A KR20060105408A (ko) 2003-03-27 2005-09-12 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR1020050084744A KR20060105409A (ko) 2003-03-27 2005-09-12 영상 신호의 스케일러블 인코딩 및 디코딩 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020050084742A KR20060105408A (ko) 2003-03-27 2005-09-12 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR1020050084744A KR20060105409A (ko) 2003-03-27 2005-09-12 영상 신호의 스케일러블 인코딩 및 디코딩 방법

Country Status (5)

Country Link
US (7) US7864841B2 (ko)
KR (3) KR20060105407A (ko)
HK (1) HK1119892A1 (ko)
MY (4) MY140016A (ko)
TW (4) TWI330498B (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100018474A (ko) * 2008-08-06 2010-02-17 톰슨 라이센싱 인핸스드 공간 계층 프레임의 손실된 또는 손상된 블록을 예측하기 위한 방법 및 그에 적응된 ｓｖｃ-디코더
US8619860B2 (en) 2005-05-03 2013-12-31 Qualcomm Incorporated System and method for scalable encoding and decoding of multimedia data using multiple layers
KR20150041098A (ko) * 2012-08-06 2015-04-15 브이아이디 스케일, 인크. 다중-레이어 비디오 코딩에서 공간적 레이어들에 대한 샘플링 그리드 정보
US9571840B2 (en) 2008-06-03 2017-02-14 Microsoft Technology Licensing, Llc Adaptive quantization for enhancement layer video coding
US9967561B2 (en) 2006-05-05 2018-05-08 Microsoft Technology Licensing, Llc Flexible quantization

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US6931063B2 (en) 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
KR100703748B1 (ko) 2005-01-25 2007-04-05 삼성전자주식회사 다 계층 기반의 비디오 프레임을 효율적으로 예측하는 방법및 그 방법을 이용한 비디오 코딩 방법 및 장치
EP1849303A2 (en) * 2005-02-18 2007-10-31 THOMSON Licensing Method for deriving coding information for high resolution pictures from low resolution pictures
EP1711018A1 (en) * 2005-04-08 2006-10-11 Thomson Licensing Method and apparatus for encoding video pictures, and method and apparatus for decoding video pictures
KR20070012201A (ko) * 2005-07-21 2007-01-25 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
CN101356820B (zh) * 2006-01-05 2011-01-26 汤姆森许可贸易公司 层间运动预测方法
US8306118B1 (en) * 2006-03-01 2012-11-06 Maxim Integrated, Inc. High quality low bitrate video coding by enabling and disabling a non-residual mode
EP2018626B1 (en) * 2006-05-09 2019-10-09 Koninklijke Philips N.V. Up-scaling
JP5296535B2 (ja) * 2006-05-24 2013-09-25 パナソニック株式会社 画像復号装置
EP1879399A1 (en) 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
EP2060123A4 (en) * 2006-09-07 2016-05-04 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / ENCODING A VIDEO SIGNAL
US7991236B2 (en) * 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
KR101365567B1 (ko) * 2007-01-04 2014-02-20 삼성전자주식회사 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
AU2007318376B2 (en) * 2006-11-09 2010-07-01 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US7742532B2 (en) * 2006-11-17 2010-06-22 Lg Electronics Inc. Method and apparatus for applying de-blocking filter to a video signal
US7876808B2 (en) * 2006-11-30 2011-01-25 Broadcom Corp. Method and apparatus for adaptive noise and/or signal filtering in an HSDPA channel quality indicator (CQI) selection
US8243798B2 (en) * 2006-12-20 2012-08-14 Intel Corporation Methods and apparatus for scalable video bitstreams
KR101356733B1 (ko) * 2007-03-07 2014-02-05 삼성전자주식회사 컨텍스트 기반 적응적 이진 산술 부호화, 복호화 방법 및장치
FR2915048A1 (fr) * 2007-04-16 2008-10-17 France Telecom Procede de sur-echantillonnage pour le codage et/ou le decodage d'un flux de donnees echelonnable, produits programme d'ordinateur et dispositifs correspondants.
JP2011505756A (ja) 2007-11-30 2011-02-24 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 時間的画像検出
BRPI0821500A2 (pt) * 2008-01-11 2015-06-16 Thomson Licensing Codificação de vídeo e profundidade
KR20090097015A (ko) 2008-03-10 2009-09-15 삼성전자주식회사 스케일러블 영상 부호화장치 및 스케일러블 영상복호화장치
WO2009131703A2 (en) * 2008-04-25 2009-10-29 Thomson Licensing Coding of depth signal
JP5346076B2 (ja) * 2008-04-25 2013-11-20 トムソン ライセンシング 奥行きを用いた視点間スキップモード
BRPI0916963A2 (pt) 2008-08-20 2015-11-24 Thomson Licensing mapa de profundidade refinado
US8913105B2 (en) 2009-01-07 2014-12-16 Thomson Licensing Joint depth estimation
FR2944936A1 (fr) * 2009-04-23 2010-10-29 Thomson Licensing Procedes de codage et de decodage d'un bloc de donnees images, dispositifs de codage et de decodage implementant lesdits procedes
US8611414B2 (en) * 2010-02-17 2013-12-17 University-Industry Cooperation Group Of Kyung Hee University Video signal processing and encoding
DK3429205T3 (da) 2010-05-04 2020-09-07 Lg Electronics Inc Fremgangsmåde og indretning til at behandle et videosignal
FR2966680A1 (fr) * 2010-10-25 2012-04-27 France Telecom Procedes et dispositifs de codage et de decodage d'au moins une image a partir d'un epitome hierarchique, signal et programme d'ordinateur correspondants
US20120182388A1 (en) * 2011-01-18 2012-07-19 Samsung Electronics Co., Ltd. Apparatus and method for processing depth image
CN103119944B (zh) * 2011-05-20 2017-04-12 太阳专利托管公司 用于使用色彩平面间预测对视频进行编码和解码的方法和装置
JP2013034162A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
US20130003833A1 (en) * 2011-06-30 2013-01-03 Vidyo Inc. Scalable Video Coding Techniques
MX2014001614A (es) * 2011-08-09 2014-05-28 Samsung Electronics Co Ltd Metodo y aparato para codificar un mapa de profundidad de datos de video de varios puntos de vista, y metodo y aparato para decodificar el mapa de profundidad codificado.
RU2014110047A (ru) * 2011-08-16 2015-09-27 Дэстини Софтвэар Продакшнз Инк. Рендеринг видео на основе сценария
EP2829065B1 (en) * 2012-03-21 2020-05-13 MediaTek Singapore Pte Ltd. Method and apparatus for intra mode derivation and coding in scalable video coding
WO2013147557A1 (ko) * 2012-03-29 2013-10-03 엘지전자 주식회사 인터 레이어 예측 방법 및 이를 이용하는 인코딩 장치와 디코딩 장치
US9420285B2 (en) 2012-04-12 2016-08-16 Qualcomm Incorporated Inter-layer mode derivation for prediction in scalable video coding
US9491458B2 (en) 2012-04-12 2016-11-08 Qualcomm Incorporated Scalable video coding prediction with non-causal information
HUE047710T2 (hu) * 2012-06-11 2020-05-28 Samsung Electronics Co Ltd Videók kódolása és dekódolása SAO paraméterek megosztásával színkomponens szerint
US10448032B2 (en) * 2012-09-04 2019-10-15 Qualcomm Incorporated Signaling of down-sampling location information in scalable video coding
US10375405B2 (en) * 2012-10-05 2019-08-06 Qualcomm Incorporated Motion field upsampling for scalable coding based on high efficiency video coding
US20140098880A1 (en) * 2012-10-05 2014-04-10 Qualcomm Incorporated Prediction mode information upsampling for scalable video coding
CN102970541B (zh) * 2012-11-22 2015-05-27 深圳市海思半导体有限公司 图像滤波方法及装置
KR20140080884A (ko) * 2012-12-20 2014-07-01 주식회사 팬택 계층적 비디오 코딩에서 색차 블록의 화면 내 예측 모드를 복호화하는 방법 및 이러한 방법을 사용하는 장치
GB2509311B (en) * 2012-12-21 2016-12-14 Canon Kk Method and device for determining residual data for encoding or decoding at least part of an image
GB2509901A (en) * 2013-01-04 2014-07-23 Canon Kk Image coding methods based on suitability of base layer (BL) prediction data, and most probable prediction modes (MPMs)
US9270991B2 (en) 2013-01-07 2016-02-23 Qualcomm Incorporated Inter-layer reference picture generation for HLS-only scalable video coding
KR102270787B1 (ko) * 2013-01-10 2021-06-29 삼성전자주식회사 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9794555B2 (en) * 2013-03-15 2017-10-17 Arris Enterprises Llc Adaptive sampling filter process for scalable video coding
US9800884B2 (en) * 2013-03-15 2017-10-24 Qualcomm Incorporated Device and method for scalable coding of video information
US9813723B2 (en) * 2013-05-03 2017-11-07 Qualcomm Incorporated Conditionally invoking a resampling process in SHVC
KR20140138538A (ko) 2013-05-24 2014-12-04 주식회사 케이티 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
KR101712108B1 (ko) * 2013-07-16 2017-03-03 삼성전자 주식회사 비트 뎁스 및 컬러 포맷의 변환을 동반하는 업샘플링 필터를 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
US10218970B2 (en) * 2013-07-16 2019-02-26 Arris Enterprises Llc Resampling filters for scalable video coding with phase offset adjustment and signaling of same
WO2015103032A1 (en) * 2014-01-02 2015-07-09 Vid Scale, Inc. Methods and systems for scalable video coding with mixed interlace and progressive content
JP6542201B2 (ja) * 2014-04-25 2019-07-10 シャープ株式会社 画像復号装置および画像復号方法
WO2015191068A1 (en) * 2014-06-12 2015-12-17 Spinella Ip Holdings, Inc. Transmission and restoration of decimated image data
WO2017175897A1 (ko) * 2016-04-07 2017-10-12 엘지전자(주) 인트라 레지듀얼 예측을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
US10771797B2 (en) * 2018-07-30 2020-09-08 Logmein, Inc. Enhancing a chroma-subsampled video stream
EP3942813B1 (en) * 2019-03-20 2024-05-01 V-Nova International Limited Temporal signalling for video coding technology
JPWO2020250599A1 (ko) * 2019-06-12 2020-12-17
US20220385888A1 (en) * 2019-09-20 2022-12-01 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium storing bitstream
WO2021062624A1 (zh) * 2019-09-30 2021-04-08 深圳市大疆创新科技有限公司 可移动平台的图像处理方法、装置、可移动平台及介质
WO2021093837A1 (en) * 2019-11-15 2021-05-20 Mediatek Inc. Method and apparatus for signaling horizontal wraparound motion compensation in vr360 video coding
WO2021100863A1 (en) * 2019-11-22 2021-05-27 Sharp Kabushiki Kaisha Systems and methods for signaling tiles and slices in video coding
EP3942836A1 (en) * 2020-05-19 2022-01-26 Google LLC Dynamic parameter selection for quality-normalized video transcoding

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4788624A (en) 1987-12-21 1988-11-29 North American Philips Corporation Capacitor having current surge protection
GB8804720D0 (en) 1988-02-29 1988-03-30 Rca Licensing Corp Compatible widescreen tv
US5418570A (en) 1992-03-03 1995-05-23 Kabushiki Kaisha Toshiba Motion picture coding apparatus
GB9206860D0 (en) 1992-03-27 1992-05-13 British Telecomm Two-layer video coder
JP2933487B2 (ja) * 1994-07-15 1999-08-16 松下電器産業株式会社 クロマフォーマット変換の方法
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
KR970064261A (ko) 1996-02-09 1997-09-12 모리시타 요우이치 윤곽 부호화 방법, 윤곽 복호화 방법, 및 그의 방법을 이용한 윤곽 부호화 장치, 윤곽 복호화 장치 및 그의 방법을 기록한 기록 매체
US5712687A (en) * 1996-04-25 1998-01-27 Tektronix, Inc. Chrominance resampling for color images
US6549575B1 (en) * 1996-11-07 2003-04-15 International Business Machines Corporation. Efficient, flexible motion estimation architecture for real time MPEG2 compliant encoding
US6788347B1 (en) 1997-03-12 2004-09-07 Matsushita Electric Industrial Co., Ltd. HDTV downconversion system
ES2323358T3 (es) * 1997-04-01 2009-07-14 Sony Corporation Codificador de imagenes, metodo de codificacion de imagenes, descodificador de imagenes, metodo de descodificacion de imagenes, y medio de distribucion.
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US5995150A (en) * 1998-02-20 1999-11-30 Winbond Electronics Corporation America Dual compressed video bitstream camera for universal serial bus connection
KR100269206B1 (ko) 1998-02-21 2000-10-16 윤종용 임의 해상도 다계층 이진형상 부호화기 및 그 방법
US6510777B2 (en) * 1999-04-30 2003-01-28 Pinnacle Armor, Llc Encapsulated imbricated armor system
KR100343766B1 (ko) 1999-06-08 2002-07-20 마쯔시다덴기산교 가부시키가이샤 영상신호 셔플링, 부호화, 복호화 장치 및 그 프로그램기록매체
US7020195B1 (en) 1999-12-10 2006-03-28 Microsoft Corporation Layered coding and decoding of image data
US6697426B1 (en) * 2000-03-17 2004-02-24 Koninklijke Philips Electronics N.V. Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
US6888894B2 (en) 2000-04-17 2005-05-03 Pts Corporation Segmenting encoding system with image segmentation performed at a decoder and encoding scheme for generating encoded data relying on decoder segmentation
US6836512B2 (en) * 2000-10-11 2004-12-28 Koninklijke Philips Electronics N.V. Spatial scalability for fine granular video encoding
US7463683B2 (en) 2000-10-11 2008-12-09 Koninklijke Philips Electronics N.V. Method and apparatus for decoding spatially scaled fine granular encoded video signals
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US7929610B2 (en) 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US6931063B2 (en) * 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
US6792044B2 (en) 2001-05-16 2004-09-14 Koninklijke Philips Electronics N.V. Method of and system for activity-based frequency weighting for FGS enhancement layers
US6804299B2 (en) * 2001-06-15 2004-10-12 Microsoft Corporation Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation
US20040208247A1 (en) 2001-07-10 2004-10-21 Eric Barrau Method and device for generating a scalable coded video signal from a non-scalable coded video signal
JP4102973B2 (ja) 2002-04-24 2008-06-18 日本電気株式会社 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
US7694326B2 (en) 2002-05-17 2010-04-06 Sony Corporation Signal processing system and method, signal processing apparatus and method, recording medium, and program
US8406301B2 (en) 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
US7136417B2 (en) 2002-07-15 2006-11-14 Scientific-Atlanta, Inc. Chroma conversion optimization
US7062096B2 (en) 2002-07-29 2006-06-13 Matsushita Electric Industrial Co., Ltd. Apparatus and method for performing bitplane coding with reordering in a fine granularity scalability coding system
US7072394B2 (en) 2002-08-27 2006-07-04 National Chiao Tung University Architecture and method for fine granularity scalable video coding
US7321625B2 (en) 2002-12-13 2008-01-22 Ntt Docomo, Inc. Wavelet based multiresolution video representation with spatially scalable motion vectors
US7499469B2 (en) 2003-01-13 2009-03-03 Broadcom Corporation Method and system for generating digital video broadcast (DVB) transport stream from direct satellite system (DSS) transport stream
CA2470546C (en) 2003-06-13 2010-08-17 The Directv Group, Inc. Method and apparatus for providing carrier synchronization in digital broadcast and interactive systems
KR20050049644A (ko) 2003-11-22 2005-05-27 삼성전자주식회사 시각적 화질을 균일하게 하는 비트 레이트 컨트롤 방법 및장치
EP1695558A2 (en) * 2003-12-09 2006-08-30 Koninklijke Philips Electronics N.V. Spatial and snr scalable video coding
CN101176346A (zh) 2005-04-01 2008-05-07 Lg电子株式会社 可对视频信号缩放地进行编码和解码的方法
EP1878248A4 (en) 2005-04-01 2012-11-21 Lg Electronics Inc METHOD FOR SCALABLE CODING AND DECODING A VIDEO SIGNAL
US7777812B2 (en) * 2005-11-18 2010-08-17 Sharp Laboratories Of America, Inc. Methods and systems for picture resampling
US8023569B2 (en) 2005-12-15 2011-09-20 Sharp Laboratories Of America, Inc. Methods and systems for block-based residual upsampling

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8619860B2 (en) 2005-05-03 2013-12-31 Qualcomm Incorporated System and method for scalable encoding and decoding of multimedia data using multiple layers
US9967561B2 (en) 2006-05-05 2018-05-08 Microsoft Technology Licensing, Llc Flexible quantization
US9571840B2 (en) 2008-06-03 2017-02-14 Microsoft Technology Licensing, Llc Adaptive quantization for enhancement layer video coding
US10306227B2 (en) 2008-06-03 2019-05-28 Microsoft Technology Licensing, Llc Adaptive quantization for enhancement layer video coding
KR20100018474A (ko) * 2008-08-06 2010-02-17 톰슨 라이센싱 인핸스드 공간 계층 프레임의 손실된 또는 손상된 블록을 예측하기 위한 방법 및 그에 적응된 ｓｖｃ-디코더
KR20150041098A (ko) * 2012-08-06 2015-04-15 브이아이디 스케일, 인크. 다중-레이어 비디오 코딩에서 공간적 레이어들에 대한 샘플링 그리드 정보
KR20170038089A (ko) * 2012-08-06 2017-04-05 브이아이디 스케일, 인크. 다중-레이어 비디오 코딩에서 공간적 레이어들에 대한 샘플링 그리드 정보
US9924166B2 (en) 2012-08-06 2018-03-20 Vid Scale, Inc. Sampling grid information for spatial layers in multi-layer video coding
US10666953B2 (en) 2012-08-06 2020-05-26 Vid Scale, Inc. Sampling grid information for spatial layers in multi-layer video coding
US11405621B2 (en) 2012-08-06 2022-08-02 Vid Scale, Inc. Sampling grid information for spatial layers in multi-layer video coding

Also Published As

Publication number Publication date
US7627034B2 (en) 2009-12-01
US20090196354A1 (en) 2009-08-06
TW200704201A (en) 2007-01-16
TWI320288B (en) 2010-02-01
US7970057B2 (en) 2011-06-28
MY141159A (en) 2010-03-31
KR20060105409A (ko) 2006-10-11
US20090185627A1 (en) 2009-07-23
US20060222067A1 (en) 2006-10-05
US20100272188A1 (en) 2010-10-28
US20060222068A1 (en) 2006-10-05
TW200706007A (en) 2007-02-01
TWI330498B (en) 2010-09-11
US8369400B2 (en) 2013-02-05
MY141121A (en) 2010-03-15
US7787540B2 (en) 2010-08-31
TW200708110A (en) 2007-02-16
US7864841B2 (en) 2011-01-04
HK1119892A1 (en) 2009-03-13
TWI324886B (en) 2010-05-11
US20060222070A1 (en) 2006-10-05
US7864849B2 (en) 2011-01-04
KR20060105408A (ko) 2006-10-11
TW200701796A (en) 2007-01-01
TWI320289B (en) 2010-02-01
US8514936B2 (en) 2013-08-20
MY140016A (en) 2009-11-30
US20060222069A1 (en) 2006-10-05
MY143196A (en) 2011-03-31

Similar Documents

Publication Publication Date Title
KR100888963B1 (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR20060105407A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100893868B1 (ko) 영상 신호의 인코딩 및 디코딩 방법
US20060133482A1 (en) Method for scalably encoding and decoding video signal
KR20060088461A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR101158437B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR100883604B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
US20060120454A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
KR100878824B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
US20060159176A1 (en) Method and apparatus for deriving motion vectors of macroblocks from motion vectors of pictures of base layer when encoding/decoding video signal
KR100878825B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR20060059773A (ko) 베이스 레이어 픽처의 벡터를 이용하는 영상신호의엔코딩/디코딩 방법 및 장치