KR100919885B1 - 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치 - Google Patents

다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치

Info

Publication number
KR100919885B1
KR100919885B1 KR1020070108021A KR20070108021A KR100919885B1 KR 100919885 B1 KR100919885 B1 KR 100919885B1 KR 1020070108021 A KR1020070108021 A KR 1020070108021A KR 20070108021 A KR20070108021 A KR 20070108021A KR 100919885 B1 KR100919885 B1 KR 100919885B1
Authority
KR
South Korea
Prior art keywords
video
prediction
scalable
lower layer
frame
Prior art date
Application number
KR1020070108021A
Other languages
English (en)
Other versions
KR20080037593A (ko
Inventor
조숙희
권형진
허남호
김진웅
이수인
심동규
남정학
박시내
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20080037593A publication Critical patent/KR20080037593A/ko
Application granted granted Critical
Publication of KR100919885B1 publication Critical patent/KR100919885B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 다시점 비디오를 다계층 공간 및 시간 스케일러블 코딩 기술을 이용해 압축 전송하여 다양한 형태의 비디오 단말기들에게 2차원 또는 3차원 비디오 서비스를 제공하기 위한 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과 코딩 및 디코딩 장치에 관한 것으로, 하나의 기초 비디오에 대해 공간 필터링을 통해 다계층 해상도로 분리하고, 분리된 저해상도 영상 프레임 및 적어도 하나 이상의 고해상도 영상 프레임 각각에 대해 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 기초 스케일러빌리티 비디오 인코더; 및 동일 시점에 촬영된 자신의 비디오와 참조 비디오로 적어도 하나 이상의 타 비디오를 입력받아, 공간 필터링을 통해 다계층 해상도로 분리하고, 분리된 저해상도 영상 프레임에 대해 자신의 인접 프레임뿐만 아니라 동일 시간 축에서 상기 타 비디오 프레임을 참조하여 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하며, 분리된 적어도 하나 이상의 고해상도 영상 프레임에 대해 자신의 하위 계층뿐만 아니라 상기 타 비디오 프레임의 하위 계층을 참조하여 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 복수의 확장된 스케일러빌리티 비디오 인코더를 포함한다.

Description

다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩 및 디코딩 장치{Multi-view video scalable coding and decoding}
본 발명은 다시점 비디오의 스케일러블(scalable) 코딩 및 디코딩 기술에 관한 것으로, 더욱 자세하게는 복수 카메라에 의해 촬영된 다시점 비디오를 압축 전송함에 있어, 다시점 비디오를 다계층 공간 및 시간 스케일러블 코딩 기술을 이용해 압축 전송하고, 수신단에서 디코딩하여 다양한 형태의 비디오 단말기들에게 2차원 또는 3차원 비디오 서비스를 제공하기 위한 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩 및 디코딩 장치에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-403-02, 과제명: 지능형 통합정보방송(SmarTV) 기술개발].
데이터를 압축하는 기본적인 원리는 데이터의 공간적 중복 및 시간적 중복(redundancy) 요소를 제거하는 것이다. 공간적 중복은 비디오에서 동일한 색이나 객체가 반복되는 것을 말한다. 그리고 시간적 중복은 동영상 픽쳐에서 인접 픽쳐가 거의 변화 없는 것 또는 오디오에서 같은 음이 계속 반복되는 것을 말한다. 일반적인 비디오 코딩 방법에서, 시간적 중복은 움직임 보상에 근거한 시간적 필터링에 의해 제거되고, 공간적 중복은 공간적 변환에 의해 제거된다.
데이터의 중복이 제거된 후 생성되는 멀티미디어 데이터를 전송하기 위해서는, 전송매체가 필요한데, 그 성능은 전송매체 별로 차이가 있다. 다양한 속도의 전송매체를 지원하기 위하여 또는 전송환경에 따라 이에 적합한 전송률로 멀티미디어 데이터를 전송하기 위해 스케일러블(scalable) 비디오 코딩 기술이 있다.
스케일러블 비디오 코딩 기술이란 이미 압축된 비트스트림(bit-stream)에 대하여 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라 비트스트림의 일부를 잘라내어 비디오의 해상도, 프레임율, 및 SNR(Signal-to-Noise Ratio) 등을 조절할 수 있게 해주는 코딩 기술을 의미한다.
도 1은 일반적인 스케일러블 코딩 개념을 설명하기 위한 참고도이다. 도 1을 참조하면, 스케일러블 비디오 코딩은 입력 비디오에 대해 시간적 변환을 이용하여 시간적 스케일러블을 구현하고, 2차원 공간적 변환을 이용하여 공간적 스케일러블을 구현한다. 또한, 스케일러블 비디오 코딩은 텍스쳐 코딩(Texture Coding)을 이용하여 화질(quality) 스케일러빌러티를 구현한다. 모션 코딩(Motion Coding)은 각각의 공간적 스케일러블을 구현할 때의 모션 정보를 스케일러블하게 부호화한다. 이와 같은 코딩 알고리즘을 통하여 하나의 비트스트림을 생성한다.
스케일러블 비디오 코딩에서 시간적 스케일러블을 제공하고 압축 효율을 높이기 위한 방법으로, 모션 보상 시간 필터링(MCTF: Motion Compensated Temporal Filtering)과 계층적 B-픽처(Hierarchical B-pictures)가 있다.
MCTF는 비디오 시퀀스 내에서 시간 방향의 움직임 정보를 이용하여 웨이블릿 변환(Wavelet Transform)을 수행하는 것을 말한다. 웨이블릿 변환은 리프팅 스킴(Lifting scheme)을 이용하여 구현된다. 리프팅 스킴은 다위상 분해(polyphase decomposition), 예측(prediction) 및 업데이트(update)의 세 가지 연산으로 구성된다.
계층적 B-픽처는 H.264에서 사용하는 16개의 픽처를 저장할 수 있는 DPB(Decoded Picture Buffer)를 관리하는 MMCO(Memory Managemnent Control Operation)와 RPLR(Reference Picture List Reordering)의 신텍스를 이용하여 다양한 방법으로 구현될 수 있다.
최근에는 기술적 발전과 사용자의 요구에 의해 다양한 시점에서의 광경에 대한 비디오 정보를 시청자에게 제공하고, 해당 비디오 정보 중에 시청자가 보고 싶은 광경에 대한 조작을 통해 각각의 시청자마다 방송국에서 보내지는 정보를 편집하여 시청할 수 있는 서비스가 연구되고 있다. 이와 같은 서비스를 제공하기 위해서는 다시점 비디오에 대한 비디오 압축 기술이 필요하다.
다시점 비디오 압축은 다시점 비디오를 제공하는 복수 카메라로부터 입력된 비디오를 동시에 코딩하여 압축 저장 및 전송하기 위한 것이다. 다시점 비디오를 압축하지 않고 저장 및 전송할 경우 데이터의 크기가 매우 크기 때문에 데이터를 실시간으로 방송망 또는 유/무선 인터넷을 통하여 사용자에게 전달하기 위해서는 큰 크기의 전송 대역폭이 요구된다.
통상 다시점 비디오 코딩 및 디코딩은 각각의 비디오 시퀀스를 독립적으로 코딩하여 전송한 후 디코딩하는 방법으로 이루어질 수 있다. 이는 기존의 MPEG-1/2/4나 H.261/263/264를 통하여 쉽게 구현될 수 있다. 하지만, 이는 동일한 물체를 복수 카메라로 촬영하기 때문에 생기는 비디오 간의 중복성을 제거할 수 없다.
비디오 간의 중복성을 제거하기 위한 기술로 스케일러블 비디오 코딩(Scalable video coding) 기술이 있다. 일반적으로 단일시점 비디오의 스케일러블 코딩 기술은 단일시점 비디오를 공간 축으로 공간 필터를 사용하여 다계층 해상도로 분리하고, 분리된 비디오를 시간축에서 계층적 양방향 움직임 예측을 통하여 시공간 스케일러블을 한다. 여기서 각 해상도에서 계층간 효과적인 예측을 위하여 움직임과 차영상 및 인트라 예측이 수행될 수 있다. 또한 변환 부호화에서 계층적 표현에 의한 엔트로피 코딩을 통하여 화질관점의 스케일러빌리티가 제공될 수 있다.
하지만, 이와 같은 종래의 스케일러블 비디오 코딩 기술은 단일시점 비디오 공간 화질로 고정되어 있어, 다양한 환경과 다양한 연산 능력을 가지는 단말기에서 다양하게 삼차원 또는 선택적인 이차원으로 비디오를 재생하도록 하는 경우에는 많은 전송률과 비디오 디코더 면에서 많은 오버헤드가 발생될 수 있는 문제점이 있다.
따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 다시점 비디오를 압축 전송하기 위해 시간 축 및 비디오(공간) 축에서 주변 영상을 참조하는 움직임 예측 보상뿐만 아니라, 다시점 비디오에서 공간축 상으로 스케일러빌리티를 제공하기 위하여 주변 비디오의 다른 해상도에서의 움직임과 차영상 및 인트라 예측을 통하여 보다 효율적으로 비디오를 압축하고 다양한 환경의 단말기에게 다양한 비디오 서비스를 제공할 수 있는 다시점 비디오의 스케일러블 코딩 방법 및 장치를 제공하는데 그 목적이 있다.
또한, 본 발명은 다시점 비디오에 대해 스케일러블 코딩된 신호를 수신하여 디코딩하기 위한 디코딩 방법 및 장치를 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명에 따른 스케일러블 비디오 코딩 장치는, 다시점 비디오에 대한 스케일러블 비디오 코딩 장치에 있어서, 하나의 기초 비디오에 대해 공간 필터링을 통해 다계층 해상도로 분리하고, 분리된 저해상도 영상 프레임 및 적어도 하나 이상의 고해상도 영상 프레임 각각에 대해 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 기초 스케일러빌리티 비디오 인코더; 및 동일 시점에 촬영된 자신의 비디오와 참조 비디오로 적어도 하나 이상의 타 비디오를 입력받아, 공간 필터링을 통해 다계층 해상도로 분리하고, 분리된 저해상도 영상 프레임에 대해 자신의 인접 프레임뿐만 아니라 동일 시간 축에서 상기 타 비디오 프레임을 참조하여 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하며, 분리된 적어도 하나 이상의 고해상도 영상 프레임에 대해 자신의 하위 계층뿐만 아니라 상기 타 비디오 프레임의 하위 계층을 참조하여 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 복수의 확장된 스케일러빌리티 비디오 인코더를 포함한다.
또한 본 발명에 따른 스케일러블 비디오 코딩 방법은, 다시점 비디오에 대한 스케일러블 비디오 코딩 방법에 있어서, (a) 하나의 기초 비디오에 대해 다계층 해상도로 분리하여, 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 단계; 및 (b) 동일 시점에 촬영된 자신의 비디오와 참조 비디오로 적어도 하나 이상의 타 비디오를 입력받아, 입력된 비디오들에 대해 다계층 해상도로 분리하여 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 단계를 포함하되, 상기 (b) 단계는, (c) 저해상도 영상 프레임에 대해 자신의 인접 프레임뿐만 아니라 동일 시간 축에서 상기 타 비디오 프레임을 참조하여 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 단계와, (d) 적어도 하나 이상의 고해상도 영상 프레임에 대해 자신의 하위 계층뿐만 아니라 상기 타 비디오 프레임의 하위 계층을 참조하여 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 단계를 포함한다.
한편, 본 발명에 따른 디코딩 장치는, 다시점 비디오에 대한 스케일러블 비디오 디코딩 장치에 있어서, 하나의 기초 비디오에 대해 스케일러블 코딩된 비트스트림을 수신하여, 역시간 변환 및 역 공간 변환을 통해 복원하는 기초 스케일러빌리티 비디오 디코더; 및 동일 시점에 촬영된 자신의 비디오와 참조 비디오에 대해 시공간 예측을 통해 스케일러블 코딩된 비트스트림을 수신하여, 자신의 하위 계층뿐만 아니라 참조 비디오인 타 비디오 프레임의 하위 계층의 참조 여부에 따라 역 시공간 예측을 통해 적어도 하나 이상의 고해상도 영상 프레임을 복원하고, 자신의 인접 프레임뿐만 아니라 동일 시간 축에서 상기 타 비디오 프레임의 참조 여부에 따라 역 시공간 예측을 통해 저해상도 영상 프레임을 복원한 후, 상기 복원된 고해상도 영상 프레임과 상기 복원된 저해상도 영상 프레임에 대해 역공간 필터링을 통해 영상을 복원하는 복수의 확장된 스케일러빌리티 비디오 디코더를 포함한다.
바람직하게는 상기 확장된 스케일러빌리티 비디오 디코더는, 수신된 비트스트림을 역다중화하는 역다중화수단; 상기 역다중화수단에 의해 출력된 고해상도 영상 신호에 대해 자신의 비디오에 대한 하위 계층뿐만 아니라 참조 비디오인 타 비디오에 대한 하위 계층의 참조 여부에 따라 역 시공간 움직임 예측을 통해 스케일러블 디코딩을 수행하는 적어도 하나 이상의 향상계층 디코딩수단; 상기 역다중화수단에 의해 출력된 저해상도 영상 신호에 자신의 비디오 프레임에 대한 역 시공간 움직임 예측뿐만 아니라 시간 축에서 참조 비디오 프레임에 대한 역 움직임 예측을 통해 스케일러블 디코딩을 수행하는 기초계층 디코딩수단; 상기 향상계층 디코딩수단에 의해 복원된 고해상도 영상 및 상기 기초계층 디코딩수단에 의해 복원된 저해상도 영상에 대해 역 공간적 필터링을 통해 영상을 복원하는 역공간적 비디오 필터링 수단을 포함한다.
바람직하게는 상기 향상계층 디코딩수단은, 하위 계층의 움직임 벡터 정보의 사용 여부를 나타내는 플래그와 타 비디오에 대한 하위 계층의 참조 인덱스를 예측 정보로 이용하는지의 여부를 나타내는 플래그와, 하위 계층의 인트라 블록의 타입을 예측정보로 이용하는지 여부를 나타내는 플래그와, 하위 계층의 차분 영상 값의 이용 여부에 대한 플래그와, 예측에 사용된 참조 뷰의 인덱스를 참조하여 스케일러블 디코딩을 수행한다.
또한 상기 목적을 달성하기 위한 본 발명에 따른 디코딩 방법은, 다시점 비디오에 대한 스케일러블 비디오 디코딩 방법에 있어서, (a) 하나의 기초 비디오에 대해 역 시공간 예측을 통해 스케일러블 비디오 디코딩을 수행하는 단계; 및 (b) 동일 시점에 촬영된 자신의 비디오와 참조 비디오로 적어도 하나 이상의 타 비디오를 참조하여 스케일러블 코딩된 비트스트림을 수신하여, 역 시공간 예측과 역 공간 필터링을 통해 스케일러블 비디오 디코딩을 수행하는 단계를 포함하되, 상기 (b) 단계는, (c) 역다중화된 고해상도 영상 프레임에 대해 자신의 하위 계층뿐만 아니라 상기 타 비디오 프레임의 하위 계층의 참조 여부 정보에 따라 역 시공간 예측을 통해 스케일러블 비디오 디코딩을 수행하는 단계; 및 (d) 역다중화된 저해상도 영상 신호에 대해 자신의 인접 프레임뿐만 아니라 동일 시간 축에서 상기 타 비디오 프레임의 참조 여부 정보에 따라 역 시공간 예측을 통해 스케일러블 비디오 디코딩을 수행하는 단계를 포함한다.
바람직하게는, 상기 (c) 단계에서 하위 계층의 움직임 벡터 정보의 사용 여부를 나타내는 플래그와, 타 비디오에 대한 하위 계층의 참조 인덱스를 예측 정보로 이용하는지의 여부를 나타내는 플래그와, 하위 계층의 인트라 블록의 타입을 예측정보로 이용하는지 여부를 나타내는 플래그와, 하위 계층의 차분 영상 값의 이용 여부에 대한 플래그와, 예측에 사용된 참조 뷰의 인덱스 정보를 이용해 스케일러블 비디오 디코딩을 수행하는 한다.
상기와 같은 본 발명은, 일반적인 스케일러블 코딩 기술의 시공간 계층적 구조를 다시점 비디오 간으로 확장하여 다시점 비디오를 효과적으로 압축할 수 있다. 또한, 본 발명은 다시점 비디오에 대하여 시간 및 공간축 상으로 계층적 구조를 구성함으로써 다양한 형태의 2차원 또는 3차원 단말기에 스케일러블하게 비디오 서비스를 제공할 수 있다.
도 1은 일반적인 스케일러블 비디오 코딩 개념을 설명하기 위한 도면,
도 2는 본 발명의 일 실시예에 따른 다시점 비디오에 대한 스케일러블 비디오 코딩 장치의 블록 구성도,
도 3은 본 발명에 따른 확장된 스케일러빌리티 비디오 인코더의 기능 블록 구성도,
도 4는 본 발명에 따른 다시점 비디오에 대한 다계층 비디오 압축을 위한 프레임 참조 구조를 설명하기 위한 도면,
도 5는 도 4에 대한 계층간 참조 구조를 설명하기 위한 도면,
도 6은 본 발명에 따른 다시점 비디오에 대한 B 프레임 움직임 예측 구조에 대한 프레임 참조 구조를 설명하기 위한 도면,
도 7은 도 6에 대한 계층간 참조 구조를 설명하기 위한 도면,
도 8은 본 발명의 다른 실시예에 따른 다시점 비디오에 대한 스케일러블 비디오 코딩 장치의 블록 구성도,
도 9는 도 8에 대한 다계층 비디오 압축을 위한 프레임 참조 구조를 설명하기 위한 도면이다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 2는 본 발명에 따른 다시점 비디오의 스케일러블 코딩 장치의 일 예시도이다. 도 2에서는 비디오 0부터 비디오 4까지 5개의 카메라로 촬영된 비디오가 입력되는 경우 각 비디오를 스케일러블 비디오 인코더(scalable video encoder)로 압축하는 경우를 나타낸 것이다.
본 발명에 따른 다시점 비디오의 스케일러블 코딩 장치는 기초 비디오인 비디오 0에 대해 2차원 공간 변환과 시간 변환을 수행하고, 모션 코딩과 텍스쳐 코딩을 통해 스케일러블 코딩을 수행하는 기초 스케일러빌리디 비디오 인코더(21)와, 각각 대응되는 자신의 비디오뿐만 아니라 참조 비디오인 적어도 하나 이상의 주변의 타 비디오를 입력받아 공간적 필터링 및 시간적 필터링을 통해 다계층 해상도로 분리하고, 상기 분리된 프레임에 대해 자신의 비디오뿐만 아니라 주변의 비디오들의 시공간 계층 영상 정보 및 압축 파라미터를 참조하여 스케일러블 코딩을 수행하는 복수의 확장된 스케일러빌리티 비디오 인코더들(22 내지 25)을 포함한다.
도면에서 비디오 0은 기초 비디오로 정의되며, 비디오 0에 대해 스케일러블 코딩을 수행하는 기초 스케일러빌리티 비디오 인코더(21)는 종래의 단일시점 비디오의 스케일러블 코딩 장치와 동일한 구조를 갖는다. 따라서 기초 비디오의 경우 기존의 스케일러블 코딩 장치들과 호환될 수 있는 구조이다.
그리고, 자신의 비디오뿐만 아니라 참조 비디오인 주변 비디오를 참조하여 스케일러블하게 압축하기 위하여, 비디오 1에서부터 비디오 4까지는 확장된 스케일러빌리티 비디오 인코더(22 내지 25)를 통해 압축을 수행한다. 확장된 스케일러빌리티 비디오 인코더(22 내지 25)는 기존의 단일시점 비디오의 스케일러블 코딩 장치와 같이 자신의 비디오와 참조 비디오인 주변 비디오를 입력받아 공간 필터링을 통해 다계층 해상도로 분리하고, 분리된 각 프레임에 대해 시간 및 공간 축 상에서 자신의 프레임에 대한 하위 계층뿐만 아니라 주변의 프레임에 대한 하위 계층을 참조하여 스케일러블 코딩을 수행한다. 예를 들어, 비디오 4를 압축하는 확장된 스케일러빌리티 비디오 인코더(25)는 기초 비디오 0의 다계층 시공간 해상도 영상 정보를 예측 참조하는 방법으로 자신의 비디오 4에 대해 스케일러블 비디오 코딩을 수행한다. 또한, 비디오 2를 압축하는 확장된 스케일러빌리티 비디오 인코더(23)는 기초 비디오 0과 비디오 4의 다계층 시공간 해상도 영상 정보를 이용하여 양방향 예측을 통해 자신의 비디오에 대한 압축을 수행한다.
이에 따라 기초 스케일러빌리티 비디오 인코더(21)만을 이용하는 경우 기존의 2차원 비디오 서비스가 가능하며, 기초 비디오 0에 대한 기초 스케일러빌리티 비디오 인코더(21)와 비디오 4에 대한 확장된 스케일러빌리티 비디오 인코더(25)를 이용하는 경우 스테레오 비디오 서비스가 가능하게 된다. 또한 확장된 스케일러빌리티 비디오 인코더들(22 내지 25)과, 기초 스케일러빌리티 비디오 인코더(21)를 선택적으로 조합하는 것에 의해 3 뷰(view) 또는 5 뷰 비디오 서비스가 가능하게 된다.
이와 같은 확장된 스케일러빌리티 비디오 인코더의 구조 및 기능에 대해서는 도 3 이하를 참조하여 구체적으로 살펴본다.
도 3은 본 발명에 따른 확장된 스케일러빌리티 비디오 인코더의 상세 기능 블록 구성도이다.
본 발명에 따른 확장된 스케일러빌리티 비디오 인코더는 자신의 비디오와 참조 비디오에 대해 공간적 필터링을 통해 다계층 해상도로 분리하는 공간적 비디오 필터링부(31)와, 상기 공간적 비디오 필터링부(31)의 출력 영상들에 대해 시간적 필터링을 통해 시간으로 분리하는 시간적 비디오 필터링부(330, 340)와, 시간적 비디오 필터링부(330)로부터 출력된 시간적 저주파수 영상들에 대해 자신의 비디오 프레임에 대한 시공간 움직임 예측뿐만 아니라 시간 축에서 참조 비디오 프레임에 대한 움직임 예측을 통해 스케일러블 코딩을 수행하는 기초계층 인코더(33)와, 시간적 비디오 필터링부(340)로부터 출력된 시간적 고주파수 영상들에 대해 자신의 비디오의 하위 계층뿐만 아니라 참조 비디오인 주변의 타 비디오의 하위 계층을 참조하여 스케일러블 코딩을 수행하는 적어도 하나 이상의 향상계층 인코더(34)와, 기초계층 인코더의 출력과 향상 계층 인코더의 출력을 다중화하여 하나의 비트스트림을 출력하는 다중화부(35)를 포함한다.
공간적 비디오 필터링부(31)는 자신의 카메라를 통해 촬영된 자신의 비디오와 참조 비디오로 설정된 주변의 타 비디오를 소정의 시간단위로 입력받아 MCTF 또는 계층적 B 구조를 이용한 공간적 필터링을 통해 다계층 해상도로 분리한다.
기초 계층 인코더(33)와 향상 계층 인코더(34)는 시간적 비디오 필터링부(330, 340)와, 모션 코딩부(331, 341)와, 차분기(332, 342)와, 공간적 변환부(333, 343)와, 양자화부(334, 344), 엔트로피 부호화부(335, 345)를 포함할 수 있다. 이와 같은 기초 계층 인코더(33)와 향상 계층 인코더(34)는 종래의 스케일러블 비디오 인코더와 그 구조가 유사하며, 여기서는 각 기능부에 대해 간단히 살펴보기로 한다.
기초 계층 인코더(33)에 구비된 시간적 비디오 필터링부(330)는 상기 공간적 필터링에 의해 분리된 저주파수 영상들에 대해 MCTF 또는 계층적 B 구조를 이용한 필터링을 통해 시간 축으로 분리한다. 또한 향상 계층 인코더(34)에 구비된 시간적 비디오 필터링부(340)는 상기 공간적 필터링에 의해 분리된 고주파수 영상들에 대해 MCTF 또는 계층적 B 구조를 이용한 필터링을 통해 시간 축으로 분리한다.
모션 코딩부(331, 341)는 통상 모션 추정과 모션 보상으로 구성된다. 모션 추정은 입력 비디오 프레임들 중에서 참조 프레임을 기준으로 현재 프레임의 모션 추정을 수행하고, 순방향 예측 또는 양방향 예측을 위한 모션 벡터를 구한다. 여기서, 본 발명은 모션 추정 시 참조 프레임으로 자신의 프레임뿐만 아니라 주변의 프레임이 사용될 수 있다. 이러한 움직임 추정을 위해 널리 사용되는 알고리즘은 블록 매칭(block matching) 알고리즘이다. 즉, 주어진 모션 블록을 참조 프레임의 특정 탐색영역 내에서 픽셀단위로 움직이면서 그 에러가 최저가 되는 경우의 변위를 움직임 벡터로 추정한다. 모션 추정의 결과 구해지는 모션 벡터, 모션 블록의 크기, 참조 프레임 번호 등의 모션 데이터는 엔트로피 부호화부(335, 345)로 제공된다. 또한 모션 보상은 모션 추정에 의해 계산된 모션 벡터를 이용하여 순방향 참조 프레임 또는 역방향 참조 프레임 또는 양방향 참조 프레임에 대하여 모션 보상(motion compensation)을 수행함으로써 현재 프레임에 대한 시간적 예측 프레임을 생성한다.
차분기(332, 342)는 현재 프레임과 시간적 예측 프레임을 차분함으로써 비디오의 시간적 중복성을 제거한다. 공간적 변환부(333, 343)는 차분기(332, 342)에 의하여 시간적 중복성이 제거된 프레임에 대하여, 공간적 스케일러빌리티를 지원하는 공간적 변환법을 사용하여 공간적 중복성를 제거한다. 이러한 공간적 변환법으로는 주로 DCT(Discrete Cosine Transform), 웨이블릿 변환(wavelet transform) 등이 사용된다.
양자화부(334, 344)는 공간적 변환부(333, 343)에서 구한 변환 계수를 양자화한다. 양자화(quantization)란 임의의 실수값으로 표현되는 상기 변환 계수를 일정 구간으로 나누어 불연속적인 값(discrete value)으로 나타내고, 이를 소정의 인덱스로 매칭시키는 작업을 의미한다.
엔트로피 부호화부(335, 345)는 양자화부(334, 344)에 의하여 양자화된 변환 계수와, 모션 추정에 의하여 제공되는 모션 데이터를 무손실 부호화하고 출력 비트스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding) 등이 사용될 수 있다.
한편, 본 발명은 공간적 변환 이전에 인트라 블록을 위한 인트라 예측이 사용될 수 있다. 이를 위해 향상 계층 인코더는 하위 계층 인코더로부터 복원된 참조 프레임을 전달받아 2차원 공간 보간을 수행하는 기능과 인트라 예측 기능이 포함될 수 있다.
일반적으로 인터 예측은 참조 프레임으로부터　현재　프레임의 어떤 블록(현재 블록)과 가장 유사한 블록을 탐색하고, 이로부터 현재 블록을 가장 잘 표현할 수 있는 예측 블록을 얻은 후, 상기 현재 블록과 상기 예측 블록과의 차분을 양자화하는 방식이다. 인터 예측은 참조 프레임을 참조하는 방식에 따라 두　개의　참조　프레임을 사용하는 양방향 예측(bi-directional prediction)과, 이전　참조 프레임이 사용되는 순방향 예측(forward prediction)과, 이후 참조 프레임이 사용되는 역방향 예측(backward prediction) 등이 있다.
한편, 인트라 예측은, 현재 블록의 주변 블록 중 현재 블록과 인접한 프레임을 이용하여 현재 블록을 예측하는　방식이다. 인트라 예측은 현재 프레임 내의 정보만을 이용하며 동일 계층 내의 다른 프레임이나 다른 계층의 프레임을 참조하지 않는 점에서 다른 예측 방식과 차이가 있다.
인트라 베이스 예측(intra base prediction)은, 현재　프레임이 동일한 시간적 위치를 갖는 하위 계층의 프레임을 갖는 경우에 사용될 수 있다. 현재 프레임의 매크로블록은 대응되는 기초 프레임의 매크로블록으로부터 효율적으로 예측될 수 있다. 즉, 현재 프레임의 매크로블록과 대응되는 기초 프레임의 매크로블록과의 차분이 양자화된다. 만일　하위 계층의 해상도와 현재 계층의 해상도가 서로 다른 경우에는, 상기 차분을 구하기 전에 상기 기초 프레임의 매크로블록은 상기 현재 계층의 해상도로 업샘플링된다.
잔차 예측은 단일 계층에서의 인터 예측을 다계층의 형태로 확장한 것으로, 현재 계층의 인터 예측 과정에서 생성된 차분을 직접 양자화하는 것이 아니라, 상기 차분과 하위 계층의 인터 예측 과정에서 생성된 차분을 다시 차감하여 그 결과를 양자화하는 기법이다.
한편, 본 발명에서 향상계층 인코더는 고해상도 영상 프레임에 대한 부호화 시, 움직임 예측을 위하여 자신의 비디오에 대한 기초 계층 영상(저해상도 영상)과 참조 비디오인 타 비디오에 대한 기초 계층 영상(저해상도 영상)의 움직임 벡터를 두 배한 값을 사용한다.
또한, 본 발명에서 향상계층 인코더는 고해상도 영상 프레임에 대한 부호화 시, 차영상 예측을 위하여 자신의 비디오에 대한 기초 계층 영상(저해상도 영상)과 참조 비디오인 타 비디오에 대한 기초 계층 영상(저해상도 영상)의 예측 후 잔여영상을 보간하여 차영상 예측을 수행한다.
또한, 본 발명에서 향상계층 인코더는 고해상도 영상 프레임에 대한 부호화 시, 인트라 예측을 위하여 자신의 비디오에 대한 기초 계층 영상(저해상도 영상)과 참조 비디오인 타 비디오에 대한 기초 계층 영상(저해상도 영상)을 인트라 예측 모드로 인트라 예측을 수행한다.
도 4는 본 발명에 따른 스케일러블 비디오 코딩 시 예측 참조 구조를 설명하기 위한 도면이다.
도면에서 P 매크로블록은 단방향 예측을 나타내고, B 매크로블록은 양방향 예측을 나타낸다. 본 발명에 따른 예측 참조는 단방향 예측(P 매크로블록)과 양방향 예측(B 매크로블록)을 시간 축과 공간(뷰)축 뿐만 아니라 다수의 해상도 계층에서 예측을 수행하는 구조이다.
도 4는 하나의 실시예로 기초 계층과 하나의 향상 계층으로 구성된 2계층 구조만을 나타낸 것으로, 더 많은 계층은 향상 계층을 반복적으로 확장함으로써 구성될 수 있다.
도 4에서 41은 기초 스케일러빌리티 비디오 인코더(도2의 21) 내의 기초 계층 인코더 및 향상 계층 인코더에서 수행되는 예측 참조를 나타내고, 42는 도 2에 도시된 비디오 1에 대한 확장된 스케일러빌리티 비디오 인코더(22) 내의 기초 계층 인코더 및 향상 계층 인코더에서 수행되는 예측 참조를 나타내며, 43은 도 2에 도시된 비디오 2에 대한 확장된 스케일러빌리티 비디오 인코더(23) 내의 기초 계층 인코더 및 향상 계층 인코더에서 수행되는 예측 참조를 나타낸다.
다시 말해, 도 4에서 기초 계층 0(L0)은 기초 스케일러빌리티 비디오 인코더(21)의 기초 계층 인코더와, 비디오 1에 대한 확장된 스케일러빌리티 비디오 인코더 22의 기초 계층 인코더와, 비디오 2에 대한 확장된 스케일러빌리티 비디오 인코더 23의 기초 계층 인코더에서 각각 수행되는 예측 참조 구조를 나타낸 것이다.
마찬가지로, 도 4에서 향상 계층 1(L1)은 기초 스케일러빌리티 비디오 인코더(21)의 향상 계층 인코더와, 비디오 1에 대한 확장된 스케일러빌리티 비디오 인코더 22의 향상 계층 인코더와, 비디오 2에 대한 확장된 스케일러빌리티 비디오 인코더 23의 향상 계층 인코더에서 각각 수행되는 예측 참조 구조를 나타낸 것이다.
도 4를 참조하면, 기초 스케일러빌리티 비디오 인코더(21)의 기초 계층 인코더는 종래와 같이 시간축 상에서 자신의 저해상도 영상 프레임들에 대해 인접 프레임들을 예측 참조하여 스케일러블 비디오 코딩을 수행한다. 그리고 비디오 1을 위한 확장된 스케일러빌리티 비디오 인코더(22)의 기초 계층 인코더는 동일 시간축 상에 위치한 참조 주변 비디오 프레임인 비디오 0의 프레임과 비디오 2의 프레임을 이용해 자신의 프레임에 대한 양방향 예측을 수행한다. 또한 비디오 2를 위한 확장된 스케일러빌리티 비디오 인코더(23)의 기초 계층 인코더는 기본 비디오 0을 참조하여 단방향 예측을 수행함과 동시에 자신의 프레임을 이용해 양방향 예측을 수행한다.
한편, 기본 계층의 상위 계층인 향상 계층 1(L1)은 자신의 비디오 프레임에 대한 공간 및 시간 예측뿐만 아니라 하위 계층인 기초 계층의 자신 프레임과 기초 계층의 주변 프레임을 참조하여 예측을 수행한다. 도면에서 각 매크로블록에 원과 가위표로 표현된 세 개의 표시는 하위 계층의 참조 여부를 나타내기 위한 것이다. 여기서, 세 개의 표시중 중간에 있는 "원"이나 "가위표"는 자신의 비디오 프레임에 대한 하위 계층의 참조 여부를 나타내고, 위와 아래에 표시된 "원"이나 "가위표"는 주변 비디오 프레임에 대한 하위 계층의 참조 여부를 나타낸다.
도 4를 참조하면, 기초 스케일러빌리티 비디오 인코더(21)의 향상 계층 인코더는 종래와 같은 자신의 하위 계층의 프레임을 참조하여 스케일러블 비디오 코딩을 수행한다. 그리고 비디오 1을 위한 확장된 스케일러빌리티 비디오 인코더(22)의 향상 계층 인코더는 자신의 하위 계층의 프레임을 참조할 뿐만 아니라 주변 비디오 프레임인 비디오 0의 하위 계층 프레임과 비디오 2의 하위 계층 프레임을 참조하여 자신의 프레임에 대한 양방향 예측을 수행한다. 또한 비디오 2를 위한 확장된 스케일러빌리티 비디오 인코더(23)의 향상 계층 인코더는 자신의 하위 계층의 프레임을 참조할 뿐만 아니라 기본 비디오 0의 하위 계층 프레임을 참조하여 예측을 수행한다.
도 5는 도 4에 도시된 참조 구조를 시간을 고정시키고 공간(뷰) 계층 축에서 참조 구조를 "원"과 "가위표"로 나타낸 것이다. 도 5에서는 3개 계층의 경우를 나타내고 있다. 도 5에서 51은 기초 비디오인 비디오 0의 참조 구조를 나타내고, 52는 비디오 1의 참조 구조를 나타내며, 53은 비디오 2의 참조 구조를 나타낸다.
도 5에서 비디오 0(51)에 대한 향상 계층 2의 매크로블록은 중간만 "원"이고 양쪽 모두 "가위표"이므로, 자신의 비디오에 대한 하위 계층만을 참조하여 기존의 스케일러블 비디오 코딩(SVC: scalable video coding)에서 사용하는 움직임과 차영상 및 인트라 예측을 통해 코딩한다. 반면, 비디오 1(52)에 대한 향상 계층 2의 매크로블록은 중간뿐만 아니라 오른쪽 및 왼쪽 모두 "원"이므로 자신의 비디오에 대한 하위 계층뿐만 아니라 주변의 비디오에 대한 하위 계층을 참조하여 스케일러블 비디오 코딩을 수행한다. 또한 비디오 2(53)에 대한 향상 계층 2의 매크로블록은 중간 및 왼쪽이 "원"으로 표현되었으므로, 자신의 비디오의 하위 계층과 비디오 0의 하위 계층을 참조하여 스케일러블 비디오 코딩을 수행한다.
이상에서 설명한 바와 같은 하위 계층의 참조 여부를 나타내기 위해, 하위 계층의 참조 여부에 따라 참조 계층의 비디오에 대한 정보를 추가한 스케일러블 비디오의 구문이 필요하다.
다음의 구문에서 ref_view_Idx는 하위 계층의 참조 비디오의 뷰 번호를 나타낸다. 여기서 base_mode_flag는 하위 계층의 움직임 벡터 정보를 현재 블록의 움직임 예측에 사용을 할 것인지를 나타내는 플래그로, 값이 1일 경우 하위 계층의 어느 뷰의 움직임 벡터 정보를 이용한 것인지를 나타내는 뷰 번호인 ref_view_Idx를 나타내 주어야 한다.
base_mode_refinement_flag 역시 하위 계층의 움직임 벡터 정보를 현재 블록의 움직임 벡터 예측에서 이용하는지를 나타내는 플래그로, base_mode_flag와의 차이점은 하위 계층의 참조 인덱스도 예측정보로 이용을 한다는 것이다. 따라서 플래그가 1인 경우 하위 계층 어떤 뷰의 움직임 벡터와 참조 인덱스 정보를 이용한 것인지를 나타내는 ref_view_Idx를 표시해 주어야 한다. intra_base_flag는 하위 계층의 인트라 블록의 타입을 현재블록의 블록타입의 예측정보로 이용하는 것에 대해 나타내는 플래그로, 1인 경우 하위 계층의 인트라 예측모드에 대한 정보를 현재 블록에서 이용하게 된다. 따라서 하위 계층의 어느 뷰의 인트라 블록 타입 정보를 이용하는지에 대한 뷰 번호인 ref_view_Idx를 표시해 주어야 한다.
residual_prediction_flag는 하위 계층의 차분 영상 값을 현재 블록의 차분영상의 예측에 이용하는지에 대한 여부를 나타내는 플래그로, 1인 경우 하위 계층의 차분영상 정보를 업 샘플링하여 이용하게 된다. 역시 이때에도 하위 계층의 어떤 뷰의 차분 영상 정보를 이용하는지에 대한 뷰 번호인 ref_view_Idx를 표시해 주어야 한다. 이상과 같은 스케일러블 비디오의 구문을 표로 나타내면, 표 1과 같다.
도 6은 기본 스케일러블 구조에서 계층적 B구조가 아닌 기존의 B 프레임 구조의 경우에서 참조 구조의 하나의 실시 예를 나타낸다. 도 6에서 61은 기초 비디오인 비디오 0에 대한 참조 구조를 나타내고, 62는 비디오 1에 대한 참조 구조를 나타내며, 63은 비디오 2에 대한 참조 구조를 나타낸다.
또한 도 7은 도 6에 도시된 참조 구조를 시간을 고정시키고 공간(뷰) 계층 축에서 참조 구조를 "원"과 "가위표"로 나타낸 것이다. 마찬가지로, 도 7에서는 3개 계층의 경우를 나타낸다. 도 7에서 71은 기초 비디오인 비디오 0의 참조 구조를 나타내고, 72는 비디오 1의 참조 구조를 나타내며, 73은 비디오 2의 참조 구조를 나타낸다.
도 6 및 도 7을 참조하면, 기초 비디오인 비디오 0(61, 71)은 자신의 하위 계층 프레임만을 참조하여 스케일러블 비디오 코딩을 수행한다. 하지만, 비디오 1과 비디오 2는 자신의 하위 계층 프레임을 참조할 뿐만 아니라 주변 비디오의 하위 계층을 참조하여 스케일러블 비디오 코딩을 수행한다.
이상에서 설명한 바와 같은 본 발명에 따른 예측 참조 구조는 B 프레임 예측 구조가 아닌 기존의 P 프레임 구조의 경우에도 동일하게 적용될 수 있다.
도 8은 본 발명에 따른 다른 실시 예에 따른 다시점 비디오의 스케일러블 코딩 장치의 블록 구성도이고, 도 9는 도 8에서 기초 비디오인 비디오 0(91)과 주변 비디오인 비디오 1(92) 및 비디오 2(93)에 대한 참조 구조를 나타낸 것이다.
도 8 및 도 9를 참조하면, 기초 비디오인 비디오 0에 대한 스케일러블 코딩을 수행하는 기초 스케일러빌리티 비디오 인코더(81)는 종래의 단일시점 비디오의 스케일러블 코딩 장치와 동일하게 자신의 하위 계층을 참조하여 스케일러블 비디오 코딩을 수행한다. 따라서 기초 비디오의 경우 기존의 스케일러블 코딩 장치들과 호환이 될 수 있다.
그리고, 비디오 1에서부터 비디오 4까지는 확장된 스케일러빌리티 비디오 인코더(82 내지 85)를 통해 스케일러브 비디오 코딩을 수행한다. 확장된 스케일러빌리티 비디오 인코더(82 내지 85)는 기존의 단일시점 비디오의 스케일러블 코딩 장치와 같이 영상을 다계층 해상도로 분리하고, 분리된 영상 프레임에 대해 시공간으로 예측을 수행할 뿐만 아니라 주변 비디오의 시공간 계층 영상 정보 및 압축 파라메터를 참조하여 압축을 수행한다.
예를 들어, 도 9에 도시된 바와 같이 비디오 1의 향상 계층 1(92)은 비디오 0의 하위 계층을 참조하여 스케일러블 비디오 코딩을 수행하고, 비디오 2의 향상 계층 1(93)은 비디오 1의 하위 계층을 참조하여 스케일러블 비디오 코딩을 수행한다. 다시 말해, 도 8에 도시된 바와 같이 본 발명의 다른 실시 예는 확장된 스케일러빌리티 비디오 인코더가 바로 옆의 하나의 비디오만을 순차적으로 참조하여 스케일러블 비디오 코딩을 수행한다.
이에 따라 기초 스케일러빌리티 비디오 인코더(81)만을 이용하는 경우 기존의 2차원 비디오 서비스가 가능하며, 기초 비디오 0에 대한 기초 스케일러빌리티 비디오 인코더(81)와 비디오 1에 대한 확장된 스케일러빌리티 비디오 인코더(82)를 이용하는 경우 스테레오 비디오 서비스가 가능하게 된다. 또한 기초 비디오 0과 비디오 1과 비디오 2에 의해 3 뷰(view) 서비스가 가능하며, 기초 비디오 0부터 비디오 4에 의해 5 뷰 서비스가 가능하다.
이상에서 설명한 바와 같은 본 발명에 따른 다시점 비디오에 대한 스케일러블 코딩 기술에 대해 정리하면 다음과 같다.
먼저, 하나의 기초 비디오(예를 들어, 비디오 0)에 대해 공간 축으로 공간 필터를 사용하여 다계층 해상도로 분리한다. 그리고, 상기 분리된 저해상도 영상 프레임에 대해 시간 축에서 계층적 움직임 예측을 통해 시공간 스케일러블 비디오 코딩을 수행한다. 또한 상기 분리된 고해상도 영상 프레임에 대해 하위 계층을 참조하여 시간 축에서 계층적 움직임 예측을 통해 시공간 스케일러블 비디오 코딩을 수행한다. 그리고, 코딩된 저해상도 영상과 코딩된 적어도 하나 이상의 고해상도 영상을 다중화하여 비트 스트림을 생성한다. 이와 같은 기초 비디오에 대한 스케일러블 비디오 코딩은 종래의 방법과 동일하다.
다음, 다시점 비디오들에 대한 확장된 스케일러블 비디오 코딩에 대해 살펴본다.
먼저, 자신의 비디오와 참조 비디오인 적어도 하나 이상의 주변 비디오를 입력받아, 입력된 자신의 비디오 및 주변 비디오에 대해 공간 축으로 공간 필터를 사용하여 다계층 해상도로 분리한다. 그리고 분리된 저해상도 영상 프레임에 대해 시간 축에서 자신의 인접 프레임뿐만 아니라 참조 프레임으로 주변의 프레임을 참조하여 계층적 움직임 예측을 통해 시공간 스케일러블 비디오 코딩을 수행한다. 또한 상기 분리된 고해상된 영상 프레임에 대해 시간 축에서 자신 비디오 프레임에 대한 하위 계층뿐만 아니라 참조 비디오인 주변 비디오 프레임의 하위 계층을 참조하여 계층적 움직임 예측을 통해 스케일러블 비디오 코딩을 수행한다. 그리고, 코딩된 저해상도 영상과 코딩된 적어도 하나 이상의 고해상도 영상을 다중화하여 비트 스트림을 생성한다.
이와 같이 확장된 스케일러블 비디오 코딩은 참조 프레임으로 자신의 인접 프레임 및 하위 계층 프레임만을 사용하는 단일 시점 비디오에 대한 스케일러블 비디오 코딩과 다르게 참조 프레임으로 자신의 하위 계층 프레임뿐만 아니라 주변의 하위 계층 프레임을 사용한다.
한편, 본 발명에 따른 다시점 비디오에 대한 스케일러블 비디오 디코딩 장치는 전술한 바와 같은 인코딩 장치의 역으로 수행된다.
본 발명에 따른 디코딩 장치에 살펴보면, 디코딩 장치는 하나의 기초 비디오에 대해 스케일러블 코딩된 비트스트림을 수신하여, 역시간 변환 및 역 공간 변환을 통해 복원하는 기초 스케일러빌리티 비디오 디코더; 및 동일 시점에 촬영된 자신의 비디오와 참조 비디오에 대해 시공간 예측을 통해 스케일러블 코딩된 비트스트림을 수신하여, 자신의 하위 계층뿐만 아니라 참조 비디오인 타 비디오 프레임의 하위 계층의 참조 여부에 따라 역 시공간 예측을 통해 적어도 하나 이상의 고해상도 영상 프레임을 복원하고, 자신의 인접 프레임뿐만 아니라 동일 시간 축에서 상기 타 비디오 프레임의 참조 여부에 따라 역 시공간 예측을 통해 저해상도 영상 프레임을 복원한 후, 상기 복원된 고해상도 영상 프레임과 상기 복원된 저해상도 영상 프레임에 대해 역공간 필터링을 통해 영상을 복원하는 복수의 확장된 스케일러빌리티 비디오 디코더를 포함한다.
본 발명에 따른 디코딩 장치에서 기초 스케일러빌리티 비디오 디코더는, 기존의 스케일러블 비디오 디코더와 동일한 구조를 갖는다. 따라서 이에 대한 구체적인 설명은 생략한다.
본 발명에서 확장된 스케일러빌리티 비디오 디코더는, 수신된 비트스트림을 역다중화하는 역다중화부와, 상기 역다중화부에 의해 출력된 고해상도 영상 신호에 대해 자신의 비디오에 대한 하위 계층뿐만 아니라 참조 비디오인 타 비디오에 대한 하위 계층의 참조 여부에 따라 역 시공간 움직임 예측을 통해 스케일러블 디코딩을 수행하는 적어도 하나 이상의 향상계층 디코더와, 상기 역다중화부에 의해 출력된 저해상도 영상 신호에 자신의 비디오 프레임에 대한 역 시공간 움직임 예측뿐만 아니라 시간 축에서 참조 비디오 프레임에 대한 역 움직임 예측을 통해 스케일러블 디코딩을 수행하는 기초계층 디코더와, 상기 향상계층 디코딩더에 의해 복원된 고해상도 영상 및 상기 기초계층 디코더에 의해 복원된 저해상도 영상에 대해 역 공간적 필터링을 통해 영상을 복원하는 역공간적 비디오 필터링부를 포함한다.
여기서, 기초계층 디코더와 향상 계층 디코더는 앞서 설명한 기초 계층 인코더 및 향상 계층 디코더의 역 동작을 수행하는 것으로, 이에 대한 구체적인 구조 및 동작에 대해서는 설명을 생략한다.
향상계층 디코더는, 고해상도 영상 신호에 대한 디코딩 시, 하위 계층의 움직임 벡터 정보의 사용 여부를 나타내는 플래그와 타 비디오에 대한 하위 계층의 참조 인덱스를 예측 정보로 이용하는지의 여부를 나타내는 플래그와, 하위 계층의 인트라 블록의 타입을 예측정보로 이용하는지 여부를 나타내는 플래그와, 하위 계층의 차분 영상 값의 이용 여부에 대한 플래그와, 예측에 사용된 참조 뷰의 인덱스를 참조하여 스케일러블 디코딩을 수행한다.
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims (18)

  1. 다시점 비디오에 대한 스케일러블 비디오 코딩 장치에 있어서,
    기초 비디오를 공간 필터링을 통해 다계층 해상도로 분리하고, 분리된 저해상도 영상 프레임 및 하나 이상의 고해상도 영상 프레임 각각에 대해 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 기초 스케일러빌리티 비디오 인코더; 및
    제1 비디오와 참조 비디오인 적어도 하나 이상의 비디오를 입력 받아, 공간 필터링을 통해 다계층 해상도로 분리하고, 분리된 저해상도 영상 프레임에 대해 제1 비디오 프레임의 인접 프레임 및 동일 시간 축에서의 참조 비디오 프레임을 참조하여 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하며, 분리된 하나 이상의 고해상도 영상 프레임에 대해 상기 제1 비디오의 하위 계층 및 상기 참조 비디오의 하위 계층을 참조하여 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 복수의 확장된 스케일러빌리티 비디오 인코더를 포함하는 다시점 비디오에 대한 스케일러블 비디오 코딩 장치.
  2. 제 1 항에 있어서,
    상기 확장된 스케일러빌리티 비디오 인코더는,
    입력된 상기 제1 비디오와 상기 참조 비디오에 대해 공간적 필터링을 통해 다계층 해상도로 분리하는 공간적 비디오 필터링 수단;
    상기 공간적 비디오 필터링 수단의 저해상도 영상들에 대해 시간적 필터링을 통해 분리하고, 상기 제1 비디오 프레임에 대한 시공간 움직임 예측 및 시간 축에서 상기 참조 비디오 프레임에 대한 움직임 예측을 통해 스케일러블 코딩을 수행하는 기초계층 인코딩 수단;
    상기 공간적 비디오 필터링 수단의 고해상도 영상들에 대해 시간적 필터링을 통해 분리하고, 상기 제1 비디오에 대한 하위 계층 및 상기 참조 비디오에 대한 하위 계층을 참조하여 시공간 움직임 예측을 통해 스케일러블 코딩을 수행하는 하나 이상의 향상계층 인코딩수단; 및
    상기 기초계층 인코딩 수단의 출력과 향상 계층 인코딩 수단의 출력을 다중화하여 하나의 비트스트림을 출력하는 다중화수단을 포함하는, 다시점 비디오에 대한 스케일러블 비디오 코딩 장치.
  3. 제 2 항에 있어서,
    상기 향상계층 인코딩수단은,
    코딩의 결과로 상기 하위 계층의 움직임 벡터 정보의 사용 여부를 나타내는 플래그, 상기 참조 비디오에 대한 하위 계층의 참조 인덱스를 예측 정보로 이용하는지의 여부를 나타내는 플래그, 상기 하위 계층의 인트라 블록의 타입을 예측정보로 이용하는지 여부를 나타내는 플래그 및 상기 하위 계층의 차분 영상 값의 이용 여부에 대한 플래그를 각각 설정하고, 사용된 참조 뷰의 인덱스를 표시하는, 다시점 비디오에 대한 스케일러블 비디오 코딩 장치.
  4. 제 2 항에 있어서,
    상기 향상 계층 인코딩수단은,
    인트라 블록을 위한 인트라 예측을 위해 복원된 비디오 프레임에 대해 2차원 공간 보간을 수행하는 2차원 공간 보간수단을 더 포함하는, 다시점 비디오에 대한 스케일러블 비디오 코딩 장치.
  5. 제 2 항에 있어서,
    상기 향상 계층 인코딩수단은,
    시간 및 공간축 상에 프레임간 움직임과 차영상 및 인트라 예측을 통해 부호화하는, 다시점 비디오에 대한 스케일러블 비디오 코딩 장치.
  6. 제 5 항에 있어서,
    상기 향상계층 인코딩수단은,
    움직임 예측을 위하여 상기 제1 비디오에 대한 기초 계층 영상(저해상도 영상)과 상기 참조 비디오에 대한 기초 계층 영상(저해상도 영상)의 움직임 벡터를 두 배 한 값을 사용하여 움직임 예측을 수행하는, 다시점 비디오에 대한 스케일러블 비디오 코딩 장치.
  7. 제 5 항에 있어서,
    상기 향상계층 인코딩수단은,
    상기 차영상 예측을 위하여 상기 제1 비디오에 대한 기초 계층 영상(저해상도 영상)과 상기 참조 비디오에 대한 기초 계층 영상(저해상도 영상)의 예측 후 잔여영상을 보간하여 차영상 예측을 수행하는, 다시점 비디오에 대한 스케일러블 비디오 코딩 장치.
  8. 다시점 비디오에 대한 스케일러블 비디오 코딩 방법에 있어서,
    (a) 기초 비디오를 공간 필터링을 통해 다계층 해상도로 분리하고, 분리된 저해상도 영상 프레임 및 하나 이상의 고해상도 영상 프레임 각각에 대해 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 단계; 및
    (b) 제1 비디오와 참조 비디오인 적어도 하나 이상의 비디오를 입력 받아, 공간 필터링을 통해 다계층 해상도로 분리하고, 분리된 저해상도 영상 프레임에 대해 제1 비디오 프레임의 인접 프레임 및 동일 시간 축에서의 참조 비디오 프레임을 참조하여 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하며, 분리된 하나 이상의 고해상도 영상 프레임에 대해 상기 제1 비디오의 하위 계층 및 상기 참조 비디오의 하위 계층을 참조하여 시공간 예측을 통해 스케일러블 비디오 코딩을 수행하는 단계를 포함하는, 다시점 비디오에 대한 스케일러블 비디오 코딩 방법.
  9. 제 8 항에 있어서,
    상기 (b) 단계는
    코딩의 결과로 상기 하위 계층의 움직임 벡터 정보의 사용 여부를 나타내는 플래그, 상기 참조 비디오에 대한 하위 계층의 참조 인덱스를 예측 정보로 이용하는지의 여부를 나타내는 플래그, 상기 하위 계층의 인트라 블록의 타입을 예측정보로 이용하는지 여부를 나타내는 플래그 및 상기 하위 계층의 차분 영상 값의 이용 여부에 대한 플래그를 각각 설정하고, 사용된 참조 뷰의 인덱스를 표시하는, 다시점 비디오에 대한 스케일러블 비디오 코딩 방법.
  10. 제 8 항에 있어서,
    상기 (b) 단계는
    시간 및 공간축 상에 프레임간 움직임과 차영상 및 인트라 예측을 통해 부호화하는, 다시점 비디오에 대한 스케일러블 비디오 코딩 방법.
  11. 제 8 항에 있어서,
    상기 (b) 단계는,
    인트라 블록을 위한 인트라 예측을 위해 복원된 비디오 프레임에 대해 2차원 공간 보간을 수행하는, 다시점 비디오에 대한 스케일러블 비디오 코딩 방법.
  12. 제 8 항에 있어서,
    상기 (b) 단계는,
    움직임 예측을 위하여 상기 제1 비디오에 대한 기초 계층 영상(저해상도 영상)과 상기 참조 비디오에 대한 기초 계층 영상(저해상도 영상)의 움직임 벡터를 두 배 한 값을 사용하여 움직임 예측을 수행하는, 다시점 비디오에 대한 스케일러블 비디오 코딩 방법.
  13. 제 8 항에 있어서,
    상기 (b) 단계는,
    상기 차영상 예측을 위하여 상기 제1 비디오에 대한 기초 계층 영상(저해상도 영상)과 상기 참조 비디오에 대한 기초 계층 영상(저해상도 영상)의 예측 후 잔여영상을 보간하여 차영상 예측을 수행하는, 다시점 비디오에 대한 스케일러블 비디오 코딩 방법.
  14. 다시점 비디오에 대한 스케일러블 비디오 디코딩 장치에 있어서,
    기초 비디오에 대해 스케일러블 코딩된 비트스트림을 수신하여, 역시간 변환 및 역 공간 변환을 통해 복원하는 기초 스케일러빌리티 비디오 디코더; 및
    제1 비디오와 참조 비디오에 대해 시공간 예측을 통해 스케일러블 코딩된 비트스트림을 수신하여, 상기 제1 비디오의 하위 계층 및 상기 참조 비디오의 하위 계층의 참조 여부에 따라 역 시공간 예측을 통해 하나 이상의 고해상도 영상 프레임을 복원하고, 상기 제1 비디오에 포함된 프레임의 인접 프레임 및 동일 시간 축에서 상기 참조 비디오의 프레임의 참조 여부에 따라 역 시공간 예측을 통해 저해상도 영상 프레임을 복원한 후, 상기 복원된 고해상도 영상 프레임과 상기 복원된 저해상도 영상 프레임에 대해 역공간 필터링을 통해 영상을 복원하는 복수의 확장된 스케일러빌리티 비디오 디코더를 포함하는, 다시점 비디오에 대한 스케일러블 비디오 디코딩 장치.
  15. 제 14 항에 있어서,
    상기 확장된 스케일러빌리티 비디오 디코더는,
    수신된 비트스트림을 역다중화하는 역다중화수단;
    상기 역다중화수단에 의해 출력된 고해상도 영상 신호에 대해 상기 제1 비디오에 대한 하위 계층 및 상기 참조 비디오에 대한 하위 계층의 참조 여부에 따라 역 시공간 움직임 예측을 통해 스케일러블 디코딩을 수행하는 하나 이상의 향상계층 디코딩수단;
    상기 역다중화수단에 의해 출력된 저해상도 영상 신호에 상기 제1 비디오의 비디오 프레임에 대한 역 시공간 움직임 예측 및 시간 축에서 상기 참조 비디오의 프레임에 대한 역 움직임 예측을 통해 스케일러블 디코딩을 수행하는 기초계층 디코딩수단;
    상기 향상계층 디코딩수단에 의해 복원된 고해상도 영상 및 상기 기초계층 디코딩수단에 의해 복원된 저해상도 영상에 대해 역 공간적 필터링을 통해 영상을 복원하는 역공간적 비디오 필터링 수단을 포함하는, 다시점 비디오에 대한 스케일러블 비디오 디코딩 장치.
  16. 제 15 항에 있어서,
    상기 향상계층 디코딩수단은,
    상기 하위 계층의 움직임 벡터 정보의 사용 여부를 나타내는 플래그, 상기 참조 비디오에 대한 하위 계층의 참조 인덱스를 예측 정보로 이용하는지의 여부를 나타내는 플래그, 상기 하위 계층의 인트라 블록의 타입을 예측정보로 이용하는지 여부를 나타내는 플래그, 상기 하위 계층의 차분 영상 값의 이용 여부에 대한 플래그 및 예측에 사용된 참조 뷰의 인덱스를 참조하여 스케일러블 디코딩을 수행하는, 다시점 비디오에 대한 스케일러블 비디오 디코딩 장치.
  17. 다시점 비디오에 대한 스케일러블 비디오 디코딩 방법에 있어서,
    (a) 기초 비디오에 대해 스케일러블 코딩된 비트스트림을 수신하여, 역시간 변환 및 역 공간 변환을 통해 복원하는 단계; 및
    (b) 제1 비디오와 참조 비디오에 대해 시공간 예측을 통해 스케일러블 코딩된 비트스트림을 수신하여, 상기 제1 비디오의 하위 계층 및 상기 참조 비디오의 하위 계층의 참조 여부에 따라 역 시공간 예측을 통해 하나 이상의 고해상도 영상 프레임을 복원하고, 상기 제1 비디오에 포함된 프레임의 인접 프레임 및 동일 시간 축에서 상기 참조 비디오의 프레임의 참조 여부에 따라 역 시공간 예측을 통해 저해상도 영상 프레임을 복원한 후, 상기 복원된 고해상도 영상 프레임과 상기 복원된 저해상도 영상 프레임에 대해 역공간 필터링을 통해 영상을 복원하는 단계를 포함하는, 다시점 비디오에 대한 스케일러블 비디오 디코딩 방법.
  18. 제 17 항에 있어서,
    상기 (a) 단계는
    상기 하위 계층의 움직임 벡터 정보의 사용 여부를 나타내는 플래그, 상기 참조 비디오에 대한 하위 계층의 참조 인덱스를 예측 정보로 이용하는지의 여부를 나타내는 플래그, 상기 하위 계층의 인트라 블록의 타입을 예측정보로 이용하는지 여부를 나타내는 플래그, 상기 하위 계층의 차분 영상 값의 이용 여부에 대한 플래그 및 예측에 사용된 참조 뷰의 인덱스를 참조하여 스케일러블 디코딩을 수행하는 단계를 포함하는, 다시점 비디오에 대한 스케일러블 비디오 디코딩 방법.
KR1020070108021A 2006-10-25 2007-10-25 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치 KR100919885B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060103923 2006-10-25
KR20060103923 2006-10-25

Publications (2)

Publication Number Publication Date
KR20080037593A KR20080037593A (ko) 2008-04-30
KR100919885B1 true KR100919885B1 (ko) 2009-09-30

Family

ID=39324782

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070108021A KR100919885B1 (ko) 2006-10-25 2007-10-25 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치

Country Status (3)

Country Link
JP (1) JP5170786B2 (ko)
KR (1) KR100919885B1 (ko)
WO (1) WO2008051041A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8855199B2 (en) * 2008-04-21 2014-10-07 Nokia Corporation Method and device for video coding and decoding
CN101588252B (zh) 2008-05-23 2011-07-20 华为技术有限公司 一种多点会议的控制方法及装置
KR101012760B1 (ko) * 2008-09-05 2011-02-08 에스케이 텔레콤주식회사 다시점 비디오의 송수신 시스템 및 방법
KR101146138B1 (ko) * 2008-12-10 2012-05-16 한국전자통신연구원 시간적 스케일러블 비디오 인코더
KR101350261B1 (ko) * 2008-12-30 2014-01-13 엘지전자 주식회사 이차원 영상과 3d 영상의 통합 서비스가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
JP2012523804A (ja) * 2009-04-13 2012-10-04 リアルディー インコーポレイテッド 向上した解像度の立体ビデオのエンコード、デコード、および配信
CA2765570C (en) * 2009-06-16 2016-05-03 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3d video processing method thereof
US9648346B2 (en) 2009-06-25 2017-05-09 Microsoft Technology Licensing, Llc Multi-view video compression and streaming based on viewpoints of remote viewer
KR20110007928A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 다시점 영상 부호화 및 복호화 방법과 장치
KR101144752B1 (ko) * 2009-08-05 2012-05-09 경희대학교 산학협력단 비디오 인코딩/디코딩 방법 및 그 장치
WO2011016701A2 (ko) * 2009-08-07 2011-02-10 한국전자통신연구원 동영상 부호화 장치 및 그 방법
KR20110015356A (ko) 2009-08-07 2011-02-15 한국전자통신연구원 차분 신호의 특성에 기반한 적응적인 변환 부호화/양자화 영역을 이용한 동영상 부호화/복호화 장치 및 그 방법
US20110080948A1 (en) * 2009-10-05 2011-04-07 Xuemin Chen Method and system for 3d video decoding using a tier system framework
FR2951346A1 (fr) * 2009-10-08 2011-04-15 Thomson Licensing Procede de codage multivues et procede de decodage correspondant
CN102986214A (zh) * 2010-07-06 2013-03-20 皇家飞利浦电子股份有限公司 从低动态范围图像生成高动态范围图像
CN103155568B (zh) 2010-07-08 2016-07-27 杜比实验室特许公司 用于使用参考处理信号进行多层图像和视频传输的***和方法
WO2012012584A1 (en) * 2010-07-21 2012-01-26 Dolby Laboratories Licensing Corporation Systems and methods for multi-layered frame-compatible video delivery
JP5663093B2 (ja) * 2010-10-01 2015-02-04 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照ピクチャー処理のための最適化されたフィルタ選択
KR20120118781A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오를 위한 단일화된 스케일러블 비디오 부호화 방법 및 그 장치, 다시점 비디오를 위한 단일화된 스케일러블 비디오 복호화 방법 및 그 장치
JP2013038623A (ja) * 2011-08-09 2013-02-21 Sony Corp 画像符号化装置と画像符号化方法およびプログラム
TWI552575B (zh) * 2011-08-09 2016-10-01 三星電子股份有限公司 多視角視訊預測方法及裝置以及多視角視訊預測還原方法及裝置
CN103828371B (zh) * 2011-09-22 2017-08-22 太阳专利托管公司 运动图像编码方法、运动图像编码装置、及运动图像解码方法以及运动图像解码装置
WO2013051896A1 (ko) * 2011-10-05 2013-04-11 한국전자통신연구원 비디오 부호화/복호화 방법 및 그 장치
KR20130046534A (ko) * 2011-10-28 2013-05-08 삼성전자주식회사 영상 부호화 방법 및 장치 그리고 영상 복호화 방법 및 장치
WO2013076991A1 (ja) * 2011-11-25 2013-05-30 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、および、画像復号装置
KR101346349B1 (ko) * 2012-01-30 2013-12-31 광운대학교 산학협력단 스케일러블 다시점 영상 복호화 장치 및 방법
WO2013115609A1 (ko) * 2012-02-02 2013-08-08 한국전자통신연구원 영상신호의 계층간 예측 방법 및 그 장치
EP2835971A4 (en) * 2012-04-03 2015-04-08 Panasonic Ip Corp America IMAGE ENCODING METHOD, IMAGE DECODING METHOD, IMAGE ENCODING DEVICE, AND IMAGE DECODING DEVICE
CN104396244B (zh) * 2012-04-16 2019-08-09 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机可读存储介质
EP2858350A4 (en) * 2012-07-06 2016-05-04 Samsung Electronics Co Ltd METHOD AND DEVICE FOR MULTILAYER VIDEO DICTIONING FOR DIRECT ACCESS AND METHOD AND DEVICE FOR MULTILAYER VIDEO DECODING FOR DIRECT ACCESS
WO2014088316A2 (ko) * 2012-12-04 2014-06-12 인텔렉추얼 디스커버리 주식회사 비디오 부호화 및 복호화 방법, 그를 이용한 장치
EP2961166B1 (en) * 2013-02-25 2020-04-01 LG Electronics Inc. Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor
US10616607B2 (en) 2013-02-25 2020-04-07 Lg Electronics Inc. Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor
KR101595397B1 (ko) * 2013-07-26 2016-02-29 경희대학교 산학협력단 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치
US9762909B2 (en) 2013-07-30 2017-09-12 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
CN105453562B (zh) 2013-07-30 2018-12-25 株式会社Kt 支持多个层的图像编码和解码方法以及使用该方法的装置
WO2015016535A1 (ko) * 2013-07-30 2015-02-05 주식회사 케이티 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060065553A (ko) * 2004-12-10 2006-06-14 한국전자통신연구원 범용적 다시점 동영상 부호화/복호화 장치 및 방법
KR20060101847A (ko) * 2005-03-21 2006-09-26 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR20060105449A (ko) * 2005-04-01 2006-10-11 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060065553A (ko) * 2004-12-10 2006-06-14 한국전자통신연구원 범용적 다시점 동영상 부호화/복호화 장치 및 방법
KR20060101847A (ko) * 2005-03-21 2006-09-26 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR20060105449A (ko) * 2005-04-01 2006-10-11 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components

Also Published As

Publication number Publication date
KR20080037593A (ko) 2008-04-30
JP5170786B2 (ja) 2013-03-27
JP2010507961A (ja) 2010-03-11
WO2008051041A1 (en) 2008-05-02

Similar Documents

Publication Publication Date Title
KR100919885B1 (ko) 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치
US7889793B2 (en) Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer
CN1722838B (zh) 使用基础层的可伸缩性视频编码方法和设备
US8040950B2 (en) Method and apparatus for effectively compressing motion vectors in multi-layer structure
KR100621581B1 (ko) 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
KR100760258B1 (ko) 범용적 다시점 동영상 부호화/복호화 장치 및 방법
KR100789753B1 (ko) 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화/복호화장치 및 그 방법
JP4991699B2 (ja) ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法
JP5059766B2 (ja) 視差ベクトルの予測方法、その方法を利用して多視点動画を符号化及び復号化する方法及び装置
KR100703745B1 (ko) 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치
EP1659797A2 (en) Method and apparatus for compressing motion vectors in video coder based on multi-layer
KR100703746B1 (ko) 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치
MX2008002391A (es) Metodo y aparato para codificar video de vistas multiples.
KR20150004289A (ko) 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법
EP1730967B1 (en) Method and apparatus for effectively compressing motion vectors in multi-layer structure
MXPA06006117A (es) Metodo y aparato de codificacion y decodificacion escalables de video.
RU2810966C1 (ru) Способы сигнализирования комбинации передискретизации опорного изображения и пространственной масштабируемости
Sreedhar Multiview Video Coding for Virtual Reality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120910

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130829

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee