KR20090099545A

KR20090099545A - 고레벨 신택스를 이용한 멀티 뷰 코딩된 비디오 내의 비디오 에러 은닉을 위한 방법 및 장치

Info

Publication number: KR20090099545A
Application number: KR1020097013977A
Authority: KR
Inventors: 퍼빈 빕하스 팬디트; 펭 인; 예핑 수
Original assignee: 톰슨 라이센싱
Priority date: 2007-01-04
Filing date: 2008-01-04
Publication date: 2009-09-22
Also published as: JP5273816B2; KR101420894B1; WO2008085887A2; EP2116064B1; JP2010516100A; US20100027681A1; CN101578873B; EP2116064A2; WO2008085887A3; CN101578873A; ES2389745T3; BRPI0806829A2; US9282327B2

Abstract

고레벨 신택스를 이용하여 멀티 뷰 코딩된 비디오 내의 비디오 에러를 은닉하기 위한 방법 및 장치가 제공된다. 이 장치는 비트스트림으로부터의 멀티 뷰 비디오 콘텐츠에 대응하는 적어도 하나의 뷰에 대한 픽처들을 디코딩하기 위한 디코더(100)를 포함한다. 픽처들은 비디오 시퀀스의 적어도 일부를 나타낸다. 픽처들의 적어도 일부는 비디오 시퀀스 내의 상이한 시간 인스턴스들에 대응한다. 디코더(100)는 상이한 시간 인스턴스들 중 특정 시간 인스턴스에 대응하는 임의의 픽처가 손실되었는지를 기존의 신택스 요소를 이용하여 결정한다. 기존의 신택스 요소는 상기 적어도 하나의 뷰를 포함하는, 비트스트림 내의 코딩된 뷰들의 수를 지시하기 위한 것이다(315, 345).

비트스트림, 비디오 코딩, 디코딩, 비디오 에러 은닉, 신택스 요소

Description

고레벨 신택스를 이용한 멀티 뷰 코딩된 비디오 내의 비디오 에러 은닉을 위한 방법 및 장치{METHOD AND APPARATUS FOR VIDEO ERROR CONCEALMENT IN MULTI-VIEW CODED VIDEO USING HIGH LEVEL SYNTAX}

<관련 출원의 상호 참조>

본 출원은 그 전체가 본 명세서에 참고로 포함된, 2007년 1월 4일자로 출원된 미국 특허 가출원 번호 60/883,454의 이익을 주장한다.

본 발명은 일반적으로 비디오 인코딩 및 디코딩에 관한 것으로서, 구체적으로는 고레벨 신택스를 이용한 멀티 뷰 코딩된 비디오 내의 비디오 에러 은닉을 위한 방법 및 장치에 관한 것이다.

손상된 비트스트림에서 픽처가 손실될 때, 여러 가지의 픽처 기반 에러 은닉 방법을 이용하여 손실 픽처를 숨길 수 있다. 은닉을 수행하기 위해, 픽처의 손실 및 픽처의 위치가 결정되어야 한다.

단일 뷰 사례에서 픽처의 손실을 검출하기 위한 여러 가지 방법이 있어 왔다. ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) 파트 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안(이하, "MPEG-4 AVC 표준")에서, frame_num의 개념은 기준 픽처들의 손실을 검출하는 목적에 적합하다. 또한, 복구 포인트 SEI(Supplemental Enhancement Information) 메시지, 서브 시퀀스 SEI 메시지, 복구 포인트 SEI 메시지, 기준 픽처 마킹 반복 SEI 메시지와 같은 SEI 메시지들은 물론, POC(Picture Order Count) 설계 및 다중 기준 픽처 버퍼링이 픽처 손실 검출의 목적으로 사용될 수 있다.

그러나, 이러한 방법들은 멀티-뷰 사례에 대해 확장되지 못했다.

<발명의 요약>

종래 기술의 이들 및 다른 결함들 및 단점들은 고레벨 신택스(syntax)를 이용하여 멀티 뷰 코딩된 비디오의 비디오 에러를 은닉하기 위한 방법 및 장치와 관련된 본 발명의 원리들에 의해 해결된다.

본 발명의 원리들의 일 양태에 따르면, 장치가 제공된다. 이 장치는 비트스트림으로부터의 멀티 뷰 비디오 콘텐츠에 대응하는 적어도 하나의 뷰에 대한 픽처들을 디코딩하기 위한 디코더를 포함한다. 픽처들은 비디오 시퀀스의 적어도 일부를 나타낸다. 픽처들의 적어도 일부는 비디오 시퀀스 내의 상이한 시간 인스턴스들에 대응한다. 디코더는 상이한 시간 인스턴스들 중 특정 시간 인스턴스에 대응하는 임의의 픽처가 손실되었는지를 기존의 신택스 요소를 이용하여 결정한다. 기존의 신택스 요소는 상기 적어도 하나의 뷰를 포함하는, 비트스트림 내의 코딩된 뷰들의 수를 지시하기 위한 것이다.

본 발명의 원리들의 다른 양태에 따르면, 방법이 제공된다. 이 방법은 비트 스트림으로부터의 멀티 뷰 비디오 콘텐츠에 대응하는 적어도 하나의 뷰에 대한 픽처들을 디코딩하는 단계를 포함한다. 픽처들은 비디오 시퀀스의 적어도 일부를 나타낸다. 픽처들의 적어도 일부는 비디오 시퀀스 내의 상이한 시간 인스턴스들에 대응한다. 디코딩 단계는 상이한 시간 인스턴스들 중 특정 시간 인스턴스에 대응하는 임의의 픽처가 손실되었는지를 기존의 신택스 요소를 이용하여 결정하는 단계를 포함한다. 기존의 신택스 요소는 상기 적어도 하나의 뷰를 포함하는, 비트스트림 내의 코딩된 뷰들의 수를 지시하기 위한 것이다.

본 발명의 원리들의 이들 및 다른 양태들, 특징들 및 이점들은 첨부 도면들과 관련하여 검토될 아래의 실시예들에 대한 상세한 설명으로부터 명확해질 것이다.

본 발명의 원리들은 아래의 예시적인 도면들에 따라 더 잘 이해될 수 있다.

도 1은 본 발명의 원리들의 일 실시예에 따라, 본 발명의 원리들이 적용될 수 있는 예시적인 MVC(Multi-view Video Coding) 디코더의 블록도이다.

도 2는 본 발명의 원리들의 일 실시예에 따라, 본 발명의 원리들이 적용될 수 있는 8개 뷰를 갖는 MVC 시스템의 타임-퍼스트(time-first) 코딩 구조를 나타내는 도면이다.

도 3은 본 발명의 원리들의 일 실시예에 따른, 손실 픽처들에 대한 에러 은닉을 이용하여 비디오 시퀀스에 대응하는 비디오 데이터를 디코딩하기 위한 예시적인 방법의 흐름도이다.

도 4는 본 발명의 원리들의 일 실시예에 따른, 손실 픽처들에 대한 에러 은닉을 이용하여 비디오 시퀀스에 대응하는 비디오 데이터를 디코딩하기 위한 다른 예시적인 방법의 흐름도이다.

본 발명의 원리들은 고레벨 신택스를 이용하여 멀티 뷰 코딩된 비디오의 비디오 에러를 은닉하기 위한 방법 및 장치에 관한 것이다.

본 설명은 본 발명의 원리들을 설명한다. 따라서, 이 분야의 기술자들은, 본 명세서에 명확히 설명되거나 도시되지 않았지만, 본 발명의 원리들을 구현하고 본 발명의 사상 및 범위 내에 포함되는 다양한 배열을 고안할 수 있을 것이라는 것을 이해할 것이다.

여기에 설명되는 모든 예 및 조건부 언어는 본 발명자(들)에 의해 기술의 발전에 기여되는 본 발명의 원리들 및 개념들을 독자가 이해하는 것을 돕기 위한 교육적인 목적들을 위해 의도되며, 구체적으로 설명되는 예들 및 조건들로 제한되지 않는 것으로 해석되어야 한다.

더욱이, 본 명세서에서 본 발명의 원리들, 양태들 및 실시예들은 물론, 본 발명의 특정 예들을 설명하는 모든 진술은 본 발명의 구조적 및 기능적 균등물들을 모두 포함하는 것을 의도한다. 또한, 그러한 균등물들은 현재 공지된 균등물들은 물론, 미래에 개발될 균등물들, 즉 구조와 관계없이 동일 기능을 수행하는 임의의 개발될 요소들을 모두 포함하는 것을 의도한다.

따라서, 예를 들어, 이 분야의 기술자들은 여기에 제공되는 블록도들이 본 발명의 원리들을 구현하는 예시적인 회로의 개념적인 뷰들을 나타낸다는 것을 알 것이다. 마찬가지로, 임의의 흐름 도표, 흐름도, 상태 전이도, 의사 코드 등은, 컴퓨터 판독가능 매체 내에 실질적으로 표현되고, 따라서 컴퓨터 또는 프로세서가 명확히 지시되는지의 여부와 관계없이, 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것을 알 것이다.

도면들에 도시된 다양한 요소의 기능들은 전용 하드웨어는 물론, 적절한 소프트웨어와 연계하여 소프트웨어를 실행할 수 있는 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 기능들은 단일 전용 프로세서에 의해, 단일 공유 프로세서에 의해, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 더욱이, "프로세서" 또는 "제어기"라는 용어의 명시적인 사용은 소프트웨어를 실행할 수 있는 하드웨어만을 지칭하는 것으로 해석되지 않아야 하며, 제한 없이 암시적으로 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(ROM) 및 비휘발성 저장 장치를 포함할 수 있다.

종래 및/또는 맞춤형의 다른 하드웨어도 포함될 수 있다. 마찬가지로, 도면들에 도시된 임의의 스위치들은 단지 개념적이다. 이들의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어와 전용 로직의 상호작용을 통해, 또는 심지어 수동으로 수행될 수 있으며, 문맥으로부터 더 구체적으로 이해되는 바와 같이, 구현자에 의해 특정 기술이 선택될 수 있다.

본 발명의 청구범위에서, 지정된 기능을 수행하기 위한 수단으로서 표현되는 임의의 요소는 예를 들어 a) 그 기능을 수행하는 회로 요소들의 조합 또는 b) 임의 형태의 소프트웨어, 따라서 기능을 수행하도록 소프트웨어를 실행하기 위한 적절한 회로와 결합되는 펌웨어, 마이크로코드 등을 포함하는 임의 형태의 소프트웨어를 포함하는 그 기능을 수행하는 임의의 방법을 포함하는 것을 의도한다. 그러한 청구범위에 의해 정의되는 바와 같은 본 발명의 원리들은 기재된 다양한 수단에 의해 제공되는 기능들이 청구항들이 요청하는 방식으로 조합되고 결합된다는 사실에 있다. 따라서, 그러한 기능들을 제공할 수 있는 임의의 수단들은 여기에 설명되는 것들과 등가인 것으로 간주된다.

명세서에서 본 발명의 원리들의 "하나의 실시예" 또는 "일 실시예"에 대한 참조는 그 실시예와 관련하여 설명되는 특정 특징, 구조, 특성 등이 본 발명의 원리들의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 명세서 전반에서 다양한 곳에 나타나는 "하나의 실시예에서" 또는 "일 실시예에서"라는 문구의 출현은 모두가 동일 실시예를 지칭하는 것은 아니다.

본 명세서에서 사용될 때, "고레벨 신택스"는 매크로블록 계층 위에 계층적으로 위치하는 비트스트림 내에 존재하는 신택스를 지칭한다. 예를 들어, 본 명세서에서 사용될 때, 고레벨 신택스는 슬라이스 헤더 레벨, 시퀀스 파라미터 세트(SPS) 레벨, 픽처 파라미터 세트(PPS) 레벨, 뷰 파라미터 세트(VPS) 레벨, 네트워크 추상화 계층(NAL) 유닛 헤더 레벨에 그리고 SEI 메시지 내에 있는 신택스를 지칭할 수 있지만, 이에 한정되지 않는다.

예시 및 간략화를 위해, 아래의 실시예들은 시퀀스 파라미터 세트의 사용과 관련하여 설명된다. 그러나, 본 발명의 원리들은 여기에 개시되는 향상된 시그널링과 관련하여 시퀀스 파라미터 세트의 사용만으로 한정되지 않으며, 따라서 그러한 향상된 시그널링은 슬라이스 헤더 레벨, SPS 레벨, PPS 레벨, VPS 레벨, NAL 유닛 헤더 레벨에 그리고 SEI 메시지 내에 있는 신택스들을 포함하지만 이에 한정되지 않는 적어도 전술한 타입의 고레벨 신택스들과 관련하여, 본 발명의 원리들의 사상을 유지하면서 구현될 수 있다는 것을 알아야 한다.

본 발명의 원리들의 하나 이상의 실시예가 MPEG-4 AVC 표준과 관련하여 설명되지만, 본 발명의 원리들은 이 표준만으로 한정되지 않으며, 따라서 본 발명의 원리들의 사상을 유지하면서, 다른 비디오 코딩 표준들, 권고안들, 및 MPEG-4 AVC 표준의 확장들을 포함하는 그 확장들과 관련하여 이용될 수 있다는 것을 더 알아야 한다.

더욱이, 예를 들어 "A 및/또는 B"의 사례에서 "및/또는"이라는 용어의 사용은 처음 기재된 옵션 (A)의 선택, 두 번째로 기재된 옵션 (B)의 선택 또는 양 옵션들 (A 및 B)의 선택을 포함하는 것을 의도한다. 추가 예로서, "A, B 및/또는 C"의 사례에서, 그러한 문구는 처음 기재된 옵션 (A)의 선택, 두 번째로 기재된 옵션 (B)의 선택, 세 번째로 기재된 옵션 (C)의 선택, 처음 및 두 번째로 기재된 옵션들 (A 및 B)의 선택, 처음 및 세 번째로 기재된 옵션들 (A 및 C)의 선택, 두 번째 및 세 번째로 기재된 옵션들 (B 및 C)의 선택, 또는 세 개의 옵션 모두 (A 및 B 및 C)의 선택을 포함하는 것을 의도한다. 이것은 이 분야 및 관련 분야의 통상의 기술자에게 자명하듯이 많은 항목들이 나열될 때를 위해 확장될 수 있다.

도 1을 참조하면, 예시적인 MVC 디코더가 일반적으로 참조 번호 100으로 지시되어 있다. 디코더(100)는 역양자화기(110)의 입력과 신호 통신하도록 접속되는 출력을 갖는 엔트로피 디코더(105)를 포함한다. 역양자화기의 출력은 역변환기(115)의 입력과 신호 통신하도록 접속된다. 역변환기(115)의 출력은 결합기(120)의 제1 비반전 입력과 신호 통신하도록 접속된다. 결합기(120)의 출력은 디블로킹 필터(125)의 입력 및 인트라(intra) 예측기(130)의 입력과 신호 통신하도록 접속된다. 디블로킹 필터(125)의 출력은 (뷰 i에 대한) 기준 픽처 저장소(140)의 입력과 신호 통신하도록 접속된다. 기준 픽처 저장소(140)의 출력은 모션 보상기(135)의 제1 입력과 신호 통신하도록 접속된다.

(다른 뷰들에 대한) 기준 픽처 저장소(145)의 입력은 디스패리티(disparity)/조명도 보상기(150)의 제1 입력과 신호 통신하도록 접속된다.

엔트로피 코더(105)의 입력은 잔여 비트스트림을 수신하기 위한, 디코더(100)의 입력으로서 이용 가능하다. 더욱이, 모드 모듈(160)의 입력도 스위치(155)에 의해 어느 입력이 선택될지를 제어하는 제어 신택스를 수신하기 위한, 디코더(100)의 입력으로서 이용 가능하다. 또한, 모션 보상기(135)의 제2 입력은 모션 벡터들을 수신하기 위한, 디코더(100)의 입력으로서 이용 가능하다. 또한, 디스패리티/조명도 보상기(150)의 제2 입력은 디스패리티 벡터들 및 조명도 보상 신택스를 수신하기 위한, 디코더(100)의 입력으로서 이용 가능하다.

스위치(155)의 출력은 결합기(120)의 제2 비반전 입력과 선호 통신하도록 접속된다. 스위치(155)의 제1 입력은 디스패리티/조명도 보상기(150)의 출력과 신호 통신하도록 접속된다. 스위치(155)의 제2 입력은 모션 보상기(135)의 출력과 신호 통신하도록 접속된다. 스위치(155)의 제3 입력은 인트라 예측기(130)의 출력과 신호 통신하도록 접속된다. 모드 모듈(160)의 출력은 스위치(155)에 의해 어느 입력이 선택되는지를 제어하기 위해 스위치(155)와 신호 통신하도록 접속된다. 디블로킹 필터(125)의 출력은 디코더의 출력으로 이용 가능하다.

본 발명의 원리들에 따르면, 고레벨 신택스를 이용하여 멀티 뷰 코딩된 비디오의 비디오 에러를 은닉하기 위한 방법 및 장치가 제공된다. 본 발명의 원리들은 적어도 멀티 뷰 코딩된 비디오의 사례에서 픽처 손실의 검출의 문제를 해결한다. 멀티 뷰 코딩된 비디오 시퀀스의 전송 동안에 뷰의 어떤 픽처들이 유실, 손실 또는 누락되었는지를 식별/검출하기 위한 방법 및 장치가 제공된다.

인터넷, 무선 네트워크 등과 같은 에러 취약 전송 환경에서, 전송되는 비디오 비트스트림은 예를 들어 채널 장애에 의해 유발되는 손상을 겪을 수 있다. 일부 실제 시스템들에서 겪는 하나의 일반적인 상황은 소정의 압축된 비디오 픽처들이 비트스트림으로부터 누락되는 것이다. 이것은 픽처가 실시간 전송 프로토콜(RTP) 패킷과 같은 전송 유닛으로 코딩될 수 있을 만큼 충분히 작은 저 비트 레이트 응용들에 대해 특히 사실이다. 수신단에서, 강건한 비디오 디코더가 그러한 손실들을 검출하여 숨길 수 있어야 한다.

멀티 뷰 비디오 코딩(MVC)에서, 코딩된 비디오 시퀀스 내에는 여러 개의 뷰가 존재한다. MPEG-4 AVC 표준의 현재의 MVC 확장의 경우에, 각각의 픽처는 자신이 어느 뷰에 속하는지를 식별하기 위한 뷰 식별자를 자신과 연관시킨다. 표 1은 스케일 가능 비디오 코딩(SVC) MVC 확장 신택스에 대한 NAL 유닛 헤더를 도시한다. 또한, 상이한 뷰들로부터의 픽처들의 디코딩을 지원하기 위한 (MPEG-4 AVC 표준 신택스들에 더하여) 여러 고레벨 신택스들이 존재한다. 이러한 신택스들은 SPS 확장 내에 존재한다. 표 2는 MPEG-4 AVC 표준의 MVC 확장 내의 SPS를 나타낸다.

따라서, MPEG-4 AVC 표준에 기초하는 멀티 뷰 비디오 코딩을 위한 현재의 제안(이하, "MPEG-4 AVC를 위한 현재의 MVC 제안")은 시퀀스 내의 코딩된 뷰들의 수를 지시하기 위한 SPS 내의 고레벨 신택스를 포함한다. 또한, MPEG-4 AVC를 위한 현재의 MVC 제안은 뷰에 대한 뷰 간(inter-view) 기준 정보를 포함한다. MPEG-4 AVC를 위한 현재의 MVC 제안은 또한 기준 뷰 식별자들을 개별적으로 전송함으로써 앵커 및 비 앵커(non-anchor) 픽처의 종속성들을 구별한다. 이것은 어떤 뷰들이 소정 뷰에 대한 기준으로 사용되는지에 대한 정보를 포함하는 표 2에 나타나 있다. 본 출원인은 이 정보(코딩된 뷰들의 수)가 멀티 뷰 코딩된 비디오의 사례에서 픽처 손실을 검출하는 데 사용될 수 있다는 것을 인식하고 제안하였다.

MPEG-4 AVC 표준의 현재 MVC 확장에서, 모든 뷰들에 대해 소정의 시간 인스턴트에 속하는 픽처들이 먼저 코딩되도록 지시된다. 도 2를 참조하면, 8개의 뷰를 갖는 멀티 뷰 비디오 코딩 시스템에 대한 타임-퍼스트 코딩 구조가 일반적으로 참조 번호 200으로 지시되어 있다. 도 2의 예에서, 상이한 뷰들로부터의 동일 시간 인스턴스에서의 모든 픽처들은 연속적으로 코딩된다. 따라서, 시간 인스턴트 T0에서 모든 픽처들(S0-S7)이 먼저 코딩된 후, 시간 T8에서 픽처들(S0-S7)이 코딩되는 등등이 이루어진다. 이것을 타임-퍼스트 코딩이라 한다. 손실된 픽처의 적시(timely) 은닉은 다른 뷰들의 객관적인 품질을 위해 중요하다.

이것(타임-퍼스트 코딩)과 또한 SPC로부터의 시퀀스 내의 코딩된 뷰들의 수를 알면, 픽처의 손실을 검출할 수 있다. 또한, 도시된 실시예에서는, 모든 뷰들이 동일한 프레임 레이트를 갖는 것으로 가정한다. 그러나, 본 발명의 원리들은 동일 프레임 레이트를 갖는 비디오와 관련된 응용들로만 한정되는 것은 아니며, 따라서 본 발명의 원리들의 사상을 유지하면서, 상이한 프레임 레이트를 갖는 비디오와 관련된 응용에도 쉽게 적용될 수 있다. 프레임 레이트 정보는 시퀀스 파라미터 세트 내에 존재하는 비디오 이용성 정보(VUI) 파라미터들 내에 존재한다. 이러한 파라미터들은 옵션이므로, 이들은 존재하거나 존재하지 않을 수 있다. 이들이 존재하는 경우에는, 상이한 프레임 레이트를 갖는 뷰에 대해 개별 시퀀스 파라미터 세트가 시그널링되는 것이 필요하다. 디코더가 상이한 프레임 레이트를 갖는 뷰에 대해 알면, 디코더는 에러 검출 방법을 호출하거나, 단순히 에러 검출 방법의 결과를 무시할 수 있다. 또한, 디코더는 픽처를 숨기기로 결정할 수 있지만, 표시 목적으로 픽처를 사용하지 않을 수 있다.

이러한 검출 알고리즘의 일 실시예는 아래와 같다. 시퀀스 파라미터 세트로부터, 코딩되는 뷰들의 수(num_views_minus_1)를 안다. 또한, 소정 시간에서의 모든 픽처들이 먼저 코딩(time_first_coding)되는 것을 안다. 따라서, 각각의 시간 인스턴스에 대해, 각각의 뷰에 대한 모든 픽처를 먼저 버퍼링할 수 있다(예를 들어, 시간 T0). 그 시간 인스턴스 동안 도달하는 픽처들의 수의 카운트(N)와 픽처들의 뷰 식별자(view_id)를 유지한다. 시퀀스 파라미터 세트 신택스로부터 코딩된 뷰들의 수를 알고 있으므로, 이 값들을 비교하여 임의의 손실이 있었는지를 결정한다. N이 SPS에서 지시되는 값보다 작은 경우, 손실이 있었음을 안다. 또한, 도달한 view_id의 추적을 유지하므로, 어느 view_id들이 유실되었는지를 결정할 수 있다.

또한, MPEG-4 AVC 표준 호환 가능 뷰가 코딩되는 최초의 뷰인 것으로 가정하면, 2개의 MPEG-4 AVC 표준 호환 가능 NAL 유닛들 사이에서 num_views_minus_1개의 뷰를 기대하고 있음을 안다. 이러한 정보는 픽처들의 손실을 검출하는 데에도 사용될 수 있다. 위의 실시예와 마찬가지로, 유실된 view-id(들)를 결정할 수 있다.

다른 실시예에서는, 비트스트림의 시작에서 또는 코딩 순서의 변경 후에 한 번만 버퍼링을 수행하면 된다. 첫 번째 버퍼링 기간 동안 view_id 순서를 검토함으로써 코딩 순서를 결정한 경우, 후속 시간 인스턴스에 대해, 도달하는 픽처가 예상된 view_id를 갖고 있는지를 검사하는 것만이 필요하다. 픽처가 예상된 view_id를 갖지 않는 것으로 결정되는 경우, 예상된 view_id에 속하는 픽처가 손실되었으며, 따라서 다른 픽처들의 디코딩 전에 은닉되는 것이 필요하다는 것을 알게 된다.

도 3을 참조하면, 손실된 픽처들에 대한 에러 은닉을 이용하여 비디오 시퀀스에 대응하는 비디오 데이터를 디코딩하기 위한 예시적인 방법이 일반적으로 참조 번호 300으로 지시되어 있다.

방법(300)은 기능 블록(310)에 제어를 전달하는 시작 블록(305)을 포함한다. 기능 블록(310)은 SPS, PPS, VPS, NAL 유닛 헤더 및/또는 임의의 SEI 메시지들을 분석하고, 제어를 기능 블록(315)으로 전달한다. 기능 블록(315)은 변수 NumViews를 num_view_minus_1 + 1과 동일하게 설정하고, 변수 PrevPOC를 0으로 설정하고, 변수 RecvPic를 0으로 설정하며, 제어를 판정 블록(320)으로 전달한다. 판정 블록(320)은 비디오 시퀀스의 끝에 도달하였는지의 여부를 판정한다. 그러한 경우, 제어는 종료 블록(399)으로 전달된다. 그렇지 않은 경우, 제어는 기능 블록(325)으로 전달된다.

기능 블록(325)은 다음 픽처들의 픽처 순서 카운트(POC)를 판독하고, 변수 RecvPic를 증가시키며, 제어를 판정 블록(330)으로 전달한다. 판정 블록(330)은 변수 CurrPOC가 변수 PrevPOC와 동일한지의 여부를 판정한다. 그러한 경우, 제어는 기능 블록(335)으로 전달된다. 그렇지 않은 경우, 제어는 기능 블록(340)으로 전달된다.

기능 블록(335)은 현재 픽처를 버퍼링하고, 제어를 기능 블록(325)으로 반환한다.

기능 블록(340)은 현재 픽처를 버퍼링하고, 변수 PrevPOC를 변수 CurrPOC와 동일하게 설정하며, 제어를 판정 블록(345)으로 전달한다. 판정 블록(345)은 변수 RecvPic가 변수 NumViews와 동일한지의 여부를 판정한다. 그러한 경우, 제어는 판정 블록(355)으로 전달된다. 그렇지 않은 경우, 제어는 기능 블록(350)으로 전달된다.

판정 블록(355)은 변수 RecvPic가 O과 동일한지의 여부를 판정한다. 그러한 경우, 제어는 기능 블록(360)으로 전달된다. 그렇지 않은 경우, 제어는 기능 블록(370)으로 전달된다.

기능 블록(360)은 다음 픽처를 분석하고, 제어를 기능 블록(365)으로 전달한다. 기능 블록(365)은 현재 픽처를 디코딩하고, 제어를 판정 블록(355)으로 반환한다.

기능 블록(350)은 유실된 view_id들을 검사하고 저장하며, 제어를 판정 블록(355)으로 전달한다.

기능 블록(370)은 유실된 view_id들에 대응하는 픽처들을 숨기며, 제어를 판정 블록(320)으로 반환한다.

도 4를 참조하면, 손실된 픽처들에 대한 에러 은닉을 이용하여 비디오 시퀀스에 대응하는 비디오 데이터를 디코딩하기 위한 다른 예시적인 방법이 일반적으로 참조 번호 400으로 지시되어 있다.

방법(400)은 기능 블록(410)으로 제어를 전달하는 시작 블록(405)을 포함한다. 기능 블록(410)은 SPS, PPS, VPS, NAL 유닛 헤더 및/또는 임의의 SEI 메시지들을 분석하고, 제어를 기능 블록(415)으로 전달한다. 기능 블록(415)은 변수 NumViews를 num_view_minus_1 + 1과 동일하게 설정하고, 변수 PrevPOC를 0으로 설정하고, 변수 RecvPic를 0으로 설정하고, 변수 ViewCodingOrder를 0으로 설정하며, 제어를 판정 블록(420)으로 전달한다. 판정 블록(420)은 비디오 시퀀스의 끝에 도달하였는지의 여부를 판정한다. 그러한 경우, 제어는 종료 블록(499)으로 전달된다. 그렇지 않은 경우, 제어는 기능 블록(425)으로 전달된다.

기능 블록(425)은 다음 픽처들의 픽처 순서 카운트(POC)를 판독하고, 변수 RecvPic를 증가시키며, 제어를 판정 블록(430)으로 전달한다. 판정 블록(430)은 변수 CurrPOC가 변수 PrevPOC와 동일한지의 여부를 판정한다. 그러한 경우, 제어는 기능 블록(435)으로 전달된다. 그렇지 않은 경우, 제어는 기능 블록(450)으로 전달된다.

판정 블록(435)은 변수 ViewCodingOrder가 1과 동일한지의 여부를 판정한다. 그러한 경우, 제어는 판정 블록(440)으로 전달된다. 그렇지 않은 경우, 제어는 기능 블록(485)으로 전달된다.

판정 블록(440)은 은닉이 필요한지의 여부를 판정한다. 그러한 경우, 제어는 기능 블록(445)으로 전달된다. 그렇지 않은 경우, 제어는 기능 블록(490)으로 전달된다.

기능 블록(445)은 유실된 view_id들의 픽처들을 숨기고, 제어를 판정 블록(420)으로 반환한다.

기능 블록(450)은 현재 픽처를 버퍼링하고, 변수 PrevPoc를 변수 CurrPOC와 동일하게 설정하며, 제어를 판정 블록(455)으로 전달한다. 판정 블록(455)은 변수 RecvPic가 변수 NumViews와 동일한지의 여부를 판정한다. 그러한 경우, 제어는 기능 블록(460)으로 전달된다. 그렇지 않은 경우, 제어는 기능 블록(480)으로 전달된다.

기능 블록(460)은 뷰 코딩 순서를 저장하고, ViewCodingOrder을 1로 설정하며, 제어를 판정 블록(465)으로 전달한다. 판정 블록(465)은 RecvPic가 0과 동일한지의 여부를 판정한다. 그러한 경우, 제어는 기능 블록(470)으로 전달된다. 그렇지 않은 경우, 제어는 기능 블록(445)으로 전달된다.

기능 블록(470)은 다음 픽처를 분석하고, 제어를 기능 블록(475)으로 전달한다. 기능 블록(475)은 현재 픽처를 디코딩하고, 제어를 판정 블록(465)으로 반환한다.

기능 블록(485)은 현재 픽처를 버퍼링하고, 제어를 기능 블록(425)으로 반환한다.

기능 블록(480)은 유실된 view_id들을 검사하고 저장하며, 제어를 판정 블록(465)으로 전달한다.

기능 블록(490)은 현재 픽처를 디코딩하고, 제어를 판정 블록(420)으로 반환한다.

이제, 본 발명의 많은 부수적인 이익들/특징들 중 일부에 대한 설명이 주어지는데, 그 일부는 위에서 설명되었다. 예를 들어, 하나의 이익/특징은 비트스트림으로부터의 멀티 뷰 비디오 콘텐츠에 대응하는 적어도 하나의 뷰에 대한 픽처들을 디코딩하기 위한 디코더를 포함하는 장치이다. 픽처들은 비디오 시퀀스의 적어도 일부를 나타낸다. 픽처들의 적어도 일부는 비디오 시퀀스 내의 상이한 시간 인스턴스들에 대응한다. 디코더는 상이한 시간 인스턴스들 중 특정 시간 인스턴스에 대응하는 임의의 픽처가 손실되었는지를 기존 신택스 요소를 이용하여 결정한다. 기존 신택스 요소는 상기 적어도 하나의 뷰를 포함하는, 비트스트림 내의 코딩된 뷰들의 수를 지시하기 위한 것이다.

다른 이익/특징은 전술한 바와 같은 디코더를 갖는 장치이며, 여기서 기존 신택스 요소는 멀티 뷰 비디오 코딩 신택스 요소이다.

또 다른 이익/특징은 디코더를 갖는 장치이며, 여기서 기존 신택스 요소는 전술한 바와 같은 멀티 뷰 비디오 코딩 신택스 요소이고, 멀티 뷰 비디오 코딩 신택스 요소는 ISO/IEC MPEG-4 파트 10 AVC 표준/ITU-T H.264 권고안의 확장에 대응한다.

또 다른 이익/특징은 전술한 바와 같은 디코더를 갖는 장치이며, 기존 신택스 요소는 고레벨에 존재한다.

더욱이, 다른 이익/특징은 전술한 바와 같은 디코더를 갖는 장치이며, 여기서 고레벨은 슬라이스 헤더 레벨, 시퀀스 파라미터 세트 레벨, 픽처 파라미터 세트 레벨, 뷰 파라미터 세트 레벨, 네트워크 추상화 계층 유닛 헤더 레벨 및 보조 향상 정보 메시지에 대응하는 레벨 중 적어도 하나에 대응한다.

또한, 다른 이익/특징은 전술한 바와 같은 디코더를 갖는 장치이며, 여기서 상이한 시간 인스턴스들 중 특정 시간 인스턴스에 대응하는 임의의 픽처가 버퍼링되며, 디코더는 상이한 시간 인스턴스들 중 특정 시간 인스턴스에 도달하는 픽처들에 대한 카운트를 유지한다.

또한, 다른 이익/특징은 디코더를 갖는 장치이며, 여기서 전술한 바와 같이, 상이한 시간 인스턴스들 중 특정 시간 인스턴스에 대응하는 임의의 픽처가 버퍼링되고, 디코더는 상이한 시간 인스턴스들 중 특정 시간 인스턴스에 도달하는 픽처들에 대한 카운트를 유지하며, 디코더는 카운트의 값과 기존 신택스 요소의 값을 비교한다.

또한, 다른 이익/특징은 전술한 바와 같이 카운트의 값과 기존 신택스 요소의 값을 비교하는 디코더를 갖는 장치이며, 여기서 픽처들 중 특정 픽처는, 그에 대한 카운트의 값이 기존 신택스 요소의 값과 동일하지 않을 때, 손실된 것으로 지정된다.

더욱이, 다른 이익/특징은 디코더를 갖는 장치이며, 여기서 전술한 바와 같이, 픽처들 중 특정 픽처는, 그에 대한 카운트의 값이 기존 신택스 요소의 값과 동일하지 않을 때, 손실된 것으로 지정되고, 디코더는 비트스트림에 대응하는 도달된 한 세트의 뷰 식별자들 중에서 유실된 뷰 식별자를 찾음으로써 손실된 것으로 지정된 픽처들 중의 특정 픽처의 뷰 식별자를 결정한다.

또한, 다른 이익/특징은 전술한 바와 같은 디코더를 갖는 장치이며, 여기서 비트스트림으로부터의 픽처들을 디코딩하기 위해, 디코더는 픽처들을 한 번만 버퍼링한다.

또한, 다른 이익/특징은 전술한 바와 같이 비트스트림으로부터의 픽처들을 버퍼링하기 위해 픽처들을 한 번만 버퍼링하는 디코더를 갖는 장치이며, 여기서 디코더는 비트스트림의 시작에서 픽처들을 한 번만 버퍼링한다.

또한, 다른 이익/특징은 전술한 바와 같이 비트스트림으로부터의 픽처들을 버퍼링하기 위해 픽처들을 한 번만 버퍼링하는 디코더를 갖는 장치이며, 여기서 디코더는 코딩 순서의 변경 후에 픽처들을 한 번만 버퍼링한다.

더욱이, 다른 이익/특징은 전술한 바와 같이 비트스트림으로부터의 픽처들을 버퍼링하기 위해 픽처들을 한 번만 버퍼링하는 디코더를 갖는 장치이며, 여기서 디코더는 버퍼링에 이어서 픽처들에 대한 뷰 식별자들의 순서를 유지한다.

또한, 다른 이익/특징은 전술한 바와 같이 버퍼링에 이어서 픽처들에 대한 뷰 식별자들의 순서를 유지하는 디코더를 갖는 장치이며, 여기서 디코더는 상이한 시간 인스턴스들 중 후속 시간 인스턴스들에 대해 유지되는 순서를 이용하여, 상이한 시간 인스턴스들 중 후속 시간 인스턴스들에 대응하는 임의의 픽처가 손실되었는지를 판정하며, 상이한 시간 인스턴스들 중 후속 시간 인스턴스들은 상이한 시간 인스턴스들 중 특정 시간 인스턴스에 대해 후속한다.

또한, 다른 이익/특징은 전술한 바와 같은 디코더를 갖는 장치이며, 여기서 적어도 하나의 뷰는 적어도 2개의 뷰를 포함하고, 디코더는 적어도 하나의 뷰 중에서 최초 코딩된 뷰, 및 2개의 뷰가 ISO/IEC MPEG-4 파트 10 AVC 표준/ITU-T H.264 권고안에 대해 호환 가능한 뷰들일 때, 2개의 뷰 사이의 뷰들의 수를 이용하여, 임의의 픽처가 손실되었는지를 판정하며, 최초 코딩된 뷰는 2개의 뷰 중 하나 또는 다른 뷰 중 하나이다.

본 발명의 이들 및 다른 특징들 및 이익들은 본 명세서의 가르침에 기초하여 관련 분야의 통상의 기술자에 의해 쉽게 확인될 수 있다. 본 발명의 원리들의 가르침은 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서 또는 이들의 조합의 다양한 형태로 구현될 수 있다는 것을 이해해야 한다.

가장 바람직하게는, 본 발명의 원리들의 가르침은 하드웨어와 소프트웨어의 조합으로서 구현된다. 더욱이, 소프트웨어는 프로그램 저장 유닛 상에 구현되는 애플리케이션 프로그램으로서 구현될 수 있다. 애플리케이션 프로그램은 임의의 적절한 아키텍처를 포함하는 기계에 업로딩되고, 그에 의해 실행될 수 있다. 바람직하게는, 기계는 하나 이상의 중앙 처리 장치(CPU), 랜덤 액세스 메모리(RAM) 및 입출력(I/O) 인터페이스들과 같은 하드웨어를 구비하는 컴퓨터 플랫폼 상에 구현된다. 컴퓨터 플랫폼은 또한 운영 체제 및 마이크로 명령어 코드를 포함할 수 있다. 여기에 설명되는 다양한 프로세스 및 기능은 CPU에 의해 실행될 수 있는 마이크로 명령어 코드의 일부 또는 애플리케이션 프로그램의 일부 또는 이들의 임의 조합일 수 있다. 또한, 추가 데이터 저장 유닛 및 프린팅 유닛과 같은 다양한 다른 주변 유닛들이 컴퓨터 플랫폼에 접속될 수 있다.

첨부 도면들에 도시된 구성 시스템 컴포넌트들 및 방법들 중 일부는 소프트웨어로 구현되는 것이 바람직하므로, 시스템 컴포넌트들 또는 프로세스 기능 블록들 간의 실제 접속들은 본 발명의 원리들이 프로그래밍되는 방식에 따라 다를 수 있다는 것을 더 이해해야 한다. 본 명세서의 가르침이 주어질 때, 관련 분야의 통상의 기술자는 본 발명의 원리들의 이들 및 유사한 구현들 또는 구성들을 고려할 수 있을 것이다.

실시예들이 첨부 도면들을 참조하여 설명되었지만, 본 발명의 원리들은 그러한 실시예들로 한정되지 않으며, 본 발명의 원리들의 범위 또는 사상으로부터 벗어나지 않고 관련 분야의 통상의 기술자에 의해 다양한 변경 및 수정이 이루어질 수 있다는 것을 이해해야 한다. 그러한 모든 변경 및 수정은 첨부된 청구범위에 기재된 바와 같은 본 발명의 원리들의 범위 내에 포함되는 것을 의도한다.

Claims

비트스트림으로부터의 멀티 뷰(multi-view) 비디오 콘텐츠에 대응하는 적어도 하나의 뷰에 대한 픽처들을 디코딩하기 위한 디코더(100)

를 포함하고,

상기 픽처들은 비디오 시퀀스의 적어도 일부를 나타내고, 상기 픽처들 중 적어도 일부는 상기 비디오 시퀀스 내의 상이한 시간 인스턴스들(time instances)에 대응하며,

상기 디코더는 상기 적어도 하나의 뷰를 포함하는, 상기 비트스트림 내의 코딩된 뷰들의 수를 지시하기 위한 기존 신택스(syntax) 요소를 이용하여, 상기 상이한 시간 인스턴스들 중 특정 시간 인스턴스에 대응하는 상기 픽처들 중 임의의 픽처가 손실되었는지를 판정하는 장치.
제1항에 있어서, 상기 기존 신택스 요소는 멀티 뷰 비디오 코딩 신택스 요소인 장치.
제2항에 있어서, 상기 멀티 뷰 비디오 코딩 신택스 요소는 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) 파트 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안의 확장에 대응하는 장치.
제1항에 있어서, 상기 기존 신택스 요소는 고레벨에 존재하는 장치.
제1항에 있어서, 상기 고레벨은 슬라이스 헤더 레벨, 시퀀스 파라미터 세트 레벨, 픽처 파라미터 세트 레벨, 뷰 파라미터 세트 레벨, 네트워크 추상화 계층 유닛 헤더 레벨 및 보조 향상 정보 메시지에 대응하는 레벨 중 적어도 하나에 대응하는 장치.
제1항에 있어서, 상기 상이한 시간 인스턴스들 중 특정 시간 인스턴스에 대응하는 상기 픽처들 중 임의 픽처가 버퍼링되며, 상기 디코더(100)는 상기 상이한 시간 인스턴스들 중 특정 시간 인스턴스에 도달하는 픽처들에 대한 카운트를 유지하는 장치.
제6항에 있어서, 상기 디코더 (100)는 상기 카운트의 값과 상기 기존 신택스 요소의 값을 비교하는 장치.
제7항에 있어서, 상기 픽처들 중 특정 픽처에 대한 카운트의 값이 상기 기존 신택스 요소의 값과 동일하지 않을 때, 상기 특정 픽처는 손실된 것으로 지정되는 장치.
제8항에 있어서, 상기 디코더(100)는 상기 비트스트림에 대응하는 도달된 한 세트의 뷰 식별자들 중에서 유실된 뷰 식별자를 찾음으로써 손실된 것으로 지정된 상기 픽처들 중의 특정 픽처의 뷰 식별자를 결정하는 장치.
제1항에 있어서, 상기 디코더(100)는 상기 비트스트림으로부터의 픽처들을 디코딩하기 위해 상기 픽처들을 한 번만 버퍼링하는 장치.
제10항에 있어서, 상기 디코더(100)는 상기 비트스트림의 시작에서 상기 픽처들을 한 번만 버퍼링하는 장치.
제10항에 있어서, 상기 디코더(100)는 코딩 순서의 변경에 이어서 상기 픽처들을 한 번만 버퍼링하는 장치.
제10항에 있어서, 상기 디코더(100)는 상기 버퍼링에 이어서, 상기 픽처들에 대한 뷰 식별자들의 순서를 유지하는 장치.
제13항에 있어서, 상기 디코더(100)는 상기 상이한 시간 인스턴스들 중의 후속 시간 인스턴스들에 대해 유지되는 순서를 이용하여, 상기 상이한 시간 인스턴스들 중 상기 후속 시간 인스턴스들에 대응하는 상기 픽처들 중 임의의 픽처가 손실 되었는지를 판정하며, 상기 상이한 시간 인스턴스들 중의 상기 후속 시간 인스턴스들은 상기 상이한 시간 인스턴스들 중 상기 특정 시간 인스턴스에 대해 후속하는 것인 장치.
제1항에 있어서, 상기 적어도 하나의 뷰는 적어도 2개의 뷰를 포함하고, 상기 디코더(100)는, 상기 적어도 하나의 뷰 중에서 최초 코딩된 뷰, 및 상기 2개의 뷰가 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) 파트 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안에 대해 호환 가능한 뷰들일 때, 상기 2개의 뷰 사이의 뷰들의 수를 이용하여, 상기 픽처들 중 임의의 픽처가 손실되었는지를 판정하며, 상기 최초 코딩된 뷰는 상기 2개의 뷰 중 하나 또는 다른 뷰 중 하나인 장치.
비트스트림으로부터의 멀티 뷰 비디오 콘텐츠에 대응하는 적어도 하나의 뷰에 대한 픽처들을 디코딩하는 단계

를 포함하고,

상기 픽처들은 비디오 시퀀스의 적어도 일부를 나타내고, 상기 픽처들 중 적어도 일부는 상기 비디오 시퀀스 내의 상이한 시간 인스턴스들(time instances)에 대응하며,

상기 디코딩 단계는 상기 적어도 하나의 뷰를 포함하는, 상기 비트스트림 내의 코딩된 뷰들의 수를 지시하기 위한 기존 신택스 요소를 이용하여, 상기 상이한 시간 인스턴스들 중 특정 시간 인스턴스에 대응하는 상기 픽처들 중 임의의 픽처가 손실되었는지를 판정하는 단계(315, 345)를 포함하는 방법.
제16항에 있어서, 상기 기존 신택스 요소는 멀티 뷰 비디오 코딩 신택스 요소인(315) 방법.
제17항에 있어서, 상기 멀티 뷰 비디오 코딩 신택스 요소는 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) 파트 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안의 확장에 대응하는(310) 방법.
제16항에 있어서, 상기 기존 신택스 요소는 고레벨에 존재하는(310) 방법.
제16항에 있어서, 상기 고레벨은 슬라이스 헤더 레벨, 시퀀스 파라미터 세트 레벨, 픽처 파라미터 세트 레벨, 뷰 파라미터 세트 레벨, 네트워크 추상화 계층 유닛 헤더 레벨 및 보조 향상 정보 메시지에 대응하는 레벨 중 적어도 하나에 대응하는(310) 방법.
제16항에 있어서, 상기 상이한 시간 인스턴스들 중 특정 시간 인스턴스에 대응하는 상기 픽처들 중 임의 픽처가 버퍼링되며, 상기 디코딩 단계는 상기 상이한 시간 인스턴스들 중 특정 시간 인스턴스에 도달하는 픽처들에 대한 카운트를 유지하는 단계(325, 335)를 포함하는 방법.
제21항에 있어서, 상기 디코딩 단계는 상기 카운트의 값과 상기 기존 신택스 요소의 값을 비교하는 단계(315, 345)를 포함하는 방법.
제22항에 있어서, 상기 픽처들 중 특정 픽처에 대한 카운트의 값이 상기 기존 신택스 요소의 값과 동일하지 않을 때, 상기 특정 픽처는 손실된 것으로 지정되는(345) 방법.
제23항에 있어서, 상기 디코딩 단계는 상기 비트스트림에 대응하는 도달된 한 세트의 뷰 식별자들 중에서 유실된 뷰 식별자를 찾음으로써 손실된 것으로 지정된 상기 픽처들 중의 특정 픽처의 뷰 식별자를 결정하는 단계(350)를 포함하는 방법.
제16항에 있어서, 상기 디코딩 단계는 상기 비트스트림으로부터의 픽처들을 디코딩하기 위해 상기 픽처들을 한 번만 버퍼링하는 단계(450, 485, 460, 435)를 포함하는 방법.
제25항에 있어서, 상기 디코더는 상기 비트스트림의 시작에서 상기 픽처들을 한 번만 버퍼링하는(450, 485, 460, 435) 방법.
제25항에 있어서, 상기 디코더는 코딩 순서의 변경에 이어서 상기 픽처들을 한 번만 버퍼링하는(450, 485, 460, 435) 방법.
제25항에 있어서, 상기 디코딩 단계는 상기 버퍼링에 이어서, 상기 픽처들에 대한 뷰 식별자들의 순서를 유지하는 단계(460)를 포함하는 방법.
제28항에 있어서, 상기 디코딩 단계는 상기 상이한 시간 인스턴스들 중의 후속 시간 인스턴스들에 대해 유지되는 순서를 이용하여, 상기 상이한 시간 인스턴스들 중 상기 후속 시간 인스턴스들에 대응하는 상기 픽처들 중 임의의 픽처가 손실되었는지를 판정하며, 상기 상이한 시간 인스턴스들 중의 상기 후속 시간 인스턴스들은 상기 상이한 시간 인스턴스들 중 상기 특정 시간 인스턴스에 대해 후속하는 것인(445, 440) 방법.
제16항에 있어서, 상기 적어도 하나의 뷰는 적어도 2개의 뷰를 포함하고, 상기 디코딩 단계는 상기 적어도 하나의 뷰 중에서 최초 코딩된 뷰, 및 상기 2개의 뷰가 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) 파트 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안에 대해 호환 가능한 뷰들일 때, 상기 2개의 뷰 사이의 뷰들의 수를 이용하여, 상기 픽처들 중 임의의 픽처가 손실되었는지를 판정하는 단계(415)를 포함하며, 상기 최초 코딩된 뷰는 상기 2개의 뷰 중 하나 또는 다른 뷰 중 하나인 방법.