KR100488804B1 - Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법 - Google Patents

Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법 Download PDF

Info

Publication number
KR100488804B1
KR100488804B1 KR10-2002-0060987A KR20020060987A KR100488804B1 KR 100488804 B1 KR100488804 B1 KR 100488804B1 KR 20020060987 A KR20020060987 A KR 20020060987A KR 100488804 B1 KR100488804 B1 KR 100488804B1
Authority
KR
South Korea
Prior art keywords
binocular
display
dimensional video
image
field
Prior art date
Application number
KR10-2002-0060987A
Other languages
English (en)
Other versions
KR20040031519A (ko
Inventor
윤국진
조숙희
최윤정
이진환
함영권
안치득
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR10-2002-0060987A priority Critical patent/KR100488804B1/ko
Priority to US10/404,608 priority patent/US7177357B2/en
Publication of KR20040031519A publication Critical patent/KR20040031519A/ko
Application granted granted Critical
Publication of KR100488804B1 publication Critical patent/KR100488804B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템 및 그 방법에 관한 것이다.
이를 위하여 본 발명은 양안식 3차원 동영상의 좌우영상에 대한 여러 개의 기초스트림을 하나의 스트림으로 다중화시키고 사용자의 시스템 환경 및 사용자 요구에 의한 모든 응용 가능한 디스플레이 방식을 모두 지원하는 필드 부호화를 통해 효율적인 버퍼 관리를 수행할 있고, 아울러 좌우 영상의 동기화 시간을 최소화하고 디코더 모델의 복잡도를 최소화할 수 있으며, 기존의 2차원 동영상 데이터 처리와 호환성을 유지하면서 양안식 3차원 동영상 필드/프레임 셔터링, 양안식 3차원 동영상 편광 디스플레이를 지원할 수 있는 디코딩 버퍼 사이즈를 할당할 수 있을 뿐만 아니라, 또한 동일 시간상에서 좌우영상에 대한 여러 개의 기초스트림 중에서 한 채널의 기초스트림으로부터 얻어진 타임 정보인 DTS와 CTS만을 전송하여 나머지 다른 시점들에서의 DTS와 CTS를 추정함으로써 동기화를 단순화할 수 있는 효과를 제공하여 준다.

Description

ＭＰＥＧ-4 기반의 양안식 3차원 동영상 데이터 처리 시스템 및 그 방법{ System for data processing of 2-view 3dimention moving picture being based on MPEG-4 and method thereof }
본 발명은 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 양안식 3차원 동영상 데이터의 동기화에 대한기능을 부가하기 위한 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템 및 그 방법에 관한 것이다.
MPEG-4 시스템은 객체별로 부호화되는 기초 스트림의 전달 흐름(Streaming)과, 이 기초 스트림의 동기화(Synchronization), 그리고 특정 응용을 위해서 필요한 각 기초 스트림 및 정보간의 관계와 위치 등을 관리하는 기초 스트림 관리(Management) 등을 포함하는 규격이다.
여기서, 기초 스트림 데이터는 타이밍 정보를 가질 수 있는 최소 단위인 AU(Access Unit)들로 나뉘어지며, 이러한 기초 스트림에 대해 시간적으로 같은 위치에 있는 AU들은 하나의 DTS(Decoding Time Stamp)와 CTS(Composition Time Stamp)에 의해 디코딩되고 디스플레이된다.
위에서, DTS 및 CTS와 같은 타임 스탬프들은 수신 단말이 디코딩 버퍼(Decoding buffer)에 있는 AU들을 디코딩하는 시점(DTS), 또는 컴포지션 메모리(Composition memory)에 있는 CU(Composition unit)들을 컴포지션하기 위한 시점(CTS)을 정확히 나타내기 위해 사용한다. 따라서, 타임스탬??을은 AU 및 CU들과 관계된다.
위와 같은 MPEG-4 시스템의 규격을 만족하기 위해 새로운 시스템 디코더 모델(System Decoder Model, SDM)을 정의하고, 기존의 전달 매체 기능을 보완하기 위한 플렉스먹스, 시간 동기 조정을 위한 동기화 계층이 새롭게 도입되었다.
양안식 3차원 동영상 데이터는 2차원 동영상 플레이, 양안식 3차원 동양상의 필드 셔터링 디스플레이, 양안식 3차원 동영상 프레임 셔터링 디스플레이, 양안식 3차원 편광 디스플레이 등의 다양한 디스플레이가 가능하며, 각 디스플레이 방식에 따라 요구되는 비디오 데이터 및 동기화 정보가 달라져야 한다.
현재, MPEG-4 시스템은 2D(2차원, 2 Dimension) 멀티미디어 데이터 처리 및 표현을 위하여 정의된 것으로, 단지 2차원 동영상 디스플레이 방식에 대한 버퍼 관리 및 타이밍 모델에 대해서만 규격화하고 있다.
그러나, 좌우영상을 포함하는 양안식 3차원 동영상에 대하여 MPEG-4 시스템과의 호환성을 유지하면서 좌우 영상간의 효율적인 동기화를 위해서는 한 채널의 AU에 대한 DTS 및 CTS 정보를 이용하여 위에서 언급한 4가지 디스플레이 방식에 따라 달라지는 나머지 채널의 AU에 대한 DTS 및 CTS 정보를 추정하여 좌우영상의 동기화 시간 및 디코더 모델의 복잡도를 최소화하는 버퍼 관리 및 타이밍 관리 방법이 필요하다.
도 1은 종래 기술에 따른 MPEG-4 시스템의 디코더 모델을 도시한 도면이다.
도 1에 나타나 있듯이, 종래 기술에 따른 MPEG-4 시스템의 디코더 모델은 DAI(DMIF-Application Interface)(1), 디코딩 버퍼(2), 디코더(3), 컴포지션 메모리(4), 컴포지터(Compositor)(5)를 포함한다.
DMIF는 MPEG-4 시스템의 전달층 (delivery layer) 에 관하여 정의하고 있으며 , 제어 부분 (control plane) 과 사용자 부분 (user Plane)으로 나누어진다. 여기서, DMIF의 제어 부분은 세션을 관리하면서 피어(peer)들 간의 메시지를 주고받는 역할을 하며, 사용자 부분은 주로 서로간의 데이터를 주고 받는 역할을 수행한다.
DMIF는 다음 그림과 같이 계층적으로 DAI, DMIF Network Interface(DNI) 두 레벨의 인터페이스를 정의하고 있는데, DAI는 DMIF 응용 프로그래머들에게 제공되는 인터페이스이며, DNI는 DMIF 내부적으로 사용되며 피어들간의 정의된 프로토콜인 DMIF signaling(DS) Message로 매핑하여 전송하는 일을 수행한다.
DAI(1)는 디멀티플렉스를 포함하며, 디코딩 버퍼(2)로 입력되는 스트리밍 데이터에 대한 액세스를 제공한다. 이때, DAI(1)를 통해 수신되는 스트리밍 데이터는 SPS들로 구성된다.
이때, SPS는 각각이 하나의 기초 스트림을 포함하는 일련의 패킷들로 구성되며 각 패킷들은 AU들로 나누어진 기초 스트림 데이터와 각 AU에 대한 타이밍 및 기타 부가정보를 포함한다. SPS 데이터 페이로드는 디코딩 버퍼(2)로 입력되며, 이때 부가정보는 디코딩 버퍼(2)의 입력단에서 제거된다.
AU는 타이밍 정보를 가질 수 있는 최소 단위로써 각 AU에 대한 설명 정보는 부호화 단계에서 주어진다. 이때, AU들은 SPS들에 의해 전송되며 디코딩 버퍼(2)로 입력된다.
디코딩 버퍼(2)는 대응되는 디코더(3)에서 필요로 하는 AU들을 저장하기 위해 사용된다. 디코딩 버퍼(2)의 필요한 버퍼량은 송신단에서 이미 알고 있으며, 수신 단말에 디코딩 버퍼(2)의 버퍼량에 대한 정보가 알려진다. 단, 응용에 따라 이미 디코딩 버퍼(2)의 버퍼량의 정해진 값이 있는 경우에, 송신단에서는 이미 정해진 버퍼량을 사용한다.
디코더(3)는 디코딩 버퍼(2)로부터 정확하게 정의된 시점에서 AU들을 입력받아 디코딩하며, 디코딩 결과로 생성되는 CU들을 컴포지션 메모리(CM)(4)로 출력한다.
그러면, 컴포지션 메모리(4)는 CU들을 저장하는데, 컴포지션 메모리(4)의 크기는 MPEG-4 시스템의 규격에서 별도로 규정하지 않는다.
컴포지터(5)는 컴포지션 메모리(4)로부터 CU들을 입력받아 CU가 AV(Audio/Video) 데이터인 경우에 컴포지션 또는 프리젠테이션하며, AV 데이터가 아닌 경우에는 스킵(skip)한다.
도 2는 종래 기술에 따른 MPEG-4 시스템의 타이밍 모델을 도시한 도면이다.
도 2에 나타나 있듯이, 종래 기술에 따른 MPEG-4 시스템의 타이밍 모델에서는 기초 스트림 데이터에 의해 전송되는 AV 데이터를 동기시키기 위해 기준 클록 및 타임 스탬프들을 사용한다.
타임 스탬프들(DTS, CTS)은 수신 단말이 디코딩 버퍼(2)에 있는 AU들을 디코딩하는 시점, 또는 컴포지션 메모리(4)에 있는 CU들을 컴포지션하는 시점을 정확히 나타내기 위해 사용된다. 따라서, 타임 스탬프들은 AU 및 CU들과 관련된다.
먼저, DTS는 각 AU에 대한 디코딩 타임을 정의하며, 디코딩 타임에 대응되는 AU가 디코딩 버퍼(2) 내에 존재해야 한다. 이때, AU에 대한 디코딩은 DTS가 정의하는 시점에서 순간적으로 수행된다.
다음, CTS는 각 CU에 대한 CTS를 정의하며, 이 CTS에 대응되는 CU가 컴포지션 메모리(4) 내에 존재해야 한다. 또한, 현재 CU는 대응되는 CTS와 연속되는 다음 CU의 CTS 사이에 존재하는 임의의 시간에 컴포지터에 의해 사용될 수 있어야 한다.
도 3은 종래 기술에 따른 MPEG-4 시스템의 버퍼 모델을 도시한 도면이다.
도 3에 도시된 바와 같이, 종래 기술에 따른 MPEG-4 시스템의 버퍼 모델은 디코딩 버퍼(2)의 버퍼 동작을 나타내는 것으로서, AU와 CU의 오버플로우와 언더플로우를 방지하기 위해 DTS와 CTS를 토대로 버퍼 관리를 수행한다.
AU의 버퍼링은 DTS에 의해 관리되며, DTS의 시각에 디코딩되는 즉시 CU로 변환된다. 이때, DTS는 연속된 AU들 사이에 일정한 시간 간격이 존재한다고 알려지는 경우에 디코딩 타임은 임시적으로 알려지며, 그렇지 않을 경우에 패킷 헤더의 DTS에 의해 알려진다.
또한, CTS는 연속된 CU들 사이에 일정한 시간 간격이 존재한다고 알려지는 경우에 CTS는 암시적으로 알려지며, 그렇지 않을 경우에 패킷 헤더의 CTS에 의해 알려진다.
이와 같이, MPEG-4 시스템은 기본적으로 복수개의 부호화기에서 출력되는 기초 스트림을 시간 동기 조정을 위한 동기화 계층을 통해 각각 SPS로 출력한다. 그러면, 각 SPS는 하나의 기초 스트림을 포함하는 일련의 패킷들로 구성되며, 이 패킷들은 타이밍 정보를 가질 수 있는 최소 접근단위(AU)로 나뉘어진 기초 스트림과 각 AU에 대한 타이밍 및 기타 부가 정보를 포함한다.
SPS 데이터 페이로드는 시스템 디코더 모델의 디코딩 버퍼(2)로 입력되며, 이때 부가정보는 디코더 버퍼(2)의 입력단에서 제거된다. 디코딩 버퍼(2)는 대응되는 기초 스트림 디코더(3)에서 필요로 하는 AU들을 저장하기 위해 사용된다.
한편, 디코더(3)는 디코딩 버퍼(2)로부터 정확하게 정의된 시점에서 AU들을 입력받아 디코딩함으로써 발생되는 CU들을 컴포지션 메모리(4)로 출력한다. 이때, DTS와 CTS와 같은 타임 스탬프들은 수신 단말이 디코딩 버퍼(2)에 있는 AU들을 디코딩하는 시점, 또는 컴포지션 메모리(4)에 있는 CU들을 컴포지션하는 시점을 나타내기 위해 사용된다.
그런데, 지금까지의 MPEG-4 시스템 구조내의 타이밍 모델 및 시스템 디코더 모델은 2D 멀티미디어 데이터에 한해서 표준화 작업이 진행되기 때문에 좌우영상을 포함하는 양안식 3차원 동영상 처리 및 다양한 디스플레이 방식을 지원하기 위한 버퍼 관리 및 타이밍 모델에 대한 부분은 제안된 적이 없다는 문제점이 있다.
본 발명은 위의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 기존 MPEG-4 시스템의 호환성을 유지하면서 양안식 3차원 동영상의 응용 가능한 디스플레이 방식에 따라 데이터를 처리할 수 있는 버퍼관리 및 타이밍 모델을 정의하기 위한 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템 및 그 방법을 제공하는 것이다.
상기한 바와 같은 목적을 실현하기 위한 본 발명에 따른 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템의 특징은, 외부에서 양안식 3차원 동영상이 입력되면, 2차원 동영상 디스플레이, 양안식 3차원 동영상 필드 셔터링 디스플레이, 양안식 3차원 동영상 프레임 셔터링 디스플레이, 양안식 3차원 편광 디스플레이와 같은 각 디스플레이 방식 중에서 원하는 디스플레이 방식에 대해 필요한 기초 스트림만 다중화하여 단일 채널의 3차원_최소접근단위(3D_AU)의 스트림 데이터를 저장하는 디코딩 버퍼; 상기 디코딩 버퍼에 저장된 스트림 데이터에서 각 최소접근단위(AU)에 대해 정의된 디코딩 타임에 디코딩하여 좌우영상에 대한 필드를 한 프레임의 컴포지션 단위(CU) 형태의 데이터로 재구성한 후 이를 전송하는 디코더; 상기 디코더에 전송되는 컴포지션 단위 형태의 데이터를 저장하는 컴포지션 메모리를 포함한다.
상기 3차원_최소접근단위(3D_AU)의 스트림 데이터는, 하나의 기초 스트림을 포함하는 일련의 싱크 패킷들로 구성되며, 상기 싱크 패킷 헤더부는 디스플레이 방식에 따라 서로 다른 한 채널의 최소접근단위에 대한 DTS(Decoding Time Stamp) 및 CTS(Composition Time Stamp)의 타임 정보를 포함하고, 상기 3차원-최소접근 단위 스트림 데이터의 타임 정보는 좌우 프레임 영상 중 한 프레임에 대한 동기화를 수행하므로 1개의 CTS를 갖는다.
상기 디코딩 버퍼는, 상기 2차원 동영상 디스플레이를 위해 좌영상의 홀수 및 짝수 필드에 대한 기초 스트림으로 구성된 3차원_최소접근단위의 스트림 데이터를 저장한다.
상기 디코딩 버퍼는, 상기 양안식 3차원 동영상 필드 셔터링 디스플레이를 위해 좌영상의 홀수 필드 및 우영상의 짝수 필드에 대한 기초 스트림, 또는 좌영상의 짝수필드 및 우영상의 홀수 필드에 대한 기초 스트림으로 구성된 3차원_최소접근단위의 스트림 데이터를 저장한다.
상기 디코딩 버퍼는, 상기 양안식 3차원 동영상 프레임 셔터링 디스플레이, 또는 양안식 3차원 동영상 편광 디스플레이를 위해 좌영상의 홀수 및 짝수 필드, 우영상의 홀수 및 짝수 필드로 구성된 3차원_최소접근단위의 스트림 데이터를 저장한다.
상기 컴포지션 메모리는, 상기 2차원 동영상 디스플레이를 위해 상기 디코더가 복원한 좌영상의 홀수 및 짝수 필드를 라인별로 끼워넣어 구성된 영상을 저장한다.
상기 컴포지션 메모리는, 상기 양안식 3차원 동영상 필드 셔터링 디스플레이를 위해 상기 디코더가 복원한 좌영상의 홀수 필드 및 우영상의 짝수 필드, 또는 좌영상의 짝수필드 및 우영상의 홀수 필드를 라인별로 끼워넣어 좌우영상이 혼합된 영상을 저장한다.
상기 컴포지션 메모리는, 상기 양안식 3차원 동영상 프레임 셔터링 디스플레이, 또는 양안식 3차원 동영상 편광 디스플레이를 위해 좌영상의 홀수 및 짝수 필드를 라인별로 끼워넣어 구성된 영상과, 우영상의 홀수 및 짝수 필드를 라인별로 끼워넣어 구성된 영상을 저장한다.
한편, 본 발명에 따른 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 방법의 특징은, a) 외부에서 양안식 3차원 동영상이 입력되면, 2차원 동영상 디스플레이, 양안식 3차원 동영상 필드 셔터링 디스플레이, 양안식 3차원 동영상 프레임 셔터링 디스플레이, 양안식 3차원 편광 디스플레이와 같은 각 디스플레이 방식 중에서 원하는 디스플레이 방식에 대해 필요한 기초 스트림만 다중화하여 단일 채널의 3차원_최소접근단위(3D_AU)의 스트림 데이터를 저장하는 단계; b) 상기 a) 단계에 저장된 스트림 데이터에서 각 최소접근단위(AU)에 대해 정의된 디코딩 타임에 디코딩하여 좌우영상에 대한 필드를 한 프레임의 컴포지션 단위(CU) 형태의 데이터로 재구성한 후 이를 전송하는 단계; 및 c) 상기 b) 단계에서 전송되는 컴포지션 단위 형태의 데이터를 저장하는 단계를 포함한다.
상기 b) 단계에서 출력되는 3차원_최소접근단위(3D_AU)의 스트림 데이터는, 하나의 기초 스트림을 포함하는 일련의 싱크 패킷들로 구성되며, 상기 싱크 패킷 헤더부는 디스플레이 방식에 따라 서로 다른 한 채널의 최소접근단위에 대한 DTS(Decoding Time Stamp) 및 CTS(Composition Time Stamp)의 타임 정보를 포함하고, 상기 3차원-최소접근 단위 스트림 데이터의 타임 정보는 좌우 프레임 영상 중 한 프레임에 대한 동기화를 수행하므로 1개의 CTS를 갖는다.
상기 b) 단계에서 상기 양안식 3차원 동영상 데이터에 대해 사용자가 2차원 동영상 디스플레이를 요구한 경우에,
상기 a) 단계에서 출력되는 3차원 좌영상의 홀수필드 기초 스트림, 3차원 좌영상의 짝수필드 기초 스트림을 순차적으로 통합하여 단일 채널의 3차원_최소접근단위의 스트림 데이터를 구성한다.
상기 b) 단계에서 상기 양안식 3차원 동영상 데이터에 대해 사용자가 양안식 3차원 동영상 필드 셔터링 디스플레이를 요구한 경우에,
상기 a) 단계에서 출력되는 3차원 좌영상의 홀수필드 기초스트림과 3차원 우영상의 짝수필드의 기초스트림만을 순차적으로 통합하여 단일 채널의 3차원_최소접근단위의 스트림 데이터를 구성한다.
상기 b) 단계에서 상기 양안식 3차원 동영상 데이터에 대해 사용자가 양안식 3차원 동영상 프레임 셔터링 디스플레이, 또는 양안식 3차원 동영상 편광 디스플레이를 요구한 경우에,
상기 a) 단계에서 출력되는 3차원 좌영상의 홀수필드 및 짝수필드 기초스트림과, 3차원 우영상의 홀수 필드 및 짝수필드의 기초스트림을 순차적으로 통합하여 단일 채널의 3차원_최소접근단위의 스트림 데이터를 구성한다.
상기 c) 단계에서 상기 양안식 3차원 동영상 데이터에 대해 사용자가 2차원 동영상 디스플레이 방식을 요구한 경우에,
가) 상기 3차원_최소접근단위 스트림 데이터를 싱크 패킷 헤더부에 있는 DTS 시간에 맞추어 좌영상의 홀수 필드 및 짝수 필드에 대한 영상을 복원하는 단계; 및 나) 상기 가) 단계에서 복원된 좌영상의 홀수필드 및 짝수 필드를 라인별로 끼워 넣어서 순차 주사 방식의 한 프레임 영상으로 재구성한 컴포지션 단위의 데이터로 디코딩하는 단계를 포함한다.
상기 c) 단계에서 상기 양안식 3차원 동영상 데이터에 대해 사용자가 양안식 3차원 동영상 필드 셔터링 디스플레이 방식을 요구한 경우에,
가) 상기 3차원_최소접근단위 스트림 데이터를 싱크 패킷 헤더부에 있는 DTS 시간에 맞추어 좌영상의 홀수 필드 및 우영상의 짝수 필드에 대한 영상을 복원하는 단계; 및 나) 상기 가) 단계에서 복원된 좌영상의 홀수필드 및 우영상의 짝수 필드를 라인별로 끼워 넣어 좌우 필드 영상을 순차 주사 방식의 한 프레임 영상으로 재구성한 컴포지션 단위의 데이터로 디코딩하는 단계를 포함한다.
상기 3차원-최소접근 단위 스트림 데이터의 타임 정보는 한 프레임에 대한 동기화를 수행하므로 좌우 필드 영상에 대하여 동일한 CTS를 갖는다.
상기 c) 단계에서 상기 양안식 3차원 동영상 데이터에 대해 사용자가 양안식 3차원 동영상 프레임 셔터링 디스플레이, 또는 양안식 3차원 동영상 편광 디스플레이 방식을 요구한 경우에,
가) 상기 3차원_최소접근단위 스트림 데이터를 싱크 패킷 헤더부에 있는 DTS 시간에 맞추어 좌우영상의 홀수 필드 및 짝수 필드에 대한 4개의 필드 영상을 복원하는 단계; 나) 상기 가) 단계에서 복원된 좌영상의 홀수필드 및 짝수 필드를 라인별로 끼워 넣어서 순차 주사 방식의 한 프레임 영상으로 재구성하는 단계; 및 다) 상기 가) 단계에서 복원된 우영상의 홀수 필드 및 짝수필드를 라인별로 끼워넣어 순차 주사 방식의 한 프레임 영상을 재구성한 후 두 개의 컴포지션 단위의 데이터로 디코딩하는 단계를 포함한다.
상기 3차원-최소접근 단위 스트림 데이터의 타임 정보는 양안식 3차원 동영상 프레임 셔터링 디스플레이의 경우에, 좌우 영상이 번갈아 가며 나타나므로 좌영상과 우영상 중 어느 한 영상에 대한 CTS를 이용해 좌영상과 우영상의 시간적 상관성으로 나머지 영상에 대한 CTS를 추정한다.
상기 CTS가 제1 컴포지션 단위 형태의 데이터(CU1)에 대한 유효한 시간인 경우에, 제2 컴포지션 단위 형태의 데이터(CU2)에 대한 유효한 시간은 CTS+T(1/초당 프레임 수)이다.
상기 3차원-최소접근 단위 스트림 데이터의 타임 정보는 양안식 3차원 동영상 편광 디스플레이의 경우에, 좌우 영상이 동시에 나타나므로 좌영상과 우영상이 동일한 CTS를 갖는다.
상기 CTS가 제1 컴포지션 단위 형태의 데이터(CU1)에 대한 유효한 시간인 경우에, 제2 컴포지션 단위 형태의 데이터(CU2)에 대한 유효한 시간도 CTS이다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명하면 다음과 같다.
본 발명에 따른 실시예의 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템은 디코딩 버퍼(40), 디코더(50), 컴포지션 메모리(61, 65)이지만 도 1에서 설명한 DAI(30)와 컴포지터를 포함하고 있으므로 중복되는 설명은 이하 생략한다.
도 4는 본 발명에 따른 실시예의 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템에서 부호화기의 구성을 도시한 것이다.
도 4에 도시된 바와 같이, 본 발명에 따른 실시예의 부호화기는 필드 분리기(11)와 인코더(13)를 포함하고 있는데, 이 부호화기는 모든 응용 가능한 디스플레이 방식으로 고려될 수 있는 2차원 동영상 디스플레이, 양안식 3차원 동영상의 필드 셔터링 디스플레이, 양안식 3차원 동영상의 프레임 셔터링 디스플레이, 양안식 3차원 편광 디스플레이와 같은 디스플레이 방식을 모드 지원하기 위한 필드단위 부호화를 수행한다.
필드 분리기(11)는 양안식 3차원의 좌우영상이 입력되면, 좌우영상을 좌영상의 홀수필드(LO) 및 짝수 필드(LE), 우영상의 홀수필드(RO) 및 짝수필드(RE)의 필드단위로 분리한다.
인코더(13)는 필드분리기(11)에서 분리된 필드 데이터를 필드 단위로 부호화하여 양안식 3D 좌영상 홀수 필드 기초스트림(3D Elementary Stream_Left Odd field, 3DES_LO), 양안식 3D 좌영상 짝수 필드 기초스트림(3DES Left Even field, 3DES_LE), 양안식 3D 우영상 홀수 필드 기초스트림(3DES_RO), 양안식 3D 우영상 짝수 필드 기초스트림(3DES_RE)의 4채널의 필드 단위 기초스트림을 출력한다.
이렇게, 양안식 3차원 동영상에 대해 필드 기반의 부호화기에서 출력되는 여러 개의 필드 단위의 기초스트림 데이터는 위에서 언급한 4가지 디스플레이 방식에 따라 요구되는 기초 스트림 데이터의 내용이 달라진다.
그러므로, 믹서(20)는 효율적 전송을 위해 각 디스플레이 방식에 대해 필요한 기초스트림만을 다중화한다.
도 5는 본 발명에 따른 실시예의 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템에서 믹서의 입출력 내용을 도시한 것이다.
도 5에 나타나 있듯이, 본 발명에 따른 실시예의 믹서(20)는 4가지 디스플레이 방식에 따라 여러 개의 필드 단위 기초스트림이 입력되면 이를 다중화하여 단일 채널의 3차원_최소접근단위(3D_AU) 스트림을 출력한다.
도 6 내지 도 8은 본 발명에 따른 실시예의 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템이 응용 가능한 디스플레이를 위한 양안식 3차원 동영상의 필드 단위 기초 스트림의 다중화 과정을 도시한 것이다.
양안식 3차원 동영상 데이터에 대해 사용자가 2차원 동영상 디스플레이를 요구한 경우에, 도 6에 도시된 바와 같이, 믹서(20)는 3DES_LO 및 3DES_LE를 순차적으로 통합하여 단일 채널의 3D_AU 스트림을 구성한다.
양안식 3차원 동영상 데이터에 대해 사용자가 양안식 3차원 동영상의 필드 셔터링 디스플레이를 요구한 경우에, 도 7에 나타나 있듯이 믹서(20)는 3DES_LO 및 3DES_RE 만을 순차적으로 통합하여 단일 채널의 3D_AU 스트림을 구성한다.
또한, 양안식 3차원 동영상 데이터에 대해 사용자가 양안식 3차원 동영상의 프레임 셔터링 및 편광 디스플레이를 요구한 경우에, 도 8에 도시된 바와 같이 믹서(20)는 3DES_LO, 3DES_LE, 3DES_RO, 3DES_RE를 순차적으로 통합하여 단일 채널의 ED_AU 스트림을 구성한다.
이때, 단일 채널의 3D_AU 스트림은 싱크 레이어(Sync layer)에서 패킷화되어 SPS 형태로 전송된다. SPS(SL_Packetized Stream)는 각각이 하나의 기초스트림을 포함하는 일련의 패킷들로 구성되며, 각 패킷들은 최소접근단위(AU)들로 나뉘어진 기초스트림 데이터와 각 AU에 대한 타임 정보 및 부가 정보를 포함한다.
도 9 내지 도 11은 본 발명에 따른 실시예의 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템이 응용 가능한 디스플레이를 위한 양안식 3차원 동영상의 디코딩 구조를 도시한 것이다.
2차원 동영상 디스플레이 방식에 대한 디코딩 구조는 도 9에 도시된 바와 같이, 3D_AU가 디코딩 버퍼1(40)에 저장되고, 싱크 패킷 헤더부에 있는 DTS 시간에 맞추어 디코딩 버퍼1(40)에 대응되는 디코더1(50)에서 LO와 LE 필드 영상을 복원한다.
이렇게 복원된 영상은 LO와 LE 필드를 라인별로 끼워 넣어서 순차 주사 방식의 한 프레임 영상으로 재구성하여 하나의 컴포지션 단위 형태로 컴포지션 메모리1(61)에 입력된다.
양안식 3차원 동영상 필드 셔터링 디스플레이 방식에 대한 디코딩 구조는 도 10에 도시된 바와 같이, 3D_AU가 디코딩 버퍼1(40)에 저장되고 디코더1(50)에서 DTS 시간에 맞추어 LO 및 RE 필드 영상을 복원한다.
그리고, 디코더1(50)은 LO 및 RE 필드를 라인별로 끼워넣어서 좌우 필드 영상을 순차 주사 방식의 한 프레임 영상으로 재구성한 하나의 컴포지션 단위 형태로 컴포지션 메모리1(61)로 입력한다.
도 11에 나타나 있듯이, 양안식 3차원 동영상 프레임 셔터링 및 편광 디스플레이 방식에 대한 디코딩 구조는 3D_AU가 디코딩 버퍼1(40)에 저장되고 디코더1(50)에서 DTS 시간에 맞추어 좌우 영상의 4개의 필드 영상을 복원한다.
그리고, 디코더1(50)은 좌영의 LO 및 LE 필드를 라인별로 끼워 넣어서 순차 주사방식의 한 프레임 영상으로 재구성하고, 우영상의 RO 및 RE 필드를 라인별로 끼워 넣어 순차 주사 방식의 한 프레임 영상으로 재구성하여 두 개의 컴포지션 단위 형태로 각각 컴포지션 메모리 1(61)과 컴포지션 메모리2(65)로 입력한다.
도 12 내지 도 15는 본 발명에 따른 실시예의 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템이 각 디스플레이 방식에 따른 버퍼 및 타이밍 관리를 도시한 것이다.
도 12에 나타나 있듯이, 2차원 동영상 디스플레이 방식에서 디코딩 버퍼(40)에 저장된 3D_AU는 DTS 시간에 디코딩된 후, LO 및 LE 필드를 한 프레임으로 재구성하여 하나의 컴포지션 단위 형태로 컴포지션 메모리(61)에 입력된다.
따라서, 3D_AU의 타임 정보 중에서 CTS는 좌우 프레임 중 한 프레임에 대한 동기화를 수행하기 때문에 하나의 CTS를 갖는다.
도 13에 도시된 바와 같이, 양안식 3차원 동영상 필드 셔터링 디스플레이 방식에서 3D_AU의 타임 정보에서 CTS는 LO와 RE 필드를 한 프레임으로 재구성시 한 프레임에 대한 동기화를 수행하기 때문에 좌우필드 영상에 대하여 동일한 CTS를 갖는다.
도 14에 도시된 바와 같이, 양안식 3차원 동영상 프레임 셔터링 디스플레이 방식에서 3D_AU는 좌영상의 두 필드를 하나의 프레임으로 재구성하고, 우영상의 두 필드를 하나의 프레임으로 재구성하여 두 개의 컴포지션 유닛 형태로 각각 컴포지션 메모리1(61)과 컴포지션 메모리2(65)에 입력된다.
위에서 양안식 3차원 동영상 프레임 셔터링 디스플레이에서 좌우영상은 번갈아 가며 나타나므로, 3D_AU의 타임 정보에서 CTS 정보는 좌영상과 우영상의 시간적 상관성을 이용하여 좌영상에 대한 CTS를 알면 우영상의 CTS를 알 수 있고, 반대로 우영상에 대한 CTS를 알면 좌영상의 CTS를 알 수 있다.
즉, 도 14에 나타나 있듯이, 컴포지션 단위1(CU1)이 유효한 시간이 CTS라고 하면, CU2의 유효 시간은 CTS+T가 된다. 이때, T는 1/초당프레임수를 나타내며, 송신단에서 초당 프레임수에 대한 정보를 수신단말에 보내주어야 한다.
도 15에 도시된 바와 같이, 양안식 3차원 동영상 편광 디스플레이 방식에서 3D_AU는 양안식 3차원 동영상 프레임 셔터링 디스플레의 경우와 마찬가지로 두 개의 컴포지션 단위 형태로 각각 컴포지션 메모리1(61)과 컴포지션 메모리2(65)에 입력된다.
위에서 좌우 영상이 동시에 나타나므로 3D_AU의 타임 정보에서 CTS는 좌영상과 우영상이 같은 CTS를 갖는다. 따라서, CU1에 대한 유효한 시간이 CTS라면 CU2의 유효 시간도 CTS가 된다.
이와 같이 구성되는 본 발명에 따른 실시예의 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템의 동작은 다음과 같다.
현재 MPEG-4 시스템에서 AU는 시간적 동기화를 줄 수 있는 최소접근단위로써 여러 개의 싱크 패킷으로 나뉘어 전송된다. 이러한 싱크 패킷은 동일한 DTS를 가지고 디코더(50)에서 디코딩을 수행한다.
부호화기에서 필드 단위로 부호화된 기초스트림은 믹서(20)에서 각 디스플레이 방식에 따라 다른 내용으로 3D_AU 스트림 데이터로 다중화된다. 이렇게 다중화된 3D_AU 스트림 데이터는 싱크 패킷으로 나누어 디코딩 버퍼(40)로 전송된 후 저장되고, 디코더(50)에서는 디코딩 버퍼(40)에 저장되어 있는 3D_AU 스트림 데이터를 STS를 통해 좌우 영상 데이터로 복원하여 좌우영상에 대한 필드를 한 프레임의 컴포지션 단위(CU) 형태의 데이터로 재구성한 후 이를 컴포지션 메모리(61, 65)로 전송한다.
그런데, 4가지 디스플레이 방식에 따라 다른 내용으로 다중화된 3D_AU 스트림 데이터는 한 채널의 AU에 대한 하나의 DTS와 CTS 정보가 전달되므로, 나머지 채널에 대한 AU의 DTS와 CTS는 각 디스플레이 방식에 따라 다르게 생성된다.
따라서, 디코딩 버퍼(40)는 3차원 프레임 셔터링 및 편광 디스플레이 방식에 해당하는 3D_AU를 저장할 수 있는 크기를 필요로 한다.
컴포지션 메모리(61, 65)는 디코더(50)에서 전송되는 컴포지션 단위 형태의 데이터를 저장하고, 컴포지터는 컴포지션 메모리로부터 컴포지션 단위 형태의 데이터를 입력받아 해당 데이터가 AV 데이터이면 CTS에 컴포지션하지만, AV 데이터가 아니면 스킵한다.
따라서, 본 발명에 따른 실시예에서는 응용 가능한 모든 디스플레이 방식에 의해 구성되는 3D_AU에 대하여 한 채널의 기초스트림으로부터 얻어진 타임 정보를 나머지 채널의 기초 스트림과 동기화함으로써 기존의 MPEG-4 시스템과의 호환성을 유지하면서 양안식 3차원 동영상의 처리를 위한 버퍼 및 타이밍 관리를 수행한다.
상기 도면과 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 의한 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템은 양안식 3차원 동영상의 좌우영상에 대한 여러 개의 기초스트림을 하나의 스트림으로 다중화시키고 사용자의 시스템 환경 및 사용자 요구에 의한 모든 응용 가능한 디스플레이 방식을 모두 지원하는 필드 부호화를 통해 효율적인 버퍼 관리를 수행할 있고, 아울러 좌우 영상의 동기화 시간을 최소화하고 디코더 모델의 복잡도를 최소화할 수 있는 효과가 있다.
본 발명에 의한 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템은 기존의 2차원 동영상 데이터 처리와 호환성을 유지하면서 양안식 3차원 동영상 필드/프레임 셔터링, 양안식 3차원 동영상 편광 디스플레이를 지원할 수 있는 디코딩 버퍼 사이즈를 할당할 수 있는 효과가 있다.
또한, 본 발명에 의한 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템은 동일 시간상에서 좌우영상에 대한 여러 개의 기초스트림 중에서 한 채널의 기초스트림으로부터 얻어진 타임 정보인 DTS와 CTS만을 전송하여 나머지 다른 시점들에서의 DTS와 CTS를 추정함으로써 동기화를 단순화할 수 있는 효과가 있다.
도 1은 종래 기술에 따른 MPEG-4 시스템의 디코더 모델을 도시한 도면이다.
도 2는 종래 기술에 따른 MPEG-4 시스템의 타이밍 모델을 도시한 도면이다.
도 3은 종래 기술에 따른 MPEG-4 시스템의 버퍼 모델을 도시한 도면이다.
도 4는 본 발명에 따른 실시예의 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템에서 부호화기의 구성을 도시한 것이다.
도 5는 본 발명에 따른 실시예의 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템에서 믹서의 입출력 내용을 도시한 것이다.
도 6 내지 도 8은 본 발명에 따른 실시예의 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템이 응용 가능한 디스플레이, 즉 2차원 동영상 디스플레이, 양안식 3차원 동영상 필드 셔터링 디스플레이, 양안식 3차원 동영상 프레임 및 편광 디스플레이를 위한 양안식 3차원 동영상의 필드 단위 기초 스트림의 다중화 과정을 도시한 것이다.
도 9 내지 도 11은 본 발명에 따른 실시예의 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템이 응용 가능한 디스플레이, 즉 2차원 동영상 디스플레이, 양안식 3차원 동영상 필드 셔터링 디스플레이, 양안식 3차원 동영상 프레임 및 편광 디스플레이를 위한 양안식 3차원 동영상의 디코딩 구조를 도시한 것이다.
도 12 내지 도 15는 본 발명에 따른 실시예의 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템이 각 디스플레이 방식에 따른 버퍼 및 타이밍 관리를 도시한 것이다.

Claims (23)

  1. 외부에서 양안식 3차원 동영상이 입력되면, 2차원 동영상 디스플레이, 양안식 3차원 동영상 필드 셔터링 디스플레이, 양안식 3차원 동영상 프레임 셔터링 디스플레이, 양안식 3차원 편광 디스플레이와 같은 각 디스플레이 방식 중에서 원하는 디스플레이 방식에 대해 필요한 기초 스트림만 다중화하여 단일 채널의 3차원_최소접근단위(3D_AU)의 스트림 데이터를 저장하는 디코딩 버퍼;
    상기 디코딩 버퍼에 저장된 스트림 데이터에서 각 최소접근단위(AU)에 대해 정의된 디코딩 타임에 디코딩하여 좌우영상에 대한 필드를 한 프레임의 컴포지션 단위(CU) 형태의 데이터로 재구성한 후 이를 전송하는 디코더;
    상기 디코더에 전송되는 컴포지션 단위 형태의 데이터를 저장하는 컴포지션 메모리
    를 포함하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템.
  2. 제 1 항에 있어서,
    상기 3차원_최소접근단위(3D_AU)의 스트림 데이터는,
    하나의 기초 스트림을 포함하는 일련의 싱크 패킷들로 구성되며, 상기 싱크 패킷 헤더부는 디스플레이 방식에 따라 서로 다른 한 채널의 최소접근단위에 대한 DTS(Decoding Time Stamp) 및 CTS(Composition Time Stamp)의 타임 정보를 포함하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템.
  3. 제 2 항에 있어서,
    상기 3차원-최소접근 단위 스트림 데이터의 타임 정보는 좌우 프레임 영상 중 한 프레임에 대한 동기화를 수행하므로 1개의 CTS를 갖는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템.
  4. 제 1 항에 있어서,
    상기 디코딩 버퍼는,
    상기 2차원 동영상 디스플레이를 위해 좌영상의 홀수 및 짝수 필드에 대한 기초 스트림으로 구성된 3차원_최소접근단위의 스트림 데이터를 저장하는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템.
  5. 제 1 항에 있어서,
    상기 디코딩 버퍼는,
    상기 양안식 3차원 동영상 필드 셔터링 디스플레이를 위해 좌영상의 홀수 필드 및 우영상의 짝수 필드에 대한 기초 스트림, 또는 좌영상의 짝수필드 및 우영상의 홀수 필드에 대한 기초 스트림으로 구성된 3차원_최소접근단위의 스트림 데이터를 저장하는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템.
  6. 제 1 항에 있어서,
    상기 디코딩 버퍼는,
    상기 양안식 3차원 동영상 프레임 셔터링 디스플레이, 또는 양안식 3차원 동영상 편광 디스플레이를 위해 좌영상의 홀수 및 짝수 필드, 우영상의 홀수 및 짝수 필드로 구성된 3차원_최소접근단위의 스트림 데이터를 저장하는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템.
  7. 제 1 항에 있어서,
    상기 컴포지션 메모리는,
    상기 2차원 동영상 디스플레이를 위해 상기 디코더가 복원한 좌영상의 홀수 및 짝수 필드를 라인별로 끼워넣어 구성된 영상을 저장하는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템.
  8. 제 1 항에 있어서,
    상기 컴포지션 메모리는,
    상기 양안식 3차원 동영상 필드 셔터링 디스플레이를 위해 상기 디코더가 복원한 좌영상의 홀수 필드 및 우영상의 짝수 필드, 또는 좌영상의 짝수필드 및 우영상의 홀수 필드를 라인별로 끼워넣어 좌우영상이 혼합된 영상을 저장하는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템.
  9. 제 1 항에 있어서,
    상기 컴포지션 메모리는,
    상기 양안식 3차원 동영상 프레임 셔터링 디스플레이, 또는 양안식 3차원 동영상 편광 디스플레이를 위해 좌영상의 홀수 및 짝수 필드를 라인별로 끼워넣어 구성된 영상과, 우영상의 홀수 및 짝수 필드를 라인별로 끼워넣어 구성된 영상을 저장하는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 시스템.
  10. a) 외부에서 양안식 3차원 동영상이 입력되면, 2차원 동영상 디스플레이, 양안식 3차원 동영상 필드 셔터링 디스플레이, 양안식 3차원 동영상 프레임 셔터링 디스플레이, 양안식 3차원 편광 디스플레이와 같은 각 디스플레이 방식 중에서 원하는 디스플레이 방식에 대해 필요한 기초 스트림만 다중화하여 단일 채널의 3차원_최소접근단위(3D_AU)의 스트림 데이터를 저장하는 단계;
    b) 상기 a) 단계에 저장된 스트림 데이터에서 각 최소접근단위(AU)에 대해 정의된 디코딩 타임에 디코딩하여 좌우영상에 대한 필드를 한 프레임의 컴포지션 단위(CU) 형태의 데이터로 재구성한 후 이를 전송하는 단계; 및
    c) 상기 b) 단계에서 전송되는 컴포지션 단위 형태의 데이터를 저장하는 단계
    를 포함하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 방법.
  11. 제 10 항에 있어서,
    상기 b) 단계에서 출력되는 3차원_최소접근단위(3D_AU)의 스트림 데이터는,
    하나의 기초 스트림을 포함하는 일련의 싱크 패킷들로 구성되며, 상기 싱크 패킷 헤더부는 디스플레이 방식에 따라 서로 다른 한 채널의 최소접근단위에 대한 DTS(Decoding Time Stamp) 및 CTS(Composition Time Stamp)의 타임 정보를 포함하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 방법.
  12. 제 11 항에 있어서,
    상기 3차원-최소접근 단위 스트림 데이터의 타임 정보는 좌우 프레임 영상 중 한 프레임에 대한 동기화를 수행하므로 1개의 CTS를 갖는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 방법.
  13. 제 10 항에 있어서,
    상기 b) 단계에서 상기 양안식 3차원 동영상 데이터에 대해 사용자가 2차원 동영상 디스플레이를 요구한 경우에,
    상기 a) 단계에서 출력되는 3차원 좌영상의 홀수필드 기초 스트림, 3차원 좌영상의 짝수필드 기초 스트림을 순차적으로 통합하여 단일 채널의 3차원_최소접근단위의 스트림 데이터를 구성하는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 방법.
  14. 제 10 항에 있어서,
    상기 b) 단계에서 상기 양안식 3차원 동영상 데이터에 대해 사용자가 양안식 3차원 동영상 필드 셔터링 디스플레이를 요구한 경우에,
    상기 a) 단계에서 출력되는 3차원 좌영상의 홀수필드 기초스트림과 3차원 우영상의 짝수필드의 기초스트림만을 순차적으로 통합하여 단일 채널의 3차원_최소접근단위의 스트림 데이터를 구성하는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 방법.
  15. 제 10 항에 있어서,
    상기 b) 단계에서 상기 양안식 3차원 동영상 데이터에 대해 사용자가 양안식 3차원 동영상 프레임 셔터링 디스플레이, 또는 양안식 3차원 동영상 편광 디스플레이를 요구한 경우에,
    상기 a) 단계에서 출력되는 3차원 좌영상의 홀수필드 및 짝수필드 기초스트림과, 3차원 우영상의 홀수 필드 및 짝수필드의 기초스트림을 순차적으로 통합하여 단일 채널의 3차원_최소접근단위의 스트림 데이터를 구성하는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 방법.
  16. 제 10 항에 있어서,
    상기 c) 단계에서 상기 양안식 3차원 동영상 데이터에 대해 사용자가 2차원 동영상 디스플레이 방식을 요구한 경우에,
    가) 상기 3차원_최소접근단위 스트림 데이터를 싱크 패킷 헤더부에 있는 DTS 시간에 맞추어 좌영상의 홀수 필드 및 짝수 필드에 대한 영상을 복원하는 단계; 및
    나) 상기 가) 단계에서 복원된 좌영상의 홀수필드 및 짝수 필드를 라인별로 끼워 넣어서 순차 주사 방식의 한 프레임 영상으로 재구성한 컴포지션 단위의 데이터로 디코딩하는 단계
    를 포함하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 방법.
  17. 제 10 항에 있어서,
    상기 c) 단계에서 상기 양안식 3차원 동영상 데이터에 대해 사용자가 양안식 3차원 동영상 필드 셔터링 디스플레이 방식을 요구한 경우에,
    가) 상기 3차원_최소접근단위 스트림 데이터를 싱크 패킷 헤더부에 있는 DTS 시간에 맞추어 좌영상의 홀수 필드 및 우영상의 짝수 필드에 대한 영상을 복원하는 단계; 및
    나) 상기 가) 단계에서 복원된 좌영상의 홀수필드 및 우영상의 짝수 필드를 라인별로 끼워 넣어 좌우 필드 영상을 순차 주사 방식의 한 프레임 영상으로 재구성한 컴포지션 단위의 데이터로 디코딩하는 단계
    를 포함하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 방법.
  18. 제 17 항에 있어서,
    상기 3차원-최소접근 단위 스트림 데이터의 타임 정보는 한 프레임에 대한 동기화를 수행하므로 좌우 필드 영상에 대하여 동일한 CTS를 갖는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 방법.
  19. 제 10 항에 있어서,
    상기 c) 단계에서 상기 양안식 3차원 동영상 데이터에 대해 사용자가 양안식 3차원 동영상 프레임 셔터링 디스플레이, 또는 양안식 3차원 동영상 편광 디스플레이 방식을 요구한 경우에,
    가) 상기 3차원_최소접근단위 스트림 데이터를 싱크 패킷 헤더부에 있는 DTS 시간에 맞추어 좌우영상의 홀수 필드 및 짝수 필드에 대한 4개의 필드 영상을 복원하는 단계;
    나) 상기 가) 단계에서 복원된 좌영상의 홀수필드 및 짝수 필드를 라인별로 끼워 넣어서 순차 주사 방식의 한 프레임 영상으로 재구성하는 단계; 및
    다) 상기 가) 단계에서 복원된 우영상의 홀수 필드 및 짝수필드를 라인별로 끼워넣어 순차 주사 방식의 한 프레임 영상을 재구성한 후 두 개의 컴포지션 단위의 데이터로 디코딩하는 단계
    를 포함하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 방법.
  20. 제 19 항에 있어서,
    상기 3차원-최소접근 단위 스트림 데이터의 타임 정보는 양안식 3차원 동영상 프레임 셔터링 디스플레이의 경우에, 좌우 영상이 번갈아 가며 나타나므로 좌영상과 우영상 중 어느 한 영상에 대한 CTS를 이용해 좌영상과 우영상의 시간적 상관성으로 나머지 영상에 대한 CTS를 추정하는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 방법.
  21. 제 20 항에 있어서,
    상기 CTS가 제1 컴포지션 단위 형태의 데이터(CU1)에 대한 유효한 시간인 경우에, 제2 컴포지션 단위 형태의 데이터(CU2)에 대한 유효한 시간은 CTS+T(1/초당 프레임 수)인 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 방법.
  22. 제 19 항에 있어서,
    상기 3차원-최소접근 단위 스트림 데이터의 타임 정보는 양안식 3차원 동영상 편광 디스플레이의 경우에, 좌우 영상이 동시에 나타나므로 좌영상과 우영상이 동일한 CTS를 갖는 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 방법.
  23. 제 22 항에 있어서,
    상기 CTS가 제1 컴포지션 단위 형태의 데이터(CU1)에 대한 유효한 시간인 경우에, 제2 컴포지션 단위 형태의 데이터(CU2)에 대한 유효한 시간도 CTS인 것을 특징으로 하는 MPEG-4 기반의 양안식 3차원 동영상 데이터 처리 방법.
KR10-2002-0060987A 2002-10-07 2002-10-07 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법 KR100488804B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2002-0060987A KR100488804B1 (ko) 2002-10-07 2002-10-07 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
US10/404,608 US7177357B2 (en) 2002-10-07 2003-04-01 Data processing system for stereoscopic 3-dimensional video based on MPEG-4 and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0060987A KR100488804B1 (ko) 2002-10-07 2002-10-07 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20040031519A KR20040031519A (ko) 2004-04-13
KR100488804B1 true KR100488804B1 (ko) 2005-05-12

Family

ID=32040984

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0060987A KR100488804B1 (ko) 2002-10-07 2002-10-07 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법

Country Status (2)

Country Link
US (1) US7177357B2 (ko)
KR (1) KR100488804B1 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2380105A1 (en) 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
KR100556826B1 (ko) * 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
EP1499131A1 (en) * 2003-07-14 2005-01-19 Deutsche Thomson-Brandt Gmbh Method and apparatus for decoding a data stream in audio video streaming systems
JP4361435B2 (ja) * 2004-07-14 2009-11-11 株式会社エヌ・ティ・ティ・ドコモ 動画像復号方法、動画像復号プログラム、動画像復号装置、動画像符号化方法、動画像符号化プログラム及び動画像符号化装置
KR100658222B1 (ko) * 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
CN101156319B (zh) * 2005-04-11 2012-05-30 三星电子株式会社 产生和恢复3d压缩数据的方法和设备
KR100785012B1 (ko) * 2005-04-11 2007-12-12 삼성전자주식회사 3ｄ 압축 데이터 생성, 복원 방법 및 그 장치
KR100929073B1 (ko) * 2005-10-14 2009-11-30 삼성전자주식회사 휴대 방송 시스템에서 다중 스트림 수신 장치 및 방법
JP4607856B2 (ja) * 2006-12-26 2011-01-05 富士通株式会社 符号化復号システム及び符号化復号方法
KR100842568B1 (ko) * 2007-02-08 2008-07-01 삼성전자주식회사 영상 압축 데이터의 생성 장치와 방법 및 영상 압축데이터의 출력 장치와 방법
KR101450670B1 (ko) 2007-06-11 2014-10-15 삼성전자 주식회사 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
US8274551B2 (en) * 2007-06-11 2012-09-25 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image data
US8471893B2 (en) * 2007-06-26 2013-06-25 Samsung Electronics Co., Ltd. Method and apparatus for generating stereoscopic image bitstream using block interleaved method
KR101472332B1 (ko) * 2008-04-15 2014-12-15 삼성전자주식회사 3차원 디지털 컨텐츠의 제공 방법, 수신 방법 및 그 장치
WO2009157713A2 (en) * 2008-06-24 2009-12-30 Samsung Electronics Co., Ltd. Image processing method and apparatus
WO2009157707A2 (en) * 2008-06-24 2009-12-30 Samsung Electronics Co,. Ltd. Image processing method and apparatus
KR20100002032A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
CN102257823B (zh) * 2008-12-18 2017-03-08 Lg电子株式会社 用于显示立体图像的数字广播接收方法及使用该方法的数字广播接收装置
BRPI0917764B1 (pt) * 2008-12-19 2021-03-16 Koninklijke Philips N.V. método de decodificação e envio de informação de vídeo adequado para apresentação tridimensional [3d] e dispositivo para decodificação e envio de informação de vídeo adequado para monitor tridimensional [3d]
JP4560143B2 (ja) * 2009-01-19 2010-10-13 パナソニック株式会社 符号化方法、復号方法、符号化装置、復号装置、プログラム、及び集積回路
EP2211556A1 (en) * 2009-01-22 2010-07-28 Electronics and Telecommunications Research Institute Method for processing non-real time stereoscopic services in terrestrial digital multimedia broadcasting and apparatus for receiving terrestrial digital multimedia broadcasting
US8947504B2 (en) * 2009-01-28 2015-02-03 Lg Electronics Inc. Broadcast receiver and video data processing method thereof
KR20100131061A (ko) 2009-06-05 2010-12-15 삼성전자주식회사 스테레오 영상 처리 장치 및 방법
CN102498720B (zh) 2009-06-24 2015-09-02 杜比实验室特许公司 在3d或多视图视频数据中嵌入字幕和/或图形叠层的方法
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
WO2011049372A2 (en) * 2009-10-20 2011-04-28 Samsung Electronics Co., Ltd. Method and apparatus for generating stream and method and apparatus for processing stream
JP5585047B2 (ja) * 2009-10-28 2014-09-10 ソニー株式会社 ストリーム受信装置、ストリーム受信方法、ストリーム送信装置、ストリーム送信方法及びコンピュータプログラム
EP2462748A4 (en) * 2009-12-08 2013-11-13 Broadcom Corp METHOD AND SYSTEM FOR SUPPORTING MULTIPLE 3-D VIDEO FORMATS
US9426441B2 (en) * 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
CN102340681A (zh) * 2010-07-26 2012-02-01 深圳市锐取软件技术有限公司 3d立体视频单文件双视频流录制方法
KR20130098184A (ko) * 2010-08-17 2013-09-04 엘지전자 주식회사 디지털 수신기 및 디지털 수신기에서의 컨텐트 처리 방법
KR101878218B1 (ko) * 2011-03-10 2018-07-16 한국전자통신연구원 Ｍｐｅｇ-2 ｔｓ 기반 방송 서비스 환경에서 전달 시간이 다른 콘텐츠를 연동하여 3ｄ 서비스를 제공하는 방법
KR101803970B1 (ko) * 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
EP2506263A1 (en) * 2011-03-31 2012-10-03 Thomson Licensing Stereoscopic scene graph for defining 3D- and 2D-compatible graphical objects
EP2697975A1 (en) 2011-04-15 2014-02-19 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3d images independent of display size and viewing distance
JP5087695B2 (ja) * 2011-04-19 2012-12-05 株式会社東芝 電子機器および映像表示方法
US8643699B2 (en) * 2011-04-26 2014-02-04 Mediatek Inc. Method for processing video input by detecting if picture of one view is correctly paired with another picture of another view for specific presentation time and related processing apparatus thereof
JP2013026696A (ja) * 2011-07-15 2013-02-04 Sony Corp 送信装置、送信方法および受信装置
CN102595145B (zh) * 2012-03-13 2014-08-06 宁波大学 一种立体视频整帧丢失错误隐藏方法
US20130329985A1 (en) * 2012-06-07 2013-12-12 Microsoft Corporation Generating a three-dimensional image
US9148647B2 (en) * 2013-02-06 2015-09-29 Mediatek Inc. Electronic devices and methods for processing video streams
CN103475884B (zh) * 2013-09-12 2016-08-24 宁波大学 面向hbp编码格式的立体视频b帧整帧丢失错误隐藏方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123447A (ja) * 1993-10-22 1995-05-12 Sony Corp 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
KR19980033135A (ko) * 1996-10-24 1998-07-25 샤운엘.맥클린토크 입체영상 시퀀스의 동기화
KR20010036217A (ko) * 1999-10-06 2001-05-07 이영화 입체영상 표시방법 및 그 장치
KR20010106535A (ko) * 2000-04-26 2001-12-07 이승현 2차원 영상을 3차원 영상으로 변환하는 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3438223B2 (ja) * 1997-03-28 2003-08-18 ソニー株式会社 多重化装置および多重化方法、並びに伝送装置および伝送方法
CA2265609C (en) * 1997-07-18 2005-05-17 Sony Corporation Method and system for multiplexing image signal, method and system for demultiplexing image signal, and transmission medium
JP2002095018A (ja) * 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123447A (ja) * 1993-10-22 1995-05-12 Sony Corp 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
KR19980033135A (ko) * 1996-10-24 1998-07-25 샤운엘.맥클린토크 입체영상 시퀀스의 동기화
KR20010036217A (ko) * 1999-10-06 2001-05-07 이영화 입체영상 표시방법 및 그 장치
KR20010106535A (ko) * 2000-04-26 2001-12-07 이승현 2차원 영상을 3차원 영상으로 변환하는 방법

Also Published As

Publication number Publication date
US7177357B2 (en) 2007-02-13
US20040066846A1 (en) 2004-04-08
KR20040031519A (ko) 2004-04-13

Similar Documents

Publication Publication Date Title
KR100488804B1 (ko) Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
US8111758B2 (en) 3D stereoscopic/multiview video processing system and its method
KR100475060B1 (ko) 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
US7782937B2 (en) System and method for internet broadcasting of MPEG-4-based stereoscopic video
JP4346548B2 (ja) 画像データ配信システムならびにその画像データ送信装置および画像データ受信装置
EP2574064A1 (en) Image data transmitting device, image data transmitting method and image data receiving device
KR100703715B1 (ko) 다시점 3차원 동영상 송수신 시스템
KR100810539B1 (ko) 다중 카메라 시스템에서 자유로운 기본설정 뷰의부호화/복호화 방법 및 그 장치
US20140125762A1 (en) Transmission device, transmission method, reception apparatus, and reception method
KR20190065838A (ko) 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말
EP1692871A1 (en) Apparatus and method for processing 3d video based on mpeg-4 object descriptor information
KR100924170B1 (ko) 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신시스템 및 그 방법
KR20080051086A (ko) Ｄｍｂ기반의 3차원 입체영상 서비스를 위한 객체 기술방법과, 그에 따른 3차원 입체영상 서비스 수신 및 영상포맷 변환 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130424

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140430

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20160502

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee