KR20100128233A - 영상 처리 방법 및 장치 - Google Patents

영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR20100128233A
KR20100128233A KR1020100044500A KR20100044500A KR20100128233A KR 20100128233 A KR20100128233 A KR 20100128233A KR 1020100044500 A KR1020100044500 A KR 1020100044500A KR 20100044500 A KR20100044500 A KR 20100044500A KR 20100128233 A KR20100128233 A KR 20100128233A
Authority
KR
South Korea
Prior art keywords
video
depth
depth information
image
value
Prior art date
Application number
KR1020100044500A
Other languages
English (en)
Inventor
전혜영
정현권
이대종
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN2010800235596A priority Critical patent/CN102450025A/zh
Priority to EP10780760.4A priority patent/EP2437501A4/en
Priority to JP2012512959A priority patent/JP2012528510A/ja
Priority to PCT/KR2010/003296 priority patent/WO2010137849A2/ko
Publication of KR20100128233A publication Critical patent/KR20100128233A/ko
Priority to US13/304,751 priority patent/US20120194639A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

비디오 스트림으로부터 3차원 비디오 영상의 깊이를 나타내는 비디오 뎁쓰 정보를 추출하고, 3차원 비디오 영상과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 비디오 뎁쓰 정보를 이용하여 조절하는 영상 처리 방법이 개시된다.

Description

영상 처리 방법 및 장치{Method and apparatus for processing video image}
본 발명은 영상 처리 방법 및 장치에 대한 것으로, 보다 구체적으로 3차원 비디오 영상의 뎁쓰 값을 이용하여 3차원 비디오 영상과 함께 재생되어야 하는 그래픽 화면의 뎁쓰 값을 조절하는 영상 처리 방법 및 장치에 대한 것이다.
디지털 기술의 발달로 비디오 영상을 3차원으로 재생하는 기술이 널리 보급되고 있다.
3차원 비디오 영상은 비디오 영상에 대해 부가적으로 제공되는 메뉴나 자막과 같은 그래픽 요소와 함께 디스플레이될 수 있다. 3차원 비디오 영상과 함께 재생되는 그래픽 요소는 2차원으로 재생될 수도 있고 3차원으로 재생될 수도 있다.
도 1은 비디오 영상과 그래픽 요소가 함께 3차원으로 재생되는 경우 비디오 영상과 그래픽 요소의 뎁쓰 값을 설명하기 위한 도면이다. 비디오 영상에는 하나 이상의 오브젝트가 포함될 수 있다. 도 1은 비디오 영상에 하나의 오브젝트가 포함되어 있는 경우를 도시한다.
화면(100)을 기준으로 화면(100) 앞으로 돌출된 정도를 뎁쓰 값이라고 할 때, 도 1의 (a)는 비디오 영상에 포함된 오브젝트의 뎁쓰 값(110)이 그래픽 요소의 뎁쓰 값(120)보다 더 커서 오브젝트가 그래픽 요소보다 화면(100) 앞으로 더 돌출되어 있는 경우를 도시한다. 이 경우, 화면(100)을 바라보는 시청자는 메뉴, 즉, 그래픽 요소가 비디오 영상의 오브젝트보다 안쪽에 들어가 위치한다고 인식하게 된다. 그래픽 요소가 비디오 영상에 포함된 오브젝트보다 안쪽에 위치하기 때문에 오브젝트의 일부가 그래픽 요소에 의해 가려지게 된다. 이 경우 시청자는 오브젝트와 그래픽 요소의 재생이 부자연스럽다고 인식하게 된다.
도 1의 (b)는 그래픽 요소의 뎁쓰 값은 일정하고 그래픽 요소와 함께 재생되는 비디오 영상의 뎁쓰 값이 변하는 경우를 설명하기 위한 도면이다. 일반적으로 그래픽 요소의 뎁쓰 값은 고정된 값을 갖거나 특정 시각에 변하게 된다. 그러나 고정된 뎁쓰 값을 갖는 그래픽 요소와 함께 재생되는 오브젝트의 뎁쓰 값은 매 프레임마다 연속하여 변할 수 있다.
도 1의 (b)의 좌측 프레임과 우측 프레임에서 비디오 영상에 포함된 오브젝트의 뎁쓰 값(110)은 서로 다르나 그래픽 요소의 뎁쓰 값(120)은 동일하다고 가정한다. 도 1의 (b)에서 좌측 프레임에서의 오브젝트와 그래픽 요소의 뎁쓰 값 차이보다 우측 프레임에서의 오브젝트와 그래픽 요소의 뎁쓰 값 차이가 더 크다는 것을 알 수 있다. 좌측 프레임과 우측 프레임이 순차적으로 재생된다고 할 때, 그래픽 요소의 뎁쓰 값과 비디오 영상 내의 오브젝트의 뎁쓰 값의 차이 또한 변하게 된다. 시청자는 그래픽 요소의 뎁쓰 값과 비디오 영상 내의 오브젝트의 뎁쓰 값의 차이의 변화로 인해 어지러움을 느낄 수 있다.
본 발명은 비디오 영상의 뎁쓰 값을 이용하여 그래픽 화면의 뎁쓰 값을 조절하여 비디오 영상과 그래픽 화면의 재생이 자연스럽게 인식되도록 하는 하는 영상 처리 방법 및 장치를 제공하기 위한 것이다.
또한, 본 발명은 그래픽 화면보다 비디오 영상이 더 깊게 위치한 듯한 입체감을 갖도록 하여 비디오 영상과 그래픽 화면을 함께 재생하는 영상 처리 방법 및 장치를 제공하기 위한 것이다.
상기 과제를 달성하기 위해 본 발명의 일 측면에 따르면, 비디오 스트림으로부터 3차원 비디오 영상의 깊이를 나타내는 비디오 뎁쓰 정보를 추출하는 단계; 및 상기 3차원 비디오 영상과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 상기 비디오 뎁쓰 정보를 이용하여 조절하는 단계를 포함하는 영상 처리 방법을 제공할 수 있다.
바람직한 실시 예에서, 상기 비디오 뎁쓰 정보는 3차원 비디오 영상의 뎁쓰 값 또는 상기 3차원 비디오 영상의 뎁쓰 값에 대응하는 픽셀의 이동 거리 값을 포함하고, 상기 뎁쓰 값은 화면 안쪽에서 비디오 영상이 출력되는 화면 바깥쪽 방향으로 갈수록 커지고, 상기 그래픽 화면의 뎁쓰 값을 조절하는 단계는 상기 3차원 비디오 영상의 뎁쓰 값과 같거나 또는 그보다 더 큰 값을 갖도록 상기 그래픽 화면의 뎁쓰 값을 조절하는 단계를 포함할 수 있다. 또한, 상기 3차원 비디오 영상에 복수의 오브젝트들이 포함되어 있고 상기 비디오 뎁쓰 정보에 상기 복수의 오브젝트들 중 둘 이상의 오브젝트들의 뎁쓰 정보가 포함되어 있는 경우, 상기 그래픽 화면의 뎁쓰 값을 조절하는 단계는 상기 둘 이상의 오브젝트들 중 가장 큰 뎁쓰 값을 갖는 오브젝트와 뎁쓰 값이 같거나 또는 그보다 더 큰 값을 갖도록 상기 그래픽 화면의 뎁쓰 값을 조절하는 단계를 포함할 수 있다.
또한, 상기 비디오 스트림은 디코딩 단위인 액세스 유닛(access unit)을 복수개 포함하고, 상기 비디오 뎁쓰 정보를 추출하는 단계는 상기 복수의 액세스 유닛들 각각으로부터 비디오 뎁쓰 정보를 추출하는 단계를 포함할 수 있다. 또한, 상기 그래픽 화면의 뎁쓰 값을 조절하는 단계는 비디오 뎁쓰 정보가 추출된 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 상기 추출된 비디오 뎁쓰 정보를 이용하여 조절하는 단계를 포함할 수 있다.
또한, 상기 비디오 뎁쓰 정보를 추출하는 단계는 상기 각 액세스 유닛에 포함된 SEI(Supplemental Enhancement Information) 내의 사용자 데이터 SEI 메세지(User data SEI messages)로부터 상기 비디오 뎁쓰 정보를 추출하는 단계를 포함할 수 있다. 또한, 상기 비디오 스트림은 디코딩 단위인 액세스 유닛(access unit)을 복수개 포함하는 GOP(Group Of Pictures)를 하나 이상 포함하고, 상기 비디오 뎁쓰 정보를 추출하는 단계는 상기 GOP 에 포함된 복수의 액세스 유닛들 중 하나의 액세스 유닛으로부터 비디오 뎁쓰 정보를 추출하는 단계를 포함할 수 있다.
또한, 상기 비디오 뎁쓰 정보를 추출하는 단계는 상기 하나의 액세스 유닛에 포함된 SEI(Supplemental Enhancement Information) 내의 사용자 데이터 SEI 메세지(User data SEI messages)로부터 상기 비디오 뎁쓰 정보를 추출하는 단계를 포함할 수 있다. 또한, 상기 비디오 뎁쓰 정보는 상기 3차원 비디오 영상의 뎁쓰 값의 개수 또는 상기 대응하는 픽셀의 이동 거리 값의 개수를 포함하고, 상기 그래픽 화면의 뎁쓰 값을 조절하는 단계는 상기 GOP 에 포함된 복수의 액세스 유닛들을 상기 비디오 뎁쓰 정보에 포함된 개수만큼의 묶음으로 나누었을 때, 각 묶음에 포함되는 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을, 상기 비디오 뎁쓰 정보에 포함된 상기 3차원 비디오 영상의 뎁쓰 값들 중 하나의 값으로 조절하거나 상기 대응하는 픽셀의 이동 거리 값들 중 하나를 이용하여 조절하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 따르면 비디오 스트림을 디코딩하여 좌안용 영상 및 우안용 영상을 생성하는 비디오 디코더; 그래픽 스트림을 디코딩하여 그래픽 화면을 생성하는 그래픽 디코더; 비디오 스트림으로부터 3차원 비디오 영상의 깊이를 나타내는 비디오 뎁쓰 정보를 추출하는 비디오 뎁쓰 정보 추출부; 및 상기 3차원 비디오 영상과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 상기 비디오 뎁쓰 정보를 이용하여 조절하는 그래픽 화면 뎁쓰 값 조절부를 포함하는 영상 처리 장치를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 비디오 스트림으로부터 3차원 비디오 영상의 깊이를 나타내는 비디오 뎁쓰 정보를 추출하는 단계; 및 상기 3차원 비디오 영상과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 상기 비디오 뎁쓰 정보를 이용하여 조절하는 단계를 포함하는 영상 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.
본 발명에 따르면 비디오 영상의 뎁쓰 값을 이용하여 그래픽 화면의 뎁쓰 값을 조절하고 뎁쓰 값이 조절된 그래픽 화면을 비디오 영상과 함께 재생할 수 있다.
또한, 본 발명에 의하면 그래픽 화면보다 비디오 영상이 더 깊게 위치한 듯한 입체감을 갖도록 하여 그래픽 화면과 비디오 영상을 함께 재생할 수 있다.
도 1은 비디오 영상과 그래픽 요소가 함께 3차원으로 재생되는 경우 비디오 영상과 그래픽 요소의 뎁쓰 값을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 비디오 스트림을 도시한 도면이다.
도 3은 본 발명의 다른 실시 예에 따른 비디오 스트림(300)를 도시한다.
도 4는 본 발명의 또 다른 실시 예에 따른 비디오 스트림(400)를 도시한다.
도 5는 본 발명의 실시 예에 따라 비디오 뎁쓰 정보가 SEI 메세지에 포함된 것을 표현하는 신택스(syntax)를 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 영상 처리 장치(600)의 내부 블록도이다.
도 7은 본 발명의 일 실시 예에 따른 영상 처리 방법을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 비디오 스트림을 도시한 도면이다. 도 2를 참조하면, 비디오 스트림(200)에는 하나 이상의 액세스 유닛(210)이 포함되어 있다. 액세스 유닛(Access Unit, AU)(210)은 비트열 속의 정보를 픽쳐 단위로 액세스하기 위해서 몇개의 NAL(Network Abstraction Layer)단위를 모은 하나의 집합이다. 즉, 액세스 유닛은 인코딩/디코딩 단위로 하나의 액세스 유닛은 한 장의 부호화된 영상(coded picture), 즉, 픽쳐 또는 프레임에 해당한다.
도2에서 비디오 스트림(200)에는 각 액세스 유닛(210)마다 비디오 뎁쓰 정보(220)가 포함되어 있다. 비디오 뎁쓰 정보(220)는 비디오 스트림(200)으로부터 생성되는 3차원 비디오 영상의 깊이(depth) 정도를 나타내는 정보이다.
사람의 눈은 가로 방향으로 소정 거리만큼 떨어져 있으므로 좌안과 우안이 보는 2차원 영상이 서로 다르다. 사람의 뇌는 좌안과 우안이 보는 서로 다른 두 개의 2차원 영상을 융합하여 원근감과 실재감이 있는 3차원 영상을 생성한다. 따라서, 2차원 비디오 영상을 3차원으로 재생하기 위해서는 하나의 2차원 영상에 대해 좌안과 우안이 보는 서로 다른 두 개의 영상, 즉, 좌안용 영상과 우안용 영상을 각각 생성하고 이들을 교대로 재생하여야 한다.
좌안용 영상과 우안용 영상은 2차원 영상에 포함된 픽셀들을 좌 또는 우로 소정 거리만큼 이동시켜 생성된다. 2차원 영상으로부터 좌안용 영상과 우안용 영상을 생성하기 위해 픽셀이 이동되어야 하는 거리, 즉, 2차원 영상에서의 소정 픽셀의 위치와 그 픽셀이 소정 거리만큼 이동되어 좌안용 영상 및 우안용 영상에 매핑된 지점 사이의 거리는 2차원 영상으로부터 생성될 3차원 영상의 깊이 감에 따라 달라진다.
이하, 본 발명에서는 영상의 깊이 감을 표시하기 위해 뎁쓰(depth) 정보라는 용어를 사용한다. 비디오 뎁쓰 정보는 뎁쓰 값(depth value) 또는 뎁쓰 값에 대응하는 픽셀의 이동 거리 값 중 하나를 포함할 수 있다.
뎁쓰 값은 영상의 깊이 정도를 표시하는 용어로 본 발명에서는 영상이 시청자에게 가까이 위치할수록 그 영상의 뎁쓰 값이 커진다고 정의한다. 한 실시 예로 뎁쓰 값은 0부터 255까지 256개의 값들 중 하나를 가질 수 있으며 영상이 화면 안쪽에 형성되어 화면을 바라보는 시청자로부터 영상이 멀어질수록 뎁쓰 값이 작아져 0에 가까워지게 되고, 영상이 화면 바깥쪽으로 돌출되어 시청자에게 가까워질수록 뎁쓰 값이 커져 255에 가까워지게 된다.
저자(author)는 도2와 같이 비디오 스트림(200)에 포함된 각 액세스 유닛(210)마다 각 액세스 유닛(210)으로부터 생성될 3차원 비디오 영상의 깊이를 나타내는 비디오 뎁쓰 정보(220)를 포함시킬 수 있다.
도 2에는 도시하지 않았으나 각 액세스 유닛(210)에는 SEI(Supplemental Enhancement Information)가 포함될 수 있고, SEI에는 SEI 메세지(User data SEI messages)가 포함될 수 있다. 비디오 뎁쓰 정보(220)는 각 액세스 유닛(210)에 포함된 SEI 메세지에 포함될 수 있다. 비디오 뎁쓰 정보(220)가 SEI에 포함되는 것에 대해서는 도 4를 참조하여 보다 구체적으로 설명하기로 한다.
영상 처리 장치(미도시)는 비디오 스트림(200)의 각 액세스 유닛(210)으로부터 비디오 뎁쓰 정보(220)를 추출하고 추출된 비디오 뎁쓰 정보(220)를 이용하여 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
그래픽 화면은 그래픽 스트림을 디코딩하여 생성된다. 그래픽 스트림은 자막을 표시하기 위한 프리젠테이션 그래픽 스트림(presentation graphic stream) 또는 텍스트 서브타이틀 스트림(text subtitle stream), 사용자와의 상호작용을 위한 버튼 등으로 이루어진 메뉴를 제공하기 위한 인터랙티브 그래픽 스트림(interactive graphic stream), 및 자바(Java)와 같은 프로그램 요소에 의해 표시되는 그래픽컬 오버레이(graphical overlay) 중 하나 이상을 포함할 수 있다.
영상 처리 장치는 비디오 뎁쓰 정보(220)가 추출된 액세스 유닛(210)에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 추출된 비디오 뎁쓰 정보(220)를 이용하여 조절할 수 있다. 영상 처리 장치는 비디오 뎁쓰 정보(220)에 포함된 뎁쓰 값 또는 뎁쓰 값에 대응하는 픽셀의 이동 거리 값을 이용하여 그래픽 화면의 뎁쓰 값이 3차원 비디오 영상의 뎁쓰 값과 같거나 그보다 더 큰 값을 갖도록 조절할 수 있다. 이 경우 그래픽 화면은 3차원 비디오 영상보다 더 돌출되어 시청자에게 더 가까운 위치에 출력되게 된다.
하나의 프레임, 또는 픽쳐에는 하나 또는 복수의 오브젝트들이 포함될 수 있다. 이 경우, 비디오 뎁쓰 정보(220)에는 복수의 오브젝트들 모두 또는 복수의 오브젝트들 중 둘 이상의 오브젝트들의 뎁쓰 정보가 포함될 수 있다. 영상 처리 장치는 비디오 뎁쓰 정보(220)에 포함된 오브젝트들의 뎁쓰 정보 중 하나의 오브젝트의 뎁쓰 정보를 이용하여 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
비디오 뎁쓰 정보(220)에 포함된 오브젝트들의 뎁쓰 정보가 오브젝트들의 뎁쓰 값인 경우 영상 처리 장치는 복수의 오브젝트들 중 가장 뎁쓰 값이 큰 오브젝트의 뎁쓰 값보다 그래픽 화면의 뎁쓰 값이 더 커지도록 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
비디오 뎁쓰 정보(220)에 뎁쓰 값 대신 복수의 오브젝트들 각각에 대한 픽셀의 이동 거리 값이 포함되어 있는 경우, 영상 처리 장치는 픽셀의 이동 거리 값에 대응하는 뎁쓰 값을 구하여 복수의 오브젝트 들 중 가장 뎁쓰 값이 큰 오브젝트를 식별하고, 식별된 오브젝트의 뎁쓰 값보다 더 큰 뎁쓰 값을 갖도록 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
이와 같이 본 발명의 일 실시 예에 의하면 비디오 영상과 함께 재생되는 그래픽 화면의 뎁쓰 값을 조절하기 위한 비디오 뎁쓰 정보(220)가 각 액세스 유닛마다 포함될 수 있다.
도 3은 본 발명의 다른 실시 예에 따른 비디오 스트림(300)를 도시한다. 도 3을 참조하면, 비디오 스트림(300)에는 일련의 픽쳐들의 집합인 GOP(Group Of Pictures)가 하나 이상 포함되어 있다. 또한 비디오 스트림(300)에는 각 GOP에 대한 GOP 헤더(310)가 포함되어 있다. GOP는 I픽쳐부터 다음의 I픽쳐까지의 일련의 픽쳐들의 묶음으로 하나의 GOP에는 I픽쳐 외에도 P픽쳐, B픽쳐들이 포함될 수 있다. 전술한 바와 같이 하나의 픽쳐는 하나의 액세스 유닛에 대응한다.
저자(author)는 도 3의 비디오 스트림(300)과 같이 GOP 헤더(310)에 GOP에 포함되는 복수의 액세스 유닛들에 대한 비디오 뎁쓰 정보(330)를 포함시킬 수 있다. 전술한 바와 같이 비디오 뎁쓰 정보(330)는 3차원 비디오 영상의 뎁쓰 값 또는 3차원 비디오 영상의 뎁쓰 값에 대응하는 픽셀의 이동 거리 값 중 하나를 포함한다.
GOP 헤더(310)에 복수의 액세스 유닛들에 대한 비디오 뎁쓰 정보(330)가 포함되므로 비디오 뎁쓰 정보(330)에는 복수의 뎁쓰 값들 또는 복수의 픽셀의 이동 거리 값들이 리스트 형태로 포함될 수 있다. 또한 비디오 뎁쓰 정보(330)에는 뎁쓰 값들의 개수 또는 픽셀의 이동 거리 값들의 개수를 나타내는 정보가 카운트(count) 값으로 포함될 수 있다.
영상 처리 장치(미도시)는 GOP 헤더(310)로부터 비디오 뎁쓰 정보(330)를 추출하고, 비디오 뎁쓰 정보(330)에 포함된 카운트 값을 이용하여 뎁쓰 값들의 개수 또는 픽셀의 이동 거리 값들의 개수가 몇개인지를 파악할 수 있다. 영상 처리 장치는 GOP에 포함된 복수의 액세스 유닛들을 비디오 뎁쓰 정보(330)에 포함된 개수만큼의 묶음으로 나누고, 각 묶음에 포함되는 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 뎁쓰 값 또는 픽셀의 이동 거리 값을 이용하여 조절할 수 있다.
한 예로, GOP에 액세스 유닛들이 열 개 포함되어 있고, 비디오 뎁쓰 정보(330)에 뎁쓰 값들이 다섯 개 포함되어 있는 경우를 가정한다. 영상 처리 장치는 열 개의 액세스 유닛들을 뎁쓰 값들의 개수만큼의 묶음, 즉, 다섯 개의 묶음으로 나누고, 다섯 개의 뎁쓰 값들을 순차적으로 이용하여 각 묶음에 포함되는 액세스 유닛들과 동기되어 재생되는 그래픽 화면의 뎁쓰 값을 조절할 수 있다. 즉, 영상 처리 장치는 다섯 개의 묶음 중 첫번째 묶음에 포함되는 액세스 유닛들과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 다섯 개의 뎁쓰 값들 중 첫번째 뎁쓰 값을 이용하여 조절하고, 다섯 개의 묶음 중 두 번째 묶음에 포함되는 액세스 유닛들과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 다섯 개의 뎁쓰 값들 중 두 번째 뎁쓰 값을 이용하여 조절할 수 있다.
비디오 뎁쓰 정보(330)에 뎁쓰 값들 대신 픽셀 이동 거리 값들이 리스트로 포함되어 있는 경우, 영상 처리 장치는 픽셀 이동 거리 값들을 대응하는 뎁쓰 값으로 변환 한 후 이를 이용하여 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
이와 같이 본 발명의 다른 실시 예에 의하면 GOP에 포함된 액세스 유닛들과 함께 재생되는 그래픽 화면의 뎁쓰 값을 조절하기 위한 비디오 뎁쓰 정보가 GOP의 헤더에 포함될 수 있다.
도 4는 본 발명의 또 다른 실시 예에 따른 비디오 스트림(400)를 도시한다. 비디오 스트림(400)에는 하나 이상의 GOP(Group Of Pictures)가 포함되어 있고, 각 GOP에는 복수의 액세스 유닛들이 포함되어 있다. 저자(author)는 도 4에서와 같이 GOP에 포함된 복수의 액세스 유닛들 중 하나의 액세스 유닛(410)에 비디오 뎁쓰 정보를 포함시킬 수 있다.
액세스 유닛(410)에는 독립적으로 복호화가 가능한 매크로블록의 집합인 슬라이스들(Slices), 이를 복호하기 위해 필요한 복호기의 설정 및 제어와 관련된 정보인 파라미터 세트들(Parameter Sets), 복호된 데이터의 화면 표현과 관련된 시간 정보 및 부가 정보를 포함하는 SEI(Supplemental Enhancement Information)(420)가 포함될 수 있다. SEI(420)는 일반적으로 복호된 영상을 활용하는 응용계층에서 소비되며 모든 액세스 유닛에 다 포함되는 것은 아니다.
SEI(420)에는 자막이나 메뉴에 대한 부가 정보를 위한 SEI 메세지(User data SEI messages)(430)가 포함될 수 있다. 발명의 한 실시 예로 SEI 메세지(430)에는 비디오 뎁쓰 정보(440)가 포함될 수 있다.
비디오 뎁쓰 정보(440)는 3차원 비디오 영상의 뎁쓰 값 또는 3차원 영상의 뎁쓰 값에 대응하는 픽셀의 이동 거리 값 중 하나를 포함할 수 있다. 하나의 액세스 유닛(410)에 GOP에 포함된 복수의 액세스 유닛들에 대한 비디오 뎁쓰 정보가 모두 포함되므로 비디오 뎁쓰 정보(440)에는 복수의 뎁쓰 값들 또는 복수의 픽셀의 이동 거리 값들이 리스트 형태로 포함될 수 있다. 또한 비디오 뎁쓰 정보(440)에는 뎁쓰 값들의 개수 또는 픽셀의 이동 거리 값들의 개수를 나타내는 정보가 카운트 값으로 포함될 수 있다.
영상 처리 장치(미도시)는 GOP에 포함되는 복수의 액세스 유닛들 중 하나의 액세스 유닛(410)의 SEI(420)로부터 비디오 뎁쓰 정보(440)를 추출하고, 비디오 뎁쓰 정보(440)에 포함된 카운트 값을 이용하여 3차원 비디오 영상의 뎁쓰 값들의 개수 또는 픽셀의 이동 거리 값들의 개수가 몇개인지를 파악할 수 있다. 영상 처리 장치는 하나의 GOP에 포함된 복수의 액세스 유닛들을 비디오 뎁쓰 정보에 포함된 개수만큼의 묶음으로 나누고, 복수의 뎁쓰 값들을 순차적으로 이용하여 각 묶음에 포함되는 액세스 유닛들과 동기되어 재생되는 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
비디오 뎁쓰 정보(440)에 비디오 뎁쓰 값들 대신 픽셀 이동 거리 값들이 포함되어 있는 경우, 영상 처리 장치는 픽셀 이동 거리 값들을 비디오 뎁쓰 값으로 변환 한 후 비디오 뎁쓰 값을 이용하여 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
이와 같이 본 발명의 또 다른 실시 예에 의하면 비디오 영상과 함께 재생되는 그래픽 화면의 뎁쓰 값을 조절하기 위한 비디오 뎁쓰 정보는 복수의 액세스 유닛들 중 하나의 액세스 유닛에 포함될 수 있다.
도 5는 본 발명의 실시 예에 따라 비디오 뎁쓰 정보가 SEI 메세지에 포함된 것을 표현하는 신택스(syntax)를 도시한 도면이다. 도 5의 (a)에서 신택스에 포함된 타입 인디케이터(type_indicator)는 타입 인디케이터 이후에 어떤 정보가 나오는지를 나타내며, 세번째 if 문에서 타입 인디케이터가 소정의 값을 갖는 경우 그 타입 인디케이터 뒤에 본 발명의 실시 예에 따른 비디오 뎁쓰 정보(depth Data())가 나오게 된다.
도 5의 (b)의 신택스는 비디오 뎁쓰 정보(detpth data())를 표시한다. 비디오 뎁쓰 정보는 뎁쓰 값들 또는 픽셀의 이동 거리 값들 중 하나와 카운트 값을 포함하며 도 5의 (b)의 신택스에는 뎁쓰 값들 또는 픽셀의 이동 거리 값들의 개수가 몇개인지를 표시하는 카운트 값이 depth_count로 기재되어 있고 카운트 값만큼의 비디오 뎁쓰 값들 또는 픽셀의 이동 거리 값들이 depth로 기재되어 있다. 도 5의 (b)의 신택스에는 카운트 값이 하나씩 증가할 때마다, 즉, 복수 개의 액세스 유닛들을 카운트 값만큼의 묶음으로 나누었을 때 첫번째 묶음부터 시작해서, 각 묶음에 포함되는 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 조절하기 위해, 비디오 뎁쓰 값들 또는 픽셀의 이동 거리 값들을 순차적으로 하나씩 이용하는 것을 표현하고 있다.
도 6은 본 발명의 일 실시 예에 따른 영상 처리 장치(600)의 내부 블록도이다. 도 6을 참조하면, 영상 처리 장치(600)는 좌안용 비디오 디코더(611) 및 우안용 비디오 디코더(612), 좌안용 비디오 플레인(613) 및 우안용 비디오 플레인(614), 그래픽 디코더(615), 그래픽 플레인(616), 비디오 뎁쓰 정보 추출부(617), 그래픽 화면 뎁쓰 값 조절부(618) 및 출력부(619)를 포함한다.
좌안용 비디오 디코더(611)는 좌안용 비디오 스트림을 디코딩하고 디코딩된 좌안용 비디오 스트림을 이용하여 좌안용 비디오 플레인(613)에 좌안용 영상을 그린다. 우안용 비디오 디코더(612)는 우안용 비디오 스트림을 디코딩하고 디코딩된 우안용 비디오 스트림을 이용하여 우안용 비디오 플레인(612)에 우안용 영상을 그린다.
좌안용 비디오 플레인(613)과 우안용 비디오 플레인(614)은 좌안용 비디오 디코더(611) 및 우안용 비디오 디코더(612)에 의해 그려진 좌안용 영상 및 우안용 영상을 각각 일시적으로 저장한다.
비디오 뎁쓰 정보 추출부(617)는 디코딩된 좌안용 비디오 스트림 또는 우안용 비디오 스트림 중 비디오 뎁쓰 정보를 포함하는 비디오 스트림으로부터 비디오 뎁쓰 정보를 추출한다.
저자(author)가 비디오 뎁쓰 정보를 비디오 스트림에 어떻게 포함시킬 것인지에 따라서 비디오 뎁쓰 정보는 다양한 형태로 비디오 스트림에 포함될 수 있다. 즉, 비디오 뎁쓰 정보는 비디오 스트림에 포함된 복수의 액세스 유닛들 각각에 포함될 수 있고 또는 비디오 스트림에 포함된 GOP에 포함된 복수의 액세스 유닛들 중 하나의 액세스 유닛에 GOP에 포함된 모든 액세스 유닛에 대한 비디오 뎁쓰 정보가 포함될 수도 있다. 또는 비디오 스트림에 포함된 GOP에 포함되는 액세스 유닛들에 대한 비디오 뎁쓰 정보가 GOP의 헤더에 포함될 수도 있다. 비디오 뎁쓰 정보는 액세스 유닛에 포함된 SEI(Supplemental Enhancement Information) 내의 사용자 데이터 SEI 메세지(User data SEI messages)에 포함될 수 있다.
비디오 뎁쓰 정보 추출부(617)는 비디오 스트림으로부터 추출한 비디오 뎁쓰 정보를 그래픽 화면 뎁쓰 값 조절부(618)로 보낸다.
그래픽 디코더(615)는 그래픽 스트림을 디코딩하고, 그래픽 플레인(616)에 그래픽 화면을 그린다. 그래픽 플레인(616)은 그래픽 디코더(615)에 의해 그려진 그래픽 화면을 일시적으로 저장한다.
그래픽 화면 뎁쓰 값 조절부(618)는 비디오 뎁쓰 정보 추출부(617)로부터 받은 비디오 뎁쓰 정보를 이용하여 그래픽 화면과 동기되어 재생되어야 하는3차원 비디오 영상의 뎁쓰 값과 같거나 또는 3차원 비디오 영상의 뎁쓰 값보다 소정 뎁쓰 값만큼 더 큰 값을 갖도록 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
그래픽 화면과 동기되어 재생되어야 하는 비디오 영상에 오브젝트들이 복수 개 포함되어 있어 비디오 뎁쓰 정보에 둘 이상의 오브젝트들의 뎁쓰 정보가 포함되어 있는 경우 그래픽 화면 뎁쓰 값 조절부(618)는 비디오 뎁쓰 정보에 포함된 둘 이상의 오브젝트들 중 뎁쓰 값이 가장 크거나 픽셀 이동 거리 값이 가장 큰 오브젝트의 뎁쓰 값 또는 픽셀 이동 거리 값을 이용하여 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
비디오 뎁쓰 정보에 하나의 프레임이 아닌 복수의 프레임들, 즉, 복수의 액세스 유닛들에 대한 뎁쓰 정보가 포함되어 있는 경우 그래픽 화면 뎁쓰 값 조절부(618)는 복수의 액세스 유닛들을 비디오 뎁쓰 정보에 포함된 카운트 값만큼의 묶음으로 나누었을 때, 각 묶음에 포함되는 액세스 유닛과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을, 비디오 뎁쓰 정보에 포함된 뎁쓰 값들 중 하나의 값으로 조절하거나 대응하는 픽셀의 이동 거리 값들 중 하나를 이용하여 조절할 수 있다.
그래픽 화면 뎁쓰 값 조절부(618)는 비디오 뎁쓰 정보에 포함된 뎁쓰 값 또는 픽셀 이동 거리 값을 이용하여 그래픽 플레인(616)에 그려진 그래픽 화면으로부터 좌안용 영상과 함께 출력될 좌안용 그래픽 화면 및 우안용 영상과 함께 출력될 우안용 그래픽 화면을 생성한다. 그래픽 화면 뎁쓰 값 조절부(618)는 그래픽 플레인(616)에 그려진 그래픽 화면 전체를 좌 또는 우로 비디오 뎁쓰 정보에 포함된 픽셀 이동 거리 값만큼 또는 픽셀 이동 거리 값보다 더 큰 값만큼 이동시켜 좌안용 그래픽 화면 및 우안용 그래픽 화면이 생성되도록 할 수 있다. 비디오 뎁쓰 정보에 뎁쓰 값이 포함되어 있는 경우, 그래픽 화면 뎁쓰 값 조절부(618)는 그래픽 화면이 비디오 뎁쓰 정보에 포함된 뎁쓰 값과 같거나 그보다 더 큰 뎁쓰 값을 갖도록 그래픽 화면 전체를 좌 또는 우로 소정 거리만큼 이동시켜 좌안용 그래픽 화면 및 우안용 그래픽 화면을 각각 생성한다.
출력부(619)는 좌안용 비디오 플레인(613)에 그려진 좌안용 영상과 좌안용 그래픽 화면을 함께 재생하고, 우안용 비디오 플레인(614)에 그려진 우안용 영상과 우안용 그래픽 화면을 함께 재생한다. 출력부(619)는 그래픽 화면이 포함된 좌안용 영상과 우안용 영상을 교대로 출력하여 3차원 비디오 영상을 재생한다. 이 때 그래픽 화면은 비디오 영상보다 더 큰 뎁쓰 값을 갖게 되어 비디오 영상과 그래픽 화면의 재생이 자연스럽게 된다.
도 7은 본 발명의 일 실시 예에 따른 영상 처리 방법을 도시한 순서도이다. 도 7을 참조하면, 도 6의 영상 처리 장치(600)는 비디오 스트림으로부터 3차원 비디오 영상의 깊이감을 나타내는 비디오 뎁쓰 정보를 추출한다(단계 710). 영상 처리 장치(600)는 비디오 스트림에 포함된 복수의 액세스 유닛들 각각으로부터 비디오 뎁쓰 정보를 추출하거나 하나의 액세스 유닛으로부터 복수의 액세스 유닛들의 비디오 뎁쓰 정보를 추출할 수 있다. 또는 영상 처리 장치(600)는 GOP의 헤더로부터 그 GOP에 포함된 액세스 유닛들에 대한 비디오 뎁쓰 정보를 추출할 수 있다.
비디오 뎁쓰 정보는 3차원 비디오 영상의 뎁스 값 또는 3차원 비디오 영상의 뎁쓰 값에 대응하는 픽셀의 이동 거리 값을 포함할 수 있다.
영상 처리 장치(600)는 3차원 비디오 영상과 동기되어 재생되어야 하는 그래픽 화면의 깊이 값을 비디오 뎁쓰 정보를 이용하여 조절한다(단계 720). 영상 처리 장치(600)는 3차원 비디오 영상의 뎁쓰 값과 같거나 또는 그보다 더 큰 값을 갖도록 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
그래픽 화면과 동기되어 재생되어야 하는 비디오 영상에 오브젝트들이 복수 개 포함되어 있어 비디오 뎁쓰 정보에 둘 이상의 오브젝트들의 뎁쓰 정보가 포함되어 있는 경우 영상 처리 장치(600)는 비디오 뎁쓰 정보에 포함된 둘 이상의 오브젝트들 중 뎁쓰 값이 가장 크거나 픽셀 이동 거리 값이 가장 큰 오브젝트의 뎁쓰 값 또는 픽셀 이동 거리 값을 이용하여 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
비디오 뎁쓰 정보에 복수의 액세스 유닛들에 대한 뎁쓰 정보가 포함되어 있는 경우 영상 처리 장치(600)는 복수의 액세스 유닛들을 비디오 뎁쓰 정보에 포함된 카운트 값만큼의 묶음으로 나누었을 때, 각 묶음에 포함되는 액세스 유닛과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을, 비디오 뎁쓰 정보에 포함된 뎁쓰 값들 중 하나의 값으로 조절하거나 대응하는 픽셀의 이동 거리 값들 중 하나를 이용하여 조절할 수 있다.
영상 처리 장치(600)는 깊이 값이 조절된 그래픽 화면을 3차원 비디오 영상과 함께 재생한다(단계 730).
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
611 … 좌안용 비디오 디코더
612 … 우안용 비디오 디코더
613 … 좌안용 비디오 플레인
614 … 우안용 비디오 플레인
615 … 그래픽 디코더
616 … 그래픽 플레인
617 … 비디오 뎁쓰 정보 추출부
618 … 그래픽 화면 뎁쓰 값 조절부

Claims (23)

  1. 비디오 스트림으로부터 3차원 비디오 영상의 깊이를 나타내는 비디오 뎁쓰 정보를 추출하는 단계; 및
    상기 3차원 비디오 영상과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 상기 비디오 뎁쓰 정보를 이용하여 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  2. 제1 항에 있어서, 상기 비디오 뎁쓰 정보는 3차원 비디오 영상의 뎁쓰 값 또는 상기 3차원 비디오 영상의 뎁쓰 값에 대응하는 픽셀의 이동 거리 값을 포함하고, 상기 뎁쓰 값은 화면 안쪽에서 비디오 영상이 출력되는 화면 바깥쪽 방향으로 갈수록 커지고,
    상기 그래픽 화면의 뎁쓰 값을 조절하는 단계는 상기 3차원 비디오 영상의 뎁쓰 값과 같거나 또는 그보다 더 큰 값을 갖도록 상기 그래픽 화면의 뎁쓰 값을 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  3. 제2 항에 있어서, 상기 3차원 비디오 영상에 복수의 오브젝트들이 포함되어 있고 상기 비디오 뎁쓰 정보에 상기 복수의 오브젝트들 중 둘 이상의 오브젝트들의 뎁쓰 정보가 포함되어 있는 경우,
    상기 그래픽 화면의 뎁쓰 값을 조절하는 단계는 상기 둘 이상의 오브젝트들 중 가장 큰 뎁쓰 값을 갖는 오브젝트와 뎁쓰 값이 같거나 또는 그보다 더 큰 값을 갖도록 상기 그래픽 화면의 뎁쓰 값을 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  4. 제2 항에 있어서, 상기 비디오 스트림은 디코딩 단위인 액세스 유닛(access unit)을 복수개 포함하고,
    상기 비디오 뎁쓰 정보를 추출하는 단계는 상기 복수의 액세스 유닛들 각각으로부터 비디오 뎁쓰 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  5. 제4 항에 있어서, 상기 그래픽 화면의 뎁쓰 값을 조절하는 단계는
    비디오 뎁쓰 정보가 추출된 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 상기 추출된 비디오 뎁쓰 정보를 이용하여 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  6. 제4 항에 있어서, 상기 비디오 뎁쓰 정보를 추출하는 단계는 상기 각 액세스 유닛에 포함된 SEI(Supplemental Enhancement Information) 내의 사용자 데이터 SEI 메세지(User data SEI messages)로부터 상기 비디오 뎁쓰 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  7. 제2 항에 있어서, 상기 비디오 스트림은 디코딩 단위인 액세스 유닛(access unit)을 복수개 포함하는 GOP(Group Of Pictures)를 하나 이상 포함하고,
    상기 비디오 뎁쓰 정보를 추출하는 단계는 상기 GOP 에 포함된 복수의 액세스 유닛들 중 하나의 액세스 유닛으로부터 비디오 뎁쓰 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  8. 제7 항에 있어서, 상기 비디오 뎁쓰 정보를 추출하는 단계는 상기 하나의 액세스 유닛에 포함된 SEI(Supplemental Enhancement Information) 내의 사용자 데이터 SEI 메세지(User data SEI messages)로부터 상기 비디오 뎁쓰 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  9. 제8 항에 있어서, 상기 비디오 뎁쓰 정보는 상기 3차원 비디오 영상의 뎁쓰 값의 개수 또는 상기 대응하는 픽셀의 이동 거리 값의 개수를 포함하고,
    상기 그래픽 화면의 뎁쓰 값을 조절하는 단계는 상기 GOP 에 포함된 복수의 액세스 유닛들을 상기 비디오 뎁쓰 정보에 포함된 개수만큼의 묶음으로 나누었을 때, 각 묶음에 포함되는 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을, 상기 비디오 뎁쓰 정보에 포함된 상기 3차원 비디오 영상의 뎁쓰 값들 중 하나의 값으로 조절하거나 상기 대응하는 픽셀의 이동 거리 값들 중 하나를 이용하여 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  10. 제2 항에 있어서, 상기 비디오 스트림은 디코딩 단위인 액세스 유닛(access unit)을 복수개 포함하는 GOP(Grop Of Pictures)를 하나 이상 포함하고, 상기 비디오 뎁쓰 정보를 추출하는 단계는 상기 GOP의 헤더로부터 상기 비디오 뎁쓰 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  11. 제10 항에 있어서, 상기 비디오 뎁쓰 정보는 상기 3차원 비디오 영상의 뎁쓰 값의 개수 또는 상기 대응하는 픽셀의 이동 거리 값의 개수를 포함하고,
    상기 그래픽 화면의 뎁쓰 값을 조절하는 단계는 상기 GOP 에 포함된 복수의 액세스 유닛들을 상기 비디오 뎁쓰 정보에 포함된 개수만큼의 묶음으로 나누었을 때, 각 묶음에 포함되는 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을, 상기 비디오 뎁쓰 정보에 포함된 상기 3차원 비디오 영상의 뎁쓰 값들 중 하나의 값으로 조절하거나 상기 대응하는 픽셀의 이동 거리 값들 중 하나를 이용하여 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  12. 비디오 스트림을 디코딩하여 좌안용 영상 및 우안용 영상을 생성하는 비디오 디코더;
    그래픽 스트림을 디코딩하여 그래픽 화면을 생성하는 그래픽 디코더;
    비디오 스트림으로부터 3차원 비디오 영상의 깊이를 나타내는 비디오 뎁쓰 정보를 추출하는 비디오 뎁쓰 정보 추출부; 및
    상기 3차원 비디오 영상과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 상기 비디오 뎁쓰 정보를 이용하여 조절하는 그래픽 화면 뎁쓰 값 조절부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  13. 제12 항에 있어서, 상기 비디오 뎁쓰 정보는 3차원 비디오 영상의 뎁쓰 값 또는 상기 3차원 비디오 영상의 뎁쓰 값에 대응하는 픽셀의 이동 거리 값을 포함하고, 상기 뎁쓰 값은 화면 안쪽에서 비디오 영상이 출력되는 화면 바깥쪽 방향으로 갈수록 커지고,
    상기 그래픽 화면 뎁쓰 값 조절부는 상기 3차원 비디오 영상의 뎁쓰 값과 같거나 또는 그보다 더 큰 값을 갖도록 상기 그래픽 화면의 뎁쓰 값을 조절하는 것을 특징으로 하는 영상 처리 장치.
  14. 제13 항에 있어서, 상기 3차원 비디오 영상에 복수의 오브젝트들이 포함되어 있고 상기 비디오 뎁쓰 정보에 상기 복수의 오브젝트들 중 둘 이상의 오브젝트들의 뎁쓰 정보가 포함되어 있는 경우,
    상기 그래픽 화면 뎁쓰 값 조절부는 상기 둘 이상의 오브젝트들 중 가장 큰 뎁쓰 값을 갖는 오브젝트와 뎁쓰 값이 같거나 또는 그보다 더 큰 값을 갖도록 상기 그래픽 화면의 뎁쓰 값을 조절하는 것을 특징으로 하는 영상 처리 장치.
  15. 제13 항에 있어서, 상기 비디오 스트림은 디코딩 단위인 액세스 유닛(access unit)을 복수개 포함하고,
    상기 비디오 뎁쓰 정보 추출부는 상기 복수의 액세스 유닛들 각각으로부터 비디오 뎁쓰 정보를 추출하는 것을 특징으로 하는 영상 처리 장치.
  16. 제15 항에 있어서, 상기 그래픽 화면 뎁쓰 값 조절부는 비디오 뎁쓰 정보가 추출된 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 상기 추출된 비디오 뎁쓰 정보를 이용하여 조절하는 것을 특징으로 하는 영상 처리 장치.
  17. 제15 항에 있어서, 상기 비디오 뎁쓰 정보 추출부는 상기 각 액세스 유닛에 포함된 SEI(Supplemental Enhancement Information) 내의 사용자 데이터 SEI 메세지(User data SEI messages)로부터 상기 비디오 뎁쓰 정보를 추출하는 것을 특징으로 하는 영상 처리 장치.
  18. 제13 항에 있어서, 상기 비디오 스트림은 디코딩 단위인 액세스 유닛(access unit)을 복수개 포함하는 GOP(Group Of Pictures)를 하나 이상 포함하고,
    상기 비디오 뎁쓰 정보 추출부는 상기 GOP 에 포함된 복수의 액세스 유닛들 중 하나의 액세스 유닛으로부터 비디오 뎁쓰 정보를 추출하는 것을 특징으로 하는 영상 처리 장치.
  19. 제18 항에 있어서, 상기 비디오 뎁쓰 정보 추출부는 상기 하나의 액세스 유닛에 포함된 SEI(Supplemental Enhancement Information) 내의 사용자 데이터 SEI 메세지(User data SEI messages)로부터 상기 비디오 뎁쓰 정보를 추출하는 것을 특징으로 하는 영상 처리 장치.
  20. 제19 항에 있어서, 상기 비디오 뎁쓰 정보는 상기 3차원 비디오 영상의 뎁쓰 값의 개수 또는 상기 대응하는 픽셀의 이동 거리 값의 개수를 포함하고,
    상기 그래픽 화면 뎁쓰 값 조절부는 상기 GOP 에 포함된 복수의 액세스 유닛들을 상기 비디오 뎁쓰 정보에 포함된 개수만큼의 묶음으로 나누었을 때, 각 묶음에 포함되는 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을, 상기 비디오 뎁쓰 정보에 포함된 상기 3차원 비디오 영상의 뎁쓰 값들 중 하나의 값으로 조절하거나 상기 대응하는 픽셀의 이동 거리 값들 중 하나를 이용하여 조절하는 것을 특징으로 하는 영상 처리 장치.
  21. 제13 항에 있어서, 상기 비디오 스트림은 디코딩 단위인 액세스 유닛(access unit)을 복수개 포함하는 GOP(Grop Of Pictures)를 하나 이상 포함하고, 상기 비디오 뎁쓰 정보 추출부는 상기 GOP의 헤더로부터 상기 비디오 뎁쓰 정보를 추출하는 것을 특징으로 하는 영상 처리 장치.
  22. 제21 항에 있어서, 상기 비디오 뎁쓰 정보는 상기 3차원 비디오 영상의 뎁쓰 값의 개수 또는 상기 대응하는 픽셀의 이동 거리 값의 개수를 포함하고,
    상기 그래픽 화면 뎁쓰 값 조절부는 상기 GOP 에 포함된 복수의 액세스 유닛들을 상기 비디오 뎁쓰 정보에 포함된 개수만큼의 묶음으로 나누었을 때, 각 묶음에 포함되는 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을, 상기 비디오 뎁쓰 정보에 포함된 상기 3차원 비디오 영상의 뎁쓰 값들 중 하나의 값으로 조절하거나 상기 대응하는 픽셀의 이동 거리 값들 중 하나를 이용하여 조절하는 것을 특징으로 하는 영상 처리 장치.
  23. 비디오 스트림으로부터 3차원 비디오 영상의 깊이를 나타내는 비디오 뎁쓰 정보를 추출하는 단계; 및
    상기 3차원 비디오 영상과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 상기 비디오 뎁쓰 정보를 이용하여 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체.
KR1020100044500A 2009-05-27 2010-05-12 영상 처리 방법 및 장치 KR20100128233A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN2010800235596A CN102450025A (zh) 2009-05-27 2010-05-25 图像处理方法和设备
EP10780760.4A EP2437501A4 (en) 2009-05-27 2010-05-25 METHOD AND APPARATUS FOR IMAGE PROCESSING
JP2012512959A JP2012528510A (ja) 2009-05-27 2010-05-25 映像処理方法及び装置
PCT/KR2010/003296 WO2010137849A2 (ko) 2009-05-27 2010-05-25 영상 처리 방법 및 장치
US13/304,751 US20120194639A1 (en) 2009-05-27 2011-11-28 Image-processing method and apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US18145509P 2009-05-27 2009-05-27
US61/181,455 2009-05-27
US18361209P 2009-06-03 2009-06-03
US61/183,612 2009-06-03

Publications (1)

Publication Number Publication Date
KR20100128233A true KR20100128233A (ko) 2010-12-07

Family

ID=43505217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100044500A KR20100128233A (ko) 2009-05-27 2010-05-12 영상 처리 방법 및 장치

Country Status (6)

Country Link
US (1) US20120194639A1 (ko)
EP (1) EP2437501A4 (ko)
JP (1) JP2012528510A (ko)
KR (1) KR20100128233A (ko)
CN (1) CN102450025A (ko)
WO (1) WO2010137849A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014084613A2 (ko) * 2012-11-27 2014-06-05 인텔렉추얼 디스커버리 주식회사 깊이 정보를 이용한 영상 부호화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템
KR20140127287A (ko) * 2012-04-10 2014-11-03 후아웨이 테크놀러지 컴퍼니 리미티드 삼차원 장면에서 표시 객체의 표시 위치를 제공하고, 표시 객체를 표시하기 위한 방법 및 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5482254B2 (ja) * 2009-11-05 2014-05-07 ソニー株式会社 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
US20120044321A1 (en) * 2010-08-18 2012-02-23 Electronics And Telecommunications Research Institute Apparatus and method for monitoring broadcasting service in digital broadcasting system
KR20130081569A (ko) * 2012-01-09 2013-07-17 삼성전자주식회사 3ｄ 영상을 출력하기 위한 장치 및 방법
CN103313086B (zh) * 2013-06-05 2017-02-08 樊燚 一种全高清3d视频处理方法及装置
KR20160073787A (ko) * 2014-12-17 2016-06-27 삼성전자주식회사 곡면 디스플레이에서 재생되는 3차원 영상을 생성하는 장치 및 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
US6275239B1 (en) * 1998-08-20 2001-08-14 Silicon Graphics, Inc. Media coprocessor with graphics video and audio tasks partitioned by time division multiplexing
EP1321894B1 (en) * 2001-11-27 2011-11-09 Samsung Electronics Co., Ltd. Apparatus and method for representing 3-dimensional objects using depth images
JP2003304562A (ja) * 2002-04-10 2003-10-24 Victor Co Of Japan Ltd オブジェクト符号化方法、オブジェクト符号化装置、及びオブジェクト符号化用プログラム
US20060109283A1 (en) * 2003-02-04 2006-05-25 Shipman Samuel E Temporal-context-based video browsing interface for PVR-enabled television systems
JP4222875B2 (ja) * 2003-05-28 2009-02-12 三洋電機株式会社 立体映像表示装置及びプログラム
KR100657940B1 (ko) * 2004-12-28 2006-12-14 삼성전자주식회사 깊이 영상 기반 표현 데이터 압축에 관한 메타표현을이용한 입력파일 생성 방법 및 시스템과, ａｆｘ부호화방법 및 장치
JP2008537250A (ja) * 2005-04-19 2008-09-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 奥行き検知装置及び方法
JP2006325165A (ja) * 2005-05-20 2006-11-30 Excellead Technology:Kk テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法
US7916934B2 (en) * 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
EP2074832A2 (en) * 2006-09-28 2009-07-01 Koninklijke Philips Electronics N.V. 3 menu display
US9769462B2 (en) * 2007-03-16 2017-09-19 Thomson Licensing System and method for combining text with three dimensional content
JPWO2010038409A1 (ja) * 2008-09-30 2012-03-01 パナソニック株式会社 再生装置、記録媒体、及び集積回路
US9288470B2 (en) * 2008-12-02 2016-03-15 Lg Electronics Inc. 3D image signal transmission method, 3D image display apparatus and signal processing method therein
CA2745021C (en) * 2008-12-02 2014-10-28 Lg Electronics Inc. Method for displaying 3d caption and 3d display apparatus for implementing the same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140127287A (ko) * 2012-04-10 2014-11-03 후아웨이 테크놀러지 컴퍼니 리미티드 삼차원 장면에서 표시 객체의 표시 위치를 제공하고, 표시 객체를 표시하기 위한 방법 및 장치
WO2014084613A2 (ko) * 2012-11-27 2014-06-05 인텔렉추얼 디스커버리 주식회사 깊이 정보를 이용한 영상 부호화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템
WO2014084613A3 (ko) * 2012-11-27 2014-10-23 인텔렉추얼 디스커버리 주식회사 깊이 정보를 이용한 영상 부호화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템

Also Published As

Publication number Publication date
WO2010137849A3 (ko) 2011-03-03
US20120194639A1 (en) 2012-08-02
EP2437501A2 (en) 2012-04-04
EP2437501A4 (en) 2013-10-30
CN102450025A (zh) 2012-05-09
JP2012528510A (ja) 2012-11-12
WO2010137849A2 (ko) 2010-12-02

Similar Documents

Publication Publication Date Title
JP5820276B2 (ja) ３ｄ画像及びグラフィカル・データの結合
ES2435669T3 (es) Gestión de subtítulos en visualización en 3D
JP5789518B2 (ja) グラフィック画面処理方法及び装置
US9357231B2 (en) Video encoding device, video encoding method, video reproducing device, video reproducing method, video recording medium, and video data stream
CA2559131C (en) Stereoscopic parameter embedding apparatus and stereoscopic image reproducer
KR101659576B1 (ko) 영상 처리 방법 및 장치
JP2008103820A (ja) 立体画像処理装置
KR20100128233A (ko) 영상 처리 방법 및 장치
KR20110025123A (ko) 비디오 영상 배속 재생 방법 및 장치
KR100503276B1 (ko) 2차원 영상신호를 3차원 영상신호로 변환하는 장치
JP2006129463A (ja) 立体視化パラメータ記憶媒体
JP2012070117A (ja) 三次元ビデオストリームの生成方法
KR20090093734A (ko) 다시점 영상을 위한 부가 정보를 포함하는 데이터스트림부호화 방법 및 그 장치, 그리고 이를 이용한 데이터스트림복호화 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application