KR101210315B1 - 3차원 비디오 위에 그래픽 객체를 오버레이하기 위한 추천 깊이 값 - Google Patents

3차원 비디오 위에 그래픽 객체를 오버레이하기 위한 추천 깊이 값 Download PDF

Info

Publication number
KR101210315B1
KR101210315B1 KR1020127009007A KR20127009007A KR101210315B1 KR 101210315 B1 KR101210315 B1 KR 101210315B1 KR 1020127009007 A KR1020127009007 A KR 1020127009007A KR 20127009007 A KR20127009007 A KR 20127009007A KR 101210315 B1 KR101210315 B1 KR 101210315B1
Authority
KR
South Korea
Prior art keywords
depth
depth value
sequence
recommended
depth map
Prior art date
Application number
KR1020127009007A
Other languages
English (en)
Other versions
KR20120039767A (ko
Inventor
케빈 에이 머레이
시몬 존 파낼
레이 테일러
제임스 제프리 워커
Original Assignee
엔디에스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔디에스 리미티드 filed Critical 엔디에스 리미티드
Publication of KR20120039767A publication Critical patent/KR20120039767A/ko
Application granted granted Critical
Publication of KR101210315B1 publication Critical patent/KR101210315B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/293Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/361Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278Subtitling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/025Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3차원 비디오 위에 그래픽 아이템을 디스플레이하는데 사용하기 위한 추천 깊이를 생성하는 방법이 서술된다. 본 방법은 헤드엔드에서: 비디오 프레임을 포함하는 3차원 비디오를 수신하는 단계; 하나의 시퀀스의 깊이 맵을 생성하기 위해 상기 비디오 프레임의 시퀀스를 차례로 분석하는 단계; 상기 깊이 맵 시퀀스 내에 하나의 영역의 깊이 맵을 선택하는 단계; 상기 깊이 맵 시퀀스 내의 상기 영역에 대한 가장 먼 포워드 깊이 값을 식별하기 위해 상기 깊이 맵 시퀀스 내의 상기 영역의 깊이 맵을 분석하는 단계; 및 상기 영역에 대한 추천 깊이 값으로서 상기 가장 먼 포워드 깊이 값, 및 상기 영역을 설명하는 영역 정보를 디스플레이 디바이스로 전송하는 단계를 포함하고, 상기 깊이 맵 시퀀스 내의 각각의 깊이 맵은 상기 비디오 프레임 시퀀스 내의 대응하는 비디오 프레임에 그 깊이 맵을 연결하는 타이밍 데이터와 연관되어 있고, 각각의 깊이 맵은 깊이 값을 포함하고, 각각의 깊이 값은 대응하는 비디오 프레임 내의 픽셀의 위치의 깊이를 나타낸다.

Description

3차원 비디오 위에 그래픽 객체를 오버레이하기 위한 추천 깊이 값{RECOMMENDED DEPTH VALUE FOR OVERLAYING A GRAPHICS OBJECT ON THREE-DIMENSIONAL VIDEO}
본 발명은 3차원 비디오 위에 그래픽 아이템을 디스플레이하는데 사용하기 위한 추천 깊이 값을 생성하는 방법, 및 3차원 비디오 위에 그래픽 아이템을 디스플레이하도록 디스플레이 디바이스를 오퍼레이팅하는 방법에 관한 것이다.
자막 및 온스크린 디스플레이 메시지(OSDs)와 같은 그래픽 아이템은 종종 비디오 탑에 오버레이된다. 표준 2차원(2D) 텔레비전에서, 그래픽 아이템들은 단순히 비디오 탑에 놓여질 수 있다. 이는 보고자하는 비디오를 가릴 수 있지만, 그것이 임의의 시각적인 부조화(conflict)를 발생시키지는 않는다. 그러나, 3차원(3D) 텔레비전의 경우에, 그래픽 아이템이 놓여질 수 있는 깊이에 대한 어떠한 고려 없이 비디오의 탑에 그래픽 아이템을 놓는 것은 그래픽 아이템 자체가 그 그래픽 아이템 앞에 나타나는 3D 비디오 이미지 내의 어떤 것에 의해 가려지는 결과를 초래할 수 있다. 이는 3D 텔레비전의 전체적인 감동에 상당한 영향을 줄 수 있는 정도의 시각적 부조화를 야기한다.
몇몇 그래픽 아이템은 스크린 위에 그래픽 아이템을 놓기 위한 "x, y" 위치를 포함하고, 이들은 그래픽 아이템 정보 내에 전형적으로 내장되어 있다. 오늘날 사용가능한 3D DVD는 모두 (스크린 깊이와 동등한) 하나의 고정된 깊이에 그래픽 아이템을 놓는다.
몇몇 3D 비디오 코딩 메커니즘은 그레이 스케일 깊이 맵을 사용한다. 이는 상이한 카메라 각도로부터 얻어진 화면에서 발생되며, 각각의 픽셀 위치에 대한 깊이 정보를 제공하고, 인코딩 프로세스에 의해 자동으로 생성된다.
아래의 참조문헌이 본 기술의 상태를 대표한다고 생각된다.
www.displaydaily.com/2007/10/24/making-3d-movies-part-ii;
International Patent Application WO2008/1 15222 to Thomson Licensing;
International Patent Application WO2008/038205 to Koninklijke Philips 30 Electronics N.V.;
International Patent Application WO2008/044191 to Koninklijke Philips Electronics N.V.;
Patent Abstracts of Japan JP 2004274125 to Sony Corp;
United States Patent Application US 2009/0027549 to Weisberger; 및
United States Patent Application US 2008/0192067 to Koninklijke Philips Electronics N.V.
본 발명의 하나의 실시예에 따라, 3차원 비디오 위에 그래픽 아이템을 디스플레이하는데 사용하기 위한 추천 깊이 값을 생성하는 방법이 제공되는데, 본 방법은 헤드엔드에서: 비디오 프레임을 포함하는 3차원 비디오를 수신하는 단계; 하나의 시퀀스의 깊이 맵을 생성하기 위해 3차원 비디오의 비디오 프레임 시퀀스를 차례로 분석하는 단계, 깊이 맵 시퀀스 내에서 하나의 영역의 깊이 맵을 선택하는 단계; 상기 깊이 맵 시퀀스 내의 상기 영역에 대한 가장 먼 포워드 깊이 값을 식별하기 위해 상기 시퀀스 내의 상기 영역의 깊이 맵을 분석하는 단계; 및 디스플레이 디바이스에 상기 영역에 대한 추천 깊이 값으로서 상기 가장 먼 포워드 깊이 값 및 상기 영역을 설명하는 영역 정보를 전송하는 단계를 포함하고, 깊이 맵 시퀀스 내의 각각의 깊이 맵은 비디오 프레임의 시퀀스 내의 대응하는 비디오 프레임에 그 깊이 맵을 연결하는 시간 데이터와 연관되어 있고, 각각의 깊이 맵은 깊이 값을 포함하고, 각각의 깊이 값은 대응하는 비디오 프레임 내의 픽셀 위치의 깊이를 나타낸다.
또한, 본 발명의 하나의 실시예에 따라, 본 방법은 깊이 맵 시퀀스 내에서 적어도 하나의 추가 영역의 깊이 맵을 선택하는 단계; 적어도 하나의 추가 영역에 대한 적어도 하나의 추가의 가장 먼 포워드 깊이 값을 식별하기 위해 그 시퀀스 내의 적어도 하나의 추가 영역의 깊이 맵을 분석하는 단계; 및 적어도 하나의 추가 영역에 대한 추가 추천 깊이 값으로서 적어도 하나의 추가의 가장 먼 포워드 깊이 값, 및 적어도 하나의 추가 영역을 설명하는 추가 영역 정보를 전송하는 단계를 더 포함한다.
부가적으로, 본 발명의 하나의 실시예에 따라, 본 방법은 그래픽 아이템이 디스플레이될 2차원 스크린 위치 및 그래픽 아이템의 크기를 포함하는 그래픽 아이템의 세부사항을 수신하는 단계; 및 그래픽 아이템의 세부사항으로부터 영역을 결정하는 단계를 더 포함한다.
또한, 본 발명의 하나의 실시예에 따라, 본 방법은 최대 깊이 값을 수신하는 단계; 가장 먼 포워드 깊이 값과 최대 깊이 값을 비교하는 단계; 및 가장 먼 포워드 깊이 값이 최대 깊이 값을 초과하면 추천 깊이 값으로서 최대 깊이 값을 전송하고, 그렇지 않다면 추천 깊이 값으로서 가장 먼 포워드 깊이 값을 전송하는 단계를 더 포함한다.
또한, 본 발명의 하나의 실시예에 따라, 본 방법은 깊이 맵 시퀀스 내에서 대안의 영역의 깊이 맵을 선택하는 단계; 대안의 영역에 대한 대안의 가장 먼 포워드 깊이 값을 식별하기 위해 그 시퀀스 내의 대안의 영역의 깊이 맵을 분석하는 단계; 및 대안의 영역에 대한 대안의 추천 깊이 값으로서 상기 대안의 가장 먼 포워드 깊이 값 및 대안의 영역을 설명하는 대안의 영역 정보를 전송하는 단계를 더 포함한다.
부가적으로, 본 발명의 하나의 실시예에 따라, 깊이 값의 변화의 예측이 가장 먼 포워드 깊이를 식별하기 위해 사용된다.
또한, 본 발명의 하나의 실시예에 따라, 추천 깊이 값은 3차원 비디오에 독립적으로 전송된다.
또한, 본 발명의 다른 실시예에 따라, 3차원 비디오 위에 그래픽 아이템을 디스플레이하도록 디스플레이 디바이스를 오퍼레이팅하는 방법이 제공되는데, 본 방법은 비디오 프레임을 포함하는 3차원 비디오를 수신하는 단계; 그래픽 아이템을 수신하는 단계; 3차원 비디오 위에 그래픽 아이템을 디스플레이하는데 사용하기 위한 추천 깊이 값을 수신하는 단계; 및 추천 깊이 값에서 3차원 비디오 위에 그래픽 아이템을 디스플레이하는 단계를 포함하고, 여기서, 추천 깊이 값은 헤드엔드에서 실행되는 추천 깊이 값 생성 프로세스에 따라 생성되고, 깊이 값 생성 프로세스는 하나의 시퀀스의 깊이 맵을 생성하기 위해 하나의 시퀀스의 비디오 프레임을 차례로 분석하는 단계; 깊이 맵 시퀀스 내에서 하나의 영역의 깊이 맵을 선택하는 단계; 깊이 맵 시퀀스 내의 상기 영역에 대한 가장 먼 포워드 깊이 값을 식별하기 위해 깊이 맵 시퀀스 내의 상기 영역의 깊이 맵을 분석하는 단계; 및 디스플레이 디바이스로 상기 영역에 대한 추천 깊이 값으로서 상기 가장 먼 포워드 깊이 값, 및 상기 영역을 설명하는 영역 정보를 전송하는 단계를 포함하고, 깊이 맵 시퀀스 내의 각각의 깊이 맵은 그 비디오 프레임 시퀀스 내의 대응하는 비디오 프레임에 그 깊이 맵을 연결하는 타이밍 데이터와 연관되어 있고, 각각의 깊이 맵은 깊이 값을 포함하고, 각각의 깊이 값은 그 대응하는 프레임 내의 픽셀 위치의 깊이를 나타낸다.
또한, 본 발명의 하나의 실시예에 따라, 추천 깊이 값 생성 프로세스는 헤드엔드에서: 깊이 맵 시퀀스 내에서 대안의 영역의 깊이 맵을 선택하는 단계; 대안의 영역에 대한 대안의 가장 먼 포워드 깊이 값을 식별하기 위해 상기 시퀀스 내의 대안의 영역의 깊이 맵을 분석하는 단계; 및 디스플레이 디바이스로 대안의 영역에 대한 대안의 추천 깊이 값으로서 상기 대안의 가장 먼 포워드 깊이 값, 및 대안의 영역을 설명하는 대안의 영역 정보를 전송하는 단계를 포함하고, 본 방법은 영역 정보에 의해 서술된 3차원 비디오의 하나의 영역 내에 또는 대안의 영역 정보에 의해 서술된 3차원 비디오의 대안의 영역 내에 그래픽 아이템을 디스플레이하는 단계를 더 포함한다.
부가적으로, 본 발명의 하나의 실시예에 따라, 그래픽 아이템을 디스플레이하는데 상기 영역과 대안의 영역 중 어떤 것을 사용할 것인지에 대한 판정이 디스플레이 디바이스에 의해 이루어진다.
또한, 본 발명의 하나의 실시예에 따라, 상기 판정은 사용자로부터 수신된 정보를 기초로 한다.
또한, 본 발명의 하나의 실시예에 따라, 본 방법은 추천 깊이 값과 최대 깊이 값을 비교하는 단계; 및 추천 깊이가 최대 깊이 값을 초과한다면 그래픽 아이템을 사라지게 하는 단계를 더 포함한다.
또한, 본 발명의 하나의 실시예에 따라, 본 방법은 추천 깊이 값 및 대안의 추천 깊이 값을 최대 깊이 값과 비교하는 단계; 및 추천 깊이 값이 최대 깊이 값을 초과하지만, 대안의 추천 깊이 값을 초과하지 않는다면, 대안의 영역에 그래픽 아이템을 디스플레이하는 단계를 더 포함한다.
또한, 본 발명의 하나의 실시예에 따라, 추천 깊이 값 생성 프로세스는 그 헤드엔드에: 깊이 맵 시퀀스 내에 적어도 하나의 추가 영역의 깊이 맵을 선택하는 단계; 적어도 하나의 추천 영역에 대하여 적어도 하나의 추가의 가장 먼 포워드 깊이 값을 식별하기 위해 서브 시퀀스 내의 적어도 하나의 추가 영역의 깊이 맵을 분석하는 단계; 및 적어도 하나의 추가 영역에 대한 추가 추천 깊이 값으로서 상기 적어도 하나의 추가의 가장 먼 포워드 깊이 값, 및 적어도 하나의 추가 영역을 설명하는 추가 영역 정보를 전송하는 단계를 더 포함하고, 본 방법은 또한 추천 깊이 값의 가장 먼 포워드 깊이 값에서, 그리고 적어도 하나의 추가 추천 깊이 값에서 그래픽 아이템을 디스플레이하는 단계를 포함한다.
본 발명은 도면을 참조하여 아래의 상세한 설명을 읽음으로써 더욱 상세하게 이해될 것이다.
도 1은 본 발명의 하나의 실시예에 따라 구성되고 동작하는 시스템의 간단한 도면이다.
도 2는 본 발명의 하나의 실시예에 따른, 도 1의 프로세싱 모듈에 의해 실행되는 프로세스의 플로우차트이다.
이제 도 1을 참조하면, 3D 비디오 데이터(101)의 입력 스트림은 전형적으로 압축되지 않은 포맷으로 헤드엔드에서 수신된다. 3D 비디오는 프레임이 정확하게 동기화된 2D 비디오 데이터의 2개의 분리된 스트림으로 수신될 수 있는데, 하나는 좌안(left-eye) 이미지를 위한 것이고, 하나는 우안(right-eye) 이미지를 위한 것이며, 이들은 3D 비디오를 형성하기 위해 결합될 수 있다. 또는, 좌안 및 우안 이미지가 하나의 스트림으로 인코딩된 하나의 스트림으로 수신될 수도 있다. 좌안 및 우안 이미지를 하나의 스트림으로 놓기 위해 상이한 포맷이 사용될 수 있다. 이들은 좌안 및 우안을 위한 감소된 해상도의 이미지를 나란하게, 또는 일반적인 2D 픽처의 이미지 위 및 아래에 놓는 것, 또는 좌안 및 우안의 교대하는 라인을 하나 다음에 하나씩 놓는 것, 또는 우안을 위한 이미지가 뒤따르는 좌안을 위한 이미지를 인코딩하고, 이러한 시퀀스의 좌-우 이미지를 반복하는 것을 포함한다. 사용되는 포맷은 종종 전체적으로 또는 부분적으로, 엔드 3D 디스플레이 디바이스의 특성 및 메카니즘과 관련된다.
3D 비디오 데이터의 각각의 프레임은 식별 및 동기화를 위해 시간 레퍼런스를 제공하는 시간 코드와 연관되어 있다. 예를 들어, 각각의 프레임은 (SMPTE(the Society of Motion Picture and Television Engineers)의 SMPTE 12M 명세서에 정의된) SMPTE 시간코드와 연관될 수 있다. SMPTE 시간코드는 차례로 그 다음 MPEG 프리젠테이션 시간 스탬프(PTS)에 맵핑될 수 있다(국제 표준 ISO/IEC 13818-1, 정보기술 - 픽처 및 연관된 오디오 정보를 이동시키는 일반적인 코딩: 시스템 - (ETSI TS 102 823 디지털 비디오 방송(DVB); DVB 트랜스포트 스트림 내의 동기화된 보조 데이터의 캐리지(carriage)에 대한 명세서에 정의된) 동기화된 보조 데이터를 사용하는 - 시청자에게 보여질 때 프로그램의 개별적인 기본 스트림(예컨대, 비디오, 오디오, 자막)의 동기화를 달성하기 위해 사용되는 프로그램 스트림 또는 MPEG-2 트랜스포트 스트림 내의 메타데이터 필드). 대안으로서, 각각의 프레임은 MPEG PTS와 연관될 수 있다.
3D 비디오 데이터는 또한 스테레오 카메라의 각도 및 상대적인 간격과 같은 스테레오 카메라 파라미터, 및 카메라 위치, 렌즈 파라미터, f-스톱 설정, 초점 거리, 자동 초점 정보 등과 같은 3D 비디오를 기록하기 위해 사용되는 카메라의 파라미터를 정의하는 카메라 메타데이터를 동반할 수 있다.
3D 비디오 데이터 및 옵션의 카메라 메타데이터는 (예컨대, 가파, 알. 등의 "스테레오 패어를 사용한 깊이 추출 시스템", 컴퓨터 사이언스 내의 강의 노트, 스프린거 베르린/하이델베르그, ISSN 0302-9743, 볼륨 3212/2004에 서술된) 임의의 주지된 깊이 추출 기술에 따라 3D 비디오 데이터의 각각의 프레임에 대한 깊이 맵을 생성하도록 동작가능한 깊이 추출 모듈(103)로 전달된다. 깊이 맵은 전형적으로 3D 비디오의 대응하는 프레임의 픽셀 위치에 대한 깊이 값(전형적으로 24 또는 32 비트)을 제공한다. 깊이 값은 3D 비디오 프레임 내의 픽셀 위치의 깊이(또는 카메라로부터의 거리)의 추출된 추정값을 전달한다. 각각의 깊이 맵은 그것이 생성된 3D 비디오의 프레임과 깊이 맵을 동기화시키기 위해 사용되는 타이밍 데이터(예컨대, SMPTE 시간 코드 또는 MPEG PTS)와 연관된다. 3D 비디오 데이터의 각각의 프레임에 대하여 생성된 깊이 맵은 많은 양의 정보를 나타낸다. 깊이 맵 및 타이밍 데이터(105)는 (도시되지 않은) 메모리에 저장되고, 그 다음 프로세싱을 위해 필요하다면 프로세싱 파라미터(117)와 함께 프로세싱 모듈(107)로 전달된다.
프로세싱 파라미터(117)는 깊이 맵의 시간적 및/또는 공간적 필터링을 가능하게 하여, 처리될 데이터의 양을 줄일 수 있다. 깊이 맵은 (예컨대, 그래픽 아이템이 제한된 시간 기간 동안만 디스플레이된다면) 3D 비디오의 선택된 시퀀스에 대응하는 선택된 시퀀스의 깊이 맵을 프로세싱함으로써 시간적으로 필터링될 수 있다. 깊이 맵은 (예컨대, 그래픽 아이템이 3D 비디오의 일부분에만 오버레이한다면) 깊이 맵의 선택된 영역을 프로세싱함으로써 공간적으로 필터링될 수 있다. 전형적인 프로세싱 파라미터(117)의 예는 아래와 같다.
- 프레임 시퀀스: 추천 그래픽 아이템 깊이를 판정하기 위해 프로세싱되어야 하는 (3D 비디오의 프레임의 시퀀스와 연관된) 깊이 맵 시퀀스를 명시한다. 프레임 시퀀스 파라미터는 전형적으로 시퀀스 내의 시작 프레임의 식별정보, 시퀀스 기간, 또는 시퀀스 내의 마지막 프레임의 식별정보를 포함한다. 깊이 맵 시퀀스는 깊이 맵이 동반하는 타이밍 데이터를 사용하여 식별되고 추출될 수 있다.
- 영역 위치 및 크기: 특정한 그래픽 아이템이 오버레이될 3D 비디오의 영역에 대응하는, 프로세싱될 깊이 맵의 영역을 특정한다. 위치는 전형적으로 (예컨대, x 및 y가 픽셀을 사용하여 특정될 수 있을 때) (x,y) 좌표 위치를 사용하여 특정되거나, (원점 (0,0)이 스크린 좌측 바닥에 있는 것으로 정의된다면) 0 내지 1 범위의 숫자를 사용하여, (원점(0,0)이 스크린 중앙에 있는 것으로 정의된다면) -1 내지 +1 범위의 숫자를 사용하여, 또는 퍼센트 범위 등을 사용하여 특정될 수 있다. 크기(x 및 y 성분 모두)는 전형적으로 위치에 대하여 사용된 것과 동일한 시스템을 사용하여 특정된다.
- 영역 태그: 영역에 대한 명칭을 명시하고, 복수의 영역이 특정되고 프로세싱될 수 있게 한다.
- 대안의 영역: (예컨대, 디스플레이 디바이스(111) 또는 디스플레이 디바이스(111)의 사용자가 특정한 그래픽 아이템을 위해 사용되는 영역을 구성할 수 있도록 하기 위해) 그래픽에 대하여 사용될 수 있는 (전형적으로 위치 및 크기에 의한) 하나 이상의 대안의 영역을 명시한다.
- 영역 무브먼트: 영역 위치 및 크기 파라미터에 의해 정의된 영역이 깊이 부조화(conflict)를 피하기 위해 얼마나 멀리 움직일 수 있는지 명시한다(전형적으로 병진(translational) 운동)(추천 깊이가 최대값을 초과한다면(깊이 파라미터의 세부사항은 아래 참조), 또는 3D 비디오 내의 물체가 그래픽 아이템 앞으로 이동한다면, 특정한 그래픽 아이템에 대한 영역이 옆으로 또는 위/아래로 이동하는 것을 허용한다). 영역 무브먼트(x 및 y 성분 모두)는 전형적으로 위치에 대하여 사용된 것과 동일한 시스템을 사용하여 특정된다. 그 영역이 얼마나 빠르게 이동할 수 있는지에 대한 최대 한계도 명시될 수 있다. 이는 전형적으로 프레임당 x 및/또는 y 성분의 최대 변화로 명시된다. 2차 미분값(즉, 프레임당 x 및/또는 y 성분 변화의 최대 변화)이 또한 명시될 수 있다.
- 영역 크기 조절: 영역 위치 및 크기 파라미터에 의해 정의된 영역이 크기, 대안으로서(또는 부가적으로) 공간 및/또는 깊이 방향으로 이동이 얼마나 변할 수 있는지 명시한다(깊이 파라미터의 세부사항에 대하여 아래 참조). 크기 조절(x 및/또는 y 성분)은 전형적으로 위치에 대하여 사용된 것과 동일한 시스템을 사용하여 특정된다.
- 깊이: 영역 위치 및 크기 파라미터에 의해 정의되는 영역에 대한 백워드 및 포워드 깊이를 명시하기 위해 사용된다. 백워드 깊이는 전형적으로 보는이로부터 뒤쪽으로 멀어지는 스크린 안쪽으로의 깊이로 정의된다. 포워드 깊이는 전형적으로 보는이를 향하는 앞쪽으로, 스크린 바깥쪽으로의 깊이로 정의된다. 깊이(전형적으로 x 및 y 성분과 수직인 z성분)는 전형적으로 위치에 대하여 사용되는 것과 동일한 시스템을 사용하여 특정된다. '바람직한' 깊이 및 하나 이상의 '대안의' 깊이를 명시하기 위해 복수의 깊이 파라미터가 설정될 수 있다. 최대 깊이 한계가 또한 명시될 수 있다. 최대 백워드 깊이를 설정하는 것은 그래픽이 너무 먼 뒤쪽에(예컨대, 그래픽 아이템 뒤에 3D 비디오가 없을 때 수용가능한 값 뒤에) 놓여지지 않음을 보장한다. 최대 포워드 깊이를 설정하는 것은 그래픽이 너무 먼 앞쪽(예컨대, 그래픽 아이템이 정상적인 뷰잉 거리에서 보는데 불편할 수 있을 만큼 먼 앞쪽)에 놓여지지 않음을 보장한다. 프로세싱동안, 계산된 깊이가 특정된 깊이 한계를 초과한다면, 그 영역은 (전형적으로 영역 무브먼트 및/또는 영역 크기 조절 파라미터에 따라) 이동될 수 있고, 또는 임시적으로 삭제될 수도 있다.
- 깊이 무브먼트: 영역 위치 및 크기 파라미터에 의해 정의된 영역이 얼마나 빨리 깊이 방향으로 이동할 수 있는지에 대한 최대 한계를 명시한다. 이는 프레임 당 z 성분의 최대 변화로서 명시되는 것이 전형적이다. 2차 미분값(즉, 프레임당 z 성분의 변화의 최대 변화)이 또한 특정될 수 있다. 깊이 무브먼트 파라미터를 설정하는 것은 그래픽 아이템이 오버레이하는 3D 비디오 컨텐트의 변화에 응답하여 그래픽 아이템이 진동하는 것을 방지하는데 유용하다.
- 깊이 점프: 깊이 무브먼트 한계가 초과된 때, 영역이 상이한 위치(예컨대, 대안의 영역 파라미터에 의해 명시된 하나의 영역)로 이동됨을 명시하는 플래그.
- 깊이 추출 인터페이스 태그: 몇몇 깊이 추출 시스템은 물체 추적/얼굴 인식을 수행할 수 있다. 본 발명의 특정한 실시예에서, 본 시스템은, 예컨대, 물체 추적으로부터 유도되고, 특정한 물체 스크린 위치를 제공하는 추가적인 카메라 메타데이터를 수신할 수 있다. 이러한 시스템에서, 깊이 추출 인터페이스 태그는 영역이 깊이 추출 시스템에 의해 반환되는 정보와 그것을 연결하는 추가 정보와 함께 서술될 수 있게 한다. 물체 추출 시스템은 전형적으로 추적되고 있는 물체에 대한 식별자를 제공한다. 휴먼 상호작용이 서술된 바와 같은 적절한 인터페이스 태그에 대한 식별자를 설명하기 위해 사용될 수 있고, 또는 시스템은 깊이 추출 모듈 및 프로세싱 모듈이 함께 구성되어 있는 주지된 인터페이스 태그 값 또는 명칭을 자동으로 제공할 수 있다.
- 최소 간격: 오버레이된 그래픽과 3D 비디오 내의 가장 앞쪽의 아래에 놓인 물체 사이의 최소 "간격"을 제공하기 위해 사용된다.
다른 프로세싱 파라미터(117)들은 당업자들에게 명백할 것이다.
프로세싱 모듈(107)은 3D 비디오 내에 그래픽을 놓고, 그 정보를 효율적인 포맷으로 디스플레이 디바이스(111)로 전달하기 위해 사용되는 정보를 추출하기 위해 깊이 맵을 프로세싱한다. 이는 그래픽 설치를 위해 사용될 3D 비디오 프레임 시퀀스 내의 구역/영역 및 그래픽이 놓여질 수 있는 추천 깊이를 식별하는 것을 포함한다.
프로세싱 모듈(107)의 출력은 3D 비디오의 하나 이상의 프레임 시퀀스 또는 3D 비디오의 하나 이상의 영역에 대하여 그래픽을 놓기 위한 추천 깊이를 정의하는 프로세싱된 깊이 데이터 및 연관된 타이밍 데이터(109)의 하나 이상의 스트림이다. 그래픽 아이템은 전형적으로 자막, 클로즈드 캡션(closed captions), 비동기식 메시지(예컨대, 이벤트 안내, 터너 부조화 안내), 긴급 공고, 로고 벅스, 상호작용형 그래픽 애플리케이션, 정보 배너 등을 포함한다.
프로세싱된 깊이 데이터 및 타이밍 데이터(109)는 네트워크(113)를 통해 헤드엔드로부터 디스플레이 디바이스(111)로 전송된다. 프로세싱된 깊이 데이터 및 타이밍 데이터(109)는 전송 이전에 압축될 수 있다. 디스플레이 디바이스(111)는 전형적으로 텔레비전과 같은 디스플레에 동작적으로 연결된 통합 수신 디코더(IRD, integrated receiver decoder); 셋탑박스(STB), 디지털 비디오 레코더(DVR) 등이다. 네트워크(113)는 전형적으로 단방향 또는 양방향 통신 네트워크, 예컨대, 하나 이상의 위성 기반 통신 네트워크; 케이블 기반 통신 네트워크; 지상파 방송 텔레비전 네트워크(terrestrial broadcast television network); 전화 기반 통신 네트워크; 모바일 전화 기반 네트워크; 인터넷 프로토콜(IP) 텔레비전 브로드캐스트 네트워크; 컴퓨터 기반 통신 네트워크 등이다.
그래픽 데이터 및 3D 비디오 데이터(115)는 또한 네트워크(113)를 통해 헤드엔드로부터 디스플레이 디바이스(111)로 전송된다. 그래픽 데이터 및 3D 비디오 데이터(115)는 프로세싱된 깊이 데이터와 연관된 타이밍 데이터(109)로부터 분리되어 전송될 수 있다. 전형적으로 그래픽 데이터 및 3D 비디오 데이터(115)는 전송 이전에 압축된다.
디스플레이 디바이스(111)는 프로세싱된 깊이 데이터 및 타이밍 데이터(109) 미 3D 비디오 및 그래픽 데이터(115)를 수신한다. 그래픽이 3D 비디오 위에 렌더링되어야 할 때, 그래픽 데이터는 프로세싱된 깊이 데이터와 함께 디스플레이 디바이스(111) 내의 렌더링 엔진에 제공된다. 렌더링 엔진은 그 다음 적절한 이미지를 생성하고, 표준 결합 기술을 사용하여 프로세싱된 깊이 데이터에 의해 지시되는 추천 깊이에서 그 이미지를 3D 비디오와 결합한다. 프로세싱된 깊이 데이터가 그것을 3D 비디오와 연관되고 동기화될 수 있게 하는 타이밍 데이터를 동반함을 기억할 것이다.
예를 들어, 뷰어가 프로그램을 보는 동안, 디스플레이 디바이스(111)는 현재 보여지고 있는 이벤트와 기록될 이벤트 사이의 부조화를 식별한다. 뷰어에게 이러한 터너 부조화를 알리기 위한 그래픽 메시지를 디스플레이하기 위해, 디스플레이 디바이스(111)는 프로세싱된 깊이 데이터 및 타이밍 데이터(109)를 컨설팅하고, 그 터너 부조화에 대한 OSD 메시지 클래스와 연관된 영역을 찾는다. 이는 스크린 위치 및 깊이 정보를 디스플레이 디바이스(111)에 제공한다. 이러한 깊이 정보는 그 다음 디스플레이될 그래픽과 함께 그래픽 렌더링 소프트웨어 및 하드웨어에 제공된다. 그래픽 렌더링 소프트웨어는 그 그래픽 및 위치 및 깊이 정보를 의도된 깊이 및 위치에 놓여진, 뷰어에 의해 인지되는 이미지로 변환한다.
프로세싱 모듈(107)의 동작이 지금부터 더욱 상세하게 설명된다. 앞서 언급한 바와 같이, 프로세싱 모듈(107)은 3D 비디오 내의 하나 이상의 그래픽 아이템을 놓고, 정보를 효과적인 포맷으로 디스플레이 디바이스(111)로 전달하기 위해 사용되는 깊이 맵으로부터 정보를 추출하도록 깊이 맵을 프로세싱한다. 이러한 정보는 전형적으로 각각의 그래픽 아이템을 놓기 위한 추천 깊이, 및 추천 깊이와 관련된 영역에 대한 정보를 포함한다. 영역 정보는 (앞서 언급한 바와 같이) 영역 태그 또는 스크린 영역(앞서 언급한 바와 같은 영역 크기 및 위치, 또는 벡터 아웃라인에 의해 정의되는)의 형태일 수 있다. 영역을 설명하는 다른 방법들은 당업자들에게 명백할 것이다.
도 2를 참조하면, 제1 스테이지에서(단계(201)), 그래픽 아이템의 세부사항이 프로세싱 모듈(107)로 전달된다. 이러한 세부사항은 그래픽 아이템의 스크린 위치, 그래픽 아이템의 크기, 및 그래픽 아이템이 그 위에 나타날 3D 비디오의 프레임의 세부사항을 포함한다.
그 다음(단계(203)), 프로세싱 모듈(107)은 프레임 시퀀스, 영역 위치 및 크기 프로세싱 파라미터를 유도하기 위해 그래픽 아이템의 세부사항을 사용한다. 특정한 실시예에서, 프로세싱 모듈(107)은 (예컨대, 그래픽 아이템의 세부사항이 제공되지 않는다면) 영역 크기 및 위치 파라미터를 유도하지 않을 수 있다. 이러한 경우에, 프로세싱 모듈(107)은 깊이 맵의 영역만이 아니라 전체 깊이 맵을 사용할 것이다. 프로세싱 모듈(107)은 대안으로서 또는 부가적으로 프레임 시퀀스로부터 깊이 맵만이 아니라 프로세싱 내의 3D 비디오의 모든 프레임의 깊이 맵을 사용할 수 있다.
그 다음(단계(205)), 프로세싱 모듈(107)은 그래픽 아이템이 3D 비디오 이미지와 부조화되지 않도록 놓여지는 3D 비디오 내의 픽셀의 가장 먼 포워드 깊이를 계산하기 위해, (유도된) 프레임 시퀀스에 대한 적절한 깊이 맵을 추출하고 추출된 깊이 맵의 (유도된) 영역을 분석한다(단계(207)). 즉, 그래픽 아이템이 가장 먼 포워드 깊이 뒤에(그로부터 뒤쪽에) 놓여져 있다면, 깊이 불균형이 발생한다(예컨대, 그래픽 아이템이 3D 비디오 내의 물체 위에 그러나 그 물체 뒤쪽의 깊이에 오버레이되었다면, 그 물체는 마치 그 물체의 몇몇 픽셀이 제거된 것처럼 보일 수 있다). 전형적으로, 가장 먼 포워드 깊이를 계산하는 것은 시퀀스 내의 프레임에 대하여 유도된 영역 내에 픽셀의 깊이를 계산하는 것, 및 그래픽 아이템의 추천 깊이로 사용하기 위한 계산에서 식별된 가장 먼 포워드 깊이를 추출하는 것을 포함한다.
그 다음(단계(209)), 프로세싱 모듈(107)은 프로세싱된 깊이 데이터에 대한 타이밍 데이터와 함께 (그 영역을 오버레이하는 그래픽 아이템에 대한 추천 깊이, 및 적절하다면 영역 위치 및 크기를 포함하는) 프로세싱된 깊이 데이터를 패키징하고, 그것을 디스플레이 디바이스(111)로 전송한다(단계(211)).
앞서 서술된 프로세스는 3D 비디오를 오버레이하기 위해 (예컨대, 사용자 또는 오퍼레이터 또는 브로드캐스터에 의해) 선택될 수 있는 각각의 그래픽 아이템에 대하여 반복된다.
그러므로, 3D 비디오의 전체 깊이 맵을 디스플레이 디바이스(111)로 전송할 필요는 없음을 알 수 있다. 그보다는, 프로세싱된 깊이 데이터만 전송되고, 헤드엔드로부터 전송되어 디스플레이 디바이스(111)에 의해 프로세싱되는 크기의 데이터로 실질적인 저장을 반복한다.
상기 서술된 프로세스는, 예컨대, 3D 비디오를 동반하는 자막에 대한 추천 깊이를 계산하는데 적합하다. 가장 단순한 경우로, 3D 비디오 씬은 비디오를 통해 정적인 깊이를 가질 수 있다(예컨대, 책상에 앉아 있는 뉴스를 읽는 사람). 이러한 경우, 자막(또는 임의의 다른 그래픽 아이템)이 놓여지는 추전 깊이를 결정하기 위해 하나의 깊이 맵(또는 하나의(짧은) 시퀀스의 깊이 맵)을 프로세싱하는 것이 가능할 수 있다. 이러한 깊이 값은 그 다음 3D 비디오를 통해 일정하게 유지될 수 있다.
그러나, 3D 비디오 내의 물체 및 사람은 종종 움직여서, 카메라와 가장 가까운 물체 사이에서 거리를 변경하거나 변하게 한다(그러므로 깊이 맵을 변경시킨다). 프레임 베이시스에 의해 프레임 상의 그래픽 아이템의 깊이를 계산하고 조절하는 것이 가능함과 동시에, 이는 그래픽 아이템이 깊이 방향으로 광범위하게 이동하게 할 수 있는데, 이는 시각적으로 불편함을 준다. 그러므로, 본 발명의 특정한 실시예에서, 특정한 그래픽 아이템의 움직임을 최소화하거나 제거하는 것이 바람직하다.
상술된 바와 같이, 깊이 맵 시퀀스를 분석함으로써, 가장 먼 포워드 깊이를 식별하고, 그 깊이를 3D 비디오의 기간 동안, 또는 3D 비디오의 시퀀스/씬의 기간 동안, 또는 그래픽 아이템의 디스플레이 기간 동안 추천 깊이로 선택하는 것이 가능하다. 이러한 방식으로, 그래픽 아이템은 프레임 베이시스에 의해 프레임 상의 깊이를 변경하지 않고 3D 비디오 내에 놓여질 수 있다.
자막의 경우에, 프로세싱 모듈(107)은 3D 비디오에 대한 모든 깊이 맵을 추출하고, 자막이 3D 비디오 이미지와 부조화 없이 놓여질 수 있는 가장 먼 포워드 깊이를 계산하기 위해 그 자막에 대하여 사용될 각각의 추출된 깊이 맵의 영역을 비교한다. 대안으로서, 디스플레이될 각각의 자막은 개별적인 그래픽 아이템으로서 간주될 수 있는데, 그 각각은 3D 비디오의 한정된 프레임 시퀀스와 연관된다. 각각의 자막에 대한 스크린 위치 및 크기의 세부사항은 전형적으로 자막 생성 프로세스로부터 이미 알고 있지만, 라이브 컨텐트(예컨대, 뉴스)의 자막 또한 다루어질 수 있다. 이러한 세부사항은 단계(201)에서 프로세싱 모듈(107)로 전달될 수 있다.
대안의 실시예에서, (앞서 서술된) 다른 프로세싱 파라미터가 프로세싱 모듈(107)이 프로세싱된 깊이 데이터를 계산하기 위해 깊이 맵을 비교할 때 사용하기 위해 프로세싱 모듈(107)에 제공될 수 있다. 예를 들어, (최대 깊이 값) 깊이 한계가 프로세싱 모듈(107)에 제공되어, 계산된 추천 깊이가 깊이 한계를 초과한다면, 추천 깊이로서 깊이 한계를 사용할 수 있다. 영역 무브먼트 및/또는 영역 크기 조절 및/또는 대안의 영역 파라미터가 제공될 때, 그래픽 아이템의 (x,y) 위치가 컨트롤되어, 그래픽 아이템은 추천 깊이가 깊이 한계 내에 있을 때 그래픽 아이템에 대한 스크린 위치를 찾기 위해 그러한 파라미터에 따라 이동되고 그리고/또는 리사이징될(resized) 수 있다. 이는 앞서 서술된 아이디어의 확장이고, 그로 인해 영역의 (x,y) 위치는 z 위치를 변경하기 위해 사용될 수 있고, 최적화가 3방향 모두의 모션에 대하여 이루어진다. 새로운 영역 위치 및/또는 크기는 전형적으로 프로세싱되는 깊이 데이터의 일부로서 추천 깊이와 함께 전송될 것이다.
대안으로서 또는 부가적으로, 깊이 무브먼트 파라미터는 추천되는 깊이가 프레임 시퀀스에 걸쳐 변할 수 있게 하기 위해 사용될 수 있다. 그러므로, 예컨대, 자막은 자막이 디스플레이되는 동안 카메라를 향해 느리게 이동하여, 비디오 내의 임의의 물체와의 부조화를 피함과 동시에 자막의 전체적인 무브먼트 및 무브먼트 속도를 최소화할 수 있다.
몇몇 실시예에서, 그래픽 아이템의 위치와 관련된 다른 정보가 또한 프로세싱된 깊이 데이터의 일부로서 포함될 수 있다. 예를 들어, 대안의 영역에 대한 그래픽 아이템에 대한 추천된 깊이가 또한 계산될 수 있고, 프로세싱된 깊이 데이터 내에 포함되는 경우에, (대안의 영역의 프로세싱 파라미터에 의해 식별되는) 상이한 스크린 위치 내에 그래픽 아이템을 놓는 것이 가능할 수 있다.
특정한 실시예에서, (이미지 비전 프로세싱 분야에서 주지되어 있는) 물체 추적 기능이 3D 비디오 내의 물체를 추적하기 위해 사용될 수 있다. 추적되는 물체와 연관된 그래픽 아이템을 포함하는 것(예컨대, 골프 또는 하키와 같은 빠르게 움직이는 게임에서 공을 라벨링하는 것, 또는 선수의 이름으로 선수를 라벨링하는 것)이 바람직하다. 이러한 실시예에서, 물체 추적의 결과는 (예컨대, 영역 무브먼트 파라미터를 사용하여, 추적되고 있는 실제 물체와 부조화되는 것을 피하기 위해 적절한 오프셋과 함께) 영역 위치 파라미터로서 프로세싱 모듈(107)에 제공되어, 추적되는 물체를 라벨링하는 그래픽 아이템에 대한 깊이가 계산될 수 있다.
전형적으로, 깊이 추출 및 프로세싱은 3D 비디오가 헤드엔드로 삽입되는 시간에 발생한다. 이는 종종 실질적으로 전송을 앞선다. 이러한 실시예에서, 프로세싱된 깊이 데이터는 3D 비디오의 전송에 앞서 제공될 수 있다. 대안으로써, 프로세싱된 깊이 데이터는 3D 비디오와 동시에 제공될 수 있다. 프로세싱된 깊이 데이터는 전형적으로 3D 비디오 데이터에 개별적인 스트림의 데이터로써 제공된다.
특정한 실시예에서(예컨대, 생방송 이벤트에 대하여), 프로세싱 모듈(107)은 실시간으로 깊이 맵을 프로세싱한다. 헤드엔드에서 정상적인 인코딩 지연으로 인해, 적어도 수초(및 때때로 10초까지)의 3D 비디오는 프로세싱된 깊이 데이터를 계산하기 위해 분석될 수 있다. 회귀 분석과 같은 주지된 기술이 추천된 깊이를 계산할 때 사용되는 추정된(extrapolated) 깊이 모션과 분석된 깊이 맵으로부터 획득된 것을 넘어, 3D 비디오 내의 물체의 깊이 모션을 추정하기 위해 사용될 수 있다. 프로세싱된 깊이 데이터는 3D 비디오와 동일한 시간에, 전형적으로 매초마다 한번씩, 디스플레이 디바이스(111)로 전송된다. 그러나, 대안의 실시예에서, 프로세싱된 깊이 데이터는 더 적은 일정한 간격으로(예컨대, 5초마다)만 전송될 수 있고, 이때 추천된 깊이가 변경되었는지 보기 위한 체크는 더 일정하게(예컨대, 1초마다) 수행된다. 추천된 깊이가 변경되었다면, 추천된 깊이는 즉시 전송될 수 있다.
그래픽이 3D 비디오 위에 렌더링되어야 할 때, 그래픽 데이터는 프로세싱된 깊이 데이터와 함께 디스플레이 디바이스(111) 내의 렌더링 엔진에 제공되는 것이 추천된다. 그 다음, 렌더링 엔진은 적절한 이미지를 발생시키고 그것을 프로세싱된 깊이 데이터에 의해 지시되는 깊이에서 3D 비디오와 결합한다. 특정 실시예에서, 디스플레이 디바이스(111)는 사용자 설정 선호도를 기초로 그래픽 아이템이 놓여지는 위치를 조절하는 것이 가능할 수 있다. 예를 들어, 사용자는 (부조화가 나타나지 않는다고 가정하면(예컨대, 사용자가 선호하는 깊이가 전송된 추천 깊이보다 더 앞쪽에 있을 때)) 원래 수신된 추천된 깊이를 무시하는 그래픽 아이템에 대한 사용자가 선호하는 깊이를 설정할 수 있다. 또한, 사용자는 수신된 추천 깊이가 사용자가 선호하는 깊이를 (뒤로 또는 앞으로) 초과한다면, 그래픽 아이템을 스크린 상에 대안의 위치로 이동하는 것을 선호할 수 있다. 또한, 사용자는 깊게 이동하는 그래픽 아이템을 보는 것보다, 그래픽이 항상 최소 깊이에서 디스플레이되는 것을 선호할 수 있다. 디스플레이 디바이스(111)는 또한 그들이 다른 그래픽 아이템과 부조화하다면, 특정한 그래픽 아이템을 사라지게 하도록, 또는 투명 옵션이 그러한 대안의 가능성을 만든다면 그 상대적인 깊이에 그래픽 아이템을 정확하게 결합하도록 구성될 수 있다. 디스플레이 디바이스(111)는 또한 상이한 깊이 무브먼트 및/또는 영역 무브먼트 파라미터와 함께 구성될 수 있다.
헤드엔드는 영역 식별정보에 대한 몇가지 대안의 방법 중 하나를 채용할 수 있다.
- (예컨대, 알고 있는 그래픽 자산에 대응하는) 선험적으로 형성된 스크린 영역;
- (예컨대, 이미지 또는 물체 인식 방법에 의해) 비디오로부터 추출된 물체에 대응;
- 에지 탐지와 같은 메커니즘에 의해 경계지어 지거나, 공통 깊이의 임의로 식별된 영역.
앞서 언급한 바와 같이, 영역은 그 영역의 예상되는 사용법에 따라 하나 이상의 일정 범위의 방법을 사용하여 설명될 수 있다. 이들은 디스플레이 디바이스(111)에 의해 사용되는 영역 태그, 예컨대, 정방형 또는 직방형과 같은 레귤러 형상에서부터 벡터 아웃라인을 사용하여 정의된 복잡한 형상까지, 바로 다음 배너 영역, 또는 스크린 영역을 나타내기 위한 "N"을 포함할 수 있다. 이와 같이, 각각의 영역은 일정 범위의 서술 정보를 포함할 수 있다.
영역들이 항상 그래픽 아이템(그래픽 자산)의 위치와 직접적으로 대응할 필요는 없다. 각각의 그래픽 아이템에 대하여 지나치게 단순한 영역을 방지하기 위해, 사용자의 요청에 따라 렌더링될 수 있는 그래픽 아이템 내의 상이한 선택의 범위가 그렇게 가변가능한 경우(예컨대, 복잡한 상호작용 애플리케이션에 대한)가 존재할 수 있다. 그 대신, 디스플레이 디바이스(111)는 복수의 영역의 세부사항(각각 추천되는 깊이와 함께)을 수신할 수 있고, 그 다음 그 그래픽 아이템에 대한 정보를 사용하여, 그래픽 아이템이 오버랩될 영역을 식별한다. 디스플레이 디바이스(111)는 그 다음 모든 영역에 대한 추천되는 깊이의 분석을 기초로 적절한 깊이를 선택할 수 있다. 예를 들어, 디스플레이 디바이스(111)는 그래픽 아이템이 커버할 스크린 영역을 식별하기 위해 그래픽 아이템을 사용할 수 있고, 그 다음 영역 세트를 찾는다. 디스플레이 디바이스(111)는 그 다음 그래픽 아이템에 의해 어떤 영역이 커버될 것인지 식별하고, 이러한 식별 프로세스로부터 적절한 깊이 위치 정보를 추출한다. 전형적으로, 이러한 영역은 그들의 스크린 위치/면적이 식별될 수 있도록 하는 설명을 포함한다.
또한, '가까운 평면'과 '먼 평면'이 그래픽 아이템에 대하여 정의될 수 있음을 주목할만하다. '가까운 평면'은 그래픽 아이템이 놓여 있는 3차원 비디오를 보는 사용자에게 가장 가까운 평면(즉, 스크린 외부)이다. '먼 평면'은 그래픽 아이템이 놓여 있는 3차원 비디오를 보는 사람으로부터 가장 먼 평면(즉, 스크린 내부)이다.
본 발명의 소프트웨어 컴포넌트는, 바람직하다면, ROM(판독 적용 메모리) 형태로 구현될 수 있음을 이해해야 한다. 소프트웨어 컴포넌트는 일반적으로 바람직하다면 종래의 기술을 사용하여 하드웨어 내에 구현될 수 있다. 소프트웨어 컴포넌트의 예는, 예컨대, 컴퓨터 프로그램 프로덕트, 실체적 매체상에, 또는 적절한 컴퓨터에 의해 해석가능한 신호를 포함할 수 있음이 이해될 것이다.
본 발명의 다양한 특징들이 명료함을 위해 개별적인 실시예의 환경에서 서술되었으나, 하나의 실시예에서 결합되어 제공될 수도 있음이 이해될 것이다. 역으로, 본 발명의 다양한 특징은 간결함을 위해 하나의 실시예의 환경에서 서술되었으나, 이는 또한 개별적으로 또는 임의의 적절한 하부조합으로 제공될 수도 있다.
본 발명이 본 명세서에 앞서 특별히 도시되고 서술된 것으로 제한되지 않음을 당업자들은 이해될 것이다. 그보다는, 본 발명의 범위는 아래의 청구항에 의해서만 정의된다.

Claims (14)

  1. 3차원 비디오 위에 그래픽 아이템을 디스플레이하는데 사용하기 위한 추천 깊이 값을 생성하는 방법으로서, 상기 방법은 헤드엔드에서,
    비디오 프레임을 포함하는 3차원 비디오를 수신하는 단계;
    하나의 시퀀스의 깊이 맵을 생성하기 위해 하나의 시퀀스의 상기 비디오 프레임을 차례로 분석하는 단계;
    상기 깊이 맵 시퀀스 내에서 하나의 영역의 깊이 맵을 선택하는 단계;
    상기 깊이 맵 시퀀스 내의 상기 영역에 대한 가장 먼 포워드 깊이 값을 식별하기 위해 상기 깊이 맵 시퀀스 내의 상기 영역의 깊이 맵을 분석하는 단계; 및
    상기 영역에 대한 상기 추천 깊이로서 상기 가장 먼 포워드 깊이 값, 및 상기 영역을 설명하는 영역 정보를 디스플레이 디바이스로 전송하는 단계를 포함하고,
    상기 깊이 맵 시퀀스 내의 각각의 깊이 맵은 상기 비디오 프레임 시퀀스 내의 대응하는 비디오 프레임에 그 깊이 맵을 연결하는 타이밍 데이터와 연관되어 있고, 각각의 깊이 맵은 깊이 값을 포함하고, 각각의 깊이 값은 그 대응하는 비디오 프레임 내의 픽셀 위치의 깊이를 나타내는 것을 특징으로 하는 3차원 비디오 위에 그래픽 아이템을 디스플레이하는데 사용하기 위한 추천 깊이를 생성하는 방법.
  2. 제 1 항에 있어서,
    상기 깊이 맵 시퀀스 내에서 적어도 하나의 추가 영역의 깊이 맵을 선택하는 단계;
    상기 적어도 하나의 추가 영역에 대한 적어도 하나의 추가의 가장 먼 포워드 깊이 값을 식별하기 위해 상기 시퀀스 내의 상기 적어도 하나의 추가 영역의 깊이 맵을 분석하는 단계; 및
    상기 적어도 하나의 추가 영역에 대한 추가 추천 깊이 값으로서 상기 적어도 하나의 추가의 가장 먼 포워드 깊이 값, 및 상기 적어도 하나의 추가 영역을 설명하는 추가 영역 정보를 전송하는 단계를 더 포함하는 것을 특징으로 하는 3차원 비디오 위에 그래픽 아이템을 디스플레이하는데 사용하기 위한 추천 깊이를 생성하는 방법.
  3. 제 1 항에 있어서,
    상기 그래픽 아이템이 디스플레이될 2차원 스크린 위치, 및 상기 그래픽 아이템의 크기를 포함하는 상기 그래픽 아이템의 세부사항을 수신하는 단계; 및
    상기 그래픽 아이템의 상기 세부사항으로부터 상기 영역을 판정하는 단계를 더 포함하는 것을 특징으로 하는 3차원 비디오 위에 그래픽 아이템을 디스플레이하는데 사용하기 위한 추천 깊이를 생성하는 방법.
  4. 제 1 항에 있어서,
    최대 깊이 값을 수신하는 단계;
    상기 가장 먼 포워드 깊이 값과 상기 최대 깊이 값을 비교하는 단계; 및
    상기 가장 먼 포워드 깊이 값이 상기 최대 깊이 값을 초과한다면, 상기 추천 깊이 값으로서 상기 최대 깊이 값을 전송하는 단계, 그렇지 않다면, 상기 추천 깊이 값으로서 상기 가장 먼 포워드 깊이 값을 전송하는 단계를 더 포함하는 것을 특징으로 하는 3차원 비디오 위에 그래픽 아이템을 디스플레이하는데 사용하기 위한 추천 깊이를 생성하는 방법.
  5. 제 1 항에 있어서,
    상기 깊이 맵 시퀀스 내에서 대안의 영역의 깊이 맵을 선택하는 단계;
    상기 대안의 영역에 대한 대안의 가장 먼 포워드 깊이 값을 식별하기 위해 상기 시퀀스 내의 상기 대안의 영역의 깊이 맵을 분석하는 단계; 및
    상기 대안의 영역에 대한 대안의 추천 깊이 값으로서 상기 대안의 가장 먼 포워드 깊이 값, 및 상기 대안의 영역을 설명하는 대안의 영역 정보를 전송하는 단계를 더 포함하는 것을 특징으로 하는 3차원 비디오 위에 그래픽 아이템을 디스플레이하는데 사용하기 위한 추천 깊이를 생성하는 방법.
  6. 제 1 항에 있어서, 상기 가장 먼 포워드 깊이를 식별하기 위해 깊이 값 변화의 예측이 사용되는 것을 특징으로 하는 3차원 비디오 위에 그래픽 아이템을 디스플레이하는데 사용하기 위한 추천 깊이를 생성하는 방법.
  7. 제 1 항에 있어서, 상기 추천 깊이 값은 상기 3차원 비디오에 독립적으로 전송되는 것을 특징으로 하는 3차원 비디오 위에 그래픽 아이템을 디스플레이하는데 사용하기 위한 추천 깊이를 생성하는 방법.
  8. 3차원 비디오 위에 그래픽 아이템을 디스플레이하도록 디스플레이 디바이스를 오퍼레이팅하는 방법으로서,
    비디오 프레임을 포함하는 상기 3차원 비디오를 수신하는 단계;
    상기 그래픽 아이템을 수신하는 단계;
    상기 3차원 비디오 위에 상기 그래픽 아이템을 디스플레이하는데 사용하기 위한 추천 깊이 값을 수신하는 단계; 및
    상기 추천 깊이 값에서 상기 3차원 비디오 위에 상기 그래픽 아이템을 디스플레이하는 단계를 포함하고,
    상기 추천 깊이 값은 헤드엔드에서 수행되는 추천 깊이 값 생성 프로세스에 따라 생성되고, 상기 추천 깊이 값 생성 프로세스는
    하나의 시퀀스의 깊이 맵을 생성하기 위해 하나의 시퀀스의 상기 비디오 프레임을 차례로 분석하는 단계;
    상기 깊이 맵 시퀀스 내에서 하나의 영역의 깊이 맵을 선택하는 단계;
    상기 깊이 맵 시퀀스 내의 상기 영역에 대한 가장 먼 포워드 깊이를 식별하기 위해 상기 깊이 맵 시퀀스 내의 상기 영역의 깊이 맵을 분석하는 단계; 및
    상기 추천 깊이 값으로서 상기 가장 먼 포워드 깊이, 및 상기 영역을 설명하는 영역 정보를 상기 디스플레이 디바이스로 전송하는 단계를 포함하고,
    상기 깊이 맵 시퀀스 내의 각각의 깊이 맵은 상기 비디오 프레임의 시퀀스 내의 대응하는 비디오 프레임에 그 깊이 맵을 연결하는 타이밍 데이터와 연관되어 있고, 각각의 깊이 맵은 깊이 값을 포함하고, 각각의 깊이 값은 대응하는 비디오 프레임 내의 픽셀 위치의 깊이를 나타내는 것을 특징으로 하는 3차원 비디오 위에 그래픽 아이템을 디스플레이하도록 디스플레이 디바이스를 오퍼레이팅하는 방법.
  9. 제 8 항에 있어서, 상기 추천 깊이 값 생성 프로세스는 상기 헤드엔드에서,
    상기 깊이 맵 시퀀스 내에서 대안의 영역의 깊이 맵을 선택하는 단계;
    상기 대안의 영역에 대한 대안의 가장 먼 포워드 깊이 값을 식별하기 위해 상기 시퀀스 내의 상기 대안의 영역의 깊이 맵을 분석하는 단계; 및
    상기 대안의 영역에 대한 대안의 추천 깊이 값으로서 상기 대안의 가장 먼 포워드 깊이 값, 및 상기 대안의 영역을 설명하는 대안의 영역 정보를 상기 디스플레이 디바이스로 전송하는 단계를 더 포함하고,
    상기 방법은 상기 영역 정보에 의해 서술된 상기 3차원 비디오의 하나의 영역 내에 또는 상기 대안의 영역 정보에 의해 서술된 상기 3차원 비디오의 대안의 영역 내에 상기 그래픽 아이템을 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 3차원 비디오 위에 그래픽 아이템을 디스플레이하도록 디스플레이 디바이스를 오퍼레이팅하는 방법.
  10. 제 9 항에 있어서, 상기 그래픽 아이템을 디스플레이하기 위해 상기 영역 및 상기 대안의 영역 중 어떤 것을 사용할 것인지, 상기 디스플레이 디바이스에 의한 판정이 이루어지는 것을 특징으로 하는 3차원 비디오 위에 그래픽 아이템을 디스플레이하도록 디스플레이 디바이스를 오퍼레이팅하는 방법.
  11. 제 10 항에 있어서, 상기 판정은 사용자로부터 수신된 정보를 기초로 하는 것을 특징으로 하는 3차원 비디오 위에 그래픽 아이템을 디스플레이하도록 디스플레이 디바이스를 오퍼레이팅하는 방법.
  12. 제 8 항에 있어서,
    상기 추천 깊이 값을 최대 깊이 값과 비교하는 단계; 및
    상기 추천 깊이 값이 상기 최대 깊이 값을 초과한다면 상기 그래픽 아이템을 사라지게 하는 단계를 더 포함하는 것을 특징으로 하는 3차원 비디오 위에 그래픽 아이템을 디스플레이하도록 디스플레이 디바이스를 오퍼레이팅하는 방법.
  13. 제 9 항에 있어서,
    상기 추천 깊이 값과 상기 대안의 추천 깊이 값을 최대 깊이 값과 비교하는 단계; 및
    상기 추천 깊이 값이 상기 최대 깊이 값을 초과하지만, 상기 대안의 추천 깊이 값을 초과하지 않는다면, 상기 대안의 영역에 상기 그래픽 아이템을 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 3차원 비디오 위에 그래픽 아이템을 디스플레이하도록 디스플레이 디바이스를 오퍼레이팅하는 방법.
  14. 제 8 항에 있어서, 상기 추천 깊이 값 생성 프로세스는 상기 헤드엔드에서,
    상기 깊이 맵 시퀀스 내에서 적어도 하나의 추가 영역의 깊이 맵을 선택하는 단계;
    상기 적어도 하나의 추가 영역에 대한 적어도 하나의 추가의 가장 먼 포워드 깊이 값을 식별하기 위해 상기 시퀀스 내의 적어도 하나의 추가 영역의 깊이 맵을 분석하는 단계; 및
    상기 적어도 하나의 추가 영역에 대한 추가 추천 깊이 값으로서 상기 적어도 하나의 추가의 가장 먼 포워드 깊이, 및 상기 적어도 하나의 추가 영역을 설명하는 추가 영역 정보를 전송하는 단계를 더 포함하고,
    상기 방법은 또한 상기 적어도 하나의 추가 추천 깊이 값 및 상기 추천 깊이 값의 가장 먼 포워드 깊이 값에 상기 그래픽 아이템을 디스플레이하는 단계를 포함하는 것을 특징으로 하는 3차원 비디오 위에 그래픽 아이템을 디스플레이하도록 디스플레이 디바이스를 오퍼레이팅하는 방법.
KR1020127009007A 2009-09-08 2010-06-15 3차원 비디오 위에 그래픽 객체를 오버레이하기 위한 추천 깊이 값 KR101210315B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB0915658A GB2473282B (en) 2009-09-08 2009-09-08 Recommended depth value
GB0915658.9 2009-09-08
PCT/IB2010/052664 WO2011030234A1 (en) 2009-09-08 2010-06-15 Recommended depth value for overlaying a graphics object on three-dimensional video

Publications (2)

Publication Number Publication Date
KR20120039767A KR20120039767A (ko) 2012-04-25
KR101210315B1 true KR101210315B1 (ko) 2012-12-11

Family

ID=41203354

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127009007A KR101210315B1 (ko) 2009-09-08 2010-06-15 3차원 비디오 위에 그래픽 객체를 오버레이하기 위한 추천 깊이 값

Country Status (6)

Country Link
US (1) US20120218256A1 (ko)
EP (1) EP2462736B8 (ko)
KR (1) KR101210315B1 (ko)
GB (1) GB2473282B (ko)
IL (1) IL218246A0 (ko)
WO (1) WO2011030234A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102860019B (zh) * 2010-04-28 2015-07-29 富士胶片株式会社 立体图像再生装置及方法、立体摄像装置、立体显示器装置
KR101809479B1 (ko) * 2010-07-21 2017-12-15 삼성전자주식회사 3d 콘텐츠 재생 장치 및 방법
JP5438082B2 (ja) * 2010-11-16 2014-03-12 パナソニック株式会社 表示装置及び表示方法
WO2012150100A1 (en) * 2011-05-02 2012-11-08 Thomson Licensing Smart stereo graphics inserter for consumer devices
US20120293636A1 (en) * 2011-05-19 2012-11-22 Comcast Cable Communications, Llc Automatic 3-Dimensional Z-Axis Settings
KR20140040151A (ko) * 2011-06-21 2014-04-02 엘지전자 주식회사 3D (3-dimensional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치
US9165401B1 (en) 2011-10-24 2015-10-20 Disney Enterprises, Inc. Multi-perspective stereoscopy from light fields
US9113043B1 (en) * 2011-10-24 2015-08-18 Disney Enterprises, Inc. Multi-perspective stereoscopy from light fields
EP2672713A4 (en) * 2012-01-13 2014-12-31 Sony Corp TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEIVING DEVICE, AND RECEIVING METHOD
EP2837183A2 (en) * 2012-04-13 2015-02-18 Koninklijke Philips N.V. Depth signaling data
US10129524B2 (en) 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US9607424B2 (en) * 2012-06-26 2017-03-28 Lytro, Inc. Depth-assigned content for depth-enhanced pictures
US8881209B2 (en) * 2012-10-26 2014-11-04 Mobitv, Inc. Feedback loop content recommendation
US10091495B2 (en) 2012-12-24 2018-10-02 Thomson Licensing Apparatus and method for displaying stereoscopic images
US9330171B1 (en) * 2013-10-17 2016-05-03 Google Inc. Video annotation using deep network architectures
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
GB2553782B (en) * 2016-09-12 2021-10-20 Niantic Inc Predicting depth from image data using a statistical model
CN108965929B (zh) * 2017-05-23 2021-10-15 华为技术有限公司 一种视频信息的呈现方法、呈现视频信息的客户端和装置
US10902825B2 (en) * 2018-12-21 2021-01-26 Arris Enterprises Llc System and method for pre-filtering crawling overlay elements for display with reduced real-time processing demands
US11238604B1 (en) * 2019-03-05 2022-02-01 Apple Inc. Densifying sparse depth maps
CN110990610B (zh) * 2019-11-28 2023-04-21 北京中网易企秀科技有限公司 一种数据对象的推荐方法及***
GB202104554D0 (en) 2021-03-31 2021-05-12 British Telecomm Auto safe zone detection
CN113538551B (zh) * 2021-07-12 2023-08-15 Oppo广东移动通信有限公司 深度图生成方法、装置、电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008115222A1 (en) 2007-03-16 2008-09-25 Thomson Licensing System and method for combining text with three-dimensional content

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5784097A (en) * 1995-03-29 1998-07-21 Sanyo Electric Co., Ltd. Three-dimensional image display device
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp 3次元映像表示装置
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
US20090027549A1 (en) 2004-05-17 2009-01-29 Weisgerber Robert C Method for processing motion pictures at high frame rates with improved temporal and spatial resolution, resulting in improved audience perception of dimensionality in 2-D and 3-D presentation
WO2006111893A1 (en) * 2005-04-19 2006-10-26 Koninklijke Philips Electronics N.V. Depth perception
JP2010505174A (ja) * 2006-09-28 2010-02-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メニューディスプレイ
US8711203B2 (en) 2006-10-11 2014-04-29 Koninklijke Philips N.V. Creating three dimensional graphics data
CN101911124B (zh) * 2007-12-26 2013-10-23 皇家飞利浦电子股份有限公司 用于覆盖图形对象的图像处理器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008115222A1 (en) 2007-03-16 2008-09-25 Thomson Licensing System and method for combining text with three-dimensional content

Also Published As

Publication number Publication date
EP2462736B8 (en) 2013-12-18
EP2462736A1 (en) 2012-06-13
KR20120039767A (ko) 2012-04-25
WO2011030234A1 (en) 2011-03-17
US20120218256A1 (en) 2012-08-30
GB2473282A (en) 2011-03-09
IL218246A0 (en) 2012-04-30
EP2462736B1 (en) 2013-10-30
GB0915658D0 (en) 2009-10-07
GB2473282B (en) 2011-10-12

Similar Documents

Publication Publication Date Title
KR101210315B1 (ko) 3차원 비디오 위에 그래픽 객체를 오버레이하기 위한 추천 깊이 값
JP5321694B2 (ja) 三次元画像にクローズドキャプショニングを提供するシステム及び方法
US8780173B2 (en) Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
KR101716636B1 (ko) 3d 비디오 및 보조 데이터의 결합
JP5429034B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US8878836B2 (en) Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
US20100103165A1 (en) Image decoding method, image outputting method, and image decoding and outputting apparatuses
CN102318353B (zh) 用于处理视频图像的方法和设备
EP2524510B1 (en) System and method for combining 3d text with 3d content
JP2012095290A (ja) オブジェクトデータ挿入方法およびオブジェクトデータ挿入装置
WO2016167160A1 (ja) データ生成装置および再生装置
JP2011146831A (ja) 映像処理装置、映像制御方法及びコンピュータプログラム
JP6934052B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP5454396B2 (ja) 立体画像生成装置および立体画像生成方法、情報送信装置および情報送信方法
US20120098944A1 (en) 3-dimensional image display apparatus and image display method thereof
US20130136336A1 (en) Image processing apparatus and controlling method for image processing apparatus
JP6391629B2 (ja) 3dテキストを3dコンテンツと合成するシステムおよび方法
JP2012151615A (ja) 映像出力装置、映像出力方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151123

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171127

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181122

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191126

Year of fee payment: 8