KR101465459B1 - 콘텐트의 부가적인 프레임들을 기반으로 한 비디오 콘텐트의 적응형 렌더링 - Google Patents

콘텐트의 부가적인 프레임들을 기반으로 한 비디오 콘텐트의 적응형 렌더링 Download PDF

Info

Publication number
KR101465459B1
KR101465459B1 KR1020087026656A KR20087026656A KR101465459B1 KR 101465459 B1 KR101465459 B1 KR 101465459B1 KR 1020087026656 A KR1020087026656 A KR 1020087026656A KR 20087026656 A KR20087026656 A KR 20087026656A KR 101465459 B1 KR101465459 B1 KR 101465459B1
Authority
KR
South Korea
Prior art keywords
elements
rendering
rendering device
content signal
primary
Prior art date
Application number
KR1020087026656A
Other languages
English (en)
Other versions
KR20080111515A (ko
Inventor
발트 제라르 버날드 바렌버그
레오 잔 벤도벤
마크 조제프 윌렘 마틴스
마이클 아드리안스준 크롬펜하워
프레데릭 잔 데 브위인
Original Assignee
티피 비전 홀딩 비.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 티피 비전 홀딩 비.브이. filed Critical 티피 비전 홀딩 비.브이.
Publication of KR20080111515A publication Critical patent/KR20080111515A/ko
Application granted granted Critical
Publication of KR101465459B1 publication Critical patent/KR101465459B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

콘텐트 신호의 현재 부분의 요소들과 위치적으로 관련되는 요소들을 결정하기 위하여 콘텐트 신호의 이전 및/또는 이후의 시간적인 부분들을 분석하는 것을 포함하는 콘텐트를 렌더링하는 디바이스(500) 및 방법이 개시된다. 콘텐트 신호의 현재 부분은 텔레비전과 같은 1차 렌더링 디바이스(530) 상에서 렌더링되는 반면, 콘텐트 신호의 현재 부분의 요소들과 위치적으로 관련되는 요소들은 동시에 2차 렌더링 디바이스(540) 상에서 렌더링된다. 일 실시예에서, 2차 렌더링 디바이스(540) 상에서 렌더링되는 요소들은 콘텐트 신호의 렌더링된 현재 부분보다 더 낮은 해상도 및/또는 더 낮은 프레임 속도로 렌더링될 수 있다. 일 실시예에서, 콘텐트 신호의 이전 및 이후의 시간적인 부분들 중 적어도 하나는 콘텐트 신호보다 더 낮은 해상도로 분석될 수 있다.
Figure R1020087026656
콘텐트 신호, 비디오 콘텐트, 프레임 속도, 해상도, 렌더링 디바이스.

Description

콘텐트의 부가적인 프레임들을 기반으로 한 비디오 콘텐트의 적응형 렌더링{ADAPTIVE RENDERING OF VIDEO CONTENT BASED ON ADDITIONAL FRAMES OF CONTENT}
본 시스템은 주위 광 특성(ambient light characteristic)들이 복수의 이미지 프레임(image frame)들을 기반으로 하여 적응되는 주위 조명 효과(ambient lighting effect)들을 갖는 비디오 디스플레이 유닛(video display unit)들에 관한 것이다.
콘텐트(content)의 종횡비(aspect ratio)를 제공된 콘텐트의 종횡비로부터 프리젠테이션 디바이스(presentation device)의 애스팩트 비로 변화시킴으로써 콘텐트의 프리젠테이션을 조정하는 시스템들이 공지되어 있다. 종횡비는 일반적으로 렌더링(rendering)된 이미지들의 폭 대 높이 비와 같은 이미지 아웃라인(outline)에 관련된다.
예를 들어, 16:9의 종횡비는 하이-엔드 텔레비전 세트(high-end television set)들에 대한 표준 디스플레이 형상으로서 광범위하게 채택되었고, 이제 대부분의 텔레비전 방송들은 4:3 종횡비로 송신된다. 동시에, 다른 종횡비들(예를 들어, 16:9, 14:9, 등)을 갖는 많은 량들의 이미지 재료가 제공되지만, 이 재료는 궁극적으로 4:3 종횡비를 갖는 디스플레이 디바이스들 상에 디스플레이된다. 이 부정합으로 인하여, 몇몇 형태의 종횡비 변환이 전형적으로 제공된다.
4:3 대 16:9 변환을 제공하기 위한 하나의 시스템에서, "레터박스(letterbox)" 프리젠테이션이라 칭해지는 것을 제공하는 디스플레이된 콘텐트의 측면들에 블랙 바(black bar)들이 추가된다. 이 방법은 실제 16:9 결과를 제공하지 않지만, 전형적으로 다른 방법들에 의해 도입된 이미지 왜곡을 제거하기 위하여 제공된다. 대안적인 시스템에서, 이미지들(예를 들어, 모션 픽처 프레임(motion picture frame)들)은 콘텐트를 수평 및 수직으로 스트레칭(stretching)시킴으로써 확대될 수 있지만, 이 시스템은 콘텐트의 상부 및 하부에서의 정보가 손실되도록 한다. 또 다른 실시예에서, 콘텐트는 수평 방향에서만 스트레칭될 수 있지만, 이 시스템은 콘텐트 내의 디스플레이된 물체들이 왜곡되도록 하여, 물체들의 형상을 변화시킨다(예를 들어, 원형 물체들이 타원형 형상이 된다). 유사하게, 디스플레이된 콘텐트는 불균일 줌 팩터(non-uniform zoom factor)로 수평으로 스트레칭되어, 디스플레이된 이미지의 측면 상의 물체들이 디스플레이된 이미지의 중심에서의 물체들보다 더 스트레칭될 수 있다. 이 시스템은 왜곡이 거의 없거나 전혀 없이 디스플레이될 중심에 위치된 물체들을 제공하지만, 이러한 물체들이 디스플레이의 한 부분(예를 들어, 디스플레이의 중심)으로부터 디스플레이의 또 다른 부분(예를 들어, 디스플레이의 엣지(edge))로 이동할 때, 상기 물체는 디스플레이를 횡단할 때 상이한 줌 팩터들을 겪게 될 것인데, 이는 상당히 혼란스러울 수 있다. 이 문제는 텔레비전 프리젠테이션을 위해 편집되는 모션 픽처 콘텐트와 같은 16:9 콘텐트로서 발생되는 콘텐트에 의해 악화된다. 종종, 이 콘텐트는 모션 픽처 콘텐트가 나중에 브로드캐스팅(broadcasting)되는 4:3 종횡비 콘텐트를 생성하기 위하여 상기 모션 픽처 콘텐트의 일측으로부터 상기 모션 픽처 콘텐트의 또 다른 측으로 스캐닝되는 "팬-앤드-스캔(pan-and-scan)" 기술을 사용하여 제공된다. 이 팬-앤드-스캔 프리젠테이션에서, 물체들은 디스플레이의 일측으로부터 또 다른 측으로 항상 이동하고 있다.
마치 본원에 완전히 설명된 것처럼 본원에 참조되어 있는 Klampenhouwer의 미국 특허 공개 번호 제2003/0035482호("Klampenhouwer 특허")는 이전 및/또는 다음 이미지로부터의 픽셀(pixel)들을 사용함으로써 소정의 이미지를 확장시키는 시스템을 설명한다. 예를 들어, 우측으로의 글로벌 모션 이동을 갖는 제공된 이동하는 이미지에 대하여, 이전 이미지들은 소정 이미지에서 묘사된 물체들을 왜곡시킴이 없이 소정 이미지의 좌측으로 픽셀들을 채우는데 사용될 수 있다. 유사하게, 저장된 콘텐트 또는 디스플레이되기 얼마 전에 이용 가능하고 우측으로의 글로벌 모션 이동을 갖는 콘텐트에 대하여, 이후 이미지들은 소정 이미지의 우측으로 픽셀들을 채우는데 사용될 수 있다. 이 시스템은 종래 해결책들보다 콘텐트의 더 자연스러운 프리젠테이션을 제공하지만, 디스플레이 디바이스 이상으로 콘텐트의 프리젠테이션을 개선시키지 못한다.
Koninklijke Philips Electronics N.V(Philips) 및 다른 회사들은 전형적인 가정용 또는 사무용 애플리케이션들에 대한 비디오 콘텐트를 개선시키기 위해 주위 또는 주변 조명을 변화시키는 수단을 개시하였다. 비디오 디스플레이 또는 텔레비전에 추가된 주위 조명은 뷰어(viewer) 피로를 감소시키고 경험의 깊이 및 리얼리즘(realism)을 개선시키는 것으로 나타났다. 현재, Philips는 텔레비전 주위의 프레임이 텔레비전을 지지하거나 상기 텔레비전 부근에 있는 후벽(back wall) 상에 주위 광을 투사하는 주위 광원들을 포함하는, 주위 조명을 갖는 평판 텔레비전들을 포함하는 일련의 텔레비전들을 갖는다. 더욱이, 텔레비전으로부터 떨어진 광원들은 또한 텔레비전 디스플레이 이상으로 확장되는 주위 광을 생성하는데 사용될 수 있다.
마치 본원에 완전히 설명된 것처럼 본원에 참조되어 있는 PCT 특허 출원 WO2004/006570호는 색조(hue), 채도, 휘도, 컬러(color)들, 장면 변화들의 속도, 인식된 캐릭터(character)들, 검출된 무드(mood), 등과 같은 디스플레이된 콘텐트의 컬러 특성들을 기반으로 하여 주위 조명 효과들을 제어하는 시스템 및 디바이스를 개시한다. 동작 시에, 상기 시스템은 수신된 콘텐트를 분석하며, 주위 조명 요소들을 제어하기 위하여 전체 디스플레이에 걸쳐, 평균 컬러와 같은 콘텐트의 분포를 사용하거나 디스플레이의 경계 부근에 위치되는 디스플레이된 콘텐트의 부분들을 사용할 수 있다. 주위 광 피처(feature)는 일반적으로 시간적인 평균화와 함께 프레임을 기반으로 하여 주위 조명 효과들을 발생시켜서 주위 조명 요소들의 시간적인 전이(transition)를 스무드 아웃(smooth out)하도록 하기 위하여 디스플레이 자체의 비디오 콘텐트를 사용한다. 다른 시스템들에서, 현재 묘사된 이미지들과의 조정에서 주위 조명 효과들을 발생시키기 위하여 조명 스크립트(lighting script)가 사용될 수 있다. 이 시스템이 감지된 이미지 크기를 효율적으로 확장시키지만, 실제로, 종래의 주위 조명 시스템들은 전형적으로 콘텐트의 소정 프레임에 제공된 물체들 및 장면만을 확장시킨다.
본 시스템의 목적은 종래 기술의 단점들을 극복하고 더 몰입적인 뷰잉 경험(immersive viewing experience)을 용이하게 하기 위하여 주위 조명 효과를 개선시키는 것이다.
본 시스템은 콘텐트를 렌더링하는 디바이스 및 방법을 제공한다. 상기 디바이스 및 방법은 콘텐트 신호의 현재 부분의 요소들과 위치적으로 관련되는 요소를 결정하기 위하여 콘텐트 신호의 이전 및/또는 이후의 시간적인 부분들을 분석하는 것을 포함한다. 콘텐트 신호의 현재 부분은 텔레비전과 같은 1차 렌더링 디바이스 상에서 렌더링되는 반면, 콘텐트 신호의 현재 부분의 요소들과 위치적으로 관련되는 요소들은 2차 렌더링 디바이스 상에서 동시에 렌더링된다. 일 실시예에서, 2차 렌더링 디바이스 상에서 렌더링되는 요소들은 콘텐트 신호의 렌더링된 현재 부분보다 더 낮은 해상도로 렌더링될 수 있다. 일 실시예에서, 이전 및 이후의 시간적인 부분들 중 적어도 하나는 콘텐트 신호보다 더 낮은 해상도로 분석될 수 있다.
상기 2차 렌더링 디바이스 상에서 렌더링되는 요소들은 변화하는 해상도로 렌더링될 수 있고, 여기서 변화는 1차 렌더링 디바이스 상에서 렌더링된 콘텐트 신호에 대한 렌더링된 요소의 위치를 기반으로 하여 결정된다. 또 다른 실시예에서, 상기 2차 렌더링 디바이스 상에서 렌더링되는 요소들은 1차 렌더링 디바이스 상에서 렌더링된 콘텐트 신호에 대한 렌더링된 요소의 위치를 기반으로 하여 결정되는 해상도로 렌더링될 수 있다. 상기 2차 렌더링 디바이스 상에서 렌더링되는 요소들은 1차 렌더링 디바이스 상에서 렌더링된 콘텐트 신호에 대한 렌더링된 요소의 시간적인 위치를 기반으로 하여 결정되는 해상도로 렌더링될 수 있다.
상기 2차 렌더링 디바이스 상에서 렌더링된 요소들은 결정된 요소들에 관련된 주위 경험 데이터(AMBX) 및 보충적인 개선 정보(supplemental enhancement information: SEI)와 같은 보조 데이터를 사용하여 렌더링될 수 있다. 보조 데이터는 콘텐트 신호와 함께 브로드캐스팅되거나 콘텐트 신호와 함께 저장되는 것과 같이, 콘텐트 신호에 관련될 수 있다. 이 방식으로, 1차 렌더링 디바이스의 장소에서의 프로세싱 요건들이 감소되고/감소되거나, 렌더링된 요소들에 관련된 더 정확한 정보가 제공될 수 있다. 보조 데이터는 또한 2차 디스플레이들 상의 피처들 및/또는 물체들의 포지셔닝(positioning)을 결정하는 것을 돕기 위한 정보를 제공할 수 있다.
일 실시예에서, 상기 2차 렌더링 디바이스는 주위 조명 렌더링 디바이스일 수 있고, 상기 요소들은 주위 조명 요소들로서 렌더링될 수 있다. 동일하거나 대안적인 실시예에서, 상기 2차 렌더링 디바이스는 하나 이상의 주변 렌더링 디바이스들(예를 들어, 디스플레이들)일 수 있고, 상기 요소들은 주변 이미지 요소들로서 렌더링될 수 있다. 본원에 사용되는 바와 같이, 주변 렌더링 디바이스/디스플레이는 1차 렌더링 디바이스의 부근에 있는 렌더링 디바이스/디스플레이를 설명하기 위한 것이다. 상기 결정된 요소들은 1차 렌더링 디바이스에 대한 2차 렌더링 디바이스의 위치를 기반으로 하여 결정될 수 있다. 상기 2차 렌더링 디바이스는 복수의 2차 디스플레이들을 포함할 수 있다. 상기 결정된 요소들은 상기 1차 렌더링 디바이스에 대한 상기 2차 렌더링 디바이스들 각각의 위치를 기반으로 하여 결정될 수 있다. 상기 결정된 요소들은 콘텐트에 관련된 주위 경험 데이터(AMBX) 및 보충적인 개선 정보(SEI)와 같은 보조 정보를 기반으로 하여 결정될 수 있다.
상기 2차 렌더링 디바이스는 2개 이상의 2차 렌더링 디바이스들을 포함할 수 있는데, 상기 2차 렌더링 디바이스들 중 하나는 1차 렌더링 디바이스의 일측(예를 들어, 위, 아래, 좌측, 우측)에 위치되고 상기 2차 렌더링 디바이스들 중 다른 하나는 상기 1차 렌더링 디바이스의 또 다른 측에 위치된다. 일 실시예에서, 상기 콘텐트 신호의 이전 및 이후의 시간적인 부분들 각각은 예를 들어, 1차 렌더링 디바이스의 좌측 및 우측에 위치되는 2차 렌더링 디바이스들에 대하여 상기 요소들을 결정하기 위해 분석될 수 있다. 일 실시예에서, 상기 2차 렌더링 디바이스 상에서 렌더링된 요소들은 1차 렌더링 디바이스 상에서 렌더링된 콘텐트 신호보다 더 느린 프레임 속도(frame rate)로 렌더링될 수 있다.
이하는 다음의 도면들과 함께 취해질 때 상술된 특징들 및 장점들 뿐만 아니라, 부가적인 특징들 및 장점들을 입증하는 설명적인 실시예들의 설명들이다. 이하의 설명들에서, 제한이라기보다는 오히려 설명을 위하여, 특정 아키텍처(architecture), 인터페이스(interface)들, 기술들, 등과 같은 특정한 세부사항들이 설명된다. 그러나, 이러한 특정 세부사항들을 벗어난 다른 실시예들이 여전히 첨부된 청구항들의 범위 내에 있는 것으로 이해된다는 것이 당업자들에게는 명백할 것이다. 더구나, 명확화를 위하여, 널리 공지된 디바이스들, 회로들, 및 방법들의 상세한 설명들은 본 시스템의 설명을 모호하지 않게 하기 위하여 생략된다.
도면들이 설명을 위하여 포함되며 본 시스템의 범위를 나타내지 않는다는 점이 명백하게 이해되어야 한다. 첨부 도면들에서, 상이한 도면들에서의 동일한 참조 번호들이 유사한 요소들을 나타낼 수 있다.
도 1은 본 시스템의 실시예에 따른 디스플레이의 뷰잉 경험을 개선시키도록 구성되는 본 시스템의 실시예를 도시한 도면.
도 2는 본 시스템의 실시예에 따른 시스템의 정면도.
도 3은 본 시스템의 실시예에 따른 주위 조명 소스를 사용하는 주위 조명 시스템의 세부사항들을 도시한 조감도.
도 4는 본 시스템의 실시예에 따른 설명적인 몰입적 주변 조명 시스템을 도시한 도면.
도 5는 본 시스템에 따른 시스템을 도시한 도면.
도 1은 4:3 종횡비 디스플레이 에어리어와 같은 통상적인 뷰잉 에어리어의 외부에 광 패턴(light pattern)들(120A, 120B)을 생성함으로써 디스플레이(110)의 뷰잉 경험을 개선시키도록 구성되는 본 시스템의 실시예(100)를 도시한다. 이 실시예에서, 이 증가의 콘텐트들은 예를 들어, 현재 비디오 이미지 외부의 에어리어까지의 현재 비디오 프레임의 확장을 계산함으로써 이전 주위 조명 피처들에서 적용될 수 있는 바와 같이, 스크린 또는 이의 부분들 상에 나타난 현재 비디오 콘텐트로부터 간단히 도출되지 않는다. 도시된 실시예에서, 4:3 종횡비 이미지에 제공된 비디오 콘텐트의 현재 렌더링(예를 들어, 비디오 콘텐트의 디스플레이된 프레임)은 비디오 콘텐트의 이전 및/또는 이후 프레임들(현재 프레임 이전 또는 이후)로부터 도출된 확장 이미지들(예를 들어, 광 패턴들(120A, 120B) 중 하나 이상)에 의해 확장된다. 비디오 콘텐트의 이전 및/또는 이후 프레임들은 하나 이상의 이전 및/또는 이후 비디오 프레임들을 포함할 수 있다. 일 실시예에서, 이전 및/또는 이후 비디오 프레임의 (예를 들어, 피처, 물체, 및/또는 일반적으로 요소와 같은) 일부만이 분석될 수 있다. 예를 들어, 이전 프레임의 배경 피처는 전체 이전 프레임을 검사함이 없이 분석될 수 있다. 일 실시예에서, 2개 이상의 프레임 부분들이 분석될 수 있다. 예를 들어, 2개의 연속적인 이전 프레임 부분들, 즉 하나의 이전 부분들 및 현재 프레임 부분이 본 시스템에 따라 사용될 수 있다. 또 다른 실시예에서, 광 패턴(예를 들어, 광 패턴(120A))을 결정하기 위하여 (예를 들어, 이전 또는 이후 프레임 부분 중 적어도 하나를 포함하는) 2개의 프레임 부분들이 분석될 때, 상기 프레임 부분들은 실시예에서, 상기 프레임 부분들이 시간적으로 연속적일 수 있을지라도, 시간적으로 연속적일 필요는 없다. 확장 에어리어들(130A, 130B) 중 하나 이상은 디스플레이(110)의 뷰어의 퍼스펙티브에서 디스플레이(110) 뒤에 위치되는 벽 상에 하나 이상의 주위 조명 이미지들을 렌더링(예를 들어, 투사)함으로써 제공되는 것과 같이, 본 시스템에 따른 주위 조명 피처에 의해 제공될 수 있다. 당연히, 광 패턴들(120A, 120B) 중 하나 이상은 디스플레이(110)에 부착된 하나 이상의 렌더링 디바이스들 및/또는 하나 이상의 렌더링 디바이스들(예를 들어, 프로젝터(projector)), 또는 디스플레이(110)로부터 분리되며 광 패턴들(120A, 120B) 중 하나 이상을 렌더링(디스플레이 및/또는 투사)할 능력을 갖는 다른 디바이스들에 의해 제공될 수 있다. 일 실시예에서, 광 패턴들(120A, 120B) 중 하나 이상은 하나 이상의 디스플레이 디바이스들에 의해 제공될 수 있다. 예를 들어, 광 패턴(120A)은 주위 조명 요소들로서 동작하는 2개 이상의 디스플레이 디바이스들에 의해 제공될 수 있다. 유사하게, 광 패턴(120B)은 주위 광 요소들로서 동작하는 2개 이상의 디스플레이 디바이스들에 의해 제공될 수 있다.
본 시스템에 따른 일 실시예에서, 광 패턴들(120A, 120B) 중 하나 이상은 디스플레이(110) 상에 표현된 프레임들보다 더 낮은 해상도로 제공된다. 예를 들어, 확장 에어리어들(130A, 130B) 중 하나 이상은 확장 에어리어 당 20x40 픽셀들의 해상도로 제공될 수 있다. 당연히, 다른 실시예들에서, 더 높은 해상도가 전형적으로 더 낮은 해상도 광 패턴을 제공하는데 필요한 것보다 광 패턴들을 식별하는데 더 많은 프로세싱을 필요로 한다는 인식과 함께, 더 높거나 더 낮은 해상도가 제공될 수 있다.
예를 들어, 본 시스템에 따르면, 프레임들(예를 들어, 이전 및/또는 진행 프레임들)에 묘사된 물체들 및/또는 프레임들의 글로벌 및/또는 로컬 모션 벡터들(global and/or local motion vector)은 본 시스템에 따른 용도를 위해 결정되고/되거나, MPEG(moving picture experts group) 이미지 프로세싱 동안 사용될 수 있는 것과 같이, 시스템의 다른 부분들의 부산물(by-product)로서 결정될 수 있다. 디스플레이(110) 내에 제공된 이미지(예를 들어, 골(goal)(140))의 (예를 들어, 픽셀들의 배경/우선순위의) 글로벌 모션 벡터 또는 디스플레이(110) 상에 제공된 비디오 프레임들이 시간적으로 진행함에 따라 우측으로 이동하고 있는 물체의 로컬 모션 벡터를 갖는 비디오 이미지에 대하여, 광 패턴(120A)은 디스플레이(110) 상에 현재 나타난 프레임보다 앞서는 비디오 콘텐트의 하나 이상의 프레임들로부터 식별될 수 있다. 프레임(글로벌) 및/또는 물체(로컬)의 모션 벡터들의 크기 및 확장 에어리어(130A) 내에 제공된 광 패턴(120A)의 폭은 용이하게 인식될 수 있는 바와 같이, 광 패턴(120A)을 결정하기 위하여 얼마나 많은 이전 프레임들이 조사되는지를 결정하는데 있어서 사용될 수 있다. 또 다른 실시예에서 모션 벡터들의 크기와 관계없이 동일한 수의 이전 프레임들이 조사될 수 있을지라도, 본 시스템에 따른 일 실시예에서, 더 큰 모션 벡터들에 대하여, 광 패턴(120A)을 식별하는데 더 적은 이전 프레임들(예를 들어, 하나 이상의 이전 프레임들)이 사용될 수 있다. 예를 들어, 일 실시예에서, 모션 벡터들이 더 클 때, 확장 에어리어(130A) 내에 더 높은 해상도가 제공될 수 있다.
유사하게, 디스플레이(110) 내에 제공된 이미지의 글로벌 모션 벡터 또는 디스플레이(110) 상에 제공된 비디오 프레임들이 시간적으로 진행함에 따라 우측으로 이동하고 있는 묘사된 선수(150)와 같은 물체의 로컬 모션 벡터를 갖는 비디오 이미지에서, 광 패턴(120B)은 디스플레이(110) 상에 현재 나타난 프레임보다 앞서는 비디오 콘텐트의 하나 이상의 프레임들로부터 식별될 수 있다. 이 프로세싱은 비디오 콘텐트의 프레임들이 콘텐트가 디스플레이(110) 상의 프리젠테이션 얼마 전에 로컬로 저장되고/되거나 버퍼링될 때와 같이, 디스플레이(110) 상에 표현되기 얼마 전에 이용 가능할 때 용이해진다. 프레임(글로벌) 및/또는 물체(로컬)의 모션 벡터들의 크기 및 확장 에어리어(130B) 내에 제공된 해상도의 폭은 용이하게 인식될 수 있는 바와 같이, 광 패턴(120B)을 결정하기 위하여 얼마나 많은 이전 프레임들이 조사되는지를 결정하는데 있어서 사용될 수 있다. 또 다른 실시예에서 모션 벡터들의 크기와 관계없이 동일한 수의 이전 프레임들이 조사될 수 있을지라도, 본 시스템에 따른 일 실시예에서, 더 큰 모션 벡터들에 대하여, 광 패턴(120B)을 식별하는데 더 적은 진행 프레임들(예를 들어, 하나 이상의 진행 프레임들)이 사용될 수 있다. 예를 들어, 일 실시예에서, 모션 벡터들이 더 클 때, 확장 에어리어(130B) 내에 더 높은 해상도가 제공될 수 있다.
당연히, 글로벌 및/또는 로컬 모션 벡터들이 좌측으로 이동하고 있기 때문에, 하나 이상의 이전 프레임들이 확장 에어리어(130B) 내에 묘사된 광 패턴(120B)을 식별하는데 사용될 수 있다. 유사하게, 좌측으로 이동하는 글로벌 및/또는 로컬 모션 벡터들에 대하여, 하나 이상의 진행 프레임들이 확장 에어리어(130A)에서 묘사된 광 패턴(120A)을 식별하는데 사용될 수 있다.
이 유형의 실시예에서, 확장 에어리어들(130, 130B) 중 하나 이상에 제공된 해상도는 결정된 모션 벡터들의 크기를 기반으로 하여 동적으로 결정될 수 있다. 용이하게 인식될 수 있는 바와 같이, 확장 에어리어들(130A, 130B)에 나타난 이미지들의 정확도는 광 패턴들(120A, 120B)을 도출하는데 사용된 프레임들이 디스플레이(110) 상에 디스플레이된 데이터의 프레임으로부터 시간적으로 멀어짐에 따라 감소될 수 있다. 또한, 확장 에어리어들(130A, 130B)에 나타난 이미지 부분들의 정확도는 광 패턴들(120A, 120B)을 도출하는데 사용된 프레임들의 이미지 부분들이 디스플레이(110) 상에 디스플레이된 데이터의 프레임에 나타난 현재 이미지 부분들로부터 물리적으로 더 멀어짐에 따라 감소될 수 있다. 즉, 광 패턴들(120A, 120B)이 더 확장됨으로써, 확장 에어리어들(130A, 130B) 내에 디스플레이되는 광 패턴들(120A, 120B)과 함께 디스플레이(110) 상에 현재 디스플레이되는 프레임에 의해 구성되는 "완전한 이미지"를 확장시킬수록, 확장 에어리어들(130A, 130B)의 먼 에어리어들의 정확도가 감소될 수 있다. 따라서, 물리적이고 위치적으로 멀다는 용어는 완전한 이미지 내의 근접(proximity) 및 디스플레이(110)에 근접 중 하나 또는 둘 모두가 확장 에에어리어들(130A, 130B) 내에서 렌더링된 콘텐트를 결정하는데 사용될 수 있기 때문에, 디스플레이 디바이스(110)로부터 더 멀리 생성되는 광 패턴들(120A, 120B) 및/또는 완전한 이미지라는 말로 디스플레이(110) 상에 현재 디스플레이되는 프레임으로부터 더 멀리 위치되는 물체들을 포함하도록 의도된다. 일부 경우들에서 이 사건을 보상하기 위하여, 확장 에어리어들(130A, 130B)의 물리적으로 및/또는 시간적으로 먼 에어리어들의 해상도는 확장 에어리어들(130A, 130B)이 디스플레이(110) 상에 렌더링된 이미지들로부터 더 물리적으로 및/또는 시간적으로 멀어짐에 따라 감소될 수 있다.
본 시스템에 따른 일 실시예에서, 디스플레이(110) 상에 렌더링된 비디오 프레임 외부에 보이는 것을 시간적으로 예측하기 위하여 Klompenhouwer 특허에서 적용된 것들과 같은 자연스러운 모션 기술들이 사용될 수 있다. 자연스러운 모션은 장면 내에서 물체들을 추적하므로, 물체들이 장면을 벗어나(예를 들어, 디스플레이(110)를 넘어서) 이동할 때 프레임 외부의 물체 모션을 외삽(extrapolate)할 수 있다. 이 방식으로, 확장 에어리어들(130A, 130B)에 제공된 콘텐트의 결정은 자연스러운 모션 이미지 스무딩(smoothing)을 가능하도록 이미 제공된 계산들을 사용하여 행해질 수 있다.
일 실시예에서, 확장 에어리어들 내에 제공된 이미지들이 저 해상도로 구성됨으로써 다소 흐릿할 수 있기 때문에, 제공된 세부사항의 양을 잠재적인 외삽 아티팩트(artifact)들을 감추고자 하는 희망과 균형을 맞추기 위하여 (상술된 바와 같이) 먼 에어리어들에서 더 낮은 해상도가 제공될 수 있다. 일 실시예에서, 이것은 저-해상도에서 이미지/물체 추적을 수행함으로써, 큰 물체들의 흐릿한 버전들, 또는 소위 물체 블롭(object blob)들을 추적하는 것으로 충분할 수 있다. 물체 블롭들의 추적은 낮은 계산 복잡도로 수행될 수 있는데 그 이유는 이것이 비디오 콘텐트의 축소규모 버전들에서 수행될 수 있기 때문이다. 예를 들어, 디스플레이(110) 상에 디스플레이된 비디오 콘텐트 내의 적색 차는 (스크린을 벗어나 이동할 때) 확장 에어리어(들)에서 적색 블롭으로서 지속될 수 있다. 그래서, 보조 디스플레이들 상의 데이터는 1차 디스플레이에 대한 이미지들로부터 현재 주변의 투사의 정확한 저 해상도 버전일 필요가 있는 것이 아니라, (축구의 예에서, 이것이 이미지화된 관중 배경에 실제로 대략적으로 존재하는 경우에 저 해상도 컬러 그래디언트(color gradient)가 첨가될 수 있는 상부 관중 절반에 대해 흐리고 기울어진 잔디 녹색 하부 절반인, 아마도 통계적으로 구성된 회색 에어리어 및 배경에 대한 글로벌로 구성된 컬러 프로파일 및 물체에 대한 (예를 들어, 타원형 형상의) 물체의 일반적인 형상을 닮은 블롭 형상 만큼 단순할 수 있다. 이하에 더 상세히 논의되는 바와 같은 주변 디스플레이에 대하여, 비전(vision)이 예리하지 않고 몰입의 느낌만이 필요할 수 있기 때문에, (퍼스펙티브(perspective)) 변형이 허용 가능하다는 점을 주의하라. 따라서, 퍼스펙티브 변형의 결정은 용이하게 인식될 수 있는 바와 같이, 주변 디스플레이들 내에 제공된 이미지들 및/또는 확장 에어리들 내에, 요소들이라고 일반적으로 칭해지는 광 패턴들(예를 들어, 피처들, 물체들, 배경들, 등)에 적용될 수 있다. 일 실시예에서, 배경 요소들은 퍼스펙티브 변형 없이 표시될 수 있지만, 전경 요소들(예를 들어, 차, 선수, 등)은 퍼스펙티브(디스플레이(110)에서 발생되는 각도를 따른 요소의 스트레칭 및 이로부터 외부로의 발산)을 제공하기 위하여 요소들의 결정 이후에 변형된다.
자연스러운 모션 방법이 저 해상도의 광 패턴들(120A, 120B)과 결합되는 실시예에서, 스크린을 벗어나 이동한 물체가 과거/미래 비디오 프레임들에서 존재하였고/존재할 것이라는 점을 관측할 수 있어서, 이와 같은 스크린을 벗어난 물체를 나타내는 것은 과거/미래 이미지 콘텐트, 또는 일 실시예에서, 적어도 이와 같은 고립된 콘텐트/요소(들)의 간소화된 근사화/모델을 나타내는 것과 유사하다. 그래서, 매우 저-비용 구현이 가능하며, 여기서 글로벌 모션 모델은 글로벌 모션을 추정하는데(이로써 추적을 구현함), 이는 확장 이미지(들)(130A, 130B) 내에 제공된 어느 이미지들을 기반으로 하여 과거(또는 미래) 이미지들 내에서 얼마나 멀리 취해져야 하는지를 결정한다. 확장 이미지를 결정하는 것은 이 경우에, 이들이 이전의 주위 조명 시스템들에 의해 계산될 수 있기 때문에 확장 이미지들(매우 낮은 해 상도의 경우에 컬러들) 지연(또는 전진)시키는 것과 등가이며, 여기서 지연/전진의 량은 글로벌 모션 추정기에 의해 행해진 추적에 의해 결정될 수 있다. 원래 비디오 대신 확장 이미지들을 버퍼링함으로써, 아주 적은 버퍼링이 필요로 되며, 피처는 종래 시스템들의 비용을 실질적으로 증가시킴이 없이 구현될 수 있다.
본 발명의 실시예에 따르면, (예를 들어, 다른 적절한 시스템들이 용이하게 적용될 수 있을지라도, 모션 및 오클루젼(occlusion)을 기반으로 하는 것과 같이, 전경/배경 검출 알고리즘으로) 전경(예를 들어, 전경 물체(252)) 및 배경(예를 들어, 배경 물체(254)) 물체들, 장면들, 또는 일반적으로, 피처들 사이를 구별하고 이들을 개별적으로 추적하고, 예를 들어, 배경 또는 전경 피처들 중 하나만을 기반으로 하여 확장들을 계산하는 것이 유용할 수 있다. 또 다른 실시예에서, (예를 들어, MPEG-C 파트 3 표준에 따른, 여분 층들로서 송신되는 깊이 맵들의 형태의) 3-차원(3D) 정보의 존재는 피처들을 식별하고 어느 피처들이 전경인지 및 배경인지를 식별하는데 도움을 줄 수 있어서, 이러한 피처들은 확장 에어리어(들) 내에서 더 용이하게 추적되고 적절하게 위치될 수 있다.
일 실시예에 따르면, 확장 에어리어(들)에 대한 프로세싱은 주 디스플레이 하드웨어에 의해 수행될 수 있고, 여기서 결과적인 확장 광 패턴(들)이 확장 광 패턴(들)을 디스플레이하는데 사용되는 임의의 2차 디스플레이 에어리어(들)(예를 들어, 디스플레이 표면들, 디스플레이들, 등)에 전달된다. 또 다른 실시예에서, 확장 에어리어(들)에 대한 하나 이상의 프로세서들은 1차 디스플레이와 동일한 비디오 스트림을 공급받을 수 있으며, 여기서 하나 이상의 프로세서들 각각은 분석(또는 자신이 필요로 하는 파트(part))을 수행함으로써, 렌더링에 대한 자신의 부분을 결정한다. 일 실시예에서, 시스템의 특정 파티셔닝(partitioning)은 (예를 들어, 콘텐트 생성 측에서) 디스플레이(들) 전체와 별도의 추적 및 예측 파트를 가질 수 있고, 여기서 (예를 들어, 확장 시각화의 상이한 크기들 및 형상들을 허용하도록 파라미터화되는) 확장 광 패턴(들)이 예를 들어, 고급 비디오 부호화(Advanced Video Coding; AVC) 표준 내에서 보충적인 개선 정보(SEI)의 형태 및/또는 주위 경험(AMBX) 정보(예를 들어, 스크립트들, 소프트웨어 엔진, 아키텍처, 등)의 형태로 비디오 콘텐트를 따라 송신된다.
주 디스플레이의 환경에 확장 이미지 에어리어(들)을 투사/제공하기 위하여 여러 시스템들 및/또는 방법들이 사용될 수 있다. 특정 실시예들이 본원에 설명되었지만, 당업자들에 의해 용이하게 인식될 수 있는 바와 같이, 또한 본 시스템의 범위 내에서 적합한 다른 실시예들이 구상될 수 있다.
본 시스템에 따른 하나 이상의 실시예들에서, 주위 렌더링 시스템의 부분들은 종래의 주위 조명 하드웨어를 사용하여 주 디스플레이(예를 들어, 주 디스플레이의 베즐(bezel)) 내로 구성되거나, 예를 들어, 마이크로-프로젝터들을 사용하여 더 높은 해상도 쪽으로 종래 하드웨어를 확장시킬 수 있다.
일 실시예에서, (예를 들어, 이미지의 측면에서 현재 컬러를 닮은 컬러 대신에) 주 디스플레이 에어리어 내에 현재 제공된 이미지의 적절한 확장을 디스플레이함으로써, 본 시스템을 구현하기 위해 이전에 설명된 프로세싱만이 종래의 주위 조명 텔레비전에 추가될 필요가 있다. 본 시스템 및 종래의 주위 조명 해결책들이 물 체들을 다소 상이하게 추적함으로써, 주위 조명 에어리어들에서 상이한 콘텐트들을 제공한다는 점이 주의되어야 한다. 녹색 배경 앞에 적색 물체가 디스플레이되는 경우에, 적색 물체가 종래의 주위 조명 텔레비전 상에서 스크린을 벗어나 이동할 때, 주위 조명은 적색 물체가 스크린을 벗어남에 따라 녹색으로 변화될 것이다. 본 시스템에 따른 실시예에서, (예를 들어, 확장 에어리어들(130A, 130B) 중 하나에서 생성된) 대응하는 주위 조명 효과는 예를 들어, 물체들의 최종 공지된 모션, 자신이 스크린을 벗어나 이동한 이후에 프레임들에 대해 추정된 글로벌 모션, 및/또는 예를 들어, 마치 본원에 완전히 설명된 것처럼 본원에 참조되어 있는 2001년 8월자 IEEE Transactions on Consumer Electronics pp. 559-567에서 공개된 R.B. Wittebrood 및 G. de Haan에 의한 "Real-Time Recursive Motion Segmentation of Video Data on a Programmable Device"에서 제공된 바와 같이, 물체 기반 모션 추정기로부터 획득된 바와 같은 속도에 따라, 그 후에 잠시 동안 적색으로 머무름으로써, 주 스크린 경계를 지나서 이동하는 적색 물체를 나타낼 수 있다. 본 시스템에 따르면, 스크린을 벗어난(예를 들어, 디스플레이(110)) 이미지/컬러들이 나타나는 시간은 물체가 이동하고 있는 속도(예를 들어, 관련된 모션 벡터의 크기, 고속=짧은 지속기간)에 따를 수 있지만, 본 시스템의 일 실시예에 따르면, (예를 들어, 적색 차에 기인하는) 이러한 컬러들은 느린 속도들(예를 들어, 물체의 모션이 아직 확장 에어리어(들) 외부로 물체를 이동시키지 못하는 속도들)에 대해서도 잠시 후에 디폴트 컬러(default color)(예를 들어, 배경 컬러)로 페이딩(fading)될 수 있다. 용이하게 인식될 수 있는 바와 같이, 일부 실시예들에서, 본 시스템의 페이 드(fade)는 확장 에어리어를 매우 고속으로 떠나는 빠르게 이동하는 물체들에 대해서도 너무 느릴 수 있다.
종래의 주위 조명 시스템들은 (예를 들어, 광 출력을 증가시키고, 상이한 측면에서 상이한 컬러들을 생성하기 위하여) 이미 다수의 광원들로 구성될 수 있다. 각각의 광원을 개별적으로 제어하고, 예를 들어, 렌즈(lens) 및/또는 확산기(시스템)를 추가함으로써, 저-해상도 이미지가 1차 디스플레이 주위의 환경(예를 들어, 디스플레이(110)의 좌측, 우측, 위 및/또는 아래) 상에 투사될 수 있다. 부가적인 실시예들에서, 1차 디스플레이 주위의 천장 및/또는 바닥은 또한 디스플레이 상에 존재하는 주위 조명 요소들에 의해 조사되고/되거나, 전용 주위 조명 타워(tower) 또는 결합된 주위 조명 디바이스/스피커에 의해 제공될 수 있는 것과 같이, 1차 디스플레이에 먼 주위 조명 요소들에 의해 제공될 수 있다. 일 실시예에서, 주위 조명 마이크로-프로젝터들은 또한 별도의 주변장치들(예를 들어, 사용자의 희망들에 따라 배치될 수 있는 자립형 마이크로-프로젝터 포드(pod)들)의 형태를 취할 수 있다. 용이하게 인식될 수 있는 바와 같이, 주위 조명을 제공하는 다른 시스템들이 본 시스템에 따라 사용될 수 있다.
도 2는 본 시스템의 실시예에 따른 시스템(200)의 정면도를 도시한다. 일 실시예에서, 액정 디스플레이(LED) 기반 디스플레이 디바이스와 같은 디스플레이(210)가 저-해상도 주위 조명 시스템을 제공하기 위하여 사용될 수 있다. 도 2에 도시된 실시예에서, 주위 조명 패널들(260A, 260B) 중 하나 이상이 디스플레이(210)에 추가될 수 있다. 주위 조명 패널들(260A, 260B)은 (예를 들어, 제조 공 장에서 제공되거나, 예를 들어, 버스 및 프로토콜을 통하여 가정 사용자에 의해 2차 시장에 접속되는) 애드-온(add-on)들로서 제공될 수 있다. 일 실시예에서, 주위 조명 패널들(260A, 260B)은 마이크로-프로젝터들, 개별적이거나 그룹화된 발광 다이오드들(LED들), 등과 같은 주위 광원(250)을 포함할 수 있다. 일 실시예에서, 스케일링(scaling)된 저 해상도 픽처를 생성하기 위하여 제공된, 렌즈/확산기 시스템(240) 뒤에 LED들(예를 들어, RGB 트리플릿(triplet)들)의 MxN 어레이의 개별적인 출력들을 제어함으로써 패터닝된 주위 광 효과가 제공될 수 있다.
이 실시예에서, 주위 광원(250)의 출력은 변경 가능할 수 있다. 예를 들어, 주위 광원(250)은 디스플레이(210) 뒤/주위에 위치된 벽 또는 위치된 반사 스크린들에 의해 제공될 수 있는 것과 같이, 주위 광원에 의해 조사된 에어리어를 선택하도록 위치/재위치될 수 있다. 일 실시예에서, 렌즈(240)가 또한 디스플레이(210) 및 벽 각도 사이에 형성된 각도의 함수로서 벽 투사를 위해 수동 및/또는 자동으로 조정될 수 있다. 예를 들어, 일 실시예에서, 마이크로-프로젝터는 수직선을 중심으로 회전 가능하도록 디스플레이에 동작적으로 부착될 수 있다. 자동으로 조정되는 실시예에서, 주위 광 패널들(260A, 260B)은 주위 조명 효과가 제공되는 표면 및 디스플레이(210) 사이에서 만들어진 각도를 결정하기 위해 카메라 및/또는 다른 시스템을 내장함으로써, 주위 광원(250)의 각도를 자동으로 조정하여 확장 에어리어(들)(230A, 230B)를 제공한다.
본 시스템의 일 실시예에 따르면, 비디오 콘텐트의 배경 부분들은 물체 블롭들(270)(예를 들어, 비교적 균일한 청색 배경 상의 나무들)과 같이, 균일한 영역 블롭들로 세그먼팅(segmenting)될 수 있다. 컬러 및/또는 텍스처(texture)를 기반으로 하는 것과 같은 많은 적절한 세그먼테이션 알고리즘(segmentation algorithm)들이 사용될 수 있다. 일 실시예에서, 세그먼테이션 모델은 메타데이터 및/또는 다른 보조 데이터와 같은 더 높은 장면 기술 정보로 안내될 수 있다. 부가적인 실시예에서, 이 대략적인 배경 패턴은 디스플레이(210)의 어느 한 측 상에서 (예를 들어, 저 해상도 주기 또는 통계적 텍스쳐럴 패턴(textural pattern)으로서) 반복되고/되거나, 확장 에어리어(들)(230A, 230B) 중 하나 또는 둘 모두에서 제공된 소정의 주위 조명 효과의 상이한 부분들을 통해 반복될 수 있다. 이 방식으로, 예를 들어, 확장 에어리어(들) 중 한 부분에 대해서만 피처 및/또는 물체 정보가 식별될 수 있고, 예를 들어, 식별된 배경 정보는 확장 에어리어(들)(230A, 230B)의 규칙적 및/또는 불규칙적 간격들로 반복될 수 있다. 일 실시예에 따르면, SEI 메시지들은 정확한 블롭들을 획득하기 위한 세그먼테이션 안내를 제공하는데 사용될 수 있는 배경 및 전경 물체들을 식별함으로써 세그먼테이션을 안내하는 데이터를 포함할 수 있다. 또 다른 실시예에서, 세그먼테이션은 주변 이미지가 비교적 저 해상도 이미지일 수 있기 때문에, 자동으로 수행될 수 있다. 마이크로-프로젝터들을 사용하는 또 다른 실시예에서, 더 높은 용량의 주위 조명 이미지화가 제공될 수 있다. 마이크로-프로젝터들은 렌더링된 이미지(들)/콘텐트의 확장을 용이하게 하기 위하여 주위 조명 패널들(260A, 260B)의 실질적인 파트를 따라 길어질 수 있다.
도 3은 본 시스템의 실시예에 따른 주위 조명 소스(350)를 사용하는 주위 조명 시스템(300)의 세부사항들을 설명하는 조감도를 도시한다. 설명적으로, 주위 조명 소스(350)는 하나 이상의 2-차원(2D, M x N) LED 어레이(들)를 포함하거나, 하나 이상의 마이크로-프로젝터(들)를 포함할 수 있다. 디스플레이(310)의 정면에 위치된 시점(302)에서 나타낸 바와 같이, 베즐(312)은 뷰어의 밴티지 포인트(vantage point), 즉 시점(302)에서 시스템(300)의 실질적으로 숨기는 부분들을 제공받는다. 주위 조명 소스(350)에 의해 생성된, 방사 주위 광 콘(cone)들(342)로 도시된 확산된 주위 조명 효과를 지향시키기 위하여 확산 (마이크로) 렌즈들과 같은 렌즈(시스템)(340)가 제공될 수 있다. 본 시스템에 따른 일 실시예에서, 방사된 광 콘들은 예를 들어, 주위 조명 소스의 픽셀 컬럼(column)마다 생성될 수 있다. 주위 조명 소스(350) 및 렌즈(340)의 조합에 의해 생성된 주위 조명 효과는 설명적인 실시예에서 벽(380)으로 반사된다. 당연히, 또 다른 실시예에서, 주위 조명 소스(350)는 디스플레이(310) 또는 적어도 상기 디스플레이(310) 상에 디스플레이된 콘텐트의 소스에 동작적으로 결합되는 별도의 투사 디바이스 또는 마이크로-투사 디바이스에 의해 디스플레이(310)와 별도로 제공될 수 있다.
도 4는 본 시스템의 실시예에 따른 설명적인 몰입적 주변 조명 시스템(400)을 도시한다. 도시된 실시예에서, 디스플레이(410)로서 설명적으로 도시된 1차 렌더링 디바이스를 넘어선 복수의 확장 이미지들을 제공하기 위하여 주변 디스플레이들(412A, 412B, 412C, 412D)로서 설명적으로 도시된 별도의 2차 렌더링 디바이스들이 사용될 수 있다. 일 실시예에서, 별도의 주변 디스플레이들(412A, 412B, 412C, 412D) 각각은 사용자에게 몰입적 뷰잉 환경을 제공하기 위하여 별도의 마이크로-프로젝터들과 같은 별도의 조명 시스템들에 의해 조사될 수 있다. 대안적인 실시예에 서, 주변 디스플레이들(412A, 412B, 412C, 412D) 중 하나 이상은 투사 시스템들과 관계없이 이미지들을 제공할 수 있다. 별도의 주변 디스플레이들(412A, 412B, 412C, 412D)은 가정 건강 해결책에서와 같은 실내용 자전거에 의해 제공되는 것과 같이, 뷰어 퍼스펙티브(480) 주위에 위치될 수 있다. 또 다른 실시예에서, 사용자에게는 몰입적 비디오 게임 플레잉 환경이 제공될 수 있다.
용이하게 인식될 수 있는 바와 같이, 2차 렌더링 디바이스들이 1차 렌더링 디바이스의 좌측 및 우측 사이에 동일하게 이격되고 나누어지는 것으로 설명적으로 도시되어 있지만, 이는 단지 본 시스템의 설명을 위해서만 제시된다. 용이하게 인식될 수 있는 바와 같이, 2차 렌더링 디바이스들은 1차 렌더링 디바이스의 좌측 및 우측에 대칭적으로 분산될 필요가 없다. 실제로, 2차 렌더링 디바이스들은 사용자가 희망하는 임의의 방식으로 위치 및 분산될 수 있다. 또 다른 실시예에서, 2차 렌더링 디바이스들 중 하나 이상은 1차 렌더링 디바이스의 위 및/또는 아래에 위치될 수 있다. 동일하거나 또 다른 실시예에서, 1차 렌더링 디바이스의 또 다른 측 상에서보다 1차 렌더링 디바이스의 일측에 더 많은 2차 렌더링 디바이스들이 위치될 수 있다. 바람직한 경우, 2차 렌더링 디바이스들은 1차 렌더링 디바이스의 또 다른 측을 제외하고 1차 렌더링 디바이스의 일측(상부, 하부, 좌측, 우측)에 배치될 수 있다. 더 많거나 더 적은 2차 렌더링 디바이스들이 또한 본 시스템에 따라 사용될 수 있다.
도시된 실시예에서, 사용자는 1차 디스플레이(예를 들어, 플라즈마 디스플레이 패널(PDP)) 상에서 콘텐트(예를 들어, 비디오)를 제공받고, 보조 콘텐트는 주변 디스플레이들(412A, 412B, 412C, 412D)에 제공, 도출, 등이 행해질 수 있다. 이 실시예에서, 주변 디스플레이들(412A, 412B, 412C, 412D)이 주로 사용자의 주변 비전에서 뷰잉될 것이기 때문에, 상기 주변 디스플레이들(412A, 412B, 412C, 412D)은 더 높은 해상도 디스플레이들이 또한 제공될 수 있을지라도 비교적 저-해상도일 수 있지만, 렌더링된 콘텐트는 1차 디스플레이 상에 제공된 콘텐트와 (예를 들어, 위치적으로, 시간적으로, 등) 관련되어야 한다.
더 작은 룸(room)에서, 주변 디스플레이들(412A, 412B, 412C, 412D)은 뷰어 퍼스펙티브를 둘러싸는 벽들에 부착될 수 있다. 임의의 이벤트(event)에서, 주변 디스플레이들(412A, 412B, 412C, 412D)은 주변 뷰를 사용자에게 렌더링하도록 동작적으로 위치되어야 한다(예를 들어, 뷰어 퍼스펙티브(480)에 충분히 가깝게 위치되어야 한다). 대안적인 실시예에서, 주변 디스플레이들(412A, 412B, 412C, 412D)은 몰입적 주변 조명 시스템(400)이 제공되는 룸의 천장에 부착될 수 있다. 일 실시예에서, 천장 플레이트(plate)(490)는 주변 디스플레이들(412A, 412B, 412C, 412D)의 포지셔닝을 용이하게 하기 위하여 제공될 수 있다. 패널들은 영구적으로 위치되거나, 주변 디스플레이들(412A, 412B, 412C, 412D)이 사용되지 않을 때 룸을 통한 트래픽의 방해가 되지 않은 곳으로의 포지셔닝을 가능하게 하도록 구성될 수 있다.
일 실시예에 따르면, 주변 디스플레이들(412A, 412B, 412C, 412D)은 예를 들어, 용이한 부착/탈착 및 배치를 가능하게 하는 훅(hook) 및 패스너(fastener) 부착 시스템(예를 들어, VelcroTM)의 사용을 통하여, 뷰어 퍼스펙티스(480) 주위(예를 들어, 의자 또는 홈 트레이너(home trainer) 주위)의 희망하는 위치에 부착될 수 있다. 일 실시예에서, 주변 디스플레이들(412A, 412B, 412C, 412D)에는 주변 디스플레이들(412C, 412D) 상에 설명적으로 도시된 롤링 메커니즘(rolling mechanism)들(414C, 414D)과 같은 롤링 메커니즘이 제공될 수 있다. 당연히, 롤링 메커니즘은 희망에 따라 천장에 숨겨질 수 있다. 이 실시예에서, 롤링 메커니즘은 주변 디스플레이들(412C, 412D)이 필요로 되지 않을 때 방해가 되지 않는 곳으로 용이하게 롤 업(roll up)될 수 있도록 하고, 주변 디스플레이들(412C, 412D)의 사용이 희망될 때 롤 다운(roll down)될 수 있도록 한다. 대안적인 실시예에서, 주변 디스플레이들은 주변 디스플레이들(412A, 412B)에 설명적으로 부착된 힌징 메커니즘(hinging mechanism)들(416A, 416B)과 같은 힌징 메커니즘으로 천장에 부착될 수 있다. 이 실시예에서, 힌징 메커니즘들(416A, 416B)은 주변 디스플레이들(412A, 412B)이 사용되지 않을 때 천장을 향해 상부로 회전될 수 있도록 하고, 주변 디스플레이들(412A, 412B)의 사용이 희망될 때 하부로 회전될 수 있도록 한다. 당연히, 주변 디스플레이들(412A, 412B, 412C, 412D)을 위치시키는 다른 시스템들이 적절히 적용될 수 있으며, 몰입적 주변 조명 시스템(400)의 사용이 희망될 때에도 자동화될 수 있다.
이 실시예에 따르면, 몰입적 주변 조명 시스템(400)은 (예를 들어, 콘텐트의 이전 및 이후 프레임들을 기반으로 하여) 디스플레이(410) 상에 제공된 콘텐트를 분석하고, 콘텐트의 이전 및/또는 이후 프레임들에서 제공된 피처들 및 물체들과 실질적으로 일치하는 영역들 또는 블롭들을 생성할 수 있다. 본 시스템에 따른 일 실시예에서, 몰입적 주변 조명 시스템(400)은 또한 또는 콘텐트의 다른 프레임들 대신, 적절한 피처들 및 블롭들을 결정하는데 현재 콘텐트를 사용할 수 있다.
예를 들어, 전경 차 물체(450)는 (예를 들어, 3D 깊이 맵, 다른 여분의 데이터를 사용하여, 그리고/또는 콘텐트 자체로부터 자동적으로) 세그먼팅될 수 있고, 주변 디스플레이들 중 하나 이상을 따라 흐릿한 블롭으로서 자신의 경로를 유지할 수 있다. 부가적으로, 배경 피처들(예를 들어, 도로) 및 물체들(예를 들어, 나무들)은 주변 디스플레이들(412A, 412B, 412C, 412D) 중 하나 이상 상에 유사하게 묘사될 수 있다. 예를 들어, 주변 이미지 정보를 생성하기 위한 알고리즘의 간단한 변형에서, 옆/위로 통과하는 나무들은 주 디스플레이 이미지들에서 나무 정보(주기성)과 상관시키는 간단한 저 주파수 시공 광 변조(low frequency spatiotemporal light modulation)에 의해 에뮬레이팅(emulating)될 수 있다. (유사한 시스템들이 주변 요소들에 대해서 적용될 수 있다.) 일 실시예에서, 피처들 및/또는 물체들이 사용자의 주변 비전 내로 더 진행함에 따라 제공된 피처들 및/또는 물체들의 세부사항들(예를 들어 해상도)은 피처들 및/또는 물체들을 결정하기 위한 분석 요건들을 감소시키고/시키거나, 희망하지 않는 이미지 아티팩트들을 감소시키기 위하여 줄어들 수 있다. 예를 들어, 차 물체(450)가 주변 디스플레이(412C)로부터 주변 디스플레이(412D)로 진행함에 따라, 상기 차 물체(450)는 차 물체로부터 차 블롭으로 (예를 들어, 단계적이거나 점진적으로) 변화되거나, 단순히 차 물체의 이미지의 해상도가 감소될 수 있다. 주변 디스플레이들(412A, 412B, 412C, 412D) 각각에 의해 제공된 세부사항들에서의 유사한 감소들은 피처들 및/또는 물체들이 뷰어의 주변 뷰 내로(예를 들어, 주변 디스플레이들(412A, 412B)에 대해 우측으로부터 좌측으로, 그리고 주변 디스플레이들(412C, 412D)에 대해 좌측으로부터 우측으로) 더 이동함에 따라 감소될 수 있다. 일 실시예에서, 주변 디스플레이들(412B, 412C)은 주변 디스플레이들(412A, 412D)보다 더 높은 해상도를 제공할 수 있게 될 수 있다. 이 방식으로, 주변 디스플레이들(412B, 412C)에 대해 사용된 것보다 주변 디스플레이들(412A, 412D)에 대해 잠재적으로 더 저렴한 디스플레이들이 사용될 수 있어서, 몰입적 주변 조명 시스템(400)의 비용을 감소시킬 수 있도록 한다.
일 실시예에 따르면, 몰입적 주변 조명 시스템(400)(및/또는 주변 조명 요소들을 갖는 주변 조명 시스템)에는 주변 디스플레이들(412A, 412B, 412C, 412D) 상에 표현되는 피처들 및/또는 물체들의 적절한 결정을 가능하게 하기 위하여 주변 디스플레이들(412A, 412B, 412C, 412D)의 세부사항들이 제공될 수 있다. 예를 들어, 일 실시예에서, 디스플레이(410)와 비교되는 주변 디스플레이들(412A, 412B, 412C, 412D)의 크기는 (예를 들어, 차(450)의 경로를 지속하기 위해) 주변 디스플레이들(412A, 412B, 412C, 412D) 상에 묘사/렌더링되는 피처들 및/또는 물체들을 결정하기 위하여 제공될 수 있다. 다른 파라미터들이 또한 적절한 피처들 및/또는 물체들, 이의 포지셔닝 및/또는 해상도의 결정을 가능하게 하기 위하여 제공될 수 있다. 일 실시예에 따르면, 디스플레이 해상도, 최대 리프레시 속도(maximum refresh rate), 통신 결합의 형태(예를 들어, 유선, 무선, 광, 등)와 같은 주변 디스플레이의 디스플레이 케이퍼빌리티(capability)들이 또한 동작을 가능하게 하기 위하여 본 시스템에 수동 및/또는 자동으로 전달될 수 있다. 예를 들어, 1차 디스플레이의 리프레시 속도보다 더 적은 최대 리프레시 속도를 갖는 주변 디스플레이에 대하여, 주변 디스플레이 상에 제공된 피처들 및/또는 물체들의 리프레시 속도는 더 느린 리프레시 속도를 제공하도록 적절하게 적응될 수 있다. 예를 들어, 주변 디스플레이 상에 제공된 프레임들은 1차 디스플레이 상에서 갱신되는 2개 이상의 프레임들 마다 단지 한 번씩 갱신될 수 있다. 유사한 적응이 주위 조명 효과에 제공될 수 있다. 이것은 주위 및/또는 주변 효과를 제공하기 위한 계산적 요건들을 감소시키는 추가된 이점을 가질 수 있다.
일 실시예에서, 보조 데이터(예를 들어, AMBX, AVC의 SEI, 등)가 제공되는 경우에, 상기 보조 데이터는 2차 렌더링 디바이스(들)에 제공되는 피처들 및/또는 물체들을 결정하는데 사용될 수 있다. 이 실시예에서, 보조 데이터는 1차 디스플레이의 장소에서 프로세싱 요구들을 감소시킬 수 있고/있거나 2차 렌더링 디바이스(들)에 제공되는 피처들 및/또는 물체들의 정확한 결정을 제공하는데 사용될 수 있다. 또한, 보조 데이터는 구성-종속적일 수 있는 주변 디스플레이들(412A, 412B, 412C, 412D) 상의 피처들, 물체들(예를 들어, 세부사항 및/또는 블롭들)의 최적 포지셔닝을 용이하게 할 수 있다. 예를 들어, 3개의 주변 디스플레이가 각도들(X) 이상으로 확장된, 어느 한 측 상에 제공되는 구성에서, 용과 같은 물체는 예를 들어, 특정한 결정된 각도(예를 들어, 각도 Y)에서 중간 주변 디스플레이 상에 나타나거나 천장 상에 투사된 사용자 "위"에 우뚝 솟는 경우, 더 무섭게 보일 수 있다. 동일한 콘텐트에 대하여, 2개의 주변 디스플레이들을 갖는 구성에서, 본 시스템의 실시예는 용에 대한 최선의 묘사가 예를 들어, 각도 Z에서 2차 페인(pane) 상에 있다는 것을 예를 들어, 보조 데이터를 사용하여 도출할 수 있다.
보조 신호가 물체의 위치를 파라미터적으로 규정할 수 있는 방법의 예는 다음이다:
식은 예를 들어, 다음일 수 있다:
중간의 좌측 디스플레이 가능한 확장, 또는
(예를 들어, 주 디스플레이의 크기 및 해상도/종횡에 따른, 그러나 또한 측면 패널들 상에(및/또는 주변 조명 시스템에 의해) 디스플레이될 수 있는 것에 따른) 주 디스플레이 외부의 퍼센티지(percentage)를 규정하는 더 복잡한 식; 및/또는
상이한 2차 디스플레이 구성들에 대해 하나 이상의 수정 식, 예를 들어, 3개의 측면 패널들이 존재하고/하거나 사용자 주위의 주변 각도가 예를 들어, 70 또는 110 도보다 더 큰 경우, 중간 주위인 것으로 결정된 요소들은 (가령, 중간 측면 패널 상에 배치되도록) 예를 들어, 2/3로 겹쳐쓰여질 수 있다.
일 실시예에서 2m 높이 및 50 cm 폭 디스플레이 에어리어, 1차 디스플레이의 최좌측까지 50 cm인의 본 시스템의 일 실시예에서 제공된 적절한 사용자 인터페이스의 사용을 통하여, 사용자가 인-홈 구성(in-home configuration) 이후에 대략적으로 측정 및 입력하였기 때문에, 로컬 디스플레이 시스템이 자신의 기하구조(예를 들어, 패널 배치, 위치)를 인지한다(또는 상기 시스템은 패널들이 포함된 국소화 수단을 통해 상기 시스템에 크기 및 위치 정보를 송신하는 것과 같이 자동적으로 구성된다). 또 다른 실시예에서, 상기 시스템은 패널들의 크기 및/또는 위치 정보를 식별하기 위하여 비전 시스템을 포함할 수 있다.
그 후, 상기 시스템은 (예를 들어, 최대 임팩트(impact)를 위해 생성 측에서 콘텐트 아티팩트들에 의해 제공된) 프로파일 내에 표시된 것과 가깝게 물체를 디스플레이하기 위하여 맵핑을 적용할 수 있다. 예를 들어, 상기 시스템은 중간의 포지셔닝이 소정의 시간(t)에서 차 물체에 대한 1차 좌측 주변 디스플레이 상의 픽셀 위치(1250, 999)에 대응한다는 것을 계산할 수 있다.
당연히, 실시예에 따르면, 상기 시스템은 제안/제공된 프로파일을 무시하거나 수정하고, 로컬 프로파일 및/또는 사용자에 의해 제공된 프로파일을 적용할 수 있다.
게다가, 간소화된 버전에서, 실시예에 따른 시스템이 가장 명백하게 추출 가능한 물체(예를 들어, 전경 물체/요소를 통과하는 큰 물체/요소) 상에서만 이 포지셔닝을 사용할 수 있을지라도, 물론 임의의 복잡도 및/또는 다수의 복잡도들의 안내 데이터는 어떤 배경 데이터와 함께 주변으로 투사되는 대략적인 박스(rough box)에서 시작하여 물체가 (예를 들어, 이 여분의 데이터가 결코 이미지들의 세트 내에 없는 경우에도, 주변 디스플레이들을 통해 자신이 이동할 때 용이 호흡하는 프레임(flame)에 대하여) 보조 수정 데이터를 포함하고/하거나, 수신된 모든 이미지들로부터 특정 방식으로 무엇이 추출 가능한지를 나타내야 하는 방법에 대한 매우 정확한 기술(description)까지, (예를 들어, 브로드캐스트 신호에 포함된) 콘텐트에 관련될 수 있다. 따라서, 보조 데이터는 콘텐트(예를 들어, 이미지 프레임들)로부터 결정 가능한 데이터를 보충할 수도 있고, 부가적인 데이터를 렌더링할 수 있도록 하는 부가적인 값을 시스템들에 추가하도록 요소들에 보충되고/되거나, 요소들을 추가하도록 부가적인 데이터를 제공할 수 있다.
본 시스템에 따른 일 실시예에서, 보조 데이터는 또한 비디오 데이터 또는 예측된 비디오 데이터를 수정/개선시키기 위한 데이터를 포함할 수 있다. 예를 들어, 본 시스템의 실시예에 따르면, 배경 나무들은 밝고-어두운(예를 들어, 녹색) 전이들로서 매우 간단히 요약됨으로써, 나무들 아래의 구동의 환영 물결 패턴을 시뮬레이팅하는데 필요한 프로세싱을 간소화시킬 수 있다. 이와 같은 시뮬레이션은 (예를 들어, 세그먼트 통계를 기반으로 하여) 이미지의 영역들을 추적함으로써 수행될 수 있다.
주변 디스플레이들 중 하나 이상은 Koninklijke Philips Electronics N.V로부터 입수 가능한 LumaliveTM 포토닉 텍스타일(photonic textile)과 같은 포토닉 텍스타일로부터 제조 가능하다. 포토닉 텍스타일은 저-해상도 이미지들과 같은 이미지들을 방출하도록 구성되며, 이에 따라, 주변 디스플레이들 중 하나 이상의 역할을 할 수 있다. 일 실시예에서, 포토닉 텍스타일은 주변 디스플레이들 중 하나 이상의 역할을 할 수 있고, 또한 다른 목적들을 서비스할 수 있다. 예를 들어, 포토닉 텍스타일로부터 제조되는 룸 내에 위치된 커튼(curtain)은 실시예에 따른 시스템이 동작 가능할 때, 네트워크 접속(유선, 무선, 광, 등)과 같은 결합을 통하여 주 디스플레이(예를 들어, 디스플레이(410))에 링크(link) 및 동기화될 수 있다. 시스템이 동작하고 있지 않을 때, 포토닉 텍스타일은 비활성이거나, 다른 이미지들을 디스플레이하도록 자율적으로 제어될 수 있다. 당연히, 용이하게 인식될 수 있는 바와 같이, 본 시스템의 디스플레이들 중 하나 이상은 디스플레이들이 포토닉 텍스타일로부터 제조되든지 아니든지 간에 유사하게 동작할 수 있다.
일 실시예에서, 디스플레이들(예를 들어, 주위 조명 디스플레이, 주변 디스플레이, 등) 중 하나 이상은 전자-잉크(e-잉크) 디스플레이 또는 다른 반사형 디스플레이로서 제조될 수 있다. 예를 들어, 주변 디스플레이로서 사용되는 바와 같은 이러한 디스플레이는 e-잉크 벽지의 형태를 취할 수 있다. e-잉크 벽지는 상기 시스템이 동작 중일 때 본 시스템에 따라 이미지들을 디스플레이할 수 있고, 상기 시스템이 동작중이 아닐 때, 벽지 패턴과 같은 다른 이미지들을 디스플레이할 수 있다. 일 실시예에서, e-잉크 포토-프레임(photo-frame) 및/또는 더 큰 프레임(들)은 하나 이상의 주위 및/또는 주변 디스플레이들로서 동작할 수 있다. 프레임들은 주변 디스플레이로서 동작하도록 주 디스플레이에 의해 제어되지 않을 때 페인팅(painting)들 및/또는 픽처들을 나타낼 수 있다. 본 시스템의 실시예에 따르면, 확장 이미지들은 디스플레이의 디스플레이 케이퍼빌리티들에 의해 결정되는 바와 같이 1차 디스플레이 디바이스보다 더 낮은 해상도, 더 낮은 리프레시 속도, 등으로 제공될 수 있다.
포토-프레임들, 등과 같은 다른 네트워크형 이미지 소스들이 주변 디스플레이들 및/또는 주위 조명 소스들로서 사용될 수 있다. 네트워크형 이미지 소스들은 상기 네트워크형 이미지 소스들의 가용성 및 케이퍼빌리티, 뿐만 아니라, 상기 네트워크형 이미지 소스들의 포지셔닝을 식별하기 위하여 자기 식별 및/또는 자동화된 쿼링 시스템(querying system)을 통해 시스템에 자동적으로 추가될 수 있다. 이 방식으로, 부가적인 이미지 및/또는 주위 조명 소스들은 성가신 설정 절차를 필요로 함이 없이 시스템으로부터 추가 및 제거될 수 있다. 대안적인 실시예에서, 디스플레이 특성, 위치, 등이 규정되는 1회 설정 절차가 수행될 수 있다. 그 후, 1차 디스플레이는 희망할 때, 주변 및/또는 주위 조명 효과들을 제공하기 위하여 2차 디스플레이(들)(예를 들어, 주변 디스플레이들, 주위 조명 디스플레이들, 등)에 자동적으로 링크될 수 있다. 일 실시예에서, 시스템의 에어리어 내에서의 디스플레이 및/또는 조명 케이퍼빌리티를 갖는 디바이스 및/또는 디스플레이 디바이스의 도입은 본 주위 조명 및/또는 주변 이미지화 시스템의 파트로서 디바이스의 등록을 가능하게 하기 위해 디바이스 및/또는 1차 디스플레이 상의 사용자 인터페이스의 제조를 개시할 수 있다. 일 실시예에서, 주위 및 주변 조명 효과들의 조합이 제공될 수 있는데, 여기서 상기 효과들의 일부는 주변 조명 효과들로서 제공되고 상기 효과들 중 일부는 주변 효과들로서 제공된다. 부가적인 변형에서, 2차 디스플레이들이 또한 본 시스템에 따라 주위 조명 효과를 생성하는 능력을 가질 수 있다. 당연히, 다른 조합들이 본 시스템에 따라 용이하게 적용될 수 있다.
본 시스템에 따른 실시예에서, 주변 및/또는 주위 디바이스로의 콘텐트의 확장 동안, 예를 들어, 적용될 때 글로벌/로컬 모션 모델의 정확도에서의 제한으로 인해, 아티팩트들이 나타날 수 있는데, 이는 주변 및/또는 주위 디바이스들에 의해 묘사된 물체들의 해상도, 품질 및/또는 위치를 저하시킬 수 있다. 그러므로, 주변 및/또는 주위 디바이스들에 대해 결정된 모든 "확장 데이터"(예를 들어, 주변 및/또는 주위 조명 디바이스들을 구동시키는데 사용된 데이터)가 제한된 시간적인 지속성을 가짐으로써, 데이터의 일정 정도의 정확도를 원조하는 것이 바람직할 수 있다. 일 실시예에서, 폴백 시나리오(fallback senario)는 2차 디바이스들을 구동시키기 위해 콘텐트의 현재 묘사된 프레임으로부터 도출된 데이터와 같이 "전형적인 주위 조명 데이터" 뿐만 아니라, 확장 데이터의 적어도 일부를 사용함으로써 구현될 수 있다. 예를 들어, 일 실시예에서, 현재 프레임과 시간적으로 가까운 프레임들로부터 결정된 확장 데이터가 전형적인 주위 조명 데이터를 통하여 주변 및/또는 주위 디바이스에 의해 렌더링되는 것을 결정하는데 주로 사용된다. 그러나, 확장 데이터의 특정 부분이 1차 디스플레이에 의해 현재 묘사된 데이터(피처들, 물체들, 배경, 전경, 등)로부터 시간적으로 더 멀어짐에 따라(오래됨에 따라), 전형적인 주위 조명 데이터는 오래된 확장 데이터를 예를 들어, 순환적인 필터링 시스템으로 교체하는데 점진적으로 사용될 수 있다. 전형적인 주위 조명 데이터가 이용 가능하지 않은 경우에, 디폴트 컬러 및/또는 조명이 또한 사용될 수 있다. 2차 디바이스들에 의한 렌더링된 것의 이러한 교체는 피처마다, 그리고 물체마다 수행될 수 있다. 예를 들어, 단일 확장 디바이스에 의해서도 제공되는 확장 데이터의 부분들은 확장 데이터의 다른 부분들보다 "더 신선할" 수 있다. 따라서, 본 시스템에 따른 일 실시예에서, 이 대체 프로세스는 피처마다, 그리고 물체마다 수행될 수 있다. 게다가, 콘텐트의 이전 부분들의 묘사 부분들이 장면 변화로 인해 더 이상 적합하지 않은 검출된 장면 변화의 경우에, 주변 조명 시스템 및/또는 주위 조명 시스템이 1차 디스플레이 상에 현재 묘사된 콘텐트 및/또는 디폴트 컬러(예를 들어, 명암도, 색조, 채도, 등) 및/또는 조명을 사용하여 2차 렌더링 디바이스에 대한 콘텐트를 결정할 수 있다.
도 5는 본 시스템의 실시예에 따른 시스템(500)을 도시한다. 상기 시스템은 메모리(520), 1차 렌더링 디바이스(530), 하나 이상의 2차 렌더링 디바이스(들)(540) 및 입/출력(I/O) 디바이스(570)에 동작적으로 결합된 프로세서(510)를 갖는다. 본원에 사용된 바와 같은 용어 렌더링 디바이스는 본 시스템에 따라 콘텐트를 렌더링할 수 있는 임의의 디바이스에 관련되도록 의도된다. 따라서, 1차 렌더링 디바이스는 텔레비전 디바이스와 같은 비디오 디스플레이 디바이스일 수 있고, 2차 렌더링 디바이스는 주위 조명 디바이스 및/또는 주변 렌더링 디바이스와 같은 디바이스일 수 있다. 메모리(520)는 애플리케이션 데이터 뿐만 아니라, 콘텐트 프레임 데이터와 같은 다른 데이터를 저장하는 임의의 유형의 디바이스일 수 있다. 애플리케이션 데이터 및 피처와 물체 데이터와 같은 다른 데이터는 프로세서(510)가 본 시스템에 따른 동작 행위들을 수행하도록 구성된 프로세서(510)에 의해 수신된다. 동작 행위들은 콘텐트를 디스플레이하기 위하여 디스플레이(530) 중 적어도 하나를 제어하는 것 및 본 시스템에 따라 2차 렌더링 디바이스를 제어하는 것을 포함한다. 입/출력(570)은 키보드, 마우스, 또는 자립형이거나 유선 또는 무선 링크와 같은 임의의 유형의 링크를 통하여 프로세서(510)와 통신하기 위한, 개인용 컴퓨터, 개인용 디지털 보조장치, 및 텔레비전과 같은 디스플레이 디바이스의 부분과 같이 시스템의 부분일 수 있는 터치(touch)에 민감한 디스플레이들을 포함한 다른 디바이스들일 수 있다. 명백하게, 프로세서(510), 메모리(520), 1차 렌더링 디바이 스(530), 2차 렌더링 디바이스(540), 및/또는 I/O 디바이스(570)는 모두 또는 부분적으로 텔레비전 기반 콘텐트 렌더링 디바이스와 같은 텔레비전 플랫폼(platform)의 일부일 수 있다.
본 시스템의 방법들은 특히 컴퓨터 소프트웨어 프로그램에 의해 수행되는데 적합하며, 이와 같은 컴퓨터 소프트웨어 프로그램은 바람직하게는 상기 방법들의 개별적인 단계들 또는 행위들에 대응하는 모듈들을 포함한다. 이와 같은 소프트웨어는 물론 집적 칩, 주변 디바이스 또는 메모리(예를들어, 메모리(520) 또는 프로세서(510)에 결합된 다른 메모리)와 같은 컴퓨터-판독 가능한 매체 내에 구현될 수 있다.
컴퓨터-판독 가능한 매체 및/또는 메모리(520)는 임의의 기록 가능한 매체(예를 들어, RAM, ROM, 제거 가능한 메모리, CD-ROM, 하드 드라이브들, DVD, 플로피 디스크들 또는 메모리 카드들)이거나, 송신 매체(예를 들어, 시분할 다중 액세스, 코드 분할 다중 액세스, 또는 다른 무선-주파수 채널을 사용하는 광섬유, 월드-와이드 웹, 케이블들, 및/또는 무선 채널을 포함하는 네트워크)일 수 있다. 컴퓨터 시스템과 함께 사용하는데 적합한 정보를 저장 및/또는 제공할 수 있는 공지되거나 개발된 임의의 매체가 컴퓨터-판독 가능한 매체 및/또는 메모리(520)로서 사용될 수 있다.
부가적인 메모리들이 또한 사용될 수 있다. 컴퓨터 판독 가능한 매체, 메모리(520), 및/또는 임의의 다른 메모리들은 장기, 단기, 또는 장기와 단기 메모리들의 조합일 수 있다. 이러한 메모리들은 본원에 개시된 방법들, 동작 행위들, 기능들을 구현하도록 프로세서(510)를 구성할 수 있다. 메모리들은 분산되거나 로컬일 수 있으며, 프로세서(510)는 부가적인 프로세서들이 제공될 수 있는 경우에, 또한 예를 들어, 1차 렌더링 디바이스 및/또는 2차 렌더링 디바이스들 중 하나 이상 내에서 분산되거나 단 하나일 수 있다. 메모리들은 전기, 자기 또는 광 메모리, 또는 이러한 유형 또는 다른 유형들의 저장 디바이스들의 임의의 조합으로서 구현될 수 있다. 더구나, 용어 "메모리"는 프로세서에 의해 액세스된 어드레스 가능한 공간 내의 어드레스(address)로부터 판독될 수 있거나 상기 어드레스로 씌여질 수 있는임의의 정보를 포함하는데 대체로 충분한 것으로 해석되어야 한다. 이 정의에 의하여, 네트워크 상의 정보는 프로세서(510)가 본 시스템에 따른 동작을 위해 네트워크로부터 정보를 회수할 수 있기 때문에, 예를 들어, 메모리(520) 내에 여전히 존재한다.
프로세서(510) 및 메모리(520)는 임의의 유형의 프로세서/제어기, 마이크로제어기 및/또는 메모리일 수 있다. 프로세서(510)는 제어 신호들을 제공하고/하거나, I/O 디바이스(570)로부터의 입력 신호들에 응답하여 동작들을 수행하며 메모리(520)에 저장된 명령들을 실행할 수 있다. 프로세서(510)는 애플리케이션-특정 또는 범용 집적 회로(들)일 수 있다. 또한, 프로세서(510)는 본 시스템에 따라 수행되는 전용 프로세서이거나, 많은 기능들 중 하나만이 본 발명에 따라 수행되도록 동작하는 범용 프로세서일 수 있다. 프로세서(510)는 프로그램 부분, 다수의 프로그램 세그먼트들을 사용하여 동작하거나, 전용 또는 다용도 집적 회로를 사용하는 하드웨어 디바이스일 수 있다.
물론, 상기 실시예들 또는 프로세스들 중 어느 하나가 본 시스템에 따른 하나 이상의 다른 실시예들 또는 프로세스들과 결합될 수 있다는 것이 인식되어야 한 다. 예를 들어, 어떤 시스템들, 알고리즘들, 기술들이 주위 조명 시스템 또는 주변 이미지 시스템 중 하나에 관련하여 본원에 설명되었을지라도, 용이하게 인식될 수 있는 바와 같이, 이들 중 많은 것들은 어느 한 시스템 및/또는 결합된 시스템에서 적용될 수 있다.
최종적으로, 상기-논의는 본 시스템의 단지 설명을 위한 것이며, 첨부된 청구항들을 임의의 특정 실시예 또는 실시예들의 그룹으로 제한하는 것으로 해석되어서는 안된다. 따라서, 본 시스템이 특히 특정한 예시적인 실시예에 관련하여 설명되었지만, 다수의 변경들 및 대안적인 실시예들이 다음의 청구항들에서 설명된 바와 같은 본 시스템의 경계 및 의도된 사상과 범위를 벗어남이 없이 당업자들에 의해 고안될 수 있다는 점이 또한 이해되어야 한다. 예를 들어, 설명적인 논의에서, 주위 조명 요소들 및 주변 렌더링 디바이스들이 1차 디스플레이 디바이스로부터 물리적으로 분리된 디바이스들로서 설명되었지만, 이는 특정하게 언급되지 않는다면, 제한하고자 하는 것이 아니다. 예를 들어, 일 실시예에서, 1차 렌더링 디바이스(예를 들어, 1차 디바이스) 및 2차 렌더링 디바이스는 단일 렌더링 디바이스의 부분들을 나타낸다. 이 실시예에서, 렌더링 디바이스는 벽 기반 디스플레이의 일부로서 형성된 바와 같은 큰 렌더링 디바이스일 수 있다. 이 실시예에서, 렌더링 디바이스의 상이한 부분들이 1차 및 2차 렌더링 디바이스들로서 동작할 수 있다. 본 시스템의 범위 내에서 부가적인 변경들이 의도된다. 따라서, 명세서 및 도면들은 설명적인 방식으로 간주되어야 하며, 첨부된 청구항들의 범위를 제한하고자 하는 것이 아니다.
첨부된 청구항들을 해석할 시에,
a) 단어 "포함하는"은 소정 청구항에서 목록화된 것들 이외의 요소들 또는 행위들의 존재를 배제하지 않고;
b) 요소 앞의 단어 "a" 또는 "an"는 복수의 이와 같은 요소들의 존재를 배제하지 않으며;
c) 청구항들에서의 임의의 참조 부호들은 이들의 범위를 제한하지 않고;
d) 여러 "수단"들은 동일한 항목 또는 하드웨어 또는 소프트웨어 구현 구조 또는 기능에 의해 표현될 수 있으며;
e) 개시된 요소들 중 어느 하나는 (예를 들어, 이산 및 집적 전자 회로를 포함한) 하드웨어 부분들, 소프트웨어 부분들(예를 들어, 컴퓨터 프로그래밍), 및 이의 임의의 조합으로 이루어질 수 있고;
f) 하드웨어 부분들은 아날로그 및 디지털 부분들 중 하나 또는 둘 모두로 이루어질 수 있으며;
g) 개시된 디바이스들 또는 이의 부분들 중 어느 하나는 특별히 달리 언급되지 않는다면 함께 결합되거나 부가적인 부분들로 분리될 수 있고;
h) 행위들 및 단계들의 특정 순서는 특별하게 표시되지 않는다면 필요로 되지 않게 된다는 점을 이해해야 한다.

Claims (66)

  1. 이미지 콘텐트를 렌더링(rendering)하는 방법에 있어서:
    콘텐트 신호의 현재 부분의 1차 요소들에 관련되는 2차 요소들을 결정하기 위하여 상기 콘텐트 신호의 이전 및 이후의 시간적인 부분들 중 적어도 하나를 분석하는 단계;
    1차 렌더링 디바이스 상에서 상기 콘텐트 신호의 상기 현재 부분을 렌더링하는 단계; 및
    상기 콘텐트 신호의 상기 현재 부분의 렌더링과 동시에, 2차 렌더링 디바이스 상에서 상기 콘텐트 신호의 상기 현재 부분의 상기 1차 요소들에 관련되는 상기 2차 요소들을 렌더링하는 단계를 포함하고,
    상기 2차 요소는 상기 1차 렌더링 디바이스 상의 상기 현재 부분을 상기 2차 렌더링 디바이스로 지속적으로 디스플레이하기 위한 것인, 이미지 콘텐트 렌더링 방법.
  2. 제 1 항에 있어서, 상기 2차 요소들을 렌더링하는 상기 단계는 상기 콘텐트 신호의 상기 렌더링된 현재 부분보다 낮은 해상도로 상기 2차 요소들을 렌더링하는 단계를 포함하는, 이미지 콘텐트 렌더링 방법.
  3. 제 1 항에 있어서, 상기 콘텐트 신호의 이전 및 이후의 시간적인 부분들 중 적어도 하나를 분석하는 상기 단계는 상기 콘텐트 신호보다 낮은 해상도로 수행되는, 이미지 콘텐트 렌더링 방법.
  4. 제 1 항에 있어서, 상기 2차 요소들을 렌더링하는 상기 단계는 변화하는 해상도로 상기 2차 요소들을 렌더링하는 단계를 포함하며, 상기 변화는 상기 1차 렌더링 디바이스 상에 렌더링된 상기 콘텐트 신호에 대한 상기 렌더링된 2차 요소들의 공간적 및 시간적 위치 중 적어도 하나를 기반으로 하여 결정되는, 이미지 콘텐트 렌더링 방법.
  5. 제 1 항에 있어서, 상기 2차 요소들을 렌더링하는 상기 단계는 상기 1차 렌더링 디바이스 상에 렌더링된 상기 콘텐트 신호에 대한 상기 렌더링된 2차 요소들의 위치를 기반으로 하여 결정되는 해상도로 상기 2차 요소들을 렌더링하는 단계를 포함하는, 이미지 콘텐트 렌더링 방법.
  6. 제 5 항에 있어서, 상기 2차 요소들을 렌더링하는 상기 단계는 상기 1차 렌더링 디바이스 상에 렌더링된 상기 콘텐트 신호에 대한 상기 렌더링된 2차 요소들의 시간적 위치를 기반으로 하여 결정되는 해상도로 상기 2차 요소들을 렌더링하는 단계를 포함하는, 이미지 콘텐트 렌더링 방법.
  7. 제 1 항에 있어서, 상기 분석하는 단계는 상기 결정된 2차 요소들에 관련된 보조 데이터를 생성하고 상기 보조 데이터를 상기 콘텐트 신호에 관련시키는 단계를 포함하며, 상기 2차 요소들을 렌더링하는 단계는 상기 보조 데이터를 사용하여 수행되는, 이미지 콘텐트 렌더링 방법.
  8. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.
    제 7 항에 있어서, 상기 보조 데이터는 상기 콘텐트 신호 내의 이미지 데이터에 보조적인 데이터의 표준의 프레임워크(framework)로 기술되는, 이미지 콘텐트 렌더링 방법.
  9. 청구항 9은(는) 설정등록료 납부시 포기되었습니다.
    제 8 항에 있어서, 상기 보조 데이터는 주위 경험 데이터(Ambient Experience data; AMBX) 및 보충적인 개선 정보(Supplemental Enhancement Information; SEI) 중 하나로 이루어지는, 이미지 콘텐트 렌더링 방법.
  10. 제 1 항에 있어서, 상기 2차 요소들을 렌더링하는 상기 단계는 주위 조명 요소들로서 상기 2차 요소들을 렌더링하는 단계를 포함하는, 이미지 콘텐트 렌더링 방법.
  11. 제 1 항에 있어서, 상기 2차 요소들을 렌더링하는 상기 단계는 주변 이미지 요소들로서 상기 2차 요소들을 렌더링하는 단계를 포함하는, 이미지 콘텐트 렌더링 방법.
  12. 제 1 항에 있어서, 상기 분석하는 단계는 상기 1차 렌더링 디바이스에 대한 상기 2차 렌더링 디바이스의 위치를 기반으로 하여 상기 2차 요소들을 결정하는 단계를 포함하는, 이미지 콘텐트 렌더링 방법.
  13. 제 1 항에 있어서, 상기 분석하는 단계는 상기 1차 렌더링 디바이스에 대한 복수의 2차 렌더링 디바이스들 각각의 위치를 기반으로 하여 상기 2차 요소들을 결정하는 단계를 포함하는, 이미지 콘텐트 렌더링 방법.
  14. 제 1 항에 있어서, 상기 분석하는 단계는 상기 이미지 콘텐트에 관련된 보조 데이터를 기반으로 하여 상기 2차 요소들을 결정하는 단계를 포함하는, 이미지 콘텐트 렌더링 방법.
  15. 청구항 15은(는) 설정등록료 납부시 포기되었습니다.
    제 14 항에 있어서, 상기 보조 데이터는 주위 경험 데이터(AMBX) 및 보충적인 개선 정보(SEI) 중 하나로 이루어지는, 이미지 콘텐트 렌더링 방법.
  16. 청구항 16은(는) 설정등록료 납부시 포기되었습니다.
    제 14 항에 있어서, 상기 분석하는 단계는 상기 1차 렌더링 디바이스에 대한 복수의 2차 렌더링 디바이스들 각각의 위치를 기반으로 하여 상기 2차 요소들을 결정하는 단계를 포함하는, 이미지 콘텐트 렌더링 방법.
  17. 제 1 항에 있어서, 상기 2차 요소들을 렌더링하는 상기 단계는 상기 1차 렌더링 디바이스의 일측에 위치된 복수의 2차 렌더링 디바이스들 중 하나 및 상기 1차 렌더링 디바이스의 다른 측에 위치된 상기 복수의 2차 렌더링 디바이스들 중 다른 하나에 대해 상기 2차 요소들을 렌더링하는 단계를 포함하는, 이미지 콘텐트 렌더링 방법.
  18. 청구항 18은(는) 설정등록료 납부시 포기되었습니다.
    제 17 항에 있어서, 상기 분석하는 단계는 상기 2차 요소들을 결정하기 위하여 상기 콘텐트 신호의 상기 이전 및 이후의 시간적인 부분들 각각을 분석하는 단계를 포함하는, 이미지 콘텐트 렌더링 방법.
  19. 제 1 항에 있어서, 상기 2차 요소들을 렌더링하는 상기 단계는 상기 렌더링된 콘텐트 신호보다 느린 프레임 속도로 상기 2차 요소들을 렌더링하는 단계를 포함하는, 이미지 콘텐트 렌더링 방법.
  20. 제 1 항에 있어서, 상기 2차 요소들은 모션 및 기하학적 관계들 중 적어도 하나를 통하여 상기 콘텐트 신호의 상기 현재 부분에 관련되는, 이미지 콘텐트 렌더링 방법.
  21. 제 20 항에 있어서, 일 순간에 상기 1차 렌더링 디바이스 상에 나타나는 적어도 하나의 서브-영역은 상기 2차 렌더링 디바이스 상에 렌더링된 적어도 하나의 요소를 결정하기 위하여 모션 분석의 수단에 의해 추적되는, 이미지 콘텐트 렌더링 방법.
  22. 제 21 항에 있어서, 상기 모션 분석은 상기 1차 렌더링 디바이스에 대해 렌 더링된 바와 같은 상기 이미지 콘텐트 내의 지속적인 모션을 기반으로 하여 수행되는, 이미지 콘텐트 렌더링 방법.
  23. 제 21 항에 있어서, 상기 모션 분석은 상기 콘텐트 신호의 상기 현재 부분으로부터 상기 2차 렌더링 디바이스의 기하학적 포지셔닝(positioning)으로 식별된 모션의 투사인, 이미지 콘텐트 렌더링 방법.
  24. 제 23 항에 있어서, 상기 기하학적 포지셔닝은 상기 1차 렌더링 디바이스들에 대한 상기 2차 렌더링 디바이스들의 위치 및 상기 1차 및 2차 렌더링 디바이스들 상에 렌더링된 상기 콘텐트의 크기의 비 중 적어도 하나를 포함하는, 이미지 콘텐트 렌더링 방법.
  25. 이미지 콘텐트를 렌더링하도록 구성되는 애플리케이션을 포함하는 컴퓨터 판독 가능한 매체에 있어서,
    상기 애플리케이션은
    콘텐트 신호의 현재 부분에 공간적으로 및 시간적으로 중 적어도 하나로 관련되는 요소들을 결정하기 위하여 상기 콘텐트 신호의 이전 및 이후의 시간적인 부분들 중 적어도 하나를 분석하도록 구성되는 프로그램 부분;
    1차 렌더링 디바이스 상에 상기 콘텐트 신호의 상기 현재 부분을 렌더링하도록 구성되는 프로그램 부분; 및
    상기 콘텐트 신호의 상기 현재 부분의 상기 렌더링과 동시에, 2차 렌더링 디바이스 상에 상기 콘텐트 신호의 상기 현재 부분들에 관련되는 상기 요소들을 렌더링하도록 구성되는 프로그램 부분을 포함하고,
    상기 요소들은 상기 1차 렌더링 디바이스 상의 상기 현재 부분을 상기 2차 렌더링 디바이스로 지속적으로 디스플레이하기 위한 것인, 컴퓨터 판독가능한 매체.
  26. 청구항 26은(는) 설정등록료 납부시 포기되었습니다.
    제 25 항에 있어서, 상기 요소들을 렌더링하도록 구성되는 상기 프로그램 부분은 상기 콘텐트 신호의 상기 렌더링된 현재 부분보다 낮은 해상도로 상기 요소들을 렌더링하도록 구성되는, 컴퓨터 판독가능한 매체.
  27. 청구항 27은(는) 설정등록료 납부시 포기되었습니다.
    제 25 항에 있어서, 상기 콘텐트 신호의 이전 및 이후의 시간적인 부분들 중 적어도 하나를 분석하도록 구성되는 상기 프로그램 부분은 상기 콘텐트 신호보다 낮은 해상도로 이전 및 이후의 시간적인 부분들 중 상기 적어도 하나를 분석하도록 구성되는, 컴퓨터 판독가능한 매체.
  28. 청구항 28은(는) 설정등록료 납부시 포기되었습니다.
    제 25 항에 있어서, 상기 요소들을 렌더링하도록 구성되는 상기 프로그램 부분은 변화하는 해상도로 상기 요소들을 렌더링하도록 구성되며, 상기 변화는 상기 1차 렌더링 디바이스 상에 렌더링된 상기 콘텐트 신호에 대한 상기 렌더링된 요소들의 위치를 기반으로 하여 결정되는, 컴퓨터 판독가능한 매체.
  29. 청구항 29은(는) 설정등록료 납부시 포기되었습니다.
    제 25 항에 있어서, 상기 요소들을 렌더링하도록 구성되는 상기 프로그램 부분은 상기 1차 렌더링 디바이스 상에 렌더링된 상기 콘텐트 신호에 대한 상기 렌더링된 요소들의 위치를 기반으로 하여 결정되는 해상도로 상기 요소들을 렌더링하도록 구성되는, 컴퓨터 판독가능한 매체.
  30. 청구항 30은(는) 설정등록료 납부시 포기되었습니다.
    제 29 항에 있어서, 상기 요소들을 렌더링하도록 구성되는 상기 프로그램 부분은 상기 1차 렌더링 디바이스 상에 렌더링된 상기 콘텐트 신호에 대한 상기 렌더링된 요소들의 시간적인 위치를 기반으로 하여 결정되는 해상도로 상기 요소들을 렌더링하도록 구성되는, 컴퓨터 판독가능한 매체.
  31. 청구항 31은(는) 설정등록료 납부시 포기되었습니다.
    제 25 항에 있어서, 분석하도록 구성되는 상기 프로그램 부분은 상기 결정된 요소들에 관련된 보조 데이터를 생성하고 상기 보조 데이터를 상기 콘텐트 신호에 관련시키도록 구성되며, 상기 요소들을 렌더링하도록 구성되는 상기 프로그램 부분은 상기 보조 데이터를 사용하도록 구성되는, 컴퓨터 판독가능한 매체.
  32. 청구항 32은(는) 설정등록료 납부시 포기되었습니다.
    제 31 항에 있어서, 상기 보조 데이터는 주위 경험 데이터(AMBX) 및 보충적인 개선 정보(SEI) 중 하나로 이루어지는, 컴퓨터 판독가능한 매체.
  33. 청구항 33은(는) 설정등록료 납부시 포기되었습니다.
    제 25 항에 있어서, 상기 요소들을 렌더링하도록 구성되는 상기 프로그램 부분은 주위 조명 요소들로서 상기 요소들을 렌더링하도록 구성되는, 컴퓨터 판독가능한 매체.
  34. 청구항 34은(는) 설정등록료 납부시 포기되었습니다.
    제 25 항에 있어서, 상기 요소들을 렌더링하도록 구성되는 상기 프로그램 부분은 주변 이미지 요소들로서 상기 요소들을 렌더링하도록 구성되는, 컴퓨터 판독가능한 매체.
  35. 청구항 35은(는) 설정등록료 납부시 포기되었습니다.
    제 25 항에 있어서, 상기 요소들을 렌더링하도록 구성되는 상기 프로그램 부분은 상기 1차 렌더링 디바이스에 대한 상기 2차 렌더링 디바이스의 위치를 기반으로 하여 상기 요소들을 렌더링하도록 구성되는, 컴퓨터 판독가능한 매체.
  36. 청구항 36은(는) 설정등록료 납부시 포기되었습니다.
    제 25 항에 있어서, 상기 요소들을 렌더링하도록 구성되는 상기 프로그램 부분은 상기 1차 렌더링 디바이스에 대한 복수의 2차 렌더링 디바이스들 각각의 위치를 기반으로 하여 상기 요소들을 렌더링하도록 구성되는, 컴퓨터 판독가능한 매체.
  37. 청구항 37은(는) 설정등록료 납부시 포기되었습니다.
    제 25 항에 있어서, 상기 요소들을 렌더링하도록 구성되는 상기 프로그램 부분은 상기 콘텐트에 관련된 보조 데이터를 기반으로 하여 상기 요소들을 렌더링하도록 구성되는, 컴퓨터 판독가능한 매체.
  38. 청구항 38은(는) 설정등록료 납부시 포기되었습니다.
    제 37 항에 있어서, 상기 요소들을 렌더링하도록 구성되는 상기 프로그램 부분은 주위 경험 데이터(AMBX) 및 보충적인 개선 정보(SEI) 중 하나인 보조 데이터를 기반으로 하여 상기 요소들을 렌더링하도록 구성되는, 컴퓨터 판독가능한 매체.
  39. 청구항 39은(는) 설정등록료 납부시 포기되었습니다.
    제 37 항에 있어서, 상기 요소들을 렌더링하도록 구성되는 상기 프로그램 부분은 상기 1차 렌더링 디바이스에 대한 복수의 2차 렌더링 디바이스들 각각의 위치를 기반으로 하여 상기 요소들을 렌더링하도록 구성되는, 컴퓨터 판독가능한 매체.
  40. 청구항 40은(는) 설정등록료 납부시 포기되었습니다.
    제 25 항에 있어서, 상기 요소들을 렌더링하도록 구성되는 상기 프로그램 부분은 상기 1차 렌더링 디바이스의 일측에 위치된 복수의 2차 렌더링 디바이스들 중 하나 및 상기 1차 렌더링 디바이스의 다른 측에 위치된 상기 복수의 2차 렌더링 디바이스들 중 다른 하나에 대해 상기 요소들을 렌더링하도록 구성되는, 컴퓨터 판독가능한 매체.
  41. 청구항 41은(는) 설정등록료 납부시 포기되었습니다.
    제 40 항에 있어서, 분석하도록 구성된 상기 프로그램 부분은 상기 요소들을 결정하기 위하여 상기 콘텐트 신호의 상기 이전 및 이후의 시간적인 부분들 각각을 분석하도록 구성되는, 컴퓨터 판독가능한 매체.
  42. 청구항 42은(는) 설정등록료 납부시 포기되었습니다.
    제 25 항에 있어서, 상기 요소들을 렌더링하도록 구성되는 상기 프로그램 부분은 상기 렌더링된 콘텐트 신호보다 느린 프레임 속도로 상기 요소들을 렌더링하도록 구성되는, 컴퓨터 판독가능한 매체.
  43. 1차 및 2차 렌더링 디바이스 각각 상에 이미지 콘텐트를 렌더링하는 프로세서(510)로서, 상기 프로세서(510)는 상기 1차 및 2차 렌더링 디바이스들(530, 540) 각각에 동작 가능한 결합을 위하여 구성된 결합을 포함하는, 상기 프로세서(510)에 있어서:
    상기 프로세서(510)는:
    콘텐트 신호의 현재 부분과 위치적으로 관련되는 요소들을 결정하기 위하여 상기 콘텐트 신호의 이전 및 이후의 시간적인 부분들 중 적어도 하나를 분석하고;
    상기 1차 렌더링 디바이스(530) 상에서의 렌더링을 위해 상기 콘텐트 신호의 상기 현재 부분을 제공하며;
    상기 콘텐트 신호의 상기 현재 부분의 상기 렌더링과 동시에, 상기 2차 렌더링 디바이스(540) 상에서의 렌더링을 위해 상기 콘텐트 신호의 상기 현재 부분에 위치적으로 관련되는 상기 요소들을 제공하도록 구성되고,
    상기 요소들은 상기 1차 렌더링 디바이스 상의 상기 현재 부분을 상기 2차 렌더링 디바이스로 지속적으로 디스플레이하기 위한 것인, 프로세서(510).
  44. 제 43 항에 있어서, 상기 프로세서(510)는 상기 콘텐트 신호의 상기 제공된 현재 부분보다 낮은 해상도 및 느린 프레임 속도 중 적어도 하나로 상기 요소들을 제공하도록 구성되는, 프로세서(510).
  45. 제 43 항에 있어서, 상기 프로세서(510)는 상기 콘텐트 신호보다 낮은 해상도로 이전 및 이후의 시간적인 부분들 중 적어도 하나를 분석하도록 구성되는, 프로세서(510).
  46. 제 43 항에 있어서, 상기 프로세서(510)는 변화하는 해상도로 상기 요소들을 제공하도록 구성되며, 상기 변화는 상기 1차 렌더링 디바이스(530) 상에서의 렌더링을 위해 제공된 상기 콘텐트 신호에 대한 상기 제공된 요소들의 위치를 기반으로 하여 결정되는, 프로세서(510).
  47. 제 43 항에 있어서, 상기 프로세서(510)는 상기 1차 렌더링 디바이스(530) 상에서의 렌더링을 위해 제공된 상기 콘텐트 신호에 대한 상기 렌더링된 요소들의 위치를 기반으로 하여 결정되는 해상도로 상기 요소들을 제공하도록 구성되는, 프로세서(510).
  48. 제 47 항에 있어서, 상기 프로세서(510)는 상기 1차 렌더링 디바이스(530) 상에서의 렌더링을 위해 제공된 상기 콘텐트 신호에 대한 상기 제공된 요소들의 시간적인 위치를 기반으로 하여 결정되는 해상도로 상기 요소들을 제공하도록 구성되는, 프로세서(510).
  49. 제 43 항에 있어서, 상기 프로세서(510)는 상기 콘텐트 신호에 관련되고 상기 결정된 요소들에 관련되는 보조 데이터를 사용하여 상기 요소들을 제공하도록 구성되는, 프로세서(510).
  50. 청구항 50은(는) 설정등록료 납부시 포기되었습니다.
    제 49 항에 있어서, 상기 보조 데이터는 주위 경험 데이터(AMBX) 및 보충적인 개선 정보(SEI) 중 하나로 이루어지는, 프로세서(510).
  51. 제 43 항에 있어서, 상기 프로세서(510)는 주위 조명 요소들 및 주변 이미지 요소들 중 적어도 하나로서 상기 요소들을 제공하도록 구성되는, 프로세서(510).
  52. 제 51 항에 있어서, 상기 2차 렌더링 디바이스(540)를 포함하며, 상기 프로세서(510)는 주변 조명 요소들로서 상기 요소들을 제공하도록 구성되고, 상기 2차 렌더링 디바이스(540)는 발광 다이오드 어레이 및 피코-프로젝터(pico-projector) 중 적어도 하나를 포함하는, 프로세서(510).
  53. 제 43 항에 있어서, 상기 프로세서(510)는 상기 1차 렌더링 디바이스(530)에 대한 상기 2차 렌더링 디바이스(540)의 위치를 기반으로 하여 상기 요소들을 제공하도록 구성되는, 프로세서(510).
  54. 제 43 항에 있어서, 상기 2차 렌더링 디바이스(540)를 포함하며, 상기 2차 렌더링 디비아스(540)는 복수의 2차 렌더링 디바이스들(540)을 포함하고, 상기 프로세서(510)는 상기 1차 렌더링 디바이스(530)에 대한 상기 복수의 2차 렌더링 디바이스들(540) 각각의 위치를 기반으로 하여 상기 요소들을 제공하도록 구성되는, 프로세서(510).
  55. 청구항 55은(는) 설정등록료 납부시 포기되었습니다.
    제 43 항에 있어서, 상기 프로세서(510)는 상기 콘텐트에 관련된 주위 경험 데이터(AMBX) 및 보충적인 개선 정보(SEI) 중 하나인 보조 데이터를 기반으로 하여 상기 요소들을 제공하도록 구성되는, 프로세서(510).
  56. 청구항 56은(는) 설정등록료 납부시 포기되었습니다.
    제 55 항에 있어서, 상기 2차 렌더링 디바이스(540)를 포함하며, 상기 2차 렌더링 디바이스(540)는 복수의 2차 렌더링 디바이스들(540)을 포함하고, 상기 프로세서(510)는 상기 1차 렌더링 디바이스(530)에 대한 상기 2차 렌더링 디바이스들(540) 각각의 위치를 기반으로 하여 상기 요소들을 제공하도록 구성되는, 프로세서(510).
  57. 제 43 항에 있어서, 복수의 2차 렌더링 디바이스들(540)을 포함하며, 상기 프로세서(510)는 상기 1차 렌더링 디바이스(530)의 일측에 위치된 상기 복수의 2차 렌더링 디바이스들(540) 중 하나 및 상기 1차 렌더링 디바이스(530)의 다른 측에 위치된 상기 복수의 2차 렌더링 디바이스들(540) 중 다른 하나에 대해 상기 요소들을 렌더링하도록 구성되는, 프로세서(510).
  58. 제 43 항에 있어서, 상기 프로세서(510)는 상기 1차 렌더링 디바이스(530) 상에서의 렌더링을 위해 제공된 상기 콘텐트 신호에 대한 상기 제공된 요소들의 공간적인 및 시간적인 위치 중 적어도 하나를 기반으로 하여 상기 요소들을 결정하도록 구성되는, 프로세서(510).
  59. 1차 이미지에 관련되는 2차 이미지의 렌더링을 가능하게 하기 위하여 송신 스트림에 임베딩(embedding)된 보조 이미지 신호를 제공하는 장치에 있어서:
    1차 디스플레이로부터 2차 렌더링 디바이스로 지속적으로 렌더링된 요소를 기술하기 위한 수단, 및
    상기 2차 렌더링 디바이스 상에서 상기 요소를 여러 순간(a plurality of time instants)에 포지셔닝할 수 있도록 하는 포지셔닝 프로파일(positioning profile)을 제공하는 수단을 포함하는, 보조 이미지 신호 제공장치.
  60. 청구항 60은(는) 설정등록료 납부시 포기되었습니다.
    제 59 항에 있어서, 상기 보조 이미지 신호는 전경 및 배경 물체 중 하나로서 상기 요소를 식별하는, 보조 이미지 신호 제공장치.
  61. 청구항 61은(는) 설정등록료 납부시 포기되었습니다.
    제 60 항에 있어서, 상기 포지셔닝 프로파일은 상기 요소의 경계 픽셀에 대한 파라메트릭 위치 함수(parametric position function)를 포함하는, 보조 이미지 신호 제공장치.
  62. 청구항 62은(는) 설정등록료 납부시 포기되었습니다.
    제 61 항에 있어서, 상기 파라메트릭 위치 함수는 상기 요소에 대한 바운딩 박스 기술(bounding box description)을 포함하는, 보조 이미지 신호 제공장치.
  63. 청구항 63은(는) 설정등록료 납부시 포기되었습니다.
    제 60 항에 있어서, 상기 보조 이미지 신호는 상기 요소가 상기 2차 렌더링 디바이스 상에서 상기 1차 디스플레이로부터 멀어짐에 따라 상기 요소에 대한 컬러 및 휘도 변화 중 적어도 하나를 식별하는 변경 프로파일을 포함하는, 보조 이미지 신호 제공장치.
  64. 청구항 64은(는) 설정등록료 납부시 포기되었습니다.
    제 63 항에 있어서, 상기 변경 프로파일은 상기 요소의 정확한 세그먼테이션을 가능하게 하도록 구성되는 상기 요소의 컬러 및 텍스쳐럴 특성들(textural characteristics) 중 적어도 하나를 포함하는, 보조 이미지 신호 제공장치.
  65. 청구항 65은(는) 설정등록료 납부시 포기되었습니다.
    제 64 항에 있어서, 상기 변경 프로파일은 상기 요소가 상기 2차 렌더링 디바이스 상에서 상기 1차 디스플레이로부터 멀어짐에 따라 상기 요소의 공간-시간 퍼스펙티브(perspective) 변환, 선명도 변환, 및 세부사항 변경 중 적어도 하나를 가능하게 하도록 구성되는 변환 데이터를 포함하는, 보조 이미지 신호 제공장치.
  66. 삭제
KR1020087026656A 2006-03-31 2008-10-30 콘텐트의 부가적인 프레임들을 기반으로 한 비디오 콘텐트의 적응형 렌더링 KR101465459B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US78847606P 2006-03-31 2006-03-31
US60/788,476 2006-03-31
PCT/IB2007/051126 WO2007113754A1 (en) 2006-03-31 2007-03-29 Adaptive rendering of video content based on additional frames of content

Publications (2)

Publication Number Publication Date
KR20080111515A KR20080111515A (ko) 2008-12-23
KR101465459B1 true KR101465459B1 (ko) 2014-12-10

Family

ID=38426552

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087026656A KR101465459B1 (ko) 2006-03-31 2008-10-30 콘텐트의 부가적인 프레임들을 기반으로 한 비디오 콘텐트의 적응형 렌더링

Country Status (10)

Country Link
US (1) US8599313B2 (ko)
EP (1) EP2005732A1 (ko)
JP (1) JP5107338B2 (ko)
KR (1) KR101465459B1 (ko)
CN (1) CN101438579B (ko)
BR (1) BRPI0709260A2 (ko)
MX (1) MX2008012473A (ko)
RU (1) RU2454023C2 (ko)
TW (1) TW200746818A (ko)
WO (1) WO2007113754A1 (ko)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010516069A (ja) * 2006-12-21 2010-05-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 光放射を表示するシステム、方法、コンピュータ読み取り可能な媒体、及びユーザ・インタフェース
CN101587586B (zh) * 2008-05-20 2013-07-24 株式会社理光 一种图像处理装置及图像处理方法
JP4813517B2 (ja) * 2008-05-29 2011-11-09 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
DE102008026517A1 (de) * 2008-06-03 2009-12-10 Zumtobel Lighting Gmbh Beleuchtungs- und Anzeigevorrichtung
TWI395512B (zh) * 2008-08-08 2013-05-01 Remote controller for light emitting diode module
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
EP2371125A1 (en) * 2008-11-28 2011-10-05 Koninklijke Philips Electronics N.V. A display system, control unit, method, and computer program product for providing ambient light with 3d sensation
JP2011086437A (ja) * 2009-10-14 2011-04-28 Nintendo Co Ltd 画像表示システム、照明システム、情報処理装置、および制御プログラム
JP5622372B2 (ja) * 2009-09-10 2014-11-12 任天堂株式会社 画像表示システムおよび照明装置
JP5694369B2 (ja) * 2009-12-17 2015-04-01 コーニンクレッカ フィリップス エヌ ヴェ 映画館環境照明システム
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US9754629B2 (en) 2010-03-03 2017-09-05 Koninklijke Philips N.V. Methods and apparatuses for processing or defining luminance/color regimes
JP5899120B2 (ja) 2010-03-03 2016-04-06 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． カラーレジームを定義する装置及び方法
US8982151B2 (en) * 2010-06-14 2015-03-17 Microsoft Technology Licensing, Llc Independently processing planes of display data
TWI533286B (zh) * 2010-09-06 2016-05-11 元太科技工業股份有限公司 平面顯示裝置
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US20120223885A1 (en) * 2011-03-02 2012-09-06 Microsoft Corporation Immersive display experience
KR20120134412A (ko) * 2011-06-02 2012-12-12 삼성전자주식회사 디스플레이 장치, 디스플레이 시스템 및 그 영상 표시 방법
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
EP3528239B1 (en) * 2012-02-08 2024-01-24 Samsung Electronics Co., Ltd. Display apparatus
US8804321B2 (en) 2012-05-25 2014-08-12 Steelcase, Inc. Work and videoconference assembly
KR101305249B1 (ko) * 2012-07-12 2013-09-06 씨제이씨지브이 주식회사 다면 상영 시스템
EP2731055A1 (en) 2012-10-04 2014-05-14 Thomson Licensing Method and apparatus for ambient lighting color determination
US9930082B2 (en) 2012-11-20 2018-03-27 Nvidia Corporation Method and system for network driven automatic adaptive rendering impedance
US10616086B2 (en) * 2012-12-27 2020-04-07 Navidia Corporation Network adaptive latency reduction through frame rate control
KR101724312B1 (ko) * 2013-02-21 2017-04-07 돌비 레버러토리즈 라이쎈싱 코오포레이션 오버레이 그래픽스를 합성하기 위한 어피어런스 매핑을 위한 시스템들 및 방법들
US10055866B2 (en) 2013-02-21 2018-08-21 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
TWM459428U (zh) * 2013-03-04 2013-08-11 Gunitech Corp 環境控制裝置及影／音播放裝置
US9819604B2 (en) 2013-07-31 2017-11-14 Nvidia Corporation Real time network adaptive low latency transport stream muxing of audio/video streams for miracast
US10078481B2 (en) 2014-01-29 2018-09-18 Intel Corporation Secondary display mechanism
JP5965434B2 (ja) * 2014-06-17 2016-08-03 任天堂株式会社 画像表示システム、照明システム、情報処理装置、および制御プログラム
US9389703B1 (en) * 2014-06-23 2016-07-12 Amazon Technologies, Inc. Virtual screen bezel
US9373054B2 (en) 2014-09-02 2016-06-21 Kodak Alaris Inc. Method for selecting frames from video sequences based on incremental improvement
DE102014016643A1 (de) 2014-11-11 2016-05-12 Novomatic Ag Anzeigevorrichtung und Verfahren zum Betreiben einer solchen Anzeigevorrichtung
KR102281162B1 (ko) 2014-11-20 2021-07-23 삼성전자주식회사 영상 처리 장치 및 방법
US9544419B2 (en) 2014-12-24 2017-01-10 Intel Corporation Methods and systems for configuring a mobile device based on an orientation-based usage context
US9826277B2 (en) * 2015-01-23 2017-11-21 TCL Research America Inc. Method and system for collaborative and scalable information presentation
US10089532B2 (en) 2015-02-23 2018-10-02 Kodak Alaris Inc. Method for output creation based on video content characteristics
CN107430841B (zh) 2015-03-31 2021-03-09 索尼公司 信息处理设备、信息处理方法、程序以及图像显示***
CN107637082B (zh) * 2015-06-12 2021-03-12 索尼公司 信息处理装置以及信息处理方法
EP3139369A1 (en) * 2015-09-02 2017-03-08 TP Vision Holding B.V. Printed circuit board for controlling projectors and electronic device
CN105657494B (zh) * 2015-12-31 2018-12-25 北京小鸟看看科技有限公司 一种虚拟影院及其实现方法
WO2017182365A1 (en) * 2016-04-22 2017-10-26 Philips Lighting Holding B.V. Controlling a lighting system
US11222611B2 (en) 2016-06-14 2022-01-11 Razer (Asia-Pacific) Pte. Ltd. Image processing devices, methods for controlling an image processing device, and computer-readable media
KR102267397B1 (ko) * 2016-10-25 2021-06-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
JP2018105659A (ja) * 2016-12-23 2018-07-05 国立研究開発法人理化学研究所 識別装置、識別システム、学習装置、学習方法、識別プログラム、学習プログラム、記録媒体、及び集積回路
US10080051B1 (en) * 2017-10-25 2018-09-18 TCL Research America Inc. Method and system for immersive information presentation
CN115460463A (zh) 2018-01-04 2022-12-09 三星电子株式会社 视频播放装置及其控制方法
KR102594652B1 (ko) 2018-12-07 2023-10-27 삼성전자 주식회사 전자 장치의 시각 효과 제공 방법 및 이를 사용하는 전자 장치
WO2020122920A1 (en) * 2018-12-13 2020-06-18 Hewlett-Packard Development Company, L.P. Customizable onscreen display reference points
KR102478027B1 (ko) * 2019-09-26 2022-12-15 구글 엘엘씨 레인지 익스텐더 장치
CN110730338A (zh) * 2019-10-23 2020-01-24 国网黑龙江省电力有限公司信息通信公司 一种电视背景墙投影装置
US11023729B1 (en) * 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
FR3111724B1 (fr) * 2020-06-18 2022-11-04 Cgr Cinemas Méthodes pour la production d’effets d’immersion visuelle pour un contenu audiovisuel

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000173783A (ja) 1998-04-13 2000-06-23 Matsushita Electric Ind Co Ltd 照明制御方法及び照明装置
US20050036067A1 (en) 2003-08-05 2005-02-17 Ryal Kim Annon Variable perspective view of video images
US20060059426A1 (en) 2004-09-15 2006-03-16 Sony Corporation Image processing apparatus, method, and program, and program storage medium

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999053728A1 (fr) * 1998-04-13 1999-10-21 Matsushita Electric Industrial Co., Ltd. Procede de regulation d'un eclairage et dispositif d'eclairage
JP2001118689A (ja) * 1999-10-15 2001-04-27 Matsushita Electric Ind Co Ltd 照明制御方法
US6872553B2 (en) * 1999-10-20 2005-03-29 Degussa Ag Nucleotide sequences which code for the pck gene
JP4399087B2 (ja) * 2000-05-31 2010-01-13 パナソニック株式会社 照明システム、映像表示デバイスおよび照明制御方法
WO2003017649A1 (en) 2001-08-20 2003-02-27 Koninklijke Philips Electronics N.V. Image size extension
US6940558B2 (en) * 2001-12-06 2005-09-06 Koninklijke Philips Electronics N.V. Streaming content associated with a portion of a TV screen to a companion device
GB0211898D0 (en) * 2002-05-23 2002-07-03 Koninkl Philips Electronics Nv Controlling ambient light
ATE410888T1 (de) * 2002-07-04 2008-10-15 Koninkl Philips Electronics Nv Verfahren und vorrichtung zur steuerung von umgebungslicht und lichteinheit
US20060062424A1 (en) * 2002-07-04 2006-03-23 Diederiks Elmo M A Method of and system for controlling an ambient light and lighting unit
US20060109283A1 (en) * 2003-02-04 2006-05-25 Shipman Samuel E Temporal-context-based video browsing interface for PVR-enabled television systems
JP2005020512A (ja) * 2003-06-27 2005-01-20 Pioneer Electronic Corp 映像信号処理装置
JP2005057410A (ja) * 2003-08-01 2005-03-03 Alpine Electronics Inc 映像出力装置および方法
US20070258015A1 (en) * 2004-06-30 2007-11-08 Koninklijke Philips Electronics, N.V. Passive diffuser frame system for ambient lighting using a video display unit as light source
JP4587871B2 (ja) * 2005-05-11 2010-11-24 シャープ株式会社 コンテンツ表示方法、コンテンツ表示装置、及び該方法を実行するプログラム及び記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000173783A (ja) 1998-04-13 2000-06-23 Matsushita Electric Ind Co Ltd 照明制御方法及び照明装置
US20050036067A1 (en) 2003-08-05 2005-02-17 Ryal Kim Annon Variable perspective view of video images
US20060059426A1 (en) 2004-09-15 2006-03-16 Sony Corporation Image processing apparatus, method, and program, and program storage medium

Also Published As

Publication number Publication date
TW200746818A (en) 2007-12-16
CN101438579A (zh) 2009-05-20
RU2454023C2 (ru) 2012-06-20
WO2007113754A1 (en) 2007-10-11
CN101438579B (zh) 2012-05-30
BRPI0709260A2 (pt) 2011-06-28
US20100201878A1 (en) 2010-08-12
KR20080111515A (ko) 2008-12-23
RU2008143242A (ru) 2010-05-10
JP2009542039A (ja) 2009-11-26
US8599313B2 (en) 2013-12-03
JP5107338B2 (ja) 2012-12-26
MX2008012473A (es) 2008-10-10
EP2005732A1 (en) 2008-12-24

Similar Documents

Publication Publication Date Title
KR101465459B1 (ko) 콘텐트의 부가적인 프레임들을 기반으로 한 비디오 콘텐트의 적응형 렌더링
CN110650368B (zh) 视频处理方法、装置和电子设备
Agrawala et al. Artistic multiprojection rendering
KR101489262B1 (ko) 메인 영상의 시각적 요소를 확장시키는 다면 상영 시스템
US8179400B2 (en) Motion adaptive ambient lighting
US10482652B2 (en) Image conversion for signage
US20110221963A1 (en) Display system, control unit, method, and computer program product for providing ambient light with 3d sensation
US20140078170A1 (en) Image processing apparatus and method, and program
JP2008536165A (ja) 縞模様を減らすための色変換ユニット
US11615755B1 (en) Increasing resolution and luminance of a display
Turban et al. Extrafoveal video extension for an immersive viewing experience
US20100165000A1 (en) Visualizing objects of a video signal
JP3956561B2 (ja) 画像データ表示システム及び画像データ生成方法
CN113792564B (zh) 基于不可见投影二维码的室内定位方法
WO2007036890A2 (en) Improving living lights with color coherency
Stengel et al. Optimizing apparent display resolution enhancement for arbitrary videos
KR101842546B1 (ko) 실감 효과 검출 장치 및 방법
CN117765210A (zh) 在xr虚实合成中实现led区域外画面补偿的方法、装置
Dingeldey et al. Interactive 3D Stereoscopic Dome with Automatic Calibration.
Alleaume et al. Matthieu Fradet Caroline Baillard Anthony Laurent Tao Luo Philippe Robert

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
A201 Request for examination
AMND Amendment
N231 Notification of change of applicant
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171101

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181022

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191105

Year of fee payment: 6