KR101629865B1 - 3ｄ ｇｕｉ에서 2ｄ 그래픽 확장 - Google Patents

3ｄ ｇｕｉ에서 2ｄ 그래픽 확장 Download PDF

Info

Publication number
KR101629865B1
KR101629865B1 KR1020117014453A KR20117014453A KR101629865B1 KR 101629865 B1 KR101629865 B1 KR 101629865B1 KR 1020117014453 A KR1020117014453 A KR 1020117014453A KR 20117014453 A KR20117014453 A KR 20117014453A KR 101629865 B1 KR101629865 B1 KR 101629865B1
Authority
KR
South Korea
Prior art keywords
graphical
graphic
depth
control element
user
Prior art date
Application number
KR1020117014453A
Other languages
English (en)
Other versions
KR20110102359A (ko
Inventor
필립 에스. 뉴톤
프란체스코 스칼로리
Original Assignee
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 엔.브이. filed Critical 코닌클리케 필립스 엔.브이.
Publication of KR20110102359A publication Critical patent/KR20110102359A/ko
Application granted granted Critical
Publication of KR101629865B1 publication Critical patent/KR101629865B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

3차원[3D] 이미지 디바이스(13) 상에 3D 그래픽 이용자 인터페이스를 제공하는 시스템은 이용자 제어 수단(15)을 통해 이용자 디바이스(10)를 제어하기 위해 제공된다. 이용자 제어 수단은 이용자 동작들을 수신하고 대응하는 제어 신호를 생성하도록 배열된다. 3D 그래픽 이용자 인터페이스에 디스플레이하기 위한 그래픽 제어 요소를 표현하는 그래픽 데이터 구조가 제공된다. 그래픽 데이터 구조는 그래픽 제어 요소를 표현하기 위한 2차원[2D] 이미지 데이터, 그리고 또한 3D 그래픽 이용자 인터페이스 내의 깊이 위치에 2D 이미지를 위치시키기 위한 적어도 하나의 깊이 파라미터를 갖는다.

Description

3Ｄ ＧＵＩ에서 2Ｄ 그래픽 확장{EXTENDING 2D GRAPHICS IN A 3D GUI}
본 발명은 이용자 제어 수단을 통해 이용자 디바이스를 제어하기 위해 3D 이미지 디바이스 상에 3D 그래픽 이용자 인터페이스[GUI]를 제공하기 위한 상기 3차원[3D] 이미지 디바이스에 입력하기 위한 그래픽 데이터 구조를 제공하는 방법에 관한 것으로서, 이용자 제어 수단은 이용자 동작들을 수신하고 대응하는 제어 신호들을 생성하도록 배열된다.
본 발명은 부가적으로 이용자 제어 수단을 통해 이용자 디바이스를 제어하기 위해 3D 그래픽 이용자 인터페이스를 제공하기 위한 그래픽 데이터 구조를 수신하기 위한 3D 이미지 디바이스에 관한 것으로, 이용자 제어 수단은 이용자 동작들을 수신하고 대응하는 제어 신호들을 생성하도록 배열된다.
본 발명은 이미지 데이터, 예를 들어 비디오를 3D 이미지 디바이스 상에 렌더링(rendering)하고 디스플레이하고, 원격 제어 유닛, 마우스, 조이스틱, 전용 버튼, 커서 제어 버튼과 같은 제어 수단을 통해 GUI 내의 그래픽 요소들을 동작시키는(내비게이팅(navigating)하고, 선택하고, 작동시키는 등의) 이용자에 의해, 이용자 디바이스, 예를 들어 3D 이미지 디바이스 자체 또는 이와 결합된 추가적인 이용자 디바이스를 제어하기 위하여 GUI를 제공하는 분야에 관한 것이다.
비디오 데이터를 렌더링하기 위한 디바이스들, 예를 들어 DVD 재생기들과 같은 비디오 재생기들, 디지털 비디오 신호들을 렌더링하기 위한 BD 재생기들 또는 셋탑 박스들이 널리 공지되어 있다. 렌더링 디바이스는 통상적으로 TV 세트와 같은 디스플레이 디바이스에 결합되는 소스 디바이스(source device)로 이용된다. 이미지 데이터는 소스 디바이스로부터 HDMI와 같은 적절한 인터페이스를 통해 전송된다. 비디오 재생기의 이용자에게는 원격 제어 디바이스 상의 버튼들 또는 가상의 버튼들 및 그래픽 이용자 인터페이스(GUI) 내의 다른 이용자 제어부들과 같은 이용자 제어 요소들의 세트가 제공된다. 이용자 제어 요소들은 이용자로 하여금 GUI를 통한 비디오 재생기 내의 이미지 데이터의 렌더링을 조정하도록 한다.
현존하는 디바이스들은 2차원(2D) 디스플레이 기술에 기초하고 예를 들어 모바일 전화기에, 또는 2D PC 모니터상에서 다양한 기능들을 제어하기 위하여 2D GUI를 적용한다. 더욱이, 3D 그래픽 시스템들이 개발되고 있다. 예를 들어 문서 WO 2008/044191은 3D 그래픽 데이터를 생성하기 위한 그래픽 시스템을 기술한다. 그래픽 스트림은 3D 그래픽 데이터를 표현하도록 형성된다. 그래픽 스트림은 2D 그래픽 데이터를 갖는 제 1 세그먼트(segment) 및 깊이 맵(depth map)을 포함하는 제 2 세그먼트를 포함한다. 디스플레이 디바이스는 데이터 스트림에 기초하여 3D 자막 또는 그래픽 이미지들을 렌더링한다.
WO2008/038205은 3D 메뉴 디스플레이를 개시한다. 상기 시스템은 3D 디스플레이의 깊이 범위를 소-범위들(sub-ranges)로 세분하는 것을 제안한다. 따라서 그래픽 및 비디오는 비디오 객체들이 그래픽 객체들을 가리지 않고 완전한 3D로 각각의 소-범위들에 디스플레이된다. 상기 시스템은 상기 그래픽 객체들이 3D 객체들이고, 렌더링 디바이스가 3D 이미지 정보 및 3D 2차(그래픽) 정보를 수신 및/또는 생성한다고 가정한다. 상기 렌더링 디바이스는 두 컴포넌트들이 각각의 소-범위들에 맞춰지도록(fit) 프로세싱한다.
EP0905988은 3D 이미지 디스플레이 장치를 개시한다. 상기 시스템은 깊이 방향으로 간섭을 회피하면서 두 개의 3D 입력 신호들(비디오 및 그래픽과 같은)을 조합하는 것을 제안한다. 하나의 신호로부터 깊이 정보가 획득되고 다른 신호의 깊이 범위를 제어하도록 이용된다. 따라서 그래픽 및 비디오가 완전한 3D로 각각의 깊이 범위들에 디스플레이된다.
3D GUI의 개발은 예를 들어 깊이 맵(depth map)을 추가함으로써 기존 2D 요소들이 3D 객체들로 재생성될 것을 요구한다. 그러나, 새로운 3D 객체들을 생성, 프로세싱 및 처리하는 것은 강력한 프로세싱 환경을 필요로 한다.
본 발명의 목적은 보다 덜 복잡한 3D 그래픽 이용자 인터페이스를 제공하는 것이다.
이 목적을 위해, 본 발명의 제 1 양태에 따르면, 개시 단락에서 기술되는 것과 같은 방법에서, 3D 그래픽 이용자 인터페이스에 디스플레이하기 위한 그래픽 제어 요소를 표현하는 그래픽 데이터 구조를 제공하는 단계, 그래픽 제어 요소를 표현하기 위해 그래픽 데이터 구조에 2차원[2D] 이미지 데이터를 제공하는 단계, 및 3D 그래픽 이용자 인터페이스 내의 깊이 지점에 2D 이미지 데이터를 위치시키기 위해 깊이 방향으로 그래픽 제어 요소의 위치를 나타내기 위한 상기 깊이 지점을 표현하는 깊이 파라미터를 그래픽 데이터 구조에 제공하는 단계를 포함한다.
이 목적을 위해, 본 발명의 제 2 양태에 따르면, 3D 이미지 디바이스는 3D 그래픽 이용자 인터페이스에 디스플레이하기 위한 그래픽 제어 요소를 표현하는 그래픽 데이터 구조를 수신하기 위한 입력 수단으로서, 상기 그래픽 데이터 구조는 그래픽 제어 요소를 표현하기 위한 2차원[2D] 이미지 데이터 및 깊이 방향으로 그래픽 제어 요소의 위치를 나타내기 위한 깊이 지점을 표현하는 파라미터를 갖는, 입력 수단, 및 3D 그래픽 이용자 인터페이스 내의 깊이 지점에 2D 이미지 데이터를 위치시키기 위해 그래픽 데이터 구조를 프로세싱하는 그래픽 프로세서 수단을 포함한다.
이 목적을 위해, 본 발명의 추가 양태에 따르면, 이용자 제어 수단을 통해 이용자 디바이스를 제어하기 위하여 3D 이미지 디바이스 상에 있는 3차원[3D] 그래픽 이용자 인터페이스에 디스플레이하기 위한 그래픽 제어 요소를 표현하는 그래픽 데이터 구조가 제공되고, 이용자 제어 수단은 이용자 동작들을 수신하고 대응하는 제어 신호들을 생성하도록 배열되고, 그래픽 데이터 구조는 그래픽 제어 요소를 표현하기 위한 2차원[2D] 이미지 데이터, 및 3D 그래픽 이용자 인터페이스 내의 깊이 지점에 2D 이미지 데이터를 위치시키기 위해 깊이 방향으로 그래픽 제어 요소의 위치를 나타내기 위한 상기 깊이 지점을 표현하는 파라미터를 포함한다.
이 목적을 위해, 본 발명의 추가 양태에 따르면, 이용자 제어 수단을 통해 이용자 디바이스를 제어하기 위해서 3D 이미지 디바이스 상에 3차원 [3D] 그래픽 이용자 인터페이스를 제공하는 이미지 데이터를 포함하는 기록 캐리어(record carrier)가 제공되고, 상기 이용자 제어 수단은 이용자 동작들을 수신하고 대응하는 제어 신호들을 생성하도록 배열되고, 상기 기록 캐리어는 물리적으로 검출가능한 표시들에 의해 구성되는 트랙(track)을 포함하고, 상기 표시들은 이미지 데이터를 포함하고, 상기 이미지 디바이스는 이미지 데이터를 수신하도록 배열되고, 이미지 데이터는 3D 그래픽 이용자 인터페이스에서의 디스플레이를 위해 그래픽 제어 요소를 표현하는 그래픽 데이터 구조를 포함하고, 그래픽 데이터 구조는 그래픽 제어 요소를 표시하는 2차원[2D] 이미지 데이터 및 3D 그래픽 이용자 인터페이스에 있는 깊이 지점에 2D 이미지 데이터를 위치시키기 위해 깊이 방향으로 그래픽 제어 요소의 위치를 나타내기 위한 상기 깊이 지점을 표현하는 파라미터를 포함한다.
이 목적을 위해, 본 발명의 추가 양태에 따르면, 3D 이미지 디바이스 상에 3차원 [3D] 그래픽 이용자 인터페이스를 제공하기 위한 컴퓨터 프로그램 제품이 제공되고, 상기 프로그램은 프로세서로 하여금 상기에 규정된 바와 같은 방법을 실행하도록 동작한다.
상술한 양태들은 3차원 그래픽 이용자 인터페이스를 제공하기 위한 시스템을 구성한다. 상기 조치들은 상기 시스템에서 깊이 파라미터를 추가함으로써 기존 2D 그래픽 데이터 구조들이 확장되는 효과를 갖는다. 그래픽 데이터 구조의 이미지 데이터는 2D 구조를 갖는데 반해, 추가된 적어도 하나의 깊이 파라미터는 3D 디스플레이 내의 요소들을 원하는 깊이 레벨로 위치시키는 것을 가능하게 한다. 더욱이 이용자 제어 수단은 제어 신호들을 제공하여 3D GUI 공간에 위치되는 2D 그래픽 요소들에 기초하는 3D GUI를 통해 동작하고 내비게이팅한다.
본 발명은 또한 다음의 인식들에 기초한다. 3D 그래픽 객체들의 생성 및 프로세싱은 상당한 프로세싱 전력을 요구하고, 이는 디바이스들의 복잡성 및 가격 레벨을 증가시킨다. 더욱이, 3D 데이터를 전혀 프로세싱하거나 디스플레이할 수 없는 아주 많은 수의 레거시 디바이스(legacy device)들이 존재할 수 있다. 발명자들은 2D 시스템에 기초하지만 3D 공간에 개선된 2D 그래픽 요소들을 위치시키는 것에 대해 개선된 GUI를 제공함으로써 레거시 2D 환경 및 새로운 3D 시스템들 사이에 효율적인 호환이 달성될 수 있다. 개선된 2D 그래픽 요소들은 이러한 요소들 사이의 공간을 내비게이팅한다.
시스템의 실시예에서, 그래픽 데이터 구조는 다음의 깊이 파라미터들 중 적어도 하나를 포함한다:
- 깊이 방향에서의 현재의 그래픽 제어 요소의 위치를 대응하는 2D 그래픽 데이터 구조의 추가 인수(argument)로 나타내기 위한 깊이 지점,
- 깊이 방향에서의 현재의 그래픽 제어 요소의 위치를 대응하는 2D 그래픽 데이터 구조의 컬러 모델의 추가 좌표로 나타내기 위한 깊이 지점. 이 효과는 깊이 파라미터가 기존 2D 시스템들과 호환하는 방식으로 2D 구조에 추가되는 점이다. 이것은, 그러한 레거시가 추가되는 파라미터를 무시할 수 있으나, 반면에 개선된 시스템은 3D GUI를 생성하기 위해 추가되는 깊이 파라미터를 적용할 수 있는 장점을 갖는다.
시스템의 실시예에서, 그래픽 데이터 구조는 3D 그래픽 이용자 인터페이스에서의 3D 내비게이션이 그래픽 데이터 구조에 대하여 인에이블(enable)되는 것을 나타내는 3D 내비게이션 표시자를 포함한다. 이 효과는 개선된 시스템에서, 상기 시스템이 그래픽 데이터 구조의 각각의 필드 내에 깊이 파라미터, 내비게이션을 위한 추가 깊이 파라미터들의 유효값을 포함하는지를 내비게이션 표시자가 나타내는 것이다. 이는 그래픽 데이터 구조가 3D GUI에 적합한지가 용이하게 검출되는 장점을 갖는다.
본 발명에 따른 디바이스 및 방법의 추가 바람직한 실시예들은 첨부된 청구항들에 제공되고, 이의 개시는 본원에서 참조로써 통합된다.
도 1은 3D 그래픽 이용자 인터페이스를 제공하기 위한 시스템을 도시한 도면.
도 2는 이미지 데이터의 예를 도시한 도면.
도 3은 상호 작용 합성 구조의 섹션을 도시한 도면.
도 4는 3D 내비게이션 표시자를 갖는 상호 작용 합성 구조의 섹션을 도시한 도면.
도 5는 그래픽 제어 요소를 도시한 도면.
도 6은 3D 개선 그래픽 제어 요소를 도시한 도면.
도 7은 3D 버튼 구조를 도시한 도면.
도 8은 3D 파라미터들을 운반하는 "더미(dummy)" 버튼 구조의 대표적인 예를 도시한 도면.
도 9는 키 이벤트 테이블(key event table)을 도시한 도면.
도 10은 Six DoF Event 클래스(class) 및 AWTEvent 계층을 도시한 도면.
도 11은 Java AWT 컴포넌트 클래스 트리를 도시한 도면.
도 12는 깊이를 포함하는 Component 클래스에 대한 확장을 도시한 도면.
도 13은 깊이를 포함하는 LayoutManager 클래스에 대한 확장을 도시한 도면.
도 14는 깊이를 포함하여 확장되는 Component 클래스의 예시도.
도 15는 깊이를 포함하는 확장되는 LayoutManager 클래스의 예시도.
도 16은 깊이를 포함하는 Graphics 클래스에 대한 확장을 도시한 도면.
도 17은 깊이를 포함하는 Color 클래스에 대한 확장을 도시한 도면.
도 18은 깊이를 포함하여 확장되는 Graphics 클래스의 예시도.
도 19는 깊이를 포함하여 확장되는 Color 클래스의 예시도.
도 20은 그래픽 프로세서 시스템을 도시한 도면.
본 발명의 상기 및 다른 양태들은 다음의 설명에서의 예를 통해 그리고 첨부 도면들을 참조하여 설명되는 실시예들로부터 분명할 것이고 상기 실시예들을 참조하여 더 명확해질 것이다.
도면들에서, 이미 설명된 요소들에 대응하는 요소들에는 동일한 참조 번호들이 병기된다.
도 1은 3차원[3D] 그래픽 이용자 인터페이스를 제공하기 위한 시스템을 도시한다. 상기 시스템은 비디오, 그래픽들 또는 다른 시각 정보와 같은 이미지 데이터를 렌더링할 수 있다. 3D 이미지 디바이스(10)는 소스 디바이스(source device)로서 데이터를 3D 디스플레이 디바이스(13)로 전송하도록 결합된다. 디바이스들은 또한 단일 유닛으로 결합될 수 있음이 주목된다. 3D 이미지 디바이스는 이미지 정보를 수신하기 위한 입력 유닛(51)을 갖는다. 예를 들어 입력 유닛 디바이스는 DVD 또는 블루레이 디스크와 같은 광학 기록 캐리어(54)로부터 다양한 유형들의 이미지 정보를 검색하기 위한 광학 디스크 유닛(58)을 포함할 수 있다. 대안으로, 입력 유닛은 네트워크(55), 예를 들어 인터넷 또는 브로드캐스트 네트워크와 결합하기 위한 네트워크 인터페이스 유닛(59)을 포함할 수 있다. 이미지 데이터는 원격 매체 서버(57)로부터 검색될 수 있다.
3D 이미지 디바이스는 출력 유닛(12)을 통해 디스플레이 디바이스로 전송되는 전송 정보(56)를 생성하기 위하여 이미지 정보를 프로세싱하며 입력 유닛(51)에 결합되는 프로세싱 유닛(52)을 갖는다. 프로세싱 유닛(52)은 3D 디스플레이 디바이스(13) 상에서의 디스플레이를 위해 전송 정보(56)에 포함되는 이미지 데이터를 생성하도록 배열된다. 3D 이미지 디바이스에는 다양한 기능들, 예를 들어 명도 또는 컬러 파라미터와 같은 이미지 데이터의 디스플레이 파라미터들을 제어하기 위하여 이용자 제어 요소들이 제공되고, 이용자 제어 요소들은 이제 제 1 이용자 제어 요소들(15)로 친해진다. 특히 이용자 제어 유닛은 이용자 동작들을 수신, 예를 들어 버튼을 누르고, 대응하는 제어 신호들을 생성하는 것에 응답하여 신호들을 생성한다. 그와 같은 이용자 제어 요소들은 널리 공지되어 있고, 재생 및 기록 기능들과 같은 3D 이미지 디바이스의 다양한 기능들을 제어하기 위해, 그리고 그래픽 이용자 인터페이스(GUI) 내의 그래픽 제어 요소들을 작동시키기 위해 다양한 버튼들 및/또는 커서 제어 기능들을 갖는 원격 제어 유닛을 포함할 수 있다. 프로세싱 유닛(52)은 이미지 데이터를 출력 유닛(12)에 제공하기 위한 소스 이미지 데이터를 프로세싱하기 위한 회로들을 갖는다. 프로세싱 유닛(52)은 GUI의 이미지 데이터를 생성하기 위해, 그리고 후술되는 바와 같이 GUI에 개선된 그래픽 제어 요소들을 위치시키기 위한 GUI 유닛을 가질 수 있다.
3D 이미지 디바이스는 3D 그래픽 이용자 인터페이스에서의 디스플레이를 위해 그래픽 제어 요소를 표현하는 그래픽 데이터 구조를 제공하기 위한 데이터 생성기 유닛(11)을 가질 수 있다. 상기 유닛은 그래픽 제어 요소를 표현하기 위해 그래픽 데이터 구조에 2차원[2D] 이미지 데이터를 제공하고, 3D 그래픽 이용자 인터페이스에서의 깊이 지점에 2D 이미지 데이터를 위치시키기 위해 그래픽 데이터 구조에 적어도 하나의 깊이 파라미터를 추가로 제공한다.
3D 디스플레이 디바이스(13)는 이미지 데이터를 디스플레이하기 위한 것이다. 상기 디바이스는 3D 이미지 디바이스(10)와 같은 소스 디바이스로부터 전송되는 이미지 데이터를 포함하는 전송 정보(56)를 수신하기 위한 입력 유닛(14)을 가진다. 3D 디스플레이 디바이스에는 명도 또는 컬러 파라미터들과 같이, 디스플레이의 디스플레이 파라미터들을 설정하기 위해, 이제 제 2 이용자 제어 요소들(16)로 칭해지는 이용자 제어 요소들이 제공된다. 전송되는 이미지 데이터는 프로세싱 유닛(18)에서 프로세싱된다.
프로세싱 유닛(18)은 GUI의 이미지 데이터를 생성하기 위해, 그리고 더 후술되는 바와 같이 GUI에서 개선된 그래픽 제어 요소들을 위치시키기 위해 GUI 유닛(19)을 가질 수 있다. GUI 유닛(19)은 입력 유닛(14)을 통해 그래픽 데이터 구조를 수신한다.
3D 디스플레이 디바이스는 프로세싱된 이미지 데이터를 디스플레이하기 위한 디스플레이(17), 예를 들어 3D 개선 LCD 또는 플라즈마 스크린을 가질 수 있거나, 또는 특수 고글들과 같은, 공지되어 있는 뷰잉 장비(viewing equipment)와 협력할 수 있다. 그러므로 이미지 데이터의 디스플레이는 3D에서 실행되고 소스 디바이스(예를 들어 광학 디스크 재생기(11)) 또는 3D 디스플레이 디바이스 자체에서 프로세싱되는 바대로 3D GUI를 디스플레이하는 것을 포함한다.
도 1은 기록 캐리어(54)를 이미지 데이터의 캐리어로써 또한 도시한다. 기록 캐리어는 예를 들어 하드 디스크와 같은 자기 캐리어, 또는 광학 디스크일 수 있다. 기록 캐리어는 디스크-형상이고 트랙 및 중심 홀(hole)을 갖는다. 일련의 물리적 검출 가능 표시들에 의해 구성되는 트랙은 나선 또는 동심 패턴의 권선들에 따라 배열되어, 정보 계층 상에 실질적으로 평행한 트랙들을 구성한다. 기록 캐리어는 광학적으로 판독 가능할 수 있고, 이때 기록 캐리어는 광 디스크, 예를 들어 CD, DVD 또는 BD(블루-레이 디스크(Blue-ray Dsic)로 칭해진다. 정보는 트랙을 따라 광학적으로 검출 가능한 표시들, 예를 들어 피트(pit)들 및 랜드(land)들에 의해 정보 계층 상에 표현된다. 트랙 구조는 또한 통상적으로 정보 블록들로 칭해지는, 정보의 유닛들의 위치를 표시하기 위해, 위치 정보, 예를 들어 헤더(header)들 및 어드레스(address)들을 포함한다. 기록 캐리어(54)는 비디오와 같이 디지털로 인코딩된 예를 들어 MPEG2 인코딩 시스템에 따라 인코딩된 이미지 데이터를 표현하는 정보를 DVD 또는 BD 포맷과 같이 미리 규정된 기록 포맷(recording format)으로 운반한다. 3차원 그래픽 이용자 인터페이스를 제안되는 바와 같이 수용하기 위해, 기록 캐리어의 트랙 내의 표시들은 또한 그래픽 데이터 구조를 구현한다.
BD 시스템들의 경우, 부가적인 세부사항들은 공개되어 입수 가능하고, 블루-레이 디스크 협회(http://www.bluraydisc.com)에 의해 간행된 기술 백서들 "Blu-ray Disc Format General August 2004" 및 "Blue-ray Disc LC Physical Format Specifications for BD-ROM November 2005"에서 확인될 수 있다.
다음에, BD 애플리케이션 포맷을 칭할 때, 미국 출원번호 2006-0110111(대리인 문서번호 NL021359)에, 그리고 블루-레이 디스크 협회에 의해 간행되는 바와 같은 백서 "Blu-ray Disc Format 2.B Audio Visual Application Format Specifications for BD-ROM, March 2005"에 기술되는 바와 같은 애플리케이션 포맷들을 칭한다.
BD 시스템들은 또한 충분히 프로그램 가능한 애플리케이션 환경에 네트워크 접속성을 제공함으로써 콘텐츠 제공자가 상호 작용 콘텐츠를 생성하는 것을 인에이블하는 것이 공지되어 있다. 이 모드는 JavaTM()3 플랫폼에 기초하고 "BD-J"로 공지되어 있다. BD-J는 ETSI TS 101 812로서 공개적으로 입수 가능한, 디지털 비디오 브로드캐스팅(Digital Video Broadcasting: DVB) - 멀티미디어 홈 플랫폼(Multimedia Home Platform: MJP) 사양 1.0의 서브세트를 규정한다. 블루-레이 재생기의 예는 Sony Corporation에 의해 판매되는 바와 같은 Sony Playstaion 3TM이다.
3D 이미지 시스템은 3D 이미지 디스플레이 상에 3차원(3D) 이미지 데이터를 디스플레이하도록 배열된다. 게다가 이미지 데이터는 3D 디스플레이 디바이스 상에 디스플레이하기 위한 깊이 정보를 포함한다. 도 1을 참조하여 기술되는 시스템을 참조하면, 디스플레이 디바이스(53)는 화살표(44)에 의해 지시되는 디스플레이 깊이 범위를 갖는, 입체(stereoscopic) 디스플레이일 수 있다. 3D 이미지 정보는 3D 이미지 데이터를 포함하도록 개선된 광학 기록 캐리어(54)로부터 검색될 수 있다. 인터넷을 통해 3D 이미지 정보는 원격 매체 서버(57)로부터 검색될 수 있다.
다음의 섹션은 3차원 디스플레이들 및 인간에 의한 깊이의 지각의 개요를 제공한다. 3D 디스플레이들은 자신들이 더욱 생생한 깊이의 지각을 제공할 수 있다는 점에서 2D 디스플레이들과 상이하다. 이는 3차원 디스플레이들이 단지 모노큘러(monocular) 깊이 큐(cue)들 및 움직임에 기초하는 큐들을 도시할 수 있는 2D 디스플레이들보다 더 많은 깊이 큐들을 제공하기 때문에 달성된다.
모노큘러(또는 정적) 깊이 큐들은 정적인 이미지로부터 하나의 눈을 이용하여 달성될 수 있다. 화가(painter)들은 종종 모노큘러 큐들을 이용하여 자신들의 그림들에 깊이의 감각을 발생시킨다. 이 큐들은 상대적인 크기, 수평선에 상대적인 높이, 폐색(occlusion), 원근, 질감 경사들, 광/그림자들을 포함한다. 동안 큐(oculomotor cue)들은 뷰어의 눈들의 근육들의 긴장으로부터 기원하는 깊이 큐들이다. 눈들은 눈들을 회전시키기 위해서 뿐만 아니라 접안 렌즈를 스트레칭(stretching)시키기 위해서 근육들을 갖는다. 접안 렌즈의 스트레칭 및 이완은 안구 조절(accommodation)로 칭해지고 이미지에 초점을 맞출 때 행해진다. 렌즈 근육 스트레칭 및 이완 양은 객체가 얼마나 먼지 또는 가까운지에 대한 큐를 제공한다. 눈들의 회전이 행해짐으로써 양 눈들은 동일한 객체에 집중하고, 이는 수렴으로 칭해진다. 최종적으로 운동 시차(motion parallax)는 뷰어에 가까운 객체들은 멀리 떨어져 있는 객체들보다 더 빠르게 움직이는 것처럼 보이는 효과이다.
양안 시차(binocular disparity)는 우리 양 눈들이 미세하게 다른 이미지를 보는 사실로부터 도출되는 깊이 큐이다. 모노큘러 깊이 큐들은 임의의 2D 비주얼 디스플레이 유형일 수 있고 상기 비주얼 디스플레이 유형에서 이용된다. 디스플레이 내에 양안 시차를 재생성하는 것은 좌측 및 우측 눈에 대한 뷰를 세그먼트하여 각각 디스플레이 상에 있는 미세하게 상이한 이미지를 볼 것을 요구한다. 양안 시차를 재생성할 수 있는 특수한 디스플레이로서 상기 디스플레이들을 3D 또는 입체 디스플레이들로 칭할 것이다. 3D 디스플레이들은 인간의 눈들에 의해 실제로 감지되는 깊이 차원을 따라 이미지를 디스플레이할 수 있고, 본 문서에서 디스플레이 깊이 범위를 갖는 3D 디스플레이라 칭한다. 그러므로 3D 디스플레이들은 좌측 및 우측 눈에 상이한 뷰를 제공한다.
두 상이한 뷰들을 제공할 수 있는 3D 디스플레이들은 오랜 시간 동안 주변에 있어왔다. 이들 중 대부분은 좌측 및 우측 눈 뷰를 분리하기 위해 안경을 이용하는 것에 기초하였다. 이제 디스플레이 기술의 진보로 인해 안경을 이용하지 않고 입체 뷰를 제공할 수 있는 새로운 디스플레이들이 시장에 진입하였다. 이 디스플레이들은 자동 입체 디스플레이(auto-stereoscopic display)들로 칭해진다.
제 1 방법은 이용자가 안경 없이 입체 비디오를 보는 것을 가능하게 하는 LCD 디스플레이들에 기초한다. 이 디스플레이들은 두 기술들, 렌티큘러 스크린 및 배리어 디스플레이(barrier display)들 중 어느 하나에 기초한다. 렌티큘러 디스플레이의 경우, LCD는 한 장의 렌티큘러 렌즈들에 의해 커버된다. 이 렌즈들은 디스플레이로부터 광을 회절시켜 좌 및 우측 눈이 광을 상이한 픽셀들로부터 수신하도록 한다. 이는 하나가 좌측 눈의 뷰를 위한 것이고 하나가 우측 눈의 뷰를 위한 것인 두 상이한 이미지들이 디스플레이되도록 한다.
렌티큘러 스크린에 대한 대안은 배리어 디스플레이이고, 이것은 LCD 뒤 그리고 백라이트 앞의 시차 배리어를 이용하여 LCD 내의 화소들로부터 광을 분리한다. 상기 배리어는 스크린 앞의 설정 지점으로부터, 좌측 눈과 우측 눈이 상이한 픽셀들을 보게 하는 그러한 배리어이다. 배리어 디스플레이의 문제는 밝기 및 해상도의 감소이지만 뷰잉 각도 또한 협소하다. 이로 인해 배리어 디스플레이는 예를 들어 9개의 뷰들 및 다수의 뷰잉 존(viewing zone)들을 갖는 렌티큘러 스크린에 비해 거실용 TV로서 덜 매력적이 된다.
추가적인 방법은 계속해서 높은 리프레시 레이트(refresh rate)(예를 들어 120 Hz)로 프레임들을 디스플레이할 수 있는 고해상도 비머(beamer)와 결합되는 셔터-안경(shutter-glasses)에 기초한다. 셔터 안경 방법에 있어서 좌측 및 우측 눈의 뷰가 교대로 디스플레이되기 때문에 높은 리프레시 레이트가 요구된다. 뷰어의 경우 안경을 착용하면 60 Hz에서 입체 비디오를 지각한다. 셔터-안경 방법은 고품질 비디오 및 상당한 깊이의 레벨을 가능하게 한다.
자동 입체 디스플레이들 및 셔터 안경 방법 모두는 수용-수렴 미스매치(mismatch)를 겪는다. 이는 이 디바이스들을 이용하여 뷰잉되는 깊이의 양 및 편안할 수 있는 시간을 제한한다. 홀로그래피 및 부피표현 디스플레이(volumetric display)들과 같이, 상기 문제를 겪지 않는 다른 디스플레이 기술들이 있다. 본 발명이 깊이 범위를 갖는 임의의 유형의 3D 디스플레이에 대해 이용될 수 있음이 주목된다.
3D 디스플레이들을 위한 이미지 데이터는 전자, 통상적으로 디지털 데이터로 입수 가능한 것으로 가정된다. 본 발명은 그와 같은 이미지 데이터에 관한 것이고 디지털 영역에서 이미지 데이터를 조작한다. 이미지 데이터는, 소스로부터 전달될 때, 예를 들어 듀얼 카메라들을 이용함으로써 이미 3D 정보를 포함할 수 있거나, 또는 전용 프리프로세싱 시스템(preprocessing system)이 2D 이미지들로부터 3D 정보를 (재)생성하기 위해 포함될 수 있다. 이미지 데이터는 슬라이드(slide)들과 같이 정적일 수 있나, 영화들처럼 동영상을 포함할 수 있다. 통상적으로 그래픽 데이터로 칭해지는 다른 이미지 데이터는 저장된 객체들로 입수 가능하거나 애플리케이션이 요구하는 바에 따라 즉시 생성될 수 있다. 예를 들어 메뉴들, 내비게이션 아이템들 또는 텍스트 및 도움말들과 같은 이용자 제어 정보는 다른 이미지 데이터에 추가될 수 있다.
3D 이미지 포맷으로 칭해지는, 입체 이미지가 포맷될 수 있는 많은 상이한 방식들이 존재한다. 일부 포맷들은 2D 채널을 이용하여 또한 입체 정보를 전송하는 것에 기초한다. 예를 들어 좌측 및 우측 뷰는 인터레이스(interlace)될 수 있거나 나란히 그리고 위아래로 배치될 수 있다. 이 방법들은 입체 정보를 전송하기 위해 해상도를 희생시킨다. 다른 선택사양은 컬러를 희생시키는 것으로서, 이 방법은 아나글리픽 스테레오(anaglyphic stereo)라 칭해진다. 아나글리픽 스테레오는 두개의 별개의, 오버레잉(overlaying)된 이미지들을 보색(complementary color)으로 디스플레이하는 것에 기초하는 스펙트럼 멀티플렉싱을 이용한다. 컬러화된 필터들을 구비하는 안경들을 이용함으로써 각각의 눈은 단지 상기 눈 앞의 필터에 의해 동일한 컬러의 이미지만을 본다. 그러므로 예를 들어 우측 눈은 레드 이미지만을 보고 좌측 눈은 그린 이미지만을 본다.
상이한 3D 포맷은 2D 이미지 및 깊이 맵이라 칭해지고 2D 이미지 내의 객체들의 깊이에 대한 정보를 전달하는 추가 깊이 이미지를 이용하는 두 뷰들에 기초한다. 이미지 + 깊이라 칭해지는 포맷은 그것이 2D 이미지 및 소위 "깊이", 또는 시차 맵(disparity map)과의 결합인 점에서 상이하다. 이는 그레이 스케일(gray scale)이미지이고, 이로 인해 픽셀의 그레이 스케일 값은 연관된 2D 이미지 내의 대응하는 픽셀에 대한 시차의 양(또는 깊이 맵의 경우 깊이)을 나타낸다. 디스플레이 디바이스는 시차 또는 깊이 맵을 이용하여 2D 이미지를 입력으로 취하는 추가 뷰들을 계산한다. 이는 다양한 방식들로 행해질 수 있는데, 가장 단순한 형태로는 픽셀들에 연관되는 시차 값에 따라 상기 픽셀들을 좌측 또는 우측으로 시프트하는 것이다. Christoph Fen에 의한 "Depth image based rendering, compression and transmission for a new approach on 3D TV"라는 명칭의 논문은 상기 기술에 대한 우수한 개요를 제공한다(http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf를 참조하라).
도 2는 이미지 데이터의 예를 도시한다. 이미지 데이터의 좌측 부분은 통상적으로 컬러가 있는 2D 이미지(21)이고, 이미지 데이터의 우측 부분은 깊이 맵(22)이다. 2D 이미지 정보는 임의의 적절한 이미지 포맷으로 표현될 수 있다. 깊이 맵 정보는 가능하면 2D 이미지에 비해 감소한 해상도에 있는 각각의 픽셀에 대한 깊이 값을 갖는 추가 데이터 스트림일 수 있다. 깊이 맵에서 그레이 스케일 값들은 2D 이미지에서 연관된 픽셀의 깊이를 나타낸다. 백색은 뷰어에 가까운 것을 나타내고, 검은색은 뷰어로부터 멀리 있는 깊은 깊이를 나타낸다. 3D 디스플레이는 깊이 맵으로부터의 깊이 값을 이용함으로써 그리고 요구되는 픽셀 변환들을 계산함으로써 입체에 요구되는 추가 뷰를 계산할 수 있다. 폐색들은 추정 또는 홀 충전 기술들을 이용하여 해결될 수 있다. 부가적인 맵들은 폐색 맵, 시차 맵 및/또는 배경 앞에서 이동하는 투명 객체들에 대한 투명 맵과 같은, 이미지 및 깊이 맵 포맷에 추가될 수 있다.
입체를 비디오에 추가하는 것은 또한, 비디오의 포맷이 블루-레이 디스크 재생기와 같은 재생기 디바이스로부터 입체 디스플레이로 송신될 때 상기 포맷에 충격을 가한다. 2D의 경우에 단지 2D 비디오 스트림만이 송신된다(디코딩된 픽셀 데이터). 입체 비디오에 있어서 이는 현재 제 2 뷰(입체를 위한) 또는 깊이 맵을 포함하는 제 2 스트림이 송신되어야만 해서 증가한다. 이것은 전기 인터페이스상에서 요구되는 비트레이트를 배가할 수 있다. 상이한 방법은 스트림의 해상도 및 포맷을 희생하여 제 2 뷰 또는 깊이 맵이 인터레이스되거나 2D 비디오와 나란히 배치되도록 하는 것이다. 도 2는 이것이 2D 데이터 및 깊이 맵을 송신하는데 어떻게 행해질 수 있는지에 대한 예를 도시한다. 비디오 상에 그래픽들을 오버레잉할 때, 추가의 개별 데이터 스트림들이 이용될 수 있다.
제안된 바와 같은 3D 이미지 시스템은 적절한 디지털 인터페이스를 통해 그래픽 데이터 구조를 포함하는 이미지 데이터를 전송할 수 있다. 재생 디바이스- 전형적으로 BD 재생기-가 그래픽 데이터 구조를 검색하거나 생성하여 그와 같은 마스크를 검출하면, 재생 디바이스는 널리 공지되어 있는 HDMI 인터페이스(예를 들어 2006년 11월 10일의 "High Definition Multimedia Interface Specification" 버전 1.3a를 참조하라)와 같은 비디오 인터페이스를 통해 그래픽 데이터 구조를 이미지 데이터와 함께 송신한다.
본원에서 설명되는 3D 이미지 시스템의 주요 개념은 상술한 문제들에 대한 일반적인 해법을 표현한다. 아래 상세한 설명은 단지 블루-레이 디스크(BD) 재생 및 자바 프로그래밍 예들을 이용하는 특수한 경우에 기초한 예이다. 오디오 비디오 데이터(AV 데이터)를 저장하기 위한 BD 계층 이미지 데이터 구조는 제목들, 영화 대상들, 재생 목록들, 재생 아이템들 및 클립들로 구성된다. 이용자 인터페이스는 다양한 제목들 및 메뉴들 사이에서의 내비게이션을 가능하게 하는 인덱스 표에 기초한다. BD의 이미지 데이터 구조는 그래픽 요소들을 포함하여 그래픽 이용자 인터페이스를 생성한다. 이미지 데이터 구조는 후술되는 바와 같이 그래픽 데이터 구조를 표현하기 위해 추가 제어 데이터를 포함함으로써 3D GUI로 개선될 수 있다.
그래픽 이용자 인터페이스(GUI)의 예가 후술된다. 이 문서에서 3D GUI는 이용자가 임의의 방식으로 상호 작용하는, 예를 들어 선택하고, 움직이고, 수정하고, 작동시키고, 누르고, 지우고 하는 것들을 행할 수 있는 그래픽 요소들과의 결합으로 3D 이미지 데이터를 제공하는, 비디오, 영화들, 게임들 등과 같은 임의의 상호 작용 비디오 또는 이미지 콘텐츠에 대한 디노미네이션(denomination)으로 이용되는 것이 주목되어야 한다. 임의의 기능, 예를 들어 하이라이팅과 같은 단지 인터페이스 자체 내의 기능, 영화의 시작과 같은 디스플레이 디바이스의 기능, 및/또는 다른 디바이스들, 예를 들어 홈 알람 시스템 또는 전자 렌지의 기능들이 그와 같은 요소들과 결합될 수 있거나, 어떠한 기능도 결합되지 않을 수 있다.
BD 공표 포맷은 상호 작용 영화 체험을 생성하기 위하여 콘텐츠 저작자들을 위하여 완성된 애플리케이션 환경을 규정한다. 일부는 메뉴들 및 버튼들을 생성하기 위한 시스템이다. 이는 메뉴들 및 버튼들 및 메뉴들 및 버튼들이 애니메이팅(animating)되도록 하는 합성 정보에 대한 비트맵 이미지들(즉, 2D 이미지 데이터)을 이용하는 것에 기초한다. 합성 정보는 합성 요소 또는 세그먼트로 칭해질 수 있고, 제안된 그래픽 데이터 구조의 예이다. 이용자 상호 작용 및 GUI의 전형적인 예는 이용자가 메뉴 내의 버튼을 선택할 때, 버튼의 상태 및 외형이 변하는 것이다. 이것은 심지어 추가로 모든 종류들의 애니메이션들 및 콘텐츠 적응들에 채택될 수 있는데, 왜냐하면 블루-레이 디스크 사양이 콘텐츠 생성기로 하여금 시스템의 모든 피처(feature)들을 제어하도록 하는 큰 세트의 라이브러리들을 갖는 자바 프로그래밍 언어를 지원하기 때문이다.
현재 BD는 이용자 선택 메뉴들을 생성하기 위해 콘텐츠 저작자에게 두 메커니즘들을 제공한다. 하나의 방법은 미리 규정된 HDMV 상호 작용 그래픽 사양을 이용하는 것이고, 다른 방법은 자바 언어 및 애플리케이션 프로그래밍 인터페이스들을 통한 것이다.
HDMV 상호 작용 그래픽 사양은 런 길이(run length)로 인코딩된 비트맵 그래픽들을 포함하는 MPEG-2 기본 스트림에 기초한다. BD 외에, 메타데이터 구조들은 콘텐츠 저작자가 애니메이션 효과들 및 스트림 내의 그래픽 객체들과 연계되어 있는 내비게이션 명령들을 지정하도록 한다. 자신과 연관되는 내비게이션 명령을 가지는 그래픽 객체들은 (메뉴) 버튼들로 칭해진다. 애니메이션 효과들 및 버튼들과 연관되는 내비게이션 명령들을 규정하는 메타데이터 구조들은 상호 작용 합성 구조들로 칭해진다.
HDMV는 위치 정보 대신 키 이벤트(key event)들의 스트림을 송신하는, 종래의 원격 제어기, 예를 들어 도 1에 도시된 바와 같은 유닛(15)의 이용에 기초하여 설계된다. 자유롭게 움직이는 이용 가능한 커서는 존재하지 않는다. 이를 해결하기 위해 입력 디바이스의 위치의 변화를 이용자 동작으로 맵핑하는 맵핑 방식을 제안한다. 이 목적을 위해, 두 상호 작용 이용자 동작들(Move_Forward Selected_button 및 Move_Backward-Selected_button)을 규정한다. 스크린으로부터 멀어지는, 후방으로의 위치의 변화는 호출되는 하나의 Move_Backward-Selected_button 동작을 생성하고 스크린 전방으로의 위치의 변화는 forward selected_button 이용자 동작을 생성한다.
자바는 DVB-GEM 표준(Digital Video Broadcasting(DVB)-Globally Executable MHP(GEM))에 기초하는 라이브러리들의 세트를 갖는, Sun Microsystems로부터의 자바 언어를 이용하는 프로그래밍 환경이다. 자바 프로그래밍 언어에 대한 더 많은 정보는 http://java.sun.com/에서 확인될 수 있고 GEM 및 MHP 사양들은 ETSI(www.etsi.org)로부터 입수 가능하다. 이용 가능한 라이브러리들의 세트 중에서 메뉴들 및 버튼들 및 다른 GUI 요소들을 구비하는 이용자 인터페이스를 생성하기 위해 기능들로의 프로그래머 액세스를 제공하는 세트가 존재한다.
실시예에서 BD로부터 인지되는 상호 작용 합성 세그먼트가 개선되고 3D에 대한 두 유형들의 상호 작용 그래픽 데이터 구조로 확장된다. 그래픽 데이터 구조의 하나의 예는 메뉴를 내비게이팅하는 화살표 키들과 같은 기존의 입력 디바이스들을 이용하는 것에 의존한다. 추가적인 예는 또한 깊이에 있어서 내비게이팅을 가능하게 하는 입력 디바이스들의 이용을 가능하게 한다. 제 1 상호 작용 합성 그래픽 데이터 구조는 완전하게 역호환되고 상이한 "깊이" 위치들을 갖는 그래픽 객체들을 참조하지만 이는 깊이 또는 "z-방향"으로 내비게이팅하기 위한 추가 키들을 지원하는 입력 디바이스들에 대한 추가 구조들을 제공하지 않는다. 3D를 위한 제 2 상호 작용 합성 그래픽 데이터 구조는 제 1 합성 객체와 유사하지만 "z-방향" 입력을 제공하지만 기존 재생기들과 호환하지 않는 입력 디바이스들이 가능하도록 확장된다.
게다가 확장된 버튼 구조는 3D를 위한 상호 작용 합성 그래픽 데이터 구조에 제공되어 상기 그래픽 데이터 구조는 버튼의 "z-방향" 또는 깊이로의 위치에 대한 엔트리, 및 현재 선택된 버튼보다 깊이 면에서 상위 또는 하부에 있는 버튼들을 나타내기 위한 식별자를 포함하게 된다. 이것은 이용자로 하여금 원격장치에 있는 버튼을 이용하여 상이한 깊이 지점에 놓여 있는 버튼들 사이에서의 선택을 스위칭하도록 한다.
자바 프로그래밍 환경의 경우 자바 인터페이스를 확장하는 이용자 인터페이스 컴포넌트를 포함하는 추가 라이브러리를 추가하여 깊이 차원에서 내비게이팅하는 것이 가능해지도록 한다. 더욱이 이용자가 깊이 방향으로 내비게이팅하기 위해 원격장치에 있는 키를 눌렸을 때를 표시하는 두 개의 새로운 이용자 동작들 및 관련된 키 이벤트들이 제공된다.
이 변화들의 장점들은 재생 디바이스의 구현에 아주 많은 기술적인 복잡성을 도입하지 않고도, 콘텐츠 저작자가 간단한 3D 이용자 인터페이스들을 생성하고 이용자가 적절한 입력 디바이스를 이용하여 인터페이스를 내비게이팅하는 것을 가능하게 하는 것이다.
도 3은 상호 작용 합성 구조의 섹션을 도시한다. 안에 있는 그래픽 데이터 구조는 블루-레이 디스크에서 이용된다. 이 표에서의 제 4 필드는 예비되고, 바이트 정렬을 위해 삽입되었다. 크기는 6 비트들이고 이 6 비트 중 1비트를 이용하여 상호 작용 합성이 3D 내비게이션을 지원하는지의 여부를 나타내는 추가 필드를 추가한다.
도 4는 3D 내비게이션 표시자(3D_Navigation이라 칭해진다)를 갖는 상호 작용 합성 구조의 섹션을 도시한다. 이 필드는 상호 작용 합성이 3D 내비게이션을 지원하는지에 대한 여부를 표시한다. 1 비트(1b)의 플래그는 3D(3-방향의 자유도[DOF], x, y 및 z) 내비게이션이 지원되는 것을 나타내고, 0b는 단지 2D 내비게이션(2-DOF)을 나타낸다.
도 5는 그래픽 제어 요소를 도시한다. 상기 표는 간소화된 도면에서의 BD 내에서 이용되는 버튼 구조를 도시한다.
도 6은 3D 개선된 그래픽 제어 요소를 도시한다. 표는 3D 그래픽 객체들을 구성하지만 메뉴를 내비게이팅하기 위한 추가 입력 수단을 이용하지 않는 메뉴들에 대해 확장된 버튼 구조의 버전을 도시한다. 여기서 예비된 7 비트들은 버튼의 깊이 지점을 표시하는데 이용되고, 원격장치상의 4개의 화살표 키들과 같이 2-DOF 입력 디바이스를 이용하여 이용자는 상이한 깊이 지점들에 위치되는 버튼들 사이를 내비게이팅하는 것이 가능하다. 예를 들어 상향 화살표 키는 뷰어로부터 더 멀리 위치되는 버튼을 선택할 수 있고, 반면에 하향-화살표 키는 뷰어에 더 근접한 버튼을 선택하는데 이용된다. 전형적으로 8 비트들(255 값들)이 깊이를 표시하는데 이용되지만, 현재 단지 7 비트만이 이용 가능하므로 7 비트들을 8 비트 값의 MS-비트들로서 이용하는 것이 주목된다. 다른 맵핑들이 또한 가능하다.
깊이 지점을 버튼 구조에 추가함으로써 콘텐츠 저작자는 버튼들을 상이한 깊이들에 위치시키고 이것들 사이에 z-오더링(z-ordering)을 생성할 수 있으므로, 하나의 버튼(중 일부들)이 다른 버튼 위에 오버랩한다. 예를 들어 이용자가 전방이 있지 않은 버튼을 선택하면, 이것은 전방으로 이동하여 완성된 버튼을 도시하고나서 이용자가 계속하기를 원하면 이용자는 OK 버튼 또는 엔터키를 눌러 상기 버튼과 연관된 동작을 선택할 수 있다.
도 7은 3D 버튼 구조를 도시한다. 표는 DOF 디바이스로부터의 입력이 가능하도록 확장되고 그러므로 완성된 3D 내비게이션을 제공한다. 이 버튼 구조는 도 6의 표에서 표시되는 3D_Navigation 필드가 1b로 설정될 때 상호 작용 합성에 이용될 것이다. 기존 버튼 구조 내의 충분히 예비된 필드들이 존재하지 않으므로, 기존 디바이스들과 호환되지 않는 새로운 구조를 규정하였다.
추가된 필드들은 깊이 지점 및 전방- 및 후방 버튼 식별자이다. 깊이 지점은 수평 및 수직 엔트리들과 함께 3D 공간 내의 지점을 나타내는 16-비트 값이다. 16 비트들을 이용하여 다른 지점 파라미터들과 매칭(matching)하였고, 실제로 더 적은 1 비트들이 충분할 것이지만 16 비트들을 이용하여 적은 비용으로 미래의 시스템들에 대한 여유공간을 생성한다.
전방- 및 후방 버튼 식별자 필드들은 이 버튼 앞에 또는 뒤에 어떤 버튼들이 위치되는지를 그리고 이용자가 깊이로, 또는 소위 "z-방향", 즉 스크린과 멀어지거나 스크린 쪽으로 내비게이팅할 때 어떤 버튼이 선택되어야 하는지를 표시하는데 이용된다. 전방 버튼 식별자는 현재 그래픽 제어 요소의 전방에 위치되는 추가 그래픽 제어 요소를 나타내기 위한 전방 제어 파라미터의 예이고, 반면에 후방 버튼 식별자는 현재 그래픽 제어 요소 뒤에 위치되는 추가 그래픽 제어 요소를 나타내기 위한 후방 제어 파라미터의 예이다.
지금까지 콘텐츠 저작자로 하여금 두 방법들(하나는 역 호환이지만 단지 2-DOF 내비게이션을 지원하고, 다른 하나는 호환 가능하지 않지만 미래에도 경쟁력이 있고 3-DOF 내비게이션을 지원한다)을 이용하도록 하는, 3D를 위한 블루-레이 디스크 HDMV 상호 작용 그래픽들을 확장하기 위한 바람직한 해법이 논의되었다.
호환성이 중요하다면 또한 다른 해법들이 존재하고 이 해법은 어느 정도의 기능성을 희생시킨다. 도 5에 도시되었던 바와 같이 버튼 구조는 7개의 예비된 비트들을 갖고, 이 비트들은 버튼의 깊이 지점 및 이 버튼 앞 또는 뒤에 있는 버튼들에 대한 식별자들 모두를 나타내는데 이용될 수 있다. 예를 들어 3 비트들은 깊이 지점을 나타내는데 이용될 수 있다; 이는 콘텐츠 저작자로 하여금 깊이에 있어서 8 레벨을 표시하도록 한다. 나머지 4 비트들은 후방 또는 전방의 네 버튼들에 대해 가능한 식별자들로서 이용될 수 있다. 상기 방법은 버튼 구조에 있어서 다른 예비된 비트들의 일부와 함께 이용될 수 있으나, 상기 비트들은 의미 상으로 제안된 새로운 값들과 일치하지 않는 다른 필드들의 일부이기 때문에 보다 덜 적합하다.
실시예에서, 예비된 비트들을 이용하는 것의 대안으로, "더미" 버튼이 생성된다. 이 버튼은 시각 성분, 내비게이션 명령들을 가지지 않고, "실제" 버튼과 결부된다. 그것은 버튼 깊이 및 후방 및 전방 버튼 식별자들을 나타내기 위해서 단독으로 이용된다.
도 8은 3D 파라미터들을 지니는 "더미" 버튼 구조를 도시한다. 상기 표는 3D 버튼 파라미터들을 지니는데 이용되는 "더미" 버튼의 예를 도시한다. "더미" 버튼의 식별자는 더미 버튼이 대응하는 "실제" 2D 버튼과 연관될 수 있는 그러한 식별자이다. 더욱이 이전의 엔트리(자동 동작 플래그)의 1 비트와 함께 선택적으로 예비되는 7 비트들은 버튼의 깊이 지점을 표시하는데 이용된다. 수평 및 수직 지점 필드들은 연관된 2D 버튼에 대해서와 동일하다. 상부 및 하부 버튼 식별자들은 후방 및 전방 버튼들에 대한 식별자들을 각각 지니는데 이용된다.
정상, 선택, 및 가동 상태 엔트리들은 버튼을 표현하는 그래픽 객체들을 언급하는데 이용된다. 버튼과 연관되는 그래픽 객체들이 존재하지 않으면 표준에 따른 값들은 0xFFFF로 설정되어야 한다.
BD-자바 환경의 경우 해법들은 BD-자바가 정적 데이터 구조들에 의존하지 않지만 오히려 동작들의 세트를 실행하는 기능들의 라이브러리들에 기초하는 프로그래밍 환경이므로, 다소 상이하다. 이 기본 그래픽 이용자 인터페이스 요소는 java.awt.Component 클래스이다. 이 클래스는 버튼들, 텍스트필드들 등과 같이, java.awt 라이브러리 모든 이용자 인터페이스 관련 아이템들의 기본 최상의 클래스이다. 전체 사양은 www.java.sun.com에서 Sun으로부터 획득될 수 있다 (http://java.sun.com/javame/reference/apis.jsp).
다음의 섹션은 깊이를 포함하는 자바 2D 그래픽의 확장을 기술한다. java.awt 라이브러리들을 확장하여 3D 공간에서 상호 작용 그래픽 객체들의 위치 지정을 가능하게 하는 방법이 기술된다. 이 외에도 또한 Java.awt 라이브러리들에 있는 이용자 인터페이스 요소들 모두에 대하여 6 DOF 내비게이션이 가능하도록 새로운 이용자 이벤트들을 규정한다.
도 9는 키 이벤트 표를 도시한다. 다수의 가능한 키 이벤트들은 블루-레이 디스크에 대하여 규정된다. 이것들은 키 이벤트를 깊이 방향으로 포함하도록 확장된다. VK_FORWARD는 스크린 방향으로 이동하도록 의도된 키를 누를 때를 언급하고, 반면에 VK_BACKWARD는 스크린으로부터 멀어지는 방향에 대응하는 키가 눌렸음을 나타낸다.
대응하는 이용자 동작들이 또한 규정된다: Move Foward Selected Button 및 Move backward Selected Button. 이 키 이벤트들 및 이용자 동작들에 대한 확장은 디스크 상에 자바-기반 상호 작용 애플리케이션들을 생성하도록 함으로써 이용자는 전방 버튼들에 있는 대부분으로부터 스크린 내부에 더 멀리 있는 것들로 진행하는, 깊이 방향으로 다수의 버튼들 사이에서 내비게이팅할 수 있다.
6 DOF 입력 디바이스들을 지원하기 위해 두 가지의 가능성들이 존재한다. 그 첫번째는 InputEvent 클래스를 확장하여 6 DOF 종류들의 이벤트들을 지원하는 것이다.
도 10은 Six DOF Event 클래스 및 AWTEvent 계층을 도시한다. 도면은 기존에 존재하는 다양한 이벤트들 및 6 DOF 입력 디바이스로부터의 이벤트를 표현하는 추가 Six DOF Event를 도시한다.
아래는 SixDofEvent 클래스의 가장 간단한 규정이다. 이것은 이벤트-예를 들어, 이동, 버튼 클릭-이 발생했을 때 디바이스의 회전 이동 롤(roll), 요(yaw), 및 피치(pitch)를 포함하는 지점 및 방향을 기술한다.
Figure 112011047773756-pct00001
이 이벤트들은 6 DOF를 허용하는 입력 디바이스가 이동될 때 또는 디바이스 상의 버튼이 클릭될 때 생성된다. 입력 디바이스들을 제어하는데 관심이 있는 애플리케이션들은 SixDofEventListener로 등록될 필요가 있다. 이것은 입력 디바이스의 현재 지점 및 방향에 기초하여 대응하는 이벤트가 발생될 때 갖고자 하는 동작을 지정할 필요가 있다.
Figure 112011047773756-pct00002
대안으로, 자바 3D에 의해 고무되는 더 복잡한 방법이 선행될 수 있다. 6 DOF에 대한 지원은 애플리케이션들이 입력 디바이스의 지점, 방향, 및 버튼 상태들의 최종 N개의 샘플링된 값들을 판독하도록 하는 Sensor 클래스를 통해 인에이블된다. 지점 및 방향은 Transform3D 객체에 의해, 즉 3x3 회전 행렬, 변환 벡터 및 스케일 팩터(scale factor)에 의해 기술된다.
public Transform3D(Matrix3d m1, Vector3d t1, double s)
이 값들은, 예를 들어 렌더링된 장면의 뷰포인트를 수정해서 이용자가 자신의 머리를 이동하여 객체를 둘러볼 때 실제로 발생하는 것들을 모방하기 위해, 애플리케이션들- 3차원 공간 내의 선택 버튼들 옆에 있는-에 의해 이용될 수 있다.
자바 그래픽 애플리케이션은 표준 자바 라이브러리들을 이용할 수 있다. 상기 라이브러리들은 무엇보다도 AWT(Abstract Windowing Toolkit)을 포함하고, 이는 그래픽 이용자 인터페이스(예를 들어, "인쇄" 버튼)를 생성하기 위한 그리고 일부 면(예를 들어 일부 텍스트)에 그래픽들을 직접적으로 그리기 위한 기본 편의들을 제공한다. 이용자 인터페이스들을 개발하기 위해, 윈도들, 대화들, 버튼들, 체크박스들, 스크롤 목록들, 스크롤 바들, 텍스트 에어리어들 등을 가능하게 하며 컴포넌트들로 칭해지는 다양한 위젯(widget)들이 이용 가능하다. AWT는 또한 프로그래머들이 상이한 형상들(예를 들어 라인들, 직사각형들, 원들, 프리 텍스트(free text) 등)을 현재 선택된 컬러, 폰트, 및 다른 속성들을 이용하여 이전에 생성된 캔버스들에 직접적으로 그릴 수 있도록 한다. 현재 이것 모두는 2D 상태에 있고 일부 확장은 3차원을 자바 그래픽들로 추가하는 것이 필요하다.
2D 자바 그래픽들을 3차원으로 개선하는 것은 3D 그래픽 객체들을 생성하고 이 그래픽들을 3차원 공간에 배치함으로써 행해지고, 카메라 뷰포인트를 선택하고 그렇게 구성된 장면을 렌더링할 수 있다. 이는 2D 그래픽들과는 완전히 상이한 모델이고, 2D 내에 그리기 위한 것 외에 개별 라이브러리를 추가할 것을 요구하고, 품질 및 프로그래밍 유연성(programming flexibility)이 더 높은 레벨들에 도달할지라도, 계산하는데 있어서 현저하게 더욱 강력해질 수 있다.
본 발명에 따른 실시예에서 현재의 2D 그래픽 모델은 깊이 정보를 이용하는 능력을 구비하여 확장된다. 프로그래머들로 하여금 완전히 상이한 사고방식으로 생각하기 시작하도록 하는 대신, 이미 존재하는 위젯들 및 그리기 방법들은 프로그래머들에게 텔레비전 스크린 앞에 있든지 또는 뒤에 있든지 간에 어느 깊이로 그래픽 객체들이 등장해야 하는지를 지정할 가능성을 제공한다.
이를 달성하는데 두 대안들이 이용 가능하게 된다:
객체의 깊이를 추가 인자로써 허용하기 위해 다양한 그리기 방법들(예를 들어 drawLine, drawRect 등)을 적응시키기;
컬러 모델을 깊이를 나타내는 추가 좌표로 확장; 이 방식에서 깊이를 객체로 할당하는 것은 원칙적으로 컬러를 객체에 부여하는 것과 등가일 것이다.
도 11은 자바 AWT component 클래스 트리를 도시한다. 프로그래머들은 이용자 인터페이스들을 생성하기 위해 클래스들을 적용할 수 있다. 다음의 섹션에서 이 객체들을 자신의 깊이를 지정할 능력을 지닌 채로 확장시키는 방법이 설명되고, 이는 상기 방법들을 각각의 객체들에 추가함으로써 달성될 수 있다.
도 12는 깊이를 포함하는 Component 클래스에 대한 확장을 도시한다. 도면은 클래스에 추가하고, 그렇게 함으로써 자(child) 클래스들이 본래부터 자신이 어떤 깊이로 등장할지를 지정하는 것이 가능한 방법을 도시한다. 더욱이 컴포넌트의 콘텐츠들이 페인팅될 필요가 있을 때 호출되는 paint() 방법은 3차원으로 확장되어야 한다. 도 16을 참조하면 클래스 그래픽 3D에 대한 규정이 도시된다.
도 13은 깊이를 포함하기 위해 LayoutManager 클래스에 대한 확장을 도시한다. 도면은 깊이를 각각의 위젯에 대한 적절성으로 지정하는 대안을 도시하고, 이는 이용 중인 레이아웃 관리자에 추가되는 컴포넌트의 깊이를 지정하는 것을 가능하게 하도록 LayoutManager 인터페이스를 수정하는 것을 포함한다.
도 14는 깊이를 포함하도록 확장된 Component 클래스의 예를 도시한다.
도 15는 깊이를 포함하도록 확장되는 LayoutManager 클래스의 예를 도시한다. 도 14 및 도 15에서의 예들의 비교는 도 12 및 도 13에 도시된 확장의 실시예들을 설명한다.
상술한 바와 같이, 자바 표준 라이브러리의 그래프 그리기 능력은 개선될 필요가 있다. Graphics 클래스에서 라인들, 다각형들, 원들 및 다른 다양한 형상들뿐만 아니라 텍스트 메시지들 및 이미지들을 페인팅 면에 직접적으로 그리는 것을 가능하게 하는 모든 방법들은 자신들의 깊이의 표시를 갖고 확장되어야 한다.
도 16은 깊이를 포함하는 Graphics 클래스에 대한 확장을 도시한다. 추가 깊이 정수 파라미터가 추가되었다.
대안으로 Graphics 클래스에서의 방법들이 손대지 않고 남겨둘 수 있는 반면에 컬러 모델은 객체의 투명도를 규정하는 알파 컴포넌트와 유사하게, 추가 깊이 컴포넌트로 업그레이드된다.
도 17은 깊이를 포함하는 Color 클래스에 대한 확장을 도시한다. 이 실시예는 다음에 그려지는 객체의 깊이를 변경하여 현재의 컬러가 원하는 깊이 값을 갖도록 설정됨으로써 달성된다.
도 18은 깊이를 포함하도록 확장된 Graphics 클래스의 예를 도시한다.
도 19는 깊이를 포함하도록 확장된 컬러 클래스의 예를 도시한다. 도 18 및 도 19에서의 예들의 비교는 도 16 및 도 17에 도시된 확장의 실시예를 설명한다.
도 20은 그래픽 프로세서 시스템을 도시한다. 상기 시스템은 인코딩된 비디오 입력 신호(200)에 기초하여 비디오 출력 신호(207)를 생성한다. 이미지 데이터를 포함하는 입력 신호는 입력 버퍼를 포함할 수 있는 입력 유닛(201)에서 수신된다. 입력 유닛은 그래픽 프로세서(202)에 결합되고, 그래픽 프로세서(202)는 인입하는 이미지 데이터를 디코딩하고 디코딩된 비디오 객체들을 객체 유닛(203)으로 출력하고, 객체 유닛(203)은 객체 특성들, 예를 들어 비트맵들과 같은 개선된 그래픽 데이터 구조로부터 검색된 2D 이미지 데이터를 저장한다. 객체 유닛으로부터의 이미지 데이터는 그래픽 유닛(204)에 의한 요청 시에 다양한 객체들을 결합하는데 이용되어 예를 들어 그래픽 이용자 인터페이스를 디스플레이하기 위한 이미지 데이터를 포함하는 3D 비디오출력 신호를 생성한다. 3D 비디오 출력 신호는 다양한 비디오 평면들을 가지도록 배열될 수 있고, 상술한 포맷들 중 어느 하나에 깊이정보를 포함한다. 그래픽 프로세서(202)는 상술한 바와 같이 그래픽 제어 구조를 추가로 검색 및 디코딩하고 각각의 구조 데이터를 합성 버퍼(205)에 저장한다. 특히 그와 같은 데이터는 합성 세그먼트(composition segment)라 칭해질 수 있고 이는 이미지 객체를 처리하는 방법을 규정한다. 합성 유닛은 그래픽 가속기(206)에 결합되고, 그래픽 가속기(206)는 2D 비디오 데이터를 제공하는데 이용될 수 있다. 특히, 개선된 3D 그래픽 데이터 구조에 포함되는 깊이 정보는, 3D 그래픽 이용자 인터페이스 내의 깊이 지점에 2D 이미지 데이터를 위치시키기 위하여 그래픽 데이터 구조에 현재 포함되어 있는 깊이 파라미터(들)에 기초하여 3D 디스플레이 신호 내의 2D 이미지 데이터(예를 들어 객체 유닛(203)으로부터의 비트맵들)를 위치시키도록 프로세싱된다.
총괄하면, 상술한 내용은 상이한 깊이 레벨들에서 위젯들 및 객체들을 포함하는 그래픽 이용자 인터페이스들의 개발을 인에이블하기 위해, 자바 AWT 그래픽 라이브러리에 따라 실행되어야 하는 다양한 확장들을 탐구한다. 이때 이 능력은 블루-레이(BD-J 섹션) 및 DVB MHP와 같은, 자바 기반 상호 작용 애플리케이션들에 기초한 자바를 지원하는 모든 표준들에서 이용될 수 있다.
최종적으로, 애플리케이션은 2D + 깊이 포맷들로 제한될 뿐만 아니라 입체 + 깊이 포맷들을 구비하는 것이 주목된다. 이 경우 깊이 값들은 그래픽 객체들이 스크린 평면으로부터 얼마나 멀리 있는지에 대하여 어디에 등장해야 하는지에 대한 프로그래머의 의도를 표현하는데 이용될 수 있다; 이때 이 값들은 "Bruls F.; Gunnewiek R.K.; "Flexible Stereo 3D Format"; 2007"에 기술되는 바와 같이, 제 1 뷰로부터 적응된 제 2 뷰를 자동으로 생성하는데 이용될 수 있다.
본 발명은 프로그램 가능 컴포넌트들을 이용하여, 하드웨어 및/또는 소프트웨어에서 구현될 수 있음이 주목되어야 한다. 본 발명을 구현하기 위한 방법은 도 1을 참조하여 설명된 3D 이미지 시스템에 대응하는 프로세싱 단계들을 갖는다. 3D 이미지 컴퓨터 프로그램은 3D 이미지 디바이스에서 각각의 프로세싱 단계들을 위한 소프트웨어 기능을 가질 수 있고; 디스플레이 컴퓨터 프로그램은 디스플레이 디바이스에서 각각의 프로세싱 단계들을 위한 소프트웨어 기능을 가질 수 있다. 그와 같은 프로그램들은 개인용 컴퓨터 또는 전용 비디오 시스템에서 구현될 수 있다. 본 발명이 주로 광학 기록 캐리어들 또는 인터넷을 이용하는 실시예들에 의해 설명되었을지라도, 본 발명은 또한 저작 소프트웨어 또는 브로드캐스팅 장비와 같이, 임의의 이미지 프로세싱 환경에 적합하다. 더욱이 애플리케이션들은 3D 개인용 컴퓨터[PC] 이용자 인터페이스 또는 3D 미디어 센터 PC, 3D 모바일 재생기 및 3D 모바일 전화기를 포함한다.
본 문서에서 단어 "comprising"은 기재된 것 외의 다른 요소들 또는 단계들의 존재를 배제하지 않고, 요소 앞의 "a" 또는 "an"은 그와 같은 요소들이 복수 개 존재함을 배제하지 않고, 어떠한 참조 부호들도 청구항들의 범위를 제한하지 않고, 본 발명이 하드웨어 및 소프트웨어 이 둘 모두에 의해 구현될 수 있으며, 여러 "수단" 또는 "유닛들"은 하드웨어 또는 소프트웨어의 동일한 아이템에 의해 표현될 수 있고, 프로세서는 가능하면 하드웨어 요소들과의 협력으로 하나 이상의 유닛들의 기능을 완수할 수 있음이 주목된다. 더욱이, 본 발명은 실시예들로 제한되지 않고, 각각 그리고 모든 신규한 특징 또는 상술한 특징들의 결합들에 있다.
10 : 3D 이미지 디바이스 13 : 3D 디스플레이 디바이스
55 : 네트워크 200 : 비디오 입력 신호

Claims (14)

  1. 이용자 제어 수단을 통해 3D 그래픽 이용자 인터페이스 내의 그래픽 제어 요소들을 동작함으로써 이용자 디바이스를 제어하기 위해, 3D 이미지 디바이스 상에 상기 3D 그래픽 이용자 인터페이스를 제공하기 위해 상기 3차원[3D] 이미지 디바이스에 입력하기 위한 그래픽 데이터 구조를 제공하는 방법으로서, 상기 이용자 제어 수단은 이용자 동작들을 수신하고 대응하는 제어 신호들을 생성하도록 배열되고,
    - 상기 3D 그래픽 이용자 인터페이스에 디스플레이하기 위한 그래픽 제어 요소를 표현하는 그래픽 데이터 구조를 제공하는 단계를 포함하는, 상기 그래픽 데이터 구조를 제공하는 방법에 있어서:
    - 상기 그래픽 제어 요소를 표현하기 위해 상기 그래픽 데이터 구조에 2차원[2D] 이미지 데이터를 제공하는 단계, 및
    - 상기 3D 그래픽 이용자 인터페이스 내의 깊이 위치에 상기 그래픽 제어 요소의 상기 2D 이미지 데이터를 위치시키기 위해 깊이 방향으로 그래픽 제어 요소의 위치를 나타내기 위한 상기 깊이 위치를 표현하는 깊이 파라미터를 상기 그래픽 데이터 구조에 제공하는 단계를 포함하는 것을 특징으로 하는, 그래픽 데이터 구조를 제공하는 방법.
  2. 제 1 항에 있어서, 현재 그래픽 제어 요소를 위해 상기 그래픽 데이터 구조는, 깊이 파라미터로서, 대응하는 2D 그래픽 데이터 구조의 추가 인수(argument) 또는 대응하는 2D 그래픽 데이터 구조의 컬러 모델의 추가 좌표 중 적어도 하나를 포함하는, 그래픽 데이터 구조를 제공하는 방법.
  3. 제 1 항에 있어서, 상기 그래픽 데이터 구조는 상기 3D 그래픽 이용자 인터페이스에서의 3D 내비게이션이 상기 그래픽 데이터 구조에 대하여 인에이블(enable)되는 것을 나타내는 3D 내비게이션 표시자를 포함하는, 그래픽 데이터 구조를 제공하는 방법.
  4. 제 1 항에 있어서, 현재 그래픽 제어 요소를 위해 상기 그래픽 데이터 구조는, 추가 깊이 파라미터로서,
    - 상기 현재 그래픽 제어 요소의 전방에 위치되는 추가 그래픽 제어 요소를 나타내기 위한 전방 제어 파라미터,
    - 상기 현재 그래픽 제어 요소의 후방에 위치되는 추가 그래픽 제어 요소를 나타내기 위한 후방 제어 파라미터 중 적어도 하나를 포함하는, 그래픽 데이터 구조를 제공하는 방법.
  5. 제 1 항에 있어서, 상기 그래픽 데이터 구조는
    - 버튼을 2D 그래픽 이용자 인터페이스 내의 그래픽 제어 요소로 표현하기 위한 2D 버튼 구조, 및
    - 상기 3D 그래픽 이용자 인터페이스 내의 상기 깊이 위치에 상기 2D 이미지 데이터를 위치시키기 위하여 상기 깊이 파라미터를 포함하는 더미(dummy) 버튼 구조를 포함하는, 그래픽 데이터 구조를 제공하는 방법.
  6. 제 5 항에 있어서, 상기 더미 버튼 구조는 대응하는 2D 버튼에 대하여 예비되는 위치에 상기 깊이 파라미터를 포함하는, 그래픽 데이터 구조를 제공하는 방법.
  7. 이용자 제어 수단(15)을 통해 3D 그래픽 이용자 인터페이스 내의 그래픽 제어 요소들을 동작함으로써 이용자 디바이스를 제어하기 위해, 3차원[3D] 그래픽 이용자 인터페이스를 제공하기 위해 그래픽 데이터 구조를 수신하기 위한 3D 이미지 디바이스(10)로서, 상기 이용자 제어 수단은 이용자 동작들을 수신하고 대응하는 제어 신호들을 생성하도록 배열되고,
    - 상기 3D 그래픽 이용자 인터페이스에 디스플레이하기 위한 그래픽 제어 요소를 표현하는 상기 그래픽 데이터 구조를 수신하기 위한 입력 수단(51)을 포함하는 상기 3D 이미지 디바이스에 있어서,
    상기 입력 수단은 상기 그래픽 제어 요소를 표현하기 위한 2차원[2D] 이미지 데이터 및 깊이 방향으로 상기 그래픽 제어 요소의 위치를 나타내기 위한 깊이 위치를 표현하는 깊이 파라미터를 갖는 상기 그래픽 데이터 구조를 수신하도록 구성되고, 상기 3D 이미지 디바이스는
    - 상기 3D 그래픽 이용자 인터페이스 내의 상기 깊이 위치에 상기 그래픽 제어 요소의 상기 2D 이미지 데이터를 위치시키기 위하여 상기 그래픽 데이터 구조를 프로세싱하는 그래픽 프로세서 수단(52, 18)을 포함하는 것을 특징으로 하는, 3D 이미지 디바이스.
  8. 제 7 항에 있어서, 상기 이용자 제어 수단은 앞으로_이동 이용자 동작(Move_Forward user action) 및 뒤로_이동 이용자 동작(Move_Backward user action)을 수신하기 위해 구성되고,
    상기 디바이스는 뒤로_이동 이용자 동작을 위한 뒤로 입력 위치의 변화, 및 앞으로_이동 이용자 동작을 위한 앞으로 입력 위치의 변화에 의해, 상기 앞으로_이동 이용자 동작 및 뒤로_이동 이용자 동작에 대응하는 상기 제어 신호들에 기초하여 상기 3D 그래픽 이용자 인터페이스 내의 상기 그래픽 제어 요소들 상에 입력 위치를 변화시키도록 구성되는, 3D 이미지 디바이스.
  9. 제 8 항에 있어서, 상기 그래픽 데이터 구조는 현재 그래픽 제어 요소를 위해,
    - 상기 현재 그래픽 제어 요소의 전방에 위치한 전방 그래픽 제어 요소를 나타내기 위한 전방 제어 파라미터;
    - 상기 현재 그래픽 제어 요소의 후방에 위치한 후방 그래픽 제어 요소를 나타내기 위한 후방 제어 파라미터 중 적어도 하나를 포함하고,
    상기 디바이스는 상기 앞으로_이동 이용자 동작에 대응하는 상기 제어 신호에 기초하여 상기 전방 그래픽 제어 요소로 상기 입력 위치를 변화 및 상기 뒤로_이동 이용자 동작에 대응하는 상기 제어 신호에 기초하여 상기 후방 그래픽 제어 요소로 입력 위치를 변화시키기 위해 구성되는, 3D 이미지 디바이스.
  10. 제 7 항에 있어서, 상기 입력 수단은 기록 캐리어로부터 상기 그래픽 데이터 구조를 검색하기 위한 판독 수단(58)을 포함하는, 3D 이미지 디바이스.
  11. 제 10 항에 있어서,
    상기 판독 수단(58)은 광학 디스크 판독 수단인, 3D 이미지 디바이스.
  12. 이용자 제어 수단을 통해 3D 그래픽 이용자 인터페이스 내의 그래픽 제어 요소들을 동작함으로써 이용자 디바이스를 제어하기 위해서 3차원[3D] 이미지 디바이스 상에 있는 3D 그래픽 이용자 인터페이스에 디스플레이하기 위한 그래픽 제어 요소를 표현하는 그래픽 데이터 구조가 기록된 컴퓨터 판독 가능한 기록 매체로서, 상기 이용자 제어 수단은 이용자 동작들을 수신하고 대응하는 제어 신호들을 생성하도록 배열되고,
    - 상기 그래픽 제어 요소를 표현하기 위한 2차원[2D] 이미지 데이터, 및
    - 상기 3D 그래픽 이용자 인터페이스 내의 깊이 위치에 상기 그래픽 제어 요소의 상기 2D 이미지 데이터를 위치시키기 위해 깊이 방향으로 상기 그래픽 제어 요소의 위치를 나타내기 위한 상기 깊이 위치을 표현하는 깊이 파라미터를 포함하는 것을 특징으로 하는, 컴퓨터 판독 가능한 기록 매체.
  13. 이용자 제어 수단을 통해 3D 그래픽 이용자 인터페이스 내의 그래픽 제어 요소들을 동작함으로써 이용자 디바이스를 제어하기 위해서 3차원[3D] 이미지 디바이스 상에 3D 그래픽 이용자 인터페이스를 제공하는 이미지 데이터를 포함하는 기록 캐리어(record carrier)(54)에 있어서, 상기 이용자 제어 수단은 이용자 동작들을 수신하고 대응하는 제어 신호들을 생성하도록 배열되고, 상기 기록 캐리어는 물리적으로 검출가능한 표시들(marks)에 의해 구성되는 트랙(track)을 포함하고, 상기 표시들은 상기 이미지 데이터를 포함하고, 상기 이미지 디바이스는 상기 이미지 데이터를 수신하도록 배열되고, 상기 이미지 데이터는
    - 상기 3D 그래픽 이용자 인터페이스에서의 디스플레이를 위해 상기 그래픽 제어 요소를 표현하는 그래픽 데이터 구조를 포함하는, 상기 기록 캐리어에 있어서:
    상기 그래픽 데이터 구조는
    - 상기 그래픽 제어 요소를 표현하는 2차원[2D] 이미지 데이터, 및
    - 상기 3D 그래픽 이용자 인터페이스에 있는 깊이 위치에 상기 그래픽 제어 요소의 상기 2D 이미지 데이터를 위치시키기 위해 깊이 방향으로 그래픽 제어 요소의 위치를 나타내기 위한 상기 깊이 위치을 표현하는 깊이 파라미터를 포함하는 것을 특징으로 하는, 기록 캐리어.
  14. 3차원[3D] 이미지 디바이스 상에 3D 그래픽 이용자 인터페이스를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체에 있어서, 상기 프로그램은 프로세서로 하여금 제 1 항 내지 제 6 항 중 어느 한 항에 따라 청구되는 방법을 실행하도록 동작하는, 컴퓨터 판독 가능한 기록 매체.
KR1020117014453A 2008-11-24 2009-11-19 3ｄ ｇｕｉ에서 2ｄ 그래픽 확장 KR101629865B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP08169774 2008-11-24
EP08169774.0 2008-11-24
EP08172352 2008-12-19
EP08172352.0 2008-12-19

Publications (2)

Publication Number Publication Date
KR20110102359A KR20110102359A (ko) 2011-09-16
KR101629865B1 true KR101629865B1 (ko) 2016-06-14

Family

ID=41510501

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117014453A KR101629865B1 (ko) 2008-11-24 2009-11-19 3ｄ ｇｕｉ에서 2ｄ 그래픽 확장

Country Status (7)

Country Link
US (2) US20110225523A1 (ko)
EP (1) EP2374279A1 (ko)
JP (1) JP5616352B2 (ko)
KR (1) KR101629865B1 (ko)
CN (1) CN102224738A (ko)
TW (1) TWI507961B (ko)
WO (1) WO2010058362A1 (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8225231B2 (en) 2005-08-30 2012-07-17 Microsoft Corporation Aggregation of PC settings
US20110202845A1 (en) * 2010-02-17 2011-08-18 Anthony Jon Mountjoy System and method for generating and distributing three dimensional interactive content
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
JP5143856B2 (ja) * 2010-04-16 2013-02-13 株式会社ソニー・コンピュータエンタテインメント ３次元画像表示装置、および３次元画像表示方法
US20110304618A1 (en) * 2010-06-14 2011-12-15 Qualcomm Incorporated Calculating disparity for three-dimensional images
KR20110138151A (ko) * 2010-06-18 2011-12-26 삼성전자주식회사 자막 서비스를 포함하는 디지털 방송 서비스를 제공하기 위한 비디오 데이터스트림 전송 방법 및 그 장치, 자막 서비스를 포함하는 디지털 방송 서비스를 제공하는 비디오 데이터스트림 수신 방법 및 그 장치
US10194132B2 (en) * 2010-08-03 2019-01-29 Sony Corporation Establishing z-axis location of graphics plane in 3D video display
US8605136B2 (en) * 2010-08-10 2013-12-10 Sony Corporation 2D to 3D user interface content data conversion
EP2418857A1 (en) * 2010-08-12 2012-02-15 Thomson Licensing Stereoscopic menu control
WO2012023789A2 (ko) * 2010-08-17 2012-02-23 엘지전자 주식회사 디지털 방송 신호 수신 장치 및 방법
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US9423951B2 (en) 2010-12-31 2016-08-23 Microsoft Technology Licensing, Llc Content-based snap point
US8854357B2 (en) * 2011-01-27 2014-10-07 Microsoft Corporation Presenting selectors within three-dimensional graphical environments
US9383917B2 (en) 2011-03-28 2016-07-05 Microsoft Technology Licensing, Llc Predictive tiling
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US9557909B2 (en) 2011-09-09 2017-01-31 Microsoft Technology Licensing, Llc Semantic zoom linguistic helpers
US8922575B2 (en) 2011-09-09 2014-12-30 Microsoft Corporation Tile cache
US10353566B2 (en) * 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US9244802B2 (en) 2011-09-10 2016-01-26 Microsoft Technology Licensing, Llc Resource user interface
EP2745273B1 (en) * 2011-09-19 2020-03-25 Koninklijke Philips N.V. Status-indicator for sub-volumes of multi-dimensional images in guis used in image processing
TWI488142B (zh) * 2012-02-24 2015-06-11 國立中山大學 應用於向量圖形點陣化之階層式緩衝器之運算方法
CZ308335B6 (cs) * 2012-08-29 2020-05-27 Awe Spol. S R.O. Způsob popisu bodů předmětů předmětového prostoru a zapojení k jeho provádění
US9607012B2 (en) * 2013-03-06 2017-03-28 Business Objects Software Limited Interactive graphical document insight element
KR101598706B1 (ko) 2014-08-14 2016-02-29 주식회사 엔씨소프트 배경 그래픽의 입체적 표시를 위한 컴퓨팅 디바이스 및 컴퓨터 프로그램
US10372108B2 (en) * 2015-08-08 2019-08-06 PopUp Play Inc. Production of components of custom structures
EP3185152B1 (en) 2015-12-22 2022-02-09 Dassault Systèmes Distributed clash and snapping
EP3185214A1 (en) * 2015-12-22 2017-06-28 Dassault Systèmes Streaming of hybrid geometry and image based 3d objects
US10719870B2 (en) * 2017-06-27 2020-07-21 Microsoft Technology Licensing, Llc Mixed reality world integration of holographic buttons in a mixed reality device
US10761344B1 (en) 2019-02-07 2020-09-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for generating a volumetric image and interacting with the volumetric image using a planar display
WO2020261690A1 (ja) * 2019-06-28 2020-12-30 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
US20220148134A1 (en) * 2020-11-10 2022-05-12 Embarcadero Technologies, Inc. Systems and method for providing images on various resolution monitors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP2006350853A (ja) * 2005-06-17 2006-12-28 Sony Computer Entertainment Inc 情報処理装置、情報処理装置の制御方法及び情報処理プログラム
WO2008038205A2 (en) * 2006-09-28 2008-04-03 Koninklijke Philips Electronics N.V. 3 menu display

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260671A (ja) * 1997-03-21 1998-09-29 Sony Corp 画像表示制御装置および方法
JPH11113028A (ja) 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
US5990900A (en) * 1997-12-24 1999-11-23 Be There Now, Inc. Two-dimensional to three-dimensional image converting system
US6229542B1 (en) * 1998-07-10 2001-05-08 Intel Corporation Method and apparatus for managing windows in three dimensions in a two dimensional windowing system
JP4610799B2 (ja) * 2001-06-25 2011-01-12 オリンパス株式会社 立体観察システム、及び内視鏡装置
US7178111B2 (en) * 2004-08-03 2007-02-13 Microsoft Corporation Multi-planar three-dimensional user interface
US7441201B1 (en) * 2004-10-19 2008-10-21 Sun Microsystems, Inc. Method for placing graphical user interface components in three dimensions
US7843449B2 (en) * 2006-09-20 2010-11-30 Apple Inc. Three-dimensional display system
JP2007317050A (ja) * 2006-05-29 2007-12-06 Nippon Telegr & Teleph Corp <Ntt> ３次元表示を用いたユーザインタフェースシステム
CN101682793B (zh) 2006-10-11 2012-09-26 皇家飞利浦电子股份有限公司 创建三维图形数据
US8208013B2 (en) * 2007-03-23 2012-06-26 Honeywell International Inc. User-adjustable three-dimensional display system and method
WO2009083863A1 (en) * 2007-12-20 2009-07-09 Koninklijke Philips Electronics N.V. Playback and overlay of 3d graphics onto 3d video
TW201130289A (en) * 2009-07-14 2011-09-01 Panasonic Corp Image reproducing apparatus
US8947422B2 (en) * 2009-09-30 2015-02-03 Disney Enterprises, Inc. Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-D images into stereoscopic 3-D images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP2006350853A (ja) * 2005-06-17 2006-12-28 Sony Computer Entertainment Inc 情報処理装置、情報処理装置の制御方法及び情報処理プログラム
WO2008038205A2 (en) * 2006-09-28 2008-04-03 Koninklijke Philips Electronics N.V. 3 menu display

Also Published As

Publication number Publication date
JP5616352B2 (ja) 2014-10-29
TW201037592A (en) 2010-10-16
CN102224738A (zh) 2011-10-19
EP2374279A1 (en) 2011-10-12
US20110225523A1 (en) 2011-09-15
TWI507961B (zh) 2015-11-11
KR20110102359A (ko) 2011-09-16
US20160154563A1 (en) 2016-06-02
JP2012510102A (ja) 2012-04-26
WO2010058362A1 (en) 2010-05-27

Similar Documents

Publication Publication Date Title
KR101629865B1 (ko) 3ｄ ｇｕｉ에서 2ｄ 그래픽 확장
US11310486B2 (en) Method and apparatus for combining 3D image and graphical data
US9035942B2 (en) Graphic image processing method and apparatus
JP5593333B2 (ja) 映像処理方法及びその装置
KR20110129903A (ko) ３ｄ 시청자 메타데이터의 전송
JP2012513146A (ja) 表示パラメータ設定の制御

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant