KR20080003788A - 3ｄ 포인팅을 이용하여 텔레비젼 어플리케이션을향상시키는 방법 및 시스템 - Google Patents

3ｄ 포인팅을 이용하여 텔레비젼 어플리케이션을향상시키는 방법 및 시스템 Download PDF

Info

Publication number
KR20080003788A
KR20080003788A KR1020077020993A KR20077020993A KR20080003788A KR 20080003788 A KR20080003788 A KR 20080003788A KR 1020077020993 A KR1020077020993 A KR 1020077020993A KR 20077020993 A KR20077020993 A KR 20077020993A KR 20080003788 A KR20080003788 A KR 20080003788A
Authority
KR
South Korea
Prior art keywords
information
display
user
screen
cursor
Prior art date
Application number
KR1020077020993A
Other languages
English (en)
Inventor
프랭크 에이. 헌레쓰
네가 모시리
윌리암 제이. 나피어
다니엘 에스. 심프킨스
프랭크 워로블워스키
케빈 콘로이
찰스 더블유. 케이. 그리톤
Original Assignee
힐크레스트 래보래토리스, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 힐크레스트 래보래토리스, 인크. filed Critical 힐크레스트 래보래토리스, 인크.
Publication of KR20080003788A publication Critical patent/KR20080003788A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42212—Specific keyboard arrangements
    • H04N21/42213—Specific keyboard arrangements for facilitating data entry
    • H04N21/42214—Specific keyboard arrangements for facilitating data entry using alphanumerical characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4821—End-user interface for program selection using a grid, e.g. sorted out by channel and broadcast time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4825—End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명에 따른 시스템 및 방법은 매체 아이템을 구성하고, 선택하고 런칭하기 위한 제어 프레임워크를 제공하는 것으로, 제어 프레임워크는 매체 아이템, 예컨대, 영화, 노래 등을 크거나 작은 컬렉션으로부터 쉽고 빠르게 선택하게 해주는 포인트, 클릭, 스크롤, 후버 및 줌의 기본 제어 프리미티브의 컬렉션을 위한 선택적 3D 제어 장치와 결합된 그래픽 사용자 인터페이스를 포함한다. 원격 제어기능은 그래픽 디스플레이가 GUI 객체의 디테일 및 연속성의 증가/감소된 레벨로 줌잉하는 화상을 이용하여 매체 아이템들 중에서 사용자에 의한 쉬운 구성, 선택 및 네비게이트션을 제공하면서 자연스런 손의 움직임과 제스쳐를 관련 명령으로 맵핑한다.
원격 제어, 그래픽 사용자 인터페이스, 포인트, 클릭, 스크롤, 후버, 줌

Description

3Ｄ 포인팅을 이용하여 텔레비젼 어플리케이션을 향상시키는 방법 및 시스템{METHODS AND SYSTEMS FOR ENHANCING TELEVISION APPLICATIONS USING 3D POINTING}
관련 출원
본 출원은 2005년 2월 14일 "Methods and Systems for Enhancing Television Applications Using Free-Space Pointing" 라는 명칭으로 출원한 미국 가출원 제 60/653,229 호와 관련되고 그 우선권을 주장하며, 그 개시 내용은 본 명세서에서 참조문헌으로 인용된다.
본 발명은 매체 아이템을 구성하고, 선택하고 런칭하는 프레임워크를 개시한다. 프레임워크의 부분은 포인트, 클릭, 스크롤, 후버 및 줌의 기본적인 빌딩 블록을 갖춘 그래픽 사용자 인터페이스 및 특히 3D 포인팅 원격 장치와 함께 사용될 수 있는 매체 아이템과 연관된 그래픽 사용자 인터페이스의 설계 및 동작을 수반한다.
정보 통신과 관련된 기술은 지난 수십 년에 걸쳐 급속히 발전되어 왔다. 텔레비젼, 셀룰러 전화, 인터넷 및 광 통신 기술(단지 몇 가지만 나열함)은 결합되어서 소비자들을 유용한 정보 및 엔터테인먼트 옵션으로 넘쳐나게 한다. 텔레비젼을 예를 들면, 지난 30년간 케이블 텔레비젼 서비스, 위성 텔레비젼 서비스, 유료 영화 및 비디오-온-디맨드가 도입되었다. 전형적으로 1960년대의 텔레비젼 시청자들은 텔레비젼 셋을 통해 아마도 넷이나 다섯개의 공중 TV 채널을 수신할 수 있었지만, 오늘날의 텔레비젼 시청자들은 수백 잠재적으로는 수천 채널의 쇼와 정보를 선택하는 기회를 갖고 있다. 호텔 등에서 현재 기본적으로 사용중인 비디오-온-디맨드 기술은 수천개의 영화 타이틀 중에서 집에서 할 수 있는 엔터테인먼트 선택의 잠재성을 제공한다. 미국 캘리포니아 95002, 알비소, 골드 스트리트 2160 소재의 TiVo 인코퍼레이티드에 의해 제공된 바와 같은 디지털 비디오 레코딩(DVR) 장치는 이용가능한 선택을 더욱 확대시킨다.
최종 사용자(end user)에게 더 많은 정보와 컨텐트를 제공하는 기술력은 시스템 설계자와 서비스 제공자에게 기회와 도전 둘 다를 제공한다. 한가지 도전은 최종 사용자들이 전형적으로 소수보다 오히려 더 많은 선택을 갖기를 선호하지만, 이 선호는 선택 과정이 빠르고 간단해지는 그들의 희망에 의해 균형을 이루고 있다. 불행하게도, 최종 사용자가 매체 아이템을 엑세스하는 시스템 및 인터페이스의 발전은 빠르지도 않고 간단하지도 않은 선택 과정으로 귀결되어 왔다. 텔레비젼 프로그램의 예를 다시 살펴 보자. 텔레비젼이 초창기였을 때, 어느 프로그램을 볼 것인가를 결정하는 것은 선택의 개수가 적으므로 기본적으로 비교적 간단한 과정이었다. 누구든 정형화된 간행된 가이드, 예를 들면, (1) 가까운 텔레비젼 채널들, (2) 이들 채널을 통해 전송되는 프로그램 및 (3) 날짜와 시간 간의 대응 관계를 보여주는 일련의 행과 열로서, 정형화된 인쇄된 가이드를 참고할 것이다. 텔레 비젼은 튜너 노브를 조정하여 원하는 채널로 동조되고 시청자는 선택된 프로그램을 보았다. 나중에, 시청자들이 멀리서 거리를 두고 텔레비젼을 동조해주는 원격 제어 장치가 도입되었다. 이렇게 사용자-텔레비젼 간의 인터페이스가 추가됨으로써 "채널 서핑"이라고 알려진 현상이 생겼으며, 이로 인해 시청자는 다수의 채널을 통해 방송되는 짧은 부분을 신속히 볼 수 있어서 무슨 프로그램이 어느 소정 시간에 볼 수 있는지를 빨리 알 수 있었다.
채널의 개수와 시청가능한 컨텐트의 양이 급격히 증가했다는 사실에도 불구하고, 일반적으로 이용가능한 사용자 인터페이스 및 원격 제어 옵션 및 텔레비젼용 프레임워크는 과거 30년이 더 지나도 변하지 않았다. 간행된 가이드는 여전히 프로그램 정보를 전해주는 가장 유력한 메커니즘이다. 간편한 업 및 다운 화살표로된 다수개의 버튼을 갖는 원격 제어 장치는 여전히 유력한 채널/컨텐트 선택 메커니즘이다. 이용가능한 매체 컨텐트의 증가에 대비하여 텔레비젼 사용자 인터페이스를 설계하고 구현하는 사람들의 반응은 기존의 선택 과정 및 인터페이스 대상의 직접적인 연장이었다. 따라서, 더 많은 채널을 수용하기 위하여, 간행된 가이드 내에 행과 열의 개수가 증가했다. 원격 제어 장치의 버튼의 개수는, 예컨대, 도 1에 도시된 바와 같이 추가 기능을 지원하고 컨텐트를 취급하기 위하여 증가했다. 그러나, 이 접근법은 시청자가 유용한 정보를 보는데 필요한 시간과 선택을 실행하는데 필요한 행위의 복잡성을 상당히 증가시켰다. 거의 틀림없이, 소비자들은 이미 너무 느리고 복잡하다고 생각하는 인터페이스에 복합성을 추가할 새로운 서비스에 반대하기 때문에, 기존 인터페이스의 성가신 특징은 몇몇 서비스, 예를 들면, 비디오-온-디맨드의 상업적인 실시를 방해했다.
대역폭과 컨텐트의 증가 이외에, 사용자 인터페이스 병목 문제가 기술의 결합 때문에 악화되고 있다. 소비자는 다수의 분리가능한 컨텐트 보다는 차라리 통합된 시스템을 구매하는 옵션을 갖는 것이 긍정적이라고 반응하고 있다. 이러한 경향의 좋은 일예는 오늘날 세 가지 독립 컴포넌트가 통합 유닛으로서 흔히 판매되는 통합 텔레비젼/VCR/DVD이다. 이러한 경향은 지속될 가능성이 있어서, 잠재적으로는 최종적으로는 현재 가정에서 발견되는 통신 장치들이 모두는 아니지만 대부분 통합 유닛, 예를 들면, 텔레비젼/VCR/DVD/인터넷 엑세스/라디오/스테레오 유닛으로서 패키지화되고 있다. 개개의 컴포넌트를 구매하는 사람들조차도 컴포넌트들 간의 단절없는 제어 및 상호작용을 희망하고 있다. 이에 따라 애그리게이션(aggregation)이 늘어나면 잠재적으로 사용자 인터페이스에서 복잡성이 더욱 부가된다. 예를 들면, 소위 "유니버셜" 원격 유닛이, 예를 들면, TV 원격 유닛 및 VCR 원격 유닛의 기능을 결합하도록 도입되었을 때, 전형적으로 이들 범용 원격 유닛의 버튼의 개수는 TV 원격유닛 또는 VCR 원격 유닛의 버튼의 개수보다 개별적으로 더 많았다. 이렇게 추가된 개수의 버튼과 기능은 TV 또는 VCR의 가장 간단한 양상을 원격 유닛 상에서 올바른 버튼을 정확히 찾기는커녕 제어하기 매우 어렵게 하였다. 여러 번에 걸쳐, 이들 범용 원격 유닛은 많은 제어 레벨 또는 소정의 TV에 독특한 특징을 엑세스하기에 충분한 버튼을 제공하지 않는다. 이러한 경우, 원래 장치의 원격 유닛이 여전히 필요하며, 애그리게이션의 복잡성 때문에 발생하는 사용자 인터페이스 문제점으로 인하여 다수개의 원격 유닛을 취급하는 원래의 혼란 은 그대로 남는다. 어떤 원격 유닛은 전문적 명령으로 프로그램될 수 있는 "소프트" 버튼을 추가함으로써 이러한 문제를 처리하였다. 이러한 소프트 버튼은 때때로 그 동작을 표시하는 LCD 디스플레이를 수반하고 있다. 또한 이들 버튼은 TV에서부터 원격 제어 장치까지 멀리 떨어져서 쳐다보지 않고는 사용하기 어렵다는 결함을 가지고 있다. 이들 원격 유닛에서의 또 다른 결점은 버튼의 개수를 줄이려는 시도에서 모드를 사용하는 것이다. 이렇게 "모드화된" 유니버셜 원격 유닛에 있어서, 원격 유닛이 TV, DVD 플레이어, 케이블 셋탑 박스, VCR 등과 통신해야하는지를 선택하는 특수 버튼이 존재한다. 이것은 명령을 다른 장치에 전송하는 것, 사용자가 원격 유닛을 쳐다보고 이것이 올바른 모드에 있는지를 확인해야 하는 것, 그리고, 다수 장치의 통합을 단순화시키지 못한다는 것을 포함하는 많은 편의성 문제를 야기시킨다. 대부분의 진보된 이들 유니버셜 원격 유닛은 사용자로 하여금 그 원격 유닛에다 다수 장치에 대한 일련의 명령을 프로그램하도록 함으로써 몇 가지가 통합된다. 이것은 어려운 작업이므로 많은 사용자는 이들 유니버셜 원격 유닛을 프로그램하는데 전문가를 고용하고 있다.
최종 사용자와 매체 시스템 간의 스크린 인터페이스를 현대화하는 몇 가지 시도가 이루어졌다. 전자 프로그램 가이드(electronic program guides: EPGs)가 개발되고 구현되어 전술한 매체 가이드를 대체하였다. 초기의 EPG는 본질적으로 간행 매체 가이드의 전자 복사판이었다. 예를 들면, 케이블 서비스 운영자는 전용 채널을 통해 채널들의 천천히 스크롤하는 그리드 및 소정 타임 호리즌(time horizon), 예컨대, 다음 두시간 뒤에 이들과 연관된 프로그램을 디스플레이하는 아 날로그 EPG를 제공하였다. 이 방식대로 일백개 채널을 통해 스크롤하는 것은 지루할 수 있으며 중요한 컨텐트를 추가 배치하도록, 예컨대, 비디오-온-디맨드를 배치하도록 실행가능하게 가변적이지 않다. 보다 복잡한 디지털 EPG가 또한 개발되었다. 디지털 EPG에서, 프로그램 스케쥴 정보, 및 선택적으로는 응용 소프트웨어/시스템 소프트웨어가 전용 EPG 장치, 예컨대, 디지털 셋탑 박스(STB)에 전송된다. 디지털 EPG는 국부적인 쌍방향성(local interactivity)을 제공하며 사용자와 시청되는 매체 아이템의 선택과의 사이에서 하나 이상의 인터페이스 레이어를 개입시키는 역량으로 인해 매체 시스템의 사용자 인터페이스를 설계하는데 보다 많은 유연성을 제공한다. 이러한 인터페이스의 일예는 Kamen 등의 미국 특허 제 6,421,067 호에서 찾아볼 수 있으며, 그 개시 내용은 본 명세서에서 참조문헌으로 인용된다. 도 2는 '067 특허에 개시된 GUI를 도시한다. 이 특허에서 보면, Kamen 등의 특허에 따르면, 제1 컬럼(190)은 프로그램 채널을 리스트하고, 제2 컬럼(191)은 현재 재생중인 프로그램을 도시하고, 컬럼(192)은 30분 동안에 재생하는 프로그램을 도시하고, 제4 컬럼(193)은 그 다음 30분에 재생하는 프로그램을 도시한다. 야구 배트 아이콘(121)은 컬럼(191)과 컬럼(192)에 걸쳐 있음으로써, 야구 경기가 컬럼(192)에 대응하는 타임 슬롯에서 지속할 것으로 예상된다. 그러나, 텍스트 블록(111)은 컬럼(192)을 통해 연장하는 있지 않다. 이것은 야구 경기가 컬럼(192)에 대응하는 타임 슬롯으로까지 연장하는 것이 예상되지 않음을 나타낸다. 볼 수 있는 바와 같이, 픽토그램(pictogram)(194)은 야구 경기 다음에, ABC가 경마경주를 보여줄 것이라는 것을 나타내고 있다. 도 2에 도시된 아이콘들은 각종 기능을 구 현하는, 예를 들면, 선택된 프로그램밍과 연관된 정보를 다운로드하는 도시하지 않은 커서를 이용하여 활성화될 수 있다. 다른 디지털 EPG 및 관련된 인터페이스는, 예를 들면, 미국 특허 제6,314,575호, 제6,412,110호, 및 제6,577,350호에 기술되며, 이들의 개시 내용은 본 명세서에서 참조문헌으로 인용된다.
그러나, 전술한 인터페이스들은, 다른 단점들 중에서도, 대규모 매체 아이템들의 컬렉션과 소규모 매체 아이템들의 컬렉션 사이를 쉽게 스케일할 수 없다는 단점이 있다. 예를 들면, 아이템들의 리스트에 의존하는 인터페이스는 소규모 매체 아이템들의 컬렉션에는 잘 작동할 수 있지만, 대규모 매체 아이템들의 컬렉션을 지루하게 검색하게 된다. 계층적 네비게이션(예컨대, 트리 구조)에 의존하는 인터페이스는 대규모 컬렉션의 매체 아이템들에는 리스트 인터페이스 보다 고속으로 이리저리 탐색할 수 있지만, 소규모 컬렉션의 매체 아이템들에는 쉽게 적응하지 못한다. 부가적으로, 사용자들은 사용자가 트리 구조에서 세개 이상의 레이어들을 통해 이동하여야 하는 선택 프로세스에서 관심사를 놓쳐버리는 경향이 있다. 이러한 모든 사례에 있어서, 현재의 원격 유닛은 사용자가 리스트 또는 계층을 네비게이트(navigate) 하는 업 및 다운 버튼을 반복적으로 누르게 함으로써 이러한 선택 프로세서를 더욱 지루하게 만든다. 페이지 업 및 페이지 다운과 같이 선택을 건너뛰는 제어기능이 이용가능할 때, 사용자는 이들 특수 버튼을 찾기 위해 리모콘을 쳐다보아야 하거나 이들 버튼의 존재를 알고자 훈련되어야 한다.
따라서, 사용자와 매체 시스템 간의 제어 및 스크린 인터페이스를 단순화할 뿐아니라 선택 프로세스를 가속화해줌과 동시에, 서비스 공급자로 하여금 사용자에 게 대규모 매체 아이템 및 신규 서비스를 편리하게 공급해줌으로써 최종 사용자 장치에 유용한 대역폭의 증가를 이용하게 해주는 구성화 프레임워크, 기법, 및 시스템을 제공하는 것이 바람직할 것이다. 더욱이, 탐색(browse)되는 매체 아이템 컬렉션의 크기에 상관없이 쉽고 빠른 선택 경험을 공급하는 인터페이스를 제공하는 것이 바람직할 것이다.
본 발명에 따른 시스템 및 방법은 매체 아이템을 쉽고 빠르게 선택하게 하는 사용자 인터페이스 프레임워크를 포함하는 매체 아이템을 구성하고, 선택하고, 런칭하기 위한 토탈 제어 프레임워크를 제공함으로써 이러한 요구와 다른 요구를 처리한다. 프레임워크의 제어는 연관된 그래픽 사용자 인터페이스에서 선택하여 포인트하고, 클릭하고 스크롤하기 위한 최소 세트의 버튼 및 스크롤 휠을 포함하는 3D 포인팅 장치를 채용할 수 있다. 이러한 예시적인 그래픽 사용자 인터페이스(GUI)는 포인터가 개요와 디테일 화면 사이를 원활하게 네비게이트 하도록 선택 위를 후버(hover)하고 선택을 줌 확대하고 축소할 때 온-스크린 포인터인 그래픽 애니메이션을 사용하여 사용자에게 피드백시켜준다. 본 발명의 예시적인 실시예는 사용자가 쉽게 네비게이트하게 해주는 GUI 객체의 디테일과 연속성의 증가/축소 레벨로 줌잉하는 화상을 이용한다. 본 발명에 따른 그래픽 사용자 인터페이스는 가상 표면에서 매체 아이템 선택을 구성한다. 유사한 선택이 서로 함께 그룹화될 수 있다. 초기에, 인터페이스는 표면의 줌 축소 뷰를 제시하며, 대개의 경우, 실제 선택은 이 레벨에서 아주 상세하게 보이지는 않을 것이다. 사용자가 점차 줌 확대함에 따라, 매체 아이템 그룹 또는 선택에 관련하는 더욱 상세한 디테일이 나타난다. 다른 줌 레벨에서는 사용자가 선택 그룹, 개별 선택들을 플레이(play)할 수 있거나, 또는 가상 표면의 또 다른 부분으로 진행하여 관련된 다른 매체 아이템을 탐색하는 다른 제어기능이 이용가능하다.
본 발명의 예시적인 일 실시예에 따르면, 텔레비젼 스크린 상에 출력물을 디스플레이하는 소프트웨어 어플리케이션을 갖는 3D 포인팅 장치를 이용하기 위한 방법이 제공되며, 상기 방법은 상기 소프트웨어 어플리케이션과 연관된 텔레비젼 스크린 상에 제1 세트의 정보를 디스플레이하는 단계와, 상기 소프트웨어 어플리케이션은 전자 프로그램 가이드, 텔레비젼 스크린 제어기능, 사진 앨범, 홈 비디오 컬렉션, 및 쇼핑 인터페이스 중의 적어도 하나를 포함하며, 상기 3D 포인팅 장치를 이동시키는 단계와, 상기 3D 포인팅 장치의 움직임과 연관된 데이터를 처리하여 상기 3D 포인팅 장치의 의도하지 않은 움직임을 보상하는 단계와, 상기 처리된 데이터에 기반하여 상기 텔레비젼 스크린 상에 디스플레이된 커서를 상기 텔레비젼 스크린상의 새로운 위치로 이동시키는 단계와; 상기 커서의 새로운 위치에 응답하여 상기 텔레비젼 스크린 상에 상기 제1 세트의 정보의 디스플레이를 변경시키는 단계를 포함한다.
본 발명의 다른 예시적인 실시예에 따르면, 시스템은 3D 포인팅 장치와, 텔레비젼과, 상기 텔레비젼 상에 출력물을 디스플레이하는 소프트웨어 어플리케이션을 실행시키기 위한 프로세서를 포함하며, 상기 프로세서는 초기에 상기 텔레비젼상에 전자 프로그램 가이드, 텔레비젼 스크린 제어기능, 사진 앨범, 홈 비디오 컬렉션, 및 쇼핑 인터페이스 중 적어도 하나와 연관된 제1 세트의 정보를 디스플레이하며, 상기 프로세서는 또한 상기 3D 포인팅 장치의 움직임에 응답하여, 의도하지 않은 움직임에 대해 상기 3D 포인팅 장치로부터 출력된 데이터를 보상한 다음, 상기 보상된 데이터에 기반하여 상기 텔레비젼 상에 디스플레이된 커서를 상기 텔레비젼 상의 새로운 위치로 이동시키며; 상기 프로세서는 또한 상기 텔레비젼 스크린 상의 상기 제1 세트의 정보의 상기 디스플레이는 상기 커서의 상기 새로운 위치에 응답하여 변경된다.
본 발명의 또 다른 예시적인 실시예에 따르면, 텔레비젼 스크린상에 출력물을 디스플레이하는 소프트웨어 어플리케이션을 갖는 3D 포인팅 장치를 이용하기 위한 시스템이 제공되며, 상기 시스템은, 상기 텔레비젼 상에 상기 소프트웨어 어플리케이션과 연관된 제1 세트의 정보를 디스플레이하기 위한 수단과, 상기 소프트웨어 어플리케이션은 전자 프로그램 가이드, 텔레비젼 스크린 제어기능, 사진 앨범, 홈 비디오 컬렉션, 및 쇼핑 인터페이스 중의 적어도 하나를 포함하며, 상기 3D 포인팅 장치를 이동시키는 수단과, 상기 3D 포인팅 장치의 움직임과 연관된 데이터를 처리하여 상기 3D 포인팅 장치의 의도하지 않은 움직임을 보상하는 수단과, 상기 처리된 데이터에 기반하여 상기 텔레비젼 스크린상에 디스플레이된 커서를 상기 텔레비젼 스크린상의 새로운 위치로 이동시키는 수단과, 상기 커서의 새로운 위치에 응답하여 상기 텔레비젼 스크린상에 상기 제1 세트의 정보의 디스플레이를 변경시키는 수단을 포함한다.
본 발명의 또 다른 예시적인 실시예에 따르면, 3D 포인팅 장치의 움직임에 응답하여 텔레비젼 스크린 상에 정보를 디스플레이하기 위한 소프트웨어 어플리케이션은 움직임 데이터를 처리하여 그 움직임 데이터로부터 의도하지 움직임을 제거하는 수단과, 상기 처리된 데이터에 응답하여 상기 텔레비젼 스크린상에 커서를 재배치시키는 수단과, 상기 커서의 상기 재배치에만 응답하여 상기 텔레비젼 스크린상의 정보의 디스플레이를 변경시키는 수단을 포함한다.
첨부한 도면은 본 발명의 예시적인 실시예를 설명한다.
도 1은 엔터테인먼트 시스템의 통상적인 리모콘을 도시한다.
도 2는 엔터테인먼트 시스템의 통상적인 그래픽 사용자 인터페이스를 도시한다.
도 3은 본 발명의 예시적인 실시예(디스플레이 및 원격 제어)가 구현될 수 있는 예시적인 매체 시스템을 도시한다.
도 4는 도 3의 시스템 제어기를 상세히 도시한다.
도 5 내지 도 8은 본 발명의 예시적인 실시예에 따른 매체 시스템용 그래픽 사용자 인터페이스를 도시한다.
도 9는 본 발명의 예시적인 실시예에 따른 예시적인 데이터 구조를 예시한다.
도 10a 및 도 10b는 본 발명의 예시적인 실시예에 따른 도 9의 데이터 구조를 이용하여 생성된 예시적인 GUI의 일부를 줌 축소 및 줌 확대한 형태로 예시한다.
도 11은 본 발명의 예시적인 실시예에 따른 GUI 디스플레이를 생성하는데 사용된 이중 링크된 순서 리스트를 도시한다.
도 12a 및 도 12b는 본 발명의 예시적인 실시예에 따른 노드 감시 알고리즘(node watching algorithm)의 동작을 설명하는데 사용된 또 다른 예시적인 GUI의 일부를 줌 축소 및 줌 확대한 형태로 도시한다.
도 13a 및 도 13b는 본 발명의 예시적인 실시예에 따른 도 12a 내지 도 12b로부터 GUI가 전이함에 따라 노드 감시 알고리즘의 동작을 설명하는데 사용된 예시적인 데이터 구조를 도시한다.
도 14는 본 발명의 또 다른 예시적인 실시예에 따른, 해상도 일관 줌잉(resolution consistent zooming)에 사용하기 위한 가상 카메라를 포함하는 데이터 구조를 도시한다.
도 15a 및 도 15b는 본 발명의 예시적인 실시예에 따른 의미론적 줌잉을 묘사하는 예시적인 GUI의 일부를 줌 축소 및 줌 확대한 형태로 도시한다.
도 16 내지 도 20은 본 발명의 또 다른 예시적인 실시예에 따른 줌가능한 그래픽 사용자 인터페이스를 도시한다.
도 21은 본 발명의 예시적인 실시예에 따라서 제공될 수 있는 예시적인 오버레이 제어기능 집합을 도시한다.
도 22는 본 발명에 따른 줌가능한 그래픽 사용자 인터페이스를 구현하기 위한 예시적인 프레임워크를 도시한다.
도 23a 내지 도 23b는 본 발명의 예시적인 실시예에 따른 전자 프로그램 가 이드에서 상이한 채널을 선택하는 3D 포인팅을 예시하는 GUI 스크린이다.
도 24a 및 도 24b는 본 발명의 예시적인 실시예에 따른 전자 프로그램 가이드에서 3D 포인팅을 이용하여 채널 리스트를 스크롤하는 것을 예시하는 GUI 스크린이다.
도 25a 내지 도 25f는 본 발명의 예시적인 실시예에 따라서 3D 포인팅을 이용하여 비디오 공급과 연관된 제어 요소를 디스플레이 및/또는 제거하는 것을 예시하는 GUI 스크린이다.
도 26a 및 도 26b는 본 발명의 예시적인 실시예에 따라서 3D 포인팅을 이용하여 전자 프로그램 가이드 내 매체 아이템들 간의 더욱 효과적인 전이를 가능하게 하는 링크를 디스플레이하는 것을 예시하는 GUI 스크린이다.
도 27a 및 도 27b는 본 발명의 예시적인 실시예에 따라서 3D 포인팅을 이용하여 비디오 스트림에 트랜스포트 오버레이 제어기능(transport overlay controls)을 디스플레이 및/또는 제거하는 것을 예시하는 GUI 스크린이다.
도 28a 및 도 28b는 본 발명의 예시적인 실시예에 따라서 3D 포인팅을 이용하여 사진 컬렉션 인터페이스 내 사진들을 조작하는 것을 예시하는 GUI 스크린이다.
도 29a 및 도 29b는 본 발명의 예시적인 실시예에 따라서 3D 포인팅을 이용하여 홈 비디오 컬렉션 인터페이스 내 비디오들을 조작하는 것을 예시하는 GUI 스크린이다.
도 30a 및 도 30b는 본 발명의 예시적인 실시예에 따라서 3D 포인팅을 이용 하여 인터페이스 내 캘린더(calendar)를 조작하는 것을 예시하는 GUI 스크린이다.
도 31a 및 도 31b는 본 발명의 예시적인 실시예에 따라서 3D 포인팅을 이용하여 인터넷 인터페이스를 조작하는 것을 예시하는 GUI 스크린이다.
도 32a 및 도 32c는 본 발명의 예시적인 실시예에 따라서 3D 포인팅을 이용하여 음악 인터페이스를 조작하는 것을 예시하는 GUI 스크린이다.
도 33a 및 도 33f는 본 발명의 예시적인 실시예에 따라서 3D 포인팅을 이용하여 쇼핑 인터페이스를 조작하는 것을 예시하는 GUI 스크린이다.
다음의 본 발명의 상세한 설명은 첨부 도면을 참조한다. 다른 도면들에서 동일한 참조부호는 동일 또는 유사한 구성요소를 나타낸다. 또한, 다음의 상세한 설명은 본 발명을 제한하지 않는다. 그 대신, 본 발명의 범주는 첨부된 특허청구범위에 의해 규정된다.
본 설명을 위한 몇 가지 문맥을 제공하기 위하여, 먼저 본 발명을 구현할 수 있는 예시적인 종합 매체 시스템(200)이 도 3을 참조하여 설명될 것이다. 그러나, 본 기술 분야에서 통상의 지식을 가진 자들은 본 발명이 이러한 형태의 매체 시스템의 구현으로 제한되지 않으며 그 보다 많은 또는 소수의 컴포넌트가 포함될 수 있음을 인식할 것이다. 이 시스템 내에서, 입/출력 (I/O) 버스(210)는 매체 시스템(200) 내 시스템 컴포넌트들을 서로 연결시킨다. I/O 버스(210)는 매체 시스템 컴포넌트들 사이에서 신호를 라우트하기 위한 임의의 상이한 개수의 메커니즘 및 기술을 나타낸다. 예를 들면, I/O 버스(210)는 오디오 신호를 라우트하는 적절한 개수의 독립 오디오 "패치" 케이블, 비디오 신호를 라우트하는 동축 케이블, 2선식 시리얼 라인(two-wire serial line), 또는 제어 신호를 라우트하는 적외선 또는 무선 주파수 송수신기, 다른 형태의 신호를 라우트하는 광섬유 또는 어떤 다른 어느 라우팅 메커니즘을 포함할 수 있다.
이러한 예시적인 실시예에서, 매체 시스템(200)은 I/O 버스(210)에 연결된 텔레비젼/모니터(212), 비디오 카세트 레코더(VCR)(214), 디지털 비디오 디스크(DVD) 레코더/재생 장치(216), 오디오/비디오 튜너(218) 및 콤팩트 디스크 플레이어(220)를 포함한다. VCR(214), DVD(216) 및 콤팩트 디스크 플레이어(220)는 단일 디스크 장치 또는 단일 카세트 장치일 수 있고, 또는 이와 달리 다중 디스크 장치 또는 다중 카세트 장치일 수 있다. 이들 장치는 독립 유닛일 수 있고 함께 통합될 수 있다. 또한, 매체 시스템(200)은 마이크로폰/스피커 시스템(222), 비디오 카메라(224) 및 무선 I/O 제어 장치(226)를 포함한다. 본 발명의 예시적인 실시예에 따르면, 무선 I/O 제어 장치(226)는 3D 포인팅을 지원하는 매체 시스템 원격 제어 유닛이고, 네비게이션(navigation)을 지원하는 최소 개수의 버튼을 구비하고 있으며, RF 신호를 통하여 엔터테인먼트 시스템(200)과 통신한다. 예를 들면, 무선 I/O 제어 장치(226)는 스크린 위치 및 움직임 벡터를 규정하는 자이로스코프 또는 다른 메커니즘을 이용하여 희망하는 특정 명령을 결정하는 3D 포인팅 장치일 수 있다. 무선 I/O 제어 장치(226) 상에는 아래에서 설명되는 일차 "클릭"을 개시하기 위한 한 세트의 버튼뿐만 아니라 "백(back)" 버튼이 포함된다. 다른 예시적인 실시예에서, 무선 I/O 제어 장치(226)는 IR 신호를 통해 엔터테인먼트 시스템(200)의 컴포넌트와 통신하는 매체 시스템의 원격 제어 유닛이다. 또 다른 실시예에서, 무선 I/O 제어 장치(134)는 사용자로 하여금 엔터테인먼트 시스템(100)의 디스플레이 상에 커서를 위치하게 해주는 트랙-볼 또는 다른 네비게이션 메커니즘의 기능이 추가된 전형적인 엔터테인먼트 시스템의 원격 제어 유닛과 외관상 유사한 IR 원격 제어 장치일 수 있다.
엔터테인먼트 시스템(200)은 또한 시스템 제어기(228)도 포함한다. 본 발명의 예시적인 일 실시예에 따르면, 시스템 제어기(228)는 다수의 엔터테인먼트 시스템 데이터 공급원으로부터 입수가능한 엔터테인먼트 시스템 데이터를 저장 및 디스플레이하고 각 시스템 컴포넌트와 연관된 각종 기능을 제어하도록 동작한다. 도 3에서 도시된 바와 같이, 시스템 제어기(228)는 직접 또는 간접적으로, 필요하다면 I/O 버스(210)를 통해 각각의 시스템 컴포넌트와 연결된다. 예시적인 일실시예에서, I/O 버스(210)에 추가하여 또는 그 대신에, 시스템 제어기(228)가 IR 신호 또는 RF 신호를 통해 시스템 컴포넌트와 통신할 수 있는 무선 통신 송신기(또는 송수신기)로 구성된다. 제어 매체와 무관하게, 시스템 제어기(228)는 아래에서 설명되는 그래픽 사용자 인터페이스를 통해 매체 시스템(200)의 매체 컴포넌트를 제어하도록 구성된다.
도 3에서 더 예시된 바와 같이, 매체 시스템(200)은 다양한 매체 공급원 및 서비스 공급자로부터 매체 아이템을 수신하도록 구성될 수 있다. 이러한 예시적인 실시예에서, 매체 시스템(200)은 케이블 방송(230), (예컨대, 위성 접시 안테나를 통한) 위성 방송(232), (예컨대, 공중 안테나를 통한) 방송 텔레비젼 네트워 크(234)의 초단파(VHF) 또는 극초단파(UHF) 무선 주파수 통신, 전화 네트워크(236) 및 케이블 모뎀(238) (또는 다른 인터넷 컨텐트 공급원)과 같은 공급원 중의 어느 것 또는 이들 모두로부터 입력된 매체를 수신하고, 정보를 선택적으로 전송한다. 본 기술 분야에서 통상의 지식을 가진자들은 도 3에 대하여 예시되고 설명된 매체 컴포넌트 및 매체 공급원은 순전히 예시적인 것이고 매체 시스템(200)은 더 많은 또는 더 적은 매체 컴포넌트 및 매체 공급원을 포함할 수 있음을 인식할 것이다. 예를 들면, 시스템으로의 다른 형태의 입력은 AM/FM 라디오 및 위성 라디오를 포함한다.
도 4는 본 발명에 따른 예시적인 시스템 제어기(228)의 실시예를 예시하는 블록도이다. 시스템 제어기(228)는, 예를 들면, 셋탑 박스로서 구현될 수 있으며, 예를 들면, 프로세서(300), 디스플레이 제어기(304), (예를 들면, 시스템(200)의 다른 컴포넌트들과 관련된) 다른 장치 제어기들, 하나 이상의 데이터 기억 장치(308) 및 I/O 인터페이스(310)를 포함한다. 이들 컴포넌트들은 버스(312)를 통해 프로세서(300)와 통신한다. 본 기술 분야에서 통상의 지식을 가진자들은 프로세서(300)가 하나 이상의 프로세싱 유닛을 이용하여 구현될 수 있음을 인식할 것이다. 메모리 장치(302)는, 예를 들면, DRAM, 또는 SRAM, ROM을 포함할 수 있으며, 이들 중 어떤 메모리 장치는 프로세서(300)에 의해 실행될 소프트웨어 및/또는 아래에서 설명되는 그래픽 사용자 인터페이스와 연관된 소프트웨어 및/또는 데이터를 포함하는 그러한 프로그램에 의해 이용가능한 데이터를 저장하는 캐시 메모리로서 지정될 수 있다. 디스플레이 제어기(304)는 프로세서(300)에 의해 동작가능하여, 그 중에서도 특히, 아래에서 설명되는 바와 같이 GUI 스크린 및 객체를 디스플레이하는 모니터(212)의 디스플레이를 제어할 수 있다. 본 발명의 예시적인 실시예에 따른 줌가능한 GUI는 해상도 독립적 줌잉(resolution independent zooming)을 제공하여, 모니터(212)가 어느 해상도로도 디스플레이를 제공할 수 있도록 한다. 장치 제어기(306)는 매체 시스템(200) 및 프로세서(300)의 다른 컴포넌트들 사이의 인터페이스를 제공한다. 데이터 기억(308)는 하나 이상의 하드 디스크 드라이브, 플로피 디스크 드라이브, CD-ROM 장치, 또는 다른 대용량 기억 장치를 포함할 수 있다. 입/출력 인터페이스(310)는, 예를 들면, 키보드 인터페이스, RF 인터페이스, IR 인터페이스 및 마이크로폰/음성 인터페이스를 포함하는 하나 이상의 다수의 인터페이스를 포함할 수 있다. 본 발명의 예시적인 일실시예에 따르면, I/O 인터페이스(310)는 무선 포인팅 장치의 움직임과 연관된 위치 정보를 수신하기 위한 인터페이스를 포함할 것이다.
매체 아이템 선택 정보를 디스플레이하는 본 발명의 예시적인 실시예에 따른 그래픽 사용자 인터페이스의 생성과 제어는 메모리(302)에 저장된 명령 시퀀스를 실행하는 프로세서(300)에 응답하여 시스템 제어기(228)에 의해 수행된다. 이러한 명령은 데이터 기억 장치(들)(308)와 같은 다른 컴퓨터 판독가능 매체로부터 또는 매체 시스템(200)의 외부에 연결된 컴퓨터로부터 메모리(302) 내로 읽혀질 수도 있다. 메모리(302)에 저장된 명령 시퀀스가 실행됨으로써 프로세서는 그 중에서도 특히 모니터(212) 상에 그래픽 사용자 인터페이스 객체 및 제어기능을 생성하게 된다. 대안의 실시예에서, 본 발명을 구현하는 소프트웨어 명령 대신 또는 그와 조 합하여 하드-와이어 회로가 사용될 수 있다. [배경 기술] 섹션에서 언급한 바와 같이, 텔레비젼 산업과 연관된 통상의 인터페이스 프레임워크는 사용자에게 간단하면서도 종합적인 선택 경험을 제공하는 성능면에서 심각하게 제한된다. 따라서, 본 명세서에서 설명된 제어 프레임워크는 이러한 제한을 극복하고, 그럼으로써 배타적이지는 않지만, 텔레비젼과 함께 사용하려고 한다. 또한, 본 명세서에 설명된 혁신적 제어 프레임워크, 그래픽 사용자 인터페이스 및/또는 각종 알고리즘은 컴퓨터 및 텔레비젼 아닌 다른 장치와 함께 사용될 수 있는 인터페이스로의 적용가능성을 발견할 것으로 예상된다. 이들 본 발명의 예시적인 실시예의 각종 어플리케이션을 구별하기 위하여, "텔레비젼" 및 "TV"라는 용어는 본 명세서에서 디스플레이 장치의 소집합을 지칭하는 반면, "GUI", "GUI 스크린", "디스플레이" 및 "디스플레이 스크린"이라는 용어는 포괄적인 것으로 의도하며 텔레비젼 디스플레이, 컴퓨터 디스플레이 및 어떤 다른 디스플레이 장치를 지칭한다. 보다 상세히 말해서, "텔레비젼" 및 "TV"라는 용어는 텔레비젼 신호를 다른 포맷(예컨대, 컴퓨터 비디오 포맷)으로 변환하는 어댑터를 사용하지 않고 텔레비젼 신호(예컨대, NTSC 신호, PAL 신호 또는 SECAM 신호)를 디스플레이할 수 있는 디스플레이 장치의 소집합을 지칭하는 것으로 하려 한다. 또한, "텔레비젼" 및 "TV"라는 용어는 일반적으로 (예컨대, 소파에서부터 가정용 거실 TV 까지) 수피트 또는 그 이상의 거리를 두고 시청하는 디스플레이 장치의 소집합을 지칭하는 반면, 컴퓨터 디스플레이는 일반적으로 (예컨대, 의자에서부터 데스크탑 모니터까지) 근접하여 본다.
본 발명에 따른 줌가능 그래픽 인터페이스를 포함하는 제어 프레임워크를 구 현하는데 사용될 수 있는 예시적인 매체 시스템을 개시하였고, 이제 그러한 인터페이스의 여러 예가 기술될 것이다. 본 발명의 예시적인 실시예에 따르면, 사용자 인터페이스는 카테고리별로 그룹화될 수 있는 선택가능한 아이템을 디스플레이한다. 사용자는 원격 제어 유닛을 관심사의 카테고리 또는 카테고리들에 대고 선택 버튼을 눌러 확대하거나 "백" 버튼을 눌러 줌 축소한다. 사용자에 의한 각각의 줌 확대 또는 줌 축소 행위는 스크린상에서 사용자 인터페이스에 의해 제시된 선택가능한 아이템들의 배율 및/또는 문맥의 변동을 가져온다. 예시적인 실시예에 따르면, 배율의 각각의 변동은 일정할 수 있는데, 즉 배율의 변동은 기설정 스텝으로 제공된다. 본 발명의 예시적인 실시예는 또한 매우 크게 스케일하는 여러 시각적 기술을 포함하는 사용자 인터페이스를 제공한다. 이들 기술은 확장성(scalability)과 간편사용 두 가지를 달성하는 빌딩 블록과 기술, 특히 사용자 인터페이스 객체를 재빠르게 다시 찾는(revisting) 사용자의 시각적 기억력을 향상시키는 사용자 인터페이스를 적응시키는 기술과의 결합을 수반한다.
사용자 인터페이스는 대부분 시각적 경험이다. 이러한 환경에서, 본 발명의 예시적인 실시예는 사용자에게 시각적 환경 내에서 객체들의 위치를 회상하게 하는 역량을 이용한다. 이것은 사용자 인터페이스 선택 아이템에 대해 안정적이고 신뢰할 수 있는 위치를 제공함으로써 달성된다. 각각의 객체는 줌가능한 레이아웃에서어떤 위치를 갖는다. 일단 사용자가 관심사의 객체를 발견하면, 그 객체를 찾는데 어느 방향을 취했는지를 기억하는 것은 당연하다. 그 객체가 특정 관심사라면, 사용자는 그 아이템을 한번 이상 다시 찾게 될 가능성이 있어서, 그 객체로의 경로에 대한 사용자의 기억력을 강화할 것이다. 본 발명의 예시적인 실시예에 따른 사용자 인터페이스는 사용자가 관심사의 아이템의 위치를 기억하는데 도움을 주는 시각적 기억술을 제공한다. 이러한 시각적 기억술은 그 중에서도 특히 팬(pan) 및 줌(zoom) 애니메이션, 사용자 인터페이스의 가상 표면을 가로지르는 움직임의 지리학적 감각을 창출하는 전이 효과(transition effect), 및 일관된 줌잉 기능을 포함하며, 이는 아래에서 설명된 예들을 통해 명백해질 것이다.
다수의 선택 집합과 연관된 디테일들이 숨겨지면서 사용자로 하여금 지극히 많은 집합의 아이템들로부터 선택하게 하는 구성화 메커니즘이 제공된다. 여러 가지 형태의 구성화 메커니즘은 본 발명에 따라서 사용될 수 있으며 그 예는 아래에서 제공된다.
먼저, 도 5 내지 도 8을 참조하면, 본 발명의 예시적인 실시예에 따른 줌가능 그래픽 사용자 인터페이스를 포함하는 예시적인 제어 프레임워크가 음악 매체 아이템을 디스플레이 및 선택하는 용도로 설명된다. 본 발명에 따른 인터페이스와 연관된 여러가지 대안 및/또는 추가적인 GUI 스크린은 또한 다음 도면에서 찾아볼 수 있다. 도 5는 가장 줌 축소시킨 상태의 줌가능 GUI를 도시한다. 도 5에서, 인터페이스는 한 세트의 형상(500)을 디스플레이한다. 각 형상(500) 내에는 GUI의 부분을 통해 엑세스가능한 매체 아이템 선택들의 그룹을 기술하는 텍스트(502) 및/또는 그림(504)이 디스플레이된다. 도 5에 도시된 바와 같이, 형상(500)은 사각형이고, 텍스트(502) 및/또는 그림(504)은 매체의 장르를 기술한다. 그러나, 본 기술 분야에서 통상의 지식을 가진자는 이렇게 처음에 보여지는 GUI 그룹화는 사용 자, 예컨대 예술가에게 유용한 매체 선택의 다른 양상들, 제작 년도, 예술가의 거주 지역, 아이템의 길이, 또는 그 선택의 어떤 다른 특징을 나타낼 수 있음을 인식할 것이다. 또한, GUI에서 여러가지 그룹화를 개설하는데 사용된 형태는 사각형일 필요는 없다. 앨범의 축소형이 가능하며 다른 아이콘이 사용되어 그룹 지어진 형상(500) 내에 있는 텍스트(502) 및/또는 그림(504) 대신 또는 그에 부가하여 사용자에게 또 다른 네비게이션 힌트를 제공할 수 있다. GUI(506)의 배경 부분은 솔리드 컬러(solid color)로서 디스플레이될 수 있고 또는 읽는 것을 덜 하게 하는 인터페이스 요건을 이용하기 위하여 사용자에게 장르의 공간적 위치를 기억하는데 도움을 주는 맵과 같은 그림의 일부일 수 있다. 선택 포인터(커서)(508)는 입력 장치의 움직임을 따라 그 위치를 표시하여 사용자가 그 장치(도 5에는 도시 안됨) 상의 버튼을 누를 때 줌 확대하게 해준다.
본 발명의 예시적인 일실시예에 따르면, 입력 장치는 아래에서 상세히 설명되는 포인트, 클릭, 스크롤, 후버, 및 줌 빌딩 블록을 지원하는 그래픽 사용자 인터페이스와 연결되는 무선 마우스, 예를 들면, 캘리포니아 95070, 사라토가, 빌딩 C, 사라토가 애비뉴 12930 소재의 Gyration, Inc.에서 제조된 무선 마우스일 수 있다. 본 발명과 함께 사용하는데 유익한 이러한 예시적인 입력 장치의 한가지 특징은 이 장치가 단지 두개의 버튼과 스크롤 휠, 즉, 세개의 입력 작동체를 가지고 있다는 것이다. 이들 버튼 중의 하나는 줌 확대(ZOOM IN) (선택) 버튼으로서 구성될 수 있고 하나는 줌 축소(ZOOM OUT) (백) 버튼으로서 구성될 수 있다. 통상의 원격 제어 유닛, 예컨대, 도 1에 도시된 원격 제어 유닛과 비교하면, 본 발명은 사용자 가 자신의 아이템을 선택할 때 마주치는 버튼 등의 개수를 대폭 줄임으로써 이러한 GUI의 양상을 단순화한다. 필요하지 않지만, 본 발명의 예시적인 실시예에 따른 입력 장치의 바람직한 부수적인 특징은 이들 버튼이 사용자에게 "3D 포인팅" 기능을 제공한다는 것이다. "3D 포인팅"이라는 문구는 본 명세서에서 사용자가 입력 장치를 디스플레이 스크린의 전면에서 공간적으로 3(또는 그 이상의) 차원으로 자유롭게 이동시키는 성능 및 이러한 움직임을 직접 스크린 상에서 커서의 움직임으로 변환시키는 성능을 지칭한다. 그러므로, "3D 포인팅"은 디스플레이 스크린과는 다른 표면, 예컨대, 마우스의 상대적 움직임이 컴퓨터 디스플레이 스크린상의 커서 움직임으로 변환되는 프록시 표면(proxy surface)으로서의 책상 표면 또는 마우스패드를 사용하는 통상의 컴퓨터 마우스 포인팅 기술과 다르다. 본 발명의 예시적인 실시예에 따른 제어 프레임워크에서 3D 포인팅의 사용은 사용자의 선택 경험을 더욱 단순화시켜주며, 동시에 인터페이스로의 구분가능한 입력으로서 제스쳐(gestures)를 도입하는 기회를 제공한다. 제스쳐는 패턴이 GUI 명령, 예를 들면, x, y, z, yaw, 피치 및 롤 차원에서 또는 이들의 부분 조합에서 움직임의 기능으로 변환될 수 있는 시간이 경과 후 움직임의 인식가능한 패턴으로서 간주될 수 있다. 그러나, 본 기술 분야에서 통상의 지식을 가진 자는 어떤 적합한 입력 장치라도 본 발명에 따른 줌가능 GUI와 함께 사용될 수 있음을 인식할 것이다. 적합한 입력 장치의 다른 예는 제한하는 것은 아니지만, 트랙볼, 터치패드, 통상의 TV 원격 제어 장치, 음성 입력, 사용자의 제스쳐를 통신할 수 있고/GUI 명령으로 변환할 수 있는 어느 장치, 또는 이들의 어떤 조합을 포함한다. 본 명세서에서 기술된 GUI 기능의 각각의 양상은 적어도 하나의 제스쳐 및 음성 명령을 이용하는 본 발명에 따른 프레임워크에서 작동될 수 있다. 대안의 구현예는 커서 및/또는 다른 원격 제어 키 또는 선택을 위한 아이템을 식별하는 음성 입력도 포함한다.
도 6은 사용자가 도 5에서, 예컨대, 커서(508)를 디스플레이(212) 상의 사각형 주변의 장르 3에 의해 둘러싸인 구역 위를 이동하고 입력 장치에서 버튼을 누름으로써 장르 3을 선택한 경우에 디스플레이되는 장르 3의 확대 도면을 도시한다. 인터페이스는 줌을 발생시킨 사용자에게 선명해지도록 도 5에서 도 6으로의 줌을 애니메이트할 수 있다. 이러한 애니메이트된 줌/전이 효과의 일예는 아래에서 기술된다. 일단 장르 3을 포함하는 형상(516)이 디스플레이(212) 상의 스크린의 대부분을 차지하면, 인터페이스는 그 장르에 속한 앨범을 가지고 있는 예술가를 보여준다. 이 예에서, 상이한 일곱 예술가 및/또는 이들의 작품이 디스플레이된다. 도 5의 축소 뷰에서 장르 3에 인접하였던 미선택 장르(515)는 확대 뷰에서도 여전히 장르 3에 인접하지만, 디스플레이(212)의 에지만큼 잘려 있다. 이들 미선택된 장르는 선택 포인터(508)를 이용하여 이들 장르를 선택함으로써 신속하게 네비게이트될 수 있다. 그러나, 본 발명의 다른 예시적인 실시예에서는 이웃하는 잘려진 객체들을 생략하고 그 대신 잘려지지 않은 선택만을 제시할 수 있음을 인식할 것이다. 각 예술가 그룹, 예를 들면, 그룹(512)은 줄어든 앨범 커버의 화상, 예술가의 그림, 또는 카테고리가 사용자에 의해 생성된 플레이리스트(playlist)를 포함하는 경우에는 사용자에 의해 주문제작 가능한 수공예품을 포함할 수 있다.
그 다음에, 사용자는 추가적으로 검토하기 위해 및/또는 선택하기 위해 예술 가 그룹들 중의 한 그룹을 선택할 수 있다. 도 7은 커서(508)의 위치설정 및 입력 장치의 작동을 통해 사용자가 예술가 3을 선택한 것에 응답하여 추가로 확대된 뷰를 도시하며, 이 도면에서 앨범 커버(520)의 화상이 보이게 된다. 도 5 및 도 6의 GUI 스크린으로부터 전이됨과 병행하여, 선택되지 않은 인접한 예술가(이 예에서는 예술가 2, 예술가 5 및 예술가 7)는 줌 확대된 디스플레이측을 향해 보여지며, 사용자는 선택 포인터(508)를 이용하여 이들을 클릭하여 이들 예술가 뷰를 패닝(pan)할 수 있다. 인터페이스의 이 부분에서, 앨범 커버의 화상(520)에 부가하여, 예술가 정보(524)가 예술가 그룹 내 아이템으로서 디스플레이될 수 있다. 이 정보는, 예를 들면, 예술가의 그림, 일대기, 삼학과(trivia), 취입 레코드 일람표(discography), 명망(influences), 웹 사이트로의 링크 및 다른 관련 데이터를 포함할 수 있다. 각각의 앨범 화상(520)은 앨범 커버의 그림, 및 선택적으로는 텍스트 데이터를 포함할 수 있다. 앨범 화상(520)이 사용자 제작 플레이리스트를 포함하는 경우, 그래픽 사용자 인터페이스는 인터페이스에 의해 자동 선택된 또는 사용자에 의해 사전 선택된 그림을 디스플레이할 수 있다.
마지막으로, 사용자가 그룹(521)으로부터 앨범 커버 화상(520)을 선택할 때, 인터페이스는 도 8에 도시된 바와 같이 앨범 커버를 확대한다. 줌이 진행됨에 따라, 앨범 커버는 앨범의 예술가 및 타이틀(530), 트랙 리스트(532), 앨범에 관한 추가 정보(536), 앨범 커버의 축소판(528), 및 컨텐트를 재생하고, 카테고리를 변경하고, 예술가 웹 페이지로 링크하고, 또는 그 선택에 관한 어떤 다른 정보를 찾아주는 제어기능(534)과 같은 아이템들을 포함하는 뷰로 페이드(fade) 또는 변 형(morph)될 수 있다. 이웃하는 앨범(538)은 선택 포인터(508)를 이용하여 인터페이스로 하여금 이들이 보일 수 있도록 선택될 수 있는 것으로 도시된다. 전술한 바와 같이, 본 발명의 대안의 실시예는, 예를 들면, 선택된 객체, 예컨대, 앨범 5를 디스플레이하기 위해서만 확대할 수 있고, 선택되지 않은 객체, 예컨대, 앨범 4 및 6의 잘린 부분을 생략할 수 있다. 이러한 최종 줌은 이전의 줌 레벨에서도 보이지 않았던 소정의 GUI 요소가 나타나는 의미론적 줌잉의 일례를 제공한다. 본 발명의 예시적인 실시예에 따른 의미론적 줌잉을 실행하기 위한 각종 기술은 아래에서 제공된다.
도 5 내지 도 8 및 그 설명에서 예시된 바와 같이, 이러한 그래픽 사용자 인터페이스의 예시적인 실시예는 음악 선택의 네비게이션을 제공한다. 본 발명에 따른 인터페이스는 또한 DVD, VHS 테이프, 다른 기록된 매체, 비디오-온-디맨드, 비디오 세그먼트 및 가정용 영화와 같은 비디오 컬렉션 용도로 사용될 수 있다. 다른 오디오 용도는 라디오 쇼, 명령 테이프(instructional tapes), 역사 기록물(historical archives), 및 사운드 클립 컬렉션을 포함한다. 뉴스 스토리 및 전자북과 같은 인쇄 매체 또는 텍스트 매체 또한 본 발명을 이용하여 구성화 및 엑세스될 수 있다.
전술한 설명으로부터 본 기술 분야에서 통상의 지식을 가진자에게 명백해지는 바와 같이, 본 발명에 따른 줌가능 그래픽 사용자 인터페이스는 사용자에게 빠르고 쉽게 다수(또는 소수)의 매체 아이템을 탐색하는 능력을 제공한다. 이러한 능력은 이것으로 한정하지는 않지만, 본 발명의 예시적인 실시예에 따른 인터페이 스의 많은 특징, 즉 (1) 특정한 매체 아이템에 대한 선택 정보의 모두 또는 일부로서 화상을 사용함, (2) 줌잉을 사용하여 사용자가 선택을 필요로 하는 만큼 가능한 많은 또는 적은 정보를 빠르게 제공함, 그리고 (3) 사용자의 직접적인 인식을 통해 GUI의 네비게이션이 달성되고 기억될 수 있도록, 사용자에게 전체 인터페이스가 하나의 평면에 상주한다는 인식을 제공하도록 조합하는 여러 GUI 기술을 사용함에 기인한 것이다. 본 발명에 따른 GUI의 전술한 후자의 양상은, 그 중에서도 특히, 하나의 GUI 스크린으로부터 다음 스크린으로 GUI 객체의 연속성을 그 만큼 유지시킴으로써, 예컨대, 현재 GUI 스크린의 가장자리 둘레에 있는 이웃하는 미선택 객체들의 에지를 디스플레이시킴으로써 "지리학적으로" 여러 GUI 스크린을 함께 링크시킴으로써 달성될 수 있다. 대안으로, 더욱 선명한 뷰를 원하고, 다른 GUI 기술이 충분한 지리학적 피드백을 제공한다면, 잘려진 객체는 생략될 수 있다. 이 본문에서 사용된 바와 같은 "GUI 스크린"이라는 문구는 하나 이상의 디스플레이 유닛 상에 동시에 나타난 한 세트의 GUI 객체를 지칭한다. GUI 스크린은 매체 아이템을 출력하는 동일 디스플레이 상에 나타날 수 있고, 또는 상이한 디스플레이 상에 나타낼 수 있다. 디스플레이는 TV 디스플레이, 컴퓨터 모니터 또는 어떤 다른 적합한 GUI 출력 장치일 수 있다.
GUI 스크린의 연결성에 대한 사용자의 인식을 강화하는 또 다른 GUI 효과는 줌이 실행될 때 또는 사용자가 인접한 객체를 동일한 줌 레벨로 선택할 때 실시되는 패닝 애니메이션 효과이다. 도 5의 예를 되돌아 보면, 사용자가 처음에 GUI 스크린을 보고 있을 때, 사용자의 관점은 포인트(550)에 집중된다. 그러나, 사용자 가 장르 3을 선택하여 확대할 때, 사용자의 관점은 포인트(552)로 이동할 것이다. 본 발명의 예시적인 실시예에 따르면, 이 과정에서의 줌은 관점의 중심을 포인트(550)에서 포인트(552)로 이동시키는 것을 전달하도록 애니메이트된다. 이러한 패닝 애니메이션은 GUI가 변할 때마다, 예를 들면, 줌 레벨의 변경마다 또는 동일 줌 레벨에서 한 객체에서 다른 객체로의 변경마다 제공될 수 있다. 따라서, 예를 들면, 도 6의 GUI 스크린에 위치한 사용자가 최좌측의 미선택 장르(515)(장르 2)를 선택했다면, 사용자에게 좌측 또는 서쪽으로 "이동"하는 시각적 인상을 주는 패닝 애니메이션이 발생하였을 것이다. 본 발명의 예시적인 실시예는 GUI 스크린들 사이에서 방향 이동이라는 일관된 감각을 제공하는 기술을 이용하여, 줌 레벨들 사이 및 동일 줌 레벨에서 사용자로 하여금 매체 아이템들 사이에서 GUI를 빠르게 네비게이트할 수 있게 해준다.
각종 데이터 구조 및 알고리즘이 본 발명에 따른 줌가능 GUI를 구현하는데 사용될 수 있다. 예를 들면, 사진을 디스플레이하는 화상 브라우저에서 패닝 및 줌잉을 위한 데이터 구조 및 알고리즘이, 예를 들면, Benjamin B. Bederson 에 의해 "Quantum Treemaps and Bubblemaps for a Zoomable Image Browser" 라는 명칭으로 논문 UIST 2001, ACM Symposium on User Interface Software and Technology, CHI Letters, 3(2), pp. 71-80 에 기술되었으며, 그 개시내용은 본 명세서에서 참조문헌으로 인용된다. 그러나, 상위 레벨에서 다수의 어플리케이션들 사이를 전환할 수 있고, 하위 레벨에서 각종 매체 선택 기능을 수행하도록 선택된 화상과 연관된 사용자 제어기능을 제공할 수 있는 매체 선택을 위한 GUI를 제공하기 위하여, 추가적인 데이터 구조 및 알고리즘이 필요하다.
줌가능한 GUI는 디스플레이 장치의 뷰 포트(view port)에서 사용자 인터페이스 컴포넌트의 장면 둘레를 패닝 및 줌잉 지원하는 것으로 개념화될 수 있다. 이 효과를 달성하기 위하여, 본 발명의 예시적인 실시예에 다른 줌가능 GUI는 장면 그래프(scene graph) 데이터 구조를 이용하여 구현될 수 있다. 장면 그래프에서 각 노드는 인터페이스 컴포넌트의 버튼 또는 텍스트 라벨과 같은 사용자 인터페이스 컴포넌트의 임의의 부분을 나타낸다. 노드의 자식(children of a node)은 그 노드의 내부적 그래픽 요소(라인, 텍스트, 화상 등)를 나타낸다. 예를 들면, 어플리케이션은 장면 그래프에서 그 인터페이스 내 여러 그래픽 요소의 자식을 갖는 노드로서 표현될 수 있다. 노드의 두 가지 특수 형태는 본 명세서에서 카메라 및 레이어(layer)로서 지칭된다. 카메라는 레이어 노드를 바라봄으로써 뷰 포트를 장면 그래프의 또 다른 부분으로 제공하는 노드이다. 이들 레이어 노드 하에서, 사용자 인터페이스 요소가 발견될 수 있다. 줌가능 인터페이스의 제어 로직은 패닝 및 줌잉의 효과를 제공하기 위해 카메라 뷰 변환을 프로그램으로 조절한다.
도 9는 본 발명의 예시적인 실시예를 구현하는데 사용될 수 있는 기본적인 줌가능 인터페이스 요소를 포함하는 장면 그래프를 도시하며, 특히 하나의 카메라 노드(900) 및 하나의 레이어 노드(902)를 포함한다. 카메라 노드(900)와 레이어 노드(902) 사이의 점선은 카메라 노드(900)가 카메라의 뷰 포트에서 레이어 노드(902)의 자식을 표현하도록 구성된 것을 나타낸다. 부착된 디스플레이 장치(904)는 사용자가 카메라의 뷰 포트를 보게 해준다. 레이어 노드(902)는 원형 및 한쌍의 타원형이 그려진 세개의 자식 노드(904)를 가지고 있다. 장면 그래프는 사각형이 원형 내에 그려지고 세개의 삼각형이 상기 사각형 내에서 그려진 것을 노드(912 내지 918)를 통하여 더 규정하고 있다. 장면 그래프는 루트 노드(920)에 의해 데이터 구조에서 다른 장면 그래프와 연관 지워진다. 각각의 노드(912 내지 918)는 스케일링 기능 및 로컬 좌표 변환 매트릭스를 이용함으로써 자신의 부모 노드에 대하여 자기를 위치 설정하는 기능을 갖는다. 도 10a 및 도 10b는 각기 제1의 줌 축소 배율 레벨 및 제2의 줌 확대 배율 레벨에서 카메라를 통해 렌더링되었을 때 무슨 장면의 그래프가 나타나는지를 예시한다.
장면 그래프를 렌더링하는 것은 다음과 같이 달성될 수 있다. 디스플레이(904)가 갱신될 필요가 있을 때마다. 예컨대, 사용자가 도 10a의 뷰에서 도 10b의 뷰로 줌 확대를 시작할 때, 리페인트 이벤트(repaint event)가 디스플레이(904)에 부착된 카메라 노드(900)를 불러 그 자신을 렌더링하게 한다. 그 다음에, 이것은 카메라 노드(900)가 레이어 노드(902)에게 카메라의 뷰 포트 내 영역을 렌더링하도록 통보한다. 레이어 노드(902)는 그의 자식 노드들에게 자신들을 렌더링하도록 통보함으로써 자신도 렌더링한다. 현재 변환 매트릭스 및 갱신할 영역을 경계짓는 사각형은 각 스텝에서 통과되며 선택적으로는 각 노드에게 적당한 스케일 및 이들이 렌더링을 위해 사용하여야 하는 옵셋을 알려주도록 변형된다. 본 발명에 따른 줌가능 GUI 내에서 동작하는 어플리케이션의 장면 그래프가 수천개 노드를 포함할 수 있기 때문에, 각 노드는 드로잉 동작이 실제로 사용자에게 보여주도록 보장하기 위해서 갱신될 변환 매트릭스 및 구역을 체크할 수 있다. 전술한 예가 하 나의 카메라 노드 및 하나의 레이어 노드를 포함하는 장면 그래프를 기술하였을 지라도, 본 발명의 예시적인 실시예는 다수의 카메라 및 레이어를 내장할 수 있음을 인식할 것이다. 이들 내장된 카메라는 전체 줌가능 인터페이스에서 사용자의 현재 뷰 위치를 표시하고, 또한 사용자 인터페이스 컴포넌트가 독립적으로 줌 및 패닝가능해지도록 작은 줌 축소된 맵과 같은 사용자 인터페이스 요소를 제공할 수 있다.
예컨대, 도 14 내지 18을 참조하여 아래에서 설명되는 예시적인 영화 브라우저와 같은 다중 어플리케이션의 동작을 조화시키는 줌가능 인터페이스를 사용할 때, 각 어플리케이션 마다 메모리 및 자원 요건은 매체 시스템에서 이용가능한 전체 메모리를 초과할 수 있다. 이것은 사용자가 더이상 보지않을 때는 어플리케이션을 그의 코드 및 데이터의 일부 또는 전부를 언로드하지 않는 것을 제안한다. 그러나, 본 발명에 따른 줌 가능 GUI에서, 어플리케이션의 일부 또는 전부가 항상 사용자에게 활성으로 보이는 외관을 제공하는 것이 바람직할 수 있다. 이러한 두가지 대립 목적을 만족시키기 위하여, 사용자의 관점으로부터 "오프-스크린" 상태인 어플리케이션은 일시적으로 중지된 상태에 놓여질 수 있다. 이러한 동작을 본 발명의 예시적인 실시예에 따른 줌가능 GUI에서 달성하기 위하여, 이벤트가 어플리케이션에 보내져서 뷰 포트에 들어가고 나오는 것을 표시하도록 한다. 그러한 이벤트를 구현하는 한가지 방법은 컴포넌트를 렌더링하는 코드에다 로직을 추가하여 사용자가 뷰 포트에 들어올 때를 검출하도록 한다. 그러나, 이것은 통지 로직이 매 렌더링 이벤트마다 불려온다는 것과, 더욱 중요하게는 사용자가 콤퍼턴트로부터 멀리서 뷰 포트를 네비게이트한 때를 용이하게 검출할 수 없다는 것을 의미하고 있 다. 이벤트를 어플리케이션에 전송하는 또 다른 방법은 통지 로직을 (하이퍼링크 및 버튼과 같은) GUI 네비게이션 요소들에다 합체시켜서, 이들이 카메라의 뷰 포트를 움직여서 관심사의 컴포넌트를 포함시킬 때 그 컴포넌트에게 표시를 전송하도록 하는 것이다. 그러나, 이것은 프로그래머가 주의깊게 통지 코드를 모든 가능한 네비게이션 UI 요소에 추가하는 것을 필요로 한다.
예시적인 일 실시예에 따르면, GUI 컴포넌트 및/또는 어플리케이션이 카메라의 뷰에 진입하고 퇴장할 때와 관련하는 어플리케이션에게 통지하도록 계산적으로 효율적인 노드 감시 알고리즘(node watcher algorithm)이 사용될 수 있다. 상위 레벨에서, 노드 감시 알고리즘은 (1) 초기화, (2) 뷰 포트 변경 평가, 및 (3) 장면 그래프 변경 평가와 같은 세가지의 주요 처리 단계를 갖는다. 초기화 단계는 뷰 포트 변경 평가 단계에 의해 사용된 노드 양을 계산하고 적합한 데이터 구조를 초기화한다. 뷰 포트 변경 평가 단계는 뷰 포트가 변화하였을 때 시동되고 뷰 포트에 진입 및 퇴장하는 감시된 모든 노드를 통지한다. 마지막으로, 장면 그래프 변경 평가 단계는 장면 그래프에서의 변경에 기인하여 무효화된 초기 단계에서 이루어진 계산값을 갱신한다. 예를 들면, 감시된 노드 중의 선행 노드가 장면 그래프에서 위치를 변경했다면, 초기화에서 이루어진 계산값은 다시 계산될 필요가 있을 수 있다.
이들 단계 중, 뷰 포트 변경 감시 단계에서는 노드 감시 알고리즘의 나머지를 구동한다. 노드가 뷰 포트에 들어가고 나올 때를 묘사하기 위하여, 초기화 단계에서는 희망하는 노드의 경계 사각형을 결정하고 이것을 그의 로컬 좌표계로부터 뷰 포트의 로컬 좌표계로 변환한다. 이렇게 하여, 노드의 진입을 체크하게 되면 각 뷰 포트 변경 때마다 일련의 좌표 변환을 요구하지 않는다. 노드의 부모가 변환 매트릭스를 가질 수 있기 때문에, 이러한 초기화 단계는 노드로부터 장면 그래프를 카메라까지 가로지르는 것을 필요로 한다. 후술하는 바와 같이, 내장된 카메라가 장면 그래프 데이터 구조에서 사용된다면, 여러 장소에서 출현하는 노드를 수용하는데 여러 경계 사각형들이 필요할 수 있다.
감시된 각각의 노드마다 경계 사각형이 뷰 포트 좌표계에서 계산되었으면, 초기화 단계에서는 경계 사각형을 뷰 포트 변경 평가 데이터 구조에 추가한다. 노드 감시 알고리즘은 장면에서 각 차원마다 기본적인 빌딩 블록을 사용한다. 본 발명의 몇몇 예시적인 실시예에 따른 줌가능 인터페이스에서, 이것은 x 차원, y 차원, 및 스케일 차원을 포함한다. 그러나, 후술하는 바와 같이, 다른 예시적인 구현예가 추가 차원나 상이한 차원을 가질 수 있다. 스케일 차원은 뷰 포트 내 노드의 배율 레벨을 의미하며 하기 수식으로 기술된다.
Figure 112007066478732-PCT00001
상기 수식에서, s는 스케일이고, d는 노드의 한 점으로부터 노드의 로컬 좌표의 다른 점까지의 거리이고, d'는 상기 점으로부터 뷰 포트 내 다른 점까지의 거리이다.
도 11은 장면의 진입과 퇴장을 한 차원에서 검출하는 예시적인 빌딩 블록을 도시한다. 다음에서는 x 차원에서 처리하는 것을 기술하지만, 본 기술 분야에서 통상의 지식을 가진자는 다른 차원도 유사한 방식으로 처리될 수 있음을 인식할 것이다. 지역 블록(Region Block)(1100)은 변환된 경계 사각형 좌표의 기준값을 가지고 있다. 이것은 사각형의 왼쪽 및 오른쪽(상 및 하 또는 최소 및 최대 스케일) 옵셋을 포함한다. 좌측 및 우측 옵셋은 번호가 더 낮은 옵셋이 앞에 배치되도록 번호순대로 이중 링크된 리스트에 배치된 천이 블록(Transition Block)(1102 및 1104)에 각기 저장된다. 현재 뷰 포트 경계는 뷰 경계 블록(View Bounds Block) (1106)에 저장된다. 블록(1106)은 뷰의 좌측 및 우측으로 약간 벗어난 전이 블록에 대한 포인터를 갖고 있으며, 예를 들면, 전이 블록은 뷰 좌측(View Left Side)에 의해 지시된 블록의 바로 우측에 있는 전이 블록은 그 다음번 블록이 뷰 우측(View Right Side)에 의해 지시되지 않는 한 그 뷰 내에 존재한다.
뷰 포트가 변경될 때, 각 차원마다 다음과 같은 처리가 발생한다. 첫째, 뷰 좌측 및 뷰 우측 포인터는 이들이 전이 블록을 포함 또는 제외하도록 이동될 필요가 있는지를 알기 위해 체크된다. 그 다음, 포인터들 중 하나 또는 모두 이동될 필요가 있다면, 포인터들은 전이 블록을 넘어 새로운 위치로 슬라이드된다. 그 다음, 뷰 좌측 및 뷰 우측 포인터들이 지나간 각 전이 블록마다, 노드 감시 알고리즘은 아래에 기술된 전이 블록 통지 코드(notification code)를 실행한다. 이러한 통지 코드는 각 노드가 뷰 포트에 들어갈 수 있는지 또는 나갈 수 있는지를 판단한다. 그러하다면, 그 노드는 후처리 리스트(post processing list)에 추가된다. 마지막으로, 각 차원마다 이 처리의 마지막에서, 후처리 리스트에서 각 노드는 그의 뷰 포트 상태가 실제로 변경되었는지 체크된다 (변경되지 않았다면 다시 변경한 다). 변경되었다면, 알고리즘은 컴포넌트에게 이벤트를 전달한다. 알고리즘이 더 많은 가짜의 진입과 퇴장 이벤트를 검출할 수 있는 줌가능 인터페이스의 새로운 영역으로 뷰 포트를 신속하게 점프시키는지를 주목해야 한다.
전이 블록 통지 코드는 노드가 차원 체크를 위해 뷰 포트로 진입 또는 퇴장했는지를 판단하는 테이블 룩업으로서 구현될 수 있다. 예시적인 테이블은 아래에서 도시된다.
전이 통지 테이블(Transition Notification Table)
노드 측 뷰 측 뷰 이동 방향 부분 교차 표시 전체 교차 표시
좌측 좌측 좌측 없음 진입
좌측 좌측 우측 없음 퇴장
우측 좌측 좌측 진입 없음
우측 좌측 우측 퇴장 없음
좌측 우측 좌측 퇴장 없음
좌측 우측 우측 진입 없음
우측 우측 좌측 없음 퇴장
우측 우측 우측 없음 진입
컬럼 1, 2 및 3은 전이 통지 테이블로의 입력이다. 특히, 노드 감시 알고리즘은 평가되는 노드가 진입, 퇴장 또는 영향받지 않았는지 판단하기 위하여 노드 측, 뷰 측 및 뷰 이동 방향의 조합을 이용하는 테이블을 제시한다. 컬럼 1은 뷰 포트 포인터들이 지나간 전이 블록으로 표시된 노드측을 나타낸다. 컬럼 2는 뷰 포트 측을 나타내며 컬럼 3은 뷰 포트 측이 노드의 전이 블록이 지나갔을 때 이동했던 방향을 나타낸다. 출력 컬럼 4 또는 5는 노드가 부분적으로 또는 전부 뷰에 있을 때 노드가 통지되어야 하는지에 따라 선택된다. 예를 들면, 몇몇 구현예에 있어서는 부분적으로 뷰에 진입한 비디오 윈도우를 줌가능 GUI 내로 로딩하게 되면 시각적으로 붕괴될 수 있기 때문에 노드가 완전히 뷰 내에 있은 후에만 스트리밍 비디오 윈도우와 같은 어플리케이션에게 통지하는 것이 바람직할 수 있다.
테이블의 출력이 진입 또는 퇴장을 표시할 때, 노드 감시 알고리즘은 그 노드를 후처리 리스트에 추가한다. 테이블 1의 출력 컬럼은 다음과 같은 규칙에 근거하여 만들어진다. 노드가 모든 차원에서 교차하면, 진입 통지는 후처리 단계로 보내진다. 노드가 뷰 내에 있었고 이제 일차 이상 차원에서 교차를 멈추었다면, 퇴장 통지가 보내질 것이다. 후처리 리스트에서 노드의 개수를 줄이기 위하여, '전이 블록' 통지 코드는 노드를 그 리스트에 추가하기 전에 다른 차원과의 교차를 체크한다. 이것은 차원의 총 개수, 예를 들면, 삼 이상의 차원 중 일차 또는 이차 차원만이 교차할 때는 다음 처리 단계를 없앨 수 있다. 사용자 인터페이스 객체(예컨대, 어플리케이션)가 GUI 내에서 그의 뷰 포트 상태를 통지받고자할 때는 그 기능을 노드 감시 알고리즘에 등록한다.) 어플리케이션이 뷰 내로 또는 뷰 밖으로 이동할 때, 노드 감시 알고리즘은 무슨 일이 발생했음을 표시하는 파라미터를 갖는 어플리케이션의 등록된 기능을 불러낸다. 대안으로, 통지는 메시지 패싱(message passing)을 이용하여 수행될 수 있다. 이 경우, 각 어플리케이션은 이벤트 큐(event queue)를 갖는다. 어플리케이션은 노드 감시 알고리즘에게 그의 이벤트 큐와 어떻게 통신하는 지를 알려준다. 예를 들면, 어플리케이션은 큐의 어드레스를 명시할 수 있다. 그 다음, 노드 감시 알고리즘은 전이를 검출할 때, 그 통지의 원인을 포함하고 그 통지를 어플리케이션의 큐에 배치하는 데이터 구조를 생성한다.
어플리케이션 메모리 관리를 위한 노드 감시의 통지 기능을 이용하는 것 이외에, 이 알고리즘은 또한 본 발명에 따른 줌가능 GUI에서 다른 기능으로도 사용될 수 있다. 예를 들면, 노드 감시 알고리즘은 사용자의 뷰 포커스에 따른 어플리케이션 특성을 변경, 예컨대, 오디오 출력 포커스를 현재 보이는 어플리케이션으로 전환함으로써 변경하도록 사용될 수 있다. 노드 감시 알고리즘의 또 다른 응용은 배율 레벨이 변할 때 고 해상도 및 복합 화상을 로딩 및 언로딩하는 것이다. 이것은 해상도가 더욱 세밀하게 디스플레이와 조화를 이루는 객체를 더 작게 해줌으로써 그래픽 렌더링 장치의 계산적 부하를 줄여준다. 노드 감시 알고리즘이 카메라의 뷰 포트를 감시하는 것 이외에, 노드 감시 알고리즘으로 하여금 뷰 포트에게 애니메이션 이후 끝마칠 곳을 알려주는 네비게이션 코드를 감시하도록 하는 것도 유용하다. 이것은 뷰 내로 진입하고 있는 컴포넌트를 더 빨리 통지하게 되며 또한 본 발명의 예시적인 실시예에 따른 줌가능 GUI가 패닝 애니메이션으로 인해 그냥 지나가는 노드들에게 통지하는 것을 방지한다.
노드 감시 알고리즘의 동작을 보다 잘 이해하도록 하기 위하여, 도 12a, 12b, 13a 및 13b를 참조하여 일예가 설명될 것이다. 도 12a 및 도 12b는 두개의 상이한 배율 레벨에서 줌가능한 GUI의 일부를 도시한다. 배율 레벨이 더 낮은 도 12a에서, 세개의 노드, 즉, 원형, 삼각형 노드 및 타원형 노드가 보인다. 도 12b에서, 뷰는 타원형 및 원형이 단지 부분적으로만 보이는 것만큼 줌 확대되었으며, 삼각형은 전체적으로 뷰 밖에 존재한다. 이들 노드는, 예를 들면, 효과적인 이벤트 통지에 의존하는 어플리케이션 또는 사용자 인터페이스 컴포넌트를 나타낼 수 있고, 그러므로, 본 발명에 따른 예시적인 실시예에 따른 노드 감시 알고리즘에 의해 추적된다. 이 예에서, 비록 본 기술 분야에서 통상의 지식을 가진자는 전형적으로 경계 사각형이 GUI에는 디스플레이되지 않을 것임을 인식할지라도, 각 노드의 경계 사각형은 도 12a 및 도 12b에서 분명하게 예시되어 있다. 각 경계 사각형의 각 측은 도 12a 및 도 12b에서 라벨되며, 이들 라벨은 경계 사각형 측과 전술한 전이 블록 데이터 구조 간의 대응관계를 보여주는데 사용될 것이다.
도 13a는 도 12a의 줌 축소된 뷰의 수평 차원에 대한 예시적인 노드 감시 데이터 구조를 도시한다. 이 도면에서, 노드의 경계 사각형의 각 측은 전이 블록을 이용하여 표현된다. 수평의 전이 블록들은 이들이 GUI 스크린 상에서 좌에서 우로 나타나는 순서대로 도 13a에 도시된다. 예를 들면, 원형의 좌측(CLeft)는 처음에 오고 그 다음에는 타원형의 우측(ERight)이 올 때까지 삼각형의 좌측(TLeft) 등이 온다. 리스트의 양끝은 비어있는 표식 전이 블록으로 표시된다. 도 13a에는 또한 각 노드의 구역 블록 및 이들 블록의 경계 사각형의 수평의 전이 블록에 대응하는 포인터들이 더 도시된다. 도 13a의 아래에는 현재 뷰의 바로 바깥에 있는 전이 블록에 대한 포인터를 담고 있는 뷰 경계 데이터 구조가 있다. 줌 축소된 뷰의 경우, 모든 노드들은 완전히 보이고, 그러므로 이들 전이 블록들은 모두 뷰 경계 데이터 구조에 의해 포인트된 전이 블록들 사이에 있다.
도 13b는 도 12b의 뷰에서 줌 확대된 노드 감시 데이터 구조를 도시한다. 이 도면에서, 뷰 경계 데이터 구조는 지금 삼각형의 우측(TRight)의 전이 블록 및 타원형의 우측(ERight)의 전이 블록을 포인트하도록 변경되었는데, 이것은 이들 두 경계 사각형측들이 현재 (줌 확대된) 뷰의 바로 바깥에 있기 때문이다.
이들 예시적인 데이터 구조 및 GUI 장면이 제공되면, 줌 전이가 발생하는 동안 노드 감시 알고리즘 내에서 연관된 처리는 아래에서와 같이 기술될 수 있다. 뷰의 좌측에서 시작하면, 노드 감시 알고리즘은 좌측의 뷰 바로 바깥에 있는 전이 블록이 도달할 때까지 뷰 좌측(view left side) 포인터를 우측으로 이동시킨다. 도 13b에 도시된 바와 같이, 뷰 좌측 포인터는 먼저 CLeft 전이 블록을 지나간다. 이 예에서, 원형 노드는 어플리케이션 또는 뷰에서 완전히 보이지 않을 때 통지를 필요로 하는 줌가능 GUI와 연관된 다른 사용자 인터페이스 객체를 표시한다. 노드 감시 알고리즘으로 이와 같은 입력이 제공되면, 테이블 1은 원형 노드가 수평 차원에 대한 퇴장 통지를 접수하여야 함을 나타낸다. 물론, 노드 감시 알고리즘은 전형적으로 모든 차원으로부터 통지를 취합한 다음 노드에게 알려줌으로써 중복하여 퇴장 통지를 전달하는 것을 피한다. 그 다음, 뷰 좌측 포인터는 삼각형의 좌측(TLeft)을 지나간다. 삼각형 노드가 뷰를 완전히 떠났을 때의 통지를 요청했다면, 노드 감시 알고리즘은 아무런 통지도 필요하지 않음을 테이블 1에 따라서 표시한다. 그러나, 뷰 포인터가 TRight를 통과할 때, 테이블 1에는 삼각형이 뷰를 완전히 빠져나갔음이 표시되며, 이를 통지하여야 한다. 뷰 포인터는 원형의 경계 사각형의 우측(CRight)이 여전히 뷰에서 보이기 때문에 여기서 멈춘다.
우측으로부터, 노드 감시 알고리즘의 처리는 유사하다. '뷰 우측(View Right Side)' 포인터는 좌측에서 타원형의 우측(ERight)으로 이동한다. 타원형이 완전한 또는 부분적인 통지를 요청했는지에 따라서, 노드 감시 알고리즘은 테이블 1에 따라서 타원형에게 통지하거나 하지 않을 것이다. 수직 차원은 유사한 데이터 구조 및 상부 및 하부 경계 사각형 값을 이용하여 유사한 방식으로 처리될 수 있다. 본 기술 분야에서 통상의 지식을 가진자는 보다 정밀한 통지가 요구될 때 다수의 경계 사각형들이 사각형이 아닌 노드들을 근사화하는데 사용될 수 있음을 인식할 것이다. 부가적으로, 본 발명은 다른 차원, 예를 들면, 제3 기하학적 (깊이 또는 스케일) 차원뿐만 아니라 시간, 컨텐트 등급(content rating)(어른, 년소자 입장가(PG-13), 등) 및 컨텐트 유형 (드라마, 코미디 등)과 같은 비기하하적 차원의 이동이 노드 감시 알고리즘에 의해 추적되고 처리될 수 있음을 인식할 것이다. 사용하는 차원의 개수에 따라서, 알고리즘은 경계 세그먼트, 사각형, 및 n-차원 하이퍼큐브(hypercube)의 교차를 더욱 정확하게 검출한다.
전술한 노드 감시 알고리즘에 부가하여, 본 발명의 예시적인 실시예는 본 발명의 예시적인 실시예에 따른 줌가능 GUI에서 사용될 수 있는 해상도 일관 의미론적 줌잉(resolution consistent semantic zooming) 알고리즘을 제공한다. 의미론적 줌잉은 해당 컴포넌트의 배율 레벨에 따라서 줌가능 GUI에서 그 컴포넌트의 디테일을 추가, 삭제 또는 변경하는 것을 의미한다. 예를 들면, 후술하는 영화 브라우저 인터페이스에서, 사용자가 영화의 화상을 충분히 가깝게 줌할 때, 인터페이스는 영화의 메타데이터 및 재생 제어기능을 보여주도록 변경한다. 배율 레벨의 계산은 컴포넌트가 디스플레이 장치에서 사용되는 픽셀의 개수에 근거한다. 줌가능 GUI는 절환, 예컨대, 영화 메타데이터 및 재생 제어기능 없는 뷰로부터 영화 메타데이터 및 재생 제어기능 있는 뷰로의 절환이 발생하여야 할 때를 표시하는 드레숄드 배율 레벨을 저장할 수 있다.
텔레비젼 및 컴퓨터 디스플레이는 폭넓게 가변하는 디스플레이 해상도를 가지고 있다. 어떤 모니터는 저해상도 디스플레이에서 판독가능한 그래픽과 텍스트가 너무 작아서 거의 판독불가능한 고해상도를 가지고 있다. 이것은 또한 의미론적 줌잉을 사용하는 어플리케이션, 특히, HDTV와 같은 고 해상도 디스플레이에서 문제를 일으킨다. 이러한 환경에서, 디스플레이된 픽셀의 개수에 근거하여 렌더링되는 의미론적 줌잉 코드는 더욱 세부적인 뷰를 판독하기 전에 화상을 변경할 것이다. 의미론적 줌잉이 컴포넌트 뷰를 바꾸는 드레숄드를 프로그램적으로 변경시키는 것은 한가지 해상도에서만 작업할 수 있을 뿐이다.
바람직한 결과는 의미론적 줌잉이 모든 모니터 해상도에서 일정하게 일어나는 것이다. 한가지 해결책은 고해상도 모니터에서 저해상도 디스플레이 모드를 사용하여 해상도가 모든 디스플레이에 동일하도록 하는 것이다. 그러나, 고해상도 모니터의 사용자는 의미론적 줌잉이 예측한대로 여전히 동작한다면 그들 자신의 최상의 해상도에서 그래픽이 렌더링될 것을 더 선호한다. 따라서, 본 발명의 예시적인 실시예는 이전에 설명한 의미론적 뷰잉 문제(semantic viewing issues)없이 상이한 모든 해상도의 디스플레이를 지원하는 의미론적 줌잉 기술을 제공한다. 이것은, 예를 들면, 장면 그래프의 내부에 가상 디스플레이를 생성함으로써 달성될 수 있다. 이것은 내장된 가상 카메라 노드(1200)를 이용하고 디스플레이 해상도를 보상하는 로직을 추가하는 도 14에 도시된다. 가상 카메라 노드(1200)는 그 크기가 사용자의 시청 거리 및 모니터 크기로 맵핑되는 뷰 포트를 규정한다. 예를 들면,큰 가상 카메라 뷰 포트는 사용자가 모니터에 충분히 가까이 앉아있고 또는 많은 디테일을 보여주기에 충분히 큰 모니터를 가지고 있음을 나타낸다. 대안으로, 작은 뷰 포트는 사용자가 모니터로부터 멀리 떨어져 있으며 더 큰 폰트와 화상을 필요로 하고 있음을 나타낸다. 줌가능 GUI 코드는 가상 카메라를 통해 비추어진 그리고 사용자가 선호하는 시청 조건을 이용하는 컴포넌트의 배율 레벨에 근거하여 의미론적 줌잉을 전이할 수 있다.
디스플레이 장치(1204)에 부착된 주 카메라 노드(1202)는 가상 카메라(1200)가 보여주는 모든 것을 디스플레이하도록 구성된 뷰 포트를 갖고 있다. 그래픽 화상과 텍스트는 주 카메라(1202)에 이르기까지는 픽셀로 맵핑되지 않기 때문에, 가상 카메라로부터 품질 손실은 발생하지 않는다. 이 결과는 고화질 모니터가 보다 높은 품질의 화상을 디스플레이하는 것이며 디스플레이를 판독하기 더 어렵게 만드는 의미론적 줌잉 변화를 트리거하지 못한다는 것이다.
본 발명의 예시적인 일실시예에 따르면, 프로세스는 아래와 같이 동작한다. 장면 그래프에서 각 카메라 및 노드는 연관된 변환 매트릭스(Ti 내지 Tn)를 가지고 있다. 이들 매트릭스는 노드의 로컬 좌표계를 디스플레이를 향하는 다음번 노드의 좌표계로 변환한다. 도면에서, T1 은 그의 뷰 포트로부터의 좌표를 디스플레이 좌표로 변환한다. 마찬가지로, T2는 그의 로컬 좌표계를 카메라의 뷰 포트로 변환한다. 만일 리프(leaf) 노드(1206)가 어떤 것을 디스플레이 상에 렌더링하고자 하면, 다음과 같이 변환 매트릭스가 계산된다.
Figure 112007066478732-PCT00002
이 계산은 장면 그래프를 가로지르면서 수행될 수 있다. 의미론적 줌잉을 지원하는 컴포넌트 변화는 가상 카메라(1200)에 근거하기 때문에, 다음과 같은 계산이 수행된다.
Figure 112007066478732-PCT00003
전형적으로, T1 내지 T3 는 모니터의 해상도를 조회하고 장면 그래프를 고찰함으로써 먼저 결정될 수 있다. 그러므로, A로부터 B를 결정하는 것은 아래와 같이 이들 매트릭스를 반전하고 다음과 같이 승산함으로써 달성된다.
Figure 112007066478732-PCT00004
T1 내지 T3 를 먼저 계산하는 것이 문제가 되는 경우, 예컨대, 그래픽 API가 추가적인 변환을 덮어 감추는 경우, 가상 카메라에 로직을 추가하여 디스플레이에 렌더링하는데 사용되었을 변환 매트릭스를 가로채도록 할 수 있다. 그런 다음 이렇게 가로채기한 변환은 전술한 바와 같이 반전되고 승산되어 의미론적 줌잉 드레숄드를 계산하게 된다.
본 발명의 예시적인 실시예에 따른 줌가능 인터페이스의 한가지 강점은 인터페이스를 네비게이트하면서 문맥을 유지하는 기능이다. 인터페이스 컴포넌트는 모두 줌가능 세계에 존재하는 것으로 보이며, 사용자는 이들 중 어느 컴포넌트에 도달하기 위해 패닝과 줌을 필요로 한다. 전술한 의미론적 줌잉 기술은 줌 또는 배율 레벨에 따라 컴포넌트의 외형을 변화시킨다. 도 15a 및 도 15b는 컴포넌트의 줌 축소 버전(도 (15a))은 그림이고 줌 확대 버젼(도 15b)은 그와 동일한 그림뿐만 아니라 제어기능 및 디테일을 포함하는 컴포넌트의 의미론적 줌잉의 일예를 제공한다. 조금 더 상세한 예는 아래에서 제공된다. 의미론적 줌잉과 연관된 한가지 도전은 뷰들 사이의 변화가 갑자기 발생할 수 있다는 것과, 알파 블렌딩(alpha blendinbg)과 같은 전이 기술은 그러한 두 뷰들 사이에서 전이할 때 시각적으로 만족하는 결과를 제공하지 못한다는 것이다.
따라서, 본 발명의 예시적인 실시예는 의미론적 줌이 실행될 때 컴포넌트의 모든 뷰에서 동일한 어떤 공통적인 화상 또는 텍스트를 제공하여 전이 효과를 위한 촛점을 제공한다. 예를 들면, 도 15a 및 도 15b에서, 공통 요소는 그림이다. 줌 축소 버전과 줌 확대 버전 사이의 전이 효과는, 예를 들면, 전술한 노드 감시 알고리즘을 이용하여 아래와 같이 트리거될 수 있다. 먼저, 주 카메라의 뷰 포트가 컴포넌트의 줌 축소 버전의 배율 레벨로부터 줌확대 버전으로 전이할 때의 이벤트를 수신하도록 노드 감시에서 등록이 수행될 수 있다. 그 다음, 그 이벤트가 발생하면, 공통 요소(들)이 줌 축소 버전에서 이들 위치로부터 줌 확대 버전의 위치로 축소되고 전이되는 것을 보여주는 애니메이션이 디스플레이될 수 있다. 한편, 카메라의 뷰 포트는 컴포넌트를 줌 확대하기를 지속한다.
본 발명에 따른 이들 그래픽 사용자 인터페이스의 역량은 도 16 내지 20에 대하여 아래에서 기술되는 또 다른 예시적인 실시예를 검토함으로써 더욱 자명해질 것이다. 이들 도면에서, 시작 GUI 스크린(1400)은 매체 그룹을 표현하는 다수의 구성 객체를 디스플레이한다. 홈 비디오, 영화, TV, 스포츠, 라디오, 음악 및 뉴스라는 순전히 예시적인 매체 그룹의 표현은 물론 다르고, 더 많거나 적은 수의 매체 그룹 표현을 포함한다. 사용자에 의해 이들 아이콘들 중 한 아이콘이 활성화될 때, 이러한 예시적인 실시예에 따른 GUI는 각기 특정 카테고리 또는 장르로 그룹화되는 다수의 화상을 디스플레이할 것이다. 예를 들면, 도 16에서 "영화" 아이콘이 사용자에 의해 활성화되는 경우, 도 17의 GUI 스크린이 디스플레이될 수 있다. 도 17에서, 다수, 예컨대, 120 또는 그 이상의 선택 객체들이 디스플레이된다. 이들 선택 객체들은 특정 그룹(들), 예컨대, 액션, 클래식, 코메디, 드라마, 가족 및 신규 개봉으로 카테고리화될 수 있다. 본 기술 분야에서 통상의 지식을 가진 자는 더 많은 또는 더 적은 수의 카테고리가 제공될 수 있음을 인식할 것이다. 이러한 예시적인 실시예에서, 매체 아이템 화상은 각 영화 선택과 연관된 커버 아트(cover art)일 수 있다. 도 17에서 블록들의 크기가 너무 작아서 상대적으로 큰 그룹의 선택 아이템 화상들을 상세히 예시하지 못할지라도, 텍스트의 일부 또는 전부가 너무 작아서 쉽게 판독하기 어려울 지라도, 구현에서 화상들의 배율의 레벨은 영화가 그와 연관된 화상에 의해 구별될 수 있을 정도는 된다.
커서(도 17에서는 미도시)는 영화 화상들의 그룹 위에 배치될 수 있고 입력 장치는 이들 그룹들 중 한 그룹의 선택을 지시하도록 활성화될 수 있다. 이 예에서는 사용자가 드라마 그룹을 선택하고 그래픽 사용자 인터페이스가 도 18에 서 볼 수 있는 것 처럼 드라마 화상 그룹의 줌 확대된 버전이 디스플레이된다. 이전의 실시예와 마찬가지로, 도 17의 GUI 스크린으로부터 도 18의 GUI 스크린으로 GUI가 이동할 때 전이 효과가 또한 디스플레이될 수 있으며, 예를 들면, GUI는 줌하는 동안 또는 줌하기 전에 화면을 도 17의 GUI 스크린의 중앙으로부터 드라마 화상 그룹의 중앙으로 패닝할 수 있다. 도 18의 드라마 그룹의 줌 버전이 드라마 그룹 내 총 화상 개수의 부분 집합을 디스플레이할 뿐일지라도, 대안으로 이런 줌 버전은 선택된 그룹 내 모든 화상들을 포함할 수 있음을 유념해야 한다. 선택된 그룹 내 모든 화상들을 GUI 스크린의 어떤 부여된 줌 확대 버전으로 디스플레이할지 여부를 선택하는 것은, 예를 들면, 그룹 내 매체 아이템들의 개수 및 특정 줌 레벨을 매체 아이템의 최소 희망 배율 레벨에 근거하여 이루어질 수 있다. 본 발명에 따른 GUI의 후자의 특징은 시스템 설계자/서비스 제공자에 의해 미리결정될 수 있고 또는 GUI 내에 소프트웨어 셋팅을 통해 사용자에게 맞춤가능하게 될 수 있다. 예를 들면, 그룹 내 매체 아이템의 개수 및 최소 및/또는 최대 배율 레벨은 서비스 제공자 또는 최종 사용자의 일측 또는 양측에 의해 구성가능할 수 있다. 이러한 특징은, 예를 들면, 시력이 좋지 않은 사용자들이 디스플레이되는 매체 아이템의 배율 레벨을 증가시키는 것이 가능하게 해준다. 반대로, 특히 좋은 시력을 가진 사용자들은 배율의 레벨을 줄일 수 있으며, 그럼으로써 언제라도 GUI 스크린상에 디스플레이된 매체 아이템의 개수를 증가시키고 탐색 시간을 줄일 수가 있다.
본 발명에 따른 그래픽 사용자 인터페이스에서 이용될 수 있는 한가지 예시적인 전이 효과는 본 명세서에서 "슈-투-디테일(shoe-to-detail)" 뷰 효과로서 지칭된다. 활성화될 때, 이러한 전이 효과는 화상을 줌 축소시키고 동시에 줄어들게 하며 줌 축소된 화상을 더 작은 뷰로, 즉, 다음으로 높은 배율의 레벨로 변환한다. 도 17의 GUI 스크린에서 사용된 배율 레벨로부터 도 18의 GUI 스크린에서 사용된 더 높은 배율 레벨로 전이함으로써 도 18의 줌 확대 버전으로 디스플레이되는 화상의 GUI에 의해 부수적인 디테일이 나타난다. GUI는 이러한 디테일이 현재 선택된 줌 레벨에서 잘 디스플레이되는지 여부에 따라 각 줌 레벨에서 선택적으로 디테일을 드러내거나 숨긴다. 육안으로 보임에도 불구하고 디테일을 보여주려 시도하는 카메라 줌과 달리, 본 발명의 예시적인 실시예는 전체 화상을 보려할 때 그리고 보류된 디테일로 화상의 버전을 보려 할 때와의 사이에서 전이점을 규정하는 구성가능한 줌 레벨 파라미터를 제공한다. 전이점은 TV/모니터(212)의 해상도라기 보다는 화상의 내부 해상도에 무관한 묘사에 기반할 수 있다. 이러한 방식으로, 본 발명에 따른 GUI는 매체 시스템에서 사용되는 디스플레이 장치의 해상도와 무관하게 일정하다.
이 예시적인 실시예에서, 커서를 특정 화상의 위를 지나가게 함으로써 특정 화상의 추가적인 배율이 제공될 수 있다. 이러한 기능은 커서가 "Apollo 13"이라는 영화의 화상 위로 굴러간 도 19에서 볼 수 있다. 비록 도 19에서는 도시되지 않지만, 그러한 추가적인 배율은, 예를 들면, 배율 레벨이 낮은 도 18의 GUI 스크린에서 대응하는 화상과 비교할 때 연관된 매체 아이템의 커버 아트 위에 나타난 "Houston, we have a problem" 라는 인용어구를 더 잘 읽을 수 있게 해준다. 예컨대, 입력 장치에서 소정의 버튼을 누름으로써 사용자가 이 화상을 선택하면 줌이 더 실행되어 도 20에서 도시된 디테일이 디스플레이될 수 있다. 이것은 여러 정보 및 제어 요소가 도 19의 GUI 스크린에서 이용가능하지 않았던 도 20의 GUI 스크린에서 존재하기 때문에 이전에도 기술된 바와 같은 의미론적 줌잉의 또 다른 예를 제공한다. 예를 들면, 그 중에서도 특히, 영화의 상영시간, 가격 및 배우 정보를 포함하는 "Apollo 13" 이라는 영화에 관한 정보가 도시된다. 본 기술 분야에서 통상의 지식을 가진 자는 다른 형태의 정보가 제공될 수 있음을 인식할 것이다. 부가적으로, 이 GUI 스크린은, 예를 들면, 영화를 구매하고, 예고편을 보거나 이전 GUI 스크린으로 되돌아가기(이것은 입력 장치 상의 ZOOM OUT 버튼을 누름으로써 달성될 수 있음)를 위한 버튼 제어 객체를 포함하는 GUI 제어 객체를 포함한다. 또한, 사용자로 하여금, 예를 들어, 도 20의 GUI 스크린의 우측 하단 구석에서 식별된 관련 영화와 연관된 GUI 스크린 또는 이 영화의 배우와 연관된 정보로 점프하게 해주는 하이퍼 링크가 사용될 수 있다. 이 예에서, 표제 "Filmography" 아래의 영화 타이틀의 일부 또는 전부가 입력 장치를 통해 사용자에 의해 작동될 때 GUI가 표시된 영화의 도 20의 GUI 스크린에 대응하는 GUI 스크린을 디스플레이하는 하이퍼링크로서 구현될 수 있다.
전이 효과 또한 사용자가 하이퍼링크를 작동시킬 때 사용될 수 있다. 하이퍼링크가 매우 높은 배율 레벨에서 발생될 수 있기 때문에, 링크된 매체 아이템으로 단순히 점프하면 사용자가 매체 아이템 선택 "맵"에 있는 트랙을 놓칠 수 있다. 따라서, 본 발명의 예시적인 실시예는 하이퍼링크가 작동될 때 사용자의 지리학적 위치 감각을 유지시키는데 도움을 주는 전이 효과를 제공한다. 이러한 목적으로 이용될 수 있는 예시적인 전이 효과는 홉 전이(hop transition)이다. 전이 효과의 초기 단계에서, GUI는 하이퍼링크에 의해 포인트된 아이템의 방향으로 줌 축소 및 패닝한다. 줌 축소 및 패닝은 사용자에게 목적 화상 및 원 화상이 보일 수 있을 때까지 지속된다. 도 20의 예를 한번 더 이용하면, 사용자가 "Saving Private Ryan"이라는 하이퍼링크를 선택하면, 하이퍼링크 홉 효과의 첫 번째 단계는 "Saving Private Ryan"과 "Apoll 13"의 화상이 모두 사용자에게 보일 때까지 "Saving Private Ryan"의 화상을 향해 줌잉 및 패닝하는 것을 포함할 것이다. 이때, 전이 효과는 목적 화상을 향해 아크(arc)에서 위쪽으로 이동하는 시각적인 느낌을 사용자에게 제공한다. 목적 화상이 보이면, 전이 효과의 제2 단계는, 예를 들면, 아크의 다른 반쪽에서 목적 화상을 줌 확대 및 패닝하는 시각적 느낌을 사용자에게 준다. 홉 타임(hop time), 즉, 이러한 제1 및 제2 전이 효과의 두 단계의 총 시간 량이 디스플레이되는 홉 타임은 하이퍼링크된 어떤 두 화상 아이템들 사이로 고정될 수 있다. 대안으로, 홉 타임은, 예를 들면, GUI 위로 지나가는 거리에 근거하여 변할 수 있다. 예를 들면, 홉 타임은 다음과 같이 파라미터로 나타낼 수 있다.
홉 타임 = A 로그 (줌 확대 스케일 레벨/홉 최고 스케일 레벨) + B (하이퍼링크된 매체 아이템들 간의 거리) + C
여기서, A, B 및 C는 적절히 선택된 상수이다.
도 9 내지 도 13b에 대하여 전술한 노드 감시 알고리즘은 또한 도 19의 예시적인 GUI 스크린 및 도 20의 예시적인 GUI 스크린에서 도시된 줌 레벨들 사이를 전이하는데 도움을 주기 위해 사용될 수 있다. 선택된 화상의 다른 줌 레벨 버전에서는 보이지 않는 텍스트 및/또는 제어 요소를 포함하는 GUI 스크린을 렌더링하는 것은 더 낮은 배율 레벨의 화상들보다 더욱 계산적이며/계산적이거나 강력하게 기억될 수 있다. 따라서, 노드 감시 알고리즘은 본 발명의 예시적인 실시예에서 GUI의 네비게이션 코드를 감시함으로써 도 20에 도시된 바와 같은 GUI 스크린을 사전 로딩하는데 도움을 주어 줌 확대되는 특정 매체 아이템을 더욱 빠르게 식별하는데 사용될 수 있다.
본 발명의 예시적인 실시예에는 스크린-위치 및 의미론적 기술에 근거한 네비게이션 제어기능이 포함된다. 이들 제어기능의 구역은 사용자가 커서를 도 21에 도시된 바와 같은 스크린상에서 이들 제어기능과 연관된 구역 가까이 또는 그 구역에서 위치설정시킬 때 나타난다. 예를 들면, 영화 상영할 때, 패스트 포워드(Fast Forward), 리와인드(Rewind), 퍼즈(Pause), 스톱(Stop) 등의 소위 트릭 기능이 의미론적으로 적절하다. 이 예시적인 실시예에서, 이들 기능에 할당된 스크린 구역은 우측 하단 구석이며, 커서가 그 구역 근방 또는 그 구역에 배치될 때, 이들 트릭 기능의 아이콘들의 집합이 나타난다. 이들 아이콘들은 연동된 기능이 완전하게 완료될 때 또는 커서가 스크린상에서 어느 다른 곳에 재배치될 때 사라진다. 동일한 기술이 텍스트 검색 및 가정용 스크린 선택과 같은 다른 네비게이션 기능을 망라하는데에도 사용될 수 있다. 이러한 예시적인 실시예에서, 이들 제어 기능은 모든 스크린과 의미론적으로 관련되며 이들에 할당된 구역은 우측 상단 구석이다. 커서가 그 구역에 가까이 또는 그 구역내에 배치될 때, 이들 네비게이션 제어기능의 아이콘 집합은 나타난다. 이들 아이콘은 그 기능이 활성화되거나 커서가 스크린상에 다른 곳에 재배치될 때 사라진다. 사용자에게 훈련 목적으로, 관련 제어기능 아이콘이 이들의 존재를 경고하기 위해 관련 스크린의 일부 또는 모두에서 선택적으로 처음에 잠깐 (예컨대, 약 5초) 나타날 수 있음을 유념해야 한다.
본 발명에 따른 줌가능 그래픽 사용자 인터페이스의 몇가지 예를 제공하였고, 이제는 그러한 인터페이스를 사용하기 위한 예시적인 프레임워크 및 기본구조(infrastructure)가 설명될 것이다. 도 22는, 각종 하이 레벨 어플리케이션(1900), 예컨대, 영화, 텔레비젼, 음악, 라디오 및 스포츠와 연관된 줌 가능한 인터페이스가 프리미티브(1902)(도면에서는 "Atoms" 이라 지칭함)에 의해 지원되는 프레임워크 다이어그램을 제공한다. 이 예시적인 실시예에서, 본 기술 분야에서 통상의 지식을 가진자에게는 이 그룹에, 예컨대, PAN 및 DRAG 뿐만 아니라 다른 프리미티브가 또한 포함될 수 있음을 인식할 지라도, 프리미티브(1902)는 POINT, CLICK, ZOOM, HOVER 및 SCROLL을 포함한다. 전술한 바와 같이, POINT 및 CLICK 프리미티브는 커서 위치를 결정하고, 예를 들면, 사용자가 휴대용 입력 장치(handheld input device)에서 줌 확대(ZOOM IN) 또는 줌 축소(ZOOM OUT) 버튼을 작동시켰을 때의 이벤트를 트리거하도록 동작한다. 이들 프리미티브는 네비게이션을 단순화시켜주며 반복된 업-다운-우측-좌측 버튼 행위의 필요를 없애준다. 전술한 바와 같이, ZOOM 프리미티브는 가능한 선택의 개요를 제공하며 사용자 선택을 좁혀줄 때 사용자 문맥을 제시한다. 이러한 개념은 인터페이스로 하여금 다수개의 매체 선택 및 임의적인 디스플레이 크기를 스케일가능하게 해준다. SCROLL 프리미티브는 예시적인 휴대용 입력 장치상의 스크롤 휠 입력 장치로부터의 입력을 처리하며, 예를 들면, 선형 메뉴 네비게이트를 가속하는데 사용될 수 있다. HOVER 프리미티브는 포인터 아래의 선택들을 동적으로 확대(및/또는 선택의 내용을 변경)하여 사용자로 하여금 기억하지 않고도 잠재적인 선택을 검색하게 해준다. 전술한 각각의 프리미티브 동작은 본 발명에 따른 GUI에서 다수의 상이한 방식으로 작동될 수 있다. 예를 들면, 각각의 POINT, CLICK, HOVER, SCROLL 및 ZOOM은 사용자에 의해 실행될 수 있는 상이한 제스쳐(gesture)와 연관될 수 있다. 이러한 제스쳐는 3D 포인터, 트랙볼, 터치패드 등일 수 있는 입력 장치를 통해 시스템과 통신될 수 있으며 적절한 프리미티브의 동작으로 전환된다. 마찬가지로, 각각의 프리미티브는 각 음성 명령과 연관될 수 있다.
하위 레벨 프리미티브(1902)와 상위 레벨 어플리케이션(1900) 사이에는 본 발명에 따른 줌가능 GUI와 연관된 화상을 생성하는데 수반된 각종 소프트웨어 및 하드웨어 기본구조(1904)가 상주한다. 도 22에서 볼 수 있는 바와 같이, 그러한 기본구조(1904)는 휴대용 입력 장치/포인터, 어플리케이션 프로그램 인터페이스(APIs), 줌가능 GUI 스크린, 개발자 툴 등을 포함할 수 있다.
전술한 예시적인 실시예는 단지 예시적일 뿐이다. 줌 레벨의 개수 뿐만 아니라 각 레벨에서 사용자에게 제공된 특정 정보 및 제어기능은 변경될 수 있다. 본 기술 분야에서 통상의 지식을 가진자는 사용자가 영화 및 음악과 같은 매체 아이템을 용이하게 검색, 탐색, 구성 및 재생할 수 있도록 줌가능 인터페이스를 이용하여 크고 작은 매체 아이템의 집합을 제시하는 획기적인 기술을 제공한다. 본 발명에 따른 줌 그래픽 사용자 인터페이스는 유사한 선택들이 서로 그룹지을 수 있도록 가상 표면상에 매체 아이템 선택들을 구성화한다. 초기에, 인터페이스는 표면의 줌 축소된 뷰를 제시하며, 대개의 경우, 실제 선택은 이 레벨에서 보이지 않지만, 어느 정도 이들 그룹 이름만은 보일 것이다. 사용자가 점차 줌 확대함으로써, 매체 아이템 그룹 또는 선택과 관련하는 더 상세한 디테일이 드러난다. 각 줌 레벨에서, 사용자가 선택들, 개개 선택들의 그룹들을 다룰 수 있고, 또는 다른 부분의 가상 표면으로 진행하여 다른 관련된 매체 아이템을 열람할 수 있도록 다른 제어기능이 이용가능하다. 본 발명의 예시적인 실시에에 따른 줌잉 그래픽 사용자 인터페이스는 임의적인 깊이에 자리잡은 화상들의 카테고리뿐만 아니라 카테고리들의 카테고리들을 포함할 수 있다. 매체 아이템은 국부적으로 저장된, 방송 제공자에 의해 방송된, 컨텐트 제공자와 직접 연결하여 수신받은 또는 피어링(peering) 단위로 공급받은 컨텐트를 포함할 수 있다. 매체 아이템은 날짜/시간 정보가 GUI의 소정 레벨에서 제공되는 스케쥴링 포맷으로 제공될 수 있다. 부가적으로, 본 발명의 예시적인 실시예에 따른 프레임워크 및 GUI는 선택을 위한 아이템이 사용자에게 판매되는 텔레비젼 시장에서도 적용될 수 있다.
통상의 텔레비젼 어플리케이션은 사용자가 선택하기 위해 일련의 관련 스크린 구역 또는 객체로부터 의식적이면서 신중히 선택하여야 한다는 것을 가정한다. 이것은 전형적으로 업/다운/좌/우 화살표를 이용하여 이루어지며, 이때 스크린에는 관심사의 구역이 하이라이트된다. 사용자가 그곳에 다가갔을 때, 사용자는, 예를 들면, 진행을 위해 "OK" 버튼을 누른다. 반대로, 본 발명의 예시적인 실시예는 사용자가 스크린에서 무슨 관심사든 직접 포인트하게 해준다. 이것은 선택을 훨씬 더 직관적이고 빠르게 해준다. 이것은 또한 향상된 정보가 포인팅의 부분으로서 디스플레이되게 해주는데, 본 명세서에서는 "의미론적 후버"라고 지칭된다. 본 발명의 예시적인 실시예에서 의미론적 후버의 일예는 TV 어플리케이션에서 프로그램 타이틀 위를 허버링하게 되면 그 프로그램에 관한 정보를 확장시켜 디스플레이해주는 것이다. 부가적으로, 이것은 행위가 관심사 구역과 관련되게 해준다. 사용자는 관심사의 특정 객체를 포함할 수 또는 포함하지 않을 수 있는 스크린의 구역에서 단순히 포인트 할 수 있으며 스크린상 어느 다른 곳과 관련성없는 행위를 연동시킬 수 있다. 본 발명에 따른 어플리케이션에서 이러한 일예는 커서를 스크린의 좌측편으로 이동시키는 행위를 채널 선택 특징과 연동시키는 것이다. 그 다음에 사용자는 스크롤 휠을 사용하여 채널을 변경할 수 있고 또는 슬라이더 바에서 포인트를 대응하는 채널에 맞출 수 있다. 이러한 어느 것도 종래의 네비게이션 스킴에서는 쉽게 달성되지 않는다.
본 발명의 예시적인 실시예에 따른 온-스크린 네비게이션 시스템과 3D 장치를 통합하는 것과 관련된 또 다른 독특한 특징은 떨림 및 원치않는 움직임에 대처하는 능력이다. 이것은 데스크탑 마우스 및 PC 스크린의 상황과 매우 다르다. 그 경우에 있어서, 마우스는 평편한 표면 위에 놓이며 원치 않는 움직임은 마찰과 멈추는 기능으로 인해 자연적으로 필터된다. 그러나, 3D 장치의 경우, 매우 상이한 제어 환경으로 사용자의 손에 임의적인 각도로 쥐어지게 된다. 3D 장치의 움직임 데이터를 처리하는 것과 관련된 알고리즘 또는 그 데이터를 수신하는 어플리케이션 중의 어느 것 (또는 둘다)은 떨림과 원치않는 움직임을 다루어야 한다. 본 발명에 따른 그러한 조합의 또 다른 양상은 정확성이다. 일반적으로, 데스크탑 마우스의 포인팅 해결책은 3D 장치의 해결책 보다 우수하다. 이것은 데스크탑 마우스가 3D 장치가 포인트할 수 있는 것보다 더 작은 스크린 객체들을 포인트할 수 있다는 것을 의미한다.
본 발명에 따른 예시적인 실시예에 따른 시스템은 이들 세가지 기능을 모두 수행한다. 알고리즘 그 자체에 있어서, 떨림과 원치않는 움직임은 원하는 움직임만이 사용되도록 모델링되고 처리된다. 부가적으로, 사용자가 버튼을 누르거나 3D 포인팅 장치의 스크롤 휠을 돌리므로 단순히 발생하는 3D 장치의 움직임은 모델링되고 보상된다. 부가적으로, 3D 포인팅 장치의 사용자의 움직임과 연관된 처리된 움직임 데이터를 수신하는 다운스트림 어플리케이션에 있어서, 3D 해결책의 지식 및 움직임 특성은 또한 시스템을 더 쉽게 제어하도록 하기 위해 제공하는 또는 의미론적 피드백하는 어플리케이션 스크린의 설계에 포함된다.
온-스크린 네비게이션과 3D 포인팅을 결합하는 장점은 또한 이러한 조합으로 인하여 각종 어플리케이션에서 가능한 새로운 특징 및 기능을 포함하게 된다는 것이다. 이들의 상이한 어플리케이션으로 카테고리되는 몇가지 예가 아래에서 리스트된다. 도 22 내지 도 23에 예시된 GUI 스크린은 모두 전술한 기술을 이용하여 네비게이트될 수 있음을 유념해야 한다.
TV: 텔레비젼의 가이드에서는 다음과 같은 예시적인 장점이 있다.
1. 프로그램 리스팅에서 포인트하게 되면 클릭하지 않고도 또는 요구하는 스크린 변경 없이도 그 프로그램에 관한 추가 정보가도 나타난다. (의미론적 후버).예를 들면, 이 기술을 예시하는 도 23a 및 도 23b를 참조할 것. 이들 도면에서, 전자 프로그램 가이드는, 예컨대, 전술한 바와 같은 상위 레벨의 GUI 스크린으로부터 엑세스될 수 있는 GUI 스크린에서 디스플레이된 이들 채널에 대한 프로그래밍 정보를 갖는다. 도 23a에 예시된 시간 때에서, 현재 선택된 채널 정보 창(2300)은 오전 8:30 AM 부터 9:00 AM 까지 채널 15를 통해 방송하는 프로그램과 연관된 정보, 즉, "Happy Days"를 디스플레이한다. 커서(2302)는 현재 프로그램 리스팅을 포인팅하고 있지 않다. 도 23b에 예시된 다른 시간 때에서, 커서는 움직여서, 예컨대, 텔레비젼 스크린의 전면에서 3D 포인팅 메커니즘의 대응하는 움직임에 의해 9:00 AM에서 채널 15를 통해 방송하는 "Beverly Hillbillies" 쇼를 포인트하였다. 이로써, 본 발명의 예시적인 실시예에 따라서 자동적이면서 사용자로부터 포인팅하는 것과 다른 어느 입력 없이도, 현재 선택된 채널 정보 창(2300)에 디스플레이된 정보를 도 23b에 도시된 바와 같은 새로이 선택된 프로그램에 관한 디스플레이 정보로 변환된다. 이 예에서, GUI 스크린은 또한 현재 선택된 채널과 연관된 비디오 및/또는 오디오 정보를 디스플레이하는 라이브 공급 선택(live feed selection)(2304)을 가질수 있다.
2. 프로그램 리스팅 중에서 스크롤링은 직선으로 긴 리스트를 용이하게 네비게이트하게 해준다. 다시 말해, 그러한 스크롤링은 텔레비젼에서, 예컨대, 3D 포인팅 메커니즘을 이용하여 포인팅함으로써 간단하게 수행될 수 있다. 예를 들면, 도 24a 및 24b를 참조할 것. 도 24a에서, GUI 스크린은 현재 채널 2 내지 10의 프로그램 가이드 및 이들에 대응하는 프로그램 정보를 디스플레이하고 있다. 커서(2400)를 리스트 아래의 스크린 부분으로 이동시킴으로써, 스크롤링 기능이 자동적으로 작동되어, 사용자가 어떤 다른 행위를 취하도록 요청하지 않고도 프로그램 가이드가 스크롤 다운될 수 있다. 이러한 스크롤링 결과로 GUI 스크린은 도 24b에서와 같이 예시된다.
3. 스크린은 볼륨 및 채널과 같이 요청할 때만 보여지도록 제어한다. 예를 들면, 도 25a는 특정 텔레비젼 채널이 선택되고 그 채널과 연관된 비디오 및 오디오 공급이 시스템에 의해 출력되고 있는 GUI 스크린을 예시한다. 텔레비젼의 전면에서 3D 포인터를 이동시키고, 대응적으로 커서(2500)를 GUI 스크린의 우측편으로 이동시킴으로써, 볼륨 제어 슬라이더 바(2502)가 스크린 상에 디스플레이되며 사용자에 의해, 예컨대, 볼륨 아이콘(2504)를 위 또는 아래로 드래그함으로써 조작될 수 있다. 커서가 GUI 스크린의 좌측편으로 이동하는 방식으로 사용자가 3D 포인터를 이동시키면, 채널 변경 제어기능(2506)이 도 25c에 도시된 바와 같이 디스플레이될 수 있다. 몇 가지 프로그램 가이드 정보 또한 팝업 패널(2508)에서 디스플레이될 수 있는데, 이 팝업 패널은, 예컨대, 도 25d에 도시된 바와 같이 탭에서 포인팅함으로써 조작될 수 있다. 채널 제어 바(2510)를 포인팅함으로써, 채널 제어 바(2510) 상에서 포인트된 위치에 배치되는 채널을 표시하는 팝업(2512)이 디스플레이된다(도 25e 참조). 후속하는 입력(예컨대, 버튼 누름 등) 또는 기설정 기간 동안 이 위치에서 멈춤은 채널이 변경되고 디스플레이 창(2508)에서 대응하는 정보가 변경되는 결과를 가져온다(도 25f).
4. 많은 옵션을 사용자에게 동시에 제시하고 그로부터 사용자가 단순히 포인팅하여 선택하는 시각적 브라우저. 이러한 양상의 본 발명의 예시적인 실시예는 전술한 도 17 내지 20에서 예시된다.
5. 사용자가 아이템을 후버 또는 선택할 때 디스플레이된 자동 크로스-링킹 제시. 이런 양상의 본 발명의 예시적인 실시예는 본 명세서에서 기술된 인터페이스 및 시스템과 연관된 각종 GUI 스크린에서 찾아볼 수 있다. 예를 들면, 도 26a에 도시된 바와 같이, 크로스 링크는 이 도면에서 예시된 GUI 스크린의 상측 부분에서 디스플레이 창(2602)에 의해 표시된 "Paid Programming" 이라는 초기의 사용자 선택에 따라 다른 "on-demand" GUI 스크린에 대한 프로그램 가이드의 우측편 창(2600)에서 제공될 수 있다. 예를 들면, 사용자가 디스플레이 창(2600) 내에서 "Movelink" 링크를, 예컨대, 커서를 그 위에서 이동시키고 "Movelink" 텍스트 위를 클릭함으로써 동작시키면, 도 26b와 같이 예시된 GUIU 스크린이 그 동작의 결과로서 디스플레이될 수 있다.
6. 온-스크린 트랜스포트 제어(예컨대, 리와인드, 패스트 포워드, 플레이, 스톱, 장면 스킵, 종료 및 시작)는 비디오 재생의 용이한 제어를 가능하게 해준다. 전술한 볼륨 및 채널 선택 제어기능과 마찬가지로, 이들 제어기능은 사용자가 커서를 디스플레이 영역의 기설정 부분으로 이동하는 것에 응답하여 디스플레이될 수 있다. 예컨대, 온-스크린 트랜스포트 제어(2700)가 박스(2704)에 의해 규정된 구역 내에서 커서(2702)의 움직임에 응답하여 도 27b에 디스플레이되는 27a 및 도 27b 참조.
사진: 사진 어플리케이션에서는 다음과 같은 예시적인 장점이 있다.
1. 사진 컬렉션에서 포인팅하면, 사용자는 자동적으로 또는 드래그-앤-드롭 작동에 따라 선택적으로 플레이리스트에 추가할 수 있다. 예를 들면, 도 28a에 예시된 바와 같이, (영화 및 도 17 내지 20에 관하여 전술한 바와 동일한 방식으로 사진첩의 일부를 줌 확대하여 찾은) "Europe" 이라는 컬렉션에서 특정 사진을 포인팅하면, 사진(2800)이 확대되고 자동적으로 GUI 스크린의 플레이리스트 부분(2801)에 추가되는 "후버 줌" 효과를 야기한다. 더 작은 버전(2802)의 사진(2800)이 플레이리스트 부분(2801)에 나타나서 이 리스트에 추가되었음을 표시한다.
2. 사진 앨범을 줌 확대하면 더 많은 문맥 정보가 제시될 수 있으며 계층적인 소팅이 가능해진다. 사진 플레이리스트가 늘어남에 따라, 스크롤 제어기능(2805)은 언제라도 플레이리스트 부분(2801) 내에서 디스플레이되는 작은 화상 버전의 개수를 제한하도록 나타날 것이다(도 28b 참조).
3. 온-스크린 트랜스포트 제어는 슬라이드 쇼 재생, 예컨대, 도 28a 및 도 28b에서 "Play" 및 "Clear" 버튼을 쉽게 제어하게 해준다.
가정용 영화: 가정용 영화 어플리케이션에서는 다음과 같은 예시적인 장점이 있다.
1. 홈 비디오 컬렉션을 포인팅하면, 도 29a에 예시된 바와 같이, 사용자는 자동적으로 또는 드래그-앤-드롭 작동을 이용하여 선택적으로 플레이리스트에 추가할 수 있다. 이 도면에서, "Ballet" 라는 컬렉션에서 "Hats Part3" 라는 영화는 GUI 스크린의 컬렉션 영역(2902)에서 그 영화의 화상을 포인팅함으로써 플레이리스트(2900)에 추가된다. GUI 스크린의 상단 좌측편에서 "Recital" 이라는 버튼을 선택하면 그 컬렉션 영역의 화상은 "Recital" 이라는 컬렉션의 부분으로서 저장된 화상으로 변경되며, 이로부터 또 다른 가정용 영화가 도 29b에 도시된 바와 같이 플레이리스트(2900)에 추가된다.
2. 영화 앨범을 줌 확대하면 더 많은 문맥 정보가 제공될 수 있으며 계층적 소팅이 가능해진다.
3. 온-스크린 트랜스포트 제어, 예컨대, "Play" 및 "Clear" 는 도 29a 및 도 29b에서 도시된 바와 같은 홈 비디오 및 홈 비디오 플레이리스트 재생을 쉽게 제어하게 해준다.
캘린더: 캘린더 어플리케이션에서는 다음과 같은 예시적인 장점이 있다.
1. 사용자는 도 30a 및 도 30b에 예시된 바와 같이 캘린더의 날짜 위를 후버할 수 있고 클릭하지 않고도 지정한 날짜에 관한 추가 정보를 볼 수 있다.
2. 사용자는 날짜를 줌 확대하여 추가 디테일을 볼 수 있고 또는 그러한 디테일을 온-스크린 텍스트 입력 시스템을 이용하여 스크린상에서 편집할 수 있다.
3. 사용자는 캘린더를 소트하여 다른 관심사들 중에서 상충하는 지를 볼 수 있다.
인터넷 브라우징 : 인터넷 브라우징 어플리케이션에서는 다음과 같은 예시적인 장점이 있다.
1. 사용자는, 예컨대, 도 31a에 도시된 바와 같이, 책상에서 이루어진 방식과 매우 유사한 방식으로 TV에서 웹서핑을 할 수 있다. 차이점은 3D 복잡성이 다루어진다는 것이다.
2. 도 31b에 예시된 바와 같이, 사용자가 키보드를 사용하기를 원치 않는 경우에 온-스크린 툴을 이용하여 온-스크린에서 텍스트 입력이 이루어질 수 있다.
음악( Music ): 음악 어플리케이션에서는 다음과 같은 예시적인 장점이 있다.
1. 사용자는 음악 리스트 또는 시각상 음악적인 표시를 포인트할 수 있으며 이를 자동적으로 플레이리스트에 추가 또는 바로 재생할 수 있다. 예를 들면, 도 32a에 도시된 바와 같이 사용자는 앨범 커버의 진열대 일부분을 네비게이트할 수 있고 특정 앨범을 포인팅함으로써 그 앨범을 선택할 수 있다. 그 결과는 도 32b에서 예시된 바와 같이 개별적인 음악 트랙이 선택될 수 있고 GUI 스크린의 플레이리스트 부분(3200)에 추가될 수 있는 것처럼 스크린에서 디스플레이된다.
2. 사용자는 (예술가들 또는 앨범과 마찬가지로) 관심사의 것들을 포인팅함으로써 크로스-링크를 쉽게 네비게이트할 수 있다.
3. 온-스크린 트랜스포트 제어(3202)는 도 32c에 예시된 바와 같이 노래 또는 플레이리스트 재생을 용이하게 제어하게 해주며 어느 시각적 디스플레이에도 추가될 수 있다.
쇼핑 : 쇼핑 어플리케이션에서는 다음과 같은 예시적인 장점이 있다.
1. 사용자는 쇼핑 아이템 리스트 또는 시각적인 상품 표시를 포인트할 수 있고 이를 자동적으로 쇼핑 카트에 추가 또는 바로 구매할 수 있다. 예를 들면, 도 33a에 예시된 바와 같이, 제1 줌 레벨에서, 판매하는 다수의 상이한 카테고리의 아이템들이 어떤 포괄 구문 및 화상을 이용하여 묘사되어 있을 수 있다. 사용자가 특정 카테고리, 예컨대, 도 33b에서 "Handbacks" 이라는 문구위에서 커서(3300)를 멈추면, 그 화상이 약간 확대되어 그의 현재 선택을 표시해준다. 그런 다음, 자동적으로 또는 사용자의 추가적인 입력(예컨대, 버튼 누름)의 결과로서, "Handback" 카테고리에 대해 줌 확대가 실시되어, 도 33c에 도시된 바와 같이 핸드백의 진열대를 보여준다. 또한, 커서의 위치는 도 33c에서 "Smooth Leather"라는 아이템의 카테고리를 허버줌(hoverzoom)하여 반영된 그 진열대 내에서 현재의 선택을 표시한다. 또 다른 줌확대가 실행될 수 있고, 또한 이 카테고리에서 포인팅이 경과한 기간 이후 자동적으로 또는 휴대용 장치를 통한 특정한 사용자 입력에 응답하여, 도 33d에서 도시된 바와 같이 이 카테고리의 더욱 상세한 뷰가 보여진다. 특정 핸드백의 화상을 선택하면, 예컨대, 전술한 줌잉, 패닝 및/또는 전이 효과를 이용하여 도 33e의 상세한 뷰로 줌확대될 수 있다.
2. 사용자는 관심사의 것(마찬가지로 같은 스토어에서 다른 상품, 그에 어울리는 액세서리, 유사한 설계자의 것)을 포인팅함으로써 크로스-링크를 쉽게 네비게이트할 수 있다. 예를 들면, 도 33e에 도시된 바와 같이, 신발 액세서리와의 크로스링크가 화상(3300)으로서 디스플레이된다. 만일 그 링크가 활성화되면, 사용자는 도 33f에 도시된 바와 같이 여러 상위 레벨 스크린을 통해 네비게이트하지 않고도 그 아이템의 상세한 뷰로 점프할 수 있다.
3. 사용자는 허버링 또는 줌잉함으로서 관심사의 아이템에 관한 더 많은 정보를 쉽게 획득할 수 있다.
사용자는 스크린에서 희망하는 것을 표시하기 위해 그저 포인트하면 된다. 제스쳐 그 자체는 선택적으로는 어플리케이션 입력의 일부로서 고려될 수 있다. 어플리케이션이 3D 네비게이션 기능(예컨대, 떨림, 원치않는 움직임, 스크린 해상도)을 고려하며 3D 네비게이션 기능(예컨대, 의미론적 후버, 줌, 스크린 화상 관련 제어기능)을 이용하도록 조절함으로써, 정말로 강력한 쌍방향 TV 어플리케이션이 가능하다. 3D 포인팅 장치의 의도하지 않은 움직임을 처리하는 예시적인 기술의 추가적인 논의는 "Methods and Devices for Removing Unintentional Movement in 3D Pointing Devices" 라는 명칭으로 2005년 5월 2일 출원된, 미국 특허출원 제 11/119,987 호에서 찾아볼 수 있으며, 그 개시내용은 본 명세서에서 참조문헌으로 인용된다.
전술한 예시적인 실시예는 제한적이라기 보다는 본 발명의 모든 점에서 예시적으로 의도한다. 그러므로 본 발명은 본 기술 분야에서 통상의 지식을 가진자에 의해 본 명세서에 포함된 설명으로부터 유도될 수 있는 상세한 구현에서 많은 변동이 가능할 수 있다. 그러한 모든 변경과 변형은 다음의 청구범위에서 규정된 바와 같이 본 발명의 범주 및 정신 내에 있는 것으로 간주될 수 있다. 본 출원의 설명에서 사용된 어떤 구성요소, 행위, 또는 명령은 명백하게 그와 같이 기술하지 않는다면 본 발명에 중요한 또는 필수적인 것으로 해석되지 않아야 한다. 또한, 본 명세서에서 사용된 바와 같이, 관사 "하나(a)"는 하나 또는 그 이상의 아이템을 포함하는 것으로 의도한다.

Claims (53)

  1. 텔레비젼 스크린 상에 출력물을 디스플레이하는 소프트웨어 어플리케이션에서 3D 포인팅 장치를 이용하기 위한 방법으로서,
    상기 텔레비젼 스크린 상에 상기 소프트웨어 어플리케이션과 연관된 제1 세트의 정보를 디스플레이하는 단계와, - 상기 소프트웨어 어플리케이션은 전자 프로그램 가이드, 텔레비젼 스크린 제어기능(controls), 사진 앨범, 홈 비디오 컬렉션, 및 쇼핑 인터페이스 중 적어도 하나를 포함함 -,
    상기 3D 포인팅 장치를 이동시키는 단계와,
    상기 3D 포인팅 장치의 움직임과 연관된 데이터를 처리하여 상기 3D 포인팅 장치의 의도하지 않은 움직임을 보상하는 단계와,
    상기 처리된 데이터에 기반하여 상기 텔레비젼 스크린 상에 디스플레이된 커서를 상기 텔레비젼 스크린상의 새로운 위치로 이동시키는 단계와,
    상기 커서의 상기 새로운 위치에 응답하여 상기 텔레비젼 스크린상의 상기 제1 세트의 정보의 디스플레이를 변경시키는 단계를 포함하는 방법.
  2. 제1항에 있어서, 상기 의도하지 않은 움직임은 상기 3D 포인팅 장치를 파지(holding)하고 있는 사용자와 연관된 떨림에 의해 발생되는 방법.
  3. 제1항에 있어서, 상기 의도하지 않은 움직임은 상기 3D 포인팅 장치 상의 움 직임 가능한 요소를 사용자가 작동시킴으로써 발생되는 방법.
  4. 제1항에 있어서, 상기 커서를 이동시키는 단계 이후 상기 커서의 상기 새로운 위치에 적어도 부분적으로 근거하여 상기 텔레비젼 스크린 상에 제2 세트의 정보를 디스플레이하는 단계를 더 포함하며, 상기 제2 세트의 정보는 상기 제1 세트의 정보와 상이한 방법.
  5. 제4항에 있어서, 상기 제1 세트의 정보는 다수의 화상을 포함하고 상기 제2 세트의 정보는 상기 제1 세트의 정보와 연관된 화상의 허버줌(hoverzoom)인 방법.
  6. 제4항에 있어서, 상기 제2 세트의 정보를 디스플레이하는 상기 단계는 상기 커서의 상기 움직임에 추가하여 사용자로부터 추가 입력을 요구하는 방법.
  7. 제4항에 있어서, 상기 제2 세트의 정보를 디스플레이하는 상기 단계는,
    사용자로부터 추가 입력을 요구하지 않고 상기 커서 위치에 직접 응답하여 상기 제2 세트의 정보를 디스플레이하는 단계를 더 포함하는 방법.
  8. 제4항에 있어서, 상기 제1 세트의 정보는 프로그램 가이드이고 상기 제2 세트의 정보는 프로그램의 선형 리스트를 스크롤함으로써 디스플레이되는 방법.
  9. 제4항에 있어서, 상기 제1 세트의 정보는 프로그램 가이드이고 상기 제2 세트의 정보는 사용자 요청에 응답하여 디스플레이된 스크린 제어기능인 방법.
  10. 제4항에 있어서, 상기 제1 세트의 정보는 프로그램 가이드이고 상기 제2 세트의 정보는 상기 제1 세트의 정보의 일부로서 디스플레이된 아이템 위를 허버링하거나 또는 상기 아이템을 선택한 것에 응답하여 디스플레이된 크로스-링크를 포함하는 방법.
  11. 제4항에 있어서, 상기 제1 세트의 정보는 프로그램 가이드이고 상기 제2 세트의 정보는 비디오 재생의 제어와 연관된 온-스크린 트랜스포트 제어(on-screen transport controls)를 포함하는 방법.
  12. 제4항에 있어서, 상기 제1 세트의 정보는 사진 컬렉션이고 상기 제2 세트의 정보는 상기 사진 컬렉션이 추가된 플레이리스트인 방법.
  13. 제4항에 있어서, 상기 제1 세트의 정보는 사진 컬렉션이고 상기 제2 세트의 정보는 계층적 소팅을 허용하는 것과 연관된 문맥 정보를 제공하는 상기 사진 앨범의 줌 버전(zoomed version)인 방법.
  14. 제4항에 있어서, 상기 제1 세트의 정보는 사진 컬렉션이고 상기 제2 세트의 정보는 사용자가 사진의 슬라이드 쇼 제시(slide show presentation)를 제어할 수 있게 해주는 온-스크린 트랜스포트 제어를 포함하는 방법.
  15. 제4항에 있어서, 상기 제1 세트의 정보는 비디오 컬렉션이고 상기 제2 세트의 정보는 상기 비디오 컬렉션이 추가된 플레이리스트인 방법.
  16. 제1항에 있어서, 상기 제1 세트의 정보는 비디오 컬렉션이고 상기 제2 세트의 정보는 계층적 소팅을 허용하는 것과 연관된 문맥 정보를 제공하는 상기 비디오 컬렉션의 줌 버전인 방법.
  17. 제4항에 있어서, 상기 제1 세트의 정보는 비디오 컬렉션이고 상기 제2 세트의 정보는 사용자가 상기 비디오 컬렉션의 제시를 제어할 수 있게 해주는 온-스크린 트랜스포트 제어를 포함하는 방법.
  18. 제4항에 있어서, 상기 제1 세트의 정보는 캘린더(calendar)이고 상기 제2 세트의 정보는 상기 캘린더의 각 부분 위로 상기 커서의 움직임에 응답하여 상기 텔레비젼 스크린 상에 디스플레이되는, 상기 캘린더 상의 특정일과 연관된 정보인 방법.
  19. 제4항에 있어서, 상기 제1 세트의 정보는 캘린더이고 상기 제2 세트의 정보 는 상기 캘린더 상의 특정일과 연관된 정보이고, 상기 정보는 온-스크린 텍스트 입력 시스템을 이용하여 사용자에 의해 편집될 수 있는 방법.
  20. 제4항에 있어서, 상기 제1 세트의 정보는 캘린더이고 상기 제2 세트의 정보는 상기 캘린더의 소트된 버전인 방법.
  21. 제4항에 있어서, 상기 제1 세트의 정보는 인터넷 웹 페이지이고 상기 제2 세트의 정보는 다른 인터넷 웹 페이지인 방법.
  22. 제4항에 있어서, 상기 제1 세트의 정보는 인터넷 웹 페이지이고 상기 제2 세트의 정보는 상기 사용자에 의해 온-스크린 텍스트 입력 툴을 통해 입력된 소정의 추가적인 텍스트를 포함하는 상기 인터넷 웹 페이지인 방법.
  23. 제4항에 있어서, 상기 제1 세트의 정보는 음악 리스트이고 상기 제2 세트의 정보는 상기 커서의 상기 움직임에 응답하여 상기 음악 리스트가 추가된 플레이리스트인 방법.
  24. 제4항에 있어서, 상기 제1 세트의 정보는 음악과 관련된 크로스-링크를 포함하고 상기 제2 세트의 정보는 상기 커서의 상기 움직임에 응답하여 상기 크로스-링크 중 한 크로스-링크를 통해 도달한 다른 음악 정보인 방법.
  25. 제4항에 있어서, 상기 제1 세트의 정보는 선택가능한 음악 매체 아이템을 포함하고 상기 제2 세트의 정보는 음악 재생을 제어하기 위한 온-스크린 트랜스포트 제어를 포함하는 방법.
  26. 제4항에 있어서, 상기 제1 세트의 정보는 쇼핑 아이템 리스트 또는 시각적 제시를 포함하고 상기 제2 세트의 정보는 쇼핑 카트를 포함하는 방법.
  27. 3D 포인팅 장치와,
    텔레비젼과,
    상기 텔레비젼 상에 출력물을 디스플레이하는 소프트웨어 어플리케이션을 실행하기 위한 프로세서 - 상기 프로세서는 초기에 상기 텔레비젼 상에 전자 프로그램 가이드, 텔레비젼 스크린 제어기능, 사진 앨범, 홈 비디오 컬렉션, 및 쇼핑 인터페이스 중의 적어도 하나와 연관된 제1 세트의 정보를 디스플레이함 - 를 포함하고,
    상기 프로세서는, 또한 상기 3D 포인팅 장치의 움직임에 응답하여, 의도하지 않은 움직임에 대해 3D 포인팅 장치로부터 출력된 데이터를 보상한 다음, 상기 보상된 데이터에 기반하여 상기 텔레비젼 상에 디스플레이된 커서를 상기 텔레비젼 상의 새로운 위치로 이동시키며,
    상기 텔레비젼 스크린상의 상기 제1 세트의 정보의 상기 디스플레이는 상기 커서의 상기 새로운 위치에 응답하여 변경되는 시스템.
  28. 제27항에 있어서, 상기 의도하지 않은 움직임은 상기 3D 포인팅 장치를 파지하고 있는 사용자와 연관된 떨림에 의해 발생되는 시스템.
  29. 제27항에 있어서, 상기 의도하지 않은 움직임은 상기 3D 포인팅 장치 상의 움직임 가능한 요소를 사용자가 작동시킴으로써 발생하는 시스템.
  30. 제27항에 있어서, 상기 제1 세트의 정보는 다수의 화상을 포함하고 상기 제1 세트의 정보의 상기 디스플레이에서의 상기 변경은 상기 제1 세트의 정보와 연관된 화상의 허버줌인 시스템.
  31. 제27항에 있어서, 상기 제1 세트의 정보의 상기 디스플레이의 상기 변경은 상기 커서의 상기 움직임에 추가하여 사용자로부터 추가 입력을 요구하는 시스템.
  32. 제27항에 있어서, 상기 제1 세트의 정보의 상기 디스플레이의 상기 변경은 사용자로부터 어떠한 추가 입력도 요구하지 않고 상기 새로운 커서 위치에 대한 직접적인 응답인 것인 시스템.
  33. 제27항에 있어서, 상기 제1 세트의 정보는 프로그램 가이드이고 상기 제1 세 트의 정보의 상기 디스플레이의 변경은 프로그램들의 선형 리스트를 스크롤링하는 것을 포함하는 시스템.
  34. 제27항에 있어서, 상기 제1 세트의 정보는 프로그램 가이드이고 상기 제1 세트의 정보의 상기 디스플레이의 변경은 사용자 요구에 응답하여 디스플레이되는 스크린 제어기능인 시스템.
  35. 제27항에 있어서, 상기 제1 세트의 정보는 프로그램 가이드이고 상기 제1 세트의 정보의 상기 디스플레이의 상기 변경은 상기 제1 세트의 정보의 일부로서 디스플레이된 아이템 위를 허버링하거나 또는 상기 아이템을 선택한 것에 응답하여 디스플레이된 크로스-링크를 포함하는 시스템.
  36. 제27항에 있어서, 상기 제1 세트의 정보는 프로그램 가이드이고 상기 제1 세트의 정보의 상기 디스플레이의 상기 변경은 비디오 재생의 제어와 연관된 온-스크린 트랜스포트 제어를 포함하는 시스템.
  37. 제27항에 있어서, 상기 제1 세트의 정보는 사진 컬렉션이고 상기 제1 세트의 정보의 상기 디스플레이의 상기 변경은 상기 사진 컬렉션이 추가된 플레이리스트인 시스템.
  38. 제27항에 있어서, 상기 제1 세트의 정보는 사진 컬렉션이고 상기 제1 세트의 정보의 상기 디스플레이의 상기 변경은 계층적 소팅을 허용하는 것과 연관된 문맥 정보를 제공하는 상기 사진 앨범의 줌 버전인 시스템.
  39. 제27항에 있어서, 상기 제1 세트의 정보는 사진 컬렉션이고 상기 제1 세트의 정보의 상기 디스플레이의 상기 변경은 사용자가 사진의 슬라이드 쇼 제시를 제어할 수 있게 해주는 온-스크린 트랜스포트 제어를 포함하는 시스템.
  40. 제27항에 있어서, 상기 제1 세트의 정보는 비디오 컬렉션이고 상기 제1 세트의 정보의 상기 디스플레이의 상기 변경은 상기 비디오 컬렉션이 추가된 플레이리스트인 시스템.
  41. 제27항에 있어서, 상기 제1 세트의 정보는 비디오 컬렉션이고 상기 제1 세트의 정보의 상기 디스플레이의 상기 변경은 계층적 소팅을 허용하는 것과 연관된 문맥 정보를 제공하는 상기 비디오 컬렉션의 줌 버전인 시스템.
  42. 제27항에 있어서, 상기 제1 세트의 정보는 비디오 컬렉션이고 상기 제1 세트의 정보의 상기 디스플레이의 상기 변경은 사용자가 상기 비디오 컬렉션의 제시를 제어할 수 있게 해주는 온-스크린 트랜스포트 제어를 포함하는 시스템.
  43. 제27항에 있어서, 상기 제1 세트의 정보는 캘린더이고 상기 제1 세트의 정보의 상기 디스플레이의 상기 변경은 상기 캘린더의 각 부분 위로 상기 커서의 움직임에 응답하여 상기 텔레비젼 스크린 상에 디스플레이되는, 상기 캘린더 상의 특정일과 연관된 정보인 시스템.
  44. 제27항에 있어서, 상기 제1 세트의 정보는 캘린더이고 상기 제1 세트의 정보의 상기 디스플레이의 상기 변경은 상기 캘린더 상의 특정일과 연관된 정보이고, 상기 정보는 사용자에 의해 온-스크린 텍스트 입력 시스템을 이용하여 편집될 수 있는 시스템.
  45. 제27항에 있어서, 상기 제1 세트의 정보는 캘린더이고 상기 제1 세트의 정보의 상기 디스플레이의 상기 변경은 상기 캘린더의 소팅된 버전인 시스템.
  46. 제27항에 있어서, 상기 제1 세트의 정보는 인터넷 웹 페이지이고 상기 제1 세트의 정보의 상기 디스플레이의 상기 변경은 다른 인터넷 웹 페이지인 시스템.
  47. 제27항에 있어서, 상기 제1 세트의 정보는 인터넷 웹 페이지이고 상기 제1 세트의 정보의 상기 디스플레이의 상기 변경은 상기 사용자에 의해 온-스크린 텍스트 입력 툴을 통해 입력된 소정의 추가적인 텍스트를 포함하는 상기 인터넷 웹 페이지인 시스템.
  48. 제27항에 있어서, 상기 제1 세트의 정보는 음악 리스트이고 상기 제1 세트의 정보의 상기 디스플레이의 변경은 상기 음악 리스트가 상기 커서의 상기 움직임에 응답하여 추가된 플레이리스트인 시스템.
  49. 제27항에 있어서, 상기 제1 세트의 정보는 음악과 관련된 크로스-링크를 포함하고 상기 제1 세트의 정보의 상기 디스플레이의 상기 변경은 상기 커서의 상기 움직임에 응답하여 상기 크로스-링크들 중 한 크로스-링크를 통해 도달한 다른 음악 정보인 시스템.
  50. 제27항에 있어서, 상기 제1 세트의 정보는 선택가능한 음악 매체 아이템을 포함하고 상기 제2 세트의 정보는 음악 재생을 제어하기 위한 온-스크린 트랜스포트 제어를 포함하는 시스템.
  51. 제27항에 있어서, 상기 제1 세트의 정보는 쇼핑 아이템 리스트 또는 시각적 제시이고 상기 제1 세트의 정보의 상기 디스플레이의 상기 변경은 쇼핑 카트를 포함하는 시스템.
  52. 텔레비젼 스크린상에 출력물을 디스플레이하는 소프트웨어 어플리이션에 3D 포인팅 장치를 이용하기 위한 시스템으로서,
    상기 텔레비젼 스크린 상에 상기 소프트웨어 어플리케이션과 연관된 제1 세트의 정보를 디스플레이하기 위한 수단과, - 상기 소프트웨어 어플리케이션은 전자 프로그램 가이드, 텔레비젼 스크린 제어기능, 사진 앨범, 홈 비디오 컬렉션, 및 쇼핑 인터페이스 중의 적어도 하나를 포함함 -,
    상기 3D 포인팅 장치를 이동시키는 수단과,
    상기 3D 포인팅 장치의 움직임과 연관된 데이터를 처리하여 상기 3D 포인팅 장치의 의도하지 않은 움직임을 보상하는 수단과,
    상기 처리된 데이터에 기반하여 상기 텔레비젼 스크린상에 디스플레이된 커서를 상기 텔레비젼 스크린상의 새로운 위치로 이동시키는 수단과,
    상기 커서의 상기 새로운 위치에 응답하여 상기 텔레비젼 스크린상의 상기 제1 세트의 정보의 디스플레이를 변경시키는 수단
    을 포함하는 시스템.
  53. 3D 포인팅 장치의 움직임에 응답하여 텔레비젼 스크린 상에 정보를 디스플레이하기 위한 소프트웨어 어플리케이션으로서,
    움직임 데이터를 처리하여 그 움직임 데이터로부터 의도하지 움직임을 제거하는 수단과,
    상기 처리된 움직임 데이터에 응답하여 상기 텔레비젼 스크린상에 커서를 재배치시키는 수단과,
    상기 커서의 상기 재배치에만 응답하여 상기 텔레비젼 스크린상의 정보의 디 스플레이를 변경시키는 수단
    을 포함하는 소프트웨어 어플리케이션.
KR1020077020993A 2005-02-14 2006-02-14 3ｄ 포인팅을 이용하여 텔레비젼 어플리케이션을향상시키는 방법 및 시스템 KR20080003788A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US65322905P 2005-02-14 2005-02-14
US60/653,229 2005-02-14

Publications (1)

Publication Number Publication Date
KR20080003788A true KR20080003788A (ko) 2008-01-08

Family

ID=36916974

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077020993A KR20080003788A (ko) 2005-02-14 2006-02-14 3ｄ 포인팅을 이용하여 텔레비젼 어플리케이션을향상시키는 방법 및 시스템

Country Status (6)

Country Link
US (4) US7839385B2 (ko)
EP (1) EP1851955A4 (ko)
JP (1) JP2008536196A (ko)
KR (1) KR20080003788A (ko)
CN (1) CN101341457B (ko)
WO (1) WO2006088831A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9372557B2 (en) 2013-01-02 2016-06-21 Samsung Electronics Co., Ltd. Display apparatus, input apparatus, and method for compensating coordinates using the same
US9467119B2 (en) 2009-05-29 2016-10-11 Lg Electronics Inc. Multi-mode pointing device and method for operating a multi-mode pointing device

Families Citing this family (251)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8781940B2 (en) 2000-01-26 2014-07-15 Ebay Inc. Method and apparatus for facilitating user selection of a category item in a transaction
JP3953462B2 (ja) * 2001-09-26 2007-08-08 三洋電機株式会社 モード選択装置およびディジタルカメラ
KR20080003788A (ko) 2005-02-14 2008-01-08 힐크레스트 래보래토리스, 인크. 3ｄ 포인팅을 이용하여 텔레비젼 어플리케이션을향상시키는 방법 및 시스템
US8819569B2 (en) * 2005-02-18 2014-08-26 Zumobi, Inc Single-handed approach for navigation of application tiles using panning and zooming
EP1880269A4 (en) * 2005-05-04 2012-09-12 Hillcrest Lab Inc METHODS AND SYSTEMS FOR SCROLLING AND POINTING IN USER INTERFACES
JP2007043629A (ja) * 2005-06-30 2007-02-15 Sony Corp グラフィック・ユーザ・インタフェース装置と操作入力処理方法及び双方向コミュニケーション装置
JP4799068B2 (ja) * 2005-07-26 2011-10-19 キヤノン株式会社 テレビ受信装置及びその表示制御方法
EP1938600A2 (en) * 2005-09-08 2008-07-02 The DIRECTV Group, Inc. Mosaic channel video stream with interactive services
BRPI0618019A2 (pt) * 2005-10-28 2011-08-16 Directv Group Inc método para seletivamente exibir sinal de televisão, infra-estrutura, sistema para seletivamente exibir programa de vìdeo
EP1966987A4 (en) * 2005-12-02 2010-05-26 Hillcrest Lab Inc SYSTEMS, METHODS AND MULTIMEDIA APPLICATIONS
JP4770460B2 (ja) 2005-12-28 2011-09-14 ソニー株式会社 画像記録装置、画像記録方法、画像処理装置、画像処理方法及びプログラム
BRPI0708682A8 (pt) * 2006-02-02 2017-01-24 Directv Group Inc Canal de vídeo matricial interativo e sistemas para distribuir e exibir o mesmo
WO2007092251A1 (en) * 2006-02-02 2007-08-16 The Directv Group, Inc. Interactive mosaic channel video stream with nested menu features
MX2008010556A (es) * 2006-02-17 2008-10-24 Directv Group Inc Sistema dinámico de porcentaje de visualización.
MX2008011585A (es) * 2006-03-10 2008-11-28 Directv Group Inc Determinacion dinamica de presentacion de multiples celulas de video en un despliegue en pantalla.
WO2007106394A2 (en) * 2006-03-10 2007-09-20 The Directv Group, Inc. Customizable on-screen display for data presentation
WO2008127222A2 (en) * 2006-03-10 2008-10-23 The Directv Group, Inc. System for choosing predictions across multiple platforms
JP2007304666A (ja) * 2006-05-08 2007-11-22 Sony Computer Entertainment Inc 情報出力システム及び情報出力方法
US20080004960A1 (en) * 2006-06-30 2008-01-03 Microsoft Corporation Microsoft Patent Group Interactive promotional space in a discovery interface
US8949895B2 (en) * 2006-08-18 2015-02-03 The Directv Group, Inc. Mosaic channel video stream with personalized interactive services
BRPI0716432A2 (pt) * 2006-08-23 2014-03-04 Directv Group Inc Sistema de alerta exibido em monitor de vídeo e sistema para exibição de uma pluraridade de fontes de vídeo individuais
CN101558647A (zh) 2006-08-29 2009-10-14 希尔克瑞斯特实验室公司 电视控制、播放列表生成和dvr***和方法
WO2008027464A2 (en) * 2006-08-30 2008-03-06 The Directv Group, Inc. Mosaic channel video stream with interactive services
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US20080062137A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Touch actuation controller for multi-state media presentation
US8291346B2 (en) * 2006-11-07 2012-10-16 Apple Inc. 3D remote control system employing absolute and relative position detection
US20080209472A1 (en) * 2006-12-11 2008-08-28 David Eric Shanks Emphasized mosaic video channel with interactive user control
US20080189738A1 (en) * 2006-12-18 2008-08-07 Purpura Richard F Active channel for interactive television services
US8015581B2 (en) 2007-01-05 2011-09-06 Verizon Patent And Licensing Inc. Resource data configuration for media content access systems and methods
KR101437653B1 (ko) 2007-01-26 2014-09-12 삼성전자주식회사 재생시점 변경용 ｇｕｉ 제공방법 및 이를 적용한 영상기기
KR20080071452A (ko) * 2007-01-30 2008-08-04 삼성전자주식회사 리스트 생성용 ｇｕｉ 제공방법 및 이를 적용한 영상기기
KR100922493B1 (ko) * 2007-06-27 2009-10-20 삼성전자주식회사 줌을 이용한 브라우저 탐색 방법 및 장치
EP2198358A4 (en) * 2007-09-05 2010-11-10 Opentv Inc NAVIGATION IN VIDEO FUNCTIONS BY BAND INTERFACE
US8760400B2 (en) * 2007-09-07 2014-06-24 Apple Inc. Gui applications for use with 3D remote controller
WO2009051665A1 (en) * 2007-10-16 2009-04-23 Hillcrest Laboratories, Inc. Fast and smooth scrolling of user interfaces operating on thin clients
US20090144776A1 (en) * 2007-11-29 2009-06-04 At&T Knowledge Ventures, L.P. Support for Personal Content in a Multimedia Content Delivery System and Network
US8549407B2 (en) 2007-12-05 2013-10-01 Ebay Inc. Multi-dimensional dynamic visual browsing
US8395660B2 (en) * 2007-12-13 2013-03-12 Apple Inc. Three-dimensional movie browser or editor
US20090153475A1 (en) * 2007-12-14 2009-06-18 Apple Inc. Use of a remote controller Z-direction input mechanism in a media system
US8194037B2 (en) * 2007-12-14 2012-06-05 Apple Inc. Centering a 3D remote controller in a media system
US8881049B2 (en) * 2007-12-14 2014-11-04 Apple Inc. Scrolling displayed objects using a 3D remote controller in a media system
US8341544B2 (en) * 2007-12-14 2012-12-25 Apple Inc. Scroll bar with video region in a media system
US20090185080A1 (en) * 2008-01-18 2009-07-23 Imu Solutions, Inc. Controlling an electronic device by changing an angular orientation of a remote wireless-controller
US20090193465A1 (en) * 2008-01-25 2009-07-30 Sony Corporation Expanded playlist for tv video player
KR101416235B1 (ko) * 2008-02-12 2014-07-07 삼성전자주식회사 3차원 위치 입력 방법 및 장치
US20090327969A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Semantic zoom in a virtual three-dimensional graphical user interface
KR101556135B1 (ko) 2008-09-01 2015-10-13 엘지전자 주식회사 이동단말기 및 그 제어 방법
FR2937157B1 (fr) * 2008-10-10 2011-06-17 Nageeb Mohammad Earally Dispositif d'exploitation des donnees par navigation immersive concrete mise en oeuvre au sein d'une interface graphique
US8086275B2 (en) 2008-10-23 2011-12-27 Microsoft Corporation Alternative inputs of a mobile communications device
US8411046B2 (en) 2008-10-23 2013-04-02 Microsoft Corporation Column organization of content
US8386954B2 (en) * 2008-11-21 2013-02-26 Microsoft Corporation Interactive media portal
KR101527386B1 (ko) * 2008-12-08 2015-06-10 삼성전자 주식회사 디스플레이장치 및 그 제어방법
US20140258039A1 (en) 2013-03-11 2014-09-11 Hsni, Llc Method and system for improved e-commerce shopping
US20100153996A1 (en) * 2008-12-17 2010-06-17 Migos Charles J Gesture based electronic program management system
USD736254S1 (en) 2008-12-26 2015-08-11 Sony Corporation Display panel or screen with an icon
US8130134B2 (en) 2009-01-06 2012-03-06 Hong Kong Applied Science and Technology Research Institute Company Limited Reduced instruction set television control system and method of use
US8441388B2 (en) 2009-01-06 2013-05-14 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Remote control devices and methods
US20100171696A1 (en) * 2009-01-06 2010-07-08 Chi Kong Wu Motion actuation system and related motion database
JP5470861B2 (ja) * 2009-01-09 2014-04-16 ソニー株式会社 表示装置及び表示方法
US20100192181A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Navigate an Electonic Program Guide (EPG) Display
US20100188429A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Navigate and Present Image Libraries and Images
US20100188579A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Control and Present a Picture-In-Picture (PIP) Window Based on Movement Data
US8175653B2 (en) 2009-03-30 2012-05-08 Microsoft Corporation Chromeless user interface
US8355698B2 (en) 2009-03-30 2013-01-15 Microsoft Corporation Unlock screen
AU2010238757A1 (en) 2009-04-24 2011-11-03 Vidyo, Inc. Systems, methods and computer readable media for instant multi-channel video content browsing in digital video distribution systems
KR20100128958A (ko) * 2009-05-29 2010-12-08 엘지전자 주식회사 영상표시장치 및 그 제어방법
KR101545490B1 (ko) * 2009-05-29 2015-08-21 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR101565342B1 (ko) * 2009-06-01 2015-11-03 엘지전자 주식회사 영상 표시 장치 및 그 동작 방법
US8704958B2 (en) 2009-06-01 2014-04-22 Lg Electronics Inc. Image display device and operation method thereof
US20100306688A1 (en) * 2009-06-01 2010-12-02 Cho Su Yeon Image display device and operation method therefor
KR101572843B1 (ko) * 2009-06-03 2015-11-30 엘지전자 주식회사 영상 표시 장치 및 그 동작 방법
BRPI1010765B1 (pt) * 2009-06-15 2020-02-11 Microsoft Technology Licensing, Llc Método implementado por um dispositivo de comunicação móvel, meio legível por computador e dispositivo de comunicação móvel
KR101607264B1 (ko) * 2009-07-10 2016-04-11 엘지전자 주식회사 3ｄ 포인팅 디바이스, ｄｔｖ, ｄｔｖ의 제어방법 및 ｄｔｖ 시스템
US9076264B1 (en) * 2009-08-06 2015-07-07 iZotope, Inc. Sound sequencing system and method
JP2011066539A (ja) * 2009-09-15 2011-03-31 Toshiba Corp 番組情報の表示制御装置及び番組情報の表示制御方法
EP3260969B1 (en) * 2009-09-22 2021-03-03 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US9310907B2 (en) 2009-09-25 2016-04-12 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8832585B2 (en) 2009-09-25 2014-09-09 Apple Inc. Device, method, and graphical user interface for manipulating workspace views
US8766928B2 (en) 2009-09-25 2014-07-01 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8799826B2 (en) 2009-09-25 2014-08-05 Apple Inc. Device, method, and graphical user interface for moving a calendar entry in a calendar application
US20110093890A1 (en) * 2009-10-21 2011-04-21 John Araki User control interface for interactive digital television
KR20110055962A (ko) * 2009-11-20 2011-05-26 삼성전자주식회사 디스플레이장치 및 그 제어방법
US20110126234A1 (en) * 2009-11-24 2011-05-26 DOOREME, Inc. Media content distribution system and method
US9479838B2 (en) * 2009-11-24 2016-10-25 Sam Makhlouf System and method for distributing media content from multiple sources
KR101632077B1 (ko) * 2009-11-24 2016-07-01 엘지전자 주식회사 네트워크 ｔｖ의 메뉴 화면 편집 방법
KR20110060650A (ko) * 2009-11-30 2011-06-08 엘지전자 주식회사 네트워크에 접속가능한 ｔｖ의 동작 모드 전환 방법
KR101651430B1 (ko) * 2009-12-18 2016-08-26 삼성전자주식회사 휴대용 단말기에서 출력 데이터의 사이즈를 조절하기 위한 장치 및 방법
WO2011090467A1 (en) * 2009-12-28 2011-07-28 Hillcrest Laboratories Inc. Tv internet browser
TWI426777B (zh) * 2010-01-07 2014-02-11 Dynalab Singapore Ltd 電視機操作互聯網首頁引用個人電腦畫面形式互聯網首頁的方法
KR101635560B1 (ko) * 2010-01-08 2016-07-01 엘지전자 주식회사 영상표시장치 및 그 동작방법
US8539386B2 (en) 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for selecting and moving objects
US8612884B2 (en) * 2010-01-26 2013-12-17 Apple Inc. Device, method, and graphical user interface for resizing objects
US8539385B2 (en) 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for precise positioning of objects
WO2011102891A1 (en) * 2010-02-19 2011-08-25 Thomson Licensing Media content spatial navigation
USD666632S1 (en) * 2010-04-28 2012-09-04 IndiePlaya, Inc. Display panel portion or screen portion with transitional indicator of the operation of a computer-programmed device
JP5430491B2 (ja) 2010-05-17 2014-02-26 キヤノン株式会社 情報処理装置、表示装置、表示システム、情報処理装置の制御方法、及び表示装置の制御方法
US8593331B2 (en) * 2010-06-16 2013-11-26 Qualcomm Incorported RF ranging-assisted local motion sensing
US20110314416A1 (en) * 2010-06-17 2011-12-22 Microsoft Corporation Collected media content data
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US8957920B2 (en) 2010-06-25 2015-02-17 Microsoft Corporation Alternative semantics for zoom operations in a zoomable scene
KR20120007829A (ko) * 2010-07-15 2012-01-25 삼성전자주식회사 컨텐츠 리스트 제공방법 및 이를 적용한 디스플레이 장치
US9786159B2 (en) 2010-07-23 2017-10-10 Tivo Solutions Inc. Multi-function remote control device
KR101742986B1 (ko) * 2010-07-26 2017-06-15 엘지전자 주식회사 영상표시기기 및 그 동작 방법
KR20120011254A (ko) * 2010-07-28 2012-02-07 엘지전자 주식회사 영상표시장치의 동작 방법
US8972879B2 (en) 2010-07-30 2015-03-03 Apple Inc. Device, method, and graphical user interface for reordering the front-to-back positions of objects
US9081494B2 (en) 2010-07-30 2015-07-14 Apple Inc. Device, method, and graphical user interface for copying formatting attributes
US9098182B2 (en) 2010-07-30 2015-08-04 Apple Inc. Device, method, and graphical user interface for copying user interface objects between content regions
US9398339B2 (en) * 2010-09-01 2016-07-19 Lg Electronics Inc. Image display apparatus and method for operating the same
US8385721B2 (en) 2010-09-08 2013-02-26 Telefonaktiebolaget L M Ericsson (Publ) Media playlist methods and apparatus
CN102402192A (zh) * 2010-09-19 2012-04-04 钰宝科技股份有限公司 无线式荧幕显示控制装置
BRPI1003568A2 (pt) * 2010-10-29 2012-06-12 Log On Multimidia Ltda navegador audiovisual dinÂmico e mÉtodo
KR101730422B1 (ko) * 2010-11-15 2017-04-26 엘지전자 주식회사 영상표시기기 및 그 동작 방법
US9377876B2 (en) * 2010-12-15 2016-06-28 Hillcrest Laboratories, Inc. Visual whiteboard for television-based social network
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US8786549B2 (en) 2011-03-11 2014-07-22 Seiko Epson Corporation Gyro mouse de-drift and hand jitter reduction
SG185148A1 (en) * 2011-04-07 2012-11-29 Glory One Dev Ltd Hk An apparatus and method for enabling access to a plurality of activities
US8497942B2 (en) * 2011-04-07 2013-07-30 Sony Corporation User interface for audio video display device such as TV
CN102789455A (zh) * 2011-05-17 2012-11-21 冠捷投资有限公司 网页的文字选项放大方法及***
US8923686B2 (en) 2011-05-20 2014-12-30 Echostar Technologies L.L.C. Dynamically configurable 3D display
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
US9338510B2 (en) * 2011-07-31 2016-05-10 Google Inc. Systems and methods for presenting home screen shortcuts
US9256361B2 (en) 2011-08-03 2016-02-09 Ebay Inc. Control of search results with multipoint pinch gestures
JP5781394B2 (ja) 2011-08-12 2015-09-24 株式会社ソニー・コンピュータエンタテインメント 電子機器
US9766782B2 (en) 2011-08-19 2017-09-19 Apple Inc. Interactive content for digital books
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US8922575B2 (en) 2011-09-09 2014-12-30 Microsoft Corporation Tile cache
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US8743055B2 (en) 2011-10-13 2014-06-03 Panasonic Corporation Hybrid pointing system and method
CN103124360B (zh) * 2011-11-18 2015-09-23 联想(北京)有限公司 一种用于3d图像信号的显示处理方法、装置及电子设备
JP6275367B2 (ja) * 2011-11-21 2018-02-07 アルパイン株式会社 表示装置及びそれが適用される検索装置
JP5930363B2 (ja) * 2011-11-21 2016-06-08 株式会社ソニー・インタラクティブエンタテインメント 携帯情報機器およびコンテンツ表示方法
EP2801215B1 (en) * 2012-01-03 2019-12-11 LG Electronics Inc. Image display apparatus and method for operating the same
KR101919008B1 (ko) * 2012-02-24 2018-11-19 삼성전자주식회사 정보 제공 방법 및 이를 위한 이동 단말기
USD726735S1 (en) 2012-03-30 2015-04-14 Sony Corporation Display screen with graphical user interface
JP5873390B2 (ja) 2012-05-24 2016-03-01 キヤノン株式会社 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
US9508169B2 (en) * 2012-09-14 2016-11-29 Google Inc. Method and apparatus for contextually varying amounts of imagery on a map
US9075618B2 (en) * 2012-11-02 2015-07-07 Microsoft Technology Licensing, Llc Cross-platform data visualizations using common descriptions
KR20140085061A (ko) * 2012-12-27 2014-07-07 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
AU350141S (en) * 2013-01-04 2013-08-13 Samsung Electronics Co Ltd Display Screen For An Electronic Device
KR20140094671A (ko) * 2013-01-18 2014-07-30 삼성전자주식회사 가이드를 제공하는 방법 및 전자 장치
USD753685S1 (en) * 2013-02-06 2016-04-12 Life Technologies Corporation Thermal cycler display screen with graphical user interface
US9223473B2 (en) 2013-03-13 2015-12-29 Comcast Cable Communications, Llc Supplemental services interface
US9383890B2 (en) 2013-03-14 2016-07-05 General Electric Company Semantic zoom of graphical visualizations in industrial HMI systems
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
US9164653B2 (en) 2013-03-15 2015-10-20 Inspace Technologies Limited Three-dimensional space for navigating objects connected in hierarchy
US11073979B2 (en) 2013-03-15 2021-07-27 Arris Enterprises Llc Non-linear navigation of data representation
US9326043B2 (en) 2013-03-15 2016-04-26 Samir B. Makhlouf System and method for engagement and distribution of media content
US10182272B2 (en) 2013-03-15 2019-01-15 Samir B Makhlouf System and method for reinforcing brand awareness with minimal intrusion on the viewer experience
US9781490B2 (en) 2013-03-15 2017-10-03 Samir B. Makhlouf System and method for engagement and distribution of media content
USD738394S1 (en) 2013-06-09 2015-09-08 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD758417S1 (en) 2013-06-10 2016-06-07 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD741350S1 (en) 2013-06-10 2015-10-20 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD739870S1 (en) 2013-08-09 2015-09-29 Microsoft Corporation Display screen with graphical user interface
USD778310S1 (en) 2013-08-09 2017-02-07 Microsoft Corporation Display screen with graphical user interface
USD771111S1 (en) 2013-08-30 2016-11-08 Microsoft Corporation Display screen with graphical user interface
USD752079S1 (en) * 2013-10-15 2016-03-22 Deere & Company Display screen with graphical user interface
USD745046S1 (en) 2013-10-25 2015-12-08 Microsoft Corporation Display screen with animated graphical user interface
USD753716S1 (en) 2013-11-21 2016-04-12 Microsoft Corporation Display screen with icon
CN103702154A (zh) * 2013-12-04 2014-04-02 京东方科技集团股份有限公司 触摸屏遥控器及其遥控方法
USD772278S1 (en) 2013-12-18 2016-11-22 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD754187S1 (en) * 2013-12-30 2016-04-19 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD757043S1 (en) * 2014-05-29 2016-05-24 Comcast Cable Communications, Llc Display screen with graphical user interface
USD769892S1 (en) 2014-05-30 2016-10-25 Apple Inc. Display screen or portion thereof with graphical user interface
US9971492B2 (en) * 2014-06-04 2018-05-15 Quantum Interface, Llc Dynamic environment for object and attribute display and interaction
USD762234S1 (en) * 2014-06-06 2016-07-26 Le Shi Zhi Electronic Technology (Tianjin) Limited Display screen with an animated graphical user interface
US10719132B2 (en) * 2014-06-19 2020-07-21 Samsung Electronics Co., Ltd. Device and method of controlling device
USD754184S1 (en) * 2014-06-23 2016-04-19 Google Inc. Portion of a display panel with an animated computer icon
KR102227088B1 (ko) * 2014-08-11 2021-03-12 엘지전자 주식회사 전자기기 및 그것의 제어방법
US10691317B2 (en) 2014-10-24 2020-06-23 Flow Labs, Inc. Target-directed movement in a user interface
CN105812954A (zh) * 2014-12-30 2016-07-27 乐视致新电子科技（天津）有限公司 一种基于关屏的播放方法及装置
USD760273S1 (en) * 2015-01-02 2016-06-28 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
CN105808182B (zh) 2015-01-15 2019-09-17 财团法人工业技术研究院 显示控制方法及***、广告破口判断装置、影音处理装置
USD771106S1 (en) * 2015-02-06 2016-11-08 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
KR20160097867A (ko) * 2015-02-10 2016-08-18 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
US20180088785A1 (en) * 2015-02-26 2018-03-29 Flow Labs, Inc. Navigating a set of selectable items in a user interface
USD789394S1 (en) * 2015-03-18 2017-06-13 Google Inc. Display screen or portion thereof with transitional graphical user interface
USD780784S1 (en) * 2015-03-18 2017-03-07 Google Inc. Display screen or portion thereof with transitional graphical user interface
USD781896S1 (en) * 2015-03-18 2017-03-21 Google Inc. Display screen or portion thereof with transitional graphical user interface
JPWO2016157860A1 (ja) * 2015-03-27 2018-01-11 パナソニックＩｐマネジメント株式会社 録画再生装置、および番組情報の表示方法
USD796541S1 (en) * 2015-04-12 2017-09-05 Adp, Llc Display screen with graphical user interface
KR20160123879A (ko) * 2015-04-17 2016-10-26 삼성전자주식회사 전자 장치 및 그의 화면 표시 방법
US10866646B2 (en) 2015-04-20 2020-12-15 Tiltsta Pty Ltd Interactive media system and method
USD786285S1 (en) * 2015-05-21 2017-05-09 Layer3 TV, Inc. Display screen or portion thereof with an animated graphical user interface
USD786284S1 (en) * 2015-05-21 2017-05-09 Layer3 TV, Inc. Display screen or portion thereof with an animated graphical user interface
USD765699S1 (en) 2015-06-06 2016-09-06 Apple Inc. Display screen or portion thereof with graphical user interface
USD809537S1 (en) * 2015-06-30 2018-02-06 Whirlpool Corporation Control panel for appliance with embedded display screen having a graphical user interface
USD809536S1 (en) * 2015-06-30 2018-02-06 Whirlpool Corporation Control panel for appliance with embedded display screen having a graphical user interface
USD780212S1 (en) * 2015-08-12 2017-02-28 Samsung Electronics Co., Ltd Display screen or portion thereof with transitional graphical user interface
KR102393510B1 (ko) * 2015-08-25 2022-05-03 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
USD805529S1 (en) * 2015-10-08 2017-12-19 Smule, Inc. Display screen or portion thereof with animated graphical user interface
USD813266S1 (en) * 2015-10-08 2018-03-20 Smule, Inc. Display screen or portion thereof with graphical user interface
USD807381S1 (en) * 2015-10-08 2018-01-09 Smule, Inc. Display screen or portion thereof with animated graphical user interface
KR102407191B1 (ko) * 2015-12-23 2022-06-13 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
WO2017120300A1 (en) * 2016-01-05 2017-07-13 Hillcrest Laboratories, Inc. Content delivery systems and methods
USD796549S1 (en) * 2016-02-05 2017-09-05 Hotel Revup, Llc Portion of a display panel with a computer generated icon
USD797143S1 (en) * 2016-02-05 2017-09-12 Hotel Revup, Llc Portion of a display panel with a computer generated icon
USD821439S1 (en) * 2016-04-26 2018-06-26 Google Llc Display screen or portion thereof with transitional graphical user interface for an image grid
US10222960B2 (en) 2016-04-26 2019-03-05 Google Llc Animation of user interface elements
USD809003S1 (en) 2016-04-26 2018-01-30 Google Inc. Display screen or portion thereof with transitional user interface for an image grid
US10684756B2 (en) * 2016-04-27 2020-06-16 Rockwell Collins, Inc. Avionics picture-in-picture display
CN105916050A (zh) * 2016-05-03 2016-08-31 乐视控股（北京）有限公司 电视购物信息处理方法和装置
GB2550131A (en) * 2016-05-09 2017-11-15 Web Communications Ltd Apparatus and methods for a user interface
USD826977S1 (en) 2016-07-27 2018-08-28 Beckman Coulter, Inc. Display screen with graphical user interface for a laboratory instrument
USD834044S1 (en) 2016-07-27 2018-11-20 Beckman Coulter, Inc. Display screen with graphical user interface for a laboratory instrument
CN106572392A (zh) * 2016-11-15 2017-04-19 深圳前海茂佳软件科技有限公司 基于智能电视的应用程序自启动方法、装置及智能电视
US10140675B2 (en) 2016-11-28 2018-11-27 Google Llc Image grid with selectively prominent images
CN106658141B (zh) * 2016-11-29 2019-10-15 维沃移动通信有限公司 一种视频处理方法及移动终端
USD798899S1 (en) * 2016-12-23 2017-10-03 Beijing Kingsoft Internet Security Software Co., Ltd. Mobile terminal display screen with a graphical user interface
USD863379S1 (en) 2016-12-30 2019-10-15 Whirlpool Corporation Control panel for an appliance
USD885414S1 (en) 2016-12-30 2020-05-26 Whirlpool Corporation Appliance display screen or portion thereof with graphic user interface
USD849767S1 (en) * 2017-03-08 2019-05-28 Google Llc Display screen with graphical user interface
USD823872S1 (en) 2017-03-08 2018-07-24 Google Llc Display screen with graphical user interface
USD822049S1 (en) * 2017-03-08 2018-07-03 Google Inc. Display screen with animated graphical user interface
USD823873S1 (en) 2017-03-08 2018-07-24 Google Llc Display screen with graphical user interface
USD834051S1 (en) * 2017-04-12 2018-11-20 Otis Elevator Company Display screen or portion thereof with graphical user interface
USD834052S1 (en) 2017-04-12 2018-11-20 Otis Elevator Company Display screen or portion thereof with transitional graphical user interface
USD846587S1 (en) 2017-06-04 2019-04-23 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD889477S1 (en) 2018-03-06 2020-07-07 Google Llc Display screen or a portion thereof with an animated graphical interface
USD880518S1 (en) * 2018-03-23 2020-04-07 Martell Broadcasting Systems, Inc. Display screen with episode watch page user interface
USD873842S1 (en) * 2018-03-23 2020-01-28 Martell Broadcasting Systems, Inc. Display screen with transitional search results user interface
USD870746S1 (en) * 2018-05-07 2019-12-24 Google Llc Display screen or portion thereof with graphical user interface
USD870744S1 (en) * 2018-05-07 2019-12-24 Google Llc Display screen or portion thereof with graphical user interface
USD858555S1 (en) 2018-05-07 2019-09-03 Google Llc Display screen or portion thereof with an animated graphical interface
USD877182S1 (en) * 2018-05-07 2020-03-03 Google Llc Display screen or portion thereof with transitional graphical user interface
USD858556S1 (en) * 2018-05-07 2019-09-03 Google Llc Display screen or portion thereof with an animated graphical interface
USD877161S1 (en) * 2018-05-07 2020-03-03 Google Llc Display screen or portion thereof with transitional graphical user interface
USD888755S1 (en) * 2018-05-07 2020-06-30 Google Llc Display screen or portion thereof with transitional graphical user interface
USD870745S1 (en) * 2018-05-07 2019-12-24 Google Llc Display screen or portion thereof with graphical user interface
USD894952S1 (en) 2018-05-07 2020-09-01 Google Llc Display screen or portion thereof with an animated graphical interface
USD894951S1 (en) * 2018-05-07 2020-09-01 Google Llc Display screen or portion thereof with an animated graphical interface
USD859450S1 (en) 2018-05-07 2019-09-10 Google Llc Display screen or portion thereof with an animated graphical interface
USD877181S1 (en) * 2018-05-07 2020-03-03 Google Llc Display screen or portion thereof with graphical user interface
USD877183S1 (en) * 2018-05-07 2020-03-03 Google Llc Display screen or portion thereof with transitional graphical user interface
USD877764S1 (en) * 2018-05-25 2020-03-10 Roto-Die Company, Inc. Display screen with transitional graphical user interface
USD877175S1 (en) 2018-06-04 2020-03-03 Apple Inc. Electronic device with graphical user interface
USD928194S1 (en) 2018-07-28 2021-08-17 Beckman Coulter, Inc. Display screen or portion thereof with graphical user interface
KR102607182B1 (ko) * 2018-09-12 2023-11-28 주식회사 케이티 공간 영상 투영 장치
USD883319S1 (en) 2018-10-29 2020-05-05 Apple Inc. Electronic device with graphical user interface
USD921002S1 (en) 2019-05-06 2021-06-01 Google Llc Display screen with animated graphical interface
USD921647S1 (en) 2019-05-06 2021-06-08 Google Llc Display screen or portion thereof with an animated graphical user interface
USD921001S1 (en) 2019-05-06 2021-06-01 Google Llc Display screen or portion thereof with an animated graphical user interface
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
USD921000S1 (en) 2019-05-06 2021-06-01 Google Llc Display screen or portion thereof with an animated graphical user interface
USD912694S1 (en) 2019-06-01 2021-03-09 Apple Inc. Electronic device with graphical user interface
AU2019216700A1 (en) 2019-08-16 2021-03-04 Aristocrat Technologies Australia Pty Limited Gaming device with upgradeable symbol awards
USD956060S1 (en) * 2019-08-16 2022-06-28 Aristocrat Technologies Australia Pty Limited Display screen or portion thereof with graphical user interface
DK181076B1 (en) 2020-02-14 2022-11-25 Apple Inc USER INTERFACES FOR TRAINING CONTENT
US20210357110A1 (en) * 2020-05-13 2021-11-18 Cbs Interactive Inc. Systems and methods for generating consistent user interfaces across multiple computing platforms
EP4171022B1 (en) * 2021-10-22 2023-11-29 Axis AB Method and system for transmitting a video stream

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4745402A (en) 1987-02-19 1988-05-17 Rca Licensing Corporation Input device for a display system using phase-encoded signals
US5045843B1 (en) 1988-12-06 1996-07-16 Selectech Ltd Optical pointing device
JPH03206552A (ja) 1989-10-17 1991-09-09 Sharp Corp 表示処理システム
US5341466A (en) 1991-05-09 1994-08-23 New York University Fractal computer user centerface with zooming capability
US5359348A (en) 1992-05-21 1994-10-25 Selectech, Ltd. Pointing device having improved automatic gain control and information reporting
DE69418908T2 (de) 1993-01-26 2000-01-20 Sun Microsystems Inc Verfahren und Gerät zum Informationsanschauen in einer Rechnerdatenbank
JPH07284166A (ja) * 1993-03-12 1995-10-27 Mitsubishi Electric Corp 遠隔操作装置
US5297061A (en) * 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
US5524195A (en) 1993-05-24 1996-06-04 Sun Microsystems, Inc. Graphical user interface for interactive television with an animated agent
US5619249A (en) 1994-09-14 1997-04-08 Time Warner Entertainment Company, L.P. Telecasting service for providing video programs on demand with an interactive interface for facilitating viewer selection of video programs
US5671342A (en) 1994-11-30 1997-09-23 Intel Corporation Method and apparatus for displaying information relating to a story and a story indicator in a computer system
US6002394A (en) 1995-10-02 1999-12-14 Starsight Telecast, Inc. Systems and methods for linking television viewers with advertisers and broadcasters
US6049823A (en) 1995-10-04 2000-04-11 Hwang; Ivan Chung-Shung Multi server, interactive, video-on-demand television system utilizing a direct-access-on-demand workgroup
US5793438A (en) 1995-11-13 1998-08-11 Hyundai Electronics America Electronic program guide with enhanced presentation
US5796395A (en) 1996-04-02 1998-08-18 Wegener Internet Projects Bv System for publishing and searching interests of individuals
KR100188659B1 (ko) 1996-06-28 1999-06-01 윤종용 방송에약녹화 시스템의 방송 프로그램 안내 표시장치및그방법
WO1998006219A1 (en) 1996-08-06 1998-02-12 Starsight Telecast, Incorporated Electronic program guide with interactive areas
US5835156A (en) 1996-08-14 1998-11-10 Samsung Electroncis, Ltd. Television graphical user interface employing remote random access pointing device
US6411308B1 (en) 1996-08-14 2002-06-25 Samsung Electronics Co., Ltd. Television graphical user interface having variable channel control bars
US5955988A (en) 1996-08-14 1999-09-21 Samsung Electronics Co., Ltd. Graphical user interface for establishing installation location for satellite based television system
US6181333B1 (en) 1996-08-14 2001-01-30 Samsung Electronics Co., Ltd. Television graphical user interface having channel and program sorting capabilities
US6016144A (en) 1996-08-14 2000-01-18 Samsung Electronics Co., Ltd. Multi-layered television graphical user interface
US6195089B1 (en) 1996-08-14 2001-02-27 Samsung Electronics Co., Ltd. Television graphical user interface having variable channel changer icons
US6191781B1 (en) 1996-08-14 2001-02-20 Samsung Electronics, Ltd. Television graphical user interface that combines electronic program guide with graphical channel changer
US6057831A (en) 1996-08-14 2000-05-02 Samsung Electronics Co., Ltd. TV graphical user interface having cursor position indicator
US5978043A (en) 1996-08-14 1999-11-02 Samsung Electronics Co., Ltd. TV graphical user interface that provides customized lists of programming
US5940072A (en) 1996-08-15 1999-08-17 Samsung Information Systems America Graphics decompression using system ROM indexing in TV set top box
US5790121A (en) 1996-09-06 1998-08-04 Sklar; Peter Clustering user interface
US6037933A (en) 1996-11-13 2000-03-14 Samsung Electronics Co., Ltd. TV graphical user interface for providing user access to preset time periods of TV program information
US6154723A (en) 1996-12-06 2000-11-28 The Board Of Trustees Of The University Of Illinois Virtual reality 3D interface system for data creation, viewing and editing
US6453471B1 (en) 1996-12-13 2002-09-17 Starsight Telecast, Inc. Electronic programming guide with movie preview
US6005565A (en) 1997-03-25 1999-12-21 Sony Corporation Integrated search of electronic program guide, internet and other information resources
US6271831B1 (en) * 1997-04-03 2001-08-07 Universal Electronics Inc. Wireless control and pointer system
US5982369A (en) 1997-04-21 1999-11-09 Sony Corporation Method for displaying on a screen of a computer system images representing search results
US6397387B1 (en) 1997-06-02 2002-05-28 Sony Corporation Client and server system
KR100317632B1 (ko) 1997-07-21 2002-02-19 윤종용 메뉴 선택 제어방법
US6175362B1 (en) 1997-07-21 2001-01-16 Samsung Electronics Co., Ltd. TV graphical user interface providing selection among various lists of TV channels
US6680694B1 (en) 1997-08-19 2004-01-20 Siemens Vdo Automotive Corporation Vehicle information system
US6005578A (en) 1997-09-25 1999-12-21 Mindsphere, Inc. Method and apparatus for visual navigation of information objects
US5912612A (en) 1997-10-14 1999-06-15 Devolpi; Dean R. Multi-speed multi-direction analog pointing device
US6092076A (en) 1998-03-24 2000-07-18 Navigation Technologies Corporation Method and system for map display in a navigation application
US6163749A (en) 1998-06-05 2000-12-19 Navigation Technologies Corp. Method and system for scrolling a map display in a navigation application
US6268849B1 (en) 1998-06-30 2001-07-31 United Video Properties, Inc. Internet television program guide system with embedded real-time data
JP2000029598A (ja) 1998-07-13 2000-01-28 Matsushita Electric Ind Co Ltd 表示制御装置、表示制御方法及び表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体
US6295646B1 (en) 1998-09-30 2001-09-25 Intel Corporation Method and apparatus for displaying video data and corresponding entertainment data for multiple entertainment selection sources
KR100301016B1 (ko) 1998-10-27 2001-09-06 윤종용 온-스크린메뉴선택방법및그장치
KR20000027424A (ko) 1998-10-28 2000-05-15 윤종용 방송되는 프로그램 타이틀을 표시하는 프로그램 가이드 제어방법
US6452609B1 (en) 1998-11-06 2002-09-17 Supertuner.Com Web application for accessing media streams
US6577350B1 (en) 1998-12-21 2003-06-10 Sony Corporation Method and apparatus for displaying an electronic program guide
TW460839B (en) * 1999-01-08 2001-10-21 Lg Electronics Inc User interface method of image display device
US6429813B2 (en) 1999-01-14 2002-08-06 Navigation Technologies Corp. Method and system for providing end-user preferences with a navigation system
US6426761B1 (en) 1999-04-23 2002-07-30 Internation Business Machines Corporation Information presentation system for a graphical user interface
US7194702B1 (en) * 1999-06-29 2007-03-20 Gateway Inc. System method apparatus and software for minimizing unintended cursor movement
JP2001050767A (ja) 1999-08-06 2001-02-23 Aisin Aw Co Ltd ナビゲーション装置および記憶媒体
US6349257B1 (en) 1999-09-15 2002-02-19 International Business Machines Corporation System for personalized mobile navigation information
US6753849B1 (en) 1999-10-27 2004-06-22 Ken Curran & Associates Universal remote TV mouse
US6415226B1 (en) 1999-12-20 2002-07-02 Navigation Technologies Corp. Method and system for providing safe routes using a navigation system
US6421067B1 (en) 2000-01-16 2002-07-16 Isurftv Electronic programming guide
US20020112237A1 (en) 2000-04-10 2002-08-15 Kelts Brett R. System and method for providing an interactive display interface for information objects
US6385542B1 (en) 2000-10-18 2002-05-07 Magellan Dis, Inc. Multiple configurations for a vehicle navigation system
JPWO2002056217A1 (ja) 2000-12-27 2004-05-20 富士通株式会社 ショッピングシステム
US6847351B2 (en) * 2001-08-13 2005-01-25 Siemens Information And Communication Mobile, Llc Tilt-based pointing for hand-held devices
US7093201B2 (en) * 2001-09-06 2006-08-15 Danger, Inc. Loop menu navigation apparatus and method
US7511710B2 (en) * 2002-11-25 2009-03-31 Microsoft Corporation Three-dimensional program guide
US20040123320A1 (en) * 2002-12-23 2004-06-24 Mike Daily Method and system for providing an interactive guide for multimedia selection
US20040221243A1 (en) * 2003-04-30 2004-11-04 Twerdahl Timothy D Radial menu interface for handheld computing device
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
KR100994011B1 (ko) * 2003-05-08 2010-11-11 힐크레스트 래보래토리스, 인크. 미디어 항목들을 편성하고, 선택하며, 개시하기 위한주밍(ｚｏｏｍｉｎｇ) 가능한 그래픽 유저 인터페이스를갖춘 제어 프레임워크
US20040268393A1 (en) 2003-05-08 2004-12-30 Hunleth Frank A. Control framework with a zoomable graphical user interface for organizing, selecting and launching media items
US20050102634A1 (en) * 2003-11-10 2005-05-12 Sloo David H. Understandable navigation of an information array
EP1759529A4 (en) 2004-04-30 2009-11-11 Hillcrest Lab Inc SPACE SHOW AND METHOD
EP1743322A4 (en) 2004-04-30 2008-04-30 Hillcrest Lab Inc METHOD AND DEVICES FOR REMOVING UNINTENDED MOVEMENTS IN FREE-AIR INDICATORS
KR20080003788A (ko) * 2005-02-14 2008-01-08 힐크레스트 래보래토리스, 인크. 3ｄ 포인팅을 이용하여 텔레비젼 어플리케이션을향상시키는 방법 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9467119B2 (en) 2009-05-29 2016-10-11 Lg Electronics Inc. Multi-mode pointing device and method for operating a multi-mode pointing device
US9372557B2 (en) 2013-01-02 2016-06-21 Samsung Electronics Co., Ltd. Display apparatus, input apparatus, and method for compensating coordinates using the same

Also Published As

Publication number Publication date
US9436359B2 (en) 2016-09-06
CN101341457A (zh) 2009-01-07
US20130232417A1 (en) 2013-09-05
WO2006088831A3 (en) 2008-07-31
US8432358B2 (en) 2013-04-30
CN101341457B (zh) 2014-01-29
US8169405B2 (en) 2012-05-01
US20110067068A1 (en) 2011-03-17
US7839385B2 (en) 2010-11-23
US20060184966A1 (en) 2006-08-17
US20120204210A1 (en) 2012-08-09
JP2008536196A (ja) 2008-09-04
WO2006088831A2 (en) 2006-08-24
EP1851955A2 (en) 2007-11-07
EP1851955A4 (en) 2009-08-12

Similar Documents

Publication Publication Date Title
KR100817394B1 (ko) 미디어 항목들을 편성하고, 선택하며, 개시하기 위한주밍(ｚｏｏｍｉｎｇ) 가능한 그래픽 유저 인터페이스를갖춘 제어 프레임워크
US20180113589A1 (en) Systems and Methods for Node Tracking and Notification in a Control Framework Including a Zoomable Graphical User Interface
US8432358B2 (en) Methods and systems for enhancing television applications using 3D pointing
US8046705B2 (en) Systems and methods for resolution consistent semantic zooming
US7834849B2 (en) Control framework with a zoomable graphical user interface for organizing selecting and launching media items
US8555165B2 (en) Methods and systems for generating a zoomable graphical user interface
KR101190462B1 (ko) 1-대-다 객체를 처리하기 위한 스케일링 및 레이아웃 방법및 시스템
JP5553987B2 (ja) ユーザインターフェースにおけるスクロールおよびポインティングの方法およびシステム
JP2008527540A (ja) ユーザインターフェイス用の分散ソフトウェア構成

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application