JP2008502230A - ズーム可能ユーザインターフェースのためのクライアント／サーバアーキテクチャおよび方法 - Google Patents

ズーム可能ユーザインターフェースのためのクライアント／サーバアーキテクチャおよび方法 Download PDF

Info

Publication number
JP2008502230A
JP2008502230A JP2007515651A JP2007515651A JP2008502230A JP 2008502230 A JP2008502230 A JP 2008502230A JP 2007515651 A JP2007515651 A JP 2007515651A JP 2007515651 A JP2007515651 A JP 2007515651A JP 2008502230 A JP2008502230 A JP 2008502230A
Authority
JP
Japan
Prior art keywords
data
user interface
mpeg
encoding
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007515651A
Other languages
English (en)
Other versions
JP4955544B2 (ja
Inventor
フランク・エー・ハンレス
チャールズ・ダブリュー・ケー・グリトン
ケヴィン・エム・コンロイ
ライアン・ストナー
Original Assignee
ヒルクレスト・ラボラトリーズ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヒルクレスト・ラボラトリーズ・インコーポレイテッド filed Critical ヒルクレスト・ラボラトリーズ・インコーポレイテッド
Publication of JP2008502230A publication Critical patent/JP2008502230A/ja
Application granted granted Critical
Publication of JP4955544B2 publication Critical patent/JP4955544B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4821—End-user interface for program selection using a grid, e.g. sorted out by channel and broadcast time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window

Abstract

本発明の例示的実施形態は、通信ネットワーク、例えば、ケーブルネットワークおよび/または双方向テレビジョンネットワークにおけるデータの通信および処理のための方法およびシステムを提供する。異なるデータストリームおよび符号化技術の選択的使用により、洗練されたユーザインターフェースを、多様な処理能力を有するクライアントデバイス上に生成することを可能にする。MPEG符号化技術は、複雑さを低減して、ユーザの要求に対するより良好な応答時間を可能にする。ホバーズーミングのような特殊なユーザインターフェース機能が可能にされる。

Description

この出願は、「ZUI on PVR Architecture」という名称の2004年6月3日に出願した米国特許仮出願第60/576786号に関係し、その優先権を主張し、参照によりその開示が本明細書に組み込まれる。
本発明は、例えば家庭における洗練されたエンターテイメントユーザインターフェースを作成するために使用できる、通信システム、例えば双方向テレビジョンシステムにおいて、ノード間でマルチメディアデータを処理し転送するためのシステムおよび方法を説明する。
情報の通信に関連した技術は、ここ数十年で急速に発展している。(単にいくつかを挙げると)テレビジョン、携帯電話、インターネットおよび光通信技術の組合せにより、消費者にとって利用可能な情報およびエンターテイメントの選択肢が氾濫している。テレビジョンを例に取ると、ケーブルテレビサービス、衛星テレビサービス、ペイパービューの映画、およびビデオオンデマンドの導入がここ30年で見られた。1960年代のテレビ視聴者は、一般に、彼らのテレビのおそらく4つか5つの無線のテレビチャネルを受信することができたのに対し、今日のテレビ視聴者は、番組および情報の数百のチャネル、潜在的には何千ものチャネルから選択する機会を有している。現在ホテルなどで主に使用されているビデオオンデマンド技術は、何千もの映画タイトルから家庭用エンターテイメントを選択できる可能性を提供する。カリフォルニア州アルビソ、ゴールドストリート2160番地(郵便番号95002)のTiVo社(TiVo,Inc.,2160 Gold Street,Alviso,CA 95002)により提供されるような、デジタルビデオ録画(DVR)装置により、利用可能な選択肢がさらに拡張される。
そのような大量の情報およびコンテンツをエンドユーザに提供できる技術能力により、システム設計者およびサービス提供者に好機と難題の両方がもたらされる。1つの難題は、エンドユーザは一般に少ない選択肢より多くの選択肢を好むが、この嗜好は、選択プロセスを速くかつ簡単にしたいというエンドユーザの望みと天秤に掛けられる。遺憾なことに、エンドユーザがメディアアイテムにアクセスするシステムおよびインターフェースの開発は、速くなく簡単でもない選択プロセスをもたらしている。再び、テレビ番組の例を検討する。初期のテレビジョンにおいては、どの番組を見るかを決定することは、主に選択肢の数が少ないため、比較的簡単なプロセスであった。例えば、(1)隣接したテレビチャネルと、(2)それらのチャネルにおいて放送されている番組と、(3)日時との間の対応関係を示した一連の列および行として構成された、印刷されたガイドを調べた。テレビジョンは、同調つまみを調節することにより所望のチャネルに合わせられ、視聴者が、選択したプログラムを見た。その後、視聴者が離れた場所からテレビジョンを調節することを可能にするリモートコントロールデバイスが導入された。このユーザテレビジョンインターフェースへの追加により、「チャネルサーフィン」として知られる現象が生み出され、視聴者は、それにより、多数のチャネルで放送されている短い断片を素早く見て、任意の時間にどんな番組が選択可能であるかを迅速に知ることができた。
チャネル数および見ることができるコンテンツ量が劇的に増加したのに関わらず、テレビジョン用の一般に利用可能なユーザインターフェース、制御装置のオプション、およびフレームワークは、ここ30年にわたり大きく変化していない。印刷されたガイドが、依然として、番組情報を伝えるための最も一般的なメカニズムである。単純な上向きおよび下向き矢印を有する複数ボタンのリモートコントロールが、依然として、最も一般的なチャネルコンテンツの選択メカニズムである。利用可能なメディアコンテンツの増加に対する、テレビユーザインターフェースを設計し実装する人々の反応は、既存の選択手順およびインターフェースオブジェクトの単純な延長となっている。したがって、印刷されたガイドの行および列の数は、より多くのチャネルに対応するように増加されている。リモートコントロールデバイス上のボタンの数は、追加の機能性およびコンテンツ処理をサポートするために増加されている。しかし、この手法は、視聴者が利用可能な情報を調べるために必要な時間と、選択を実行するために必要な操作の複雑さとの両方を著しく増大させた。消費者は、既に遅く複雑すぎると見なしているインターフェースに複雑さが加わるであろう新しいサービスに対し抵抗するので、おそらく、既存のインターフェースの扱いにくい性質のため、いくつかのサービス、例えばビデオオンデマンドの商業的な実施が妨げられている。
メディアアイテムの編成、選択、および起動のためのズーム可能なグラフィカルユーザインターフェースを有する例示的制御フレームワークが、Frank A.Hunlethに付与された2004年1月30日出願の米国特許出願第10/768432号に説明されており、その開示は参照により本明細書に組み込まれる。このフレームワークは、従来のインターフェースの上述の問題に対する例示的解決策を提供する。特に、かかる例示的フレームワークは、ユーザによる簡便な選択のために利用可能な、メディアアイテムに関連付けられたメタデータを表示するが、多数の異なるメディアアイテムにアクセスできるようにもするメカニズムを提供する。この特許出願に説明される例示的フレームワークの1つの特徴は、特に、ユーザによって現在考慮されているオブジェクトを強調表示するためのメカニズムとして、インターフェースによって表示されるメディアオブジェクトの異なる意味レベル間における視覚的に情報を与える移行を提供するための、ズーミングの使用である。
これらのタイプの高度なユーザインターフェースの実装は、様々なソースからエンドユーザの装置、例えばテレビジョンへのこれらのインターフェースを生成するために使用されるデータの処理および移送に関与するシステムアーキテクチャおよび通信ノードにより複雑になる。以下でより詳細に説明するように、このデータは、メディアコンテンツを記述するいわゆるメタデータを含む。本明細書で使用される用語「メタデータ」は、ユーザによる選択のために利用可能なメディアアイテムに関連付けられた当該の特定のコンテンツを記述する補足情報のすべてを指す。映画オブジェクトに関する例として、メタデータは、例えば、タイトル、説明、ジャンル、キャスト、DVDカバーアート、価格/入手可能性、キャストの経歴および作品履歴、類似映画へのリンク、クリティカルレビュー、ユーザレビュー、メタデータ自体に関連する権利、コンテンツに関連する権利、および、当該のコンテンツにリンクされた広告メタデータなどを含むことができる。このような高度なユーザインターフェースに適したメタデータの取込み、処理、同期、および転送のための例示的システムは、「A Metadata Brokering Server and Method」という名称の2005年1月18日に出願した米国特許出願第11/037897号に説明されており、その開示は参照により本明細書に組み込まれる。
しかし、データは、いったん取り込まれ処理されると、時間遅延に敏感でありレガシハードウェアにより課せられる制約内で作用すると同時に、リッチユーザインターフェースを提供するために充分なデータが供給されることが可能なように、例えばシステムのヘッドエンド部分から例えばセットトップボックスに伝達される必要がある。したがって、これらの競合するパラメータを解決し高度なユーザインターフェースの生成を可能にするアーキテクチャおよび方法を提供することが望ましい。
米国特許出願第10/768432号 米国特許出願第11/037897号 米国特許第6804708号
本発明の例示的実施形態は、通信ネットワーク、例えば、ケーブルネットワークおよび/または双方向テレビジョンネットワークにおけるデータの通信および処理のための方法およびシステムを提供する。異なるデータストリームおよび符号化技術の選択的使用により、洗練されたユーザインターフェースを、多様な処理能力を有するクライアントデバイス上に生成することを可能にする。
本発明の例示的一実施形態によれば、ケーブル通信ネットワークにおいて上流ノードからクライアントデバイスにデータを送信するための方法は、上流ノードからクライアントデバイスに送信されるデータを第1のデータまたは第2のデータとして選択的に識別するステップと、MPEG符号化を用いて第1のデータを符号化するステップと、MPEG符号化データをMPEGデータストリームを介してクライアントデバイスに送信するステップと、MPEG符号化と異なる第2のタイプの符号化を用いて第2のデータを符号化するステップと、符号化された第2のデータを第2のデータストリームを用いてクライアントデバイスに送信するステップとを含む。
本発明の別の例示的実施形態によれば、ユーザインターフェース上でホバーズーム効果を生成するための方法は、背景層データおよび前景データをクライアントデバイスに送信するステップと、背景層を表示するステップと、ホバーズーム効果に関連付けられたユーザアクションを識別するステップと、ユーザアクションに応答して、前景層を背景層上のオーバレイとして表示するステップとを含む。
本発明のさらに別の例示的実施形態によれば、上流ノードからクライアントデバイスに送信されるデータをMPEG符号化するための方法は、ユーザインターフェースに関連付けられた動きベクトルを推定するステップと、動きベクトルをMPEGエンコーダに送るステップと、推定された動きベクトルを用いて、送信されるデータをMPEG符号化するステップとを含む。
添付の図面は、本発明の例示的実施形態を示す。
本発明の以下の詳細な説明では、添付の図面を参照する。異なる図面における同じ参照番号は、同じまたは同様の要素を特定する。また、以下の詳細な説明は、本発明を限定するものではない。代わりに、本発明の範囲は、添付の特許請求の範囲によって定義される。
この説明にいくらかのコンテキストを与えるために、本発明の例示的実施形態に従って、サーバからクライアントに転送されるデータおよび命令を使用して作成されうる例示的ユーザインターフェース画面を、図1(a)および(b)に示す。図において、エンドユーザのシステム(例えば、セットトップボックス/テレビジョンまたはパーソナルコンピュータ)に転送される情報に基づいて生成されうる例示的ユーザインターフェース画面の一部分が、10個のメディア選択アイテムを示している。上述の画面およびナビゲーション技術を含めてこの単に例示的なインターフェースに関する詳細については、関心のある読者は、先に参照により組み込まれた米国特許出願第10/768432号を参照されたい。このようなユーザインターフェースが単に例示であること、ならびに、本発明によるアーキテクチャおよび方法が他のインターフェースをサポートするために実装されうることは理解されよう。
図1(a)は、画像として、例えばDVDカバーアートとして選択のために利用可能な複数のメディアオブジェクトを有するユーザインターフェース画面を示す。図1(b)では、映画「Apollo 13」に関連付けられた画像が、先行の選択操作、例えば、ユーザが表示画面上のこの画像上をカーソル(図示せず)を通過させることの結果として、拡大されている。ホバーズーム効果と呼ばれるこの機能は、「ホバーズーム」の見出しの下でより詳細に説明するが、この機能は、本発明の例示的実施形態に従って、ノード間、例えばヘッドエンドとセットトップボックスの間で、データ(例えばメタデータ)および命令を伝送することによって実現することができる。ユーザインターフェースのより低いレベルでは、追加のデータ、例えばコンテンツプロバイダから配信されたメタデータを、ユーザインターフェース画面を生成するために使用することができる。例えば、図2に示されるように、この拡大された画像のユーザ選択は、例えば、入力装置(図示せず)上のボタンを押すことによって、追加の詳細を表示するためにさらにズームすることになる。例えば、とりわけ、この映画の上映時間、価格、および俳優情報を含む映画「Apollo 13」についての情報が示される。他のタイプの情報がここで提供されうることは、当業者には理解されよう。さらに、このGUI画面は、例えば、映画を購入する、トレーラを見る、または(入力装置上のZOOM OUTボタンを押すことによっても達成することができる)前のGUI画面に戻るためのボタンコントロールオブジェクトを含むGUIコントロールオブジェクトを含む。後述する様式で処理されるメタデータから生成されるハイパーリンクは、ユーザが、例えば、図2のGUI画面の右下隅で識別される関連映画に関連付けられたGUI画面、または、この映画の俳優に関連付けられた情報に、ジャンプすることを可能にするために使用することもできる。この例では、見出し「Filmography」の下の一部または全部の映画タイトルは、ハイパーリンクとして実装することができ、これらのハイパーリンクは、入力装置を介してユーザによって作動されたとき、GUIに、指示された映画について図2のGUI画面に相当するGUI画面を表示させる。図1(a)、1(b)、および2のインターフェース画面を生成するために使用される情報の一部または全部は、次に説明するように、本発明の例示的実施形態に従って、1つまたは複数のメタデータ提供者によって提供され、処理される、メタデータに由来する。
図1(a)、1(b)、および2に示されるインターフェース画面は、単に例示であり、本発明に従って転送され処理されるメタデータ(および他のデータ)は、他のインターフェースをサポートするために使用されてもよく、インターフェース生成以外のために使用されてもよい。同様に、多くの他のタイプの情報が、本発明に従って受け取られ処理されうる。例えば、テレビブラウザインターフェース、ビデオオンデマンド(VOD)インターフェース、または音楽ブラウザのための、メタデータタイプ、ソース、および関連した用途が、図3の表に示されている。この詳細な説明で特に対象となるのは、本発明のこれらの例示的実施形態に従って生成されるユーザインターフェースに関連付けられたズーミング機能である。本発明は、ズーム可能ユーザインターフェースを生成するための技術またはシステムに限定されないが、本明細書で説明されるクライアント/サーバ機能のいくつかは、ユーザインターフェース画面間のズーミング移行を含むユーザインターフェースと関連して使用した場合に特に有益である。この詳細な説明では、用語「ズーム」、「ズーム可能」および「ズーミング」は、ユーザインターフェースアクションが、ユーザインターフェースの表示部分に変化を引き起こし、この表示部分が、ユーザに整合的かつ情報を与えるパースペクティブの変化をもたらす、技術を指す。ズーミングは、典型的には、オブジェクトの拡大倍率(例えば、カメラスタイルズーミング)の変化を含むが、特にこれに限定されない。例えば、ユーザインターフェースによるズーミングの別の態様は、セマンティックズーミングであり、セマンティックズーミングは、拡大とは独立してズーム対象オブジェクトを修正すること、例えば、セマンティックズームに先立って(いかなる拡大レベルでも)オブジェクトの部分として存在しなかったテキストまたはグラフィックをオブジェクトに追加することを含む。ズーム可能ユーザインターフェースに関する詳細については、関心のある読者は、先に示し参照により組み込まれた特許出願を参照されたい。
コンテキストにおいて、本発明の例示的実施形態によるズーミング移行の一例は、ホバーズームされたオブジェクトの拡大変化を含み、任意選択でそのオブジェクトに対するセマンティックズーミングも含む、図1(a)および1(b)のユーザインターフェース間のズーミング移行である。別の例は、「Apollo 13」に関連付けられた画像が、その拡大倍率を変更され(例えば、図2において、図1(b)に示される同様の画像に対して拡大され)図2で用いるために変換される、図1(b)および2のユーザインターフェース画面間の移行において見られる。ズーミング移行をアニメーション化するためにパン効果を使用してもよい。
本発明の例示的実施形態による、データ処理および移送を提供するための汎用クライアント/サーバアーキテクチャ40が、図4に示されている。図において、ユーザインターフェースサーバ42は、例えば、ポインティングデバイス48からの入力と関連して、表示装置46上にユーザインターフェースを生成すために、クライアントデバイス44と通信する。ユーザインターフェースサーバ42とクライアントデバイス44の間のデータ例えばメタデータおよびコンテンツデータの通信は、ユーザインターフェースサーバ42とクライアントデバイス44の間のハブおよび配信サーバなどを含む任意の数の中間ノード(図示せず)を、含むことができる。さらに、ユーザインターフェースサーバ42の部分として示される機能要素の一部または全部は、これらの中間ノードの1つまたは複数の範囲内に配置しても、あるいは、システム40のヘッドエンドに存在してもよい。表示装置46は、例えば、テレビジョン、コンピュータモニタ/ディスプレイ、または他の任意の表示装置とすることができる。クライアントデバイス44は、セットトップボックス、パーソナルコンピュータ、または処理装置を含む他の任意の装置として具現することができる。ポインタ48は、例えば、フリースペースポインティングデバイス、マウス、リモートコントロールデバイス、トラックボール、ジョイスティック、または、ポインティング機能を備える他の任意のデバイスとすることができ、有線または無線でクライアントデバイス44に接続することができる。
本発明のこの例示的実施形態によれば、サーバ42は、移行および画面キャプチャ50、MPEG-2移行およびシーンエンコーダ、MPEGおよびZSDキャッシュ54、シーン要求プロセッサ56、ならびに、MPEGストリーム送信器58を含み、これらのコンポーネントは、クライアントデバイス44へのMPEG-2データのストリーミングを生成および管理し、クライアント44からアップストリームの要求を受け取り応答するように動作する。移行および画面キャプチャ50は、ユーザインターフェースを生成するために使用されるシーンデータの収集を自動化する。これは、高レベルでは、メタデータおよびコンテンツに従って、例えば、移行およびシーンキャプチャ50への入力として提供されたシーングラフを介して、ナビゲートし、MPEG-2移行およびシーンエンコーダ52を呼び出して、表示装置46に表示される選択シーンに関連付けられたMPEG-2クリップおよびシーン記述ファイルを生成することによって、達成される。本発明の例示的実施形態による、(本明細書では「ZSDデータ」とも呼ばれる)シーン記述ファイルおよびフォーマットに関連付けられた詳細な情報については、「シーン記述データフォーマット」の見出しの下で示す。
シーングラフを介したナビゲーションは、ユーザインターフェースによって生成されうる様々なシーンに関連付けられたデータの取込みおよび処理を含む。本明細書で使用される用語としての「シーン」は、一般に、ユーザインターフェースによって生成されうる任意のユーザインターフェース画面に関連付けられたフレームワークであって、本発明によるユーザインターフェースの洗練された動的な性質にも関わらず、シーンをポピュレートするために使用するデータの少なくとも一部が、例えば、コンテンツプロバイダが例えばコンテンツプロバイダによる提供に関連付けられたメタデータを変更するのに従って、変化しても、すべて事前に知られている、フレームワークを指す。したがって、図1(a)、1(b)、および2は、各ユーザインターフェース画面がシーンであると見なされるユーザインターフェース画面のいくつかの部分のみを示す。以下の表1は、各移行ごとに収集されうる例示的データを列挙し、表2は、各シーンごとの例示的データを列挙する。
Figure 2008502230
Figure 2008502230
したがって、移行およびシーンキャプチャ50は、ユーザインターフェースにおけるすべての所望の移行をシミュレートするために必要な情報のすべてを、例えば、完全なユーザインターフェース「universe」を含む、図4に図示されていないデータベースから、取得することができる。移行およびシーンキャプチャ50は、ユーザがシーン移行を指令するインターフェースへの入力を生成すると、アクティブになる、ナビゲータコントローラおよびキャプチャコントローラコンポーネントを含む。高レベルでは、ナビゲーションコントローラが、すべての移行およびシーンへの/からのナビゲーションを担当する。例示的ナビゲーションコントローラは、以下の動作を実行する、すなわち、(1)次の移行を取得する、(2)「from」シーンにナビゲートし、(3)この移行に対するフォーカスコマンドを実行し、(4)キャプチャコントローラにシーンおよび移行情報を通知し、(5)アクティブ化コマンドを実行し、(6)アニメーションが完了するときをキャプチャコントローラに通知し、(7)キャプチャコントローラに、(逆移行のための)逆にされたシーンおよび移行情報を通知し、(8)goBack()ルーチンを呼び出し、(9)アニメーションが完了するときをキャプチャコントローラに通知する。
キャプチャコントローラは、MPEG-2移行およびシーンエンコーダ52と一体となって、MPEG-2クリップおよびZSDファイルを作成する。キャプチャコントローラは、移行の開始および終了のときに、ナビゲーションコントローラから通知を受け取り、各アニメーションステップごとに、MPEG-2移行およびシーンエンコーダ上でルーチンを呼び出す。この進捗の視覚的表示をユーザに提供するために、キャプチャコントローラは、キャンバスが、シーンに対する可視シーングラフをさらに描画し、実行された移行のパーセントを示すテキストオーバレイを追加するようにする。
本発明の例示的実施形態によるMPEG-2移行およびシーンエンコーダ52の詳細な例が、図5に示されている。生シーンデータ、例えば、画像、テキスト、メタデータなどは、移行および画面キャプチャ50から送達され、オブジェクト抽出ユニット502、クライアント提供機能抽出ユニット504、およびビデオ情報抽出ユニット506に提供される。(ユーザインターフェース画面上のユーザが対話可能なオブジェクトを処理する)オブジェクト抽出ユニット502、ならびに、(クライアントデバイス44によって提供された、例えば、ホバーズームおよびテキストの機能を処理する)クライアント提供機能抽出ユニット504は、レンダリング位置コントローラ508の制御下で、生データストリームから情報を抽出し、それをZSDエンコーダ507に提供するように動作し、ZSDエンコーダ507は、詳細に後で説明されるシーン記述フォーマットを使用して、抽出された情報を符号化する。一方では、ZSD符号化データの一部または全部を、MPEG-2データカプセル化装置509を使用して、MPEGデータストリーム内で、例えばMPEGフレーム内のプライベートデータフィールドの一部として送るともに、あるいは、全く送らずに、他方では、残りのZSD符号化データを、図4に関連して上記で説明したOOBリンクを使用して送信することが可能である。
ビデオ情報抽出ユニット506は、やはりレンダリング位置コントローラ508の制御下で、MPEG-2符号化に適したビデオ情報を抽出するように動作する。どのタイプの符号化を、この例ではMPEGまたはZSD符号化を、特定のデータに適用するかを選択的に決定する、レンダリング位置コントローラ508の能力と、それに関する利点については、図11に関連してより詳細に後述する。
本明細書では、用語「MPEG符号化」は、MPEG-1、MPEG-2、および同様の符号化の総称であるが、本発明のいくつかの例示的実施形態では、特にMPEG-2符号化を指している。MPEG符号化に関連した一般的な詳細は、それ自体で当業者に知られており、さらに規格草案(例えば、ISO CD11172)の形で入手可能である。例示的MPEG-2エンコーダ500は、MPEG-2符号化を実行するために規格に従って動作する、無番号の複数のブロック(より詳細に後で説明する動き推定ユニット510は例外である)を含む。MPEGエンコーダ500の無番号のブロックのより詳細な説明を提供するMPEGエンコーダの一例は、様々なMPEG-2規格文書に見ることができ、例えば、ITU-T SG 15.1(CCITT SG XV,Working Party XV/l,Experts Group on ATM Video Codingとして当時知られた)とISO/IEC JTCI/SC29 WG11(MPEG)との共同努力として発展したTest Model 5文書に見ることができる。詳細には、Test Model 5のMPEGバージョンは、MPEG 93/225bとして知られ、Test Model 5のITUバージョンは、AVC-445bとして知られ、これらの開示は、参照により本明細書に組み込まれる。MPEG符号化データは、クライアントデバイス44へのその後の送信のために、MPEG/ZSDキャッシュユニット54に格納される。
図5に示される例示的MPEG-2移行およびシーンエンコーダ52に関して特に注目されるのは、エンコーダヒントコレクタ512および動き推定器510である。MPEG-2移行およびシーンエンコーダ52におけるMPEGエンコーダ500の一態様は、符号化されるMPEGデータの高レベルの圧縮を迅速かつ効率的に行うエンコーダの能力である。これは、特に、ユーザインターフェースにおいて各シーンの互いに対する「配置される」場所の知識を用いて実現され、この知識は、本発明による例示的ユーザインターフェースにおいて事前に定義される。これは、標準MPEG動き推定アルゴリズムの選択的な単純化を可能にし、それにより、MPEG符号化プロセスが加速し、かつ/あるいはプロセスに割り当てられる必要がある処理能力の量が軽減される。より詳細には、MPEGデータストリームにおける連続したMPEGフレームを符号化するとき、符号化を実行するために使用される情報の一部は、あるMPEGフレームから次のMPEGフレームに(および/または逆に先行のMPEGフレームから現在のMPEGフレームに)ピクセルのブロックが移動した位置に関する情報である。例えば、第1のMPEGフレームにおけるピクセルのブロックが、単純に、第2のMPEGフレームにおける新しい画面位置に移動した場合、一般に、そのピクセルのブロックに関連付けられた動きベクトルを決定し送信するほうが、再びピクセルのブロック全体を再符号化し再送信するよりも効率的である。同様に、そのピクセルのブロックが、(例えば、照明効果を介する移行を経て)比較的均一な色差である場合、やはり、動きベクトルおよびいくらかの色差情報を提供するほうが、ピクセルのブロック全体を再送信するよりも効率的である。
すべてのタイプの例えばビデオデータ圧縮をサポートするためのランダムなオブジェクトの移動に対処するために、標準MPEG動き推定アルゴリズムは、ピクセルデータのブロックの探索を実行し、どのピクセルのブロックがフレームからフレームに移動したか(およびどの方向に移動したか)を決定する。例えば、フルペル探索と呼ばれるいくつかの探索では、16×16ブロックを使用し、ハーフペル探索と呼ばれる他の探索では、16×8ブロックを使用する。これらの探索は、特に高精細度ビデオデータの場合、計算コストが高くなり、(例えば、エンコーダヒントコレクタ512によって導入される修正なしでは)標準MPEGエンコーダ500によって実行される動作に関連した処理時間/能力の最大80%までが見積もられる。したがって、本発明の例示的実施形態によれば、MPEG符号化に関連付けられた動き推定は、これらのクライアント/サーバアーキテクチャによって生成されるユーザインターフェースがオブジェクトのランダムな移動を伴わないという事実を利用して、単純化される。例えば、図1(b)および2の例示的ユーザインターフェース画面間の移行の際に、「Apollo 13」に関連付けられた画像は、(任意選択で、ある種の拡大を伴って)表示画面上の第1の位置から表示画面上の第2の位置に移動するが、両方の位置は、エンコーダヒントコレクタ512に事前に知られており、エンコーダヒントコレクタ512は、それらからMPEG動きベクトルを計算することができる。
したがって、エンコーダヒントコレクタ512は、標準MPEG技術に従って探索を実行せずに、MPEG圧縮を実行するために、MPEG動きベクトルを、渡される動きベクトルを使用するためのコマンドとともに、動き推定ユニット510に渡す。しかし、MPEG動きベクトルを生成するための相互に関係したユーザインターフェース画面の知識のこのような使用により、有効なMPEG動きベクトルを生成することは、(例えば、MPEG動きベクトルを表現するために割り当てられたビット数の制限のため)いつもできるとは限らない。したがって、エンコーダヒントコレクタ512はまた、標準MPEG探索アルゴリズムを利用して、フレーム(または他の)基準で動きベクトルを決定するように、動き推定ユニット510に指令する能力を有する。(1)標準MPEG探索アルゴリズムを使用して完全に生成される動きベクトルを使用すること、または、(2)標準MPEG探索アルゴリズムを使用せずに、エンコーダヒントコレクタ512によって完全に生成される動きベクトルを使用することに加えて、本発明に従って決定されうる動きベクトルの第3のカテゴリでは、動きベクトルは、エンコーダヒントコレクタ512に利用可能な情報に基づく範囲に限定された探索範囲を有する標準MPEG探索アルゴリズムによって計算される。
再び図4を参照すると、ブロック50および52によって生成されたMPEGデータおよびシーン記述データは、シーン要求プロセッサ56によって必要とされたとき取り出すために、メモリデバイス54内にキャッシュすることができる。シーン要求プロセッサ56は、クライアント44からのシーンの要求を処理し、例えば、ポインタ48に関連付けられたカーソルが「Apollo 13」に関連付けられた画像上で停止した(図1)という標識を、クライアントユーザインターフェース状態機械62が受け取った場合に、(後述の)ホバーズームシーンを開始するために、要求がシーン要求プロセッサ56に送り返され、あるいは、ユーザが「Apollo 13」に関連付けられたより詳細なシーン(図2)を見たいという標識を、クライアントユーザインターフェース状態機械62が受け取った場合に、そのシーンを開始するために、要求がシーン要求プロセッサ56に送り返される。シーン要求プロセッサ56は、アップストリームの要求に応答して、MPEG-2移行およびシーン記述データを、クライアント44に返す。より詳細に以下で説明する例示的実施形態によれば、いくつかのアップストリームの要求に対して、シーン要求プロセッサ56は、MPEGデータ、シーン記述データ、または両者の何らかの組合せのいずれが要求をサービスするために適切であるかを、動的に決定することができる。シーン要求プロセッサ56の詳細な例は、図6に示されている。
図において、クライアント要求プロセッサ600は、例えば、クライアント要求を解釈し、それらの要求をシーン要求プロセッサ56内の適切なコンポーネントに配布することによって、すべてのクライアントの対話を調整する。例えば、クライアント要求プロセッサは、クライアント単位で、状態および統計値を追跡し、かかる情報をデータベース602に格納する。帯域外(OOB)クライアント通信コンポーネント604は、通信要求に対する応答およびプロトコル要求の抽出を含めて、OOBチャネルを介したクライアントとのすべての通信を取り扱う。ビデオ再生制御機能606は、MPEG-2ストリーム生成コンポーネント、例えば、シーンループジェネレータ608および移行再生機能610の動作を調整する。シーンループジェネレータ608コンポーネントは、ユーザインターフェースシーンのループを生成し、移行が発生しないときにループを送信する。移行再生機能610は、(例えば、キャッシュ54を介して)MPEG-2移行およびシーンエンコーダ52によって前もって生成されたMPEG-2移行ストリームをロードし、それらを要求されたクライアントへストリーミングする。移行再生機能610は、複数のストリームを同時に提供することができる。MPEG-2移送ストリームカプセル化ユニット612は、MPEG-2移送ストリームを必要に応じて更新し、そのストリームをUDPカプセル化ユニット614に転送し、UDPカプセル化ユニット614は、MPEG-2移送ストリームのパケットをまとめてグループ化し、それらを、UDPを介してMPEGストリーム送信器58内のIP-QAMゲートウェイ(図示せず)に送る。
再び図4を参照すると、サーバ側のMPEGストリーム送信器58、ならびに、クライアント側のMPEGストリーム受信器64およびMPEGデコーダ66は、ビデオストリーミングプロトコルリンクを介して、メタデータ、例えば、図2のユーザインターフェース画面に示されるテキストフィールドをポピュレートするために使用されるデータと、コンテンツとの両方の通信を可能にする。MPEG送信器58、受信器64、およびデコーダ66は、既製のコンポーネントを使用して実装することができ、したがって、本明細書では詳しく説明しない。しかし、これらの要素、ならびに本発明が実装されうる他の例示的双方向テレビジョンシステムアーキテクチャのより詳細に関心がある読者は、その開示が参照により本明細書に組み込まれる、Jerdingらに付与された米国特許第6804708号を参照されたい。画面表示(OSD)グラッフィックスコントローラ68は、クライアント状態機械62からのシーンデータ、およびカーソルコントローラ69からの入力を受け取って、ユーザインターフェースのための、オーバレイグラフィックスおよびローカルアニメーション、例えば、ズーミング移行を生成する。デコーダ66およびOSDグラッフィックスコントローラ68からそれぞれ出力されたMPEGビデオデータおよびOSDビデオデータは、ユーザインターフェースを生成するために、ビデオコンバイナ70によって結合され、表示装置46に転送される。上述のように、図1(a)に示されるDVDカバーアート画像は、MPEGビデオデータを使用して作成されるユーザインターフェース要素の例であり、図1(b)の「Apollo 13」画像のズームされたバージョン、および図1(a)のユーザインターフェース画面の右上隅にある円形のアイコンは、シーン記述データを使用して作成されるユーザインターフェース要素の例である。
本発明の例示的実施形態について特に注目されるのは、クライアントユーザインターフェース状態機械62であり、このより詳細な例は図7に示す。クライアントユーザインターフェース状態機械62は、シーン要求プロセッサ56から受け取ったシーンデータおよび/またはスクリプトを解釈して、クライアントデバイス44上に(例えば、図1(a)、1(b)、および2に示されるように)ユーザインターフェースシーンを提示する。クライアントユーザインターフェース状態機械62はまた、(ブロック700として表される)ヘッドエンド42、またはローカルハードディスクドライブ702から、シーンデータおよびMPEG-2移行クリップを受け取ることができる。関与するクライアントデバイスのシステムおよび/またはタイプに応じて、単一のデータソース700、702が本発明の特定の実装形態に存在しても、あるいは他の何らかのタイプのデータソースが使用されてもよいことは、当業者には理解されよう。帯域外(OOB)通信704は、オペレーティングシステム(OS)706、例えば、PowerTV、Linux、Win32などと、オペレーティングシステムポータル層708とを介して、クライアントユーザインターフェース状態機械62に信号およびコマンドを提供するために使用することができる。OSおよびOSポート層706、708はまた、ユーザインターフェースに対するユーザの操作を追跡し、イベントマッパ機能710にデータを提供することができる。イベントマッパ710は、ユーザインターフェースデータ、例えば、カーソルの移動、音声コマンド入力、フリースペースポインタの動きなどを、ユーザインターフェースにおける何らかの変更、例えば、表示の変更、オーディオの変更、ズーミング移行などを必要とすることがあるイベントに変換する。例えば、ユーザのカーソルが、図1(a)の「Apollo 13」の画像上を静止するまたは通過するとき、イベントマッパ710は、生カーソルデータをOSから受け取り、例えば、ホバーズームイベントにマップするが、そのイベントの結果として、画像は、図1(b)に示されるように少し拡大され、これは、より詳細には後述される。別の例として、カーソルが、図1(b)の「Apollo 13」画像の拡大バージョン上に配置されながら、OS706、708がイベントマッパ710にボタンクリックを渡した場合、ユーザがこの映画に関するより詳細が欲しいことが指示され、イベントマッパ710は、それに関連付けられた「transition to detailed view event」を識別することができ、その結果、図2のユーザインターフェース画面への移行がもたらされる。
イベントマッパ710によって検出されたイベントは、イベントプロセッサ714によって処理するために、イベントキュー712に入れられる。イベントプロセッサ714は、例えば、現在アクティブのシーンデータおよび/またはスクリプトに基づいて、イベントキュー712からイベントを受け取り、それらをアクションライブラリ716に配布することによって、クライアントユーザインターフェース状態機械62の動作を調整する。シーンデータローダ720および様々な記憶ユニット718、722とともに、アクションライブラリ716は、シーンデータの説明に関連してより詳細に後述するように、検出されたイベントに基づいて、現在表示されているユーザインターフェース画面に対する変更を生成するように動作する。
シーン記述データフォーマット
本発明の例示的実施形態によるユーザインターフェースを生成するためのいくつかのサーバ/クライアントアーキテクチャを説明したが、ここで、このアーキテクチャと併せて使用することができる(MPEG/MPEG-2に追加して)第2の例示的データフォーマットを説明する。本発明と併せて他のデータフォーマットを使用することもできるが、この例示的データフォーマットは、クライアントデバイス44がユーザ対話およびシステムイベントに応答することを可能にする状態機械を、効率的に作成することができる。このデータフォーマットは、非常に低いパワーのクライアントデバイス44と、ハイエンドのクライアントデバイス44、例えばパーソナルコンピュータとの両方をサポートするように任意に拡張可能である。この例示的シーンデータフォーマット(「ZSD」とも呼ばれる)の他の目的は、テーマサポート、将来の言語のサポート、デモスクリプティング、および、自動化テストのサポートを含む。
ZSDフォーマットは、2つのタイプのシーン、すなわち、排他的シーンとオーバレイシーンをサポートする。排他的シーンは、フルスクリーンを占有し、主なユーザ対話要素を含むため、本明細書では、排他的シーンを、単にシーンと呼ぶ。オーバレイシーンは、クライアントユーザインターフェース状態機械62が、排他的シーンの上に論理的にオーバレイする、全部または一部のシーンを記述する。排他的シーンがユーザのナビゲーションに従って変化する間、オーバレイシーンは、変化する場合もあれば変化しない場合もある。これにより、ユーザが排他的シーンからシーンへとナビゲートするのに伴いユーザに追随する音楽コントロール、グローバルナビゲーション、ブックマークなどのような機能を、フォーマットがサポートすることが可能になる。排他的シーンは、オーバレイシーンを最初に起動するが、オーバレイシーンは、他のオーバレイを起動する。すべてのオーバレイシーンを終了することは可能であるが、オーバレイシーンは、ユーザからの対話、または現在の排他的シーンに基づいて、それら自体の持続期間を制御する。排他的シーンおよびすべてのオーバレイシーンは、それら自体の名前空間に論理的に存在する。ZSD要素が他のシーン内の要素を参照するために、本明細書に説明されるようなZSD参照は、名前空間を指定するフィールドを含むように修正されうる。シーン間通信は、排他的シーンに何があるかをオーバレイシーンに通知するような動作のために有用である。シーン間通信をサポートするために、送信側は、イベントを生成するためのアクションをトリガする。次いで、これらのイベントは、イベントプロセッサ714によって各シーンに配布される。イベントがリソースIDを含む場合、そのIDは、目的シーンにおける等価なリソースにマップされる。目的シーンが等価なリソースを含まない場合、イベントプロセッサ714は、次のシーンにイベントを配布するテストに進む。
すべての排他的シーンは、順次に、(1)Entered、(2)Loaded、(3)Steady State、(4)Unloading、(5)Exitedの状態をクライアント上で経過する。排他的シーンのZSDデータは最初に復号され、Entered状態に入る。この時点で、イベントプロセッサ714は、Onloadイベントを始動して、排他的シーンが任意の初期アクションを実行することができるようにする。イベントプロセッサ714がOnloadイベント配布プロセスを完了すると、排他的シーンは、Loaded状態に入る。この時点で、イベントプロセッサ714は、そのキュー712に保留イベントを有することがある。イベントプロセッサ714は、このキュー712の中身を除去し、次いで、排他的シーンをそのSteady State状態に移行させる。図8は、すべての状態でのイベント処理を示すために、シーンメンバシップメッセージ伝達を使用して例示的排他的シーンのライフサイクルを示す。排他的シーンをアンロードするプロセスは、基本的にロードプロセスの逆である。この場合、GoToSceneまたは他のシーン変更アクションが、アンロードプロセスを開始する。この時点で、排他的シーンは、Unloading状態に変化する。すべてのZSDアンロード処理が完了すると、プロセスは、クライアントが排他的シーンのZSDデータの一部または全部を任意選択で保持することができるExited状態に移行する。排他的シーンの状態の変化は、オーバレイシーンが(必要な場合)アクションを行うことができるように、すべての現在ロードされたオーバレイシーンに伝達される。
オーバレイシーンは、独立して排他的シーン上に存在する。例えば、図1(a)では、右上隅に表示された3つのアイコン(家、上矢印、テレビ)は、排他的シーン(MPEG層に実装された様々なDVDカバーの画像)上のオーバレイシーンとして実装することができる。図1および2に示されていない別の例は、ボリュームコントロールおよび/またはチャネル選択ユーザインターフェースオブジェクトのオーバレイシーンとしての提供である。オーバレイシーンの終了は、シーンそれ自体の内部から、または排除的シーンからの要求によって達成することができる。さらに、SceneMembershipNotificationイベントが、例えば、図9に示されるように、オーバレイの持続期間を排除的シーンの特定のセットに限定するために使用されうる。このシーングループに属する各排除的シーンは、それらがロードされるとき、SceneMembershipNotificationメッセージを送る。このシーングループに関連付けられたオーバレイシーンは、オーバレイシーンがロード状態を継続すべきかまたはそれ自体を終了すべきかどうかを見分けるために、ExclusiveSceneChangeイベントおよびSceneMembershipNotificationメッセージを使用する。オーバレイシーンが、そのシーングループに一致するSceneMembershipNotificationを受け取る限り、オーバレイ画面は、ロード状態を継続することができる。(図9で触れる)トリプルテーブルは、より詳細に後で説明する。
本発明の一例示的実施形態によれば、各シーンは、以下の記述情報を含む。
Figure 2008502230
ZSDロード時間のパフォーマンスを改善するために、クライアントデバイス44は、任意選択で、ZSDキャッシュ722を実装することができる。ZSD符号化シーンは、キャッシング動作がもはや有用でないときをクライアントに指示するためのキャッシングプロパティを指定する。例えば、スポーツの得点のような一時的に重要な情報は、長期間キャッシュされるべきではない。表4は、例示的キャッシングプロパティタイプを列挙しそれらの用途を説明している。
Figure 2008502230
本発明による例示的シーンデータフォーマットは、(本明細書では「要素」と呼ぶことがある)4つの基本データタイプ、具体的には、オブジェクト、イベント、アクション、およびリソースを有する。高レベルでは、オブジェクトは、MPEG層、オーバレイテキスト、およびオーバレイ画像におけるボタンおよびアイコンの範囲などのようなシーンコンポーネントを記述する。イベントは、シーンに関連する通知を記述する。これらには、マウス(ポインタ)移動イベント、キーボードイベント、アプリケーション状態変化イベントなどが含まれる。アクションは、別のシーンに進むなどのイベントへの応答を記述し、最終的に、リソースは、オブジェクト、イベント、およびアクションによって使用される生データ、例えば画像データを含む。これらの各データタイプは、より詳細に後で説明する。
本発明の例示的実施形態による(プロパティの任意選択のセットを含む)例示的オブジェクトタイプおよびそれらに関連付けられたパラメータを、表5〜8で説明する。
Figure 2008502230
Figure 2008502230
Figure 2008502230
Figure 2008502230
他のシーン記述フォーマット要素のように、各イベントは、グローバルに固有の値が割り当てられる。いくつかのイベントタイプは、それらがトリガするアクションを制約するためにフィルタを利用する。例えば、OnKeyPressイベントは、当該のキーを使用する。フィルタに追加して、イベントは、後述のようにリソースをアクションスタック上にプッシュすることができる。アクションは、それらの動作を修正するためにスタック上の情報を使用することができる。例示的イベントタイプは、以下で表9に列挙する。オーバレイシーンは、ディスパッチャによってイベントの伝搬に影響を与える。配布セマンティクスは、表では以下のように略記される。
1.アクティブ:ディスパッチャが、アクティブシーンのみにイベントを送る。例えば、シーンがロードされたとき、OnLoadイベントが、そのシーンのみに送られる。
2.リソースフィルタを有するシーン:ディスパッチャが、これらのイベントを、イベントについてリソーステーブルエントリを含むシーンのみに送る。シーンのトリプルテーブルを介して反復する前に、イベントディスパッチャは、イベントにおけるリソースIDを、シーンにおけるそれらの等価物に再マップする。
3.オーバレイのみ:ディスパッチャは、これらのイベントをオーバレイシーンのみに送る。
4.両方:ディスパッチャは、このイベントを、まずオーバレイシーンに送り、次いで排他的シーンに送る。
Figure 2008502230
本明細書で説明したアーキテクチャおよび方法の動作において、オブジェクト上のイベントの結果が、アクションである。プログラム形成するためのZSDアクションテーブルに、複数のアクションを一緒にリンクすることができる。イベントからアクションに、およびリンクされたアクションに、パラメータを渡すことを容易にするために、ZSDインタプリタが、アクションスタックを維持する。アクションスタックは、アクションリストの第1のアクションを配布する前に、以下の項目の順で初期化される。
1.アクションをトリガしたトリプルテーブルエントリにおけるオブジェクト
2.アクションをトリガしたトリプルテーブルエントリにおけるイベント
3.イベントからアクションスタック上にプッシュされた要素
各アクションを配布する前に、ZSDインタプリタは、アクションのパラメータをスタック上に論理的にプッシュする。実装では、単純にするために、組込みアクションでこの動作を短絡することができる。各アクションタイプは、そのスタックの使用を指定する。一般に、ZSDインタプリタは、スタックの使用が最小限に維持されるように、小さなアクションスタック(例えば、16〜32個の要素)を割り当てることができ、ZSDインタプリタが常に充分なスタックを有することを保証するために、ZSDエンコーダは、ヘッダに最大スタックサイズを指定しなければならない。すべてのアクションタイプは、最大スタックサイズの計算を単純化するために反復を避けるべきである。例示的アクションタイプを、以下で表10（表10Aおよび表10B）に列挙する。
Figure 2008502230
Figure 2008502230
本発明と併せて使用することができる例示的リソースを、以下で表11に列挙する。
Figure 2008502230
本発明の例示的実施形態によれば、シーン記述フォーマットは、以下で表12〜17に説明するように、5つのテーブル、すなわち、オブジェクトテーブル、イベントテーブル、アクションテーブル、リソーステーブル、および、1つまたは複数のトリプルテーブルに、すべてのシーン対話情報をグループ分けする。このテーブルへの分割により、ほとんどの冗長な情報が除去され、ローエンドのクライアント44上の対話動作の迅速な検索が可能になる。
Figure 2008502230
Figure 2008502230
Figure 2008502230
Figure 2008502230
Figure 2008502230
Figure 2008502230
本発明による例示的シーンデータフォーマットに関する様々な追加の情報は、先に参照により組み込まれた優先権出願に見ることができる。
ローカルストレージを有していないクライアントデバイス44が、サーバ42にシーンおよび移行を要求する。この機能を実行するために使用することができるメッセージの例示的セットを、以下で表18に示す。クライアント/サーバリンクは、例えば、イーサネット（登録商標）接続、(OOB通信のためにケーブルネットワークで現在使用されている)QPSKチャネル、または他の任意のプロトコルまたはタイプの接続を介して構成される。このメッセージのセットは、単に例示であり、いくつかのメッセージが、追加されても除去されてもよいことは、当業者には理解されよう。
Figure 2008502230
ホバーズーム
上述のように、本発明による例示的クライアント/サーバアーキテクチャおよび方法の1つの特徴は、いくつかの既存のクライアントデバイスに関連した使用可能な比較的少量のメモリおよび/または処理能力を考慮に入れながら、洗練されたユーザインターフェースをクライアント側で生成する能力を提供することである。上述のシステムおよび方法がこの問題に対処する方法の一例は、本明細書で「ホバーズーム」と呼ばれるユーザインターフェース対話について見ることができ、例えば、ユーザが、選択可能なメディアアイテムに対するインジケータ上にカーソルを進めるかつ/または停止させたとき、それに関連付けられた画像が、どのオブジェクトが選択される態勢であるかをユーザが容易に分かるように拡大されるプロセスがあり、その例は、図1(a)および1(b)に示されている。
クライアントデバイスが有するメモリおよび/または処理能力が限られている双方向テレビジョンシステムのような帯域が限られたシステムでは、ホバーズーム機能の実装に関連するいくつかの難題がある。図1(a)に示されるユーザインターフェース画面が、様々な映画に関連付けられたカバーアート画像を含みユーザインターフェースサーバ42からクライアント44に送信されるMPEGデータストリームを使用してレンダリングされる例を、検討する。ユーザインターフェース画面の可視部分は、本明細書では、背景層と呼ばれる。イベントマッパ710およびイベントプロセッサ714が、ユーザがホバーズーム応答をトリガしたと認識すると、前景層(例えば、"Apollo 13"画像の拡大されたバージョン)が、生成され、図1(a)のユーザインターフェース画面を修正するために使用される。図1(a)に示されるユーザインターフェース画面から図1(b)に示されるユーザインターフェース画面への移行のために使用されるデータを提供するためのいくつかの可能性がある。ホバーズーム効果を実装するための1つの方法は、ユーザインターフェースサーバ42により、背景層と前景層の両方に対応するMPEGデータの完全セットをクライアント44へ送信することである。しかし、ユーザが、潜在的に、ユーザインターフェース内の非常に多数の画面オブジェクト、例えば数十や数百の画面オブジェクト上に、かなり迅速にカーソルを進めることができることを考慮すると、ユーザインターフェースサーバ42によって送信する必要があるデータの量は、本発明のこの例示的実施形態を実装するためには、かなり多くなることがあり、その結果、クライアントデバイス44上の画面移行のレンダリングにさらに遅延が生じる。
さらに、図1(a)と図1(b)を比較すると分かるように、図1(a)のズームされていないバージョンに関連付けられたピクセルデータの大部分は、図1(b)のホバーズームされたバージョンを作成する際に再使用される。したがって、本発明の別の例示的実施形態によれば、背景層のピクセルと前景層のピクセルの関係を決定して、ホバーズーム効果を生成するためにクライアントデバイス44に送信される必要があるデータの量を減少させるために使用することができる。この関係は、ホバーズーム効果の一部として拡大されるオブジェクトに応じて、比較的単純にも、よりいくらか複雑にもなりうる。例えば、図1(a)の長方形のDVDカバーアート画像のサイズを拡大することは、本質的に、長方形の画像を拡大して、移行の一部として隣接画像を隠蔽することを伴う。一方、より複雑な形状、例えば、中央に穴を有するドーナッツ状のオブジェクトでは、ホバーズーム効果を生成するために、より複雑な状況が与えられる。ドーナッツ状のオブジェクトが拡大される場合を考えると、中央の穴は、以前は隠されていた背景層のピクセルがホバーズーム効果の発生後に明示されるように拡大される。
本発明の例示的一実施形態によれば、画像の前景バージョンにおける各ピクセルは、(1)完全に不透明(背景層からピクセル色を抽出することができ、したがって、前景層生成のために再送信する必要がない)、(2)透明(無関係、したがって、前景層のために再送信する必要がない)、(3)半透明(例えば、アンチエイリアスを適用することができる画像のエッジ周辺のピクセル。これらのピクセルについて前景層データを送信する必要がある)、および、(4)ヌル(例えば、背景ピクセルを明示するドーナッツの「穴」のピクセル。背景層ピクセルが、ズームされていないインターフェース画面を作成するために当初に送信された背景層から抽出できるとは限らないため、背景層ピクセルを送信する必要がある)のうちの1つに分類することができる。この分類は、手動観測を含めて任意の所望の技術を使用して、かつ/または後述の擬似コード処理技術を使用して事前に行うことができ、前景層の各ピクセルが分類される前景/背景マップが生成される。ホバーズームマップは、ユーザインターフェースにおいてホバーズーム効果をトリガできる画像ごとに格納されうる。
背景を取り込むために、
for(node=scenegraph.rootO;node!=前景ノード;node=次のノード)if(ノード範囲が前景範囲内である)
ノードを背景画像にペイントする
前景を取り込むために、
前景ノードを前景の元のサイズを有する画像に描画する(低解像度画像)
前景ノードを前景の最大サイズを有する画像に描画する(高解像度画像)
マッピングの後、このデータは、ステップ1010および1012で保存され転送されるデータの量を減少させるために、例えば、アルファ情報に基づいて背景ピクセルの該当性を評価するための以下の擬似コードを使用して、符号化される。
アルファ情報を取り込むために、
前景ノード開始範囲を計算する 前景ノード終了範囲を計算する
アルファ値のみを含む前景開始範囲のサイズのアルファ画像を作成し、不透明に初期設定する
画像のアルファ合成ルールを、それの現行の値またはそれに描画されるピクセルの値の最小値を維持するように設定する
while(foreground.size()<終了範囲)アルファ画像に前景を描画する
前景サイズを大きくする
どのピクセルが背景画像に必要かを計算するために、
透明である元の背景画像内の任意のピクセルは、無関係である
すべての残りの該当の背景画像のピクセルについて、
If(低解像度前景ピクセルが透明である)
背景ピクセルは無関係である
Else if(低解像度前景ピクセルが不透明であり、かつ取り込まれたアルファピクセルが不透明である)
背景ピクセルは無関係である
Else
背景ピクセルは該当する
このような方法で符号化される特定の画像に応じて、前景層ピクセルのほとんどは、不透明に指定され、ホバーズーム効果を生成するためにクライアントデバイス44に再送信される必要がない。
本発明の例示的実施形態によるホバーズーム処理は、概略的に図10に示される。図において、画像のMPEG(背景)バージョン1000、および、例えばPNGまたはJPEGの、拡大されることになる画像のズームされていないバージョン1002(例えば、図1(a)のApollo 13)が、与えられている。背景画像1000は、画像のスームされていないバージョン1002と組み合わされ、ステップ1006の圧縮の後、MPEGデータストリームでクライアントデバイス44に送信される。上述の前景/背景マップは、ステップ1008でストレージから取り出され、前景層および背景層に関連付けられたどのピクセルデータが送信される必要があるかを決定するために使用される。そのデータは、ステップ1010および1012で符号化(圧縮)され、ZSD画像ファイルとして保存され、クライアントデバイス44に送信される。本発明のこの例示的実施形態ではこの情報を、MPEGデータストリーム外部のシーンデータ(ZSDデータ)として送信するが、代替として、MPEGデータストリーム内に埋め込むこともできる。
本発明の例示的実施形態による上述のホバーズーム技術を読んで理解されるように、例えばケーブルネットワークに接続された、クライアントデバイスにおける(ズーミングを利用する)洗練されたユーザインターフェースを生成することに関連するいくつかの難題は、送信される特定のデータに対する符号化ストリームのインテリジェントな選択によって対処することができる。前述のホバーズームの例では、背景データは、そうしたネットワークで利用可能なMPEG符号化ストリームを使用して送られ、一方、前景情報は、異なるタイプの(上述の)符号化を使用して送られ、OSD層を介した表示のために処理される。しかし、本発明の例示的実施形態では、他のサーバ/クライアントデータ転送が、クライアントデバイス44にデータを供給する上流ノードのうちの1つにおいて、データ、特にユーザインターフェースのズーミングに関連付けられたデータを送信するために適切な符号化/データストリームのタイプを選択的に決定することの利益を得ることが企図される。
この一般的概念が、図11に示されている。図において、データは、ブロック1100で、評価されて、それが第1のデータであるか第2のデータであるかを決定し、そのデータを処理するために符号化(および関連した送信データストリーム)のタイプを選択的に決定する。第1および第2のデータは、異なるタイプのデータであっても、異なる特性を有する同じタイプのデータであってもよい。前者の例は、ホバーズームデータである(背景データが第1のデータであり前景データ第2のデータである)。後者の例は、テキストである。MPEG符号化は、テキストを符号化するために特に効率的であるのではなく、したがって、例えば、送信されるテキストが所定のフォントサイズ(例えば、16ポイント)未満である場合、別のタイプの符号化を用いて特定の状況下でテキストを符号化するのが望ましいことがある。
本発明の例示的実施形態によるメタデータを処理するためのシステムおよび方法は、メモリデバイス(図示せず)に含まれる命令シーケンスを実行するプロセッサによって実施することができる。そうした命令は、2次データストレージデバイスなど他のコンピュータ可読媒体からメモリデバイスに読み込むことができる。メモリデバイスに含まれるこれらの命令シーケンスの実行により、例えば上述のように、プロセッサが動作する。代替実施形態では、本発明を実装するために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて配線回路を使用することができる。
上述の例示的実施形態は、あらゆる点で本発明を限定するものではなく例示するものである。したがって、本発明は、実装の詳細において多くの変形が可能であり、それらは、当業者によって本明細書に含まれる説明から導き出すことができる。例えば、MPEG符号化およびMPEGデータストリームが上述の例示的実施形態で説明されたが、異なるタイプの符号化およびデータストリーム、例えば、Windows（登録商標） Mediaベースのコンテンツなどで使用されるビデオ符号化が、部分的にまたは全体で代わりに用いられてもよいことは理解されよう。さらに、(MPEG)画像および/またはビデオデータは、ケーブルネットワークの全部または一部を経由して送信されるものとして説明されたが、本発明は、例えば、ホームディスク上でまたはローカルサーバから、画像および/またはビデオデータをローカルで利用可能なシステムに、同様に適用することができる。このようなすべての変形形態および修正形態は、添付の特許請求の範囲によって定義される本発明の範囲および精神の範囲内であると見なされる。本発明の説明で用いられる要素、動作、または命令は、本発明に不可欠または本質的であると明示的に説明されない限り、そのように解釈されるべきではない。また、本明細書では、冠詞「a」は、1つまたは複数の要素を含むことが意図される。
本発明に従って処理されるデータを使用して生成されうるホバーズーム機能を示すユーザインターフェースの画面を示す図である。 本発明に従って処理されるデータを使用して生成されうるホバーズーム機能を示すユーザインターフェースの画面を示す図である。 本発明に従って処理されるデータを使用して生成されうるユーザインターフェースの別の画面を示す図である。 例示的メタデータタイプおよびソースを示す表である。 本発明の例示的実施形態によるクライアント/サーバアーキテクチャを示す図である。 本発明の例示的実施形態による、図4のMPEG-2移行およびシーンエンコーダをより詳細に示す図である。 本発明の例示的実施形態による、図4のシーン要求プロセッサをより詳細に示す図である。 本発明の例示的実施形態による、図4のクライアントユーザインターフェース状態機械をより詳細に示す図である。 本発明の例示的実施形態による、イベントプロセッサ、シーンローダ、排他的シーン、およびオーバレイシーンの間の例示的メッセージ相互作用を示す図である。 本発明の例示的実施形態によるアーキテクチャおよび方法に関連する別の例示的メッセージ相互作用を示す図である。 本発明の例示的実施形態による、ホバーズーム効果に関連付けられたデータを符号化するための技術を示す図である。 本発明の例示的実施形態による、クライアントデバイスへの送信のためのデータの選択的符号化を示す図である。
符号の説明
42 ユーザインターフェースサーバ
44 クライアントデバイス
46 表示装置
52 MPEG-2移行およびシーンエンコーダ
54 MPEGおよびZSDキャッシュユニット
56 シーン要求プロセッサ
62 クライアントユーザインターフェース状態機械
64 MPEGストリーム受信器
500 MPEG-2エンコーダ
510 動き推定ユニット
600 クライアント要求プロセッサ

Claims (62)

  1. ケーブルネットワークを介して送信されたデータを使用してテレビジョン上でズーミングユーザインターフェースを生成するための方法であって、
    前記テレビジョン上で第1のユーザインターフェース画面を生成するステップであって、前記第1のユーザインターフェース画面は、それに関連付けられた複数の画像を有し、前記複数の画像は、MPEG符号化を用いて、前記第1のユーザインターフェース画面に関連付けられた第1のデータセットの一部分として、前記ケーブルネットワークを介して前記テレビジョンに接続されたセットトップボックスに送信される、ステップと、
    前記テレビジョンに接続されたセットトップボックスにおいて、前記複数の画像を受け取り、それらに基づいて前記第1のユーザインターフェース画面の生成を制御する、クライアントユーザインターフェース状態機械を提供するステップと、
    前記クライアントユーザインターフェース状態機械によって、前記第1のユーザインターフェース画面に関連付けられたユーザ対話データを受け取るステップと、
    前記ユーザ対話データに基づいて、前記第1のユーザインターフェース画面から第2のユーザインターフェース画面へのズーミング移行を提供するための情報を、前記セットトップボックスの上流に配置された要求プロセッサに要求するステップと、
    前記セットトップボックスによって、前記ズーミング移行および前記第2のユーザインターフェース画面に関連付けられた第2のデータセットを受け取るステップであって、前記第2のデータセットの一部分は、MPEGデータストリームとして受け取られ、前記第2のデータセットの一部分は、前記MPEGデータストリームとは異なる別のデータストリームとして受け取られる、ステップと、
    前記クライアントユーザインターフェース状態機械の制御下で、前記第2のデータセットを使用して、前記テレビジョン上で前記スーミング移行および前記第2のユーザインターフェースを生成するステップとを含む方法。
  2. 前記スーミング移行は、ホバーズーム効果であり、前記第2のユーザインターフェース画面は、前記第1のユーザインターフェース画面内の前記複数の画像のうちの1つの画像のバージョンに対して拡大された前記複数の画像のうちの前記1つの画像を描画し、前記複数の画像のうちの前記1つの画像は、前記ユーザによって選択され、前記複数の画像の他の画像を部分的に覆い隠す、請求項1に記載の方法。
  3. 前記ズーミング移行は、前記複数の画像のうちの1つの拡大および変換を含む、請求項1に記載の方法。
  4. 前記第2のユーザインターフェース画面は、前記複数の画像のうちの選択された1つに関連付けられた追加の詳細を描画する、請求項3に記載の方法。
  5. 前記追加の詳細は、前記テレビジョン上にテキストとしてレンダリングされ、前記テキストは、前記別のデータストリームを介して前記クライアントユーザインターフェース状態機械によって受け取られる、請求項4に記載の方法。
  6. 前記第1および第2のセットのデータは、前記複数の画像を含む、前記第1および第2のセットのデータに含まれる他のデータを使用して、それぞれ前記第1および第2のユーザインターフェース画面をどのようにレンダリングするかを前記クライアントユーザ状態機械に指示するシーン記述を含む、請求項1に記載の方法。
  7. ディスプレイを含むクライアントシステム上でズーミングユーザインターフェースを生成するための方法であって、
    前記ディスプレイ上で第1のユーザインターフェース画面を生成するステップと、
    ユーザ入力を受け取るステップと、
    前記クライアントシステムによって、要求に関連付けられたズーミング移行を実行するための命令を求める前記要求を送るステップと、
    前記命令を受け取るステップと、
    前記ディスプレイ上で第2のユーザインターフェース画面および前記ズーミング移行を生成するステップとを含む方法。
  8. 前記スーミング移行は、ホバーズーム効果であり、前記第2のユーザインターフェース画面は、前記第1のユーザインターフェース画面内の前記複数の画像のうちの1つの画像のバージョンに対して拡大された前記複数の画像のうちの前記1つの画像を描画し、前記複数の画像のうちの前記1つの画像は、前記ユーザによって選択され、前記複数の画像の他の画像を部分的に覆い隠す、請求項7に記載の方法。
  9. 前記ズーミング移行は、複数の画像のうちの1つの拡大および変換を含む、請求項7に記載の方法。
  10. 前記第2のユーザインターフェース画面は、前記複数の画像のうち選択された1つに関連付けられた追加の詳細を描画する、請求項9に記載の方法。
  11. 前記クライアントシステムは、テレビジョンを含む、請求項7に記載の方法。
  12. 前記クライアントシステムは、セットトップボックスを含む、請求項7に記載の方法。
  13. 前記クライアントシステムは、パーソナルコンピュータを含む、請求項7に記載の方法。
  14. 前記命令は、オブジェクト、イベント、アクション、およびリソースのうちの少なくとも1つを含むシーンデータフォーマットを使用して提供される、請求項7に記載の方法。
  15. 前記オブジェクトは、MPEG層におけるボタンおよびアイコンの範囲、オーバレイテキスト、ならびにオーバレイ画像のうちの少なくとも1つを含む、前記第2のユーザインターフェース画面に関連付けられたコンポーネントを記述する、請求項14に記載の方法。
  16. 前記イベントは、ポインタ移動イベント、キーボードイベント、アプリケーション状態変更イベントのうちの少なくとも1つを含む、前記第2のユーザインターフェース画面に関連付けられた通知を記述する、請求項14に記載の方法。
  17. 前記アクションは、第3のユーザインターフェース画面への移動を含む、前記イベントへの応答を記述する、請求項14に記載の方法。
  18. 前記リソースは、前記オブジェクト、前記イベント、および前記アクションによって使用される画像データを含む、請求項14に記載の方法。
  19. クライアントシステム上でズーミングユーザインターフェースを生成するためのシステムであって、
    ディスプレイと、
    前記ディスプレイ上で第1のユーザインターフェース画面を生成し、ユーザ入力を受け取り、要求に関連付けられたズーミング移行を実行するための命令を求める前記要求を送るための、プロセッサとを含み、
    前記プロセッサは、前記命令を受け取り、前記ディスプレイ上で第2のユーザインターフェース画面および前記ズーミング移行を生成するシステム。
  20. 前記スーミング移行は、ホバーズーム効果であり、前記第2のユーザインターフェース画面は、前記第1のユーザインターフェース画面内の前記複数の画像のうちの1つの画像のバージョンに対して拡大された前記複数の画像のうちの前記1つの画像を描画し、前記複数の画像のうちの前記1つの画像は、前記ユーザによって選択され、前記複数の画像の他の画像を部分的に覆い隠す、請求項19に記載のシステム。
  21. 前記ズーミング移行は、複数の画像のうちの1つの拡大および変換を含む、請求項19に記載のシステム。
  22. 前記第2のユーザインターフェース画面は、前記複数の画像のうち選択された1つに関連付けられた追加の詳細を描画する、請求項21に記載のシステム。
  23. 前記クライアントシステムは、テレビジョンを含む、請求項19に記載のシステム。
  24. 前記クライアントシステムは、セットトップボックスを含む、請求項19に記載のシステム。
  25. 前記クライアントシステムは、パーソナルコンピュータを含む、請求項19に記載のシステム。
  26. 前記命令は、オブジェクト、イベント、アクション、およびリソースのうちの少なくとも1つを含むシーンデータフォーマットを使用して提供される、請求項19に記載のシステム。
  27. 前記オブジェクトは、MPEG層におけるボタンおよびアイコンの範囲、オーバレイテキスト、ならびにオーバレイ画像のうちの少なくとも1つを含む、前記第2のユーザインターフェース画面に関連付けられたコンポーネントを記述する、請求項26に記載のシステム。
  28. 前記イベントは、ポインタ移動イベント、キーボードイベント、アプリケーション状態変更イベントのうちの少なくとも1つを含む、前記第2のユーザインターフェース画面に関連付けられた通知を記述する、請求項26に記載のシステム。
  29. 前記アクションは、第3のユーザインターフェース画面への移動を含む、前記イベントへの応答を記述する、請求項26に記載のシステム。
  30. 前記リソースは、前記オブジェクト、前記イベント、および前記アクションによって使用される画像データを含む、請求項26に記載のシステム。
  31. ケーブル通信ネットワークにおいて上流ノードからクライアントデバイスに、ズーム可能ユーザインターフェースを生成するためのデータを送信するための方法であって、
    前記上流ノードから前記クライアントデバイスに送信されるデータを第1のデータまたは第2のデータとして選択的に識別するステップと、
    MPEG符号化を用いて前記第1のデータを符号化するステップと、
    前記MPEG符号化データをMPEGデータストリームを介して前記クライアントデバイスに送信するステップと、
    MPEG符号化と異なる第2のタイプの符号化を用いて前記第2のデータを符号化するステップと、
    前記符号化された第2のデータを第2のデータストリームを用いて前記クライアントデバイスに送信するステップと、
    前記第1および第2のデータを使用して前記ズーム可能ユーザインターフェースを生成するステップとを含む方法。
  32. ケーブル通信ネットワークにおいて上流ノードからクライアントデバイスに、ズーム可能ユーザインターフェースを生成するためのデータを送信するための方法であって、
    第1のタイプの符号化および第1のデータストリームを用いて第1のデータを送信するステップと、
    第2のタイプの符号化および第2のデータストリームを用いて第2のデータを送信するステップであって、前記第2のタイプの符号化は、前記第1のタイプの符号化と異なるステップと、
    前記第1および第2のデータを使用して前記クライアントデバイスにおいて前記ズーム可能ユーザインターフェースを生成するステップとを含む方法。
  33. 前記第1のタイプの符号化は、MPEG符号化であり、前記第2のタイプ符号化は、シーンデータ符号化である、請求項32に記載の方法。
  34. 前記第1のデータは、ユーザインターフェース上で生成される背景層に関連付けられた画像データであり、前記第2のデータは、前記ユーザインターフェース上で生成される前景層に関連付けられた画像データである、請求項33に記載の方法。
  35. 前記第1のデータは、画像またはビデオデータであり、前記第2のデータは、テキストである、請求項33に記載の方法。
  36. テキストが所定の閾値より大きいフォントサイズを有する場合は、前記第1のデータストリームを介して、前記テキストを第1のデータとして送信するステップと、
    そうでない場合は、前記第2のデータストリームを介して、前記テキストを第2のデータとして送信するステップとをさらに含む、請求項32に記載の方法。
  37. 前記第1のタイプの符号化は、MPEG符号化である、請求項36に記載の方法。
  38. 前記上流ノードは、前記ケーブル通信ネットワークのヘッドエンド部分である、請求項32に記載の方法。
  39. 前記クライアントデバイスは、セットトップボックスとパーソナルコンピュータとのうちいずれか1つである、請求項32に記載の方法。
  40. ケーブル通信ネットワークにおいて上流ノードからクライアントデバイスに、ズーム可能ユーザインターフェースを生成するためのデータを送信するためのシステムであって、
    第1のタイプの符号化および第1のデータストリームを用いて第1のデータを送信し、第2のタイプの符号化および第2のデータストリームを用いて第2のデータを送信するための上流プロセッサであって、前記第2のタイプの符号化は、前記第1のタイプの符号化と異なる、上流プロセッサと、
    前記第1および第2のデータを使用して前記クライアントデバイスにおいて前記ズーム可能ユーザインターフェースを生成するためのクライアント側プロセッサとを含むシステム。
  41. 前記第1のタイプの符号化は、MPEG符号化であり、前記第2のタイプ符号化は、シーンデータ符号化である、請求項40に記載のシステム。
  42. 前記第1のデータは、ユーザインターフェース上で生成される背景層に関連付けられた画像データであり、前記第2のデータは、前記ユーザインターフェース上で生成される前景層に関連付けられた画像データである、請求項41に記載のシステム。
  43. 前記第1のデータは、画像またはビデオデータであり、前記第2のデータは、テキストである、請求項41に記載のシステム。
  44. 前記プロセッサはさらに、テキストが所定の閾値より大きいフォントサイズを有する場合、前記第1のデータストリームを介して、前記テキストを前記第1のデータとして送信し、そうでない場合、前記第2のデータストリームを介して、前記テキストを前記第2のデータとして送信するように動作する、請求項40に記載のシステム。
  45. 前記第1のタイプの符号化は、MPEG符号化である、請求項44に記載のシステム。
  46. 前記上流ノードは、前記ケーブル通信ネットワークのヘッドエンド部分である、請求項40に記載のシステム。
  47. 前記クライアントデバイスは、セットトップボックスとパーソナルコンピュータとのうちいずれか1つである、請求項40に記載のシステム。
  48. ユーザインターフェース上でホバーズーム効果を生成するための方法であって、
    背景層データおよび前景層データをクライアントデバイスに送信するステップと、
    前記背景層データに基づいて背景層を表示するステップと、
    前記ホバーズーム効果に関連付けられたユーザアクションを識別するステップと、
    前記ユーザアクションに応答して、前記前景層データに基づいて前景層を前記背景層上のオーバレイとして表示するステップとを含む方法。
  49. 前記ユーザアクションは、表示された画像上にカーソルを進めることであり、前記前景層は、前記表示された画像の拡大されたバージョンを含む、請求項48に記載の方法。
  50. 前記前景層における各ピクセルを、(1)前記背景層データから抽出可能である、または、(2)前記クライアントデバイスに送る必要があるとして分類するステップをさらに含む、請求項48に記載の方法。
  51. 背景層データおよび前景層データを送信する前記ステップは、
    前記分類ステップに基づいて前記前景層におけるピクセルデータを選択的に送信するステップをさらに含む、請求項50に記載の方法。
  52. 前記ホバーズーム効果の結果として明示される追加の背景ピクセルを識別するステップと、
    前記追加の背景ピクセルに関連付けられた背景層データを送信するステップとをさらに含む、請求項50に記載の方法。
  53. ユーザインターフェース上でホバーズーム効果を生成するためのクライアントシステムであって、
    背景層データおよび前景層データを受け取るための少なくとも1つの受信器と、
    前記背景層データに基づいて背景層を生成し、前記ホバーズーム効果に関連付けられたユーザアクションを識別し、前記ユーザアクションに応答して、前記前景層データに基づいて前景層を前記背景層上のオーバレイとして生成するためのプロセッサとを含むクライアントシステム。
  54. 前記ユーザアクションは、表示された画像上にカーソルを進めることであり、前記前景層は、表示された画像の拡大されたバージョンを含む、請求項53に記載のシステム。
  55. 前記受信器はまた、前記前景層における各ピクセルを、(1)前記背景層データから抽出可能である、または、(2)前記クライアントデバイスに送る必要があるとして分類する、請求項53に記載のシステム。
  56. 前記受け取られた前景層データは、前記前景層を生成するための、前記データプロセッサによって必要とされるデータの一部のみを含み、前記プロセッサは、前記背景層データから追加のデータを抽出する、請求項55に記載のシステム。
  57. ユーザインターフェース画面の生成に使用されるデータをMPEG符号化するための方法であって、
    第1および第2のユーザインターフェース画面を有するユーザインターフェースを提供し、前記第1および第2のユーザインターフェース画面上のオブジェクト位置に関連付けられたデータを格納するステップと、
    前記格納されたデータを使用して、MPEGデータフレームに関連付けられた動きベクトルを決定するステップと、
    前記動きベクトルをMPEGエンコーダに送るステップと、
    前記動きベクトルを使用して、前記データをMPEG符号化するステップとを含む方法。
  58. 前記格納されたデータを使用してMPEGデータフレームに関連付けられた動きベクトルを決定する前記ステップは、
    前記格納されたデータを使用して、(1)標準MPEG動きベクトル探索アルゴリズムとは独立して動きベクトルを決定する、または、(2)前記標準MPEG動きベクトル探索アルゴリズムを選択的に利用して前記動きベクトルを決定する、ステップをさらに含む、請求項57に記載の方法。
  59. 前記格納されたデータを使用してMPEGデータフレームに関連付けられた動きベクトルを決定する前記ステップは、
    前記格納されたデータを使用して、(1)標準MPEG動きベクトル探索アルゴリズムとは独立して動きベクトルを決定する、(2)前記標準MPEG動きベクトル探索アルゴリズムを選択的に利用して前記動きベクトルを決定する、または、(3)前記標準MPEG動きベクトル探索アルゴリズムの探索範囲を縮小する、ステップをさらに含む、請求項57に記載の方法。
  60. ユーザインターフェース画面の生成に使用されるデータをMPEG符号化するためのシステムであって、
    第1および第2のユーザインターフェース画面を有するユーザインターフェースと、
    前記第1および第2のユーザインターフェース画面上のオブジェクト位置に関連付けられたデータを格納するためのデータストレージユニットと、
    前記格納されたデータを使用してMPEGデータフレームに関連付けられた動きベクトルを決定するための動き推定ヒントエンコーダと、
    前記動きベクトルを使用してデータを符号化するためのMPEGエンコーダとを含むシステム。
  61. 動き推定ヒントエンコーダは、前記格納されたデータを使用して、(1)標準MPEG動きベクトル探索アルゴリズムとは独立して動きベクトルを決定する、または、(2)前記標準MPEG動きベクトル探索アルゴリズムを使用して前記動きベクトルを決定するように前記MPEGエンコーダに選択的に指令する、請求項60に記載のシステム。
  62. 前記動き推定ヒントエンコーダは、前記格納されたデータを使用して、前記MPEGエンコーダに、前記標準MPEG動きベクトル探索アルゴリズムが利用される縮小された探索範囲を提供する、請求項60に記載のシステム。
JP2007515651A 2004-06-03 2005-06-03 ズーム可能ユーザインターフェースのためのクライアント／サーバアーキテクチャおよび方法 Expired - Fee Related JP4955544B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US57678604P 2004-06-03 2004-06-03
US60/576,786 2004-06-03
PCT/US2005/019705 WO2005120067A2 (en) 2004-06-03 2005-06-03 Client-server architectures and methods for zoomable user interface

Publications (2)

Publication Number Publication Date
JP2008502230A true JP2008502230A (ja) 2008-01-24
JP4955544B2 JP4955544B2 (ja) 2012-06-20

Family

ID=35463635

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007515651A Expired - Fee Related JP4955544B2 (ja) 2004-06-03 2005-06-03 ズーム可能ユーザインターフェースのためのクライアント／サーバアーキテクチャおよび方法

Country Status (6)

Country Link
US (2) US7634793B2 (ja)
EP (1) EP1769318B1 (ja)
JP (1) JP4955544B2 (ja)
KR (1) KR101193698B1 (ja)
CN (2) CN101399941A (ja)
WO (1) WO2005120067A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010524056A (ja) * 2007-03-30 2010-07-15 サムスン エレクトロニクス カンパニー リミテッド 遠隔制御装置およびその制御方法

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070013723A1 (en) * 2005-07-12 2007-01-18 Microsoft Corporation Magnification engine and interface for computers
US8074248B2 (en) 2005-07-26 2011-12-06 Activevideo Networks, Inc. System and method for providing video content associated with a source image to a television in a communication network
US8225231B2 (en) 2005-08-30 2012-07-17 Microsoft Corporation Aggregation of PC settings
FR2895190A1 (fr) * 2005-12-19 2007-06-22 France Telecom Procede de fourniture d'un service multimedia a la demande, plate-forme de service, programme et decodeur pour la mise en oeuvre du procede
EP1987484A4 (en) * 2006-02-16 2011-05-25 Hillcrest Lab Inc SYSTEMS AND METHOD FOR PLACING ADVERTISING CONTENT
KR100808991B1 (ko) * 2006-05-04 2008-03-07 삼성전자주식회사 이동통신 단말기에서 전자사전을 이용한 단어검색 방법 및장치
US7956849B2 (en) 2006-09-06 2011-06-07 Apple Inc. Video manager for portable multifunction device
US7864163B2 (en) 2006-09-06 2011-01-04 Apple Inc. Portable electronic device, method, and graphical user interface for displaying structured electronic documents
WO2008044916A2 (en) * 2006-09-29 2008-04-17 Avinity Systems B.V. Method for streaming parallel user sessions, system and computer software
US8056014B2 (en) * 2006-10-04 2011-11-08 International Business Machines Corporation Web portal page interactive user interfaces with maximum accessibility to user selected portlets
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
US9042454B2 (en) 2007-01-12 2015-05-26 Activevideo Networks, Inc. Interactive encoded content system including object models for viewing on a remote device
US20100095236A1 (en) * 2007-03-15 2010-04-15 Ralph Andrew Silberstein Methods and apparatus for automated aesthetic transitioning between scene graphs
US20080301735A1 (en) * 2007-05-31 2008-12-04 Christian Thomas Chicles User interface screen magnifying glass effect
US8127233B2 (en) * 2007-09-24 2012-02-28 Microsoft Corporation Remote user interface updates using difference and motion encoding
US8619877B2 (en) * 2007-10-11 2013-12-31 Microsoft Corporation Optimized key frame caching for remote interface rendering
US8121423B2 (en) 2007-10-12 2012-02-21 Microsoft Corporation Remote user interface raster segment motion detection and encoding
US8106909B2 (en) * 2007-10-13 2012-01-31 Microsoft Corporation Common key frame caching for a remote user interface
US20090128581A1 (en) * 2007-11-20 2009-05-21 Microsoft Corporation Custom transition framework for application state transitions
US9100716B2 (en) * 2008-01-07 2015-08-04 Hillcrest Laboratories, Inc. Augmenting client-server architectures and methods with personal computers to support media applications
US20090177538A1 (en) * 2008-01-08 2009-07-09 Microsoft Corporation Zoomable advertisements with targeted content
KR101560183B1 (ko) * 2008-04-17 2015-10-15 삼성전자주식회사 사용자 인터페이스를 제공/수신하는 방법 및 장치
KR101545137B1 (ko) * 2008-04-17 2015-08-19 삼성전자주식회사 사용자 인터페이스를 생성하는 방법 및 장치
KR20090110202A (ko) * 2008-04-17 2009-10-21 삼성전자주식회사 개인화된 사용자 인터페이스를 디스플레이하는 방법 및 장치
KR101531165B1 (ko) * 2008-04-17 2015-06-25 삼성전자주식회사 클라이언트의 특성을 고려한 사용자 인터페이스를 제공, 수신하는 방법 및 장치
US20090323799A1 (en) * 2008-06-25 2009-12-31 Stmicroelectronics, Inc. System and method for rendering a high-performance virtual desktop using compression technology
US9028260B2 (en) * 2008-09-29 2015-05-12 Cisco Technology, Inc. Automated quiz generation system
KR20100040545A (ko) * 2008-10-10 2010-04-20 삼성전자주식회사 구조화된 리치 미디어 데이터 기반의 사용자 인터페이스를 제공하기 위한 장치 및 방법
US20100149301A1 (en) * 2008-12-15 2010-06-17 Microsoft Corporation Video Conferencing Subscription Using Multiple Bit Rate Streams
US9565479B2 (en) * 2009-08-10 2017-02-07 Sling Media Pvt Ltd. Methods and apparatus for seeking within a media stream using scene detection
US8397167B2 (en) * 2009-08-18 2013-03-12 Dell Products, Lp System and method for a remote console preview of a server
US8947492B2 (en) * 2010-06-18 2015-02-03 Microsoft Corporation Combining multiple bit rate and scalable video coding
US8957920B2 (en) 2010-06-25 2015-02-17 Microsoft Corporation Alternative semantics for zoom operations in a zoomable scene
CN101938631A (zh) * 2010-08-31 2011-01-05 中山大学 一种基于sdf中间件的视频点播***及方法
US9195774B2 (en) * 2010-09-17 2015-11-24 Kontera Technologies, Inc. Methods and systems for augmenting content displayed on a mobile device
US10387524B2 (en) * 2010-09-29 2019-08-20 Open Text Sa Ulc System and method for managing objects using an object map
US8954885B2 (en) * 2010-10-05 2015-02-10 Fergason Patent Properties, Llc Display system using metadata to adjust area of interest and method
AU2011315950B2 (en) 2010-10-14 2015-09-03 Activevideo Networks, Inc. Streaming digital video between video devices using a cable television system
TWI427534B (zh) * 2010-10-20 2014-02-21 藉由圖騰伺服器產生網頁圖騰之方法
US9377876B2 (en) * 2010-12-15 2016-06-28 Hillcrest Laboratories, Inc. Visual whiteboard for television-based social network
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US9423951B2 (en) 2010-12-31 2016-08-23 Microsoft Technology Licensing, Llc Content-based snap point
DE102011002822A1 (de) 2011-01-18 2012-07-19 Siemens Ag Österreich Verfahren und System zum Erstellen einer Bedienoberfläche für interaktive Media-Anwendungen
US9030405B2 (en) 2011-02-04 2015-05-12 Invensense, Inc. High fidelity remote controller device for digital living room
US9383917B2 (en) 2011-03-28 2016-07-05 Microsoft Technology Licensing, Llc Predictive tiling
US8819555B2 (en) * 2011-04-07 2014-08-26 Sony Corporation User interface for audio video display device such as TV
WO2012138660A2 (en) 2011-04-07 2012-10-11 Activevideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US8893033B2 (en) 2011-05-27 2014-11-18 Microsoft Corporation Application notifications
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
US9104440B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US10353566B2 (en) * 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
US8922575B2 (en) 2011-09-09 2014-12-30 Microsoft Corporation Tile cache
US9557909B2 (en) 2011-09-09 2017-01-31 Microsoft Technology Licensing, Llc Semantic zoom linguistic helpers
US9244802B2 (en) 2011-09-10 2016-01-26 Microsoft Technology Licensing, Llc Resource user interface
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US8933952B2 (en) 2011-09-10 2015-01-13 Microsoft Corporation Pre-rendering new content for an application-selectable user interface
US8332767B1 (en) * 2011-11-07 2012-12-11 Jeffrey Beil System and method for dynamic coordination of timelines having common inspectable elements
US9437247B2 (en) * 2011-11-14 2016-09-06 Apple Inc. Preview display for multi-camera media clips
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9123084B2 (en) 2012-04-12 2015-09-01 Activevideo Networks, Inc. Graphical application integration with MPEG objects
US20140006958A1 (en) * 2012-06-29 2014-01-02 Infinera Corporation Digital link viewer
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
CN103067787B (zh) * 2013-01-31 2016-08-10 深圳市酷开网络科技有限公司 一种智能电视的交互***及方法
US20140240353A1 (en) * 2013-02-27 2014-08-28 Blendagram, Inc. System for and method of augmenting video and images
WO2014145921A1 (en) 2013-03-15 2014-09-18 Activevideo Networks, Inc. A multiple-mode system and method for providing user selectable video content
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
EP3005712A1 (en) 2013-06-06 2016-04-13 ActiveVideo Networks, Inc. Overlay rendering of user interface onto source video
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9674558B2 (en) * 2013-10-09 2017-06-06 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and method for managing digital video compression systems
US10740540B2 (en) * 2013-12-13 2020-08-11 Freedom Scientific, Inc. Techniques for programmatic magnification of visible content elements of markup language documents
US9271048B2 (en) * 2013-12-13 2016-02-23 The Directv Group, Inc. Systems and methods for immersive viewing experience
KR102298602B1 (ko) 2014-04-04 2021-09-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 확장가능한 애플리케이션 표시
KR20160143784A (ko) 2014-04-10 2016-12-14 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 컴퓨팅 디바이스용 슬라이더 커버
WO2015154273A1 (en) 2014-04-10 2015-10-15 Microsoft Technology Licensing, Llc Collapsible shell cover for computing device
CN108073334B (zh) * 2014-07-24 2020-12-25 Oppo广东移动通信有限公司 一种基于矢量运算的悬浮触控方法及装置
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US10642365B2 (en) 2014-09-09 2020-05-05 Microsoft Technology Licensing, Llc Parametric inertia and APIs
CN106662891B (zh) 2014-10-30 2019-10-11 微软技术许可有限责任公司 多配置输入设备
US20160371872A1 (en) * 2015-06-18 2016-12-22 Facebook, Inc. Systems and methods for providing transitions between content interfaces
US10365808B2 (en) 2016-04-28 2019-07-30 Microsoft Technology Licensing, Llc Metadata-based navigation in semantic zoom environment
CN105872604B (zh) * 2016-06-15 2018-09-21 武汉斗鱼网络科技有限公司 基于不同用户状态的直播视频流推送方法及***
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000033566A1 (en) * 1998-11-30 2000-06-08 Sony Corporation Information providing device and method
JP2001067163A (ja) * 1999-08-25 2001-03-16 Sony Corp 情報処理装置および情報処理方法、並びに記録媒体
JP2002259077A (ja) * 2001-03-01 2002-09-13 Konica Corp ネットワークプリントシステム及びネットワークプリント方法並びに情報記録媒体
JP2003153254A (ja) * 2001-08-31 2003-05-23 Canon Inc データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69322769T2 (de) * 1992-03-03 1999-07-22 Toshiba Kawasaki Kk Koder für zeitveränderliche bilder
US5524195A (en) * 1993-05-24 1996-06-04 Sun Microsystems, Inc. Graphical user interface for interactive television with an animated agent
US5907323A (en) * 1995-05-05 1999-05-25 Microsoft Corporation Interactive program summary panel
US5845083A (en) * 1996-03-07 1998-12-01 Mitsubishi Semiconductor America, Inc. MPEG encoding and decoding system for multimedia applications
US6606746B1 (en) * 1997-10-16 2003-08-12 Opentv, Inc. Interactive television system and method for displaying a graphical user interface using insert pictures
JP2001507908A (ja) * 1997-11-07 2001-06-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像シーケンスの符号化
US6711297B1 (en) * 1998-07-03 2004-03-23 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Methods and apparatus for dynamic transfer of image data
JP3645720B2 (ja) * 1998-10-02 2005-05-11 松下電器産業株式会社 Ｅｐｇ情報表示方法、及びプログラム記録媒体
WO2000079797A1 (en) * 1999-06-18 2000-12-28 Intel Corporation Systems and methods for enhanced visual presentation using interactive video streams
US6525732B1 (en) * 2000-02-17 2003-02-25 Wisconsin Alumni Research Foundation Network-based viewing of images of three-dimensional objects
KR100739281B1 (ko) * 2000-02-21 2007-07-12 주식회사 팬택앤큐리텔 움직임 추정 방법 및 장치
US6804708B1 (en) 2000-06-29 2004-10-12 Scientific-Atlanta, Inc. Media-on-demand flexible and adaptive architecture
FR2818053B1 (fr) * 2000-12-07 2003-01-10 Thomson Multimedia Sa Procede et dispositif de codage pour l'affichage d'un zoom d'une image codee mpeg2
US20030011636A1 (en) 2001-06-14 2003-01-16 Gene Feroglia Method for magnifying images on a display screen and an interactive television guide system implementing the method
US7260257B2 (en) * 2002-06-19 2007-08-21 Microsoft Corp. System and method for whiteboard and audio capture
US20040268393A1 (en) 2003-05-08 2004-12-30 Hunleth Frank A. Control framework with a zoomable graphical user interface for organizing, selecting and launching media items
KR101167827B1 (ko) 2004-01-16 2012-07-26 힐크레스트 래보래토리스, 인크. 메타데이터 중개 서버 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000033566A1 (en) * 1998-11-30 2000-06-08 Sony Corporation Information providing device and method
JP2001067163A (ja) * 1999-08-25 2001-03-16 Sony Corp 情報処理装置および情報処理方法、並びに記録媒体
JP2002259077A (ja) * 2001-03-01 2002-09-13 Konica Corp ネットワークプリントシステム及びネットワークプリント方法並びに情報記録媒体
JP2003153254A (ja) * 2001-08-31 2003-05-23 Canon Inc データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010524056A (ja) * 2007-03-30 2010-07-15 サムスン エレクトロニクス カンパニー リミテッド 遠隔制御装置およびその制御方法

Also Published As

Publication number Publication date
KR20070027683A (ko) 2007-03-09
US20050283798A1 (en) 2005-12-22
EP1769318A2 (en) 2007-04-04
US7634793B2 (en) 2009-12-15
EP1769318B1 (en) 2015-12-23
KR101193698B1 (ko) 2012-10-22
CN1961281A (zh) 2007-05-09
WO2005120067A3 (en) 2006-10-26
US20100086022A1 (en) 2010-04-08
EP1769318A4 (en) 2007-07-18
CN101399941A (zh) 2009-04-01
WO2005120067A2 (en) 2005-12-15
JP4955544B2 (ja) 2012-06-20
CN100507811C (zh) 2009-07-01

Similar Documents

Publication Publication Date Title
JP4955544B2 (ja) ズーム可能ユーザインターフェースのためのクライアント／サーバアーキテクチャおよび方法
US9100716B2 (en) Augmenting client-server architectures and methods with personal computers to support media applications
JP6677781B2 (ja) コンテンツ表示の方法、デバイス及び記憶媒体
US20170223420A1 (en) Multimedia systems, methods and applications
US9084020B2 (en) Method and apparatus for providing and receiving user interface
US5422674A (en) Remote display of an image by transmitting compressed video frames representing background and overlay portions thereof
CA2674809C (en) Systems and methods for creating custom video mosaic pages with local content
US10409445B2 (en) Rendering of an interactive lean-backward user interface on a television
US10423320B2 (en) Graphical user interface for navigating a video
US20100064332A1 (en) Systems and methods for presenting media content obtained from multiple sources
KR20100127240A (ko) 상호작용형 컨텐츠 식별을 위하여 비디오에 트리거를 사용하는 방법
EP2704397B1 (en) Presenting media content obtained from multiple sources
CN113825007B (zh) 视频播放方法、装置及显示设备
CN114297435A (zh) 一种通信终端及多屏互动视频浏览方法
CN115550740A (zh) 显示设备、服务器及语言版本切换方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110509

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110516

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120315

R150 Certificate of patent or registration of utility model

Ref document number: 4955544

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees