JP2009518103A - ユーザがモバイル機器によって大画面ゲームをプレイできるようにするための方法およびシステム - Google Patents

ユーザがモバイル機器によって大画面ゲームをプレイできるようにするための方法およびシステム Download PDF

Info

Publication number
JP2009518103A
JP2009518103A JP2008543998A JP2008543998A JP2009518103A JP 2009518103 A JP2009518103 A JP 2009518103A JP 2008543998 A JP2008543998 A JP 2008543998A JP 2008543998 A JP2008543998 A JP 2008543998A JP 2009518103 A JP2009518103 A JP 2009518103A
Authority
JP
Japan
Prior art keywords
image
software component
rules
mobile device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008543998A
Other languages
English (en)
Inventor
ヤロン ブツナッハ、
Original Assignee
フォレー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フォレー リミテッド filed Critical フォレー リミテッド
Publication of JP2009518103A publication Critical patent/JP2009518103A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/406—Transmission via wireless network, e.g. pager or GSM
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、ユーザのモバイル機器上で表示するビデオストリームの各画像内における一つないし複数のオブジェクトもしくは一つないし複数の画像片を特定して追跡するためのシステムおよび方法であって、（ａ）ストリーミングサーバ上で実行される一つないし複数のビデオストリームと、（ｂ）前記一つないし複数のビデオストリームの画像を、一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、キャプチャするための画像キャプチャソフトウェアコンポーネントと、（ｃ）ユーザによって生成された一つないし複数のコマンドを受信して、該コマンドをエキストラレイヤソフトウェアコンポーネントに転送するための受信機と、（ｄ）一つないし複数のルールの集合のうちの第２のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、（ｄ．１．）キャプチャした画像内の一つないし複数のオブジェクトまたは画像片を特定し、（ｄ．２．）前記キャプチャした画像内の前記オブジェクトまたは画像片を追跡し、（ｄ．３．）前記キャプチャした画像を、処理するためのエキストラレイヤソフトウェアコンポーネントと、（ｅ）前記エキストラレイヤソフトウェアコンポーネントによって処理された画像を、一つないし複数のルールの集合のうちの第３のグループのルールにしたがって、圧縮するための圧縮ソフトウェアコンポーネントと、（ｆ）一つないし複数のルールの集合の諸グループを前記画像キャプチャソフトウェアコンポーネント、前記エキストラレイヤソフトウェアコンポーネントおよび前記圧縮ソフトウェアコンポーネントに提供するためのデータソフトウェアコンポーネントと、（ｇ）前記圧縮した画像をモバイル機器に送信するための送信機とを備えるシステムおよび方法に関する。本システムおよび方法はさらに、一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、（ａ）前記一つないし複数のビデオストリームの各画像内の一つないし複数のオブジェクトまたは画像片を特定し、（ｂ）前記一つないし複数のビデオストリームの前記各画像内の前記オブジェクトまたは画像片を追跡し、（ｃ）前記各画像を処理するための再レイアウトソフトウェアコンポーネントを含む。

Description

本発明は、モバイル機器上でゲームをプレイするための方法およびシステムに関する。より詳しくは、本発明は、もともとパーソナルコンピュータやプレイステーション（PlayStation 登録商標）など、大画面を使用するシステム上でプレイするものとして設計されたゲームを、ユーザが、ディスプレイの比較的小さいモバイル機器上でリアルタイムでプレイできるようにするための方法およびシステムに関する。
［定義、頭字語および略語］
本明細書を通じて、次の定義を用いる：
「ＤｉｒｅｃｔＸ」：マイクロソフト（Microsoft 登録商標）のプラットフォーム上で、マルチメディア関連のタスク、特にゲームプログラミングを扱うためのＡＰＩ（Application Programming Interfaces）の集まりである。マイクロソフトウィンドウズ（Microsoft Windows 登録商標）オペレーティングシステム用コンピュータゲームの開発に広く用いられている。
「カーネル（kernel）」：ほとんどのコンピュータのオペレーティングシステム（ＯＳ）の中心的なコンポーネントである。その担っている役割には、システムリソースの管理やハードウェアコンポーネントとソフトウェアコンポーネントとの間の通信が含まれる。オペレーティングシステムの基本的なコンポーネントとして、カーネルは、アプリケーションがその機能を果たすために制御しなければならないリソース（特に、メモリ、プロセッサおよび入出力デバイス）のための抽象化レイヤの最下層を提供している。
国際公開（ＷＯ）第２００４／０５９９７９号 米国（ＵＳ）特許出願公開第２００６／０００７３１８号 米国（ＵＳ）特許出願公開第２００２／００９２０２９ 国際公開（ＷＯ）第２００５／１１６９２２号 国際公開（ＷＯ）第２００５／０７５０３８号
発明の背景
この十年の間で、携帯電話やＰＤＡ（Personal Digital Assistant）等のモバイル機器の世界各地での使用が劇的に増加した。最近のモバイル機器は、様々なサイズの画像を撮像したり受信したりすることができる。また、ビデオフィルムやビデオクリップを撮影したり受信したり、テレビコンテンツを表示したりすることも可能であって、画像やビデオのデータをそのモバイル機器のディスプレイ上で閲覧可能とすることが必要とされている。また、携帯電話のようなモバイル機器上でゲームをプレイすることも非常にポピュラーになりつつある。
普通、モバイル機器のディスプレイの物理寸法は小さい。また、モバイル機器のディスプレイの備える画素数も比較的少ない。したがって、オリジナルの画像やビデオフィルムは通常大きすぎて小さなモバイル機器のディスプレイ上にはフルに表示することができない。そのため、ディスプレイにあわせて画像やビデオフィルムのサイズを小さくしなければならないが、それにはダウンスケーリングが必要である。画像中、関心の対象となる情報を含むのは、ほんの一部にすぎない場合もあるので、関心の対象となる領域を詳細表示するために、異なるレベルの拡大／縮小が必要となる。拡大は、たとえばアップスケーリングや補間法を用いて実行される。ダウンスケーリングおよびアップスケーリングは、エイリアス効果などの「ノイズ」を防ぐため、同等の品質のものとすべきである。しかし、先行技術には、ストリーミングビデオフィルムやビデオゲーム（ユーザのモバイル機器にリアルタイムでストリーミング配信されるもの）の画像を拡大および縮小することについて教示するものはない。
また、モバイルプラットフォームは、画像やビデオの処理および画質向上に割り当てられるメモリや処理のためのリソースの量に制限を設けている。大きな画像やビデオフィルムは大量のメモリや処理リソースを必要とするが、これらは、各画像またはビデオシーンの画素数に直接関係してくる。先行技術によれば、モバイル機器のディスプレイ上でビデオフィルムの大きな画像を閲覧することは、しばしば不可能なタスクとなる。少ないメモリや少ない処理リソースという課題に対する先行技術による解決手法は、モバイル機器上に表示される画像やビデオフィルムのサイズを制限することである。しかし、その場合、メモリや処理リソースが不足したときに、まったく表示できない画像やビデオフィルムがでてきてしまうことになる。また、オフラインで動作させるときには、画像やビデオフィルムを起動時にダウンスケールすることも可能である。復号中に画像やビデオフィルムのサイズを減小させることで、より大きな画像やビデオフィルムをモバイル機器のディスプレイ上に表示させることができる。しかし、この手法は、著しい遅延を伴うため、リアルタイムのアプリケーションには不向きである。
最近の技術動向にともない、様々な用途において、携帯電話やＰＤＡのようなモバイル機器がしばしばパーソナルコンピュータ（ＰＣ）に取って代わる場合がある。モバイル機器はますます高性能になっており、複雑なタスクを扱うことができる。また、ＰＣやプレイステーション（登録商標）の代わりにモバイル機器上でゲームをプレイするユーザもますます増加している。しかし、モバイル機器のディスプレイ寸法が小さいこと、および上述の諸問題のせいで、前記モバイル機器上でプレイされるものとして開発された従来のゲームは、画像／ビデオの品質が劣悪で、従来のＰＣやプレイステーション（登録商標）のゲームとは比較にならない。先行技術には、これらの欠点を克服する手段を提供するものはなく、特に、モバイル機器のユーザが、昨今ＰＣやプレイステーション（登録商標）上でプレイされている３Ｄ（三次元）ゲームのような最近のゲームをプレイすることができるようにするものはない。
モバイル機器上に画像またはビデオデータを表示するための解決手段としていくつかの手法が提案されてきた。たとえば、国際公開（ＷＯ）第２００４／０５９９７９号パンフレットには、カメラやビデオ店からフルフレーム画像として画像を受信するリモートクライアント（たとえば携帯電話クライアント）と通信するファイルサーバが開示されている。選択・圧縮プログラムによって、モバイルクライアントの比較的小さい画面上に、圧縮された画像を定義するビットストリームの送信内容を表示させ、ユーザが、仮想ズームおよびフレーム領域選択して閲覧することが可能である。他の特許出願としての米国（ＵＳ）特許出願公開第２００６／０００７３１８号明細書においては、監視カメラによって撮像された画像が、監視システムセンター装置内の画像データベースに格納されて、後で、完全な画像として携帯電話に送信される。そして、ユーザが携帯電話上に表示された画像をチェックして、拡大して表示したい対象があると判断したら、センター装置によって提供されているウェブページにアクセスして拡大表示メニューを表示するよう指示する。米国（ＵＳ）特許出願公開第２００２／００９２０２９には、リモートサーバから携帯型機器に画像を送信して、観視者たるヒトが送信された画像を携帯型機器のディスプレイ上で動的に閲覧することが開示されている。リモートサーバ上では、グラフィック画像を表すデータのマスター集合を処理して、当該グラフィック画像の一部を表すデータの第１部分集合を形成する。データは、携帯型機器に送信されてディスプレイ上に描画される。ユーザが、画像のさらに拡大したい部分を選択すると、マスターデータベースが再度処理にかけられて、当該画像の選択された部分を表すデータの第２部分集合を形成する。データの第２部分集合は、携帯型機器に送信されてディスプレイ上に描画される。
国際公開（ＷＯ）第２００５／１１６９２２号パンフレットは、ディスプレイ、メモリおよびビット画像処理手段ならびにビット画像を入力するための入力手段を含むモバイル機器のディスプレイ上で画像を閲覧するとともにその画質を向上させるための方法およびシステムに関する。ビット画像は、入力されると、前もって選択しておいたスケーリングアルゴリズムを用いて、２段階の縮小スケーリング処理にかけられる。表示されるビット画像は画質向上される。他の特許出願としての国際公開（ＷＯ）第２００５／０７５０３８号パンフレットは、ゲームに依存するユーザインターフェースを備える機器、たとえばゲームイベントの依存関係を変化させるよう構成されたユーザインターフェースを備える携帯電話などのモバイル機器に関する。この機器は、ユーザインターフェースと制御ユニットとを備え、該制御ユニットは、そのユーザインターフェースの変更可能なパラメータを含むとともにゲームを実行するためのゲームプラットフォームをさらに有する当該機器の動作を制御する。しかし、国際公開（ＷＯ）第２００５／０７５０３８号パンフレットによれば、ゲームの処理が実行されるのは当該機器上のみであり、該機器は高い処理リソースと大容量メモリ手段を備える必要があり、その要件が満たされなければ、該機器上で比較的高い品質のゲームをプレイすることはできない。
先行技術は、今に至るまで、小さな携帯型機器のディスプレイ上に高品質なビデオを表示するというニーズに応える手法を提供してこなかった。したがって、前記先行技術の欠点を克服するニーズが依然として存在する。
本発明は、ユーザが比較的小さなディスプレイを備えるモバイル機器上で高品質のビデオを再生またはゲームをプレイすることができるようにするための方法およびシステムを提供することを目的とする。高品質のビデオまたはゲームはさまざまに異なる配給元から提供されるものであってもよいのであり、たとえば、元来、大画面を利用するパーソナルコンピュータやプレイステーション（登録商標）などの機器で再生ないしプレイされることを前提に設計されたビデオストリームであってもよい。
また、本発明は、ユーザのモバイル機器上で表示される各画像内の一つないし複数のオブジェクトおよび／または画像片を特定し追跡するための方法およびシステムを提供することを目的とする。
さらに、本発明は、高い処理リソースと大容量メモリ手段を内蔵している必要のないモバイル機器上でゲームをプレイするための方法およびシステムを提供することを目的とする。
さらにまた、本発明は、ユーザがモバイル機器上でリアルタイムでゲームをプレイすることができるようにすることを目的とする。
本発明のさらなる目的は、モバイル機器上でゲームをプレイするユーザが、そのモバイル機器の画面上に表示する画像片およびオブジェクトを選択し、表示された画像片およびオブジェクトを拡大または縮小し、それらを当該モバイル機器画面内で任意の方向に移動し、画像の輝度レベルやガンマレベルやコントラクトレベルやフレームレートなどの制御のような各ゲーム画像上にさまざまな画像処理フィルタを適用することを制御することによって、当該ゲームを完全に制御することができるようにすることである。
また、ユーザフレンドリーな方法およびシステムを提供することも、本発明のさらなる目的である。
また、比較的安価に利用できる方法およびシステムを提供することも、本発明の目的である。
本発明の他の目的および利点は、以下の説明にしたがって明らかになるだろう。
［発明の概要］
本発明は、ユーザが比較的小さなディスプレイを備えるモバイル機器上でリアルタイムに、もともとパーソナルコンピュータやプレイステーション（登録商標）などで大画面を利用して再生ないしプレイされることを前提に設計されたビデオまたはゲームを、プレイすることができるようにするための方法およびシステムに関する。
以下、特に「ゲーム」について言及しつつ説明することとなるが、モバイル機器の画面のような小型画面上で扱うことが可能ないし望まれるビデオであればどのようなタイプのビデオであっても、本発明の利点を享受するものであって、本発明の範囲に含まれることは、当業者であれば理解されるであろう。
ユーザのモバイル機器上で表示するビデオストリームの各画像内における一つないし複数のオブジェクトもしくは一つないし複数の画像片を特定して追跡するためのシステムは、（ａ）ストリーミングサーバ上で実行される一つないし複数のビデオストリームと、（ｂ）前記一つないし複数のビデオストリームの画像を、一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、キャプチャするための画像キャプチャソフトウェアコンポーネントと、（ｃ）ユーザによって生成された一つないし複数のコマンドを受信して、該コマンドをエキストラレイヤソフトウェアコンポーネントに転送するための受信機と、（ｄ）一つないし複数のルールの集合のうちの第２のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、（ｄ．１．）キャプチャした画像内の一つないし複数のオブジェクトまたは画像片を特定し、（ｄ．２．）前記キャプチャした画像内の前記オブジェクトまたは画像片を追跡し、（ｄ．３．）前記キャプチャした画像を処理するためのエキストラレイヤソフトウェアコンポーネントと、（ｅ）前記エキストラレイヤソフトウェアコンポーネントによって処理された画像を、一つないし複数のルールの集合のうちの第３のグループのルールにしたがって、圧縮するための圧縮ソフトウェアコンポーネントと、（ｆ）一つないし複数のルールの集合の諸グループを前記画像キャプチャソフトウェアコンポーネント、前記エキストラレイヤソフトウェアコンポーネントおよび前記圧縮ソフトウェアコンポーネントに提供するためのデータソフトウェアコンポーネントと、（ｇ）前記圧縮した画像をモバイル機器に送信するための送信機とを備える。
ユーザのモバイル機器上で表示するビデオストリームの各画像内における一つないし複数のオブジェクトもしくは一つないし複数の画像片を特定して追跡するためのシステムは、（ａ）ストリーミングサーバ上で実行される一つないし複数のビデオストリームと、（ｂ）ユーザによって生成された一つないし複数のコマンドを受信して、該コマンドをエキストラレイヤソフトウェアコンポーネントに転送するための受信機と、（ｃ）一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、（ｃ．１．）前記一つないし複数のビデオストリームの各画像内の一つないし複数のオブジェクトまたは画像片を特定し、（ｃ．２．）前記一つないし複数のビデオストリームの前記各画像内の前記オブジェクトまたは画像片を追跡し、（ｃ．３．）前記各画像を処理するための再レイアウトソフトウェアコンポーネントと、（ｄ）モバイル機器の画面上に表示する前記対応する画像を一つないし複数のルールの集合のうちの第２のグループのルールにしたがってキャプチャするための画像キャプチャソフトウェアコンポーネントと、（ｅ）モバイル機器の画面上に表示する前記対応する画像を、一つないし複数のルールの集合のうちの第３のグループのルールにしたがって、圧縮するための圧縮ソフトウェアコンポーネントと、（ｆ）一つないし複数のルールの集合の諸グループを前記再レイアウトソフトウェアコンポーネント、前記画像キャプチャソフトウェアコンポーネントおよび前記圧縮ソフトウェアコンポーネントに提供するためのデータソフトウェアコンポーネントと、（ｇ）前記圧縮された画像をモバイル機器に送信するための送信機とを備える。
好ましくは、前記画像は、ビデオゲームの画像である。
好ましくは、前記圧縮された画像は、前記モバイル機器で復元されてから当該モバイル機器の画面上に表示される。
好ましくは、各画像内の前記一つないし複数のオブジェクトまたは前記一つないし複数の画像片の追跡は、リアルタイムで実行される。
好ましくは、前記データソフトウェアコンポーネント内に格納された前記ルールの集合のグループまたは前記ユーザによって生成された前記一つないし複数のコマンドは、（ａ）前記モバイル機器の画面上に表示された前記一つないし複数の対応する画像内のオブジェクトまたは画像片の選択、（ｂ）前記一つないし複数の対応する画像内のオブジェクトまたは画像片の拡大または縮小、（ｃ）前記モバイル機器の画面内の任意の方向への前記表示された画像の移動、（ｄ）前記一つないし複数の対応する画像への一つないし複数の画像処理フィルタの適用、（ｅ）各対応する画像を圧縮するため、または該各対応する画像の一部を圧縮するための、一つないし複数の画像圧縮パラメータの決定のうちの一つないし複数に関連するものである。
好ましくは、前記エキストラレイヤソフトウェアコンポーネントは、前記データソフトウェアコンポーネントにより提供された前記第２のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、一つないし複数の画像をさらにトリミングする。
好ましくは、前記再レイアウトソフトウェアコンポーネントは、前記データソフトウェアコンポーネントにより提供された前記第１のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、一つないし複数の画像をさらにトリミングする。
好ましくは、前記エキストラレイヤソフトウェアコンポーネントは、前記データソフトウェアコンポーネントにより提供された前記第２のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、各キャプチャされた画像のレイアウトを変更して前記モバイル機器の画面上に表示する対応する画像を生成する。
好ましくは、前記再レイアウトソフトウェアコンポーネントは、前記データソフトウェアコンポーネントにより提供された前記第１のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、前記ビデオストリーム内の各画像のレイアウトを変更して前記モバイル機器の画面上に表示する対応する画像を生成する。
ユーザのモバイル機器上で表示するビデオストリームの各画像内における一つないし複数のオブジェクトもしくは一つないし複数の画像片を特定して追跡するための方法は、（ａ）ストリーミングサーバ上で実行される一つないし複数のビデオストリームを用意し、（ｂ）前記一つないし複数のビデオストリームの画像を、一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、キャプチャするための画像キャプチャソフトウェアコンポーネントを用意し、（ｃ）ユーザによって生成された一つないし複数のコマンドを受信して、該コマンドをエキストラレイヤソフトウェアコンポーネントに転送するための受信機を用意し、（ｄ）一つないし複数のルールの集合のうちの第２のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、（ｄ．１．）キャプチャされた画像内の一つないし複数のオブジェクトまたは画像片を特定し、（ｄ．２．）前記キャプチャされた画像内の前記オブジェクトまたは画像片を追跡し、（ｄ．３．）前記キャプチャされた画像を処理するためのエキストラレイヤソフトウェアコンポーネントを用意し、（ｅ）前記エキストラレイヤソフトウェアコンポーネントによって処理された画像を、一つないし複数のルールの集合のうちの第３のグループのルールにしたがって、圧縮するための圧縮ソフトウェアコンポーネントを用意し、（ｆ）一つないし複数のルールの集合の諸グループを前記画像キャプチャソフトウェアコンポーネント、前記エキストラレイヤソフトウェアコンポーネントおよび前記圧縮ソフトウェアコンポーネントに提供するためのデータソフトウェアコンポーネントを用意し、（ｇ）前記圧縮された画像をモバイル機器に送信するための送信機を用意することを特徴とする。
ユーザのモバイル機器上で表示するビデオストリームの各画像内における一つないし複数のオブジェクトもしくは一つないし複数の画像片を特定して追跡するための方法は、（ａ）ストリーミングサーバ上で実行される一つないし複数のビデオストリームを用意し、（ｂ）ユーザによって生成された一つないし複数のコマンドを受信して、該コマンドをエキストラレイヤソフトウェアコンポーネントに転送するための受信機を用意し、（ｃ）一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、（ｃ．１．）前記一つないし複数のビデオストリームの各画像内の一つないし複数のオブジェクトまたは画像片を特定し、（ｃ．２．）前記一つないし複数のビデオストリームの前記各画像内の前記オブジェクトまたは画像片を追跡し、（ｃ．３．）前記各画像を処理するための再レイアウトソフトウェアコンポーネントを用意し、（ｄ）モバイル機器の画面上に表示する前記対応する画像を一つないし複数のルールの集合のうちの第２のグループのルールにしたがってキャプチャするための画像キャプチャソフトウェアコンポーネントを用意し、（ｅ）モバイル機器の画面上に表示する前記対応する画像を、一つないし複数のルールの集合のうちの第３のグループのルールにしたがって、圧縮するための圧縮ソフトウェアコンポーネントを用意し、（ｆ）一つないし複数のルールの集合の諸グループを前記再レイアウトソフトウェアコンポーネント、前記画像キャプチャソフトウェアコンポーネントおよび前記圧縮ソフトウェアコンポーネントに提供するためのデータソフトウェアコンポーネントを用意し、（ｇ）前記圧縮された画像をモバイル機器に送信するための送信機を用意することを特徴とする。
［好適な実施形態の詳細な説明］
図１Ａは、本発明の好適な実施形態による、ユーザが自身のモバイル機器上でリアルタイムでビデオゲームをプレイできるようにするためのシステムの概略説明図である。セルラーサービスプロバイダ１０５は、従来型のセルラーサービス（携帯電話の呼び出し、セルラー端末によるインターネット、ＳＭＳ（ショートメッセージサービス）など）をモバイル機器ユーザに提供するためのサーバ１１０と、該ユーザにゲームを提供するためのゲームサーバ１１５と、各ユーザのモバイル機器に、そのモバイル機器上でプレイするための該各ユーザによって選択された対応するゲームのサウンドおよび／または部分をアップロードするためのリソースサーバ１１４とを備える。
ゲームサーバ１１５は、携帯電話１２１、１４１、ＰＤＡ（Personal Digital Assistant）１３１等のユーザのモバイル機器上でプレイする一つないし複数のゲームのインスタンスを含む。自分のモバイル機器上でゲームをプレイしたいと考えるユーザは、ゲームサーバ１１５に接続し、望ましいゲームを選択する。そして、ユーザは、自身のモバイル機器上で選択したゲームをリアルタイムにプレイすることになるが、そのとき、該ゲームのインスタンスは、ストリーミングサーバである前記ゲームサーバ１１５上で物理的に実行されている。したがって、当該ユーザのモバイル機器は、高い処理リソースおよび大容量のメモリ手段を有するものでなくてもよい。
ゲームをプレイしている間の伝送帯域幅を節約するために、本発明の好適な実施形態によって、当該ゲームのサウンドおよび／または部分を、ゲームをプレイする前にリソースサーバ１１４によって各モバイル機器にアップロードする。ユーザが自身のモバイル機器上でプレイする望ましいゲームを選択すると、リソースサーバ１１４は、そのゲームのサウンドおよび／または部分のそのモバイル機器へのアップロードを開始する。したがって、ゲームをプレイするときには、利用可能な全伝送帯域幅がゲームサーバ１１５から対応するモバイル機器へのリアルタイムビデオストリームに割り当てられることになるので、ビデオ品質の向上が提供される。
ゲームサーバ１１５は、ユーザがゲームのプロセスを完全に制御することができるようにするための画像／オブジェクト検出追跡システム１１６を備える。自身のモバイル機器１２１のキーパッド１２３を使用してゲームをプレイするユーザは、該モバイル機器１２１の画面（ディスプレイ）１２２上に表示するゲームオブジェクトまたはゲーム画像片を選択し、その選択したオブジェクトまたは画像片を拡大／縮小したり、該モバイル機器の画面内で任意の方向へ移動したり、各ゲーム画像上へのさまざまな画像処理フィルタの適用を制御、たとえば、画像の輝度レベルやガンマレベルやコントラクトレベルやフレームレートなどを制御したりすることができる。
図１Ｂは、本発明の他の好適な実施形態による、ユーザが自身のモバイル機器上でリアルタイムでビデオゲームをプレイできるようにするためのシステムの他の概略説明図である。この好適な実施形態によって、ゲームサーバ１１５および／またはリソースサーバ１１４はセルラーサービスプロバイダ１０５からは分離され、ゲームプロバイダ１０６内に配置されている。セルラーサービスプロバイダ１０５は、そのユーザが自身のモバイル機器上でゲームをプレイすることができるようにするために、ゲームプロバイダ１０６のサービスを利用する。自分のモバイル機器上でゲームをプレイしたいユーザはゲームサーバ１１５に接続し、望ましいゲームを選択する。そして、ユーザは、自身のモバイル機器上で選択したゲームをリアルタイムにプレイすることになるが、そのとき、該ゲームのインスタンスは、前記ゲームサーバ１１５上で物理的に実行されている。選択したゲームのサウンドおよび／または部分は、ゲームをプレイする前にリソースサーバ１１４によって各モバイル機器にアップロードされる。
図１Ｃは、本発明の好適な実施形態による、モバイル機器上でゲームのプレイを開始する工程を示す概略フローチャートである。モバイル機器ユーザは、自身のモバイル機器上でプレイするゲームを、そのモバイル機器のキーパッドによって選択する。ゲームを選択すると、ユーザは選択サーバに自動的に接続され、この選択サーバが選択する対応するゲームサーバ１１５（図１Ａ）から、選択したゲームのビデオストリームがユーザのモバイル機器にさらに提供されることになる。たとえば、選択サーバは、選択されたビデオゲームをユーザのモバイル機器にストリーミング配信するためにゲームサーバ１を選択するものとする。すると、モバイル機器は、ゲームをプレイ開始する前に、選択したゲームのサウンドおよび／または部分をリソースサーバ１１４（図１Ａ）からダウンロードする。これは、ゲームをプレイしている最中に伝送帯域幅を節約するために実行することができる処理である。したがって、ゲームをプレイするときには、利用可能な全伝送帯域幅がゲームサーバ１１５から対応するモバイル機器へのリアルタイムビデオストリームに割り当てられることになるので、その結果ビデオ品質の向上が達成される。前記リソースサーバからの選択したゲームのサウンドおよび／または部分のダウンロードが完了すると、モバイル機器はゲームサーバ１１５にリアルタイムでゲームのビデオストリームを配信することを開始するよう指示し、ユーザがゲームをプレイ開始する。ゲーム中に、ユーザは、自身のモバイル機器のキーパッド上の一つないし複数のボタン（キー）を押すことによって、ゲームコマンド（たとえば、「左折せよ」「ジャンプせよ」「運転速度アップ」等）を入力する。そして、ゲームサーバ１１５は、ユーザのコマンドを受信して、それらを命令通りに処理する。
図２Ａは、本発明の好適な実施形態による、各モバイル機器上でのプレイ用に一つないし複数の従来型ＰＣ／プレイステーション（登録商標）ゲーム２０１を準備する工程を示す概略説明図である。従来型ＰＣ／プレイステーション（登録商標）ゲームはそれぞれ、モバイル機器上でプレイされる前に、（ゲーム／リソースサーバプロバイダの）ゲームプロバイダのゲームデザイナー１６１によって前処理される。ゲームデザイナー１６１は、各リアルタイムゲームをプレイするための一つないし複数のルールの集合を決定する。たとえば、ユーザのモバイル機器の比較的小さな画面上に表示するために全体画面内のオブジェクトまたは画像片を選択し、当該画像片を拡大／縮小し、表示された画像片を前記モバイル機器の画面上で任意の方向に移動し、各ゲーム画像に画像輝度レベル、ガンマレベル、コントラクトレベル、フレームレート等さまざまな画像処理フィルタを適用し、（ａ）画像全体の、または当該画像の一部の、所望の画質や（ｂ）前記各画像をエンコードするために割り当てられた利用可能な伝送帯域および利用可能なビット数などによって各ゲーム画像を圧縮するための圧縮パラメータを決定することなどに、所定のルールを関連付けることができる。ルールの集合のグループは、ゲームサーバ１１５（図１Ａ）内の既定データソフトウェアコンポーネント２３５内に格納されている。たとえば、ルールの集合のうちの第１のグループを、ゲームウィンドウサイズやフレームレート等を定義するなどのゲーム画像キャプチャに関連付けることができ、ルールの集合のうちの第２のグループを、各ゲーム画像に一つまたは複数の（画像の輝度、コントラスト、ガンマレベル等を定義する）画像処理フィルタを適用するなどの画像処理に関連付けることができ、ルールの集合のうち第３のグループを、各ゲーム画像を圧縮するための、または前記各画像の一部を圧縮するための対応する画像圧縮パラメータを決定することに関連付けることができる、などである。
前処理１７１は、従来型ＰＣ／プレイステーション（登録商標）ゲームを、対応するモバイル機器ゲーム（比較的小さな画面のモバイル機器上でプレイ可能なゲーム）に変換するために必要とされることに留意されたい。
図２Ｂは、本発明の好適な実施形態による、ゲームサーバ１１５内に配置された画像／オブジェクト検出追跡システム１１６の概略ブロック図である。画像／オブジェクト検出追跡システム１１６は、一つないし複数の従来型ＰＣ／プレイステーション（登録商標）ゲームインスタンスと、当該ゲームインスタンス２０１と通信するための（カーネル２０６およびＤｉｒｅｃｔＸ（またはＯｐｅｎＧＬ（Open Graphics Library）、ＧＤＩ（Graphics Device Interface）、ＧＤＩ＋等）２０７ソフトウェアコンポーネントを含む）従来型オペレーティングシステム（ＯＳ）ソフトウェアコンポーネント２０１と、各ゲームを処理およびレンダリングするための従来型グラフィックカード２０４と、ゲーム画像をキャプチャするための画像キャプチャソフトウェアコンポーネント２１０と、キャプチャされた画像内の一つないし複数のオブジェクトまたは特定の画像片を（ゲームをプレイしている時に）リアルタイムで決定し、当該オブジェクトまたは画像片をリアルタイムで追跡して該画像をそれにしたがって処理し、各ゲーム画像に一つないし複数の（画像輝度、コントラスト、ガンマレベル等を定義する）画像処理フィルタを適用するなど処理のためのエキストラレイヤソフトウェアコンポーネント２１５と、前記画像キャプチャソフトウェアコンポーネント、前記エキストラレイヤソフトウェアコンポーネント２１５および圧縮ソフトウェアコンポーネントに所定のルール（コマンド／インストラクション）の集合のグループを提供するための既定データソフトウェアコンポーネント２３５と、ユーザが自身のモバイル機器１２１のキーパッド１２３によって送信したコマンドを受信するための受信機２２０と、たとえばＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ−４（Moving Picture Experts Group）等の、従来のあるいは専用の圧縮標準によって、前記処理された画像を圧縮するための圧縮ソフトウェアコンポーネント２２５と、前記圧縮された画像をユーザのモバイル機器１２１に送信するための送信機２３０と、を備える。
元来コンピュータやテレビの大画面を利用するパーソナルコンピュータやプレイステーション（登録商標）等上でプレイされるよう設計された各ゲームは、比較的小さなディスプレイのユーザのモバイル機器上でプレイされる前に前処理される必要がある。ゲームをプレイするに先立ち、当該ゲーム内の各画像に対して、ルックアップテーブルまたはマップを構築し、エキストラレイヤソフトウェアコンポーネント２１５内に格納しておく。このルックアップテーブルまたはマップには、特定のオブジェクトまたは画像片の表現（たとえば、拡大／縮小したり、表示されたオブジェクトまたは画像片をモバイル機器画面内で任意の方向に移動したり、画像の輝度／コントラストレベル等を調整したり、等々）に関する考えられるすべてのコマンド（インストラクション）が含まれている。これらのインストラクションは、ユーザがゲームをプレイしている間に生成することができるものであるか、あるいは、前記エキストラレイヤソフトウェアコンポーネント２１５が生成することができるものである。ゲームをプレイしようと望むユーザは、ゲームサーバ１１５（図１Ａ）上に配置された画像／オブジェクト検出追跡システム１１６内でゲームインスタンスを起動する。そして、画像キャプチャソフトウェアコンポーネント２１０が、既定データソフトウェアコンポーネント２３５によって提供された所定ルールの集合のうちのあるグループのルールにしたがって、リアルタイムで対応する（従来型ＰＣ／プレイステーション（登録商標）ゲームインスタンス２０１の）ゲーム画像をキャプチャする。すると、エキストラレイヤソフトウェアコンポーネント２１５は、（画像キャプチャソフトウェアコンポーネント２１０によってキャプチャされた）各オリジナルゲーム画像内の一つないし複数のオブジェクトまたは特定の画像片を従来の画像／オブジェクト認識アルゴリズム／技法を用いることによって決定（検出）し、当該オブジェクトまたは画像片を既定データソフトウェアコンポーネント２３５からまたは受信機２２０を介してモバイル機器ユーザから受信したコマンド（ルール）にしたがって追跡し、各ゲーム画像に対して（たとえば、輝度、ガンマまたはコントラストレベル等を調整する等）さまざまな画像処理フィルタを適用して当該画像をひいてはそれにしたがって前記オブジェクトまたは画像片を処理する。エキストラレイヤソフトウェアコンポーネント２１５は、受信機２２０を介してモバイル機器ユーザから、および、既定データソフトウェアコンポーネント２３５から、の双方からコマンドを受信する。既定データソフトウェアコンポーネント２３５内に格納されたデータは、ゲームデザイナー１６１（図２Ａ）によって、ゲームをプレイする前に、前処理（あらかじめ定義）されたものであり、たとえば、ユーザのモバイル機器の比較的小さな画面上で表示するために画面全体の中のオブジェクトまたは画像片を選択すること、当該画像片を拡大／縮小し、表示された画像片を前記モバイル機器画面上で任意の方向に移動すること、各ゲーム画像に、前記画像の輝度レベルやガンマレベルやコントラクトレベル等、さまざまな画像処理フィルタを適用すること、各ゲーム画像を、（ａ）全体画像の、あるいは前記画像の一部の所望の画質や（ｂ）前記各画像をエンコーディングするために割り当てられた利用可能な伝送帯域幅および利用可能なビット数にしたがって圧縮するための圧縮パラメータを決定すること、等々に関するデータである。この所定の処理データは、モバイル機器ユーザが前記画像全体の中の一つないし複数のオブジェクトまたは画像片を自動的に検出し追跡できるようにするために、ゲームをプレイしている間に、（リアルタイムで）エキストラレイヤソフトウェアコンポーネント２１５内に入力される。その結果、元来、大型ディスプレイを利用するパーソナルコンピュータやプレイステーション（登録商標）等のために設計されたゲームを、比較的小さなディスプレイのモバイル機器上でプレイすることができる。また、既定データソフトウェアコンポーネント２３５によって提供された所定の処理データに基づき、エキストラレイヤソフトウェアコンポーネント２１５が元画像を、ユーザのモバイル機器画面上に表示する必須の画像片またはオブジェクトのみを残してトリミングすることができる。相対的に重要度の低い画像片またはオブジェクトは表示されなくてもよい。
たとえば、エキストラレイヤソフトウェアコンポーネント２１５が、ゲームプレイ中に、画像キャプチャソフトウェアコンポーネント２１０によってキャプチャされた画像であるゲーム画像内に、イベント（車の動き等）を検出し、当該イベントに関連する対応する画像片またはオブジェクトのＸ１、Ｘ２、Ｙ１、Ｙ２座標を既定データソフトウェアコンポーネント２３５から受信するものとする。そして、前記エキストラレイヤソフトウェアコンポーネント２１５は、前記Ｘ１、Ｘ２、Ｙ１、Ｙ２座標によって画定された矩形の画像片のサイズをユーザのモバイル機器画面にぴったり収まるように変更する。また、エキストラレイヤソフトウェアコンポーネント２１５は、当該矩形の画像片を、サイズ変更する前に、トリミングすることもできる。前記エキストラレイヤソフトウェアコンポーネント２１５は、Ｘ１、Ｘ２、Ｙ１、Ｙ２座標によって画定された前記矩形の画像片を比較的小さなモバイル機器画面上に表示するために、該画像片のレイアウトを変更する操作であれば、他のどんな操作も行うことができることに留意されたい。他の例を挙げれば、エキストラレイヤソフトウェアコンポーネント２１５は、ゲーム中に、既定データソフトウェアコンポーネント２３５から、前記Ｘ１、Ｘ２、Ｙ１、Ｙ２座標を、前記のＸ１、Ｘ２、Ｙ１、Ｙ２座標内のオブジェクトの位置を定義する追加のＸ３、Ｘ４、Ｙ３、Ｙ４座標とともに受信する。そして、エキストラレイヤソフトウェアコンポーネント２１５は、前記Ｘ１、Ｘ２、Ｙ１、Ｙ２座標によって画定された矩形画像片内の前記オブジェクトの位置を決定し、その後、前記矩形画像片のみを残して画像全体をトリミングする。そして、エキストラレイヤソフトウェアコンポーネント２１５は、その残された矩形画像片をユーザのモバイル機器画面にぴったり収まるようにサイズ変更する。さらに他の例を挙げると、エキストラレイヤソフトウェアコンポーネント２１５は、ゲーム中に、既定データソフトウェアコンポーネント２３５から画像全体の中のいくつかの画像片に関する座標の集合を受信する。そして、エキストラレイヤソフトウェアコンポーネント２１５は、画像全体の中の前記画像片をトリミングし、その後、既定データソフトウェアコンポーネント２３５から受信した対応するコマンドにしたがって、それらを結合（統合）する。最後に、エキストラレイヤソフトウェアコンポーネント２１５は、結合した画像を、ユーザのモバイル機器画面にぴったり収まるようにサイズ変更する。
ユーザは、たとえば、画像全体の中において、自身のモバイル機器画面上に表示するための画像片を選択し、該画像片を拡大／縮小して表示された画像片を前記モバイル機器画面上任意の方向に移動する等の、一つないし複数の対応するアクションを実行するために、自身のモバイル機器１２１のキーパッド１２３上の一つないし複数のボタンを押すことによって、画像／オブジェクト検出追跡システム１１６に指示する。（ゲームをプレイする）ユーザが、たとえば、特定の画像片を拡大したいと思い、自身のモバイル機器１２１のキーパッド１２３上の対応するボタンを押すと、エキストラレイヤソフトウェアコンポーネント２１５が、それにしたがって、（ユーザのモバイル機器画面上に表示された）画像のサイズを変更する。また、エキストラレイヤソフトウェアコンポーネント２１５は、ユーザから対応するコマンドを受信すると、前記エキストラレイヤソフトウェアコンポーネント２１５内に格納されているルックアップテーブルまたはマップの値にしたがって、画像全体をトリミングすることができる。そして、トリミングされた画像は、圧縮されてモバイル機器ユーザに送信される。
本発明の好適な実施形態により、各モバイル機器ゲーム画像は、ゲームデザイナー１６１（図２Ａ）によってオフラインで（ゲームをプレイする前に）あらかじめ定義され既定データソフトウェアコンポーネント２３５内に格納されたルールの集合のグループにしたがって、従来型ＰＣ／プレイステーション（登録商標）ゲーム画像を再レイアウトすることによって、生成することができる。前記ＰＣ／プレイステーション（登録商標）ゲーム画像内のオブジェクトおよび／または画像片は、比較的小さいモバイル機器画面上にぴったり収まるように、それらの元の場所から前記画像内の新しい場所に移転することができる。オブジェクトおよび／または画像片のあるものは前記ＰＣ／プレイステーション（登録商標）ゲーム画像から削除可能であり、特定の新しいオブジェクトおよび／または画像片を前記ＰＣ／プレイステーション（登録商標）ゲーム画像内に挿入可能である。その結果、モバイル機器画面上に表示することができる（対応するモバイル機器ゲームレイアウトを有する）モバイル機器ゲーム画像が生成される。
図２Ｃは、本発明の他の好適な実施形態による、ゲームサーバ１１５内に配置された画像／オブジェクト検出追跡システム１１６の他の概略ブロック図である。この好適な実施形態によれば、既定データソフトウェアコンポーネント２３５は、モバイル機器ゲームのレイアウトを比較的小さな画面を有するユーザのモバイル機器上に表示されるように定義するゲームデザイナー１６１（図２Ａ）によってあらかじめ定義されたルールの集合のグループをさらに含む。ルールは、前記一つないし複数の従来型ＰＣ／プレイステーション（登録商標）ゲームインスタンス２０１をエキストラレイヤソフトウェアコンポーネント２１５（図２Ｂ）と同様に前記ルールにしたがって処理する再レイアウトソフトウェアコンポーネントに提供される。前記ルールの集合のグループは、（モバイル機器上でプレイできる）モバイル機器ゲームの定義に関連するものであり、従来型ＰＣ／プレイステーション（登録商標）ゲームに関連するものではないことに留意されたい。前記再レイアウトソフトウェアコンポーネント２０２に対応するルールを提供することによって、ゲームデザイナー１６１は、ＤｉｒｅｃｔＸソフトウェアコンポーネント２０７により起動されるＡＰＩの呼び出しをフィルタリングし、呼び出しパラメータを変更して、前記ＤｉｒｅｃｔＸソフトウェアコンポーネント２０７により起動される新規の呼び出しを追加することにより、ゲーム画像／シーンを編集する（各画像内の画像片／オブジェクトを削除、変更または追加する）ことができる。
本発明の他の好適な実施形態によれば、既定データソフトウェアコンポーネント２３５から画像キャプチャソフトウェアコンポーネント２１０、エキストラレイヤソフトウェアコンポーネント２１５（図２Ｂ）、圧縮ソフトウェアコンポーネント２２５または再レイアウトソフトウェアコンポーネント２０２に提供されるルールは、リアルタイムで決定され、あらかじめ定義されない。
また、本発明の好適な実施形態によれば、エキストラレイヤソフトウェアコンポーネント２１５（図２Ｂ）を使用するときには、画像はバイナリ形式のビット画像として提供され処理されるものとすることができることに留意されたい。本発明の他の好適な実施形態によれば、再レイアウトソフトウェアコンポーネント２０２を使用するときには、画像は、ポリゴン形式で提供され処理されるものとすることができる。
図２Ｄは、本発明の好適な実施形態による、各モバイル機器にあらかじめ定義されたルールを適用する工程を示す概略説明図である。たとえば、携帯電話１２１のディスプレイは３２０×２４０ピクセルの解像度を有し、携帯電話１４１のディスプレイは１７６×２０２ピクセルの解像度を有すると仮定する。エキストラレイヤソフトウェアコンポーネント２１５（図２Ｂ）は、ユーザがゲームをプレイ開始したいと思ったときに、各モバイル機器に対して適切なルールをリアルタイムで選択する。したがって、携帯電話１２１に対しては、集合Ｓ１およびＳ２からルール２６１、２６３および２７１が選択され、携帯電話１４１に対しては、当該集合Ｓ１およびＳ２からルール２６２および２７２が選択される。ルールのあらかじめ定義された集合から適切なルール（たとえば、集合Ｓ１、Ｓ２およびＳ３）を選択することによって、（従来型ＰＣ／プレイステーション（登録商標）ゲームから変換された）各モバイル機器ビデオゲーム２２４が、異なるディスプレイ解像度を備えるさまざまなモバイル機器上でプレイ可能である。
本発明の好適な実施形態によれば、各モバイル機器ゲーム画像は、ゲームデザイナー１６１（図２Ａ）によって（ゲームをプレイする前に）オフラインであらかじめ定義され既定データソフトウェアコンポーネント２３５内に格納されたルールの集合のグループにしたがって、従来型ＰＣ／プレイステーション（登録商標）ゲーム画像を再レイアウトすることによって生成することができる。前記ＰＣ／プレイステーション（登録商標）ゲーム画像内のオブジェクトおよび／または画像片は、比較的小さなモバイル機器画面上にぴったり収まるように、当該画像内で、それらの元の位置から新しい位置に、配置換えすることができる。前記ＰＣ／プレイステーション（登録商標）ゲーム画像からいくつかのオブジェクトおよび／または画像片を削除することが可能であり、前記ＰＣ／プレイステーション（登録商標）ゲーム画像にいくつかの新しいオブジェクトおよび／または画像片を挿入することも可能である。その結果、モバイル機器画面上に表示できる（対応するモバイル機器ゲームレイアウトを有する）モバイル機器ゲーム画像が生成される。
図３Ａは、本発明の好適な実施形態による、ユーザが自身のモバイル機器上でゲームをプレイできるようにするためのサーバ側フローチャート３００である。ステップ３０５において、画像／オブジェクト検出追跡システム１１６は、ゲームを実行開始するためにモバイル機器ユーザからコマンドを受信する。そして、ステップ３１０で、画像キャプチャパラメータが再始動される。ゲームは、ステップ３１５において、ゲームサーバ１１５（図１Ａ）上で始動される（ゲームは物理的にゲームサーバ１１５上で実行される）。ゲームの各画像は、ステップ３２０で、画像キャプチャパラメータにしたがってキャプチャされる。そして、ステップ３２５において、ゲームの各キャプチャされた画像は、モバイル機器ユーザに送信される。ステップ３３０において、一つないし複数のコマンドをユーザからモバイル機器キーパッド１２３（図２）および受信機２２０（図２）を介して受信すると、エキストラレイヤソフトウェアコンポーネント２１５は、ステップ３３５で、当該一つないし複数のコマンドを分析し、ステップ３４５で、それにしたがって画像キャプチャパラメータを更新する。ステップ３３０においてユーザからコマンドを受信しなかった場合には、エキストラレイヤソフトウェアコンポーネント２１５は、ステップ３４０において、画像キャプチャパラメータを既定データソフトウェアコンポーネント２３５から入力したあらかじめ定義されたデータにしたがって変更すべきか否かをチェックする。画像キャプチャパラメータを変更すべき場合には、エキストラレイヤソフトウェアコンポーネント２１５は、ステップ３４５において、それにしたがって画像キャプチャパラメータを更新する。そうでない場合には、ステップ３２０で、ゲームの次の画像をキャプチャする。
図３Ｂは、本発明の好適な実施形態による、ユーザが自身のモバイル機器上でゲームをプレイできるようにするためのユーザ側フローチャート３５０である。ステップ３５５において、ユーザは、ゲームを始動するためにゲームサーバ１１５（図１Ａ）にリクエストを送信する。リクエストされたゲームは、ゲームサーバ１１５上で始動され、ステップ３６０で、ユーザはゲーム画像を受信開始する。ステップ３６５において、各画像は、ユーザのモバイル機器、たとえばモバイル機器１２１、１３１または１４１等によって、当該モバイル機器内にインストールされている対応する復元ソフトウェアコンポーネント（Ｊａｖａ（商標）ソフトウェアコンポーネントなど）を用いて復元される。そして、ステップ３７０において、復元された画像が前記モバイル機器の画面上に表示される。ユーザがステップ３７５で（画像片を選択したり拡大／縮小したりなどするために）モバイル機器キーパッド上の一つないし複数のボタンを押すと、ステップ３８０で、対応する一つないし複数のコマンドが、画像／オブジェクト検出追跡システム１１６（図２）の受信機２２０（図２）に送信される。そして、ステップ３６０で、ユーザは、自身のインストラクションにしたがって、ゲームサーバ１１５から新しい画像を受信する。ステップ３７５でボタンが押されなかった場合には、ユーザは、ステップ３６０で、ゲームサーバ１１５から新しい画像を受信する。
図４は、本発明の好適な実施形態による、ゲーム画像のスクリーンショットのサンプルを示す。画像４０５は、（パーソナルコンピュータやプレイステーション（登録商標）などの）大画面上で表示される完全な元画像である。ユーザのモバイル機器画面１２２（図２）上に表示するために、完全な元画像４０５のサイズを変更することによって、画像４１０が作成される。エキストラレイヤソフトウェアコンポーネント２１５（図２）を用いて、または再レイアウトソフトウェアコンポーネント２０２（図２Ｃ）を用いて、前記完全な元画像４０５をトリミングおよび処理することによって、比較的小さなモバイル機器画面１２２上で表示される画像４１５が作成される。
画像４１５のような各モバイル機器画像は、完全な元のＰＣ／プレイステーション（登録商標）画像４０５にルールを適用することによって生成される。ルールの集合のグループは、既定データソフトウェアコンポーネント２３５（図２Ｂ）によって（モバイル機器ゲームをプレイするときに）リアルタイムで提供され、画像キャプチャソフトウェアコンポーネント２１０（図２Ｂ）、エキストラレイヤソフトウェアコンポーネント２１５（図２Ｂ）、圧縮ソフトウェアコンポーネント２２５（図２Ｂ）および／または再レイアウトソフトウェアコンポーネント２０２（図２Ｃ）に適用される。本発明の好適な実施形態によれば、ルールの集合のグループは、ゲームをプレイする前に、ゲームデザイナー１６１（図２Ａ）によってオフラインで、または前記エキストラレイヤソフトウェアコンポーネント２１５によってリアルタイムで、決定される。その結果、画像４１５のような各モバイル機器画像は、対応するモバイル機器レイアウトを有し、モバイル機器画面上に表示可能である。
図５は、本発明の他の好適な実施形態による、ゲーム画像のスクリーンショットの追加サンプルを示す。画像５０５は大画面上に表示される完全な元画像である。オブジェクト（トラクタを運転する男性）を決定し、前記オブジェクトを含む対応する画像片を前記完全な元画像からトリミングし、前記画像片内で前記オブジェクトを中央に配置することによって、画像５１０が作成される。画像５１０のレイアウトをエキストラレイヤソフトウェアコンポーネント２１５（図２）によって、または再レイアウトソフトウェアコンポーネント２０２（図２Ｃ）によって変更（編集）し、当該画像５１０にユーザのゲームスコアなどの必要なゲームのパラメータを表すパネルを追加することによって、画像５１５が作成される。
本発明の好適な実施形態によれば、各モバイル機器ゲーム画像は、ゲームデザイナー１６１（図２Ａ）により（ゲームをプレイする前に）オフラインであらかじめ定義され、既定データソフトウェアコンポーネント２３５内に格納されているルールの集合のグループにしたがって、従来型ＰＣ／プレイステーション（登録商標）ゲーム画像を再レイアウトすることによって、生成可能である。前記ＰＣ／プレイステーション（登録商標）ゲーム画像内のオブジェクトおよび／または画像片は、比較的小さいモバイル機器画面上にぴったり収まるように、その画像内でそれらの元の位置から新しい位置へ配置変更される。いくつかのオブジェクトおよび／または画像片を前記ＰＣ／プレイステーション（登録商標）ゲーム画像から削除することが可能であり、いくつかの新しいオブジェクトおよび／または画像片を前記ＰＣ／プレイステーション（登録商標）ゲーム画像に挿入することも可能である。その結果、ＰＣ／プレイステーション（登録商標）ゲームレイアウトの代わりに、モバイル機器画面上で表示可能な対応するモバイル機器ゲームレイアウトを備えるモバイル機器ゲーム画像が生成される。
本発明のいくつかの実施形態について例示として説明してきたが、本発明が、幾多の修正や変形や改造を伴っての実施、および、本発明の趣旨を逸脱したり特許請求の範囲を超えたりすることなく当業者の想到される範囲内で無数の均等物または代替可能な解決手段を利用しての実施をすることが可能であることは明らかであろう。
図面において、
図１Ａは、本発明の好適な実施形態による、ユーザが自身のモバイル機器上でリアルタイムでビデオゲームをプレイできるようにするためのシステムの概略説明図である。 図１Ｂは、本発明の他の好適な実施形態による、ユーザが自身のモバイル機器上でリアルタイムでビデオゲームをプレイできるようにするためのシステムの他の概略説明図である。 図１Ｃは、本発明の好適な実施形態による、モバイル機器上でゲームのプレイを開始する工程を示す概略フローチャートである。 図２Ａは、本発明の好適な実施形態による、各モバイル機器上でのプレイ用に一つないし複数の従来型ＰＣ／プレイステーション（登録商標）ゲームを準備する工程を示す概略説明図である。 図２Ｂは、本発明の好適な実施形態による、ゲームサーバ（Games Server）内に配置された画像／オブジェクト（Image/Object）検出追跡システムの概略ブロック図である。 図２Ｃは、本発明の他の好適な実施形態による、ゲームサーバ内に配置された画像／オブジェクト検出追跡システムの他の概略ブロック図である。 図２Ｄは、本発明の好適な実施形態による、各モバイル機器にあらかじめ定義されたルールを適用する工程を示す概略説明図である。 図３Ａは、本発明の好適な実施形態による、ユーザが自身のモバイル機器上でゲームをプレイできるようにするためのサーバ側フローチャートである。 図３Ｂは、本発明の好適な実施形態による、ユーザが自身のモバイル機器上でゲームをプレイできるようにするためのユーザ側フローチャートである。 図４は、本発明の好適な実施形態による、ゲーム画像のスクリーンショットのサンプルを示す。 図５は、本発明の他の好適な実施形態による、ゲーム画像のスクリーンショットの他のサンプルを示す。

Claims (20)

  1. ユーザのモバイル機器上で表示するビデオストリームの各画像内における一つないし複数のオブジェクトもしくは一つないし複数の画像片を特定して追跡するためのシステムであって、
    ａ．ストリーミングサーバ上で実行される一つないし複数のビデオストリームと、
    ｂ．前記一つないし複数のビデオストリームの画像を、一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、キャプチャするための画像キャプチャソフトウェアコンポーネントと、
    ｃ．ユーザによって生成された一つないし複数のコマンドを受信して、該コマンドをエキストラレイヤソフトウェアコンポーネントに転送するための受信機と、
    ｄ．一つないし複数のルールの集合のうちの第２のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、
    ｄ．１．キャプチャされた画像内の一つないし複数のオブジェクトまたは画像片を特定し、
    ｄ．２．前記キャプチャされた画像内の前記オブジェクトまたは画像片を追跡し、
    ｄ．３．前記キャプチャされた画像を処理する
    ためのエキストラレイヤソフトウェアコンポーネントと、
    ｅ．前記エキストラレイヤソフトウェアコンポーネントによって処理された画像を、一つないし複数のルールの集合のうちの第３のグループのルールにしたがって、圧縮するための圧縮ソフトウェアコンポーネントと、
    ｆ．一つないし複数のルールの集合の諸グループを前記画像キャプチャソフトウェアコンポーネント、前記エキストラレイヤソフトウェアコンポーネントおよび前記圧縮ソフトウェアコンポーネントに提供するためのデータソフトウェアコンポーネントと、
    ｇ．前記圧縮された画像をモバイル機器に送信するための送信機と
    を備えるシステム。
  2. ユーザのモバイル機器上で表示するビデオストリームの各画像内における一つないし複数のオブジェクトもしくは一つないし複数の画像片を特定して追跡するためのシステムであって、
    ａ．ストリーミングサーバ上で実行される一つないし複数のビデオストリームと、
    ｂ．ユーザによって生成された一つないし複数のコマンドを受信して、該コマンドをエキストラレイヤソフトウェアコンポーネントに転送するための受信機と、
    ｃ．一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、
    ｃ．１．前記一つないし複数のビデオストリームの各画像内の一つないし複数のオブジェクトまたは画像片を特定し、
    ｃ．２．前記一つないし複数のビデオストリームの前記各画像内の前記オブジェクトまたは画像片を追跡し、
    ｃ．３．前記各画像を処理する
    ための再レイアウトソフトウェアコンポーネントと、
    ｄ．モバイル機器の画面上に表示する前記対応する画像を一つないし複数のルールの集合のうちの第２のグループのルールにしたがってキャプチャするための画像キャプチャソフトウェアコンポーネントと、
    ｅ．モバイル機器の画面上に表示する前記対応する画像を、一つないし複数のルールの集合のうちの第３のグループのルールにしたがって、圧縮するための圧縮ソフトウェアコンポーネントと、
    ｆ．一つないし複数のルールの集合の諸グループを前記再レイアウトソフトウェアコンポーネント、前記画像キャプチャソフトウェアコンポーネントおよび前記圧縮ソフトウェアコンポーネントに提供するためのデータソフトウェアコンポーネントと、
    ｇ．前記圧縮された画像をモバイル機器に送信するための送信機と
    を備えるシステム。
  3. 前記画像がビデオゲームの画像であることを特徴とする請求項１または２のいずれか一項に記載のシステム。
  4. 前記圧縮された画像が、前記モバイル機器で復元されてから当該モバイル機器の画面上に表示されることを特徴とする請求項１または２のいずれか一項に記載のシステム。
  5. 各画像内の前記一つないし複数のオブジェクトまたは前記一つないし複数の画像片の追跡が、リアルタイムで実行されることを特徴とする請求項１または２のいずれか一項に記載のシステム。
  6. 前記データソフトウェアコンポーネント内に格納された前記ルールの集合のグループまたは前記ユーザによって生成された前記一つないし複数のコマンドが、
    ａ．前記モバイル機器の画面上に表示された前記一つないし複数の対応する画像内のオブジェクトまたは画像片の選択、
    ｂ．前記一つないし複数の対応する画像内のオブジェクトまたは画像片の拡大または縮小、
    ｃ．前記表示された画像の前記モバイル機器の画面内の任意の方向への移動、
    ｄ．前記一つないし複数の対応する画像への一つないし複数の画像処理フィルタの適用、
    ｅ．各対応する画像を圧縮するため、または該各対応する画像の一部を圧縮するための、一つないし複数の画像圧縮パラメータの決定
    のうちの一つないし複数に関連するものであることを特徴とする請求項１または２のいずれか一項に記載のシステム。
  7. 前記エキストラレイヤソフトウェアコンポーネントが、前記データソフトウェアコンポーネントにより提供された前記第２のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、一つないし複数の画像をさらにトリミングすることを特徴とする請求項１に記載のシステム。
  8. 前記再レイアウトソフトウェアコンポーネントが、前記データソフトウェアコンポーネントにより提供された前記第１のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、一つないし複数の画像をさらにトリミングすることを特徴とする請求項２に記載のシステム。
  9. 前記エキストラレイヤソフトウェアコンポーネントが、前記データソフトウェアコンポーネントにより提供された前記第２のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、各キャプチャされた画像のレイアウトを変更して前記モバイル機器の画面上に表示する対応する画像を生成することを特徴とする請求項１に記載のシステム。
  10. 前記再レイアウトソフトウェアコンポーネントが、前記データソフトウェアコンポーネントにより提供された前記第１のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、前記ビデオストリーム内の各画像のレイアウトを変更して前記モバイル機器の画面上に表示する対応する画像を生成することを特徴とする請求項２に記載のシステム。
  11. ユーザのモバイル機器上で表示するビデオストリームの各画像内における一つないし複数のオブジェクトもしくは一つないし複数の画像片を特定して追跡するための方法であって、
    ａ．ストリーミングサーバ上で実行される一つないし複数のビデオストリームを用意し、
    ｂ．前記一つないし複数のビデオストリームの画像を、一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、キャプチャするための画像キャプチャソフトウェアコンポーネントを用意し、
    ｃ．ユーザによって生成された一つないし複数のコマンドを受信して、該コマンドをエキストラレイヤソフトウェアコンポーネントに転送するための受信機を用意し、
    ｄ．一つないし複数のルールの集合のうちの第２のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、
    ｄ．１．キャプチャされた画像内の一つないし複数のオブジェクトまたは画像片を特定し、
    ｄ．２．前記キャプチャされた画像内の前記オブジェクトまたは画像片を追跡し、
    ｄ．３．前記キャプチャされた画像を処理する
    ためのエキストラレイヤソフトウェアコンポーネントを用意し、
    ｅ．前記エキストラレイヤソフトウェアコンポーネントによって処理された画像を、一つないし複数のルールの集合のうちの第３のグループのルールにしたがって、圧縮するための圧縮ソフトウェアコンポーネントを用意し、
    ｆ．一つないし複数のルールの集合の諸グループを前記画像キャプチャソフトウェアコンポーネント、前記エキストラレイヤソフトウェアコンポーネントおよび前記圧縮ソフトウェアコンポーネントに提供するためのデータソフトウェアコンポーネントを用意し、
    ｇ．前記圧縮された画像をモバイル機器に送信するための送信機を用意する
    ことを特徴とする方法。
  12. ユーザのモバイル機器上で表示するビデオストリームの各画像内における一つないし複数のオブジェクトもしくは一つないし複数の画像片を特定して追跡するための方法であって、
    ａ．ストリーミングサーバ上で実行される一つないし複数のビデオストリームを用意し、
    ｂ．ユーザによって生成された一つないし複数のコマンドを受信して、該コマンドをエキストラレイヤソフトウェアコンポーネントに転送するための受信機を用意し、
    ｃ．一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、
    ｃ．１．前記一つないし複数のビデオストリームの各画像内の一つないし複数のオブジェクトまたは画像片を特定し、
    ｃ．２．前記一つないし複数のビデオストリームの前記各画像内の前記オブジェクトまたは画像片を追跡し、
    ｃ．３．前記各画像を処理する
    ための再レイアウトソフトウェアコンポーネントを用意し、
    ｄ．モバイル機器の画面上に表示する前記対応する画像を一つないし複数のルールの集合のうちの第２のグループのルールにしたがってキャプチャするための画像キャプチャソフトウェアコンポーネントを用意し、
    ｅ．モバイル機器の画面上に表示する前記対応する画像を、一つないし複数のルールの集合のうちの第３のグループのルールにしたがって、圧縮するための圧縮ソフトウェアコンポーネントを用意し、
    ｆ．一つないし複数のルールの集合の諸グループを前記再レイアウトソフトウェアコンポーネント、前記画像キャプチャソフトウェアコンポーネントおよび前記圧縮ソフトウェアコンポーネントに提供するためのデータソフトウェアコンポーネントを用意し、
    ｇ．前記圧縮された画像をモバイル機器に送信するための送信機を用意する
    ことを特徴とする方法。
  13. ビデオゲームの画像を提供することをさらに含む請求項１１または１２のいずれか一項に記載の方法。
  14. 前記モバイル機器に復元された画像をさらに含み、そして当該モバイル機器の画面上に該画像を表示することを特徴とする請求項１１または１２のいずれか一項に記載の方法。
  15. 各画像内の前記一つないし複数のオブジェクトまたは前記一つないし複数の画像片を、リアルタイムで追跡することをさらに含む請求項１１または１２のいずれか一項に記載の方法。
  16. 前記データソフトウェアコンポーネント内に格納された前記ルールの集合のグループまたは前記ユーザによって生成された前記一つないし複数のコマンドにおいて、
    ａ．前記モバイル機器の画面上に表示された前記一つないし複数の対応する画像内のオブジェクトまたは画像片の選択、
    ｂ．前記一つないし複数の対応する画像内のオブジェクトまたは画像片の拡大または縮小、
    ｃ．前記表示された画像の前記モバイル機器の画面内の任意の方向への移動、
    ｄ．前記一つないし複数の対応する画像への一つないし複数の画像処理フィルタの適用、
    ｅ．各対応する画像を圧縮するため、または該各対応する画像の一部を圧縮するための、一つないし複数の画像圧縮パラメータの決定
    のうちの一つないし複数に関連するものを提供することをさらに含む請求項１１または１２のいずれか一項に記載の方法。
  17. 前記エキストラレイヤソフトウェアコンポーネントによって、前記データソフトウェアコンポーネントにより提供された前記第２のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、一つないし複数の画像をさらにトリミングすることをさらに含む請求項１１に記載の方法。
  18. 前記再レイアウトソフトウェアコンポーネントによって、前記データソフトウェアコンポーネントにより提供された前記第１のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、一つないし複数の画像をさらにトリミングすることさらに含む請求項１２に記載の方法。
  19. 前記エキストラレイヤソフトウェアコンポーネントによって、前記データソフトウェアコンポーネントにより提供された前記第２のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、各キャプチャされた画像のレイアウトを変更して、前記モバイル機器の画面上に表示する対応する画像を生成することをさらに含む請求項１１に記載の方法。
  20. 前記再レイアウトソフトウェアコンポーネントによって、前記データソフトウェアコンポーネントにより提供された前記第１のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、前記ビデオストリーム内の各画像のレイアウトを変更して、前記モバイル機器の画面上に表示する対応する画像を生成することさらに含む請求項１２に記載の方法。
JP2008543998A 2005-12-05 2006-12-05 ユーザがモバイル機器によって大画面ゲームをプレイできるようにするための方法およびシステム Pending JP2009518103A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US74189505P 2005-12-05 2005-12-05
PCT/IL2006/001398 WO2007066329A2 (en) 2005-12-05 2006-12-05 Method and system for enabling a user to play a large screen game by means of a mobile device

Publications (1)

Publication Number Publication Date
JP2009518103A true JP2009518103A (ja) 2009-05-07

Family

ID=38123291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008543998A Pending JP2009518103A (ja) 2005-12-05 2006-12-05 ユーザがモバイル機器によって大画面ゲームをプレイできるようにするための方法およびシステム

Country Status (5)

Country Link
US (1) US20090238405A1 (ja)
EP (1) EP1958159A2 (ja)
JP (1) JP2009518103A (ja)
KR (1) KR20080085008A (ja)
WO (1) WO2007066329A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014512199A (ja) * 2011-02-08 2014-05-22 ムスタファ．アワイス Ｉ ビデオゲームコンテンツを提供する方法及びシステム
WO2022168541A1 (ja) * 2021-02-02 2022-08-11 ソニーグループ株式会社 情報処理装置及び情報処理方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100682455B1 (ko) * 2005-03-17 2007-02-15 엔에이치엔(주) 게임 스크랩 시스템, 게임 스크랩 방법 및 상기 방법을실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한기록매체
US8888592B1 (en) 2009-06-01 2014-11-18 Sony Computer Entertainment America Llc Voice overlay
US8296662B2 (en) * 2007-02-05 2012-10-23 Brother Kogyo Kabushiki Kaisha Image display device
US8147339B1 (en) 2007-12-15 2012-04-03 Gaikai Inc. Systems and methods of serving game video
US8968087B1 (en) 2009-06-01 2015-03-03 Sony Computer Entertainment America Llc Video game overlay
US8613673B2 (en) 2008-12-15 2013-12-24 Sony Computer Entertainment America Llc Intelligent game loading
FR2936924A1 (fr) * 2008-10-02 2010-04-09 Thomson Licensing Procede de conversion de format d'image avec insertion de bandeau d'information.
WO2010067365A2 (en) * 2008-12-11 2010-06-17 Graphtech Computer Systems Ltd. System and methods for adapting applications to incompatible output devices
US8926435B2 (en) 2008-12-15 2015-01-06 Sony Computer Entertainment America Llc Dual-mode program execution
DE102009001127A1 (de) 2009-02-25 2010-09-09 Scientific Computers Gmbh Verfahren zur Darstellung einer Szene eines Metaversums
US9723319B1 (en) 2009-06-01 2017-08-01 Sony Interactive Entertainment America Llc Differentiation for achieving buffered decoding and bufferless decoding
US8676591B1 (en) 2010-08-02 2014-03-18 Sony Computer Entertainment America Llc Audio deceleration
US9878240B2 (en) 2010-09-13 2018-01-30 Sony Interactive Entertainment America Llc Add-on management methods
KR102003007B1 (ko) 2010-09-13 2019-07-23 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 비디오 서버 및 게임 서버를 포함하는 컴퓨터 게임 시스템에서 컴퓨터 게임을 제공하는 방법 및 시스템
JP5535099B2 (ja) * 2011-01-26 2014-07-02 株式会社東芝 カメラモジュール及び画像記録方法
US8982159B1 (en) * 2011-05-03 2015-03-17 Open Invention Network, Llc Computing device independent and transferable game level design and other objects
US9737803B2 (en) 2011-08-04 2017-08-22 Sandbox Software, Llc System and method for gaming utilizing a mobile device
KR20130062463A (ko) 2011-11-25 2013-06-13 한국전자통신연구원 다중 사용자 및 멀티 플랫폼 지원을 위한 게임 스트리밍 시스템 및 방법
US8854397B2 (en) * 2011-12-13 2014-10-07 Facebook, Inc. Photo selection for mobile devices
WO2013119208A1 (en) * 2012-02-07 2013-08-15 Empire Technology Development Llc Online gaming
KR101467868B1 (ko) * 2012-12-20 2014-12-03 주식회사 팬택 소스 장치, 싱크 장치, 이들을 포함하는 무선랜 시스템, 싱크 장치를 제어하는 방법, 단말 장치 및 사용자 인터페이스
US10022622B2 (en) * 2014-04-21 2018-07-17 Steelseries Aps Programmable actuation inputs of an accessory and methods thereof
US10675532B2 (en) 2014-04-21 2020-06-09 Steelseries Aps Variable actuators of an accessory and methods thereof
US20170054982A1 (en) * 2015-08-19 2017-02-23 Hitachi, Ltd. Real time video stream processing systems and methods thereof
US20220212100A1 (en) * 2021-01-04 2022-07-07 Microsoft Technology Licensing, Llc Systems and methods for streaming interactive applications

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6931661B2 (en) * 2000-10-19 2005-08-16 Motorola, Inc. Dynamic image provisioning
US7053863B2 (en) * 2001-08-06 2006-05-30 Ati International Srl Wireless device method and apparatus with drawing command throttling control
US9544523B2 (en) * 2001-08-06 2017-01-10 Ati Technologies Ulc Wireless display apparatus and method
US7289793B2 (en) * 2001-12-03 2007-10-30 Scott Gilbert Method and apparatus for displaying real-time information objects between a wireless mobile user station and multiple information sources based upon event driven parameters and user modifiable object manifest
WO2003075116A2 (en) * 2002-03-01 2003-09-12 T5 Labs Ltd Centralised interactive graphical application server
JP4464599B2 (ja) * 2002-05-13 2010-05-19 株式会社マイクロネット ３次元コンピュータ画像放送用テロップ装置およびその方法
JP4032355B2 (ja) * 2003-03-27 2008-01-16 カシオ計算機株式会社 表示処理装置、表示制御方法および表示処理プログラム
WO2005034505A1 (en) * 2003-10-07 2005-04-14 Librestream Technologies Inc. Camera for communication of streaming media to a remote client
US20050078195A1 (en) * 2003-10-14 2005-04-14 Vanwagner Craig K. Mobile digital surveillance system
US20050113021A1 (en) * 2003-11-25 2005-05-26 G Squared, Llc Wireless communication system for media transmission, production, recording, reinforcement and monitoring in real-time
US20060007318A1 (en) * 2004-07-09 2006-01-12 Omron Corporation Monitoring system center apparatus, monitoring-system-center program, and recording medium having recorded monitoring-system-center program
US7756548B2 (en) * 2005-09-19 2010-07-13 Qualcomm Incorporated Methods and apparatus for use in a wireless communications system that uses a multi-mode base station

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014512199A (ja) * 2011-02-08 2014-05-22 ムスタファ．アワイス Ｉ ビデオゲームコンテンツを提供する方法及びシステム
WO2022168541A1 (ja) * 2021-02-02 2022-08-11 ソニーグループ株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
EP1958159A2 (en) 2008-08-20
KR20080085008A (ko) 2008-09-22
WO2007066329A3 (en) 2008-12-31
US20090238405A1 (en) 2009-09-24
WO2007066329A2 (en) 2007-06-14

Similar Documents

Publication Publication Date Title
JP2009518103A (ja) ユーザがモバイル機器によって大画面ゲームをプレイできるようにするための方法およびシステム
US12022160B2 (en) Live streaming sharing method, and related device and system
US8990693B2 (en) System and method for distributed media personalization
US8074241B2 (en) Process for displaying and navigating panoramic video, and method and user interface for streaming panoramic video and images between a server and browser-based client application
US9485290B1 (en) Method and system for controlling local display and remote virtual desktop from a mobile device
KR20180018045A (ko) 동영상 녹화 방법 및 시스템
KR100889367B1 (ko) 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법
WO2022257699A1 (zh) 图像画面显示方法、装置、设备、存储介质及程序产品
EP3162051A1 (en) Compositing and transmitting contextual information during an audio or video call
US11694316B2 (en) Method and apparatus for determining experience quality of VR multimedia
US20240169680A1 (en) Creating cloud-hosted, streamed augmented reality experiences with low perceived latency
JP2018029338A (ja) ビデオカンファレンスのためのビデオストリーム提供方法およびコンピュータプログラム
US10432681B1 (en) Method and system for controlling local display and remote virtual desktop from a mobile device
JP2023548143A (ja) メディアストリームの動的なユーザデバイスアップスケーリング
KR102199270B1 (ko) 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
CN112905132B (zh) 投屏方法及设备
KR102516831B1 (ko) 싱글 스트림을 이용하여 관심 영역 고화질 영상을 제공하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
KR20160131827A (ko) 클라우드 스트리밍 서비스 시스템, 알파 레벨을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
CN114501065A (zh) 基于面部拼图的虚拟礼物互动方法、***及计算机设备
CN111367598B (zh) 动作指令的处理方法、装置、电子设备及计算机可读存储介质
KR20210133229A (ko) 클라우드 스트리밍 서비스에서의 사용자 인터페이스 세션 복구 방법 및 이를 위한 장치
KR20160131829A (ko) 클라우드 스트리밍 서비스 시스템, 이미지 타입에 따른 알파 값을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
RU2743956C1 (ru) Способ создания вертикально ориентированного видео
KR20170022599A (ko) 클라우드 스트리밍 서비스 시스템, 컬러 비트 감소를 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
KR100617797B1 (ko) 휴대단말기에서 멀티미디어 데이터를 오버레이 표시하는 장치 및 방법