WO2007063588A1

WO2007063588A1 - 情報処理装置、電子機器、およびプログラム

Info

Publication number: WO2007063588A1
Application number: PCT/JP2005/022004
Authority: WO
Inventors: Shoichi Sano
Original assignee: Fujitsu Limited
Priority date: 2005-11-30
Filing date: 2005-11-30
Publication date: 2007-06-07
Also published as: US20080228856A1

Abstract

電子機器上で表示され操作される操作対象要素の画像部分を含む画像を前記電子機器に送信する画像送信部と、前記電子機器にて前記画像部分が操作されたことを示す操作検知情報を受信する検知情報受信部と、前記検知情報により前記画像部分に対応する操作対象要素を検知する検知部と、操作対象要素への操作に対して実行すべき処理工程を実行する処理部と、を備える。

Description

明細書

情報処理装置、電子機器、およびプログラム

技術分野

[0001] 本発明は、情報処理装置に関するものである。

背景技術

[0002] 今日、インターネット上のウェブサイトでは、様々な情報が主としてパーソナルコンビユータ向けに大量に提供されている。一方、各種情報にアクセスするための情報機器としては、パーソナルコンピュータ以外にも、携帯電話、携帯情報端末などの携帯機器が普及している。このため、ウェブ (インターネット）上のページ (コンテンツ）を携帯機器でも閲覧した、と、う要求がある。

[0003] しかし、携帯機器では、以下の課題がある。まず、画面が小さぐ解像度が低いため見にくいという課題がある。また、携帯機器用のブラウザは、 CPUの能力やメモリ容量の制限があり、パーソナルコンピュータと比べて性能面や機能面での課題がある。特にウェブべージ上のリンクは、画像を付随していることが多い。その場合、伝送するデータ量が多いと、携帯機器の CPU性能および通信性能が問題となる。さらにまた、 CPU性能やメモリ容量の制限に起因して、携帯機器では、搭載できるコンピュータプログラムが少な!/、など、利用可能な機能が少な、と、う課題もある。

[0004] そこで、性能面での課題解決のため、例えば、ウェブページ内のリンクの表示を、画像でなくリンク先を示すテキスト情報に変換することで伝送するデータ量を減らす技術が提案されている（例えば、特許文献 1参照)。これは一部のデータ量の多い画像をテキストに置き換えることで、データ量を削減することを目的としている。

[0005] しかし、この技術では、携帯機器側で利用したヽ機能 (例えばウェブコンテンツ作成プログラムによる表示、表計算プログラムによるデータ表示 Z編集）があっても、そのような機能を実現するプログラムを搭載して、な、携帯機器では利用できな、。したがって、この技術では、性能の低い携帯機器で利用可能な機能を拡大するという課題を解決することはできない。すなわち、携帯機器の性能が限定される場合でもユーザに十分な機能を提供した、と、う課題の根本的な対策とはならな、。 [0006] また、携帯機器で受け入れ可能なコンテンツを識別し、携帯機器が受信できな!ゾ表示できな!/、コンテンツは携帯機器に送らな、で無駄を省く技術も提案されて、る ( 例えば、特許文献 2参照)。しかし、この技術は不必要なデータは削除する方式であつて、携帯機器側でサポートしてヽなヽ機能はやはり携帯機器では実行できるようにはならない。

[0007] また、携帯機器へ送るウェブページを簡略ィ匕するために、過去にアクセスしたゥェブページや URLが隣接するウェブページとの差分を検出し差分のみを携帯機器へ送る技術も提案されている。これは、回線帯域が狭い通信環境、あるいは、携帯機器の画面が小さいことに対する解決案として有効である。しかし、この技術でも、上述の先行技術と同様、携帯機器側でサポートしていない機能を実行できない。また、携帯機器の性能が限定される場合でもユーザに十分な機能を提供した、と、う課題の根本的な対策とはならない。

特許文献 1 :特開平 11 191082号公報

特許文献 2：特開 2004 - 171281号公報

特許文献 3 :特開 2002— 055872号公報

特許文献 4：特開 2001— 345985号公報

発明の開示

発明が解決しょうとする課題

[0008] 本発明の目的は、通常のコンピュータと比較して処理能力が低ぐ利用可能な機能が少ないという電子機器において、その電子機器よりも高性能で、かつ、より多くの機能を提供できるコンピュータの処理環境を実現することにある。

課題を解決するための手段

[0009] 本発明は前記課題を解決するために、以下の手段を採用した。すなわち、本発明は、電子機器上で表示され操作される操作対象要素の画像部分を含む画像を前記電子機器に送信する画像送信部と、前記電子機器にて前記画像部分が操作されたことを示す検知情報を受信する検知情報受信部と、前記検知情報により前記画像部分に対応する操作対象要素を検知する検知部と、操作対象要素への操作に対して実行すべき処理工程を実行する処理部と、を備える情報処理装置である。 [0010] 本発明によれば、前記電子機器にて前記画像部分が操作されたことにより前記画像部分に対応する操作対象要素を検知し、操作対象要素への操作に対して実行すべき処理工程が実行される。したがって、電子機器にて操作対象要素への操作に対して実行すべき処理工程を実行する代わりに情報処理装置で実行することができる。すなわち、電子機器は、前記画像部分が操作されたことを検知できれば、情報処理装置にて、前記画像部分に対応する操作対象要素への操作に対して実行すべき処理工程を実行させることができる。前記画像送信部は、さらに、前記処理工程の実行結果に対応する画像を前記電子機器に送信するようにしてもよ!ヽ。このような構成により、電子機器は、処理工程を実行した結果を画像として受け取ることができる。

[0011] 前記画像送信部は、所定の時間間隔にて前記処理工程の実行結果に対応する画像を前記電子機器に送信するようにしてもよい。このような構成により、電子機器は、処理工程を実行した結果を画像として所定の時間間隔で受信できる。

[0012] 前記処理工程は、インターネット上のウェブサーバへの動作要求であってもよ、。このような構成により、情報処理装置でのウェブサーバへの動作要求の結果を画像として電子機器が受け取ることができる。

[0013] 前記処理工程は、前記情報処理装置で実行されるコンピュータプログラムに対する動作要求であってもよい。このような構成により、情報処理装置でのコンピュータプログラムへの動作要求の結果を電子機器が画像として受け取ることができる。

[0014] 前記処理工程は、前記情報処理装置と連携する他の情報処理装置上で実行されるコンピュータプログラムに対する動作要求であってもよい。このような構成により、他の情報処理装置上で実行されるコンピュータプログラムへの動作要求の結果を電子機器が画像として受け取ることができる。

[0015] 本発明は、前記画像を圧縮する圧縮部をさらに備えるようにしてもよい。したがって、電子機器は、圧縮された画像として上記結果を受け取ることができる。

[0016] また、本発明は、サーバ装置から、操作部によって操作されるべき操作対象要素の画像部分を含む、そのような画像を受信する画像受信部と、前記画像を画像表示装置に表示する表示制御部と、入力装置によって前記画像内のいずれかの位置の画像部分が操作されたことを検知する操作検知部と、前記検知に応じて、前記位置の画像部分が操作されたことを示す検知情報を前記サーバ装置に送信する検知情報送信部と、を備え、前記画像受信部は、前記位置の画像部分への操作に応じて、前記操作対象への操作が前記サーバ装置に検知され、その検知に起因して遷移した画像を受信する、電子機器であってもよい。

[0017] このような構成により、画像部分への操作に応じて、前記操作対象への操作が前記サーバ装置に検知され、その検知に起因して遷移した画像を受信することができる。すなわち、電子機器自身が、前記画像の遷移を生じさせる処理を実行せず、その結果の画像だけを受信できる。

[0018] 前記画像情報は、所定の形式で圧縮されており、前記受信した画像情報を伸張する伸張部をさらに備えるようにしてもょ、。

発明の効果

[0019] 一般的なコンピュータと比較して処理能力が低ぐ利用可能な機能が少ないという電子機器において、その電子機器よりも高性能で、かつ、より多くの機能を提供できるコンピュータの処理環境を実現することができる。

図面の簡単な説明

[0020] [図 1]本発明の一実施の形態に係る情報システムの構成を示す機能ブロック図である

[図 2]情報システムにおヽて、実行される画像加工処理の例を示す図である。

[図 3]携帯機器のタツチパネルにより座標が指定された場合の処理例を示すフローチヤートである。

[図 4]画像データの加工と流れを示すフローチャートである。

符号の説明

[0021] 1、 31 CPU

2 メインメモリ

3 画像展開メモリ

4 送出メモリ

5, 7通信インターフェース

6 画像加工制御部 7 送出コントローラ

8 ネットワークインターフェース

10 表示メモリ

11 表示回路

12 LCD

13 表示制御部

14 動画圧縮部

15 動画伸張部

16 タツチパネル

17 キーパッド

32 タツチパネル'キーパッド制御回路

発明を実施するための最良の形態

[0022] 以下、図面を参照して本発明の好適な実施の形態に係る情報システムを説明する

[0023] くシステム構成〉

図 1は、本情報システムの構成を示す機能ブロック図である。図 1のように、この情報システムは、ホスト計算機 20と、無線通信チャネルを介してホスト計算機 20にァクセスする本発明の電子機器である携帯機器 30とから構成される。

[0024] 携帯機器 30は、携帯情報端末、携帯電話、 PHS等である。図 1のように、携帯機器 30は、情報処理プログラムおよび制御プログラムを実行し、情報処理機能を実現する CPU31と、無線通信機能を有する通信インターフェース 9と、通信インターフエ一ス 9を通じて受信する動画圧縮データを伸張する伸張部 15と、通信インターフェース 9を通じて受信した画像データを蓄積する表示メモリ 10と、表示メモリ 10に蓄積された画像データ力も LCD12の駆動信号を生成する表示回路 11と、表示回路 11からの駆動信号により駆動されて画像を表示する LCD12と、表示メモリ 10へのデータの入力と表示メモリ 10からのデータの出力とを制御する表示制御部 13と、ユーザによる入力操作を検知するタツチパネル 16 (本発明の入力装置に相当）およびキーパッド 1 7 (本発明の入力装置に相当）とを有している。 [0025] CPU31は、不図示のメモリ上に展開された情報処理プログラムおよび制御プログラムを実行し、携帯機器 30の機能を実現する。

[0026] 通信インターフェース 9は、無線通信ユニットを含み、無線通信チャネルを通じて通信事業者の基地局、および基幹ネットワークにアクセスする。これにより、通信インタ一フェース 9は、通信事業者の基地局に接続されたホスト計算機 20または通信事業者の基幹ネットワークに接続されたホスト計算機 20と通信する。

[0027] 動画伸張部 15 (本発明の伸張部に相当）は、例えば、 MPEG (Moving Picture Cod ing Experts Group/Moving Picture Experts Group)、 OSベンダが提唱する各種のデータ形式（例えば、 Windows (登録商標） Media等）、 H. 264 (MPEGと ITU— T によって共同策定された動画像の圧縮規格)等によって圧縮された動画データを伸張するデータ処理ユニットである。ただし、本発明の実施において、動画データの圧縮形式は、以上の形式には限定されない。また、本発明の実施において、動画伸張部 15は必須の要素でない。すなわち、本発明の実施において、携帯機器 30は、動画伸張部 15のなヽ構成で、ホスト計算機 20から圧縮されてヽなヽ画像データを受信するようにしてちょい。

[0028] 表示メモリ 10は、いわゆる VRAMであり、 LCD 12に表示すべき画像データを保持する。表示制御部 13は、通信インターフェース 9から受信した画像データを表示メモリ 10に格納する。表示回路 11は、表示メモリ 10に格納された画像データを読み出し、 LCD12を駆動する制御信号を生成する。

[0029] LCD12 (本発明の表示装置に相当）は、表示回路 11からの制御信号により、画像データを表示する。タツチパネル 16は、 LCD12の表示面に重ねられる透明のパネルである。タツチパネル 16は、例えば、表面から下方に押圧されたときに、その押圧位置を検知可能な電気信号を発生する。この電気信号により、押圧位置を示す座標値がタツチパネル ·キーパッド制御回路 32を介して CPU31に通知される。 CPU31 は、通信インターフェース 9を介して、タツチパネル 16上の押圧位置を示す座標をホスト計算機 20に通知する。

[0030] キーパッド 17は、ユーザのキーに対する押圧操作にしたがって入力される文字情報を受け付け、タツチパネル ·キーパッド制御回路 32を介して CPU31に通知する。 CPU31は、通信インターフェース 9を通じてホスト計算機 20に、タツチパネル'キーパッド制御回路 32から通知された文字情報を送信する。

[0031] タツチパネル ·キーパッド制御回路 32は、タツチパネルまたはキーパッドの押下によつて発生する電気信号を検知し、タツチパネル上の位置座標またはキーパッドのキ一の種別を特定する。特定された位置座標、あるいは、キーの種類等の情報は、 CP U31で実行されるデバイスドライバを通じて携帯機器 30を制御する OSに通知される (デバイスドライバおよび OSが本発明の操作検知部に相当する)。

[0032] ホスト計算機 20は、コンピュータプログラムを実行しホスト計算機 20としての機能を提供する CPU1と、 CPU1で実行されるプログラムおよび CPU1で処理されるデータを保持するメインメモリ 2と、 LCD12に表示すべき画像データを保持する画像展開メモリ 3と、データ送信のバッファとして機能する送出メモリ 4と、画像展開メモリ 3上の画像の縮小あるヽは拡大等を実行する画像加工制御部 6と、送出メモリ 4上の画像データを圧縮する動画圧縮部 14と、送出メモリ 4への画像データの格納および送出メモリ 4から動画圧縮部 14または通信インターフェース 5への画像の読み出しを制御する送出コントローラ 7と、 LAN等の標準化されたプロトコルにしたがってインターネット等の公衆通信網へアクセスするネットワークインターフェース 8とを有している。

[0033] これらのうち、画像展開メモリ 3と送出メモリ 4は、例えば、 VRAMであり、画像の保持、加工および送出用のバッファとして使用される。動画圧縮部 14 (本発明の圧縮部に相当）は、携帯機器 30の動画伸張部 15に対応する構成要素であり、動画伸張部 15に対応する圧縮形式 (例えば MPEG)で画像データを圧縮する。

[0034] 通信インターフェース 5は、無線通信チャネルを通じて携帯機器 9とデータを送受信する。通信インターフェース 5は、例えば、携帯電話の基地局として構成してもよい。その場合には、変復調装置、送信増幅器、受信増幅器、基地局アンテナ等によつて通信インターフェース 5が構成される。

[0035] なお、インターネット上には、インターネット上のコンピュータで実行されるウェブブラゥザにウェブページを提供するウェブサーバプログラムを実行する httpサーノ 0が存在している。

[0036] ここで、ホスト計算機 20は、通常のデスクトップ PC等と同様、ブラウザ等のアプリケーシヨンプログラムを実行する。本実施形態では、ホスト 20で実行されるブラウザの表示データは、画像展開メモリ 3に格納される。

[0037] 画像展開メモリ 3の読み出しは、画像加工制御部 6により制御される。すなわち、画像加工制御部 6は、画像展開メモリ 3にアドレスを与え、データを読み出し、読み出されたデータを送出メモリ 4に書き込む。

[0038] 送出メモリ 4の読み出しは、送出コントローラ 7で制御される。すなわち、送出コント口ーラ 7は、送出メモリ 4にデータの読み出しアドレスを与える。読み出されたデータは通信インターフェース 5へ送られる。

[0039] 通信インターフェース 5は、送出メモリ 4から送られたデータを携帯機器 30の通信ィンターフェース 9へ送信する。

[0040] 携帯機器 30において、受信されたデータは、通信インターフェース 9を経由し表示メモリ 10へ格納される。表示メモリ 10へは表示制御部 13より読み出しアドレスが与えられ、表示メモリ 10から読み出されたデータは表示回路 11を経由して LCD 12へ送られ表示される。

[0041] 画像カ卩ェ制御部 6は、画像展開メモリ 3と送出メモリ 4へのアドレスの与え方を変えることで、画像の縮小や拡大を行う。また、送出コントローラ 7が送出メモリ 4へ与えるァドレスを変えることにより、送出メモリ 4の一部だけを通信インターフェース 5へ送ることができる。

[0042] なお、図 1で記載した機能ブロックは、サーバ装置 20 (パーソナルコンピュータ等）の CPU性能が向上して、るため、ソフトウェアで実現してもよ!/、。

[0043] <画像加工例 >

図 2に、本情報システムにおいて、実行される画像加工処理の例を示す。上述のように、ホスト計算機 20の CPU1は、例えばブラウザを実行し、ブラウザに画面表示用の画像データを画像展開メモリ 3上に生成させる。その場合には、ブラウザの実行により、インターネット上の httpサーノ Oの提供する情報が画像データとしてホスト計算機 20上に生成される。また、 CPU1は、例えば、ワードプロセッサ、表計算プログラム等のアプリケーションプログラムを実行してもよい。その場合には、ホスト計算機 20上のローカルな処理により、アプリケーションプログラムのユーザインターフェース（操作画面）となる画像データが生成される。

[0044] CPU1は、データベースサーバ、画像処理プロセッサ、数値計算プロセッサ、スーパーコンピュータ等、他のコンピュータに処理を依頼し、その結果を画像展開メモリ 3 に保存してもよい。すなわち、ホスト計算機 20と連携する他の情報処理装置上で実行されるコンピュータプログラムに対する動作要求を他の情報処理装置に発し、その結果を受け取って、画像として携帯機器 30に送信してもよヽ。

[0045] 画像加工制御部 6は、送出メモリ 4へ画像を格納する際に拡大 Z縮小を実行する。

また、画像加工制御部 6は、例えば、画像の一部の領域をクリッピングにより選択し、通信インターフェース 5へ転送してもよい。このようにして、 CPU1上で実行されるブラゥザが生成した画像の全体またはその部分領域が携帯機器 30に転送される。また、 CPU1上で実行されるワードプロセッサ、表計算プログラム等のアプリケーションプログラム等が生成した操作画面の全体またはその部分領域が携帯機器 30に転送される。

[0046] 携帯機器 30は、通信インターフェース介して受信され、表示メモリ 10に格納された画像データを LCD 12に表示する。この画像データは、本来ホスト計算機 20の表示装置にて表示されるべき画像データあり、例えば、ホスト計算機 20で実行されるブラゥザで生成された表示データ、あるいは、ワードプロセッサ、表計算プログラムの操作画面を構成する画像データである。

[0047] 一方、携帯機器 30においてタツチパネル 16やキーパッド 17により入力された操作情報は、通信インターフェース 9を通じてホスト計算機 20に送信され、ホスト計算機 2 0にて処理される。

[0048] すなわち、携帯機器 30から送信された操作情報は、画像制御部 6、あるいは送出コントローラ 7等による画像加工に応じた座標変換が行われ、ホスト計算機 20上のァプリケーシヨンに操作情報が引き渡されることで、ウェブコンテンンッ上のマウス入力イベントやブラウザ上のマウス入力座標に変換される。例えば、携帯機器 30では、タツチパネル 16で座標が入力された場合、その座標データ（画面上のタツチされた位置の座標）がホスト計算機 20に送られる。ホスト計算機 20は、タツチパネル 16の座標データをウェブページ上の座標に変換し、ブラウザに対してその座標のマウスクリックイベントを送る。

[0049] 図 1に示したように、送出メモリ 4と通信インターフェース 5の間に MPEG、 Window s (登録商標） Media、 H. 264等の動画圧縮部 14 (点線で示した)を設けて、データ量を削減してもよい。その場合は携帯機器 30側でも動画伸張部 15が必要となる。

[0050] 本機能はブラウザ表示画面に限らずサーバ装置 20で実行可能なアプリケーションプログラムの表示画面一般を対象とする。その場合には、携帯機器 30上で、サーバ装置 20で実行されるアプリケーションプログラムの機能が利用可能となる。

[0051] <処理フロー >

図 3および図 4により、本情報システムの処理フローを説明する。図 3は、携帯機器 30のタツチパネル 16により座標が指定された場合の処理例を示すフローチャートである。前提として、携帯機器 30の LCD12には、ホスト計算機 20上で生成され送出メモリ 4に展開された画像データに基づく画像が表示されているとする。この画像は、例えば、 CPU1で実行されるブラウザが生成する画面の画像である。

[0052] まず、ユーザがタツチパネル 16をペンにてタツチする（Sl)。すると、タツチパネル · キーパッド制御回路 32は、そのタツチパネル 16に対する押圧操作に応じてタツチパネル 16に発生する電気信号を検知し、タツチパネル 16上の押圧位置を検出する。

[0053] 携帯機器 30の CPU31で実行されるデバイスドライバは、タツチパネル'キーパッド制御回路 32によって検知された信号から、タツチパネル 16での押圧の発生を認識する。すなわち、携帯機器 30上でタツチパネルイベントが発生する（S2)。 S2の処理を実行する CPU31が本発明の操作検知部に相当する。

[0054] 次に、 CPU31で実行されるデバイスドライバは、タツチパネル 16で押圧された座標をタツチパネル ·キーパッド制御回路 32から読み取る（S3)。さらに、デバイスドライバは、読み取った座標を携帯機器 30の画面での相対座標に変換する（S4)。

[0055] 次に、タツチパネルイベントの発生および携帯機器 30上での相対座標が CPU31 上で実行される OSを通じて、通信制御プログラムに通知される。 CPU31上の通信制御プログラムは、通知されたイベントの発生および携帯機器 30での相対座標を、通信インターフェース 9を介してホスト計算機 20に送信する（S5)。 S5の処理を実行する CPU1が本発明の検知情報送信部に相当する。なお、タツチパネル 16で押圧された座標から、携帯機器 30の画面での相対座標への変換は、デバイスドライバではなぐ OS上のアプリケーションプログラム中で実行してもよい。

[0056] ホスト計算機 30では、 CPU1上で携帯機器 30との通信を管理する通信制御プログラムが実行されている。 CPU1は、通信インターフェース 9を通じて、携帯機器 30の通信インターフェース 5からの無線信号を受信する。そして、 CPU1は、通信インターフェース 5を介して、携帯機器 30でのタツチパネルイベントの発生および携帯機器 3 0の押圧された画面上の相対座標を取得する（S6)。 S6の処理を実行する CPU 1が本発明の検知情報受信部に相当する。

[0057] 次に、 CPU1は、取得した携帯機器 30上の相対座標をホスト計算機 20での表示画面の相対座標に変換する（S7)。

[0058] さらに、 CPU1は、ホスト計算機 20上でマウスイベントを生成し、 S7で変換したホスト計算機 20での表示画面の相対座標とともに、アプリケーションプログラム（例えば、ブラウザ）に通知する（S8)。 S7および S8の処理を実行する CPU1が本発明の検知部に相当する。

[0059] アプリケーションプログラム (例えば、ブラウザ）は、ホスト計算機 20での通常の動作通り、マウスイベントによって画面（例えば、ウェブサイトの表示画面）力クリックされたとして、インターネット上の httpサーバにイベントを送信する（S9)。このようにして、ュ一ザによる携帯機器 30に対する操作が、ホスト計算機 20上のブラウザに対する操作に変換され、インターネット上の httpサーバに通知されることになる。 S8および S9の処理を実行する CPU 1が本発明の処理部に相当する。

[0060] 図 4は、本情報システムにおける画像データの加工と流れを示すフローチャートである。本情報システムでは、ホスト計算機 20の CPU1上で、アプリケーションプロダラムが動作し、表示される画像データが画像展開メモリ 3に格納される (S10) _o

[0061] 画像展開メモリ 3内の画像データは、携帯機器 30の画面サイズに応じて、または、携帯機器 30からの指示による画面サイズにリサイズ (縮小または拡大)される。また、画像展開メモリ 3内の画像データの一部分がクリッピング (切り取り）されてもよい。そして、リサイズ、あるいは、クリッピングされた画像データが送出メモリ 4に転送される（S1 D o [0062] 送出メモリ 4のデータは、規定されたフレームレート（例えば、 15fps)で動画圧縮部 14に読み出され、例えば、 MPEG方式で圧縮される（S 12)。動画圧縮部 14で圧縮された画像データは、通信インターフェース 5を介して携帯機器 30に送信される（S1 3)。 S13の処理を実行する CPU1が本発明の画像送信部に相当する。なお、送信の際、読み出しアドレスを制御することで送出メモリ 4のデータの一部をクリッピングして送信してもよい。

[0063] 携帯機器 30は、ホスト計算機 20からのデータを受け取り（の処理を実行する CPU3 1が本発明の画像受信部に相当する。）、動画伸張部 15で画像データに復号する（ S14)。携帯機器 30は、復号した画像データを動画として表示メモリ 10へ転送し、 L CDに表示する（S 15)。 S 15の処理を実行する CPU31が本発明の表示制御部に相当する。

[0064] ユーザは、必要に応じて、画像の拡大、縮小等の操作を実行する。携帯機器 30の CPU31は、タツチパネル'キーパッド制御回路 32によってユーザ操作を検知し（この処理を実行する CPU31が本発明の操作検知部に相当する。）、検知した操作を通信インターフェース 9により無線通信でホスト計算機 20に送信する。例えば、どの部分をどの程度拡大するか、という指示情報がホスト計算機に送信される (この処理を実行する CPU31が本発明の検知情報送信部に相当する。 )。

[0065] また、ユーザは、携帯機器 30に表示された画像中の操作対象 (メニューあるいはァイコン等)を操作する。すると、操作された位置座標が、操作されたことを示すイベントとともに、ホスト計算機 20に送信される。

[0066] ホスト計算機 20は、受信した位置座標をホスト計算機 20での相対座標（あるいは、実行中のアプリケーションプログラム上の相対座標）に変換する。そして、ホスト計算機 20は、変換された相対座標から、画像中の操作対象を特定する。

[0067] 一方、ユーザは、携帯機器 30の LCD12を通じて、ホスト計算機 20で実行中のァプリケーシヨンプログラムが生成した画面の変化をあた力もテレビ画像を見るようにして、サーバ装置 20から送信される画像を認識する。ユーザが、タツチパネル 16あるいはキーパッド 17によって LCD 12上の操作対象を操作すると、ホスト計算機 20上の対応する画面上のイベントが発生し、 LCD12上の画面が遷移することになる。 [0068] <実施形態の効果 >

以上述べたように、本実施形態の情報システムによれば、ハードウェア化しにくいブラゥザ機能を、高性能な CPUを持つネットワーク上のホスト計算機 20で実行し、その結果生成される画面の画像データを動画としてネットワークと通じて携帯機器 30に送信する。これにより、携帯機器 30で高機能なインターネットブラウジングを行える。従来の技術では、これらの機能は、携帯機器 30の限られたリソースでは対応できな力たものである。すなわち、例えば、 CPU1の性能が高いことによる高速処理、キャッシュメモリを多くとれることによる迅速表示、デスクトップ用にしか開発されていないブザウザのプラグイン機能、ウェブ用アニメーション作成プログラム（例えば Macromedia Has h (商標））、画像データ表示プログラム (例えば、 PDFビューヮ）、動画のデコード機能、ワードプロセッサ、表計算、プリゼンテーシヨン資料作成ツール、その他の文書表示などが携帯機器 30で使用できる。

[0069] さらに、携帯機器 30で HTMLブラウザを搭載しなくても HTMLブラウジング (インタ一ネットサーフィン）が行える。

[0070] さらにまた、インターネットの（HTML)コンテンツだけでなぐホスト計算機 20で表示でき、携帯機器 30に送信可能なコンテンツはすべて携帯機器 30上に表示できるようになる。

[0071] その場合、携帯機器 30は、ユーザ操作を検知してホスト計算機 20に伝達する処理と、ホスト計算機 20から動画として送信される画像データの表示だけを実行すればよい。したがって、携帯機器 30においては、ブラウザ、ワードプロセッサ、表計算プログラム等の個々のアプリケーションプログラムを実行する必要がない。

[0072] また、本実施形態では、携帯機器 30は、ホスト計算機 20で生成された画像を動画として表示するだけであり、携帯機器 30で画像を生成する必要がない。すなわち、一般的なクライアント 'サーバモデルのシステムのように、携帯機器 30は、サーバ側（ホスト計算機 20)からの描画命令を解釈して画像を生成する必要がな!ヽ。したがって、画像を表示する表示メモリ 11と表示回路 11とを設けることができれば、ホスト計算機 20のリソースを活用し、携帯機器 30上で高機能 ·多機能な環境を実現できる。

[0073] <コンピュータ読み取り可能な記録媒体 > コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

[0074] ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンビュータ等力読み取ることができる記録媒体をいう。このような媒体内には、 CPU,メモリ等のコンピュータを構成する要素を設け、その CPUにプログラムを実行させてもよい。

[0075] また、このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、 CD-ROM, CD- R/W、 DVD、 DAT, 8mm テープ、メモリカード等がある。

[0076] また、コンピュータ等に固定された記録媒体としてハードディスクや ROM (リードォンリーメモリ）等がある。

Claims

請求の範囲

[1] 電子機器上で表示され操作される操作対象要素の画像部分を含む画像を前記電子機器に送信する画像送信部と、

前記電子機器にて前記画像部分が操作されたことを示す検知情報を受信する検知情報受信部と、

前記検知情報により前記画像部分に対応する操作対象要素を検知する検知部と、操作対象要素への操作に対して実行すべき処理工程を実行する処理部と、を備える情報処理装置。

[2] 前記画像送信部は、さらに、前記処理工程の実行結果に対応する画像を前記電子機器に送信する請求項 1に記載の情報処理装置。

[3] 前記画像送信部は、所定の時間間隔にて前記処理工程の実行結果に対応する画像を前記電子機器に送信する請求項 1に記載の情報処理装置。

[4] 前記処理工程は、インターネット上のウェブサーバへの動作要求である請求項 1から 3の、ずれかに記載の情報処理装置。

[5] 前記処理工程は、前記情報処理装置で実行されるコンピュータプログラムに対する動作要求である請求項 1から 3のいずれかに記載の情報処理装置。

[6] 前記処理工程は、前記情報処理装置と連携する他の情報処理装置上で実行されるコンピュータプログラムに対する動作要求である請求項 1から 3のいずれかに記載の情報処理装置。

[7] 前記画像を圧縮する圧縮部をさらに備える請求項 1から 6のいずれかに記載の情報処理装置。

[8] 前記画像送信部は、前記画像として、当該情報処理装置上で動作するコンピュータプログラムの実行によって生成された画面表示用画像を前記電子機器に送信する請求項 1に記載の情報処理装置。

[9] サーバ装置から、操作部によって操作されるべき操作対象要素の画像部分を含む、そのような画像を受信する画像受信部と、

前記画像を画像表示装置に表示する表示制御部と、

入力装置によって前記画像内のいずれかの位置の画像部分が操作されたことを検知する操作検知部と、

前記検知に応じて、前記位置の画像部分が操作されたことを示す検知情報を前記サーバ装置に送信する検知情報送信部と、を備え、

前記画像受信部は、前記位置の画像部分への操作に応じて、前記操作対象への操作が前記サーバ装置に検知され、その検知に起因して遷移した画像を受信する、電子機器。

[10] 前記画像情報は、所定の形式で圧縮されており、前記受信した画像情報を伸張する伸張部をさらに備える請求項 9に記載の電子機器。

[11] 前記画像受信部は、前記画像として、前記サーバ装置上で動作するコンピュータプログラムの実行によって生成された画面表示用画像を受信する請求項 9に記載の電子機器。

[12] コンピュータに、電子機器上で表示され操作される操作対象要素の画像部分を含む画像を前記電子機器に送信する画像送信ステップと、

前記電子機器にて前記画像部分が操作されたことを示す検知情報を受信する検知情報受信ステップと、

前記検知情報により前記画像部分に対応する操作対象要素を検知する検知ステツプと、

操作対象要素への操作に対して実行すべき処理工程を実行するステップと、を実行させるコンピュータ実行可能なプログラム。

[13] 前記画像送信ステップは、さらに、前記処理工程の実行結果に対応する画像を前記電子機器に送信するステップを含む請求項 12に記載のコンピュータ実行可能なプログラム。

[14] 前記画像送信ステップは、所定の時間間隔にて前記処理工程の実行結果に対応する画像を前記電子機器に送信するステップを含む請求項 12に記載のコンピュータ実行可能なプログラム。

[15] 前記処理工程は、インターネット上のウェブサーバへの動作要求である請求項 12 力も 14のいずれかに記載のコンピュータ実行可能なプログラム。

[16] 前記処理工程は、前記情報処理装置で実行されるコンピュータプログラムに対する動作要求である請求項 12から 14のいずれかに記載のコンピュータ実行可能なプログラム。

[17] 前記処理工程は、前記情報処理装置と連携する他の情報処理装置上で実行されるコンピュータプログラムに対する動作要求である請求項 12から 14のいずれかに記載のコンピュータ実行可能なプログラム。

[18] 前記画像を圧縮する圧縮ステップをさらに実行させる請求項 12から 17のいずれかに記載のコンピュータ実行可能なプログラム。

[19] 前記画像送信ステップは、前記画像として、前記コンピュータ上で動作するコンビュータプログラムの実行によって生成された画面表示用画像を前記携帯機器に送信させる請求項 12に記載のコンピュータ実行可能なプログラム。

[20] コンピュータに、サーバ装置から、操作部によって操作されるべき操作対象要素の画像部分を含む、そのような画像を受信する画像受信ステップと、

前記画像を画像表示装置に表示する表示制御ステップと、

前記画像内のいずれかの位置の画像部分が操作されたことを検知する操作検知ステツプと、

前記検知に応じて、前記位置の画像部分が操作されたことを示す検知情報を前記サーバ装置に送信する検知情報送信ステップと、を実行させ、

前記画像受信ステップでは、前記位置の画像部分への操作に応じて、前記操作対象への操作が前記サーバ装置に検知され、その検知に起因して遷移した画像が受信される、コンピュータ実行可能なプログラム。

[21] 前記画像情報は、所定の形式で圧縮されており、前記受信した画像情報を伸張する伸張ステップをさらに備える請求項 20に記載のコンピュータ実行可能なプログラム

[22] 前記画像受信ステップは、前記画像として、前記サーバ装置上で動作するコンビュータプログラムの実行によって生成された画面表示用画像を受信させる請求項 20に記載のコンピュータ実行可能なプログラム。

[23] 電子機器上で表示可能であり当該電子機器で操作される操作対象要素の部分を含むデータを前記電子機器に送信する送信部と、前記電子機器にて前記部分が操作されたことを示す検知情報を受信する検知情報受信部と、

前記検知情報により前記データ部分に対応する操作対象要素を検知する検知部と操作対象要素への操作に対して実行すべき処理工程を実行する処理部と、を備える情報処理装置。

[24] サーバ装置から、操作部によって操作されるべき操作対象要素の部分を含む当該電子機器で表示可能なデータを受信する受信部と、

前記データを画像表示装置に表示する表示制御部と、

入力装置によって前記データ内のいずれかの位置のデータ部分が操作されたことを検知する操作検知部と、

前記検知に応じて、前記位置のデータ部分が操作されたことを示す検知情報を前記サーバ装置に送信する検知情報送信部と、を備え、

前記受信部は、前記位置のデータ部分への操作に応じて、前記操作対象への操作が前記サーバ装置に検知され、その検知に起因して遷移したデータを受信する、電子機器。

[25] コンピュータに、電子機器上で表示可能であり当該電子機器で操作される操作対象要素の部分を含むデータを前記電子機器に送信する送信ステップと、

前記電子機器にて前記データ部分が操作されたことを示す検知情報を受信する検知情報受信ステップと、

前記検知情報により前記データ部分に対応する操作対象要素を検知する検知ステップと、

[26] コンピュータに、サーバ装置から、操作部によって操作されるべき操作対象要素の部分を含む当該コンピュータで表示可能なデータを受信する受信ステップと、前記データを表示装置に表示する表示制御ステップと、

前記データ内のいずれかの位置の画像部分が操作されたことを検知する操作検知ステップと、

前記検知に応じて、前記位置のデータ部分が操作されたことを示す検知情報を前記サーバ装置に送信する検知情報送信ステップと、を実行させ、

前記受信ステップでは、前記位置のデータ部分への操作に応じて、前記操作対象への操作が前記サーバ装置に検知され、その検知に起因して遷移したデータが受信される、コンピュータ実行可能なプログラム。