JP6191421B2 - 画像表示制御プログラム、情報処理システム、及び画像表示制御方法 - Google Patents

Description

本発明は、遠隔地に設置されたサーバ装置の画像情報を、クライアント装置がネットワーク経由で利用することが可能な画像表示制御プログラム、情報処理システム、及び画像表示制御方法に関する。

従来、ネットワーク上の遠隔地に設置されたコンピュータ（サーバ装置）を、手元のコンピュータ（クライアント装置）から操作する遠隔制御技術が広く利用されている。ＶＮＣ（Virtual Network Computing）は、ＲＦＢ（Remote Frame Buffer）プロトコルを使用して、サーバ装置の画像情報をクライアント装置に送信して、その画像情報をクライアント装置のディスプレイ画面に表示する。

例えば、クライアント装置は、マウス及びキーボード等の操作情報をサーバ装置に送信する。サーバ装置は、この操作情報に基づいて、動画像を生成する。次に、生成した動画像を一定時間（例えば、０．１秒）毎に再生単位であるフレームに分割する。分割したフレームは順にパケットに変換されるが、通常は、前のフレームとの差分がパケットに変換される。そして、サーバ装置は、変換した複数のパケットを順次クライアント装置に送信する。クライアント装置は、受信したパケットから動画像を再生してディスプレイ画面に表示する。

また、クライアント装置に最低限の機能しか持たせず、サーバ装置でアプリケーションやファイルなどのリソースを管理するように構築されたシンクライアントシステムにおいて、サーバ装置の画像メモリ上の画像を複数の領域に分割し、領域ごとにフレーム間の変更の頻度を判別して、変更の頻度がしきい値を超えた領域を高頻度更新領域として識別し、より圧縮率の高い動画の圧縮処理を行って送信する技術が開示されている（例えば、特許文献１を参照。）。

また、道路工事現場の状況を動画で配信することにより、遠隔地からの工事現場の管理を行うことができる撮影装置及び動画配信システムにおいて、静止画送信要求信号に応じて静止画送信要求信号を受信した時点における動画を構成する静止画を抽出、生成する技術が開示されている（例えば、特許文献２を参照。）。

特開２０１１−２３８０１４号公報 特開２０１０−２２０１８９号公報

しかしながら、クライアント装置に表示させる画面データをサーバ装置からクライアント装置へ伝送する際に、サーバ装置とクライアント装置間の物理的距離が離れているために伝送遅延が生じることがある。また、サーバ装置とクライアント装置間のネットワークに輻輳等が生じることによって伝送遅延が発生する場合もある。この伝送遅延によって、サーバ装置から伝送される画面データがクライアント装置で描画されるのが遅れる結果、クライアント装置で行われる操作に対するレスポンスが悪化する。

図１は、従来技術の問題点を説明するための図である。
図１において、ユーザ１は、マウス２を用いて描画対象のオブジェクト３を操作する。ユーザ１は、時刻ｔが０秒の時点から１秒までの１秒間に、マウス２を用いてオブジェクト３を回転させている。このとき、サーバ装置では、回転開始時のオブジェクト３Ａからマウス２の停止による回転終了時のオブジェクト３Ｂまでのオブジェクト画像４−０乃至４−１０が、例えば０．１秒間隔で生成される。ここで、オブジェクト画像４−０乃至４−１０は、上述のパケットに相当する。

そして、生成されたオブジェクト画像４−０乃至４−１０は、クライアント装置へ送信するために、順にネットワーク上に送出される。まず、最初のオブジェクト画像４−０がネットワーク上に送出され、クライアント装置に到着する。到着までには、ネットワークの伝送遅延によって、例えば０．１秒かかる。

オブジェクト画像４−０が到着したクライアント装置は、表示オブジェクト画像５−０を生成して表示するとともに、オブジェクト画像４−０が到着したことを示す受取確認（Ａｃｋ）を、ネットワークを介してサーバ装置へ返信する。この受取確認の到着にも０．１秒かかる。よって、サーバ装置がオブジェクト画像４−０を送出し、その受取確認をするまでに、０．２秒かかる。

オブジェクト画像４−０の受取確認をしたクライアント装置は、次のオブジェクト画像４−１をネットワーク上に送出する。サーバ装置がオブジェクト画像４−１を送出し、その受取確認をするまでに、同様に０．２秒かかる。

この繰返しの結果、クライアント装置は、表示オブジェクト画像５−０乃至５−１０を順次表示する。

しかしながら、サーバ装置とクライアント装置間のネットワークの伝送遅延が大きいと、クライアント装置でオブジェクト３に対して画像表示の停止指示を行っても、すでに多くのオブジェクト画像４がパケットの形でネットワーク上に発信されており、送ってしまったパケットを止めることが出来ない。また、ＴＣＰ／ＩＰ（伝送制御プロトコル／インターネットプロトコル：Transmission Control Protocol/Internet Protocol）の仕様で、受取確認が届かないと、サーバ装置のネットワークインターフェースカード（ＮＩＣ：Network Interface Card）は、次のパケットを送れないため、クライアント装置でオブジェクト３の動きが止まらない、という現象が多発してしまうという問題点があった。

１つの側面では、本発明は、ネットワークでの伝送遅延が発生しても、クライアント装置が一連の動画像のうち最後の静止画像を直ちに表示することが可能な画像表示制御プログラム、情報処理システム、及び画像表示制御方法を提供することを目的とする。

１つの案では、画像表示制御プログラムは、画像に対して行われる操作の信号をネットワーク経由でサーバに送信し、前記操作の信号に基づき前記サーバが生成した画像データパケットを確認応答に応じて前記ネットワーク経由で順次受信して画像を表示するクライアントのコンピュータに、画像に対して行われる一連の操作が停止したことを示す停止信号を検知し、前記検知の後に受信した前記画像データパケットに基づく画像を表示しないように制御し、前記があると、前記画像データパケットを通信する第１の通信ポートとは別の第２の通信ポートを、前記サーバとの間に開設し、前記停止信号及び前記第２の通信ポートのポート識別情報を、前記第１の通信ポートを介して前記サーバに送信し、前記サーバが前記停止信号に応じて送信する、前記操作の停止に対応する現静止画像を、前記第２の通信ポートを介して受信し、前記現静止画像を、前記操作の停止の直前まで表示していた画像に続けて表示する処理を実行させることを特徴とする。

実施の形態によれば、サーバ装置とクライアント装置が接続されたネットワークに伝送遅延が生じていても、クライアント装置は、サーバ装置が作成した一連の動画像のうちの最後の静止画像を直ちに表示することができる。

従来技術の問題点を説明するための図である。 本実施の形態に係るクライアント装置の機能構成を示す図である。 本実施の形態に係るサーバ装置の機能構成を示す図である。 本実施の形態の全体を説明するための図である。 クライアント装置が実行する画像表示制御処理の流れを示すフローチャートである。 サーバ装置が実行する画像表示制御処理の流れを示すフローチャートである。 情報処理装置の構成図である。

以下、図面を参照しながら、実施の形態について詳細に説明する。
図２は、本実施の形態に係るクライアント装置の機能構成を示す図である。

図２において、クライアント装置２０は、ネットワーク１０を介して遠隔地のサーバ装置３０と接続されている。

クライアント装置２０には、入力装置２１及び表示装置２２が接続されている。入力装置２１は、例えば、キーボード装置、マウス等であり、クライアント装置２０に対して様々な情報を入力することが可能である。表示装置２２は、例えば、液晶ディスプレイ等であり、クライアント装置２０が有する様々な情報を表示することが可能である。

そして、クライアント装置２０は、通信Ｉ／Ｆ（インターフェース：Interface）部２０１、情報送信部２０２、画像データパケット受信部２０３、表示制御部２０４、確認応答送信部２０５、検知部２０６、通信ポート開設部２０７、クライアント側送信部２０８、クライアント側受信部２０９、及び通信ポート閉設部２１０を備える。

通信Ｉ／Ｆ部２０１は、パケット通信制御機能を備えた、例えばＮＩＣやモデムなどであり、ネットワーク１０を介してサーバ装置３０との接続を確立し、データの送受信を実行する。

情報送信部２０２は、サーバ装置３０で実行するアプリケーションに対するコマンド等の情報を、通信Ｉ／Ｆ部２０１を用いてネットワーク１０経由でサーバ装置３０へ送信する。

画像データパケット受信部２０３は、情報送信部２０２が送信した情報に基づきサーバ装置３０が生成した画像データパケットを、通信Ｉ／Ｆ部２０１を用いてネットワーク１０経由でサーバ装置３０から順次受信する。

表示制御部２０４は、画像データパケット受信部２０３が受信した画像データパケットに基づいて画像データを生成し、表示装置２２に表示するように制御する。

確認応答送信部２０５は、画像データパケット受信部２０３が画像データパケットを受信したことを示す確認応答を、通信Ｉ／Ｆ部２０１を用いてネットワーク１０経由でサーバ装置３０へ送信する。

画像データパケット受信部２０３による画像データパケットの受信、確認応答送信部２０５による確認応答の送信、及び表示制御部２０４による画像データの表示制御の繰返しにより、表示装置２２に動画像が表示される。これら情報送信部２０２による情報の送信、並びに、画像データパケット受信部２０３による画像データパケットの受信、確認応答送信部２０５による確認応答の送信、及び表示制御部２０４による画像データの表示制御の繰返しは、従来技術と同様である。

検知部２０６は、前記情報送信部２０２が送信する情報の入力装置２１に対する入力操作が停止したか否かを検知する。例えば、入力装置２１であるマウスの操作が停止したか否かを検知する。

表示制御部２０４は、検知部２０６による検知の後に受信した画像データパケットに基づく動画像を、表示装置２２が表示しないように制御する。

通信ポート開設部２０７は、検知部２０６による検知に基づいて、サーバ装置３０との間で画像データパケットを通信していた第１の通信ポートとは異なる、第２の通信ポートを開設する。

クライアント側送信部２０８は、検知部２０６による検知に基づく入力装置停止信号及び第２の通信ポートのポート識別情報を、第１の通信ポートを介してサーバ装置３０に対して送信する。

クライアント側受信部２０９は、サーバ装置３０が入力装置停止信号に応じて送信する現静止画像を、通信Ｉ／Ｆ部２０１を用いてネットワーク１０経由で第２の通信ポートを介してサーバ装置３０から受信する。なお、現静止画像とは、入力装置停止信号を受けた、一連の動画のうち最後の静止画像のことである。

そして、クライアント側受信部２０９が現静止画像を受信すると、表示制御部２０４は、現静止画像を検知部２０６による検知の直前まで表示装置２２が表示していた動画像に続けて表示するように制御する。

通信ポート閉設部２１０は、表示制御部２０４が現静止画像を表示すると、通信ポート開設部２０７が開設した第２の通信ポートを閉設する。

図３は、本実施の形態に係るサーバ装置の機能構成を示す図である。
図３において、サーバ装置３０は、ネットワーク１０を介して遠隔地のクライアント装置２０と接続されている。

サーバ装置３０は、通信Ｉ／Ｆ部３０１、情報受信部３０２、画像データ生成部３０３、画像データパケット生成部３０４、画像データパケット送信部３０５、確認応答受信部３０６、サーバ側受信部３０７、及びサーバ側送信部３０８を備える。

通信Ｉ／Ｆ部３０１は、パケット通信制御機能を備えた、例えばＮＩＣやモデムなどであり、ネットワーク１０を介してクライアント装置２０との接続を確立し、データの送受信を実行する。

情報受信部３０２は、通信Ｉ／Ｆ部３０１を用いてネットワーク１０経由でクライアント装置２０から送信された情報を受信する。

画像データ生成部３０３は、情報受信部３０２が受信した情報に基づいて、画像データを生成する。例えば、マウスの操作に対応する情報に基づいて、描画対象のオブジェクトが回転する動画像を生成する。

画像データパケット生成部３０４は、画像データ生成部３０３が生成した画像データから、画像データパケットを生成する。例えば、生成した動画像をフレームに分割し、分割したフレームをデータ変換することにより、画像データパケットを生成する。

画像データパケット送信部３０５は、画像データパケット生成部３０４が生成した画像データパケットを、通信Ｉ／Ｆ部３０１を用いてネットワーク１０経由でクライアント装置２０に送信するが、２番目以降の画像データパケットについては、後述するようにして確認応答受信部３０６が受信したクライアント装置２０からの確認応答に応じて順次送信する。

確認応答受信部３０６は、クライアント装置２０が画像データパケットを受信したことを示すための確認応答を、通信Ｉ／Ｆ部３０１を用いてネットワーク１０経由でクライアント装置２０へ送信する。

サーバ側受信部３０７は、入力装置停止信号及びポート識別情報を、通信Ｉ／Ｆ部３０１を用いてネットワーク１０経由でクライアント装置２０から受信する。

サーバ側送信部３０８は、サーバ側受信部３０７によって入力装置停止信号を受信した時点での現静止画像を、通信Ｉ／Ｆ部２０１を用いてネットワーク１０経由で第２の通信ポートを介してクライアント装置２０へ送信する。

図４は、本実施の形態の全体を説明するための図である。
図４において、ユーザ１は、入力装置２１に相当するマウス２を用いて描画対象のオブジェクト３を操作する。ユーザ１は、時刻ｔが０秒の時点から１秒までの１秒間に、マウス２を用いてオブジェクト３を回転させている。このとき、サーバ装置３０では、回転開始時のオブジェクト３Ａからマウス２の停止による回転終了時のオブジェクト３Ｂまでのオブジェクト画像４−０乃至４−１０が、例えば０．１秒間隔で生成される。ここで、オブジェクト画像４−０乃至４−１０は、動画像を構成するフレームを変換したパケットデータ、又は前フレームのパケットデータとの差分に相当する。

そして、生成されたオブジェクト画像４−０乃至４−１０は、クライアント装置２０へ送信するために、順にネットワーク１０上に送出される。まず、最初のオブジェクト画像４−０がネットワーク１０上に送出され、クライアント装置２０に到着する。到着までには、ネットワーク１０の伝送遅延によって、例えば０．１秒かかる。

オブジェクト画像４−０が到着したクライアント２０装置は、表示オブジェクト画像５−０を生成して表示装置２２に表示するとともに、オブジェクト画像４−０が到着したことを示す受取確認を、ネットワーク１０を介してサーバ装置３０へ返信する。この受取確認の到着にも０．１秒かかる。よって、サーバ装置３０がオブジェクト画像４−０を送出し、その受取確認をするまでに、０．２秒かかる。

オブジェクト画像４−０の受取確認をしたクライアント装置２０は、次のオブジェクト画像４−１をネットワーク１０上に送出する。サーバ装置３０がオブジェクト画像４−１を送出し、その受取確認をするまでに、同様に０．２秒かかる。

この繰返しの結果、クライアント装置２０は、表示オブジェクト画像５−０乃至５−１０を順次表示いていくはずであるが、ユーザ１がマウス２の回転操作を停止した時点（時刻ｔが１秒）では、表示オブジェクト画像５−４が表示されており、表示オブジェクト画像４−５乃至４−１０がパケットの形でネットワーク１０上に発信された状態になっている。この時、クライアント装置２０は、マウス２の一連の動作を停止した後に受信した表示オブジェクト画像５−５乃至５−１０を描画せずに、受取確認（Ａｃｋ）をサーバ装置３０へ返信する。クライアント装置２０は、専用の通信ポートを開設し、サーバ装置３０に対して一連の動画のうち最後の静止画像である現静止画像６−１０を専用の通信ポートを介して送る指示を出す。クライアント装置２０は、専用の通信ポートで現静止画像６−１０を受信する。これにより、ネットワーク１０に伝送遅延が生じていても、クライアント装置２０のユーザ１は、一連の動画像のうち最後の静止画像である現静止画像６−１０をすぐに、例えばマウス停止後１ＲＴＴ（Round Trip Time）以内で見ることができる。したがって、マウス停止操作の遅延をなくし操作感覚を向上させることで、遠隔地でのＣＡＤ等の設計ツールのクラウド運用（リモート接続によるデスクトップ操作）を利用することができる。

図５は、クライアント装置が実行する画像表示制御処理の流れを示すフローチャートであり、図６は、サーバ装置が実行する画像表示制御処理の流れを示すフローチャートである。

上述したように、クライアント装置２０とサーバ装置３０は、ネットワーク１０を介して互いに接続されている。このような状態において、クライアント装置２０及びサーバ装置３０は、画像表示制御処理を実行する。

まず、図５のステップＳ５０１において、クライアント装置２０が遠隔地のサーバ装置３０に対して、サーバ装置３０で実行しているアプリケーションの遠隔操作の終了指示を送信したか否かを判断する。

終了指示が送信されている場合（ステップＳ５０１：Ｙｅｓ）、クライアント装置２０は、画像表示制御処理を終了する。そして、サーバ装置３０は、図６のステップＳ６０１において、クライアント装置２０から遠隔操作の終了指示を受信したか否かを判断し、受信していれば（ステップＳ６０１：Ｙｅｓ）、サーバ装置３０は、画像表示制御処理を終了する。

他方、遠隔操作の終了指示を受信していなければ（ステップＳ６０１：Ｎｏ）、サーバ装置３０は、ステップＳ６０２において、サーバ装置３０で作成された動画像の画面を静止画としてキャプチャする。

ステップＳ６０３において、ステップＳ６０２でキャプチャした静止画が最初の静止画であるか否かを判断する。最初の静止画であれば（ステップＳ６０３：Ｙｅｓ）、そのキャプチャした静止画を最初であると示すデータとともに圧縮処理する。他方、キャプチャした静止画が最初の静止画でなければ、すなわち２番目以降の静止画であれば（ステップＳ６０３：Ｎｏ）、ステップＳ６０５において、前画面との差分データを圧縮処理する。

ステップＳ６０６において、ステップＳ６０４又はＳ６０５で圧縮処理した静止画データから通信用の画像データパケットを生成する。

そして、ステップＳ６０７において、ステップＳ６０６で生成した画像データパケットをクライアント装置２０へ送信する。

クライアント装置２０は、図５のステップＳ５０１で遠隔操作の終了指示が送信されていなければ（ステップＳ５０１：Ｎｏ）、ステップＳ５０２において、図６のステップＳ６０７でサーバ装置３０が送信した画像データパケットを受信する。

そして、ステップＳ５０３において、入力装置２１であるマウス２の移動操作が停止したか否かを判断する。停止していない場合（ステップＳ５０３：Ｎｏ）、ステップＳ５０４において、ステップＳ５０２で受信した画像データパケットがステップ６０２で最初にキャプチャした静止画に基づく画像データパケットであるか否かを判断する。

最初であれば（ステップＳ５０４：Ｙｅｓ）、ステップＳ５０５において、圧縮を解凍し、ステップＳ５０６において、表示装置２２に表示する。

他方、最初でなければ（ステップＳ５０４：Ｎｏ）、ステップＳ５０７において、全画面に続く動画として解凍し、ステップＳ５０８において、全画面に続く動画像として表示装置２２に表示する。

そして、ステップＳ５０１に戻り、上述の処理を繰り返す。また、サーバ装置３０では、クライアント装置２０から入力装置２１であるマウス２の移動操作が停止したことを示す信号を受信していないので（ステップＳ６０８：Ｎｏ）、ステップＳ６０１に戻り、上述の処理を繰り返す。

ステップＳ５０３で入力装置２１であるマウス２の移動操作が停止したと判断された場合（ステップＳ５０３：Ｙｅｓ）、ステップＳ５０９において、サーバ装置３０との間で画像データパケットを通信していた通信ポート（標準ポート）とは異なる停止画面専用の通信ポートを開設する。そして、ステップＳ５１０において、マウス２の移動操作が停止したことを示す信号をサーバ装置３０に送信する。

すると、サーバ装置３０では、図６のステップＳ６０８において、クライアント装置２０から入力装置２１であるマウス２の移動操作が停止したことを示す信号を受信したか否かを判断する。受信していなければ（ステップＳ６０８：Ｎｏ）、ステップＳ６０１に戻る。他方、マウス２の移動操作が停止したことを示す信号を受信していた場合（ステップＳ６０８：Ｙｅｓ）、ステップＳ６０９において、現静止画像を圧縮処理する。ステップＳ６１０において、ステップＳ６０９で圧縮処理した静止画データから通信用の画像データパケットを生成する。そして、ステップＳ６１１において、図５のステップＳ５０９でクライアント装置２０が開設した停止画面専用の通信ポートへ、ステップＳ６１０で生成した画像データパケットを送信し、ステップＳ６０１へ戻る。

クライアント装置２０では、図５のステップＳ５１１において、ステップＳ６１１でサーバ装置３０が送信した現静止画像の画像データパケットを受信する。そして、ステップＳ５１３において、圧縮を解凍し、ステップＳ５１３において、表示装置２２に表示する。

ステップＳ５１４において、ステップＳ５０９で開設した停止画面専用の通信ポートを閉設する。そして、ステップＳ５１５において、標準ポートでの画像データパケットの受信が完了したか否かを判断し、完了したと判断されると（ステップＳ５１５：Ｙｅｓ）、ステップＳ５０１に戻る。

図７は、情報処理装置の構成図である。
図２のクライアント装置２０及び図３のサーバ装置３０は、例えば、図７に示すような情報処理装置（コンピュータ）を用いて実現することが可能である。図７の情報処理装置は、ＣＰＵ（Central Processing Unit）７０１、メモリ７０２、入力装置７０３、出力装置７０４、外部記録装置７０５、媒体駆動装置７０６及びネットワーク接続装置７０７を備える。これらはバス７０８により互いに接続されている。

メモリ７０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、クライアント装置２０及びサーバ装置３０が実行する画像表示制御処理に用いられるプログラム及びデータを格納する。例えば、ＣＰＵ７０１は、メモリ７０２を利用してプログラムを実行することにより、上述の画像表示制御処理を行う。

入力装置７０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータからの指示や情報の入力に用いられる。出力装置７０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータへの問い合わせや処理結果の出力に用いられる。

外部記録装置７０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。この外部記録装置７０５には、ハードディスクドライブも含まれる。情報処理装置は、この外部記録装置７０５にプログラム及びデータを格納しておき、それらをメモリ７０２にロードして使用することができる。

媒体駆動装置７０６は、可搬型記録媒体７０９を駆動し、その記録内容にアクセスする。可搬型記録媒体７０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。この可搬型記録媒体７０９には、Compact Disk Read Only Memory （ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等も含まれる。オペレータは、この可搬型記録媒体７０９にプログラム及びデータを格納しておき、それらをメモリ７０２にロードして使用することができる。

このように、画像表示制御処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体には、メモリ７０２、外部記録装置７０５、及び可搬型記録媒体７０９のような、物理的な（非一時的な）記録媒体が含まれる。

ネットワーク接続装置７０７は、通信ネットワーク７１０に接続され、通信に伴うデータ変換を行う通信インターフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置７０７を介して受け取り、それらをメモリ７０２にロードして使用することができる。

開示の実施の形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

１ ユーザ
２ マウス
３（３Ａ、３Ｂ） オブジェクト
４（４−１、４−２、４−３、４−４、４−５、４−６、４−７、４−８、４−９、４−１０） オブジェクト画像
５（５−１、５−２、５−３、５−４、５−５、５−６、５−７、５−８、５−９、５−１０） 表示オブジェクト画像
６−１０ 現静止画像
１０ ネットワーク
２０ クライアント装置
２１ 入力装置
２２ 表示装置
３０ サーバ装置
２０１ 通信Ｉ／Ｆ（インターフェース：Interface）部
２０２ 情報送信部
２０３ 画像データパケット受信部
２０４ 表示制御部
２０５ 確認応答送信部
２０６ 検知部
２０７ 通信ポート開設部
２０８ クライアント側送信部
２０９ クライアント側受信部
２１０ 通信ポート閉設部
３０１ 通信Ｉ／Ｆ（インターフェース：Interface）部
３０２ 情報受信部
３０３ 画像データ生成部
３０４ 画像データパケット生成部
３０５ 画像データパケット送信部
３０６ 確認応答受信部
３０７ サーバ側受信部
３０８ サーバ側送信部
７０１ ＣＰＵ（Central Processing Unit）
７０２ メモリ
７０３ 入力装置
７０４ 出力装置
７０５ 外部記録装置
７０６ 媒体駆動装置
７０７ ネットワーク接続装置
７０８ バス
７０９ 可搬型記録媒体
７１０ 通信ネットワーク

Claims (6)

1. 画像に対して行われる操作の信号をネットワーク経由でサーバに送信し、前記操作の信号に基づき前記サーバが生成した画像データパケットを確認応答に応じて前記ネットワーク経由で順次受信して画像を表示するクライアントのコンピュータに、
   画像に対して行われる一連の操作が停止したことを示す停止信号を検知し、
   前記検知の後に受信した前記画像データパケットに基づく画像を表示しないように制御し、
   前記検知があると、前記画像データパケットを通信する第１の通信ポートとは別の第２の通信ポートを、前記サーバとの間に開設し、
   前記停止信号及び前記第２の通信ポートのポート識別情報を、前記第１の通信ポートを介して前記サーバに送信し、
   前記サーバが前記停止信号に応じて送信する、前記操作の停止に対応する現静止画像を、前記第２の通信ポートを介して受信し、
   前記現静止画像を、前記操作の停止の直前まで表示していた画像に続けて表示する、
   処理を実行させることを特徴とする画像表示制御プログラム。
2. 前記現静止画像の表示の後、前記第２の通信ポートを閉設する、
   ことを特徴とする請求項１に記載の画像表示制御プログラム。
3. ネットワーク経由でクライアントから送信された画像に対して行われる操作の信号を受信し、前記操作の信号に基づいて画像データパケットを生成して前記クライアントからの確認応答に応じて前記ネットワーク経由で前記クライアントに順次送信するサーバのコンピュータに、
   前記クライアントの画像に対して行われる一連の操作が停止したことを示す停止信号の検知に基づく停止信号、及び前記画像データパケットを通信する第１の通信ポートとは別の前記クライアントとの間に前記クライアントが開設した第２の通信ポートのポート識別情報を前記クライアントから受信し、
   前記停止信号を受信した時点での現静止画像を、前記第２の通信ポートを介して送信する、
   処理を実行させることを特徴とする画像表示制御プログラム。
4. 画像に対して行われる操作の信号をネットワーク経由でサーバに送信し、前記操作の信号に基づき前記サーバが生成した画像データパケットを確認応答に応じて前記ネットワーク経由で順次受信して画像を表示するクライアントと、前記ネットワーク経由で前記クライアントから送信された前記操作の信を受信し、前記操作の信に基づいて画像データパケットを生成して前記クライアントからの確認応答に応じて前記ネットワーク経由で前記クライアントに順次送信するサーバとを備える情報処理システムであって、
   前記クライアントは、
   画像に対して行われる一連の操作が停止したことを示す停止信号を検知する検知手段と、
   前記検知手段による検知の後に受信した前記画像データパケットに基づく画像を表示しないように制御する表示制御手段と、
   前記検知手段による検知があると、前記画像データパケットを通信する第１の通信ポートとは別の第２の通信ポートを、前記サーバとの間に開設する通信ポート開設手段と、
   前記停止信号及び前記第２の通信ポートのポート識別情報を、前記第１の通信ポートを介して前記サーバに送信するクライアント側送信手段と、
   前記サーバが前記停止信号に応じて送信する、前記操作の停止に対応する現静止画像を、前記第２の通信ポートを介して受信するクライアント側受信手段と、
   を備え、
   前記表示制御手段は、前記クライアント側受信手段によって受信した現静止画像を前記検知手段による検知の直前まで表示していた画像に続けて表示するように制御することを特徴とし、
   前記サーバは、
   前記停止信号及び前記ポート識別情報を前記クライアントから受信するサーバ側受信手段と、
   前記サーバ側受信手段によって前記停止信号を受信した時点での現静止画像を、前記第２の通信ポートを介して送信するサーバ側送信手段と、
   を備える、
   ことを特徴とする情報処理システム。
5. 画像に対して行われる操作の信号をネットワーク経由でサーバに送信し、前記操作の信号に基づき前記サーバが生成した画像データパケットを確認応答に応じて前記ネットワーク経由で順次受信して画像を表示するクライアントのコンピュータが実行する画像表示制御方法であって、
   画像に対して行われる一連の操作が停止したことを示す停止信号を検知し、
   前記検知の後に受信した前記画像データパケットに基づく画像を表示しないように制御し、
   前記検知があると、前記画像データパケットを通信する第１の通信ポートとは別の第２の通信ポートを、前記サーバとの間に開設し、
   前記停止信号及び前記第２の通信ポートのポート識別情報を、前記第１の通信ポートを介して前記サーバに送信し、
   前記サーバが前記停止信号に応じて送信する、前記操作の停止に対応する現静止画像を、前記第２の通信ポートを介して受信し、
   前記現静止画像を、前記操作の停止の直前まで表示していた画像に続けて表示する、
   ことを特徴とする画像表示制御方法。
6. ネットワーク経由でクライアントから送信された画像に対して行われる操作の信号を受信し、前記操作の信号に基づいて画像データパケットを生成して前記クライアントからの確認応答に応じて前記ネットワーク経由で前記クライアントに順次送信するサーバのコンピュータが実行する画像表示制御方法であって、
   前記クライアントの画像に対して行われる一連の操作が停止したことを示す停止信号の検知に基づく停止信号、及び前記画像データパケットを通信する第１の通信ポートとは別の前記クライアントとの間に前記クライアントが開設した第２の通信ポートのポート識別情報を前記クライアントから受信し、
   前記停止信号を受信した時点での現静止画像を、前記第２の通信ポートを介して送信する、
   ことを特徴とする画像表示制御方法。