JP4405419B2

JP4405419B2 - 画面送信装置

Info

Publication number: JP4405419B2
Application number: JP2005100307A
Authority: JP
Inventors: 信哉村井; 尚吾山口; 一山口; 敏雄白木原; 春彦外山; 卓也川村
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-03-31
Filing date: 2005-03-31
Publication date: 2010-01-27
Anticipated expiration: 2025-03-31
Also published as: US7702171B2; CN100388180C; JP2006285302A; CN1841311A; US20060222246A1

Description

本発明は、コンピュータの画面に表示される画像データを圧縮し、ネットワークを介して他の情報機器に送信する画面送信装置に関する。

近年、ネットワークの高速化に伴い、パーソナルコンピュータ（ＰＣ）の画面上に表示される画像データをリアルタイムにネットワークを介して送信し、遠隔の画面表示端末に表示させ、遠隔からＰＣにより操作を行うというシステムが広まってきている（例えば：ＶＮＣ（Virtual Network Computing））。また、ＰＣの画面に表示される動画像などの画像データをIEEE 802.11bやIEEE 802.11gなどの無線ＬＡＮを用いて画面表示端末、例えばプロジェクタにリアルタイムに送信して表示するといったシステムも広まってきている。

いずれのシステムも、ＰＣの画像データをリアルタイムに取得して圧縮し、ネットワークを介して他の情報機器に送信する技術に基づいている。従来、このような画面の画像データのリアルタイム送信は、画面全体の画像データを定期的に取得して圧縮して送信する、もしくは画面の中の変更のあった部分の画像データのみを取得して圧縮して送信していた。この際、画像データの圧縮については単一の圧縮方式を用いるか、又は特開平１０−１２６７７３号公報に記載されるように送信するフレーム毎に複数の圧縮を試み、圧縮率の高い方式を選択するという方式が存在する。

また、特開２００４−８６５５０号公報に記載されるように（複数の）アプリケーションプログラムが描画する画面領域によって画面領域を分割し、その領域毎に圧縮方法を設定するという方法もある。

ＰＣなどの画面上に表示される画像は自然画像、文字画像、ＣＧ画像など、さまざまな性質の画像が混在している。たとえば、ＪＰＥＧで用いられているような画像の高周波成分をカットするような圧縮方式のみを用いる場合には、自然画像の圧縮については高い圧縮率にて圧縮を行うことができるが、背景が単色の文字画像などは、ランレングス符号化などに比べて、高い画質を保ったまま高い圧縮率で圧縮することができない。逆にランレングス符号化のみを用いる場合には、背景が単色の文字画像などは歪みなく高い圧縮率で圧縮することができるが、細かく色が変化する自然画像などは圧縮率が低くなる。そのため、単一の圧縮方式では、常に高い圧縮率を得ることが困難である。

また、圧縮の対象となる画像データにおいて、近年のアプリケーションプログラムでは一つのアプリケーションプログラムの表示領域中にも、文字、自然画、アイコンなど複数の部品より構成されており、それぞれが性質の異なる画像が含まれていることが多い。
特開平１０−１２６７７３号公報特開２００４−８６５５０号公報

従来、常に単一圧縮方式のみを用いる方式、もしくは、アプリケーションプログラム毎に圧縮方式を設定する方式では、画面の各領域の性質に応じて適切な圧縮方式を設定することができず、高い圧縮率を得ることができないという問題があった。

また、特開平１０−１２６７７３号公報に記載されるように、常に複数の圧縮方式を比較する場合には、画像の性質に応じて適切な圧縮方式を選択して利用することができ、圧縮率を高めることができるが、圧縮方式を決定するために、送信する画像を複数の圧縮方式で圧縮する必要があり、圧縮処理に時間を要する、もしくは専用の処理装置を要するという問題があった。

また、一つのアプリケーションプログラムの表示領域の中に性質の異なる画像が含まれていることが多いことから、特開２００４−８６５５０号公報に記載されるアプリケーションプログラム毎に圧縮方式を設定する方式では、圧縮方式を適切に選択することは困難である。さらに、同じアプリケーションであっても、ユーザーの設定や利用状況によって、デザインや表示される内容が変化するため、固定に対応付けられた圧縮方式は常に適切な圧縮を行うことができないという問題があった。

従って、本発明の目的は、表示画像の特性に応じて適切な圧縮方式を選択して高い圧縮率で圧縮することができ、画面が送信されてから表示されるまでの遅延時間を短縮することができる画面送信装置を提供することにある。

上記課題を解決するために、本発明の一つの観点では、コンピュータ画面上の複数の種別のグラフィカルインタフェース（ＧＵＩ）部品を含む表示画像の少なくとも一部の領域の画像データを圧縮して画面表示端末に送信する画面送信装置において、複数のＧＵＩ部品の種別に対応して圧縮方式を示す情報を含む圧縮特性情報を格納する格納手段と、前記格納手段から前記領域に含まれるＧＵＩ部品の種別に対応する圧縮特性情報を選択して圧縮特性を決定する決定手段と、決定された圧縮特性に従って前記画像データの圧縮を行って送信データを生成する圧縮手段と、前記送信データを前記画面表示端末に送信する送信手段とを具備する。

また、上記課題を解決するために、本発明の一つの観点では、コンピュータ画面上の複数の種別のグラフィカルインタフェース（ＧＵＩ）部品を含む表示画像の少なくとも一部の領域の画像データを圧縮して画面表示端末に送信する画面送信方法において、複数のＧＵＩ部品の種別に対応して圧縮方式を示す情報を含む圧縮特性情報を格納する格納手段から前記領域に含まれるＧＵＩ部品の種別に対応する圧縮特性情報を選択して圧縮特性を決定するステップと、決定された圧縮特性に従って前記画像データの圧縮を行って送信データを生成するステップと、前記送信データを前記画面表示端末に送信するステップとを具備する。

本発明によれば、画面の各領域に応じて適切な圧縮方式を選択することにより、表示画像の特性に応じて圧縮方式を選択することができる。さらに、圧縮方式の選択処理が高速になるため、画面の画像データを高い圧縮率で圧縮することができる。その結果、高速な画像データの送信が可能になり、画面を送信してから画面表示端末に表示されるまでの遅延時間を短縮することができる。また、画面データの更新頻度を向上させることができる。

以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の第１実施形態に従う画面送信装置と画面表示端末の一例を示す外観図である。図１に示す画面送信装置２０は、先ず、表示したい画面の画像データを生成して圧縮処理を行い、表示する画面表示端末１０に送信する。画面表示端末１０は、受信した圧縮データから表示用の画像データを生成して表示する。画面送信装置２０と画面表示端末１０とは、無線ＬＡＮなどのネットワークを介して接続される。画面送信装置２０は、画像データの表示、生成を行う機能を有する装置であり、具体的には例えばＰＣやＰＤＡなどである。

画面表示端末１０は、画面送信装置２０から送信された画像データを表示する。このとき送られてきた画像データは画面全体に表示するものであっても構わないが、画像データに加えて、画面上の表示する座標や表示範囲を示す範囲情報がある場合は、この範囲情報に相当する表示範囲にこの画像データを表示する機能を備えている。画面表示端末１０は、ＣＲＴやＬＣＤなどの表示部を備え、ネットワークから画像データを受信可能なテレビ、ＰＣ、ＰＤＡ、プロジェクタ等画像データを画面として表示する機能を備えた装置であれば使用することができる。尚、図１では画面表示端末１０をプロジェクタとして示している。

次に、画面送信装置２０の構成について図２を参照して説明する。図２は、本発明の第１実施形態に従う画面送信装置と画面表示端末の一例を示すブロック図である。図２に示す画面送信装置２０において、先ず画面情報生成部２１では、描画命令に応じて表示すべき画面情報を生成する。画面送信装置２０がＯＳ上でアプリケーションが動作するＰＣの場合は、一般的には、アプリケーションプログラムがＯＳに対して描画命令を発行すると、ＯＳは表示用の画像データを生成し、ディスプレイ表示用のフレームバッファに書き込むが、この一連の手順を行う部分が画面情報生成部２１に相当する。

次に、送信画像データ生成部２２は画面情報生成部２１が生成する表示用の画像データを取得することにより、画面表示端末１０に送信する画像データを生成する。例えば、上記の構成のＰＣの場合、画面送信装置２０のオペレーティングシステム（ＯＳ）がディスプレイ表示用に提供した画像データをフックする方法（図７）、ＯＳより画面の変更領域を取得し、その領域内の画像データを別途取得する方法（図８）、外部の装置を利用してディスプレイ表示用映像信号から送信画像データを生成する方法（図９）、所定の間隔で表示中の画面データ全体を取得し、一回前に取得した画面データと比較し、変更のあった画像データを抽出する方法（図示せず）などが考えられる。これらの方法の具体例について図７〜図９で詳細に説明する。ここで得られる送信用画像データは画像データおよびその画像が画面全体の中で占める位置情報を含むものである。

圧縮方式決定部２３は、送信画像生成部２１が生成した送信用の画像データが画面全体の中で占める領域に対し、その領域がどの種別のＧＵＩ（Graphical User Interface）の部品に属するかを判定する（ステップＳ３）。ＧＵＩの部品とは、例えば、ボタン、スクロールバー、ウィンドウのタイトルバー、デスクトップ背景、メニュー、テキスト入力部、リストビューなどである。送信用の画像データが占める領域がどの種別のＧＵＩの部品に属するかを判定する方法としては、例えば、表示中の各ＧＵＩの部品の領域情報を取得し、その領域情報から送信用データの占める領域がどの種別のＧＵＩに属するかを判別するといった方法が考えられる。

その後、圧縮方式決定部２３は圧縮特性情報格納部２４に格納されている情報を元に判定された種別に応じた圧縮方式（圧縮特性情報）を選定する。圧縮特性情報格納部２４に格納されている情報の例を図４〜図６に示す。

圧縮部２５は圧縮方式決定部２３により決定された圧縮方式を用いて、送信データを圧縮して圧縮データを出力する。通信部２６は圧縮部２５から出力される圧縮データを、ネットワーク１を介して画面表示端末１０に送信する。

また、負荷監視部２７は、画面送信装置２０のＣＰＵの負荷を監視する。負荷監視部２７により負荷が軽いと判断された場合、圧縮特性情報格納部２４の情報が更新される。送信データ監視部２８は、通信部２６により画面表示端末１０に送信される画像データの量を監視する。送信データ監視部２８により送信される画像データ量が予め設定された閾値以下であると判断された場合、圧縮特性情報格納部２４の情報が更新される。また、画像データが送信される毎に圧縮特性情報格納部２４の情報を更新してもよい。

尚、上記では圧縮特性情報格納部２４に格納する情報として、圧縮率や圧縮処理時間を格納する例を示したが、圧縮特性情報格納部２４にはＧＵＩの各部品に最も適した圧縮方式・パラメータのみを格納してもよい。この場合には、圧縮方式選択に要する時間を削減することができる。

圧縮方式決定部２３が送信用の画像データがどのＧＵＩの部品の領域であるかを判別する方法の別の方法としては、圧縮方式決定部２３は、画面全体について各ＧＵＩの部品の種別が占める領域を常に保持しておき、その情報を元に送信用データの占める領域が各ＧＵＩの部品の領域に属するかを判別しても良い。こうすることで圧縮方式選択に要する時間を削減することができる。

さらに、圧縮特性情報格納部２４に格納する情報を元に、画面のどの領域がどの圧縮方式が適しているかという情報を常に保持していても良い。こうすることで、画面の画像データを送信する際に圧縮方式選択に要する時間を削減することができる。

次に、図２に示す画像送信装置２０での処理について説明する。図３は、画面送信処理を示すフローチャート図である。図２に示す画面送信装置２０において、先ず画面情報生成部２１では、描画命令に応じて表示すべき画面情報を生成する（ステップＳ１）。次に、送信画像データ生成部２２は画面情報生成部２１が生成する表示用の画像データを取得することにより、画面表示端末１０に送信する画像データを生成する（ステップＳ２）。圧縮方式決定部２３は、送信画像生成部２１が生成した送信用の画像データが画面全体の中で占める領域に対し、その領域がどの種別のＧＵＩ（Graphical User Interface）の部品に属するかを判定する（ステップＳ３）。ＧＵＩの部品とは、例えば、ボタン、スクロールバー、ウィンドウのタイトルバー、デスクトップ背景、メニュー、テキスト入力部、リストビューなどである。

その後、圧縮方式決定部２３は圧縮特性情報格納部２４に格納されている圧縮特性情報を元に判定された種別に応じた圧縮方式を選定する（ステップＳ４）。圧縮部２５は圧縮方式決定部２３により決定された圧縮方式を用いて画像データを圧縮し、圧縮した送信データを出力する（ステップＳ５）。通信部２６は圧縮部２５からの送信データを、ネットワーク１を介して画面表示端末１０に送信する（ステップＳ６）。

以上により、表示画像の特性に応じて圧縮方式を選択することが可能となり、さらに、圧縮方式の選択処理が高速になるため、画面の画像データを高速に高い圧縮率で圧縮することができる。その結果、高速な画像データの送信が可能になり、画面を送信してから画面表示端末に表示されるまでの遅延時間を短縮することができる。また、画面表示端末における画面の更新頻度を向上させることができる。

次に、圧縮特性情報格納部２４に格納されている情報の例を説明する。図４に示す圧縮特性情報格納部２４に格納されているテーブル２４０は、ＧＵＩの種別を示す項目と、そのＧＵＩ種別に対応する表示画像の性質を示す項目と、最も圧縮率の高い圧縮方式を示す項目とで構成される。図４のようなテーブル２４０を格納すると、この情報を元に送信する領域が属する部品に応じて、高い圧縮率を得ることのできる圧縮方式を選択することができる。例えば、テキスト領域は背景、文字共に単色であることから、ランレングス符号化を選択することで歪みなく高い圧縮率を得ることができる。デスクトップ領域は自然画であるため、例えばＪＰＥＧのような自然画像の圧縮に適した方式を選択すれば良い。図４に示す情報はＯＳから取得することが可能である。

また、図５に示す圧縮特性情報格納部２４に格納されているテーブル２４１は、ＧＵＩの種別を示す項目と、そのＧＵＩ種別に対応する平均圧縮率を示す項目とで構成される。この平均圧縮率の項目には、ＪＰＥＧの平均圧縮率を示す項目、ＧＩＦの平均圧縮率を示す項目、ランレングスの平均圧縮率を示す項目等で構成される。図６に示す圧縮特性情報格納部２４に格納されているテーブル２４２は、表示画面の単位面積あたりの（平均）圧縮処理時間が格納され、ここではＪＰＥＧ、ＧＩＦ、ランレングスのそれぞれの圧縮処理時間を示す項目で構成される。

図４に示すテーブル２４０とは別に、図５、図６のような情報を格納すると、例えば、利用できるネットワークの帯域が狭く、高い圧縮率が要求される状況では、最も圧縮率の良い圧縮方式を選定し、圧縮率が所定の値を満たしていれば良く速い処理が要求される場合には、圧縮率が所定の値より良い方式の中から圧縮処理時間の短い圧縮方式を選定するといった、ネットワークの状況などに応じた制御も容易になる。ここでは、圧縮方式決定部２３が圧縮特性情報格納部２４に格納されている情報を元に複数の圧縮方式の中から利用する圧縮方式を選択する場合について記したが、圧縮特性情報格納部２４に圧縮パラメータ（例えばＪＰＥＧにおける量子化パラメータ）毎の画質や圧縮率などの圧縮特性を格納しておき、圧縮方式決定部２３はその情報を元に圧縮方式だけでなく圧縮パラメータも決定してもよい。

次に、画面送信装置２０での画像データの生成方法の具体例について図７〜図９を用いて詳細に説明する。図７は画面送信装置２０のＯＳ４０がディスプレイ表示用に提供された画像データをフックする方法を示している。先ず、画面送信装置２０のアプリケーションプログラム４５から描画命令がＯＳ４０の描画命令処理部４３に提供される。描画命令処理部４３は、描画画像、ディスプレイ用描画命令をＯＳ４０のディスプレイドライバ４２に提供する。この時、ＯＳ４０の仮想ディスプレイドライバ４１は描画命令処理部４３からの描画画像、ディスプレイ用描画命令をフックする。

ディスプレイドライバ４２は、描画画像、ディスプレイ用描画命令に応じてディスプレイに表示する画像データを生成してビデオカード３０に提供する。ビデオカード３０は、提供された画像データに基づいて解像度や描画速度を決定し、ディスプレイ３１の表示を制御する。

仮想ディスプレイドライバ４１は、フックした描画画像、ディスプレイ用描画命令に基づいて変更領域画像データを生成し、送信画像データ生成プログラム４７に提供する。変更領域画像データを取得して送信画像データ生成プログラム４７が起動されると、圧縮特性情報格納部２４から部品情報を取得し、送信用の画像データが圧縮され、圧縮送信プログラム４８に提供される。

このように、描画画像、ディスプレイ用描画命令をフックして送信用の画像データを圧縮して送信することにより、高速に圧縮方式の選択処理を行い、画面が送信されてから表示されるまでの遅延時間を短縮することができる。

図８は画面送信装置のＯＳより画面の変更領域を取得し、その領域内の画像データを別途取得する方法を示している。ＯＳ４０の描画命令処理部４３は、アプリケーションプログラム４５から描画命令が提供されると、その描画命令に基づいて生成された描画画像がＯＳ４０のアプリケーション表示画像バッファ４４に提供される。同時に、描画命令処理部４３は、描画命令に基づいて変更領域がある場合、送信画像データ生成プログラム４７へ変更領域情報を提供する。また、アプリケーション表示画像バッファ４４は、変更領域の画像データを送信画像データ生成プログラム４７へ提供する。送信画像データ生成プログラム４７は、圧縮特性情報格納部２４から部品情報を取得し、変更領域の画像データを圧縮する。圧縮したデータは圧縮送信プログラム４８に提供される。

このように、画像データに変更された領域がある場合、その変更された領域の画像データを取得して圧縮処理を行うことにより、高速に圧縮処理を行うことができ、画面が送信されてから表示されるまでの遅延時間を短縮することができる。

図９は画面送信装置２０においてディスプレイ表示用画像信号を用いて送信画像データを生成する方法を示している。先ず、画面送信装置２０のアプリケーションプログラム４５から描画命令がＯＳ４０に提供される。ＯＳ４０は描画画像、ディスプレイ用描画命令をビデオカード３０に提供する。ビデオカード３０は、提供された画像データに基づいてディスプレイ表示用映像信号を生成し、送信画像データ生成プログラム４７に提供する。送信画像データ生成プログラム４７は、圧縮特性情報格納部２４から部品情報を取得し、ディスプレイ表示用映像信号から送信画像データを作成して圧縮し、圧縮送信プログラム４８に提供する。

このように、ディスプレイ表示用画像信号を用いて送信画像データを圧縮することにより、高速に圧縮処理を行うことができ、画面が送信されてから表示されるまでの遅延時間を短縮し、リアルタイムに画像を表示することができる。

次に、圧縮特性情報格納部２４に格納する圧縮の特性に関する圧縮特性情報の生成方法について説明する。送信画像データ生成部２２、圧縮方式決定部２３、圧縮特性情報格納部２４などがアプリケーションプログラムとして動作する場合には、アプリケーションプログラムのインストール時にＯＳが提供するＧＵＩの部品の種別を取得し、表示画面の画像データよりそれらの部品の画像データを取得し、複数の圧縮方式やパラメータにて圧縮を試み、圧縮特性情報格納部２４に格納することで、圧縮特性情報を生成することができる。

また、各部品が表示される際の画像データが既知のものについては、アプリケーションプログラムのインストーラの中に圧縮特性情報を保持しておいても良い。

しかしながら、すべての部品がインストール時に表示されているとは限らず、また、各部品の画像データにはさまざまなバリエーションがある（例えば、テキスト入力部の画像データは入力されているテキストの内容によって異なる）。また、ユーザーが部品の表示形態やデザインを変更すると、その圧縮の特性も変化する。そのため、多くの部品に対応し、かつ、精度の高い圧縮特性情報を得るには、各部品の画像データの取得および複数の圧縮方式やパラメータでの圧縮処理を行い、圧縮特性情報を更新する手順をできる限り多く行うことが望まれる。この手順について図１０を参照して説明する。図１０において、先ず、図２に示す圧縮方式決定部２３は画面送信時に所定時間経過したか、又は部品の表示内容に変更があるか否かを判断する（ステップＳ１１）。圧縮方式決定部２３は圧縮した情報を圧縮特性情報格納部２４に提供し、圧縮特性情報を更新する（ステップＳ１２）。所定時間経過していない、又は部品の表示内容に変更がない場合、及び圧縮特性情報を更新した場合、ステップＳ１１の処理を実行する。

従って、所定の時間間隔おきに上記更新手順を行うか、もしくは、部品の表示内容に変化があった場合に上記更新手順を行うことにより、精度の高い圧縮特性情報を得ることができる。

一方、画像送信装置２０のＣＰＵの負荷を監視する負荷監視部２７を用いる場合について図１１を参照して説明する。図１１において、先ず、図２に示す負荷監視部２７は画面送信時に画面送信装置２０のＣＰＵの負荷（処理）を監視する（ステップＳ２１）。負荷監視部２７はＣＰＵの処理が少なく、負荷が軽いか否かを判断する（ステップＳ２２）。負荷が軽い場合、圧縮方式決定部２３は表示中のＧＵＩの部品の画像情報を取得し、圧縮を行う（ステップＳ２３）。圧縮方式決定部２３は圧縮した情報を圧縮特性情報格納部２４に提供し、圧縮特性情報を更新する（ステップＳ２４）。ＣＰＵの負荷が重い場合、及び圧縮特性情報を更新した場合、ステップＳ２１の処理を実行する。

このように、ＣＰＵの負荷のある閾値より低くなった場合に圧縮特性情報の更新手順を進めることで、画像データの圧縮・送信処理を妨げることなく、圧縮特性情報の更新手順を進めることができる。

また、画像送信装置２０の送信データ監視部２８を用いる場合について図１２を参照して説明する。図１２において、先ず、図２に示す送信データ監視部２８は画面送信装置２０から画面表示装置１０へ画像データの送信を一定時間待機させる（ステップＳ３１）。送信データ監視部２８は待機中の画像データの送信量を確認する（ステップＳ３２）。送信データ監視部２８は画像データの送信量が閾値以下であるか否かを判断する（ステップＳ３３）。画像データの送信量が閾値以下である場合、圧縮方式決定部２３は表示中のＧＵＩの部品の画像情報を取得し、圧縮を行う（ステップＳ３４）。圧縮方式決定部２３は圧縮した情報を圧縮特性情報格納部２４に提供し、圧縮特性情報を更新する（ステップＳ３５）。画像データの送信量が閾値以上場合、及び圧縮特性情報を更新した場合、ステップＳ３１の処理を実行する。

このように、送信データを監視する送信データ監視手段を設け、ある時間内の送信画像の量がある閾値より低い場合には、画面の更新が少ないとみなし、圧縮特性情報の更新手順を進めることで、画像データの圧縮・送信処理を妨げることなく、圧縮特性情報の更新手順を進めることができる。

また、画像送信装置２０の送信データ監視部２８を用いる場合の他の例について図１３を参照して説明する。図１３において、先ず図２に示す送信データ監視部２８は画面送信装置２０から画面表示装置１０へ画像データの送信を監視する（ステップＳ４１）。送信データ監視部２８は画像データを送信したか否かを判断する（ステップＳ４２）。圧縮方式決定部２３は送信した画像データを圧縮特性情報格納部２４に提供し、圧縮特性情報を更新する（ステップＳ４３）。画像データが送信されていない場合、及び圧縮特性情報を更新した場合、ステップＳ４１の処理を実行する。

このように、送信データ監視手段により画像データが送信された場合、圧縮特性情報の更新手順を進めることで、画像データの圧縮・送信処理を妨げることなく、圧縮特性情報の更新手順を進めることができる。

また、画像データに複数の部品の種別が存在する場合に一つの種別を選択して圧縮処理を行う場合について図１４を参照して説明する。図１４において、先ず図２に示す圧縮方式決定部２３は、送信する画像データに複数の部品の種別を含むか否かを判断する（ステップＳ５１）。複数の部品の種別を含む場合、圧縮方式決定部２３は一つの部品の種別を選択する（ステップＳ５２）。圧縮方式決定部２３は選択した種別に応じて圧縮特性情報格納部２４に格納された圧縮方式を選定する（ステップＳ５３）。圧縮部２５は選定した圧縮方式に応じて画像データを圧縮する（ステップＳ５４）。複数の部品の種別を含まない場合、画像データを圧縮した場合、ステップＳ５１の処理を実行する。このように、画像の特性に応じて適切な圧縮方式を選択し、高速に高い圧縮率で圧縮することができる。

図２に示す圧縮方式決定部２３に与えられる送信用の画像データの占める領域は、複数の種別の部品にまたがる場合も考えられる。この場合には、送信用の画像データが単一の種別の部品に収まるよう画像データを分割する。図１５に画像データの分割例を示す。図１５ではスクロールバー領域６３とテキスト入力部６２にまたがった部分が送信用の画像データの領域６１であるが、この場合一つの送信用の画像データをスクロールバー領域６３とテキスト入力部６２の領域の二つの画像データに再構築し、それぞれの画像データに適した圧縮方法を選択する。

ただし、分割した画像データの占める領域が小さくなりすぎると、圧縮されたデータのヘッダー部分のオーバーヘッドにより、高い圧縮率を実現できない。したがって、分割の結果が所定の大きさより小さい場合には分割を行わず、送信データの領域の中で最も大きい領域を占めるＧＵＩの種別を元に圧縮方式を判定することで、さらに圧縮率を上げることができる。

本発明の第１実施形態に従う画面送信装置と画面表示端末の一例を示す外観図本発明の第１実施形態に従う画面送信装置と画面表示端末の一例を示すブロック図画面送信処理を示すフローチャート図圧縮特性情報格納部に格納されている情報の一例を示す図圧縮特性情報格納部に格納されている情報の一例を示す図圧縮特性情報格納部に格納されている情報の一例を示す図画面送信装置のＯＳがディスプレイ表示用に提供された画像データをフックする方法を説明するための図画面送信装置のＯＳより画面の変更領域を取得し、その領域内の画像データを別途取得する方法を説明するための図ディスプレイ表示用画像信号を利用して送信画像データを生成する方法を説明するための図所定時間経過、又は部品の表示内容に変更がある場合に圧縮特性情報を格納する処理を示すフローチャート図処理が軽い間に圧縮特性情報を格納する処理を示すフローチャート図送信データ量が少ない場合に圧縮特性情報を格納する処理を示すフローチャート図送信用に圧縮した結果を圧縮特性情報として格納する処理を示すフローチャート図一つの種別に応じた圧縮方式で画像データを圧縮する処理を示すフローチャート図送信用の画像データの分割例を示す図

符号の説明

１…ネットワーク、１０・・・画面表示端末、２０・・・画面送信装置、２１・・・画面情報生成部、２２・・・送信画像データ生成部、２３・・・圧縮方式決定部、２４・・・圧縮特性情報格納部、２５・・・圧縮部、２６・・・通信部、２７・・・負荷監視部、２８・・・送信データ監視部、３０・・・ビデオカード、３１・・・ディスプレイ、４０・・・ＯＳ、４１・・・仮想ディスプレイドライバ、４２・・・ディスプレイドライバ、４３・・・描画命令処理部、４４・・・アプリケーション表示画像バッファ；

Claims

コンピュータ画面上の複数の種別のグラフィカルインタフェース（ＧＵＩ）部品を含む表示画像の少なくとも一部の領域の画像データを圧縮して画面表示端末に送信する画面送信装置において、
複数のＧＵＩ部品の種別に対応して、適用可能な圧縮方式のうち圧縮率の最も高い圧縮方式を示す情報を含む圧縮特性情報を格納する格納手段と、
前記格納手段から前記領域に含まれるＧＵＩ部品の種別に対応する圧縮特性情報を選択して圧縮特性を決定する決定手段と、
決定された圧縮特性に従って前記画像データの圧縮を行って送信データを生成する圧縮手段と、
前記送信データを前記画面表示端末に送信する送信手段とを具備することを特徴とする画面送信装置。
前記決定手段は、前記領域毎に前記ＧＵＩ部品の種別を判定する手段を含むことを特徴とする請求項１記載の画面送信装置。
コンピュータ画面上の複数の種別のグラフィカルインタフェース（ＧＵＩ）部品を含む表示画像の少なくとも一部の領域の画像データを圧縮して画面表示端末に送信する画面送信装置において、
複数のＧＵＩ部品の種別に対応して、前記ＧＵＩ部品の種別毎の表示画像の性質に応じて適用可能な圧縮方式のうち圧縮率の最も高い圧縮方式を示す情報を含む圧縮特性情報を格納する格納手段と、
前記格納手段から前記領域に含まれるＧＵＩ部品の種別に対応する圧縮特性情報を選択して圧縮特性を決定する決定手段と、
決定された圧縮特性に従って前記画像データの圧縮を行って送信データを生成する圧縮手段と、
前記送信データを前記画面表示端末に送信する送信手段とを具備することを特徴とする画面送信装置。
コンピュータ画面上の複数の種別のグラフィカルインタフェース（ＧＵＩ）部品を含む表示画像の少なくとも一部の領域の画像データを圧縮して画面表示端末に送信する画面送信装置において、
複数のＧＵＩ部品の種別に対応して、適用可能な圧縮方式のうち圧縮率の最も高い圧縮方式を示す情報を含む圧縮特性情報を格納する格納手段と、
前記格納手段から前記領域に含まれるＧＵＩ部品の種別に対応する圧縮特性情報を選択して圧縮特性を決定する決定手段と、
決定された圧縮特性に従って前記画像データの圧縮を行って送信データを生成する圧縮手段と、
一定の時間間隔でもしくは前記画像データに対応する画像の内容の変更があった場合に前記ＧＵＩ部品の種別に対応する圧縮特性情報を更新する更新手段と、
前記送信データを前記画面表示端末に送信する送信手段とを具備することを特徴とする画面送信装置。
コンピュータ画面上の複数の種別のグラフィカルインタフェース（ＧＵＩ）部品を含む表示画像の少なくとも一部の領域の画像データを圧縮して画面表示端末に送信する画面送信装置において、
複数のＧＵＩ部品の種別に対応して、適用可能な圧縮方式のうち圧縮率の最も高い圧縮方式を示す情報を含む圧縮特性情報を格納する格納手段と、
前記格納手段から前記領域に含まれるＧＵＩ部品の種別に対応する圧縮特性情報を選択して圧縮特性を決定する決定手段と、
決定された圧縮特性に従って前記画像データの圧縮を行って送信データを生成する圧縮手段と、
前記画像送信装置に含まれるＣＰＵの負荷を監視する負荷監視手段と、
前記ＣＰＵの負荷が閾値以下であれば前記ＧＵＩ部品の種別に対応する圧縮特性情報を更新する更新手段と、
前記送信データを前記画面表示端末に送信する送信手段とを具備することを特徴とする画面送信装置。
コンピュータ画面上の複数の種別のグラフィカルインタフェース（ＧＵＩ）部品を含む表示画像の少なくとも一部の領域の画像データを圧縮して画面表示端末に送信する画面送信装置において、
複数のＧＵＩ部品の種別に対応して、適用可能な圧縮方式のうち圧縮率の最も高い圧縮方式を示す情報を含む圧縮特性情報を格納する格納手段と、
前記格納手段から前記領域に含まれるＧＵＩ部品の種別に対応する圧縮特性情報を選択して圧縮特性を決定する決定手段と、
決定された圧縮特性に従って前記画像データの圧縮を行って送信データを生成する圧縮手段と、
前記送信データを前記画面表示端末に送信する送信手段と、
前記送信データのデータ量を監視する送信データ監視手段と、
前記送信データのデータ量が閾値以下であれば前記ＧＵＩ部品の種別に対応する圧縮特性情報を更新する更新手段とを具備することを特徴とする画面送信装置。
前記決定手段は、前記領域に複数の種別のＧＵＩ部品が含まれる場合に最も大きい面積を占めるＧＵＩ部品の種別に対応する圧縮特性情報を選択して圧縮特性を決定することを特徴とする請求項１記載の画面送信装置。
コンピュータ画面上の複数の種別のグラフィカルインタフェース（ＧＵＩ）部品を含む表示画像の少なくとも一部の領域の画像データを圧縮して画面表示端末に送信する画面送信方法において、
複数のＧＵＩ部品の種別に対応して、適用可能な圧縮方式のうち圧縮率の最も高い圧縮方式を示す情報を含む圧縮特性情報を格納する格納手段から前記領域に含まれるＧＵＩ部品の種別に対応する圧縮特性情報を選択して圧縮特性を決定するステップと、
決定された圧縮特性に従って前記画像データの圧縮を行って送信データを生成するステップと、
前記送信データを前記画面表示端末に送信するステップとを具備することを特徴とする画面送信方法。