JP5002166B2 - 画面送信装置および画面生成方法 - Google Patents

Description

本発明は、ＰＣ（Personal Computer：パーソナルコンピュータ）などにおけるコンピュータ画面をネットワークを介して送信する画面送信装置および画面生成方法に関する。

遠隔にあるコンピュータ（以下、リモート機器）にネットワークを介して接続し、リモート機器から表示画像を受信および表示し、手元の機器で行なったキー入力などの情報をリモート機器へ送信することでリモート機器を、手元にあるかのように利用することのできるシステムがある。例えばＶＮＣ（Virtual Network Computing）やＷｉｎｄｏｗｓ（登録商標）のリモートデスクトップやスマートディスプレイがそれに当たる。このようなシステムは、オフィス内において離れた居室にあるＰＣを操作したり、外出先からオフィスのＰＣを操作したり、あるいは家庭内において離れた部屋にあるＰＣを手元の機器から操作するなどの使い方ができる。

近年、ネットワーク特に無線ネットワークの発展は著しく、上述のシステムにおいて手元の機器を無線接続することにより自由な位置からリモート機器に接続、操作する形態が一般化してきている。しかしながら、無線接続による自由な位置から接続可能であることのメリットを最大限活かすためには電源もコンセントから得るのではなく電池を利用することが有効な手段となる。

ところで、電池を利用する場合、使い勝手を決める１つの要因として電池の持続時間が重要となる。単純に電池容量を大きくすれば持続時間は伸びるものの携帯する機器の重量が大きくなり、持ち運びが不便となる。電池容量を大きくすることなく連続利用時間を延ばすためには機器の消費電力をできる限り低くすることが必要となる。

従来より低消費電力化の方法としては様々な方法が提案されている。最も単純にはディスプレイ自体を暗くする方法が考えられるが、周囲が明るい環境で利用する場合にはディスプレイを暗くすると非常に見難くなってしまう問題がある。その他の方法としては、Ｗｉｎｄｏｗｓのスマートディスプレイでは一定時間利用していない場合に自動的に電源を切る設定をすることができ、電池を節約することができる。また、特開2002-323942公報では、一定時間操作がない場合には自動で省電力モードに移行するのみではなく特定のアプリケーションイベントが発生した時には、自動的に省電力モードから通常モードに移行することでユーザの使い勝手と省電力とを両立させようとしている。

一方、利用最中の省電力化の方法としては、特開2000-341222公報がある。特開2000-341222公報では、リモート端末から手元の端末へ動画あるいは音声の符号化データを送信しているが、手元の端末の電池残量が少なくなるとリモート端末へその旨を通知する。通知を受けたリモート端末は符号化のモードを省電力モードへと変更する。
特開2002-323942公報 特開2000-341222公報

前述のように、画面受信装置における省電力化の方法としては、Ｗｉｎｄｏｗｓのスマートディスプレイや特開2002-323942公報のように利用していない場合に自動的に電源を切断、あるいは省電力モードに移行する方法が提案されている。しかしながら、このような方法では利用していない場合の省電力は実現されるものの、長時間使いつづける場合には全く省電力化が実現されず、連続利用時間を延ばすことができないという問題があった。

また、利用中の省電力化の方法としては特開2000-341222公報のように、画像表示端末の電池残量に応じて画像の省電力符号化モードを変更する方法が提案されている。ここで述べられている省電力な符号化モードとは、画像の解像度を小さくしたり色の諧調を落としたり、画像中央の一部のみを送ったりするモードを指す。しかしながら、コンピュータ画面では解像度を落とすと文字が潰れて読みにくくなるなど、画像そのものの情報量を削減すると見た目が悪くなるばかりでなく使い勝手も悪くなってしまうという問題があった。

本発明は上記の問題を鑑みてなされたものであり、ユーザの使用感を損なうことなく画面転送中も省電力化を可能にした画面送信装置および画面生成方法を提供する。

本発明の一態様としての画面送信装置は、バックライト型液晶表示装置におけるバックライトの輝度を表す輝度情報を受信する情報受信手段と、前記輝度情報に示される輝度が小さいほど、明度幅が広くなるように前記バックライト型液晶表示装置に表示する画面の最大明度と最小明度との幅から画素の明度を求め、各画素の当該明度から前記画面の配色を決定する配色決定手段と、前記配色決定手段により決定された配色にしたがって画面データを生成する画面データ生成手段と、前記画面データ生成手段により生成された画面データを前記バックライト型液晶表示装置に送信する画面データ送信手段と、を備える。

本発明の一態様としての画面生成方法は、情報受信手段が、バックライト型液晶表示装置におけるバックライトの輝度を表す輝度情報を受信し、配色決定手段が、前記輝度情報に示される輝度が小さいほど、明度幅が広くなるように前記バックライト型液晶表示装置に表示する画面の最大明度と最小明度との幅から画素の明度を求め、各画素の当該明度から前記画面の配色を決定し、画面データ生成手段が、前記配色決定手段により決定された配色にしたがって画面データを生成し、画面データ送信手段が、前記画面データ生成手段により生成された画面データを前記バックライト型液晶表示装置に送信する、ことを特徴とする。

本発明によれば、ユーザの使用感を損なうことなく画面転送中も省電力化を可能にすることできる。

（第１の実施形態） ［画面表示装置が輝度を通知］
図１は、本実施形態における画面転送システムの一例を示す図である。画面送信装置１１と画面表示装置１２とがネットワーク１３を介して接続されている。図では、画面送信装置１１は有線で、画面表示装置１２は無線ＬＡＮ（Local Area Network）のアクセスポイント１４を介して無線でネットワーク１３に接続されている。接続形態としてはこれに限定するものではなく、例えば画面送信装置もアクセスポイントを介して無線で接続されていてもいいし、あるいは画面送信装置と画面表示装置とが無線ＬＡＮのアドホックモードにて無線で直接接続されていても良い。また図では、画面送信装置と画面表示装置とが同じネットワークセグメントに接続しているように示しているが、これに限ったわけではなく、例えばインターネットやイントラネットを介して両装置が地理的に遠隔に存在してもよい。

画面送信装置１１は、画面データを画面表示装置１２に対して送信する。一方、画面表示装置１２は画面送信装置１１から送られた画面データを受信し表示する。また、画面表示装置１２ではユーザからの入力を受け付けユーザ操作イベントとして画面送信装置１１に送る。画面送信装置１１では、受信したユーザ操作イベントを反映した画面データを生成し、画面表示装置１２に送信する。以上の仕組みにより、ユーザは離れた位置にある画面送信装置１１の操作を手元の画面表示装置１２を操作することにより実現することができる。

図２は、画面表示装置１２のブロック構成の一例を示す図である。図にはディスプレイ２１、画面データ受信部２２、通信制御部２３、入力デバイス２４、ユーザ入力解析部２５、ディスプレイ調節部２６が示されている。

ディスプレイ２１は、画面データ受信部２２において構成された画面を表示する部分である。ディスプレイの例を図２３〜図２５に示す。

図２３は、バックライト型液晶表示装置の構成を概略的に示す図である。有効表示領域を含む液晶パネル１１１と、液晶パネル１１１を照射するバックライトユニット１１２とが示される。液晶パネル１１１における有効表示領域の各画素はバックライトユニット１１２から照射される光を用いてその色表示が制御される。

図２４は、分割バックライト型液晶表示装置（複数のバックライトを有する液晶表示装置）の構成を概略的に示す図である。有効表示領域を含む液晶パネル１１３と、液晶パネル１１３を照射するバックライトユニット１１４とが示される。バックライトユニット１１４は複数の領域に分割され、各領域部における発光（輝度）をそれぞれ独立に制御可能である。バックライトユニット１１４における各領域部は、例えばＬＥＤ（Light-Emitting Diode）を用いて構成されてもよい。

図２５は、自己発光素子を表示素子として用いた表示装置の構成を概略的に示す図である。ここでは表示装置の例として、有機ＥＬ表示装置１１５が示される。有機ＥＬ表示装置１１５は、駆動電流に対応して発光する複数の有機ＥＬ素子を有する。各有機ＥＬ素子がそれぞれ１つの表示素子に対応する。

通信制御部２３は、ネットワークへデータを送信したりネットワークからデータを受信する部分である。データは通信相手となる画面送信装置との間で過不足なく送受信される。通信制御部２３は、データ送受信に先立ち通信相手となる画面送信装置との間に通信路を形成しておく必要がある。通信プロトコルとしてはＴＣＰ／ＩＰを利用送信するのが一般的であるが、これに限るものでなく、データが送受信できればなんでも良い。また、通信相手となる画面送信装置を指定する必要があるが、指定方法も特に限定するものではなく、例えばＴＣＰ／ＩＰを利用するのであればＩＰアドレスをユーザが指定しても良いし、ＤＮＳを利用できる環境であればホスト名を指定し、ＤＮＳでホスト名をＩＰアドレスに変換してから通信路を形成しても良い。送信するデータとしてはユーザ入力解析部２５より渡されるユーザ操作イベントがあり、ユーザ操作イベントを、指定された画面送信装置に対して送信する。受信するデータとしては画面送信装置から送信された画面データがある。通信制御部２３は、画面データを受信した場合には、受信した画面データを画面データ受信部２２へ渡す。

入力デバイス２４は、ユーザ入力を行うためのデバイスであり、ユーザが行なったデバイス操作に応じた信号をユーザ入力解析部２５へ送る。デバイスの種類としては特に限定するものではなく、マウスやタッチパネル、ペン入力、キーボードあるいはこれらの組み合わせなど何でも良い。

ユーザ入力解析部２５は、入力デバイス２４から渡される入力信号を、ディスプレイ２１に表示されているコンピュータ画面に対するユーザ入力イベントに変換し、通信制御部２３に転送する部分である。入力イベントとしては、ポインタの移動、マウスの右／左ボタンのＵｐ／Ｄｏｗｎ、キーのＵｐ／Ｄｏｗｎなどが考えられる。変換されたイベントは画面送信装置に送信するために通信制御部２３へ渡される。

画面データ受信部２２は、通信制御部２３から渡された画面データを処理する部分である。受信した画面データが圧縮されていれば伸張し、画面データ受信部２２内の画面全体を保持しているフレームバッファの適切な位置に画面データを上書きする。フレームバッファに保存されている画面データは、ディスプレイ２１に送られ表示される。

ディスプレイ調節部２６は、ディスプレイ２１の輝度を調節する部分である。調節方法はディスプレイの種類に合った方法を用いれば良い。例えば、ディスプレイが液晶ディスプレイの場合にはバックライトの明るさを調節する。有機ＥＬディスプレイのようにディスプレイの素子自体が発光している場合には素子の発光量を調節する。調節のタイミングとしては、特に限定するものではないが例えばユーザが何らかの入力手段により調節する方法が考えられる。例えば、輝度調節ボタンを用意しておき、ユーザはボタンを押すことにより輝度を調節することができる。あるいは輝度調節のためのユーザインタフェースをソフトウェアで用意し、調節のためのＧＵＩをディスプレイに表示し、ＧＵＩを用いたユーザ操作により輝度を調節する方法でも良い。また、別の方法として装置の電池残量に応じて輝度を調節する方法も考えられる。電池残量を検出する手段を用意しておき、例えば電池残量が予め決めたレベル以下となった場合にはディスプレイの輝度を落とす方法がある。輝度の段階としては２段階のみではなく、複数段階を切り替えられるようにしてもよい。調節後のディスプレイの輝度に関する情報は画面送信装置に送るために、通信制御部２３へ渡される。

図３は、画面送信装置１１のブロック構成の一例を示す図である。図には、画面データ生成部３１、送信画面データ取得部３２、画面データ送信部３３、通信制御部３４、動作状態情報受信部３５およびユーザ操作イベント受信部３６が示されている。画面データ生成部３１は配色決定手段を含む。動作状態情報受信部３５は例えば情報受信手段に相当する。

画面データ生成部３１は、いわゆるコンピュータ画面を生成する部分である。通常は、表示する最新の画面を蓄えておくために画面の解像度に応じたサイズのフレームバッファを用意する。画面の生成自体はアプリケーションやＯＳ（Operating System）、ディスプレイドライバ等の協調により行われ、生成された画像はフレームバッファに書き込まれる。自機器のディスプレイ（図示せず）に表示する場合には書き込まれたフレームバッファの内容は、ディスプレイに送られる。画面データ生成部３１は、ユーザ操作イベント受信部３６よりユーザ操作イベントを受けると、イベント種別に応じた画面を生成する。例えば、イベントがポインタ移動イベントの場合には、ポインタを移動先に描画し直す。

送信画面データ取得部３２は、画面において表示更新される位置や描画データを取得する部分である。取得の方法としては、画面データ生成部３１から表示更新するために生成した更新情報を全て受け取り、そのまま利用しても良い。あるいは、定期的に画面データ生成部３１から最新の画面を取得し、前回取得した画面と比較することで、更新のあった部分を抽出してもよい。その他、システムで利用される画面更新等の描画系のイベントをフックすることにより、画面のどの部分が更新されたかを監視し、得られた更新部分の描画データのみを画面データ生成部３１のフレームバッファより取得する方法も考えられる。取得した画面データは、画面データ送信部３３へ渡される。

画面データ送信部３３は、送信画面データ取得部３２より渡された更新画面データを画面表示装置に送信する部分である。画面の更新位置と描画データをひとまとまりのデータとして送信する。また、描画データは無圧縮の場合にはデータサイズが大きくなるため圧縮した後に送信しても良い。

通信制御部３４は、ネットワークへデータを送信したりネットワークからデータを受信する部分である。データは通信相手となる画面表示装置との間で過不足なく送受信される。通信に先立ち、通信制御部３４は、画面表示装置から通信路の生成要求を受け、通信路を確立する。通信制御部３４は、画面データ送信部３３より渡されたデータを通信路確立済みの画面表示装置へ送信する。受信データ種別としては画面表示装置からのユーザ操作イベントと動作状態情報とがあり、それぞれユーザ操作イベント受信部３６と動作状態情報受信部３５へ渡される。

動作状態情報受信部３５は、画面表示装置におけるディスプレイの輝度情報を受信する部分である。動作状態情報受信部３５は、受信した情報を画面データ生成部３１へ渡す。

画面データ生成部３１は、動作状態情報受信部３５より画面表示装置におけるディスプレイの輝度情報を受け取ると、受け取った輝度情報に応じ、生成する画面の配色を変える。配色の変更方法としては特に限定するものではないが、例えば、使われている色間のコントラストが大きくなるように変更する方法が考えられる。コントラストを大きくする具体例としては、画素の明度のレンジを広げる方法が考えられる。ある画素の元々の明度をY-org、配色変更後の明度をY-new、画面中の最大明度をY-max、最小明度をY-minとすると
Y-new = (Y-org − Y-min )* (255/(Y-max − Y-min))
により、Y-newを求めることができる。この式では、元画像の明度値のレンジY-min ~ Y-maxを0~255のレンジに変換しているが、ディスプレイの輝度レベルに応じて、ディスプレイの輝度が低くなるほど画素の明度のレンジを広げるなど、レンジの広さを段階的に調節しても良い。画素の明るさのレンジを広げることは、例えば液晶表示装置では、液晶に印加する電圧の範囲を広げることに相当する。上記は、各画素の明るさに基づいたコントラストを用いたが、彩度に基づいたコントラストを利用する方法も考えられる。画面表示装置が有機ＥＬ表示装置等の素子発光型の表示装置の場合は、表示装置側で設定された輝度での全体消費電力を超えないように、画面の配色を決定することが好ましい。

別の配色変更方法としては、ウィンドウ背景、文字などといった画面の表示属性毎に背景色とその上に表示される文字とのコントラストの差が大きくなるような配色を用いる方法が考えられる。また、常に画面全体の配色を変更するのではなく、画面内のウィンドウ毎に配色を決定してもよい。例えばアクティブなウィンドウのみ配色を変更するようにしても良い。有機ＥＬ表示装置等の素子発光型の表示装置では、アクティブなウィンドウを明るくし、他の部分を暗くすることで、全体の消費電力を低く抑えつつ、特定のウィンドウを明るい画面状態で操作できる。液晶表示装置の場合は、アクティブなウィンドウのみ配色を変えればいいため画面送信装置の処理負荷が軽くなる利点がある。

ユーザ操作イベント受信部３６は、画面表示装置から送られてきたユーザ操作イベントデータから、ポインタの移動やボタンのＵｐ／Ｄｏｗｎといったイベントの種別や各イベントに応じた補助データ（カーソル移動イベントの移動先座標など）を抽出し、抽出したイベントを画面データ生成部３１へ渡す。

次に、画面表示装置１２と画面送信装置１１との間で送受信される情報について説明する。画面表示装置１２から画面送信装置１１へ送られる情報として、ディスプレイの輝度情報とユーザ操作イベントがある。情報送信に用いるフレームフォーマットの一例をそれぞれ図４、５に示す。情報種別は、データがディスプレイ輝度情報なのかユーザ操作イベント情報なのかを見分けるための情報である。ディスプレイ輝度情報の場合には、画面表示装置の現在のディスプレイ輝度レベル値が記載される。ディスプレイ輝度レベル値としては、ディスプレイの輝度を表す単位であるcd/m2（カンデラ毎平方メートル）の値を利用する方法が考えられる。あるいは、予め離散的なレベル、例えば３段階であればレベル１、レベル２、レベル３を設定し、現在の輝度レベルを輝度情報として送信するようにしても良い。あるいは、接続開始時の輝度を基準とし、基準からの変更度合いを記載するようにしても良い。一方、ユーザ操作イベント情報は、ポインタ位置（座標値）、ボタンの操作内容（“右ボタン押下“など）の情報を記載する。

画面表示装置１２および画面送信装置１１間の動作の流れの一例を述べる。利用開始時に画面表示装置１２から画面送信装置１１へ接続すると、コンピュータ画面が画面送信装置１１から画面表示装置１２へ送られる。この後、画面表示装置１２でのユーザの入力が画面送信装置１１に送られ、新たに更新された画面が、画面表示装置１２に送られてくる。しばらく利用した後に、画面表示装置１２の電池残量が規定値より少なくなり、自動またはユーザによりディスプレイの輝度が下げられたとする。その場合、画面表示装置１２からディスプレイの輝度情報が画面送信装置１１に送られる。画面送信装置１１では、受信した輝度情報に従い、変更後の輝度でも見やすいように画面の色設定等を変更し、新たな画面を生成し、送信する。

図６は、画面送信装置１１において画面表示装置１２から輝度情報を受信した時に行う処理の流れを示すフローチャートである。画面送信装置１１は、画面表示装置１２から輝度情報を受信すると（Ｓ１１）、受信した輝度情報に示される輝度に基づき生成する画面の配色を決定する（Ｓ１２）。以後、画面送信装置１１は、決定した配色を用いて画面を生成し（Ｓ１３）、生成した画面を画面表示装置１２に送信する（Ｓ１４）。

以上に述べた画面表示装置と画面送信装置を利用して、ユーザは手元の画面表示装置にて画面送信装置のコンピュータ画面を見ながら遠隔操作を行うことができる。そして、画面表示装置の電池残量が少なくなった場合には、自動的にディスプレイの輝度が落ちて省電力となると共に、画面表示装置に表示される画像が、ディスプレイの輝度が落ちても見やすい配色の画面となるため、従来における省電力化に伴う使い勝手の悪さが軽減される。

（第２の実施形態） ［画面表示装置がＣＰＵ速度等を通知］
図７は、本実施形態における画面表示装置４１のブロック構成の一例を示す図である。図にはＣＰＵ（Central Processing Unit）４２、メモリ４３、外部記憶装置４４、ネットワークデバイス４５、入力デバイス４６、画像処理回路４７、フレームバッファ４８、ディスプレイ４９、電池５０が示されている。

外部記憶装置４４は、いわゆるハードディスクドライブやＣＤ−ＲＯＭ（Compact Disc Read Only Memory）ドライブ、ＤＶＤ（Digital Versatile Disc）ドライブなどであり大容量のデータやプログラムを保存しておくところである。装置動作時に必要なプログラムが外部記憶装置４４に保持されている場合は、プログラムはメモリ４３に転送される。

ネットワークデバイス４５は、イーサネット（登録商標）や無線ＬＡＮなどのデバイスであり、ネットワークへデータを送信したりネットワークからデータを受信したりする。

入力デバイス４６は、ユーザが入力するためのデバイスでありマウスやキーボードなどがこれに当たる。

メモリ４３は、いわゆるＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）である。装置動作時に必要なプログラムやデータが格納される。

ＣＰＵ４２は、他のデバイスの制御をする部分であり、ＲＡＭあるいはＲＯＭに格納されたプログラムを読み込み、プログラムに従った動作をすることで制御を行う。

画像処理回路４７は、圧縮された画像データを伸張するための処理を行う専用の回路である。

フレームバッファ４８は、ディスプレイ４９に表示するための画像データを格納するための場所である。

ディスプレイ４９は、フレームバッファ４８に格納されている画像を実際に表示するためのデバイスである。

本実施の形態では、画像処理回路４７を用いているが、画像処理を全てＣＰＵ４２で行い画像処理回路を用いない形態でも良い。

画面送信装置から画面データを受信した時の画面表示装置４１の動作について説明する。画面表示装置４１はネットワークデバイスから画面データを受信すると受信データをメモリ４３に格納する。画面表示装置４１は受信した画面データを解析し、必要であれば複数の受信データを統合することで画像データのまとまりを構築する。まとめられた画像データは圧縮されていない場合にはフレームバッファ４８の適切な位置に書き込まれる。画像データが圧縮されている場合には、画面表示装置４１は画像処理回路４７にデータを転送し、画像処理回路４７にて伸張する。画面表示装置４１は伸張されたデータをフレームバッファの適切な位置に書き込む。新たに書き込まれた画像データはディスプレイ４９に送られ表示される。以上の処理により画面送信装置からの画面データがディスプレイ４９に表示されることとなる。

画面表示装置４１の省電力化に関連する動作について説明する。省電力化の方法としてはまず、ＣＰＵ４２の動作周波数を落とす方法が考えられる。動作周波数を落とすことにより消費される電力は軽減される。あるいは、画像処理回路４７の動作周波数を落とす方法も考えられる。また別の方法として、画像処理回路をコンフィグレーション可能なデバイスで構成し、省電力時には回路規模が小さくて済むような画像デコーダー回路に回路構成を変更する方法でも良い。動作周波数の変更や回路構成のコンフィグレーション変更のタイミングとしては例えば、ユーザがこれらの設定値を決める動作モードを設定できるようにしておいてもいいし、あるいは、電池の残量を監視しておき電池残量に応じて変更するようにしても良い。動作周波数の変更や画像処理回路のコンフィグレーション変更した内容に関しては、動作状態情報として画面送信装置に送信する。

次に、本実施の形態における画面送信装置について説明する。画面送信装置のブロック構成例は第１の実施の形態における図３とブロック間の関係以外は同じであるので図面は省略し、異なる部分のみ説明する。

動作状態情報受信部では、上述した画面表示装置でのＣＰＵや画像処理回路の動作周波数の設定情報や、画像処理回路のコンフィグレーション情報を受信する。動作状態情報受信部は受信した情報を画面データ取得部および画面データ送信部へ通知する。画面データ取得部と画面データ送信部では画面表示装置の動作状態に応じた対応処理を行う。例えば、動作周波数が低く設定された場合にはその動作周波数で処理可能なフレームレートになるように送信画面データ取得部による画面取得頻度を落とす。あるいは、画面データ送信部は画像処理回路のコンフィグレーションが変更された場合には変更後にもデコード可能な画像圧縮フォーマットにて圧縮を行うようにする。

画面表示装置から画面送信装置へ送信される動作状態情報のフレームフォーマットの一例を図８に示す。動作状態を記載したフレームであることを示す情報種別に続き、ＣＰＵの動作周波数と、画像コーデックの種類および動作周波数とが記載される。動作周波数としては、例えば400MHz等の具体的なクロック数を記載する方法でも良いし、あるいは、予め離散的なレベル、例えば３段階であればレベル１、レベル２、レベル３を設定しておき、現在の動作周波数のレベルを記載するようにしても良い。

以上により、画面表示装置で省電力化するための変更が生じた場合にも、その構成に適合した画面転送を行うことができる。

（第３の実施形態） ［ディスプレイの輝度を送信側が指示］
図９は、第３の実施形態における画面表示装置５１のブロック構成の一例を示す図である。図２と異なるのは電池残量認識部５２が追加されたことである。図において、図２と同一の要素には同一の番号を付して重複する説明は省略する。以下、図２と異なる部分を中心に説明する。

ディスプレイ調節部２６は、ディスプレイ２１の輝度を調節する部分である。調節方法はディスプレイの種類に合った方法を用いれば良い。例えば、ディスプレイが液晶ディスプレイの場合にはバックライトの輝度を調節する。有機ＥＬディスプレイのようにディスプレイの素子自体が発光している場合には素子の発光量を調節する。調節のタイミングとしては、画面送信装置からのディスプレイ輝度設定情報に基づき調節する。

電池残量認識部５２は、画面表示装置５１の電池の残量がどれくらいかを把握する部分である。認識した電池残量は画面送信装置に送信するために電池残量情報として通信制御部２３へ通知し、さらにディスプレイ調節部２６へ通知する。通知するタイミングとしては定期的に通知しても良いし、あるいは電池残量があるレベル以下になった場合に通知するようにしても良い。または、電池残量レベルを複数段階に分け、電池残量レベルに変化があったときに通知するようにしても良い。

図１０は、第３の実施形態における画面送信装置６１のブロック構成の一例を示す図である。図３と異なるのは電池残量情報受信部６２が追加されたことである。図において、図３と同一の要素には同一の番号を付して重複する説明は省略する。以下、図３と異なる部分を中心に説明する。

電池残量情報受信部６２は、画面表示装置からの電池残量情報を受信する部分である。受信した電池残量情報は、画面データ生成部３１へ通知する。

画面データ生成部３１では、電池残量情報受信部６２から画面表示装置の電池残量情報を受け取ると電池残量のレベルに応じて生成する画面を変更する。画面変更の方法としては様々なものが考えられる。まずは、画面、いわゆるデスクトップの背景の画像を例えば単一色の画像に変える方法が考えられる。単一色にすることにより圧縮後の画像データサイズが小さくなり、画面表示装置で受信するデータ量が削減されることにより電力を削減できる。デスクトップには多数のアイコンが配置されている場合があるが、アイコンの絵も単一色の箱の絵に変更してしまっても良い。また、別の方法として画面表示装置でディスプレイの輝度を変更することを想定し、利用する色を変更する方法も考えられる。色変更の具体的な例としては、ディスプレイの輝度が落ちた場合にもユーザが見やすくなるようにウィンドウの色とその上に表示される文字の色のコントラストの差が大きくなるような配色に切り替える方法が考えられる。また配色の変更を電池残量に応じて段階的に行なっても良い。最初は元の配色にできる限り近い色を使いながら徐々にコントラストの差を広げるようにし、最終的には白地に黒、あるいはその逆のような元の色とは無関係に最もコントラストの差がつく配色になるようにしても良い。配色の変更を行なった場合には、画面表示装置にディスプレイの輝度の変更が可能であることを伝えるために画面データ生成部３１はディスプレイ輝度設定情報を生成し、通信制御部３４へ渡す。画面データ生成部３１は輝度決定手段を含む。

画面送信装置６１から画面表示装置へ送信されるディスプレイ輝度設定情報について説明する。ディスプレイ輝度設定情報は、画面表示装置に送信する画像の配色を変更した場合に、ディスプレイの輝度をどの程度変更可能かを示す情報である。例えば、輝度レベルとして３段階の調節をする場合を想定すると、配色の変更も「変更無し」「コントラスト比を中程度高めた配色」「コントラスト比を限界まで高めた配色」の３段階を用意する。画面送信装置６１では、画面表示装置の電池残量に応じて３つのいずれかの配色に変更するとともに、変更後の配色に対応する輝度レベルをディスプレイ輝度設定情報として画面表示装置に送信する。画面表示装置は受信したディスプレイ輝度設定情報に基づきディスプレイの輝度を変更する。また、別のディスプレイ輝度設定情報としては、画面中の一部分に応じて輝度を調節するための情報も考えられる。画面表示装置のディスプレイにおいてディスプレイの領域毎に輝度を変更可能なディスプレイ（例えば複数のバックライトを有する表示装置、素子発光型表示装置）を用いている場合には、受信したディスプレイ輝度設定情報に従い、明るくすべきところの輝度を高く、そうでない部分の輝度を低くする。画面内での領域毎の輝度の決め方としては、例えば、フォーカスウィンドウが表示されている領域（分割バックライト型表示装置の場合は該領域を含むバックライト。以下同様）を高輝度とし、その他の領域を低輝度とする方法が考えられる。あるいは、マウスポインタや文字入力用のカーソルの周囲の領域を高輝度にしたり、画面の更新頻度の高い領域を高輝度にするなどの方法でも良い。

図１１に画面表示装置から画面送信装置へ送信する電池残量情報のフレームフォーマットの一例を示す。電池残量情報であることを示す情報種別に続き、電池残量のレベル値を記載する。電池残量のレベル値としては、Ａｈ（アンペアアワー）等の具体的な電池容量の単位での数値を用いる方法も考えられるし、あるいは単純に予め設定した離散的な残量レベル値（例えばレベル１、レベル２など）を用いても良い。あるいは、フル充電時からの割合、80％、40％や1/2,1/3などの表現を用いても良い。

図１２に画面送信装置から画面表示装置へ送信するディスプレイ輝度設定情報のフレームフォーマットの一例を示す。輝度設定指示情報であることを示す情報種別に続き、表示装置が設定する輝度レベル値を記載する。輝度レベル値としては、上述した３段階に合わせてレベル１、レベル２、レベル３の値を利用しても良いし、あるいはcd/m2などの具体的な輝度の単位に合わせた数値で指示するようにしても良い。輝度レベル値に続いて輝度レベルを設定する画面中の位置の情報（設定位置情報）を記載する。この設定位置情報は、常にディスプレイ全体の輝度を変更する場合には省略しても良い。上述したディスプレイ中の一部のみの輝度を変更する場合には、変更する部分の位置情報を送信する。位置情報の具体例としては、輝度の変更領域を矩形としてその座標を記載しても良いし、あるいは、ディスプレイ中の変更すべき位置を示すビットマップを用いても良い。

図１３は画面表示装置から電池残量情報を受信したときに画面送信装置により行われる処理の流れを説明するフローチャートである。画面送信装置は、画面表示装置から電池残量情報を受信すると（Ｓ２２）、受信した電池残量に基づいて画面の配色と配色に応じたディスプレイの輝度を決定する（Ｓ２３）。決定した輝度はディスプレイ輝度設定情報として画面表示装置へ送信する（Ｓ２４）。素子発光型表示装置の場合はＳ２３、Ｓ２４は省略されてもよい。その後、画面送信装置は、決定した配色を用いて画面を生成し（Ｓ２５）、生成した画面を画面表示装置に送信する（Ｓ２６）。

以上のように、画面表示装置の電池残量が少なくなった場合に、画面の表示内容をできる限り単純化することで画面表示装置の受信データ量を削減し、画面表示装置が消費する電力量を削減することができる。さらに、自動的にディスプレイの輝度を下げるのみならず、輝度が低い場合にも見やすい配色を用いた画面を生成することにより、ユーザビリティの低下を抑えつつ消費電力の削減が可能となる。

（第４の実施形態） ［画面表示装置のＣＰＵ速度等を画面送信側が指示］
本実施の形態における画面表示装置について説明する。画面表示装置のブロック構成図は第２の実施形態における図７と同じであるので、第２の実施形態と異なる処理を中心に説明する。

本実施の形態では、画面表示装置は電池の残量を監視し、電池残量情報を画面送信装置に送信する。また、画面表示装置は、画面送信装置から動作設定情報を受信する。動作設定情報とは、設定すべきＣＰＵの動作周波数であったり、画像処理回路の動作周波数、画像処理回路のコンフィグレーション情報のことである。画面表示装置は、受信した動作設定情報に基づき設定を変更する。動作設定情報には、１つとは限らず複数、例えばＣＰＵと画像処理回路の両方の動作周波数を変更する情報が含まれていても良い。

次に、本実施の形態における画面送信装置について説明する。画面送信装置のブロック構成例は第３の実施の形態における図１０とブロック間の関係以外は同じであるので図１０を用い、第３実施形態と異なる部分のみ説明する。

電池残量情報受信部６２は、画面表示装置から受信した電池残量情報を送信画面データ取得部３２および画面データ送信部３３へ通知する。

送信画面データ取得部３２と画面データ送信部３３では通知された電池残量に応じてフレームレートの変更や画像の圧縮フォーマットの変更を行なうと共に、変更に応じて画面表示装置で設定すべき動作設定情報を生成し、画面表示装置に送る。

図１４に、動作設定情報のフレームフォーマットの一例を示す。動作設定情報を記載したフレームであることを示す情報種別に続き、ＣＰＵの動作周波数と、画像コーデックの種類および動作周波数とが記載される。動作周波数としては、例えば400MHz等の具体的なクロック数を記載する方法でも良いし、あるいは、予め離散的なレベル、例えば３段階であればレベル１、レベル２、レベル３を設定しておき、現在の動作周波数のレベルを記載するようにしても良い。また、図１４には、ＣＰＵの動作周波数と、画像コーデックの種類および動作周波数とを記載しているが、変更すべき項目のみを記載するようにしても良い。

以上のように、画面表示装置の電池残量が少なくなった場合に、画面データの送信方法を変更すると共に、画面表示装置を送信する画面データに合った動作状態に設定することで、効率の良い省電力化を行うことができる。

（第５の実施形態） ［送信イベントの取捨選択］
図１５は、本実施形態における画面表示装置のブロック構成の一例を示す図である。図において、図２と同一の要素には同一の符号を付して重複する説明を省略する。以下、図２と異なるブロックを中心に説明する。

電池残量認識部７２は、画面表示装置の電池残量を把握する部分である。電池残量認識部７２は、認識した電池残量をユーザ入力解析部２５へ通知する。通知するタイミングとしては定期的に通知しても良いし、あるいはユーザ入力解析部２５からの要求があったときのみ通知しても良い。または、電池残量レベルを複数段階に分け、電池残量レベルに変化があったときに通知するようにしても良い。

ユーザ入力解析部２５は、入力デバイス２４から入力され変換されたイベント全てを画面送信装置に送るのではなく、電池残量認識部７２から得られる電池残量情報に応じて送信量を制御する。例えば、電池残量があるレベル以上あり、十分な残量あると判断できる場合には全てのイベントを送るが、あるレベル以下になると、ポインタ移動イベントは常時送るのではなくボタンのＵｐあるいはＤｏｗｎのイベントが発生した時のみ送り、それ以外は送らないようにする方法が考えられる。カーソルの移動イベントを送っていない間は画面送信装置からの画面ではなく、画面表示装置で独自にカーソルを描画すれば、ユーザの操作に支障をきたすことはない。画面表示装置で独自にカーソルを描画する方法としては例えばディスプレイのＯＳＤ（OnScreenDisplay）機能を用いる方法が考えられる。あるいは、ポインタ移動イベントを、ボタンのＵｐ／Ｄｏｗｎイベントの時以外は全く送らない方法ではなく、例えば２回に１回のみや３回に１回のみ送るなど、頻度を下げる方法も考えられる。あるいは電池の残量のレベルに応じてイベントの送信頻度の下げ方を変えても良い。また、本実施の形態では電池残量に基づきイベントの送信を判断したが、ユーザにどのようなモードで動作するか設定できるようにしても良い。

本実施形態における画面送信装置は第１実施形態と同じであるので説明は省略する。

以上に述べた画面表示装置と画面送信装置を利用し、ユーザは手元の画面表示装置にて画面送信装置のコンピュータ画面を見ながら操作することができ、画面表示装置の電池残量が少なくなった場合には、ポインタの移動イベントの送信量を減らすことで、画面表示装置から画面送信装置へ送信するデータ量を減らすことができ、さらにポインタの移動に伴う画面更新処理を削減することができるので、画面表示装置の消費電力を少なくすることができる。

（第６の実施形態） ［キャッシュサイズの変更］
図１６は、第６の実施形態における画面表示装置８１のブロック構成の一例を示す図である。図において、図２と同一の要素には同一の符号を付して重複する説明を省略する。以下、図２と異なる部分を中心に説明する。

電池残量認識部８２は、画面表示装置８１の電池残量を把握する部分である。電池残量認識部８２は、認識した電池残量を通信制御部２３を介して画面送信装置に送信する。通知するタイミングとしては定期的に通知しても良いし、あるいはユーザ入力解析部２５からの要求があったときのみ通知しても良い。または、電池残量レベルを複数段階に分け、電池残量レベルに変化があったときに通知するようにしても良い。

受信画面データ記憶部８３は、受信した画面データとインデックスとを対応付けて記憶しておく部分である。記憶しておく画面データとインデックスとは画面データ受信部２２より渡される。また、画面データ受信部２２からインデックスに対応する画面データの取得要求があると、受信画面データ記憶部８３は、記憶している画面データを検索し、検索結果を画面データ受信部２２へ渡す。

画面データ受信部２２では、画面送信装置から受信する画面データとして次の３種類が考えられる。
（１）描画データはあるがインデックスは含まれていない画面データ
（２）描画データとインデックスとの両方が含まれている画面データ
（３）描画データがなくインデックスが含まれている画面データ

（１）の場合には、画面データ受信部２２は、描画データを更新位置に従い、フレームバッファに書き込む。（２）の場合には、画面データ受信部２２は、描画データをフレームバッファに書き込むと共に、描画データとインデックスとを受信画面データ記憶部８３へ渡し、保存しておく。（３）の場合には、画面データ受信部２２は受信画面データ記憶部８３へインデックスを渡し、受信画面データ記憶部８３に保存されている描画データを取得する。画面データ受信部２２は、取得した描画データをフレームバッファに書き込む。（１）〜（３）のフレームフォーマットの例をそれぞれ図１７〜図１９に示す。

図２０は、第６の実施形態における画面送信装置９１のブロック構成の一例を示す図である。図３と異なるのは送信画面データ記憶部９２と電池残量情報受信部９３が追加され、動作状態情報受信部３５が除去されたことである。図において、図３と同一の要素には同一の符号を付して重複する説明を省略する。以下、図３と異なる部分を中心に説明する。

電池残量情報受信部９３は、画面表示装置から受信した画面表示装置の電池残量情報を画面データ送信部３３へ通知する。

送信画面データ記憶部９２は、送信済みの描画データとインデックスとを対応付けて記憶しておく部分である。記憶しておく描画データは画面データ送信部３３より渡され、渡された時に未使用のインデックスを、渡された描画データに割り当てる。割り当てたインデックスは画面データ送信部３３へ通知する。また、送信画面データ記憶部９２は、画面データ送信部３３から渡された描画データと同じ描画データの検索要求があると、記憶している描画データと渡された描画データとのマッチングをとり、同じものがあればその描画データに対応付けられたインデックスを画面データ送信部３３へ渡す。マッチングのとり方としては完全に一致する時のみインデックスを渡す方法でも良いし、あるいは渡された画像を完全に含むような画像が見つかった場合には、この画像のインデックスと共にマッチする位置を渡すようにしても良い。

画面データ送信部３３は、送信画面データ取得部３２から送信すべき画面データを渡されると、渡された画面データが既に送信済みの描画データであるか否かを調べるために送信画面データ記憶部９２へ検索依頼をする。検索がヒットした場合には、渡された画面データは既に送信済みであるため、検索結果として渡されたインデックスのみを画面表示装置へ送信する。但し、検索結果として描画データの一部が一致する場合にはどの部分が一致するかを示す情報も合わせて送信する。検索がヒットしなかた場合には描画データを送信画面データ記憶部９２へ保存しておくか否かを判断し、記憶しておく場合には送信画面データ記憶部９２へ描画データを渡し、渡した描画データに対応付けられたインデックスを送信画面データ記憶部９２から受け取る。送信画面データ記憶部９２へ新たに描画データを保存した場合には描画データとインデックスとを、保存していない場合には描画データのみを通信制御部３４へ渡して画面表示装置へ送る。

未保存の描画データを新たに保存するか否かの判断方法としては保存データ最大数を決めておき、保存済みの描画データ数が最大数より少ない場合は保存し、最大数に達している場合には保存しない方法が考えられる。保存データ最大数は、電池残量情報受信部９３から受信した画面表示装置の電池残量に基づき決定する。電池残量が十分にある場合には最大数を少なくし、電池残量が減少するに従い最大数を増加させる。

以上により、画面表示装置の電池残量が十分にある場合には、画面送信装置にて画像データの検索処理等を行なうことなく即時送信することにより、小さな遅延で画面表示装置において画面が表示される。画面表示装置の電池残量が少なくなってくると、以前に送受信済みの描画データを保持している量が増えるため、送受信される画面データとしてはインデックスのみの画面データが増え、画面表示装置側で受信するデータ量を減少することができ、また受信した画像データの処理量の減少により消費電力を低減することができる。

（第７の実施形態） ［場所によって送信レートを変える］
図２１は、第７の実施形態における画面送信装置１０１のブロック構成の一例を示す図である。図３と異なるのは送信レート決定部１０２と電池残量情報受信部１０３が追加されたことである。図において、図３と同一の要素には同一の符号を付して重複する説明を省略する。以下、図３と異なる部分を中心に説明する。

電池残量情報受信部１０３は、画面表示装置から受信した画面表示装置の電池残量情報を送信レート決定部１０２へ通知する。

送信レート決定部１０２は、送信する画面の属性と画面表示装置の電池残量情報とから画面の送信レートを決定する部分である。送信レートの決定方法としては特に限定するものではないが、例えば電池残量に応じた、画面属性と送信レートとの対応表を保持しておく方法が考えられる。図２２に、電池残量に応じた、画面属性と送信レートとの対応表の例を示す。表では送信レートを「高」「中」「低」の３段階で表している。例えば画面属性「ポインタ」は、ポインタ画像による画面更新を示し、その場合画面表示装置の電池残量が30%以上の場合には高レートで、30%未満の場合には中レートで送信を行うことを示している。同様に動画ウィンドウにおける画面更新の場合には、電池残量が80%以上の場合に高レート、60%以上の場合には中レート、60%未満の場合には低レートで送信を行うことを示している。送信レート決定部１０２は、送信画面データ取得部３２から各画面属性に対する送信レートの問い合わせがあると、表に基づき送信レートを調べ、返答する。

送信画面データ取得部３２は、更新画面を取得し画面表示装置へ送信すべきデータを画面データ送信部３３へ渡す。このとき、更新画面の属性に応じて送信レートを変更する。画面の属性の取得方法は、画面の取得方法により様々な方法が考えられるが一例として、ポインタ移動など描画に関連するイベントをフックして「ポインタ」属性を認識でき、また、フォーカスのｏｎ／ｏｆｆや位置、アプリケーション名などのウィンドウの属性情報から「フォーカスウィンドウ」や「動画ウィンドウ」などの属性を認識できる。送信画面データ取得部３２は、送信レート決定部１０２に対し更新画面の属性に対する送信レートを問い合わせる。送信レートが「高」の場合には、送信画面データ取得部３２は、取得した画面を即時に画面データ送信部３３へ渡す。送信レートが「中」「低」の場合には、それぞれに応じた一定時間、取得した画面を保留してから画面データ送信部３３に渡す。保留中に新たに画面が更新される場合は更新を反映して画面データ送信部３３に渡す。

以上のように、ポインタ表示やメニュー表示などユーザ入力の結果発生する画面更新は高レートで送信し、動画再生ウィンドウやフォーカスされていないウィンドウの表示更新は送信レートを小さくするなど、画面内の各部分の属性に応じて送信レートを制御することにより、ユーザ入力に対するレスポンスを落とすことなく電池の持続時間を延ばすことが可能となる。

本発明の第１の実施形態における画面転送システムの一例を示す図。 本発明の第１の実施形態における画面表示装置のブロック構成の一例を示す図。 本発明の第１の実施形態における画面送信装置のブロック構成の一例を示す図。 本発明の第１の実施形態におけるディスプレイ輝度情報のフレームフォーマットの一例を示す図。 本発明の第１の実施形態におけるユーザ操作イベント情報のフレームフォーマットの一例を示す図。 本発明の第１の実施形態における画面表示装置から輝度情報を受信したときの処理を示すフローチャート。 本発明の第２の実施形態における画面表示装置のブロック構成の一例を示す図。 本発明の第２の実施形態における動作状態情報のフレームフォーマットの一例を示す図。 本発明の第３の実施形態における画面表示装置のブロック構成の一例を示す図。 本発明の第３の実施形態における画面送信装置のブロック構成の一例を示す図。 本発明の第３の実施形態における電池残量情報のフレームフォーマットの一例を示す図。 本発明の第３の実施形態における輝度設定情報のフレームフォーマットの一例を示す図。 本発明の第３の実施形態における画面表示装置から電池残量情報を受信したときに画面送信装置により行われる処理の流れを説明するフローチャートを示す図。 本発明の第４の実施形態における動作設定情報のフレームフォーマットの一例を示す図。 本発明の第５の実施形態における画面表示装置のブロック構成の一例を示す図。 本発明の第６の実施形態における画面表示装置のブロック構成の一例を示す図。 本発明の第６の実施形態におけるインデックスなし画面データのフレームフォーマットの一例を示す図。 本発明の第６の実施形態におけるインデックス付き画面データのフレームフォーマットの一例を示す図。 本発明の第６の実施形態におけるインデックスのみ画面データのフレームフォーマットの一例を示す図。 本発明の第６の実施形態における画面送信装置のブロック構成の一例を示す図。 本発明の第７の実施形態における画面送信装置のブロック構成の一例を示す図。 本発明の第７の実施形態における画面属性と送信レートの対応表の一例を示す図。 バックライト型液晶表示装置の構成を概略的に示す図。 分割バックライト型液晶表示装置の構成を概略的に示す図。 自己発光素子を表示素子として用いた表示装置の構成を概略的に示す図。

符号の説明

１１、６１、９１、１０１ 画面送信装置
１２、４１、５１、７１、８１ 画面表示装置
２１、４９ ディスプレイ
２２ 画面データ受信部
２３ 通信制御部
２４、４６ 入力デバイス
２５ ユーザ入力解析部
２６ ディスプレイ調節部
３１ 画面データ生成部
３２ 送信画面データ取得部
３３ 画面データ送信部
３４ 通信制御部
３５ 動作状態情報受信部
３６ ユーザ操作イベント受信部
４２ ＣＰＵ
４３ メモリ
４４ 外部記憶装置
４５ ネットワークデバイス
４７ 画像処理回路
４８ フレームバッファ
５０ 電池
５２、７２ 電池残量認識部
６２、９３、１０３ 電池残量情報受信部
８３ 受信画面データ記憶部
９２ 送信画面データ記憶部
１０２ 送信レート決定部

Claims (8)

1. バックライト型液晶表示装置におけるバックライトの輝度を表す輝度情報を受信する情報受信手段と、
   前記輝度情報に示される輝度が小さいほど、明度幅が広くなるように前記バックライト型液晶表示装置に表示する画面の最大明度と最小明度との幅から画素の明度を求め、各画素の当該明度から前記画面の配色を決定する配色決定手段と、
   前記配色決定手段により決定された配色にしたがって画面データを生成する画面データ生成手段と、
   前記画面データ生成手段により生成された画面データを前記バックライト型液晶表示装置に送信する画面データ送信手段と、
   を備えた画面送信装置。
2. 前記情報受信手段は、前記画面表示装置の電池残量を表す電池情報を受信し、
   前記配色決定手段は、前記電池情報をさらに用いて前記画面の配色を決定することを特徴とする請求項１に記載の画面送信装置。
3. 前記配色決定手段は、前記画面におけるオブジェクトの画像を単一色にすることを決定し、
   前記画面送信手段は、前記画面データ生成手段により生成された画面データを圧縮して送信することを決定することを特徴とする請求項２に記載の画面送信装置。
4. 前記電池情報に示される電池残量に基づき前記バックライト型液晶表示装置におけるバックライトの輝度を決定する輝度決定手段と、
   前記輝度決定手段により決定された輝度を表す輝度情報を前記バックライト型液晶表示装置に送信する輝度情報送信手段と、
   をさらに備えたことを特徴とする請求項２に記載の画面送信装置。
5. 前記輝度決定手段は、複数のバックライトを有する前記バックライト型液晶表示装置におけるバックライトの輝度を、バックライトごとに決定することを特徴とする請求項４に記載の画面送信装置。
6. 前記配色決定手段は、前記画面の配色を、前記画面内のウィンドウ毎に決定することを特徴とする請求項１に記載の画面送信装置。
7. 前記配色決定手段は、アクティブなウィンドウのみ配色を変更することを特徴とする請求項６に記載の画面送信装置。
8. 情報受信手段が、バックライト型液晶表示装置におけるバックライトの輝度を表す輝度情報を受信し、
   配色決定手段が、前記輝度情報に示される輝度が小さいほど、明度幅が広くなるように前記バックライト型液晶表示装置に表示する画面の最大明度と最小明度との幅から画素の明度を求め、各画素の当該明度から前記画面の配色を決定し、
   画面データ生成手段が、前記配色決定手段により決定された配色にしたがって画面データを生成し、
   画面データ送信手段が、前記画面データ生成手段により生成された画面データを前記バックライト型液晶表示装置に送信する、
   画面生成方法。

Images