JP5471667B2 - クライアント及び画像表示システム - Google Patents

Description

本発明は、クライアント及び画像表示システムに関し、特に、クライアントにおける表示解像度の変更に伴う操作性の低下に適切に対応する技術に関する。

本発明の出願前に公知である文献の中から、本発明に関連する技術が記載された文献を挙げると、例えば、特許文献１がある。

特許文献１には、管理サーバから、パーソナルコンピュータと携帯電話端末のそれぞれに、画面送出アプリケーション、携帯電話端末用アプリケーションプログラムをダウンロードし、パーソナルコンピュータの全画面を携帯電話端末の表示装置に表示させることが記載されている（例えば、段落００３３等）。ここで、パーソナルコンピュータのディスプレイ画面と、携帯電話端末の表示画面とでは、しばしばその大きさが違うため、特許文献１が開示する技術においては、画面情報を中継するセンターサーバで携帯電話端末の画面サイズに合わせて送信された画像の縦横比やサイズを圧縮することを行っている。

特開２００７−２５１６３０号公報

近時、「リモートデスクトップ」と呼ばれるコンピュータの遠隔操作技術が知られている。これは、例えば自宅のパーソナルコンピュータ（以下、「ＰＣ」）とモバイルＰＣなどのように、ネットワークを介して通信可能に接続されたサーバとクライアントを用いて、サーバが出力する画像、特にデスクトップ画像をクライアントに送出し、クライアントの表示装置に表示させるものである。また、同時に、クライアントにて、その表示されたデスクトップ画像に対してなされた操作（例えば、ポインティングデバイスによるポインティングや文字入力など）をサーバにアップロードして、当該操作をサーバに反映させるものである。

リモートデスクトップにおけるクライアントとしては、モバイルＰＣの他に、処理装置の性能向上や小型化を背景に、携帯電話端末を用いることも、現実的になってきている。ところが、自宅ＰＣと携帯電話端末とでは表示画面のサイズが普通は異なり、縦横比も異なることがある。そうすると、デスクトップ画面送出側の自宅ＰＣで、デスクトップ画面のサイズ変更（主に縮小させるサイズ変更）をしたり、一部を切り出したりする画像処理を行い、切り出したデスクトップ画像を携帯電話端末へ送出することが必要となる。

他方、携帯電話端末の中には、重力センサや加速度センサなどを備えて、携帯電話端末の傾斜状態を検知し、検知した傾斜状態に合わせて表示装置に表示させる画面の向きを変更する機能を備えるものがある。つまり、画面を縦長又は横長でユーザが閲覧していることを検知して、画面の向きを切り替える機能である。この機能によって、ユーザは、Ｗｅｂ閲覧であれば縦長画面に、映像や写真閲覧など横長コンテンツが多いものを閲覧するときは横長画面にすることができる。

このような携帯電話端末を前述のリモートデスクトップのクライアントとして採用し、前述のデスクトップ画面を表示させる際にも画面の向きを切り替える機能を用いることを考える。すると、画面の向きを切り替えることによって解像度の変更が行われるが、この解像度の変更は、サーバで表示する画面の解像度を変更してクライアントに変更後の画面の画像の送信がなされクライアントで表示されるまで、時間が掛かることが問題となる。解像度の変更後、表示までに時間が掛かることによって操作性が低下する。

なお、ここでは、端末の傾斜状態を検知して画面の向きを切り替える機能を備える携帯電話端末を考慮して、画面の解像度を変更した場合にクライアントでの表示までに時間が掛かること、また、そのことによって操作性が低下することといった従来技術の課題を指摘した。しかしながら、画面の解像度変更がなされるきっかけとしては、画面の向きの切替（画面の回転）に特に限定される必然性はなく、例えば手動による解像度変更なども考えられる。また、例えば、クライアントとして携帯電話端末の他に、ノートＰＣやＰＤＡなどを採用した場合でも前述の課題は存在する。

本発明は、上記実情に鑑みてなされたものであって、表示解像度の変更に伴う操作性の低下が改善されたクライアント及び画像表示システムを提供することを目的とする。

上記目的を達成するために本発明は、第１の態様として、サーバとネットワークを介して接続するクライアントであって、前記サーバから送出されるデスクトップ画面を表示する表示手段と、前記表示手段に表示する画像の解像度を変更した場合に、変更後の解像度による前記画面が送られてくるまでの間、前記表示手段における表示が変更前の解像度で表示されるよう制御する遠隔操作制御手段と、を有することを特徴とする、クライアントを提供するものである。

また、本発明は、第２の態様として、ネットワークを介してサーバとクライアントが通信可能に接続する画像表示システムであって、前記クライアントは、前記サーバから送出されるデスクトップ画面を表示する表示手段と、前記表示手段に表示する画像の解像度を変更した場合に、変更後の解像度情報を含む解像度変更通知を前記サーバに送信するとともに、変更後の解像度による前記画面が送られてくるまでの間、前記表示手段における表示が変更前の解像度で表示されるよう制御する遠隔操作制御手段と、を有し、前記サーバは、前記解像度変更通知を受信すると、前記変更後の解像度情報に適合したサイズ及び向きのデスクトップ画面を生成し、前記クライアントへ送出するデスクトップ画面生成手段を有することを特徴とする、画像表示システムを提供するものである。

本発明によれば、表示解像度の変更に伴う操作性の低下が改善されたクライアント及び画像表示システムを提供することが可能となる。

本発明を好適に実施した一実施形態の全体構成を示す図である。 本実施形態における解像度の変更を説明するための概念図である。 図１の表示部１０２に表示される画面の遷移例を示す図である。

図１に、本発明を好適に実施した一実施形態の全体構成を示す。
本実施形態は、ネットワークを介して通信可能に接続されたサーバとクライアントを用いて、サーバが出力する画像、特にデスクトップ画像をクライアントに送出し、クライアントの表示装置に表示させると同時に、クライアントにて、その表示されたデスクトップ画像に対してなされた操作（例えば、ポインティングデバイスによるポインティングや文字入力など）をサーバにアップロードして、当該操作をサーバに反映させる、いわゆる「リモートデスクトップ」技術の一実施形態である。
限定するものではないが、本実施形態では、サーバ装置として自宅ＰＣ２を、クライアント装置として携帯電話端末１を用いている。クライアント装置として他に、モバイルＰＣやＰＤＡ等の電子機器を用いてもよい。

まず、自宅ＰＣ２の構成から説明する。
自宅ＰＣ２は、該自宅ＰＣ２のハードウェア資源を利用して演算等の所定の情報処理を実現する基本ソフトウェアであるオペレーションシステム２０１がインストールされており、他に、同様に、ハードウェアとソフトウェアの協働によってデスクトップ画面生成部２０２という機能ブロックが構成されている。

オペレーションシステム２０１は、ＧＵＩ（グラフィカルユーザインタフェース）を備えており、オペレーションシステム２０１もしくは自宅ＰＣ２をユーザが制御するためのインターフェースを、そのＧＵＩによって提供する。

このＧＵＩは、自宅ＰＣ２に例えば液晶表示装置のようなディスプレイを接続したならば、ディスプレイの表示領域全域に表示されるであろう画面を図２の点線で囲った部分のように、生成している。
なお、図２は、本実施形態における解像度変更を説明するための概念図である。

一方で、デスクトップ画面生成部２０２は、携帯電話端末１から受信する解像度変更通知に含まれる解像度情報等に基づいて、ＧＵＩが生成している画面から、携帯電話端末１の表示部１０２に表示させる画面（これを「デスクトップ画面」と呼ぶ）を生成する。このデスクトップ画面は、図２の点線で囲った部分の中にある実線で囲まれた部分に例示されている。
デスクトップ画面生成部２０２は、生成したデスクトップ画面を携帯電話端末１に送信する。送信するタイミングは、表示部１０２におけるフレームレートで決めるとよい（例えば、３０ｆｐｓなら１秒間に３０回送信する等）。

次に、携帯電話端末１の構成を説明する。
携帯電話端末１は、遠隔操作制御部１０１と、表示部１０２と、傾斜状態検知部１０３と、操作部１０４と、操作記録部１０５と、を有する。

遠隔操作制御部１０１は、本実施形態による遠隔操作及び解像度変更を実現するために、種々の処理を実行する機能ブロックである。遠隔操作制御部１０１は、自宅ＰＣ２から送信されてきたデスクトップ画面を受信し、これを表示部１０２に表示させる。このとき、表示部１０２からはみ出して表示できない領域、及び／又は、画面のデータがなくて表示できない領域が発生するような場合は、前者に対しては無視して表示しない、後者に対しては黒色で塗りつぶすといった画像処理か、もしくは、送出されてきたデスクトップ画面を縮小して表示する、といった画像処理を行う。

さらに、遠隔操作制御部１０１は、傾斜状態検知部１０３により携帯電話端末１の傾きが検出されたときに、解像度が変更されたと認識し、自宅ＰＣ２に解像度変更通知を送信する。ただし、表示部１０２が提供する画面の向きが切り替わる程度以上の傾き（図２の（ａ）→（ｂ）のような傾きの変化）が検出されたときに行うものとする。解像度変更通知には、変更後の解像度情報を含める。また、解像度変更通知は、デスクトップ画面生成部２０２に入力される。

なお、解像度の変更は、傾斜状態検知部１０３による傾きの検知により自動的になされるものの他に、操作部１０４を用いたユーザによる手動変更、携帯電話端末１にインストールされた図示しないアプリケーションによる自動変更等が考えられる。傾きの検知によるものだけに限定しない。

さらに、遠隔操作制御部１０１は、操作部１０４が受け付けたユーザによる操作を、操作部１０４から操作情報として受け取り、当該操作情報を自宅ＰＣ２に送信する。操作情報は、オペレーションシステム２０１に入力される。
操作情報を受信したオペレーションシステム２０１は、操作情報に基づいて所定の処理を実行する（ファイル操作や文字入力等）。

なお、遠隔操作制御部１０１は、上述の解像度の変更があって一定の時間以内に受け取った操作情報については、自宅ＰＣ２にそのまま送信せずに、操作記録部１０５にしばらくの間記録しておく処理を行う。解像度の変更があってまもなくの間は、デスクトップ画面生成部２０２がデスクトップ画面を生成しておらず、送信した操作情報に基づく処理を実行することができず、無効になってしまうためである。

表示部１０２は、遠隔操作制御部１０１が受信したデスクトップ画面を表示する機能ブロックであり、液晶表示装置や有機ＥＬ表示装置等、従来公知の技術で十分実施可能である。

傾斜状態検知部１０３は、携帯電話端末１の傾斜状態を検知する。携帯電話端末１は、ユーザが手で持つことが普通であるため、傾斜状態はつまり、保持の仕方による端末の向きの状態のことも含む概念である。傾斜状態検知部１０３は、重力センサや加速度センサ等、従来公知の技術で十分実施可能である。

操作部１０４は、ユーザによる操作を受け付ける機能ブロックである。テンキー等で実施してもよい。本発明を限定するものではないが、タッチパネルを用いて実施し、タッチパネルを表示部１０２と操作部１０４として機能させてもよい。操作部１０４は、ユーザによる操作により、文字入力やポインティングカーソルの移動等を内容とする操作情報を生成し、遠隔操作制御部１０１に渡す。

操作記録部１０５は、例えば、メモリ等で実施することができ、解像度の変更があって一定の時間以内に遠隔操作制御部１０１が操作部１０４から受け取った操作情報を、一時的に記録しておく機能ブロックである。操作記録部１０５に記録されている操作情報は、遠隔操作制御部１０１により適宜読み出される。

図２を参照して、もう一度、本実施形態における解像度の変更を説明する。
本実施形態においては、携帯電話端末１の傾斜状態（言い換えれば、保持態様）を検出し、縦状態（図２（ａ））、横状態（図２（ｂ））の各々の解像度に合わせて自宅ＰＣ２のデスクトップ画面を生成して、携帯電話端末１に送信し、遠隔操作するシステムである。縦状態、横状態等の傾斜状態は、傾斜状態検知部１０３が検知する。

さらに、図３を参照して、本実施形態における解像度の変更を説明する。
図３は、図１の表示部１０２に表示される画面の遷移例を示す図である。
図示のように、第１の解像度で表示中に解像度の変更が検知されると、遠隔操作制御部１０１は、解像度変更通知を自宅ＰＣ２に送信する。ところが、自宅ＰＣ２側で解像度変更通知を受信して新たなデスクトップ画面を生成して、さらに生成したデスクトップ画面を送出し、遠隔操作制御部１０１で受け取るまでには、これら処理に掛かる時間と、さらに再接続が必要なため、タイムラグが生じる。

この、新たな解像度、つまり第２の解像度により、新たに生成されたデスクトップ画像が表示されるまでの間に、本実施形態においては、まず、解像度の変更前の解像度（第１の解像度）による表示を続ける。次に、操作部１０４から入力される操作情報を操作記録部１０５にて記録しておく。そして、新たな解像度により生成されたデスクトップ画面が表示されると、操作記録部１０５によって記録しておいた操作情報を、そのデスクトップ画面に反映させる処理を行う。

すなわち、本実施形態では、画面の向きを切り替えた後でも、新たな解像度により生成されたデスクトップ画面が表示されるまでの間、表示が止まる等の操作性の低下がなく、従前の解像度のままでデスクトップ画面が表示され続ける。すると、携帯電話端末の表示装置では、はみ出して表示できない領域、及び／又は、画面のデータがなくて表示できない領域が発生する。これに対して本実施形態では、前者に対しては無視して表示しない、後者に対しては黒色で塗りつぶすといった画像処理を行う。しかしながら、このような対応では、表示装置の画面の広さを全て活かすことができておらず、操作性の低下をさらに改善する余地がある。そこで、本実施形態では、解像度の変更後も表示され続けているデスクトップ画面に対して入力された操作情報を記録保持しておき、新しい解像度でのデスクトップ画面を受信後に、反映させる。そのため、ユーザは操作を中断することなく継続でき、操作性がさらに改善される。

以上に説明した本実施形態によれば、「リモートデスクトップ」において、表示手段を有するクライアントが、解像度を変更した場合でも、変更後の解像度によるデスクトップ画面が送られてくるまでの間、表示手段における表示が変更前の解像度で表示され続けるため、デスクトップ画面が消えてしまうことがない。したがって、解像度の変更に伴う操作性の低下が改善される。

また、上記実施形態によれば、変更前の解像度で表示され続けているデスクトップ画面に対してなされた操作が、一時的に操作記録として保持され、解像度変更後のデスクトップ画面に反映されるため、ユーザは操作を中断することなく継続することができる。

１ 携帯電話端末（クライアント）
１０１ 遠隔操作制御部
１０２ 表示部
１０３ 傾斜状態検知部
１０４ 操作部
１０５ 操作記録部
２ 自宅ＰＣ（サーバ）
２０１ オペレーションシステム
２０２ デスクトップ画面生成部

Claims (6)

1. サーバとネットワークを介して接続するクライアントであって、
   前記サーバから送出される画面を表示する表示手段と、
   前記画面の解像度の、前記クライアントにおける変更を検知し、当該変更が検知された場合、変更後の解像度情報を含む解像度変更通知を受信すると変更後の解像度による前記画面を送出する前記サーバに対して、検知された前記変更の後の解像度情報を含む前記解像度変更通知を送信し、加えて、前記解像度変更通知を受信した前記サーバが変更後の解像度による前記画面を送信するまでの前記画面を送出しない間、前記表示手段が表示する前記画面が変更前の解像度で表示され続けるよう制御する遠隔操作制御手段と、
   ユーザによる操作を受け付けて操作情報として前記遠隔操作制御手段に渡す操作手段と、
   前記操作情報を一時的に記録しておく操作記録手段を有し、
   前記遠隔操作制御手段は、
   前記解像度変更通知の送信後に渡された前記操作情報を前記操作記録手段に記録しておき、
   変更後の解像度の前記画面を受信後に、前記操作記録手段に記録しておいた前記操作情報を、前記操作情報を受信すると当該操作情報に基づく処理を実行する前記サーバに送信する
   ことを特徴とする、クライアント。
2. 前記解像度の変更が、アスペクト比の縦と横を切り替える変更であることを特徴とする、請求項１記載のクライアント。
3. 前記解像度の変更が、サイズの変更を含むことを特徴とする、請求項１又は２記載のクライアント。
4. 前記遠隔操作制御手段は、
   前記操作情報にポインティングカーソルの移動が含まれる場合、
   記録しておいた前記操作情報中の前記ポインティングカーソルの移動距離に、
   前記サイズの変更による変更前後のサイズの倍率を乗じて得られた移動距離を、
   前記変更後の解像度情報に基づいて生成されたデスクトップ画面に反映させる移動距離とすることを特徴とする、請求項３記載のクライアント。
5. ネットワークを介してサーバとクライアントが通信可能に接続する画像表示システムであって、
   前記サーバは、
   画面を生成して前記クライアントに送出し、変更後の解像度情報を含む解像度変更通知を受信すると、前記変更後の解像度情報に適合したサイズ及び向きの前記画面を生成して、前記クライアントへ送出するデスクトップ画面生成手段
   を有し、
   前記クライアントは、
   前記サーバから送出される前記画面を表示する表示手段と、
   前記画面の解像度の、前記クライアントにおける変更を検知し、当該変更が検知された場合、前記サーバに対して、検知された変更の後の解像度情報を含む前記解像度変更通知を送信し、加えて、前記解像度変更通知を受信した前記サーバが変更後の解像度による前記画面を送信するまでの前記画面を送出しない間、前記表示手段が表示する前記画面が変更前の解像度で表示され続けるよう制御する遠隔操作制御手段と、
   ユーザによる操作を受け付けて操作情報として前記遠隔操作制御手段に渡す操作手段と、
   前記操作情報を一時的に記録しておく操作記録手段
   を有し、
   前記遠隔操作制御手段は、さらに、
   前記解像度変更通知の送信後に渡された前記操作情報を前記操作記録手段に記録しておき、
   変更後の解像度の前記画面を受信後に、前記操作記録手段に記録しておいた前記操作情報を、前記サーバに送信し、
   前記サーバは、さらに、
   前記操作情報を受信すると当該操作情報に基づく処理を実行する
   ことを特徴とする、画像表示システム。
6. サーバとネットワークを介して接続するクライアントにおいて、
   前記サーバから送出される画面を表示し、
   前記画面の解像度の、前記クライアントにおける変更を検知し、当該変更が検知された場合、変更後の解像度情報を含む解像度変更通知を受信すると変更後の解像度による前記画面を送出する前記サーバに対して、検知された前記変更の後の解像度情報を含む前記解像度変更通知を送信し、加えて、前記解像度変更通知を受信した前記サーバが変更後の解像度による前記画面を送信するまでの前記画面を送出しない間、前記表示手段が表示する前記画面が変更前の解像度で表示され続けるよう制御し、
   ユーザによる操作を操作情報として受け付け、
   前記解像度変更通知の送信後に渡された前記操作情報を操作記録手段に記録しておき、
   変更後の解像度の前記画面を受信後に、前記操作記録手段に記録しておいた前記操作情報を、前記操作情報を受信すると当該操作情報に基づく処理を実行する前記サーバに送信する
   ことを特徴とする、クライアント制御方法。

Images