JP2008040347A

JP2008040347A - 画像表示装置、画像表示方法および画像表示プログラム

Info

Publication number: JP2008040347A
Application number: JP2006217373A
Authority: JP
Inventors: Shinya Murai; 信哉村井; Masataka Goto; 真孝後藤; Kensaku Yamaguchi; 健作山口; Taijiyo Nishibayashi; 泰如西林
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-08-09
Filing date: 2006-08-09
Publication date: 2008-02-21
Also published as: US20080036695A1

Abstract

【課題】情報処理端末と無線ネットワークを介して接続された画像表示装置のユーザ操作に対するレスポンスを向上させる。
【解決手段】通信部１０１で受信した動画像データに含まれる画像フレームのうち、所定のフレームがフレーム間引き部１０２で間引かれる。表示画像データ生成部１０３は、フレームが間引かれた動画像データとアプリケーション画面データとから表示用の合成画像を生成する。生成された表示用の合成画像は表示部１０４に表示される。合成画像に対するユーザからの操作は制御情報入力部１０５に入力される。間引き処理指示部１０５は、制御情報入力部１０５に制御情報が入力されたことを検出して、フレーム間引き部１０２に対して、フレームの間引き処理の開始を指示する。
【選択図】図１

Description

本発明は、画像表示装置、画像表示方法および画像表示プログラムに係わり、特に無線ネットワークを介して受信した画像データを表示するための画像表示装置、画像表示方法および画像表示プログラムに関する。

近年、アプリケーションを動作させるパーソナルコンピュータ（以下、ＰＣという）のような情報処理端末とディスプレイとを分離し、ディスプレイと情報処理端末との間で、無線ネットワークを介してアプリケーション画面データの送受信を行うことで、ディスプレイにアプリケーション画面を表示させる技術が開示されている（例えば、特許文献１を参照）。このような情報処理端末とディスプレイとが分離されたシステムでは、例えば、ディスプレイをタッチパネルとすることで、ペン入力などにより情報処理端末に対する操作を行なうことができる。

このような情報処理端末とディスプレイとが分離したシステムにおいて、ネットワーク上のサーバ装置から動画像のような映像データを受信して表示するためには、情報処理端末からディスプレイに送信されたアプリケーション画面データと、サーバ装置から送信された映像データとが合成された合成画像データを生成して表示する必要がある。このとき、動画像データを構成する画像フレーム数が多ければ、合成画像データを生成するためのディスプレイの処理負荷が大きくなる。

そのため、動画像データを再生しながら、ペン入力などによる情報処理端末に対する操作を行なうと、入力された操作データなどを送信するための処理が遅れ、情報処理端末に対する操作のレスポンスが遅れる、という問題が生じる。
特開２００２‐３０４２８３公報（４頁、図１）

本発明は、上記従来技術の問題点を解決するためになされたものであって、情報処理端末から送信されるアプリケーション画面データと、ネットワークを介して受信した動画像データとを合成して再生表示している場合でも、ユーザから情報処理端末への操作入力のレスポンスの低下を防ぎ、快適な操作環境を実現することを可能とする画面表示装置、画面表示方法および画面表示プログラムを提供することを目的とする。

上記目的を達成するために、本発明の画像表示装置は、アプリケーション画面データを生成する情報処理端末から、生成されたアプリケーション画面データを、無線ネットワークを介して受信して表示するとともに、複数のフレームを含む動画像データを記憶するサーバ装置から、無線ネットワークを介して動画像データを受信して表示するための画像表示装置であって、受信した動画像データからフレームを間引く処理を行なう間引き手段と、前記間引き手段でフレームが間引かれたあとの動画像データのフレームごとに、そのフレームを前記受信したアプリケーション画面データと合成して合成画像データを生成する手段と、前記生成された合成画像データを用いて合成画像を表示する表示手段と、前記表示手段に表示された合成画像に対する制御を指示する制御情報を入力するための入力手段と、前記入力手段で入力された制御情報を前記情報処理端末へ送信する送信手段と、前記入力手段に制御情報が入力されたことを検出して前記間引き手段に間引き処理の実行を指示する指示手段とを備えることを特徴とする。

また、本発明の画像表示方法は、アプリケーション画面データを生成する情報処理端末から、生成されたアプリケーション画面データを、無線ネットワークを介して受信して表示するとともに、複数のフレームを含む動画像データを記憶するサーバ装置から、無線ネットワークを介して動画像データを受信して表示するための画像表示方法であって、受信した動画像データからフレームを間引く処理を行ない、フレームが間引かれたあとの動画像データのフレームごとに、そのフレームを前記受信したアプリケーション画面データと合成して合成画像データを生成し、前記生成された合成画像データを用いて合成画像を表示し、前記表示された合成画像に対する制御を指示する制御情報の入力を受け付け、前記入力された制御情報を前記情報処理端末へ送信し、前記制御情報が入力されたことを検出して、前記受信した動画像データからフレームを間引く処理を実行することを特徴とする。

また、本発明の画像表示プログラムは、コンピュータに、アプリケーション画面データを生成する情報処理端末から、生成されたアプリケーション画面データを、無線ネットワークを介して受信させて表示させるとともに、複数のフレームを含む動画像データを記憶するサーバ装置から、無線ネットワークを介して動画像データを受信させて表示させるための画像表示プログラムであって、受信した動画像データからフレームを間引く処理を行なわせる機能と、フレームが間引かれたあとの動画像データのフレームごとに、そのフレームを前記受信したアプリケーション画面データと合成して合成画像データを生成させる機能と、前記生成された合成画像データを用いて合成画像を表示させる機能と、前記表示された合成画像に対する制御を指示する制御情報の入力を受け付けさせる機能と、前記入力された制御情報を前記情報処理端末へ送信させる機能と、前記制御情報が入力されたことを検出して、前記受信した動画像データからフレームを間引く処理を実行させる機能とを備えることを特徴とする。

本発明によれば、ネットワークを介して情報処理端末から送信されるアプリケーション画面データに動画像データを重畳して表示画像を生成して表示する画像表示装置において、動画像データの再生中に表示画像に対するユーザからの操作があった場合には、動画像データに含まれるフレームを間引き、動画像データの再生に要する処理負荷を軽減するので、ユーザからの操作に対するレスポンスの向上を図ることが可能となる。

以下、本発明の実施形態について説明する。

図１は、本発明の実施形態に係わる画像表示装置の構成を示すブロック図である。また、図２は、本発明の実施形態に係わる画像表示装置を含むネットワークシステムの構成を示すブロック図である。

図２に示すように、本発明の実施形態に係わる画像表示装置１００は、無線ネットワーク４００を介して、ＰＣのような情報処理端末２００、および、動画像データを記憶し配信する映像コンテンツサーバ装置３００と接続されている。

映像コンテンツサーバ装置３００は、ネットワークを介して他の通信端末に対して、動画像データのような映像コンテンツデータを配信することができるサーバ装置である。映像コンテンツサーバ装置３００としては、例えば、ホームネットワーク上でディジタルＡＶ機器同士やパソコンを連携させるための仕様であるＤＬＮＡ（ＤｉｇｉｔａｌＬｉｖｉｎｇＮｅｔｗｏｒｋＡｌｌｉａｎｃｅ）におけるＤＭＳ（ＤｉｇｉｔａｌＭｅｄｉａＳｅｒｖｅｒ）などを用いることができる。

ここで、映像コンテンツサーバ装置３００から送信される動画像データは、複数の画像フレームで構成されており、例えば、ＭＰＥＧのような映像データの圧縮方式を用いて圧縮されているものとする。

情報処理端末２００は、ネットワークを介して接続されたクライアント装置（ここでは画像表示装置１００）に対して、表示させるべきアプリケーション画面データを送信して表示させる。また、情報処理端末２００は、クライアント装置（画像表示装置１００）から送信される制御情報（例えば、ウィンドウの起動や終了、テキスト入力、マウスポインタの移動など、画像表示装置１００に表示された表示画像に対すてユーザから入力される操作情報）を、ネットワークを介して受信し、受信した制御情報に応じた処理を行なう。

なお、ここでアプリケーション画面データとは、文書の作成、数値計算など、ある特定の目的のために設計されたソフトウェアを情報処理端末で動作させて、その結果をユーザに提供するための画面データをいう。近年では、ユーザに対する情報の表示にグラフィックが多用されたＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）が用いられることが多く、その画面を通じてポインティングデバイスなどによりユーザから制御情報の入力も行うことが可能になっている。また、ＧＵＩを利用するための基本的なプログラムはＯＳ（ＯｐｅｒａｔｉｏｎＳｙｔｅｍ）によって提供されており、これを利用することによって、アプリケーションソフトによらず、アプリケーション画面を通じて、ユーザによる操作感の統一などが図られている。

情報処理端末２００としては、例えば、ネットワーク介して接続された他の通信端末の画面を遠隔操作するためのソフトウェアであるＶＮＣ（ＶｉｒｔｕａｌＮｅｔｗｏｒｋＣｏｍｐｕｔｉｎｇ）におけるサーバ機能を有するものを用いることができる。あるいは、ネットワークを介して接続されたサーバ装置（情報処理端末２００）とクライアント装置（画像表示装置１００）との間で、クライアント装置（画像表示装置１００）へのユーザの入力をサーバ装置（情報処理端末２００）に送信したり、サーバ装置（情報処理端末２００）からクライアント装置（画像表示装置１００）に対して表示すべき画面情報を送信したりするために用いられるプロトコルであるＲＤＰ（ＲｅｍｏｔｅＤｅｓｋｔｏｐＰｒｏｔｏｃｏｌ）のサーバ機能を有するものを用いてもよい。

次に、図１に示す本発明の実施形態に係わる画像表示装置１００の各部の構成について説明する。

本実施形態に係わる画像表示装置１００は、無線ネットワーク４００を介して、情報処理端末２００および映像コンテンツデータサーバ装置３００との間で、アプリケーション画面データや動画像データなどのデータ通信を行うための通信部１０１と、通信部１０１で受信した動画像データから、その動画像データを構成する画像フレームを間引くフレーム間引き部１０２と、フレーム間引き部で画像フレームが間引かれた動画像データを用いて表示用の合成画像データを生成する表示画像データ生成部１０３と、表示画像データ生成部１０３で生成された表示用の合成画像データを表示する表示部１０４と、表示部１０４に表示された表示画像に対して制御情報を入力する制御情報入力部１０５と、制御情報入力部１０５に対して制御情報が入力されたことを検出して、フレーム間引き部１０２に対して間引き処理の実行を指示する間引き処理指示部１０６とを備えている。また、画像表示装置１００は、メモリやハードディスクのような記憶手段である記憶部１０７を備えている。記憶部１０７には、フレーム間引き部１０２で間引くべきフレームの種別などが記憶されている。

また、表示画像データ生成部１０３は、フレーム間引き部１０２でフレームが間引かれた動画像データをデコードする動画像データデコード部１０３ａと、通信部１０１で受信したアプリケーション画面データをデコードするアプリケーション画面デコード部１０３ｂと、動画像データデコード部１０３ａでデコードされた動画像データと、アプリケーション画面デコード部１０３ｂでデコードされたアプリケーション画面データとを合成することで表示用の合成画像データを生成する画像合成部１０３ｃとを備えている。ここで、画像合成部１０３ｃにおける合成画像データの生成は、動画像データに含まれるフレームごとに行われる。そして生成された合成画像データが、時系列で表示部１０４に送られ、表示部１０４に表示される。

画像表示装置１００のユーザは、表示部１０４に表示され合成画像により、アプリケーション画面とともに、動画像データを視聴することが可能となる。

ユーザが表示部１０４に表示された合成画像を見ながら、例えば、ウィンドウの起動や終了、テキスト入力、マウスポインタの移動などの表示画像に対する制御情報を入力する場合には、制御情報入力部１０５に対して入力操作を行う。制御情報入力部１０５としては、例えば、キーボード、マウス、タッチパネル（ペン入力）などを用いることができる。

例えば、制御情報入力部１０５としてペン入力が可能なタッチパネルを用いて、表示部１０４に表示されている、あるウィンドウを終了させる場合には、ユーザは、ペンでそのウィンドウを閉じるためのアイコンをクリックする操作を行う。制御情報入力部１０５は、ユーザからの入力を受けて、操作対象となるウィンドウの情報と、そのウィンドウを終了させる操作の情報とを含む制御情報データを生成する。そして制御情報入力部１０５は、生成した制御情報データを、通信部１０１を介して、情報処理端末２００に送信する。

情報処理端末２００は、画像表示装置１００からの制御情報データを受信して、新たなアプリケーション画面データを生成し、生成したアプリケーション画面データを画像表示装置１００に対して送信する。

このようにすることで、画像表示装置１００から、無線ネットワーク４００を介して情報処理端末２００に対する操作を行うことが可能となる。

ここで、ユーザが表示部１０４に表示された合成画像を見ながら、例えば、ウィンドウの起動や終了、テキスト入力、マウスポインタの移動などのような表示画像に対する制御情報を入力する場合、ユーザの注意は、操作しようとするウィンドウや、テキスト、あるいはマウスポインタに集中すると考えられる。そのため、ユーザから制御情報入力部１０５への制御情報の入力がある場合には、表示部１０４に表示されている動画像データのフレーム数を間引くなどして、動画像データをアプリケーション画面データと合成する処理負荷を減らし、ユーザから入力された制御情報を送信する処理などに処理能力を割り当てたほうが、操作に対するレスポンスが向上して、快適な操作環境を実現することができると考えられる。

そこで以下では、制御情報入力部１０５にユーザからの制御情報の入力がある場合には、フレーム処理部１０２で動画像データのフレームを間引く処理を行ない、表示画像データ生成部１０３の処理負荷を低減させるための本発明の実施形態に係わる画像表示装置の動作について、図１を用いて説明する。

まず、通信部１０１が、情報処理端末２００から送信されたアプリケーション画面データを受信する。通信部１０１で受信されたアプリケーション画面データは、次に、アプリケーション画面デコード部１０３ｂに送られる。

アプリケーション画面デコード部１０３ｂは、通信部１０１で受信したアプリケーション画面データをデコードする。

これと同時期に、映像コンテンツサーバ装置３００から送信される動画像データが通信部１０１で受信される。受信された動画像データは、フレーム間引き部１０２に送られる。

フレーム間引き部１０２は、通信部１０１から送られた動画像データのフレームを間引く処理を行なう第１のモードと、フレームを間引く処理を行なわず、動画像データの画像フレームをそのまま動画像データデコード部１０３ａに送る第２のモードを有する。モードの切り替え（すなわち、フレーム間引き処理の開始と終了の切り替え）は、間引き処理指示部１０６からの指示にしたがって行われる。

以下、フレーム間引き部１０２におけるフレームを間引く処理の動作について、図３を用いて説明する。

まず、フレーム間引き部１０２が、通信部１０１を介して新たな動画像データの画像フレームを受信する（ステップＳ１０１）。

フレーム間引き部１０２は、新たな画像フレームを受信すると、モードの判定を行う（ステップＳ１０２）。フレーム間引き部１０２が第２のモード（フレームを間引かないモード）である場合には、フレーム間引き部１０２は、フレームを間引く処理を行なわず（すなわち、受信した画像フレームを廃棄することなく）、受信した画像フレームを動画像データデコード部１０３ａに送る（ステップＳ１０５）。

一方、フレーム間引き部１０２が第１のモード（フレームを間引くモード）である場合には、フレーム間引き部１０２は、受信した画像フレームが間引く対象となるフレームであるか否かを判定する（ステップＳ１０３）。ここで、受信したフレームが間引く対象となるフレームか否かの判定は、第１のモードにおいて間引くべきフレームの種別をあらかじめ記憶部１０７に記憶しておき、そのフレームの種別を参照することによって行う。すなわち、受信したフレームが、記憶部１０７に記憶されたフレームの種別と一致する場合には、受信した画像フレームを廃棄するようにする（ステップＳ１０４）。

例えば、受信する動画像データが、ＭＰＥＧ形式の圧縮方式を用いて圧縮されている場合には、動画像データに含まれるＩ（Ｉｎｔｒａ）フレームとＰ（Ｐｒｅｄｉｃｔｅｄ）フレームのうち、Ｐフレームのみを削除するフレームとして記憶しておく。そして、通信部１０１で画像フレームを受信するたびに、フレーム間引き部１０２が、受信したフレームがＩフレームであるか、Ｐフレームであるかを判定する。そして、フレーム間引き部１０２は、受信したフレームがＰフレームであれば削除し、Ｉフレームであれば、動画像データデコーダ部１０３ａに送るようにすればよい。

あるいは、例えば、受信する動画像データが、ＭｏｔｉｏｎＪＰＥＧ形式の圧縮方式を用いて圧縮されている場合には、受信した動画像データをあらかじめ定めたフレーム数ごと（例えば、３フレームごと）に区切り、区切られたフレームのうち、先頭のフレームのみを動画像データデコード部１０３ａに送り、残りのフレーム（例えば、２フレーム）を削除するようにしてもよい。

このようにすることで、フレーム間引き部１０２において、動画像データに含まれる画像フレームの間引き処理を行なうことが可能となる。

フレーム間引き部１０２でフレームが間引かれたあとの動画像データ（削除されなかった画像フレーム）は、次に、動画像データデコード部１０３ａに送られる。

動画像データデコード部１０３ａは、フレーム間引き部１０２から送られた動画像データをデコードする。動画像データデコード部１０３ａでデコードされた動画像データと、アプリケーション画面デコード部１０３ｂでデコードされたアプリケーション画面データは、次に、画像合成部１０３ｃに送られる。

画像合成部１０３ｃは、デコードされた動画像データとアプリケーション画面データとを合成して、表示用の合成画像データを生成する。

合成画像データは、図４に示すように、動画像データデコード部１０３ａから送られる画像フレームごとに、そのフレームを、アプリケーション画面データと合成することで生成される。

生成された合成画像データは、表示部１０４に送られて表示される。表示部１０４としては、例えば、液晶ディスプレイなどの表示用のデバイスを用いればよい。

このようにすることで、ユーザは、表示部１０４を介して、動画像データが合成された表示画像を視聴することが可能となる。

次に、画像表示装置１００の制御情報入力部１０５に対してユーザからの入力があった場合に、間引き処理指示部１０６がフレーム間引き部１０２にフレームを間引く処理を行なうように指示する動作について、図５を用いて説明する。

まず、制御情報入力部１０５が、ユーザからの制御情報の入力を受け付ける。制御情報入力部１０５は、入力された制御情報を通信部１０１から無線ネットワーク４００を介して情報処理端末２００へと送信する。

間引き処理指示部１０６は、定期的に制御情報入力部１０５への制御情報の入力の有無を検出している（ステップＳ２０１）。

間引き処理指示部１０６は、制御情報入力部１０５への制御情報が入力されたことを検出すると、次に、フレームの間引き処理を終了する時刻を設定する（ステップＳ２０２）。ここで、フレームの間引き処理を終了する時刻とは、フレームの間引き処理を開始してから、一定時間の間、制御情報入力部１０５に制御情報が入力されなかった場合にフレームの間引き処理を終了すべき時刻である。なお、フレームの間引き処理を終了する時刻の設定は、例えば、記憶部１０７にフレームの間引き処理を終了する時刻を記憶することで行えばよい。

フレームの間引き処理を開始してから、フレームの間引き処理を終了するまでの時間は、すべての制御情報に対して同じ一定の時間を用いてもよいが、制御情報ごとに異なる時間を設定するようにしてもよい。

例えば、制御情報が、表示画面上の所定のウィンドウ内に「文字入力」を行うためのコマンドである場合を考える。この場合、通信部１０１を介して、その制御情報を受信した情報処理端末２００は、入力された文字列をアプリケーション画面上に表示する処理を行なうだけでよい。そのため、制御情報入力部１０５に制御情報が入力されたのち、その処理結果が反映されたアプリケーション画面データが表示部１０４に表示されるまでの時間は比較的短いと考えられる。したがって、フレームの間引き処理を開始してから終了するまでの時間を短く設定しても、画面表示のためのレスポンスの低下を招きづらいと考えられる。

これに対して、例えば、制御情報が、インターネットブラウザ上でリンク情報を入力した後に入力される「Ｅｎｔｅｒ」コマンドである場合を考える。この場合、通信部１０１を介して、その制御情報を受信した情報処理端末２００は、入力されたリンク情報から、リンク先に記憶されているデータを取得し、そのデータに対応する新しいウィンドウを開くなどの処理が必要となる場合が多い。そのため、制御情報入力部１０５に制御情報が入力されたのち、その処理結果が反映されたアプリケーション画面データが表示部１０４に表示されるまでの時間は、上述した文字入力の例と比較すると長くなると考えられる。そこで、制御情報が「Ｅｎｔｅｒ」コマンドである場合には、先の文字入力の場合に比べて、フレームの間引き処理を開始してから終了するまでの時間を長く設定しておくことが望ましい。

このように、制御情報ごとにフレームの間引き処理を実行する時間を変える場合には、まず、制御情報と、その制御情報が入力された場合にフレームの間引き処理を実行する時間とを関連づけて、記憶部１０７に記憶しておく。そして、間引き処理指示部１０６は、ステップＳ２０１で制御情報が入力されるたびに、記憶部１０７を参照してフレームの間引き処理を実行する時間を読み出すようにする。そしてステップＳ２０２で間引き処理を終了する時刻の設定を、読み出したフレームの間引き処理を実行する時間に基づいて設定するようにすればよい。

このように制御情報入力部１０５に入力される制御情報に応じてフレームの間引き処理を実行する時間を変えることで、フレームが間引かれた動画像データのフレームレートが不必要に低下することを防ぐことができる。

間引き処理指示部１０６は、フレームの間引き処理を終了する時刻を設定すると、次に、すでにフレーム間引き部１０２がフレームの間引き処理を実行しているか否かを判定する（ステップＳ２０３）。そして、間引き処理指示部１０６は、フレーム間引き部１０２が、すでにフレームの間引き処理を実行している場合（第１のモード）には、フレーム間引き部１０２に対して指示を行わず、一定時間待機する（ステップＳ２０７）。一方、フレーム間引き部１０２がフレームの間引き処理を実行していない場合（第２のモード）には、間引き処理指示部１０６は、フレーム間引き部１０２に対して、フレームの間引き処理の開始を指示する（ステップＳ２０４）。

このようにすることで、制御情報入力部１０５に制御情報が入力されたことを契機として、間引き処理指示部１０６は、フレーム間引き部１０２に対して、フレームの間引き処理の実行を指示することが可能になる。そしてフレーム間引き部１０２は、間引き処理指示部１０６からの指示に基づいて、通信部１０１で受信した動画像データのフレームの間引き処理を開始することができる。

なお、ステップＳ２０１で、制御情報入力部１０５に対して制御情報が入力されていない場合には、間引き処理指示部１０６は、フレームの間引き処理を終了すべき時刻か否かの判定を行う（ステップＳ２０５）。フレームの間引き処理を終了すべき時刻か否かの判定は、間引き処理指示部１０６が、上述したように、記憶部１０７に記憶されたフレームの間引き処理を終了すべき時刻を参照することによって行なう。なお、フレームの間引き処理を終了すべき時刻が設定されていない場合には、フレーム間引き部１０２は、フレームの間引き処理を行なっていないので、間引き処理指示部１０６は、フレーム間引き部１０２に対して指示を行わず、一定時間待機する（ステップＳ２０７）。

フレームの間引き処理を終了する時刻が設定されている場合には、間引き処理指示部１０６は、現在時刻とフレームの間引き処理を終了する時刻とを比較する。すでにフレームの間引き処理を終了する時刻となっている場合には、間引き処理指示部１０６は、フレーム間引き部１０２に対して、フレームの間引き処理の終了を指示する（ステップＳ２０６）。

このようにすることで、間引き処理指示部１０６は、制御情報入力部１０５への制御情報の入力に基づいて、フレーム間引き部１０２に対して、動画像データに含まれるフレームの間引き処理の開始と終了を指示することが可能となる。

なお、ここでは、フレーム間引き部１０２におけるフレームの間引き処理の終了を、間引き処理指示部１０６からの指示によって行なっているが、間引き処理指示部１０６からフレーム間引き部１０２に対してフレームの間引き処理の実行を指示する際に、あわせてフレームの間引き処理を実行する時間も指示しておくことで、フレーム間引き部１０２が指示された時間だけフレームの間引き処理を行なった後に、フレーム間引き処理を終了できるようにしてもよい。

このように、本発明の実施形態に係わる画像表示装置によれば、ネットワークを介して動画像データを受信して表示部１０４に再生して表示している場合に、ユーザからの制御情報の入力に応じて動画像データに含まれるフレームを間引き、動画像データを再生するための処理負荷を低減して、ユーザからの制御情報の入力に対するレスポンスを高めることが可能となる。

なお、上述した実施形態では、間引き処理指示部１０６は、制御情報入力部１０５に、例えば、ウィンドウの起動や終了などのようなユーザからの制御情報の入力があった場合にフレーム間引き部１０２に対して、動画像データのフレームの間引き処理を実行するように指示していた。

しかしながら、ユーザからの制御情報の入力であっても、例えば、画面上に表示されたポインタの移動を指示する入力は、マウスやペン入力の誤操作などによって、意図せずに発生する場合がある。このような場合は、ユーザが再生されている動画像データに注目している場合も多いと考えられる。

そこで、記憶部１０７に、フレーム間引き部１０２に対して間引き処理の実行を指示する必要がない制御情報を記憶するようにしておく。そして、間引き処理指示部１０６は、制御情報入力部１０５で入力された制御情報と、記憶部１０７に記憶されている制御情報とを比較し、入力された制御情報がフレーム間引き処理を実行する必要がないものである場合には、フレーム間引き部１０２に対して間引き処理の実行を指示しないようにする。

上述した例では、フレームの間引き処理を行なう必要がない制御情報として、記憶部１０７に「ポインタの移動」を記憶しておく。そして、間引き処理指示部１０６は、制御情報入力部１０５で入力された制御情報が「ポインタの移動」である場合には、記憶部１０７を参照して、フレーム間引き部１０２に対してフレームの間引き処理の実行を指示しないようにする。一方、間引き処理指示部１０６は、制御情報入力部１０５で入力された制御情報が「ポインタの移動」以外である場合には、フレーム間引き部１０２に対して、間引き処理の実行を指示するようにする。

このようにすることで、制御情報入力部１０５に特定の制御情報が入力された場合にのみ、フレーム間引き部１０２で間引き処理の実行を行うようにすることができる。

具体的には、図６のフローチャートに示すように、フレームの間引き処理を終了する時刻の設定を行うステップＳ２０２の前に、制御情報入力部１０５に入力された制御情報が、フレームの間引き処理を実行すべき制御情報であるか否かを判定するステップ（ステップＳ２０８）を設ける。そして、制御情報入力部１０５に入力された制御情報が、フレームの間引き処理を実行すべき制御情報ではない場合には、ステップＳ２０５へ進み、入力された制御情報によってフレームの間引き処理が実行されないようにすればよい。

なお、上述した例では、記憶部１０７に、間引き処理を実行する必要がない制御情報を記憶しておき、記憶部１０７に記憶された制御情報以外の制御情報が入力された場合に、フレーム間引き部１０２に対して間引き処理の実行を指示するようにしていた。逆に、記憶部１０７に間引き処理の実行をする必要がある制御情報を記憶しておき、記憶されている制御情報が入力された場合にのみ、フレーム間引き部１０２に対して間引き処理の実行を指示するようにしてもよい。

また、上述した実施形態では、フレーム間引き部１０２で間引かれる動画像データの画像フレームは、制御情報入力部１０５に入力される制御情報によらず同じフレームであるものとして説明を行った。これに対して、制御情報入力部１０５に入力される制御情報によって、フレーム間引き部１０２で間引かれる画像フレームの種別を変えるようにすることも可能である。

この場合、あらかじめ記憶部１０７に、例えば、図７に示すような、制御情報の種別と、その制御情報が入力された場合に間引くべきフレームの種別とを関連づけたテーブルを記憶しておく。そして、間引き処理指示部１０６は、フレーム間引き部１０２に対してフレームの間引き処理の実行を指示する場合には、上述したテーブルを参照して、フレーム間引き部１０２で間引くべきフレームの種別をもあわせて指示するようにする。そしてフレーム間引き部１０２は、間引き処理指示部１０６から送信される指示に基づいて、所定の種別のフレームを間引くようにすればよい。

図７の例では、動画像データがＭＰＥＧ形式の圧縮方式を用いて圧縮されている場合に、制御情報ごとに間引くべきフレームとして、Ｉ（Ｉｎｔｒａ）フレーム、Ｐ（Ｐｒｅｄｉｃｔｅｄ）フレーム、Ｂ（Ｂｉｄｒｅｃｔｉｏｎａｌ）フレームの各種別が関連付けられてテーブルに記憶されている。そして、例えば、制御情報入力部１０５に入力された制御情報が「文字入力」を行うためのコマンドである場合には、間引き処理指示部１０６は、図７に示すテーブルを参照して、フレーム間引き部１０２に対して、ＢフレームとＰフレームを間引くように指示する。また、制御情報入力部１０５に入力された制御情報が「マウスのクリック」である場合には、間引き処理指示部１０６はフレーム間引き部１０２に対して、Ｂフレームのみを間引くように指示する。

このようにすることで、入力された制御情報に応じて、動画像データの再生のために必要な処理負荷を変えることが可能になる。すなわち、早いレスポンスが必要な制御情報が入力された場合には、間引き対象とするフレーム数を増加させ、動画像データ再生のための処理負荷を軽減し、制御情報の送信などへ処理能力を割り当てることが可能となる。

なお、この画像表示装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、フレーム間引き部１０２、表示画像データ生成部１０３、間引き処理指示部１０６などは、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像表示装置１００は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の実施形態に係わる画像表示装置の構成を示すブロック図。本発明の実施形態に係わる画像表示装置を含むネットワークシステムの構成図。本発明の実施形態に係わる画像表示装置のフレーム間引き処理の動作を示すフローチャート。本発明の実施形態の合成画像データの一例を示す図。本発明の実施形態に係わる画像表示装置の間引き処理指示部の動作を示すフローチャート。本発明の実施形態に係わる画像表示装置の間引き処理指示部の動作を示すフローチャート。本発明の実施形態の制御情報と間引くべきフレームの種別を関連づけたテーブルの一例を示す図。

符号の説明

１００・・・画像表示装置
１０１・・・通信部
１０２・・・フレーム間引き部
１０３・・・表示画像データ生成部
１０３ａ・・・動画像データデコード部
１０３ｂ・・・アプリケーション画面データデコード部
１０３ｃ・・・画像合成部
１０４・・・表示部
１０５・・・制御情報入力部
１０６・・・間引き処理指示部
１０７・・・記憶部
２００・・・情報処理端末
３００・・・映像コンテンツサーバ装置
４００・・・無線ネットワーク

Claims

アプリケーション画面データを生成する情報処理端末から、生成されたアプリケーション画面データを、無線ネットワークを介して受信して表示するとともに、複数のフレームを含む動画像データを記憶するサーバ装置から、無線ネットワークを介して動画像データを受信して表示するための画像表示装置であって、
受信した動画像データからフレームを間引く処理を行なう間引き手段と、
前記間引き手段でフレームが間引かれたあとの動画像データのフレームごとに、そのフレームを前記受信したアプリケーション画面データと合成して合成画像データを生成する手段と、
前記生成された合成画像データを用いて合成画像を表示する表示手段と、
前記表示手段に表示された合成画像に対する制御を指示する制御情報を入力するための入力手段と、
前記入力手段で入力された制御情報を前記情報処理端末へ送信する送信手段と、
前記入力手段に制御情報が入力されたことを検出して前記間引き手段に間引き処理の実行を指示する指示手段と
を備えることを特徴とする画像表示装置。
前記指示手段は、前記入力手段で入力された制御情報が前記合成画像に含まれるポインタの移動を指示する制御情報である場合には前記間引き手段に対して間引き処理の実行を指示しない
ことを特徴とする請求項１に記載の画像表示装置。
前記入力手段に入力される制御情報と、前記制御情報が入力された場合に前記間引き手段において間引くべきフレームの種別とを関連付けて記憶する記憶手段をさらに備え、
前記指示手段は、前記記憶手段を参照して、前記入力手段に入力された制御情報に対応して間引くべきフレームを間引くように前記間引き手段に間引き処理の実行を指示する
ことを特徴とする請求項１に記載の画像表示装置。
前記指示手段は、前記間引き手段に対して間引き処理の実行を指示してから、あらかじめ定めた時間の間、前記入力手段に対して制御情報の入力がなかった場合には間引き処理を終了するように前記間引き手段に指示する
ことを特徴とする請求項１に記載の画像表示装置。
前記入力手段に入力される制御情報と、前記制御情報が入力された場合に前記間引き手段において間引き処理を継続すべき時間とを関連付けて記憶する記憶手段をさらに備え、
前記指示手段は、前記記憶手段を参照して、前記入力手段に入力された制御情報に対応して間引き処理を継続すべき時間の間、間引き処理が実行されるように前記間引き手段に対して間引き処理の実行を指示する
ことを特徴とする請求項１に記載の画像表示装置。
前記間引き手段は、前記受信した動画像データに含まれる複数のフレームがＭＰＥＧ形式の圧縮方式を用いて圧縮されている場合には、前記受信した複数のフレームのうち、Ｐ（Ｐｒｅｄｉｃｔｅｄ）フレームを削除することによりフレームを間引く
ことを特徴とする請求項１に記載の画像表示装置。
アプリケーション画面データを生成する情報処理端末から、生成されたアプリケーション画面データを、無線ネットワークを介して受信して表示するとともに、複数のフレームを含む動画像データを記憶するサーバ装置から、無線ネットワークを介して動画像データを受信して表示するための画像表示方法であって、
受信した動画像データからフレームを間引く処理を行ない、
フレームが間引かれたあとの動画像データのフレームごとに、そのフレームを前記受信したアプリケーション画面データと合成して合成画像データを生成し、
前記生成された合成画像データを用いて合成画像を表示し、
前記表示された合成画像に対する制御を指示する制御情報の入力を受け付け、
前記入力された制御情報を前記情報処理端末へ送信し、
前記制御情報が入力されたことを検出して、前記受信した動画像データからフレームを間引く処理を実行する
ことを特徴とする画像表示方法。
コンピュータに、アプリケーション画面データを生成する情報処理端末から、生成されたアプリケーション画面データを、無線ネットワークを介して受信させて表示させるとともに、複数のフレームを含む動画像データを記憶するサーバ装置から、無線ネットワークを介して動画像データを受信させて表示させるための画像表示プログラムであって、
受信した動画像データからフレームを間引く処理を行なわせる機能と、
フレームが間引かれたあとの動画像データのフレームごとに、そのフレームを前記受信したアプリケーション画面データと合成して合成画像データを生成させる機能と、
前記生成された合成画像データを用いて合成画像を表示させる機能と、
前記表示された合成画像に対する制御を指示する制御情報の入力を受け付けさせる機能と、
前記入力された制御情報を前記情報処理端末へ送信させる機能と、
前記制御情報が入力されたことを検出して、前記受信した動画像データからフレームを間引く処理を実行させる機能と
を備えることを特徴とする画像表示プログラム。