JP5133454B2 - 表示装置、表示方法及びそれを実行するためのプログラム - Google Patents

Description

本発明は、映像サムネイル一覧表示に関し、複数の映像を表示する際に、機器に負担なく、またユーザにストレスなく、サムネイル一覧表示するための表示装置、表示方法及びそれを実行するためのプログラムに関する。

映像の再生機器（プレーヤ）、録再機器（レコーダ）、あるいは、放送やネットワーク経由で取得される映像の録画・再生機能を有するＰＣ等において、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc）、ＳＤメモリカード、ＨＤＤ（Hard-Disk Drive）など記録媒体に記録された多数の映像を効率的に提示・管理する手段として、サムネイル表示が多く用いられている。

サムネイルとは映像の代わりに表示される映像を代表する小画像（通常は元の画像の縮小画像）を指し、サムネイル表示とは、複数映像のサムネイル（代表縮小画像）による一覧表示形式を指す。サムネイルは通常、静止画であるが、サムネイルを静止画でなく動画で表示する、いわゆる動画サムネイルも、機器の処理能力の向上に伴って徐々にみられつつある。表示機器の処理能力が十分なら、全てのサムネイルを動画表示することが原理的に可能である。

特許文献１には、画面上に表示されている複数の映像の表示状態の違いからユーザの関心度を推定し、関心度に応じて映像の表示品質の優先度を決定する。優先度に基づいて映像の表示仕様を変更することで、映像データの転送量または表示処理に係るデータ量を軽減することが記載されている。

図１６に特許文献１の映像表示処理システムを示す概略構成図を示す。この映像情報処理システムは、映像をシステム内に取り込む映像入力部３０１と、取り込んだ映像を表示する表示装置２００と、映像入力部３０１と表示装置２００とを相互に接続して各種データを通信する通信ネットワーク３００とから構成される。表示装置２００は、送受信部２０１と、映像表示部２０４と、映像表示制御部２０５と、表示状態管理テーブル２０６と、関心度計測部２０７とから構成される。

映像表示制御部２０５は、表示された各映像の表示状態データを表示状態管理テーブル２０６に格納する。関心度計測部２０７は、その表示状態データに基づいて各映像のユーザ関心度を推定する。映像表示制御部２０５は、関心度が高い映像は高い表示品質で表示し、関心度の低い映像は表示品質を落して表示すべく各映像の表示仕様を変更し、映像入力部３０１に、送受信部２０１からネットワーク３００を介して転送する。映像入力部３０１は、変更された表示仕様に基づいて入力映像データを圧縮するよう制御して、その映像データをネットワーク３００を介して表示装置２００に送信する。

すなわち、特許文献１の構成では、画面上の映像の表示状態から各映像の表示仕様を変更し、映像入力部３０１で映像データを圧縮し、映像データの転送量または表示処理に係るデータ量を軽減することを特徴とする。

特許文献２には、ビデオオンデマンド装置において、ビデオオンデマンド機能実行中に電話機能を実行する場合に、番組再生を一時停止し、電話機能によって番組が視聴不能になることを防止する。電話機能終了後には番組一時停止を解除し、停止位置から再生を再開することが記載されている。

特開平６−３２４６６２号公報 特開平７−３２７２２１号公報

特許文献２の技術では、映像を視聴しているとき、電話着信やメール着信等により視聴に割込みが入る場合があり、これらの割込みに対処する方法として、映像の視聴の中断もしくは終了がある。しかし、サムネイル表示を見ながら電話で友人とおしゃべりしたいというニーズもあり、電話着信しても、映像の再生を中断あるいは終了することなく再生することが求められる。

また、特許文献１の技術では、表示装置が通信ネットワークに接続され、ネット経由でデータが送信されるシステムでは、映像データの視聴中に、映像ストリームの受信等が発生し、表示装置に表示される映像が増えることが考えられる。こうなると、これら追加映像の処理のために機器に負荷がかかり、そのために現在視聴中の映像表示に影響が及ぶ可能性があるが、特許文献１ではそのような状況は想定していない。

さらに、特許文献１では、映像の表示仕様は表示装置側で決定するが、その仕様をネット経由で映像入力部に転送し、映像データを圧縮後、再度ネット経由で表示装置に送る構成になっており、表示装置側の処理のみで済ますことが求められる。

そこで、本発明は、上記の問題を鑑みてなされたものであり、視聴中の映像データとは異なる外的データが入力されても、現在視聴中の複数サムネイルの動画表示を中断あるいは終了することなく、再生を継続可能な表示装置、表示方法及びそれを実行するためのプログラムを提供するものである。

本発明は、映像データの表示品質を制御して表示させる表示装置であって、表示中の映像データとは別のデータの入力を検出するデータ検出手段と、表示中の映像データの表示に要している処理量と前記別のデータの処理量とから前記表示装置の処理能力に与えるトータルの負荷を算出し、該負荷が予め設定した負荷レベルのどれに該当するかを推定する負荷推定手段と、前記負荷レベルに応じて、前記表示装置に表示される映像データのうちの少なくとも一部の表示品質を、前記表示装置の処理能力に見合ったものに変更する映像表示制御手段と、を備えることを特徴とする。

ここで、前記別のデータは、映像データとは異なる外部から入力されるデータである外的データであることを特徴とする。この表示装置は、前記データ検出手段が前記外的データの受信を検知すると、前記外的データの処理を所定の時間だけ遅延させる処理遅延手段を更に備えることを特徴とする。

また、前記別のデータは、表示中の映像データに追加表示される別映像データであることを特徴とする。この表示装置は、前記データ検出手段が前記別映像データの受信を検知すると、前記別映像データの処理を所定の時間だけ遅延させる処理遅延手段を更に備えることを特徴とする。

また、本発明は、映像データの表示品質を制御して表示させる表示装置であって、表示中の映像データに追加して表示される追加映像データの入力を検知する映像検出手段と、表示中の映像データとは異なる外部から入力されるデータである外的データの入力を検知する外的データ検出手段と、表示中の映像データの表示に要している処理量と前記追加映像データあるいは／かつ前記外的データの処理量とから前記表示装置の処理能力に与えるトータルの負荷を算出し、該負荷が予め設定した負荷レベルのどれに該当するかを推定する負荷推定手段と、前記負荷レベルに応じて、前記表示装置に表示される映像データのうちの少なくとも一部の表示品質を、前記表示装置の処理能力に見合ったものに変更する映像表示制御手段と、を備えることを特徴とする。

この表示装置は、前記映像検出手段が前記追加映像データの入力を検知した場合、前記追加映像データの表示を所定の時間だけ遅延させる表示遅延手段と、
前記外的データ検出手段が前記外的データの受信を検知した場合、前記外的データの処理を所定の時間だけ遅延させる処理遅延手段と、
を更に備えることを特徴とする。

また、本発明の表示装置は、前記映像表示制御手段が、前記負荷レベルに応じて、リアルタイム再生、スロー再生、スキップ再生に切り替えて表示品質を変更することを特徴とする。

また、本発明の表示装置は、前記映像表示制御手段が、前記負荷レベルに応じて、画質劣化が許容できる範囲で、映像のフレームレートかつ/あるいは解像度を下げる、かつ/あるいは圧縮度をあげる、かつ/あるいは前記表示装置が符号化された映像データに復号処理を行って表示を行う場合は復号処理を簡略化することで表示品質を変更することを特徴とする。

また、本発明の表示装置は、前記映像表示制御手段が、表示されるすべての映像データの表示品質を同時に切り替えもよいし、カーソルが当たっている映像、画面中央に表示されている映像、あるいはユーザ操作により選択されている映像のユーザが注目している映像以外の映像に対して表示品質を変更してもよいし、前記別映像データあるいは前記追加映像データに対してのみ表示品質の変更を行ってもよい。

また、本発明の表示装置は、前記映像表示制御手段が、遅延の間にユーザに映像データの表示品質が変わることを予告する機能を有することを特徴とする。

本発明は、映像データの表示品質を制御して表示装置に表示させる表示方法であって、表示中の映像データとは別のデータの入力を検出するデータ検出ステップと、表示中の映像データの表示に要している処理量と前記別のデータの処理量とから前記表示装置の処理能力に与えるトータルの負荷を推定する負荷推定ステップと、前記負荷レベルに応じて、前記表示装置に表示される映像データのうちの少なくとも一部の表示品質を、前記表示装置の処理能力に見合ったものに変更する映像表示制御ステップと、を備えることを特徴とする。

ここで、前記別のデータは、映像データとは異なる外部から入力されるデータである外的データであることを特徴とする。この表示方法は、前記データ検出ステップにおいて、前記外的データの受信を検知すると、前記外的データの処理を所定の時間だけ遅延させる処理遅延ステップを更に備えることを特徴とする。

また、前記別のデータは、表示中の映像データに追加表示される別映像データであることを特徴とする。この表示方法は、前記データ検出ステップにおいて、前記別映像データの受信を検知すると、前記別映像データの処理を所定の時間だけ遅延させる処理遅延ステップを更に備えることを特徴とする。

また本発明は、映像データの表示品質を制御して表示させる表示方法であって、表示中の映像データに追加して表示される追加映像データの入力を検知する映像検出ステップと、表示中の映像データとは異なる外部から入力されるデータである外的データの入力を検知する外的データ検出ステップと、表示中の映像データの表示に要している処理量と前記追加映像データあるいは／かつ前記外的データの処理量とから前記表示装置の処理能力に与えるトータルの負荷を算出し、該負荷が予め設定した負荷レベルのどれに該当するかを推定する負荷推定ステップと、前記負荷レベルに応じて、前記表示装置に表示される映像データのうちの少なくとも一部の表示品質を、前記表示装置の処理能力に見合ったものに変更する映像表示制御ステップと、を備えることを特徴とする。

この表示方法は、前記映像検出ステップにおいて、前記追加映像データの入力を検知した場合、前記追加映像データの表示を所定の時間だけ遅延させる表示遅延ステップと、前記外的データ検出ステップにおいて、前記外的データの受信を検知した場合、前記外的データの処理を所定の時間だけ遅延させる処理遅延ステップと、を更に備えることを特徴とする。

また、本発明の表示方法は、前記映像表示制御ステップにおいて、前記負荷レベルに応じて、リアルタイム再生、スロー再生、スキップ再生に切り替えて表示品質を変更することを特徴とする。

また、本発明の表示方法は、前記映像表示制御ステップにおいて、前記負荷レベルに応じて、画質劣化が許容できる範囲で、映像のフレームレートかつ/あるいは解像度を下げる、かつ/あるいは圧縮度をあげる、かつ/あるいは前記表示装置が符号化された映像データに復号処理を行って表示を行う場合は復号処理を簡略化することで表示品質を変更することを特徴とする。

また、本発明の表示方法は、前記映像表示制御ステップにおいて、表示されるすべての映像データの表示品質を同時に切り替えてもよいし、カーソルが当たっている映像、画面中央に表示されている映像、あるいはユーザ操作により選択されている映像のユーザが注目している映像以外の映像に対して表示品質を変更してもよいし、前記別映像データあるいは前記追加映像に対してのみ表示品質の変更を行ってもよい。

また、本発明の表示方法は、前記映像表示制御ステップにおいて、遅延の間にユーザに映像データの表示品質が変わることを予告する機能を有することを特徴とする。

本発明は、コンピュータに、前記表示方法を実行させるためのプログラムである。

本発明によれば、電話着信等の外的データを受信しても、追加映像が入力されても、現在視聴中の複数映像の再生を中断あるいは終了することなく再生を継続でき、ユーザはストレスなく機器を操作できる。
また、外的データおよび追加映像の受信状態に合せて表示装置の複数映像の表示品質を変更することで、機器の処理能力に対して効率的な複数映像の表示を可能にする。

また、実際の外的データおよび追加映像の処理を所定の時間遅延させ、その間に（ＣＰＵ負荷が増大する前に）表示装置の映像の表示品質を変更することで、機器の処理能力に見合った複数映像表示を可能にする。
さらに映像あるいは外的データが複数映像表示に与える負荷レベルに応じて、複数映像の再生を、リアルタイム（実時間）再生、スロー再生、スキップ再生に切り替えることで、機器の処理能力に見合った複数映像表示を可能にする。

第１の実施形態における表示装置のブロック構成図である。 映像表示部におけるサムネイル表示例を示す説明図である。 第１の実施形態における表示装置の処理手順を示すフローチャートである。 表示品質管理テーブルの一例を示す説明図である。 第２の実施形態における表示装置のブロック構成図である。 第２の実施形態における表示装置の処理手順を示すフローチャートである。 第３の実施形態における表示装置のブロック構成図である。 映像が追加された時の表示例を示す説明図である。 第３の実施形態における表示装置の処理手順を示すフローチャートである。 第４の実施形態における表示装置のブロック構成図である。 第４の実施形態における表示装置の処理手順を示すフローチャートである。 第５の実施形態における表示装置のブロック構成図である。 第５の実施形態における表示装置の処理手順を示すフローチャートである。 第６の実施形態における表示装置のブロック構成図である。 第６の実施形態における表示装置の処理手順を示すフローチャートである。 従来技術（特許文献１）の映像情報処理システムの概略構成図である。

以下、本発明の実施の形態を添付図面を参照して説明する。

＜第１の実施形態＞
実施の形態として、ここでは表示装置つき携帯電話等の通信機器に適用して構成した表示装置１を例に説明する。本願の構成を図１に示す。表示装置１は、表示品質制御部２、外的データ出力部３、映像表示部４、並びに、映像蓄積部５を備えて構成される。表示品質制御部２は、外的データ検出部６と、負荷推定部７と、映像表示制御部８とから構成される。この図をもとに、表示装置１を構成する各部について説明する。

本実施形態に係る表示装置１は、一覧表示されるサムネイルを動画表示する、いわゆる動画サムネイル表示において、例えば、表示映像データとは異なる電話やメール等の外的データが入力されたときに、画面に表示している複数の映像が中断あるいは終了することなく、表示され続けることを可能にするために、表示品質制御部（表示品質制御手段）２を有することを特徴とする。以下に、表示品質制御部２の機能を詳しく説明する。

（表示品質制御部の機能）
外的データ検出部（外的データ検出手段）６は、通信機能を介して表示装置１に電話やメールの着信等の外的データがネットワーク１０から入力されるのを検出する。例えば、電話の着信を検出した時に着信検出信号を負荷推定部７へ送る。

負荷推定部（負荷推定手段）７は、外的データ着信検出信号を受けると、その外的データに係る処理が複数映像の表示に与える負荷レベルを推定する。このときの負荷は、複数の映像表示に要している処理量と外的データの処理量、及び表示装置１の電池残量とから推定される表示装置１のＣＰＵ（図示せず）へのトータルな負荷とする。

映像表示制御部（映像表示制御手段）８は、負荷推定部（負荷推定手段）７が推定した負荷レベルに応じて、表示装置１に表示されている全映像の表示品質を決定し、映像表示部４で画面に表示される各サムネイル映像の再生（符号化データの場合、復号処理を含む）と、サムネイルの画面上への配置とを制御する。たとえば負荷レベルが大きくなると、映像のフレームレートや解像度を落としたり、圧縮度を上げたり、復号処理を簡略化したりする。復号処理の簡略化方式としては、動き補償簡略化、デブロッキングフィルタ省略、フレームスキップなどがある。本実施形態では、負荷推定部７により推定された負荷レベルに応じて、映像の表示品質をリアルタイム（実時間）再生、スロー再生、スキップ再生のいずれかに決定し、それぞれに必要な再生処理と配置とを制御することを特徴とする。詳細は後述する。

映像表示制御部（映像表示制御手段）８は、また、表示品質の変更を、ユーザが注目している映像以外の映像に対してのみ行うようにしてもよい。ユーザが注目している映像とは、たとえば、表示装置１上でカーソル等があたっている映像や、表示装置１の画面中央に表示されている映像、あるいはユーザ操作により選択された映像である。

映像表示部（映像表示手段）４は、例えば液晶パネルによって構成され、映像蓄積部５の映像、あるいは、図示しないが、表示装置１に接続した外部メモリ内の映像やネットワーク１０を介して配信される映像を、映像表示制御部８で決定した映像品質及び配置でサムネイル表示する。図２は表示装置１の映像表示部４に複数映像（サムネイル）が表示されている例を示す図である。本例では４枚の映像１１が表示されている。これら複数映像１１が電話やメール等の着信時も消えることなく、表示され続ける。

外的データ出力部（外的データ出力手段）３は、外的データ検出部６が検出した外的データの処理、たとえば電話着信のベルを鳴らす等の処理を実行する。

本実施形態ではサムネイル映像の表示制御機能について説明するが、実際の表示装置では、サムネイル映像以外にも、たとえば一つの映像を再生したり、あるいは３次元映像、写真等の静止画を表示したりということも起こり得ることから、このような映像の表示（再生）中においても、本実施形態の機能が適応可能であることは言うまでもない。この点は、他の実施形態についても同様である。

（表示品質制御部の処理フロー）
次に、表示装置１での処理フローを説明する。図３は第１の実施形態における表示装置１の処理手順を示すフローチャートである。
ユーザが表示装置１で図２に示す表示例の複数映像（サムネイル）閲覧をしているものとする。このとき外的データ検出部６は検出の待機状態にある（ステップＳ１：以降ステップを省略する）。外的データ検出部６が、電話着信等の外的データを検出すると（Ｓ１のＹＥＳ）、着信検出信号を負荷推定部７へ送る。負荷推定部７は、外的データ着信検出信号を受けると、外的データに係る処理が表示装置１の複数映像の表示に与える負荷レベルを推定する（Ｓ２）。映像表示制御部８は、負荷推定部７が推定した負荷レベルに応じて、映像の表示品質を決定し、映像表示部４で表示される映像を制御する（Ｓ３）。映像表示部４は、映像表示制御部８で制御された映像品質で複数映像を表示し（Ｓ４）、処理を終了する。

（映像表示制御）
次に、映像表示制御の方法を説明する。
映像表示制御部（映像表示制御手段）８は、負荷推定部（負荷推定手段）７が推定した負荷レベルに応じて、映像の表示品質を決定し、映像表示部で画面に表示される各サムネイル映像の再生（符号化データの場合、復号処理を含む）と、サムネイルの画面上への配置とを制御する。ここでは、負荷推定部７により推定された負荷レベルに応じて、映像の表示品質をリアルタイム（実時間）再生、スロー再生、スキップ再生のいずれかに決定し、それぞれに必要な再生処理と配置とを制御する方法を説明する。

ユーザが表示装置１で図２に示す表示例の複数映像閲覧をしているものとする。このとき、外的データである電話着信があったとすると、表示装置１のＣＰＵは複数映像１１の表示と電話機能の両方を処理する必要がある。さらに、表示装置１が携帯電話のように電池駆動である場合は、電池容量によってもＣＰＵの負荷が左右される。

そこで、負荷推定部７は、現在表示されている複数の映像表示に要している処理量と外的データを実行するのに必要な処理量、及び表示装置の電池残量などから、表示装置１のＣＰＵにかかる負荷レベルを推定する。

映像表示制御部（映像表示制御手段）８は、図４に示すような表示品質管理テーブル１５を備えており、負荷推定部（負荷推定手段）７が推定した負荷レベル１６に応じて映像品質レベル１７をリアルタイム（実時間）再生、スロー再生、スキップ再生のいずれかに決定する。

ここで「負荷小」とは負荷レベルが小さいため映像再生への影響が少ないと判断された場合であり、したがって、それまでユーザが閲覧していた映像の品質を変えることなくリアルタイム（実時間）再生する。「負荷中」とは映像再生への影響が中程度あると判断された場合であり、したがって、それまでユーザが閲覧していた映像の品質をスロー再生、たとえば1/2倍速で再生するよう制御する。「負荷大」とは、複数映像再生への影響が大きいと判断された場合であり、この場合は、それまでユーザが閲覧していた映像の品質をスキップ再生、たとえばIピクチャのみを再生するよう制御する。

なお本実施形態では負荷レベルが大きくなるに従って映像品質をリアルタイム再生→スロー再生→スキップ再生の順で変更するようにしているが、これは複数映像再生に対して視聴者の主観評価実験を行った結果、ユーザの許容度がこの順になったことに基づいている。ただし、映像品質の種類も変更順序もこの限りではない。

本実施形態では，視聴中の映像データとは異なる外的データが入力されたときの表示制御機能について説明したが、当該外的データの入力が終了した（例えば、電話を切るなど）ことも，図１に示す外的データ検出部６が検出し、図３のフローチャートに従って、その時点での最適な映像品質で映像が表示される（すなわち外的データ入力前の表示品質に戻る）ことは言うまでもない。この点は、他の実施形態についても同様である。

このように、第１の実施形態では、外的データを受信したとき、表示装置にかかる処理負荷を推定し、映像の表示品質を変更することで、表示装置の処理負荷を軽減するとともに、映像再生が中断あるいは終了することなく、表示され続けることを可能にする。

＜第２の実施形態＞
第２の実施形態の表示装置の構成を図５に示す。表示装置２１は、表示品質制御部２２、外的データ出力部２３、映像表示部２４、並びに、映像蓄積部２５を備えて構成される。表示品質制御部２２は、外的データ検出部２６と、負荷推定部２７と、映像表示制御部２８と、処理遅延部２９とから構成される。

第２の実施形態の表示装置２１では、第１の実施形態の構成に加えて、表示品質制御部２２に処理遅延部（処理遅延手段）２９を備えることを特徴とする。これにより、実際の外的データ処理（電話の呼び出し音を鳴らすなど）を所定の時間遅延させ、その間に（ＣＰＵ負荷が増大する前に）表示装置２１に表示されている映像の表示品質を変更することで、機器の処理能力に見合った複数映像表示を可能にする。

以下に、第２の実施形態における表示品質制御部２２の機能を詳しく説明する。

（表示品質制御部の機能）
外的データ検出部（外的データ検出手段）２６は、通信機能を介して表示装置２１に電話やメールの着信等の外的データが入力されるのを検出する。例えば、電話の着信を検出した時に着信検出信号を処理遅延部２９と負荷推定部２７へ送る。

処理遅延部（処理遅延手段）２９は、外的データ着信検出信号を受けると、検出された外的データの処理、たとえば電話着信処理（呼び出し音を鳴らすなど）を所定の時間、遅延させる。遅延時間は予め設定してもよいし、あるいは下記に示す映像表示部２４に映像が表示されるまで遅延させるようにしてもよい。

負荷推定部（負荷推定手段）２７は、外的データ着信検出信号を受けると、その外的データに係る処理が複数映像の表示に与える負荷レベルを推定する。このときの負荷は、複数の映像表示に要している処理量と外的データの処理量、及び表示装置２１の電池残量とから推定される表示装置２１のＣＰＵへのトータルな負荷とする。

映像表示制御部（映像表示制御手段）２８は、負荷推定部（負荷推定手段）２７が推定した負荷レベルに応じて、映像の表示品質を決定し、映像表示部２４で画面に表示される各サムネイル映像の再生（符号化データの場合、復号処理を含む）と、サムネイルの画面上への配置とを制御する。たとえば負荷レベルが大きくなると、映像のフレームレートや解像度を落としたり、圧縮度を上げたり、復号処理を簡略化したりする。復号処理の簡略化方式としては、動き補償簡略化、デブロッキングフィルタ省略、フレームスキップなどがある。本実施形態では、負荷推定部２７により推定された負荷レベルに応じて、映像の表示品質をリアルタイム（実時間）再生、スロー再生、スキップ再生のいずれかに決定し、それぞれに必要な再生処理と配置とを制御することを特徴とする。詳細は第１の実施形態と同じである。

映像表示制御部（映像表示制御手段）２８は、また、処理遅延後にすべての複数映像が同時にその表示品質に切り替えわるよう、表示タイミング制御機能を有するようにしてもよい。

映像表示制御部（映像表示制御手段）２８は、また、表示品質の変更を、ユーザが注目している映像以外の映像に対してのみ行うようにしてもよい。ユーザが注目している映像とは、たとえば、表示装置上でカーソル等があたっている映像や、表示装置の画面中央に表示されている映像、あるいはユーザ操作により選択された映像である。

さらに映像表示制御部（映像表示制御手段）２８は、処理遅延の間にユーザに映像の表示品質が変わることを予告する機能を有するようにしてもよい。たとえば、表示品質を変更する前に、表示品質が変更される映像周辺にテキスト（文字）を表示したり、表示品質が変更される映像の枠を光らせる等の映像エフェクトを表示したりすることでユーザに予告する。

映像表示部（映像表示手段）２４は、例えば液晶パネルによって構成され、映像蓄積部２５の映像や、あるいは、図示しないが、表示装置２１に接続した外部メモリ内の映像やネットワーク３０を介して配信される映像を、映像表示制御部２８で決定した映像品質及び配置でサムネイル表示する。

外的データ出力部（外的データ出力手段）２３は、処理遅延部２９で遅延されていた外的データの処理、たとえば電話着信のベルを鳴らす等の処理を実行する。

（表示品質制御の処理フロー）
次に、第２の実施形態における表示装置２１での処理フローを説明する。図６は第２の実施形態における表示装置２１の処理手順を示すフローチャートである。

ユーザが表示装置２１で図２に示す表示例の複数映像閲覧をしているものとする。このとき外的データ検出部２６は検出の待機状態にある（Ｓ１１）。外的データ検出部が電話着信等の外的データを検出すると（Ｓ１１のＹＥＳ）、着信検出信号を処理遅延部２９と負荷推定部２７へ送る。処理遅延部２９は、外的データ着信検出信号を受けると、電話着信処理（呼び出し音を鳴らすなど）を所定の時間だけ遅延させる（Ｓ１２）。負荷推定部２７は、外的データ着信検出信号を受けると、外的データに係る処理が表示装置の複数映像の表示に与える負荷レベルを推定する（Ｓ１３）。なお、この処理フローでは、処理遅延を行なってから負荷レベルの推定を行なっているが、負荷レベルの推定を行なってから処理遅延を行なってもよいし、同時に処理を行なってもよい。

映像表示制御部２８は、負荷推定部２７が推定した負荷レベルに応じて、映像の表示品質を決定し、映像表示部２４で表示される映像を制御する（Ｓ１４）。映像表示部２４は、映像表示制御部２８で制御された映像品質で複数映像を表示する（Ｓ１５）。外的データ出力部２３は、所定の時間経過後、電話着信処理（呼び出し音を鳴らすなど）等外的データの処理を実行し（Ｓ１６）、処理を終了する。

なお、本処理フローでは、Ｓ１２の処理遅延を所定の時間に設定するとし、Ｓ１６の処理実行は所定の時間経過後、とした。しかしながら、Ｓ１２の処理遅延の時間を設定せずに、図６には図示しないが、Ｓ１３において負荷推定部２７が推定した負荷レベルに応じて遅延時間を決定するようにしてもよいし、あるいはまた、Ｓ１５における映像表示が終了したか否かを判定するフローを設けて、映像表示が終了したらＳ１６の処理実行に移るようにしてもよい。

このように、第２の実施形態では、外的データの処理遅延部２９を備えることで、電話着信処理（呼び出し音を鳴らすなど）等を所定の時間遅延させ、その間に（ＣＰＵ負荷が増大する前に）映像の表示品質を変更することで、機器の処理能力に見合った複数映像表示を可能にする。

＜第３の実施形態＞
以下、実施の形態として、第１の実施形態と同じく、表示装置つき携帯電話等の通信機器に適用して構成した表示装置３１を例に説明する。本願の構成を図７に示し、この図をもとに、表示装置３１を構成する各部について説明する。
表示装置３１は、表示品質制御部３２、映像表示部３４、並びに、映像蓄積部３５を備えて構成される。表示品質制御部３２は、映像検出部３６と、負荷推定部３７と、映像表示制御部３８とから構成される。

第３の実施形態では、図７に示すように、表示装置３１に内蔵の映像蓄積部３５のみならず、表示装置３１にビデオサーバー４１から複数の映像をネット配信できるようになっており、現在映像が表示されている表示装置３１に、映像蓄積部３５あるいは／かつビデオサーバー４１から映像データが追加されたとき、表示装置３１の表示処理能力を超えないように、現在表示中の映像及び追加される映像の表示品質を変更するよう制御することを目的とする。なお、図７には図示しないが、表示装置３１に接続された外部メモリ内の映像を取り込めるようにしてもよい。

（表示品質制御部の機能）
映像検出部（映像検出手段）３６は、映像蓄積部３５やビデオサーバー４１からネットワーク４０を介して映像データが入力されるのを検出し、検出信号を負荷推定部３７へ送る。

負荷推定部（負荷推定手段）３７は、映像着信検出信号を受けると、その追加映像の表示にかかる処理が現在再生中の映像の表示に与える負荷レベルを推定する。このときの負荷は、現映像表示に要している処理量と追加映像の表示に要する処理量、及び表示装置３１の電池残量とから推定される表示装置３１のＣＰＵへのトータルな負荷とする。たとえば、３つの映像を表示している時に、別の３つの映像を受信した場合、合計６つの映像再生処理に要する処理量、及び表示装置３１の電池残量などから、表示装置３１のＣＰＵの負荷レベルを推定する。なお、複数の映像表示に要する処理量は、画面に表示される映像の個数や各映像の大きさ、フレームレート数、解像度等に依存する。

映像表示制御部（映像表示制御手段）３８は、負荷推定部（負荷推定手段）３７が推定した負荷レベルに応じて、全映像（現在表示されている映像と追加される映像）の表示品質を決定し、映像表示部で画面に表示される各サムネイル映像の再生（符号化データの場合、復号処理を含む）と、サムネイルの画面上への配置とを制御する。たとえば負荷レベルが大きくなると、全映像のフレームレートや解像度を落としたり、圧縮度を上げたり、復号処理を簡略化したりする。復号処理の簡略化方式としては、動き補償簡略化、デブロッキングフィルタ省略、フレームスキップなどがある。第３の実施形態では、第１の実施形態と同じく、図４に示すような表示品質管理テーブル１５を備えており、負荷推定部（負荷推定手段）３７が推定した負荷レベル１６に応じて映像品質レベル１７をリアルタイム（実時間）再生、スロー再生、スキップ再生のいずれかに決定するものとする。

ここで「負荷小」とは、たとえば追加入力される映像がワンセグ等の低画質映像のように、負荷レベルが小さいため映像再生への影響が少ないと判断された場合であり、したがって、それまでユーザが閲覧していた映像の品質を変えることなくリアルタイム（実時間）再生する。「負荷中」とは映像再生への影響が中程度あると判断された場合であり、したがって、それまでユーザが閲覧していた映像の品質をスロー再生、たとえば１／２倍速で再生するよう制御することで、負荷を１／２に軽減する。「負荷大」とは、たとえば、高画素/高フレームレートの映像のように、複数映像再生への影響が大きいと判断された場合であり、この場合は、それまでユーザが閲覧していた映像の品質をスキップ再生、たとえばＩピクチャのみを再生するよう制御することで、負荷を数十分の１に軽減する。

映像表示制御部（映像表示制御手段）３８は、また、表示品質の変更を、ユーザが注目している映像以外の映像に対してのみ実行する機能を有するようにしてもよい。ユーザが注目している映像とは、たとえば、表示装置３１上でカーソル等があたっている映像や、表示装置の画面中央に表示されている映像、あるいはユーザ操作により選択された映像である。

さらに映像表示制御部（映像表示制御手段）３８は、表示品質の変更を、追加映像に対してのみ実行する機能を有するようにしてもよい。たとえば図８Ａに示すように、映像表示部３４に、３つの映像４５が表示されている。この映像４５に加えて、３つの映像４６が追加され、図８Ｂになるとき、下段３つが追加映像４６とすると、下段３つの映像４６の表示品質のみ変更される。

映像表示部（映像表示手段）３４は、例えば液晶パネルによって構成され、全映像（現在表示されている映像と追加される映像）を、映像表示制御部３８で決定した映像品質及び配置でサムネイル表示する。

（表示品質制御部の処理フロー）
図８に示すように３つの映像を再生しているときに、映像検出部が３つの映像を検出した場合についての表示装置３１の処理を図９のフローチャートで説明する。

ユーザが表示装置３１で、たとえば図８Ａに示す表示例のように、３つの映像を閲覧しているものとする。このとき、映像検出部３６がネットワーク４０を介して３つの映像データの配信を検出すると（Ｓ２１のＹＥＳ）、検出信号を負荷推定部３７へ送る。負荷推定部３７は、映像検出信号を受けると、現映像３つと追加映像３つの計６つの映像再生に係る処理が表示装置３１の映像表示に与える負荷レベルを推定する（Ｓ２２）。

映像表示制御部３８は、負荷推定部３７が推定した負荷レベルに応じて、映像の表示品質と配置を決定し、映像表示部３４で表示される映像を制御する（Ｓ２３）。ここで、表示品質は、たとえば負荷レベルが「中」と判定された場合は、「スロー再生」となり、配置は、たとえば、図８Ｂの表示例に示すような配置となる。映像表示部３４は、映像表示制御部３８で制御された映像品質と配置で６つの映像を表示し（Ｓ２４）、処理を終了する。

本フローでは、図８Ｂの表示例の映像４５，４６すべてがスロー再生されることになる。なお、本実施形態では映像品質を「リアルタイム（実時間）再生」「スロー再生」「スキップ再生」として説明したが、もちろん、この限りではない。負荷レベルが大きくなると、全映像のフレームレートや解像度を落としたり、圧縮度を上げたり、あるいは映像の大きさを小さくしたりすることでもよい。また、前述したように、ユーザが注目している以外の映像や追加映像に対してだけ、映像品質の変更を実行するようにしてもよい。

なお、本実施形態では、視聴中の映像とは別の映像が入力されたときの表示制御機能について説明したが、表示されている複数映像の一部が終了するなどして、映像数が減少（例えば、図８Ｂの表示例のような６つの映像から図８Ａの表示例のような３つの映像に減少）したことも、図７に示す映像検出部３６が検出し、図９のフローチャートに従って、その時点での最適な映像品質で映像が表示されることは言うまでもない。この点は、他の実施形態についても同様である。

この処理により、表示する映像が増えることで機器の処理能力に係る負荷が増大することが予測される場合、表示装置３１の処理能力を超えないように、現在表示中の映像及び追加される映像の表示品質を変更することで、複数映像を中断あるいは終了することなく、表示し続けることを可能にする。

＜第４の実施形態＞
第４の実施形態の表示装置の構成を図１０に示す。表示装置５１は、表示品質制御部５２、映像表示部５４、並びに、映像蓄積部５５を備えて構成される。表示品質制御部５２は、映像検出部５６と、負荷推定部５７と、映像表示制御部５８と、表示遅延部５９とから構成される。

第４の実施形態は、図１０に示すように、第３の実施形態の構成に加えて、表示遅延部（表示遅延手段）５９を備えることを特徴とする。これにより、ネット配信される映像データや映像蓄積部５５からの映像データを検出すると、該映像の表示を所定時間、遅延させ、その間に、映像数が増加することで表示装置５１のＣＰＵにかかる負荷を推定し、映像表示の品質と配置を制御することで、表示する映像が増えても映像再生が中断あるいは終了することなく、表示され続けることを可能にする。

以下、図１０をもとに、表示装置５１を構成する各部について説明する。

（表示品質制御部の機能）
映像検出部（映像検出手段）５６は、映像蓄積部やビデオサーバーからネットワークを介して映像データが入力されるのを検出し、検出信号を負荷推定部５７と表示遅延部５９へ送る。表示遅延部（表示遅延手段）５９は、映像着信検出信号を受けると、検出された映像の処理、すなわち、映像の表示（再生）を所定の時間、遅延させる。

負荷推定部（負荷推定手段）５７は、映像着信検出信号を受けると、その映像に係る処理が現在再生中の複数映像の表示に与える負荷レベルを推定する。このときの負荷は、現映像表示に要している処理量と映像データに係る処理量、及び表示装置５１の電池残量とから推定される表示装置５１のＣＰＵへのトータルな負荷とする。たとえば、３つの映像を表示している時に、別の３つの映像を受信した場合、合計６つの映像再生処理に係る処理量、及び表示装置５１の電池残量などから、ＣＰＵの負荷レベルを推定する。なお、複数の映像表示に要する処理量は、画面に表示される映像の個数や各映像の大きさ、フレームレート数、解像度等に依存する。

映像表示制御部（映像表示制御手段）５８は、負荷推定部（負荷推定手段）５７が推定した負荷レベルに応じて、全映像（現在表示されている映像と追加表示される映像）の表示品質を決定し、映像表示部５４で画面に表示される各サムネイル映像の再生（符号化データの場合、復号処理を含む）と、サムネイルの画面上への配置とを制御する。たとえば負荷レベルが大きくなると、全映像のフレームレートや解像度を落としたり、圧縮度を上げたり、復号処理を簡略化したりする。復号処理の簡略化方式としては、動き補償簡略化、デブロッキングフィルタ省略、フレームスキップなどがある。第１の実施形態と同じく、図４に示すような表示品質管理テーブルを備えており、負荷推定部（負荷推定手段）が推定した負荷レベルに応じて映像品質レベルをリアルタイム（実時間）再生、スロー再生、スキップ再生のいずれか決定するものとする。詳細は第３の実施形態と同じである。

映像表示制御部（映像表示制御手段）５８は、また、表示遅延後にすべての複数映像が同時にその表示品質に切り替えわるよう、表示タイミング制御機能を有するようにしてもよい。

映像表示制御部（映像表示制御手段）５８は、また、表示品質の変更を、ユーザが注目している映像以外の映像に対してのみ行うようにしてもよい。ユーザが注目している映像とは、たとえば、表示装置５１上でカーソル等があたっている映像や、表示装置５１の画面中央に表示されている映像、あるいはユーザ操作により選択された映像である。

映像表示制御部（映像表示制御手段）５８は、また、表示品質の変更を、追加映像に対してのみ実行する機能を有するようにしてもよい。

さらに映像表示制御部（映像表示制御手段）５８は、表示遅延の間にユーザに映像の表示品質が変わることを予告する機能を有するようにしてもよい。

映像表示部（映像表示手段）５４は、例えば液晶パネルによって構成され、ネット配信される映像と現在表示されている映像を、所定の（遅延）時間後、映像表示制御部５８で決定した映像品質及び配置でサムネイル表示する。

（表示品質制御の処理フロー）
ここで、３つの映像を再生しているときに、映像検出部５６が３つの映像を検出した場合についての表示装置５１の処理をフローチャート図１１で説明する。

ユーザが表示装置５１で、たとえば図８Ａに示す表示例のように、３つの映像を閲覧しているものとする。このとき、映像検出部５６がビデオサーバー６１によるネットワーク６０を介しての３つの映像データの配信を検出すると（Ｓ３１のＹＥＳ）、着信検出信号を負荷推定部５７と表示遅延部５９へ送る。表示遅延部５９は、映像着信検出信号を受けると、当該映像の表示を所定の時間、遅延させる（Ｓ３２）。負荷推定部５７は、映像着信検出信号を受けると、現映像３つと映像３つの計６つの映像再生に係る処理が表示装置５１の映像表示に与える負荷レベルを推定する（Ｓ３３）。なお、この処理フローでは、表示遅延を行なってから負荷レベルの推定を行なっているが、負荷レベルの推定を行なってから表示遅延を行なってもよいし、同時に処理を行なってもよい。

映像表示制御部５８は、負荷推定部５７が推定した負荷レベルに応じて、映像の表示品質と配置を決定し、映像表示部５４で表示される映像を制御する（Ｓ３４）。ここで、表示品質は、たとえば負荷レベルが「中」と判定された場合は、「スロー再生」となり、配置は、たとえば、図８Ｂの表示例に示すような配置となる。映像表示部５４は、所定の時間経過後、映像表示制御部で制御された映像品質と配置で６つの映像を表示し（Ｓ３５）、処理を終了する。

なお、本処理フローでは、Ｓ３２の表示遅延を所定の時間に設定するとし、Ｓ３５の表示実行は所定の時間経過後、とした。しかしながら、Ｓ３２の処理遅延の時間を設定せずに、図１１には図示しないが、Ｓ３３において負荷推定部５７が推定した負荷レベルに応じて遅延時間を決定するようにしてもよいし、あるいはまた、Ｓ３４における映像品質が決定したか否かを判定するフローを設けて、映像品質が決定したらＳ３５の表示実行に移るようにしてもよい。

このように、第４の実施形態では、追加映像の表示遅延部５９を備えることでネット配信される映像や映像蓄積部５５から選択される映像の表示を所定の時間、遅延させ、その間に（ＣＰＵ負荷が増大する前に）映像の表示品質を変更することで、機器の処理能力に見合った複数映像表示を可能にし、映像を中断あるいは終了することなく、表示し続けることを可能にする。

＜第５の実施形態＞
以下、本発明の実施の形態について図面を用いて説明する。実施の形態として、第１及び第２の実施形態と同じく、携帯電話装置等の通信機器に適用して構成した表示装置７１（図１２）をもとに、各部について説明する。

表示装置７１は、表示品質制御部７２、外的データ出力部７３、映像表示部７４、並びに映像蓄積部７５を備えて構成される。表示品質制御部７２は、外的データ検出部７６と、映像検出部８６と、負荷推定部７７と、映像表示制御部７８とから構成される。

第５の実施形態は、第１の実施形態と第３の実施形態を共存させたものであり、電話やメールの着信などの外的データと、表示装置７１に内蔵した映像蓄積部７５やネット配信される映像の両方を処理することを可能にする。

これにより、一画面に複数の映像を表示しているときに、電話着信等の外的データに加え、映像蓄積部７５やネットワーク８０を介してビデオサーバー８１からの映像データを受信したときにも、映像再生が中断あるいは終了することなく、表示され続けることを可能にする。

表示品質制御部７２における負荷推定部７７は、第１の実施形態で説明した外的データと第２の実施形態で説明した映像の両方の処理に係る負荷を推定し、映像表示制御部７８は、電話着信等の外的データが入力されたとき、あるいは／かつ、現在表示中の映像にさらに映像蓄積部７５あるいは／かつビデオサーバー８１から映像データが追加されたとき、表示装置７１の処理能力を超えないように、画面に表示される映像の表示品質を変更するよう制御し、複数の映像再生が中断あるいは終了することなく、表示され続けることを可能にする。

（表示品質制御部の機能）
外的データ検出部（外的データ検出手段）７６は、通信機能を介して表示装置７１に電話やメールの着信等の外的データが入力されるのを検出し、検出信号を負荷推定部７７へ送る。映像検出部（映像検出手段）８６は、映像蓄積部７５やビデオサーバー８１から複数の映像がネット配信されるのを検出し、検出信号を負荷推定部７７へ送る。負荷推定部（負荷推定手段）７７は、外的データあるいは／かつ映像データの着信検出信号を受けると、その外的データあるいは／かつ映像データに係る処理が現在再生中の複数映像の表示に与える負荷レベルを推定する。このときの負荷は、現映像表示に要している処理量と外的データあるいは／かつ映像データに係る処理量、及び表示装置７１の電池残量とから推定される表示装置７１のＣＰＵへのトータルな負荷とする。

映像表示制御部（映像表示制御手段）７８は、負荷推定部（負荷推定手段）７７が推定した負荷レベルに応じて、全映像（現在表示されている映像と追加される映像）の表示品質を決定し、映像表示部７４で画面に表示される各サムネイル映像の再生（符号化データの場合、復号処理を含む）と、サムネイルの画面上への配置とを制御する。たとえば負荷レベルが大きくなると、全映像のフレームレートや解像度を落としたり、圧縮度を上げたり、復号処理を簡略化したりする。復号処理の簡略化方式としては、動き補償簡略化、デブロッキングフィルタ省略、フレームスキップなどがある。第５の実施形態では、第１の実施形態と同じく、図４に示すような表示品質管理テーブル１５を備えており、負荷推定部（負荷推定手段）７７が推定した負荷レベル１６に応じて映像品質レベル１７をリアルタイム（実時間）再生、スロー再生、スキップ再生のいずれか決定するものとする。詳細は前記実施形態と同じである。

映像表示制御部（映像表示制御手段）７８は、また、表示品質の変更を、ユーザが注目している映像以外の映像に対してのみ実行する機能を有するようにしてもよい。
さらに映像表示制御部（映像表示制御手段）７８は、表示品質の変更を、追加映像に対してのみ実行する機能を有するようにしてもよい。

映像表示部（映像表示手段）７４は、例えば液晶パネルによって構成され、現在表示されている映像と追加映像を、映像表示制御部で決定した映像品質及び配置でサムネイル表示する。
外的データ出力部（外的データ出力手段）７３は、外的データの処理（たとえば電話着信処理の場合は、呼び出し音を鳴らすなど）を実行する。

（表示品質制御の処理フロー）
第５の実施形態における表示装置７１の処理フローを図１３のフローチャートにて説明する。

ユーザが表示装置７１で、たとえば図８Ａに示す表示例のように、３つの映像を閲覧しているものとする。このとき、映像検出部８６がネットワーク８０を介して３つの映像データの配信を検出すると、着信検出信号を負荷推定部７７へ送る。一方、外的データ検出部７６が、電話着信等、外的データを検出すると、着信検出信号を負荷推定部７７へ送る。つまり、映像検出部８６あるいは／かつ外的データ検出部７６が、映像データあるいは／かつ外的データを検出すると着信検出信号を負荷推定部７７へ送る（Ｓ４１のＹＥＳ）。

負荷推定部７７は、現映像３つと映像３つの計６つの映像再生、及び外的データの処理が表示装置７１の映像表示に与える負荷レベルを推定する（Ｓ４２）。映像表示制御部７８は、負荷推定部７７が推定した負荷レベルに応じて、映像の表示品質と配置を決定し、映像表示部７４で表示される映像を制御する（Ｓ４３）。ここで、表示品質は、たとえば負荷レベルが「大」と判定された場合は、「スキップ再生」となり、配置は、たとえば、図８Ｂの表示例に示すような配置となる。映像表示部７４は、映像表示制御部７８で制御された映像品質と配置で６つの映像を表示し（Ｓ４４）、処理を終了する。

この処理により、表示する映像が増えたり、電話などが掛ってくることで機器の処理能力に係る負荷が増大することが予測される場合、表示装置７１の処理能力を超えないように現在表示中の映像及び追加される映像の表示品質を変更することで、映像再生を中断あるいは終了することなく、表示し続けることを可能にする。

＜第６の実施形態＞
第６の実施形態の表示装置９１の構成を図１４に示す。表示装置９１は、表示品質制御部９２、外的データ出力部９３、映像表示部９４、並びに映像蓄積部９５を備えて構成される。表示品質制御部９２は、外的データ検出部９６と、映像検出部１０６と、処理遅延部９９と、表示遅延部１０９と、負荷推定部９７と、映像表示制御部９８とから構成される。

第６の実施形態は、図１４に示すように、第５の実施形態の構成に加えて、表示品質制御部９２に表示遅延部（表示遅延手段）１０９と処理遅延部（処理遅延手段）９９を備えることを特徴とする。これにより、画面に複数の映像を表示しているときに、電話着信等の外的データに加え、映像蓄積部９５やネットワーク１００を介してビデオサーバー１０１からの映像を受信したときに、外的データの処理と映像の表示を所定時間、遅延させ、その間に、機器のＣＰＵにかかる負荷を推定し、映像表示の品質と配置を制御することで、映像再生が中断あるいは終了することなく、表示され続けることを可能にする。

以下、図１４をもとに、表示装置９１を構成する各部について説明する。

（表示品質制御部の機能）
外的データ検出部（外的データ検出手段）９６は、通信機能を介して表示装置９１に電話やメールの着信等の外的データが入力されるのを検出する。例えば、電話の着信を検出した時に着信検出信号を処理遅延部９９と負荷推定部９７へ送る。映像検出部（映像検出手段）１０６は、映像蓄積部９５やビデオサーバー１０１から映像データがネット配信されるのを検出し、検出信号を表示遅延部１０９と負荷推定部９７へ送る。

処理遅延部（処理遅延手段）９９は、外的データ着信検出信号を受けると、検出された外的データの処理（たとえば、電話着信の場合は、呼び出し音を鳴らすなど）を所定の時間、遅延させる。表示遅延部（表示遅延手段）１０９は、映像受信信号を受けると、映像の処理を所定の時間、遅延させる。映像の処理とは、たとえば配信された映像の再生処理である。

負荷推定部（負荷推定手段）９７は、外的データあるいは／かつ映像データの着信検出信号を受けると、その外的データあるいは／かつ映像データに係る処理が現在再生中の複数映像の表示に与える負荷レベルを推定する。このときの負荷は、現映像表示に要している処理量と外的データあるいは／かつ映像データに係る処理量、及び表示装置９１の電池残量とから推定される表示装置９１のＣＰＵへのトータルな負荷とする。

映像表示制御部（映像表示制御手段）９８は、負荷推定部（負荷推定手段）９７が推定した負荷レベルに応じて、全映像（現在表示されている映像と追加表示される映像）の表示品質を決定し、映像表示部９４で画面に表示される各サムネイル映像の再生（符号化データの場合、復号処理を含む）と、サムネイルの画面上への配置とを制御する。たとえば負荷レベルが大きくなると、全映像のフレームレートや解像度を落としたり、圧縮度を上げたり、復号処理を簡略化したりする。復号処理の簡略化方式としては、動き補償簡略化、デブロッキングフィルタ省略、フレームスキップなどがある。詳細は前記実施形態と同じである。

映像表示制御部（映像表示制御手段）９８は、また、所定の時間経過（遅延）後にすべての複数映像が同時にその表示品質に切り替えわるよう、表示タイミング制御機能を有するようにしてもよい。
映像表示制御部（映像表示制御手段）９８は、また、表示品質の変更を、ユーザが注目している映像以外の映像に対してのみ行うようにしてもよい。
映像表示制御部（映像表示制御手段）９８は、また、表示品質の変更を、追加映像に対してのみ実行する機能を有するようにしてもよい。
さらに映像表示制御部（映像表示制御手段）９８は、表示遅延の間にユーザに映像の表示品質が変わることを予告する機能を有するようにしてもよい。

映像表示部（映像表示手段）９４は、例えば液晶パネルによって構成され、全映像を、映像表示制御部で決定した映像品質及び配置でサムネイル表示する。
外的データ出力部（外的データ出力手段）９３は、処理遅延部９９で遅延されていた外的データの処理（たとえば電話着信処理の場合は、呼び出し音を鳴らすなど）を実行する。

（表示品質制御の処理フロー）
第６の実施形態における表示装置９１の処理フローを図１５のフローチャートにて説明する。

ユーザが表示装置９１で、たとえば図８Ａに示す表示例のように、３つの映像を閲覧しているものとする。このとき、映像検出部１０６が映像蓄積部９５やネットワーク１００を介してビデオサーバー１０１からの３つの映像データの配信を検出すると、着信検出信号を表示遅延部１０９と負荷推定部９７へ送る（Ｓ５１の映像データ）。一方、外的データ検出部９６が、電話着信等、外的データを検出すると、着信検出信号を処理遅延部９９と負荷推定部９７へ送る（Ｓ５１の外的データ）。つまり、映像検出部１０６あるいは／かつ外的データ検出部９６が、映像データあるいは／かつ外的データを検出すると着信検出信号を負荷推定部９７へ送る。

表示遅延部１０９は、映像着信検出信号を受けると、当該映像の表示を所定の時間、遅延させる（Ｓ５２）。処理遅延部９９は、外的データ着信検出信号を受けると、当該データの処理（呼び出し音を鳴らすなど）を所定の時間、遅延させる（Ｓ５３）。負荷推定部９７は、外的データあるいは／かつ映像データの着信検出信号を受けると、現映像３つと映像３つの計６つの映像再生、及び外的データの処理が表示装置９１の映像表示に与える負荷レベルを推定する（Ｓ５４）。なお、この処理フローでは、表示遅延、処理遅延、負荷レベル推定の順で処理を行なっているが、処理順を入れ替えてもよいし、二つ乃至三つの処理を同時に行なってもよい。

映像表示制御部９８は、負荷推定部９７が推定した負荷レベルに応じて、映像の表示品質と配置を決定し、映像表示部９４で表示される映像を制御する（Ｓ５５）。ここで、表示品質は、たとえば負荷レベルが「大」と判定された場合は、「スキップ再生」となり、配置は、たとえば、図８Ｂの表示例に示すような配置となる。映像表示部９４は、所定の時間経過後、映像表示制御部９８で制御された映像品質と配置で６つの映像を表示する（Ｓ５６）。外的データ出力部９３は、所定の時間経過後、電話着信処理（呼び出し音を鳴らすなど）等の外的データの処理を実行し（Ｓ５７）、処理を終了する。

このように、第６の実施形態では、表示遅延部と処理遅延部を備えることで、表示する映像が増えたり電話などが掛ってくるなどによりＣＰＵに負荷がかかる前に複数映像の品質と配置を制御することで、映像を中断あるいは終了することなく、表示し続けることを可能にする。

また、上記各実施の形態に係る表示品質制御部の機能は、コンピュータによって実現することができる。その場合、このような機能の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。

１、２１、３１、５１、７１、９１ 表示装置
２、２２、３２、５２、７２、９２ 表示品質制御部
３、２３、７３、９３ 外的データ出力部
４、２４、３４、５４、７４、９４ 映像表示部
５、２５、３５、５５、７５、９５ 映像蓄積部
６、２６、７６、９６ 外的データ検出部
７、２７、３７、５７、７７、９７ 負荷推定部
８、２８、３８、５８、７８、９８ 映像表示制御部
１０、３０、４０、６０、８０、１００ ネットワーク
１５ 表示品質管理テーブル
２９、９９ 処理遅延部
４１、６１、８１、１０１ ビデオサーバー
５９、１０９ 表示遅延部
３６、５６、８６、１０６ 映像検出部

Claims (27)

1. 映像データの表示品質を制御して表示させる表示装置であって、
   表示中の映像データとは別のデータの入力を検出するデータ検出手段と、
   表示中の映像データの表示に要している処理量と前記別のデータの処理量とから前記表示装置の処理能力に与えるトータルの負荷を算出し、該負荷が予め設定した負荷レベルのどれに該当するかを推定する負荷推定手段と、
   前記負荷レベルに応じて、前記表示装置に表示される映像データのうちの少なくとも一部の表示品質を、前記表示装置の処理能力に見合ったものに変更する映像表示制御手段と、
   を備えることを特徴とする表示装置。
2. 前記別のデータは、外部から入力されて更に映像データとは異なるデータである外的データであることを特徴とする請求項１に記載の表示装置。
3. 前記データ検出手段が前記外的データの受信を検知すると、前記外的データの処理を所定の時間だけ遅延させる処理遅延手段を更に備えることを特徴とする請求項２に記載の表示装置。
4. 前記別のデータは、表示中の映像データに追加表示される別映像データであることを特徴とする請求項１に記載の表示装置。
5. 前記データ検出手段が前記別映像データの受信を検知すると、前記別映像データの処理を所定の時間だけ遅延させる処理遅延手段を更に備えることを特徴とする請求項４に記載の表示装置。
6. 映像データの表示品質を制御して表示させる表示装置であって、
   表示中の映像データに追加して表示される追加映像データの入力を検知する映像検出手段と、
   外部から入力されて更に映像データとは異なるデータである外的データの入力を検知する外的データ検出手段と、
   表示中の映像データの表示に要している処理量と前記追加映像データあるいは／かつ前記外的データの処理量とから前記表示装置の処理能力に与えるトータルの負荷を算出し、該負荷が予め設定した負荷レベルのどれに該当するかを推定する負荷推定手段と、
   前記負荷レベルに応じて、前記表示装置に表示される映像データのうちの少なくとも一部の表示品質を、前記表示装置の処理能力に見合ったものに変更する映像表示制御手段と、
   を備えることを特徴とする表示装置。
7. 前記映像検出手段が前記追加映像データの入力を検知した場合、前記追加映像データの表示を所定の時間だけ遅延させる表示遅延手段と、
   前記外的データ検出手段が前記外的データの受信を検知した場合、前記外的データの処理を所定の時間だけ遅延させる処理遅延手段と、
   を更に備えることを特徴とする請求項６に記載の表示装置。
8. 前記映像表示制御手段は、前記負荷レベルに応じて、リアルタイム再生、スロー再生、スキップ再生に切り替えて表示品質を変更することを特徴とする請求項１乃至７のいずれかに記載の表示装置。
9. 前記映像表示制御手段は、前記負荷レベルに応じて、画質劣化が許容できる範囲で、映像のフレームレートかつ/あるいは解像度を下げる、かつ/あるいは圧縮度をあげる、かつ/あるいは前記表示装置が符号化された映像データに復号処理を行って表示を行う場合は復号処理を簡略化することで表示品質を変更することを特徴とする請求項１乃至７のいずれかに記載の表示装置。
10. 前記映像表示制御手段は、表示されるすべての映像データの表示品質を同時に切り替えることを特徴とする請求項１乃至９のいずれかに記載の表示装置。
11. 前記映像表示制御手段は、カーソルが当たっている映像、画面中央に表示されている映像、あるいはユーザ操作により選択されている映像のユーザが注目している映像以外の映像に対して表示品質を変更することを特徴とする請求項１乃至９のいずれかに記載の表示装置。
12. 前記映像表示制御手段は、前記別映像データあるいは前記追加映像データに対してのみ表示品質の変更を行うことを特徴とする請求項４乃至９のいずれかに記載の表示装置。
13. 前記映像表示制御手段は、遅延の間にユーザに映像データの表示品質が変わることを予告する機能を有することを特徴とする請求項３、５又は７に記載の表示装置。
14. 映像データの表示品質を制御して表示装置に表示させる表示方法であって、
    表示中の映像データとは別のデータの入力を検出するデータ検出ステップと、
    表示中の映像データの表示に要している処理量と前記別のデータの処理量とから前記表示装置の処理能力に与えるトータルの負荷を推定する負荷推定ステップと、
    前記負荷レベルに応じて、前記表示装置に表示される映像データのうちの少なくとも一部の表示品質を、前記表示装置の処理能力に見合ったものに変更する映像表示制御ステップと、
    を備えることを特徴とする表示方法。
15. 前記別のデータは、映像データとは異なる外部から入力されるデータである外的データであることを特徴とする請求項１４に記載の表示方法。
16. 前記データ検出ステップにおいて、前記外的データの受信を検知すると、前記外的データの処理を所定の時間だけ遅延させる処理遅延ステップを更に備えることを特徴とする請求項１５に記載の表示方法。
17. 前記別のデータは、表示中の映像データに追加表示される別映像データであることを特徴とする請求項１４に記載の表示方法。
18. 前記データ検出ステップにおいて、前記別映像データの受信を検知すると、前記別映像データの処理を所定の時間だけ遅延させる処理遅延ステップを更に備えることを特徴とする請求項１７に記載の表示方法。
19. 映像データの表示品質を制御して表示させる表示方法であって、
    表示中の映像データに追加して表示される追加映像データの入力を検知する映像検出ステップと、
    表示中の映像データとは異なる外部から入力されるデータである外的データの入力を検知する外的データ検出ステップと、
    表示中の映像データの表示に要している処理量と前記追加映像データあるいは／かつ前記外的データの処理量とから前記表示装置の処理能力に与えるトータルの負荷を算出し、該負荷が予め設定した負荷レベルのどれに該当するかを推定する負荷推定ステップと、
    前記負荷レベルに応じて、前記表示装置に表示される映像データのうちの少なくとも一部の表示品質を、前記表示装置の処理能力に見合ったものに変更する映像表示制御ステップと、
    を備えることを特徴とする表示方法。
20. 前記映像検出ステップにおいて、前記追加映像データの入力を検知した場合、前記追加映像データの表示を所定の時間だけ遅延させる表示遅延ステップと、
    前記外的データ検出ステップにおいて、前記外的データの受信を検知した場合、前記外的データの処理を所定の時間だけ遅延させる処理遅延ステップと、
    を更に備えることを特徴とする請求項１９に記載の表示方法。
21. 前記映像表示制御ステップにおいて、前記負荷レベルに応じて、リアルタイム再生、スロー再生、スキップ再生に切り替えて表示品質を変更することを特徴とする請求項１４乃至２０のいずれかに記載の表示方法。
22. 前記映像表示制御ステップにおいて、前記負荷レベルに応じて、画質劣化が許容できる範囲で、映像のフレームレートかつ/あるいは解像度を下げる、かつ/あるいは圧縮度をあげる、かつ/あるいは前記表示装置が符号化された映像データに復号処理を行って表示を行う場合は復号処理を簡略化することで表示品質を変更することを特徴とする請求項１４至２０のいずれかに記載の表示方法。
23. 前記映像表示制御ステップにおいて、表示されるすべての映像データの表示品質を同時に切り替えることを特徴とする請求項１４乃至２２のいずれかに記載の表示方法。
24. 前記映像表示制御ステップにおいて、カーソルが当たっている映像、画面中央に表示されている映像、あるいはユーザ操作により選択されている映像のユーザが注目している映像以外の映像に対して表示品質を変更することを特徴とする請求項１４乃至２２のいずれかに記載の表示方法。
25. 前記映像表示制御ステップにおいて、前記別映像データあるいは前記追加映像に対してのみ表示品質の変更を行うことを特徴とする請求項１７乃至２２のいずれかに記載の表示方法。
26. 前記映像表示制御ステップにおいて、遅延の間にユーザに映像データの表示品質が変わることを予告する機能を有することを特徴とする請求項１６、１８又は２０に記載の表示方法。
27. コンピュータに、請求項１４乃至２６の表示方法を実行させるためのプログラム。

Images