JP5322529B2 - 表示装置、表示制御方法 - Google Patents

Description

本発明は、動画像とグラフィックとを合成して表示可能な表示技術に関するものである。

現在、放送業界は、アナログ放送からデジタル放送へと移行が進み、多チャンネル化、コンテンツの高精細化が進んでいる。また、それを表示する表示装置も大画面化、高精細化に向かっている。

また、データ放送などにより、受信機は単なる一方的に放送映像を映すだけものから、ユーザが双方向でやり取りできるような仕組みも設けられている。これにより、受信機には一般のパーソナルコンピュータと同様に、グラフィックスを合成することも求められる。

このように、放送のデジタル化、表示装置の大画面高精細化により、様々なメディアを１つの表示装置に同時表示させる「マルチ画面表示」という表示形態が期待されている。つまり、受信機には、複数の動画像とグラフィックスをスムーズに合成して表示する能力が必要とされている。

しかしながら、高精細な動画像とグラフィックスをスムーズに合成するためには、高速にメモリ転送を行う必要があり、システムが高価になってしまうという課題がある。

動画像で使用するメモリ帯域を制御し、システムのコストを低下させるための技術が、特許文献１に開示されている。特許文献１には、複数のストリームの表示中にOSD(グラフィックス)を表示する場合に、ストリームの優先度に従い、優先度の低いストリームのフレームを間引く技術が開示されている。

また、特許文献２には次のような技術が開示されている。即ち、高解像度で出力可能な表示装置にグラフィックスと動画像とを表示する場合に、ユーザにとって解像度の差がわかりやすいグラフィックは高解像度で、解像度が小さくても差がわかりにくい動画像は低解像度で描画したものを拡大して表示する。
特開２００３−２９８９３８号公報 特開２００７−０５７５８６号公報

上述した従来技術では、グラフィックスを表示する際に動画像で使用する帯域を抑えることで、システムを低コスト化させることができる。

しかし、複数チャンネルの動画像を同時に録画している場合や、チャンネル表示や音量変更表示等のグラフィックスが画面上で占める割合が動画像に比べて小さい場合等、グラフィックスの表示の品質よりも動画像の表示の品質を優先させて表示する場合がある。この場合には、動画像とグラフィックスとの品質を適応的に制御しなければならないという課題があるが、上記従来技術では、これらの課題を解決することができない。

例えば、特許文献１や特許文献２に開示されている技術では、動画像の描画制御を行い、使用するメモリ帯域を低減させることは可能であるが、グラフィックスの描画制御を行うことはできない。

また、状況に応じて動画像の描画とグラフィックスの描画で使用するバンドを適応的に制御することができない。

本発明は以上の問題に鑑みてなされたものであり、描画命令に応じてグラフィックスの描画に必要な帯域と動画像の描画に必要な帯域とを適応的に制御する為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の表示装置は以下の構成を備える。

即ち、動画像を描画するためのメモリ領域を有すると共に、該動画像上に合成するためのグラフィックを描画するためのメモリ領域を有するメモリを備え、該メモリに書き込まれた画像を読み出して表示する表示装置であって、
前記動画像及び前記グラフィックの描画命令が記述された描画命令情報を取得する手段と、
前記描画命令情報を参照し、前記動画像及び前記グラフィックの表示形態を判断する判断手段と、
前記メモリに対して許容された読み書き速度の最大速度を示す最大速度情報を取得する手段と、
前記最大速度情報が示す最大速度のうち、前記メモリに対する前記動画像の読み書き速度が占める第１の割合及び該最大速度のうち前記メモリに対する前記グラフィックの読み書き速度が占める第２の割合を、前記判断手段による判断結果に基づいて決定する決定手段と、
前記決定手段が決定した割合が示す読み書き速度に応じて、前記描画命令情報に基づく前記メモリへの画像の読み書きを制御する制御手段と
を備え、
前記決定手段は、
前記メモリに対して前記動画像を読み書きするために必要な読み書き速度を示す第１の速度情報及び前記メモリに対して前記グラフィックを読み書きするために必要な読み書き速度を示す第２の速度情報を取得し、
前記第１の割合と前記第２の割合とを規定するための情報を、前記動画像の表示形態及び前記グラフィックの表示形態の組み合わせごとに保持しているテーブル情報を参照し、 前記描画命令情報によって規定されている前記動画像の表示形態及び前記グラフィックの表示形態の組み合わせに対応する前記第１の割合及び前記第２の割合を決定し、
前記制御手段は、
前記最大速度に対する第１の割合の速度である第１の速度が前記第１の速度情報が示す速度よりも小さい場合には前記描画命令情報において前記動画像の描画命令を修正し、前記最大速度に対する第２の割合の速度である第２の速度が前記第２の速度情報が示す速度よりも小さい場合には前記描画命令情報において前記グラフィックの描画命令を修正する修正手段と、
前記決定手段が決定した割合が示す読み書き速度に応じて、前記修正手段による修正後の描画命令情報に基づく前記メモリへの画像の読み書きを制御する手段と
を備える
ことを特徴とする。

本発明の構成によれば、描画命令に応じてグラフィックスの描画に必要な帯域と動画像の描画に必要な帯域とを適応的に制御することができる。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
図１は、本実施形態に係る表示装置の機能構成例を示すブロック図である。本実施形態に係る表示装置は、グラフィックス描画部１０５、動画描画部１０６、描画制御部１０２、合成部１１１、により構成されている。

グラフィックス描画部１０５には、グラフィックスのデータとしてのグラフィックス情報１０７が入力される。グラフィックス情報１０７には、例えば、音量表示オブジェクトのデータや、チャンネル表示のオブジェクトのデータ等が含まれている。これらのオブジェクトは、後述する動画像上に合成する為のものである。グラフィックス描画部１０５は、描画制御部１０２による制御に基づいて、このグラフィックス情報１０７を用いてグラフィックスの描画を行う。係る描画は、表示装置が有する不図示のメモリ上に行う。

動画描画部１０６には、動画像のデータとしての動画情報１０８が入力される。動画情報１０８には、例えば、動画像を構成する各フレームの画像データや、それぞれのフレームの番号情報などが含まれている。動画描画部１０６は、描画制御部１０２による制御に基づいて、この動画情報１０８を用いて各フレームの画像の描画を行う。係る描画は、表示装置が有するメモリ上に行う。なお、グラフィックス描画部１０５が描画に用いるメモリと動画描画部１０６が描画に用いるメモリとは別個のものであっても良いし、１つのメモリをグラフィックス描画部１０５と動画描画部１０６とで共有して用いても良い。

即ち、本実施形態に係る表示装置が有するメモリは、「動画像を描画するためのメモリ領域を有すると共に、動画像上に合成するためのグラフィックスを描画するためのメモリ領域を有するメモリ」である。そして係るメモリは、１つのメモリで構成しても良いし、それぞれのメモリ領域に相当するメモリで構成しても良い。

描画制御部１０２には、描画処理命令１０１（描画命令情報）と、帯域制御情報１１２とが入力される。

描画処理命令１０１は、動画像、グラフィックス、の少なくとも一方の描画命令が記述された描画命令情報である。本実施形態では、動画像とグラフィックスの両方を描画するので、この場合には、描画処理命令１０１には、動画像とグラフィックスの両方の描画命令が記述されていることになる。

帯域制御情報１１２は、メモリに対する動画像、グラフィックスのそれぞれの読み書きの速度（帯域）を規定するための情報を、動画像の表示形態、グラフィックスの表示形態、の組み合わせのそれぞれについて保持しているテーブル情報である。

描画制御部１０２は、描画処理命令１０１と帯域制御情報１１２とを用いて後述する処理を行うことで、この描画処理命令１０１を適宜修正する。そして、描画制御部１０２は、描画処理命令１０１のうちグラフィックスの描画命令についてはグラフィックス描画部１０５に送出することで、グラフィックス描画部１０５によるグラフィックス描画の制御を行う。また、描画制御部１０２は、描画処理命令１０１のうち動画像の描画命令については動画描画部１０６に送出することで、動画描画部１０６による動画像描画の制御を行う。

合成部１１１は、グラフィックス描画部１０５によりメモリ上に描画されたグラフィックスを、動画描画部１０６によりメモリ上に描画された動画像上に合成することで、合成フレーム画像を生成し、生成した合成フレーム画像を出力する。出力先は、ＣＲＴや液晶画面などの表示部である。もちろん、ネットワークなどを介して外部の装置に合成フレーム画像を出力しても良いし、その出力先については特に限定するものではない。

これ以降の説明におけるフローチャートによる処理手順は、係る例に限定されることはなく、以下の結果を満たす限りいかなる手順の組み合わせも、複数処理をまとめることも、処理を細分化することも可能である。また、各処理を個々に切り出してひとつの機能要素として単体として機能し、示している処理以外の処理と組み合わせて使用することも可能である。

図６は、本実施形態に係る表示装置が、動画像とグラフィックスとを合成して表示する為に行う処理（表示制御方法）のフローチャートである。

先ず、ステップＳ６０１では、描画制御部１０２は、描画処理命令１０１と帯域制御情報１１２とを取得する。そして描画制御部１０２は、取得したこれらの情報を用いて、グラフィックス描画部１０５に供給する為のグラフィックス描画命令と、動画描画部１０６に供給する為の動画描画命令と、を作成する。そして、描画制御部１０２は、作成したグラフィックス描画命令をグラフィックス描画部１０５に送出すると共に、作成した動画描画命令を動画描画部１０６に送出する。

次に、ステップＳ６０２では、動画描画部１０６は、描画制御部１０２から供給された動画描画命令に従って、動画情報１０８に基づく動画像（各フレームの画像）を、メモリ上に描画する。動画情報１０８は、例えば、Ｍｐｅｇ２システム放送の形式であるＭｐｅｇ２−ＴＳや蓄積コンテンツの形式であるＭｐｅｇ２−ＰＳであるので、本ステップでは、動画情報１０８をデコードしてから動画像を描画する。

一方、ステップＳ６０３では、グラフィックス描画部１０５は、描画制御部１０２から供給されたグラフィックス描画命令に従って、グラフィックス情報１０７に基づくグラフィックスを、メモリ上に描画する。グラフィックス情報１０７は、例えば、ＢｉｔｍａｐやＪｐｅｇ形式の静止画データやアウトラインフォントデータのような、グラフィックス描画に使用するリソースやそれらのリソースの配置やサイズを制御するためのレイアウト情報である。

なお、ステップＳ６０２とステップＳ６０３とは並行して実行される。

次に、ステップＳ６０４では、合成部１１１は、グラフィックス描画部１０５によりメモリ上に描画されたグラフィックスを、動画描画部１０６によりメモリ上に描画された動画像上に合成することで、合成フレーム画像を生成する。そして、生成した合成フレーム画像を出力する。出力先については上述の通りである。

次に、以上説明した各ステップにおける処理をより詳細に説明する。

先ず、描画処理命令１０１について説明する。図２は、描画処理命令１０１の構成例を示す図である。

図２において２０１は、ＳＶＧを用いて記述された描画処理命令１０１である。ＳＶＧとは、ＸＭＬによって記述されたベクターグラフィック言語、またはＳＶＧで記述された画像フォーマットを示し、Ｗ３Ｃ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ）でオープン標準として勧告されている。

２０２は、円形のグラフィックスを描画するための描画命令である。より詳しくは、座標（０，０）を中心とする半径５００の円を、透明度０．３の赤色で塗り塗りつぶして描画する為の命令を示す。

２０４は、円形のグラフィックスを描画するための描画命令である。より詳しくは、座標（１９２０，１０８０）を中心とする半径５００の円を、透明度０．３の青色で塗り塗りつぶして描画する為の命令を示す。

２０５は、長方形のグラフィックスを描画するための描画命令である。より詳しくは、座標（０．０）を一角とし、幅１９２０、高さ１０８０の長方形を、線の色を黒、線の幅を１ピクセルで描画する為の命令を示す。

２０３は、動画像を描画するための描画命令である。より詳しくは、座標（１５６、３２０）を一角とし、幅１２８０、高さ７６８を有する領域内に、ｍｐｅｇ形式のｖｉｄｅｏ１を描画すると共に、音量を０．８とする為の命令を示す。

なお、以上の各描画命令において記述されている座標値は、グラフィックスや動画像を表示する画面上におけるものである。

次に、帯域制御情報１１２について説明する。図３は、帯域制御情報１１２の構成例を示す図である。なお、図３では、帯域制御情報１１２は、３０１〜３０３で示す３つのテーブル情報から構成されているとしている。

図３おいて３０１は、最も動画像を優先する際に用いるテーブル情報である。例えば、ユーザがＴＶ放送を視聴している最中であったり、係るＴＶ放送を録画中である場合等、画面内にグラフィックスを表示する必要がない場合には、当然のことながら、メモリに対するグラフィックスの読み書きは行われない。従ってこのような場合には、メモリに対して許容された読み書き速度の最大値（表示装置が係るメモリに対して読み書きする際に取りうる最大の読み書き速度）を、メモリに対する動画像の読み書き速度に割り当てても良いことになる。テーブル情報３０１は係るケースの場合に用いられるもので、メモリに対するグラフィックスの読み書きは行われないことに起因し、上記最大値のうち、メモリに対するグラフィックスの読み書き速度に分配する割合として０％が割り当てられている。また、メモリに対する動画像の読み書き速度に分配する割合としては、その残りである１００％が割り当てられている。図３の場合には、動画像として３つの動画像（動画１，動画２，動画３）を表示することになっているので、１００％を更にそれぞれの動画像に分配している。

３０２は、テーブル情報３０１よりもグラフィックスを優先したテーブル情報である。例えば、データ放送表示中などのように、グラフィックスと動画像の両方を１画面中に表示するものの、動画像は縮小して表示しても良い場合がある。このような場合には、上記最大値のうち、メモリに対するグラフィックスの読み書き速度に分配する割合を、テーブル情報３０１よりも高くする必要がある。テーブル情報３０２は係るケースの場合に用いられるもので、上記最大値のうち、メモリに対するグラフィックスの読み書き速度に分配する割合として２０％が割り当てられている。また、メモリに対する動画像の読み書き速度に分配する割合としては、その残りである８０％が割り当てられている。図３の場合には、動画像として３つの動画像（動画１，動画２，動画３）を表示することになっているので、８０％を更にそれぞれの動画像に分配している。

３０３は、テーブル情報３０２よりもグラフィックスを優先したテーブル情報である。例えば、ＥＰＧ（電子番組表）を表示する場合など、半透明のグラフィックスを動画像に重ねて表示する（半透明のグラフィックスでもって動画像の全部を覆う、若しくは一部を覆う）場合がある。このような場合には、上記最大値のうち、メモリに対するグラフィックスの読み書き速度に分配する割合を、テーブル情報３０２よりも高くする必要がある。テーブル情報３０３は係るケースの場合に用いられるもので、上記最大値のうち、メモリに対するグラフィックスの読み書き速度に分配する割合として３０％が割り当てられている。また、メモリに対する動画像の読み書き速度に分配する割合としては、その残りである７０％が割り当てられている。図３の場合には、動画像として３つの動画像（動画１，動画２，動画３）を表示することになっているので、７０％を更にそれぞれの動画像に分配している。

このように、動画像の表示形態、グラフィックスの表示形態のそれぞれの組み合わせに応じてテーブル情報を予め作成しておく。そしてこのように作成されたテーブル情報群を帯域制御情報１１２として描画制御部１０２に入力する。なお、図３では説明上、３つのテーブル情報について説明したが、想定されるケースには様々なものがあるので、テーブル情報の構成についても様々であるし、その数についても一律に限定するものではない。また、メニュー画面やＯＳＤ表示等、グラフィックスと動画とを同時に表示する場面がある。このような場合についてもテーブル情報を作成しても良いし、他のテーブル情報を共用しても良い。

次に、上記ステップＳ６０１において描画制御部１０２が行う処理について、同処理の詳細を示すフローチャートを示す図４を用いて説明する。

先ず、ステップＳ４０１では、描画制御部１０２は、帯域制御情報１１２を取得する。帯域制御情報１１２の取得は、グラフィックス描画部１０５、動画描画部１０６のそれぞれによる描画処理毎に行っても良いし、本実施形態に係る表示装置を起動した際に最初に一回だけ行い、以降はこの取得した帯域制御情報１１２を参照するようにしても良い。

次に、ステップＳ４０２では、描画制御部１０２は、描画処理命令１０１を取得する。そして取得した描画処理命令１０１を参照して、動画像の表示形態、グラフィックスの表示形態を特定する。

次に、ステップＳ４０３では、描画制御部１０２は、ステップＳ４０１で取得した帯域制御情報１１２中の各テーブル情報のうち、ステップＳ４０２で特定した動画像の表示形態、グラフィックスの表示形態の組み合わせに対応するテーブル情報を取得する。

次に、ステップＳ４０４では、描画制御部１０２は、ステップＳ４０２において取得した描画処理命令１０１からグラフィックスの描画命令を抽出し、抽出した描画命令を、ステップＳ４０３で取得したテーブル情報に基づいて適宜修正する。係る処理について詳しくは後述するが、係る修正は適宜行うものであって必ず行うわけではない。そして描画制御部１０２は、抽出した描画命令（若しくは修正後の描画命令）を、グラフィックス描画部１０５に送出する。

次に、ステップＳ４０５では、描画制御部１０２は、ステップＳ４０２において取得した描画処理命令１０１から動画像の描画命令を抽出し、抽出した描画命令を、ステップＳ４０３で取得したテーブル情報に基づいて適宜修正する。係る処理について詳しくは後述するが、係る修正は適宜行うものであって必ず行うわけではない。そして描画制御部１０２は、抽出した描画命令（若しくは修正された描画命令）を、動画描画部１０６に送出する。

次に、上記ステップＳ４０４以降の処理について、より詳細に説明する。

メモリに対する読み書き速度は、以下の式を満たす。

メモリに対する読み書き速度＞Σ（メモリへの書き込み速度）＋Σ（メモリからの読み出し速度）
ここで、動画像、グラフィックスのそれぞれについて、下記のパラメータ（入出力する画像について規定した設定情報）が予め表示装置に設定されているとする。
（１） ＨＤ映像入力（ＹｃｂＣｒ４４４）…２４ｂｉｔ、１０８０ｉ、３０ｆｐｓ
（２） ＨＤ映像出力（ＹｃｂＣｒ４４４）…２４ｂｉｔ，１０８０ｉ、３０ｆｐｓ
（３） グラフィックス描画（ＲＧＢＡ） …３２ｂｉｔ，６０ｆｐｓ
（１）については、ハイビジョン映像をメモリに書き込む場合に要求されるパラメータである。（２）については、ハイビジョン映像をメモリから読み出す場合に要求されるパラメータである。（３）については、メモリに対してグラフィックスを描画する場合に要求されるパラメータである。

ここで、係るパラメータが設定されている場合、メモリに対する動画像の読み書き速度として必要な最低限の速度は、下記の式に基づいて求められる。

２４÷８×１９２０×１０８０×３０×２＝３６０ＭＢ／ｓ
即ち、入力動画像のビット数と画像サイズとフレームレートとの積と、出力動画像のビット数と画像サイズとフレームレートとの積と、の合計値を、メモリに対する動画像の読み書き速度として必要な最低限の速度（第１の速度情報）として求める。

同様に、係るパラメータが設定されている場合、メモリに対するグラフィックスの描画速度として必要な最低限の速度は、下記の式に基づいて求められる（以下の式では１９２０×１０８０のサイズでグラフィックスを描画するものとしている）。

３２÷８×１９２０×１０８０×６０＝４８０ＭＢ／s
即ち、グラフィックのビット数とグラフィックサイズとフレームレートとの積を、メモリに対するグラフィックスの描画速度として必要な最低限の速度（第２の速度情報）として求める。

仮に、３つの動画像と１つのグラフィックスを同時に出力する場合、メモリに対するアクセス速度として要求される最低限の速度は、下記の式に基づいて求められる。

１８０×２×３＋４８０＝１．５６ＧＢ／ｓ
もちろん、ノイズ除去やエンハンサ等の高画質化処理を行う場合には、より多くの帯域が必要となる。

ここで仮に、メモリに対するアクセス速度として割り当て可能な速度（最大速度、最大値、最大速度情報）が１．２ＧＢ／sであったとすると、上記の１．５６ＧＢ／ｓには届かないことになり、処理が遅延してしまう。

実行メモリ帯域（上記最大値）は、以下の式で算出することができる。

実行メモリ帯域＝メモリの転送量×メモリ転送効率×動画で使用可能な割合＋メモリの転送量×メモリ転送効率×グラフィックスで使用可能な割合
メモリ転送効率は、理論上の最大転送帯域幅に対して、実際に利用可能なデータ転送帯域幅の割合である。メモリ転送効率は、メモリコントローラの機能やランダムアクセスやシーケンシャルアクセスのような、メモリへのアクセスパターンの頻度で変化する。そのため、動画描画処理およびグラフィックス描画処理でのメモリーアクセスパターンでのメモリ転送速度を計測しておくことで予め算出しておくことが可能である。

ここで、ステップＳ４０４，Ｓ４０５における処理について、より詳細に説明する。なお、以上の説明では、ステップＳ４０４における処理とステップＳ４０５における処理とは別個のものとして説明したが、ここでは、ステップＳ４０４における処理とステップＳ４０５における処理とを同じステップ内で行うものとして説明する。

図５は、ステップＳ４０４とステップＳ４０５における処理の詳細を示すフローチャートである。

ステップＳ５０１では、描画制御部１０２は、上記演算処理を行うことで、メモリに対する動画像の読み書き速度として必要な最低限の速度、メモリに対するグラフィックスの読み書き速度として必要な最低限の速度、を求める。以下の説明では、メモリに対する動画像の読み書き速度として必要な最低限の速度として３６０ＭＢ／ｓ、メモリに対するグラフィックスの読み書き速度として必要な最低限の速度として４８０ＭＢ／ｓ、が求められたとする。また、以降の説明では、メモリに対するアクセス速度として割り当て可能な速度が１．２ＧＢ／sであるとする。

ここで、ＨＤの動画像を３つ表示し、グラフィックスについては表示しない場合、上記ステップＳ４０３ではテーブル情報３０１が選択されることになる。この場合、メモリに対するアクセス速度として割り当て可能な速度１．２ＧＢ／sから、グラフィックス、動画１〜動画３のそれぞれに割り当て可能な速度は、係るテーブル情報を用いて下記の通り求めることができる。

グラフィックス １．２ＧＢ／ｓ× ０％＝ ０ＭＢ/ｓ
動画１ １．２ＧＢ／ｓ×３５％＝４２０ＭＢ/ｓ
動画２ １．２ＧＢ／ｓ×３５％＝４２０ＭＢ/ｓ
動画３ １．２ＧＢ／ｓ×３０％＝３６０ＭＢ/ｓ
しかし、上述の通り、メモリに対する動画像の読み書き速度として必要な最低限の速度は３６０ＭＢ／ｓであり、メモリに対するグラフィックスの読み書き速度として必要な最低限の速度は４８０ＭＢ／ｓであるので、これ以上の速度は不要となる。従って、それぞれについての読み書き速度は下記の通りとする。

グラフィックス ０ＭＢ/ｓ
動画１ ３６０ＭＢ/ｓ
動画２ ３６０ＭＢ/ｓ
動画３ ３６０ＭＢ/ｓ
この場合、３６０ＭＢ／ｓ×３＝１．０８Ｇｂ／ｓ＜１．２ＧＢ／ｓであるので、動画１〜動画３に対しては、最低限の速度３６０ＭＢ／ｓを割り当てることができる。もちろん、動画１〜動画３のそれぞれに割り当て可能な最大の読み書き速度を割り当てても良い。

一方、データ放送の表示を行う場合、上記ステップＳ４０３ではテーブル情報３０２が選択されることになる。この場合、メモリに対するアクセス速度として割り当て可能な速度１．２ＧＢ／ｓから、グラフィックス、動画１〜動画３のそれぞれに割り当て可能な速度（第１の速度、第２の速度）は、係るテーブル情報を用いて下記の通り求めることができる。

グラフィックス １．２ＧＢ／ｓ×２０％＝２４０ＭＢ/ｓ
動画１ １．２ＧＢ／ｓ×３０％＝３６０ＭＢ/ｓ
動画２ １．２ＧＢ／ｓ×３０％＝３６０ＭＢ/ｓ
動画３ １．２ＧＢ／ｓ×２０％＝２４０ＭＢ/ｓ
しかし、上述の通り、メモリに対する動画像の読み書き速度として必要な最低限の速度は３６０ＭＢ／ｓであり、メモリに対するグラフィックスの読み書き速度として必要な最低限の速度は４８０ＭＢ／ｓである。すると、この場合、グラフィックスについては最低限の速度から２４０Ｇｂ／ｓだけ遅いし、動画３については最低限の速度から１２０Ｇｂ／ｓだけ遅い。本実施形態ではこのような場合には、グラフィックス、動画３のそれぞれの描画命令を修正し、それぞれに割り当てられた速度でメモリに対して読み書きしても処理の遅延が発生しないようにする。

ステップＳ５０２では描画制御部１０２は次のような処理を行う。即ち、ステップＳ４０３で取得したテーブル情報に基づいて動画像とグラフィックスとに分配したそれぞれの速度が、ステップＳ５０１でグラフィックスと動画像とについて求めた最低限の読み書き速度以上であるのか否かを判断する。係る判断の結果、動画像に分配した速度が、動画像について求めた最低限の速度以上であり、且つグラフィックスに分配した速度が、グラフィックスについて求めた最低限の速度以上であるという条件を満たすのであれば、処理をステップＳ５０４に進める。一方、係る条件を満たさないのであれば、処理をステップＳ５０３に進める。

ステップＳ５０３では、描画制御部１０２は、処理の遅延を生じさせることなく割り当てられた速度内で処理可能なように、描画命令を修正する。これは、グラフィックスや動画像の解像度やフレームレートを小さくし、時間単位のメモリ転送量を低減することで実現できる。

例えば、上述の例では、グラフィックスについては最低限の速度から２４０Ｇｂ／ｓだけ遅いので、メモリに対するグラフィックスの読み書きの遅延（転送遅延）を発生させないために、メモリに対して読み書きするデータの量を削減する。

例えば、メモリに対して読み書きするグラフィックスの解像度を下げる場合、この下げ率をαとすると、下記の式が成り立つ。

３２÷８×１９２０α×１０８０α×６０×＝２４０ＭＢ／s
係る式により、α≒０．７となるので、グラフィックスについてはオリジナルのサイズを０．７倍にスケーリングしてからメモリに書き込む。従って、このような場合には、描画処理命令１０１において、グラフィックスの描画命令に、０．７倍のスケーリングを行う旨の命令を加える修正処理を行う。

また、解像度変更以外にも、グラフィックスのフレームレートを６０ｆｐｓから３０ｆｐｓへと変更することで、同様の目的を達成することができる。

また、動画３については最低限の速度から１２０Ｇｂ／ｓだけ遅いので、メモリに対する動画像の読み書きの遅延（転送遅延）を発生させないために、メモリに対して読み書きするデータの量を２／３にする必要がある。

例えば、メモリから読み出す動画像の解像度（出力解像度）を変更する場合は先ず、メモリからのグラフィックスの読み出し速度を、下記の式に基づいて求める。

（グラフィックスについての最低限の速度＝２４０Ｇｂ／ｓ）−（メモリに対するグラフィックスの書き込み速度＝１８０）＝６０Ｇｂ／ｓ
そして、メモリから読み出す動画像の解像度をαとすると、下記の式が成立する。

２４÷８×１９２０α×１０８０α×３０×＝６０ＭＢ/s
係る式により、α≒０．４となるので、動画像についてはオリジナルの解像度を０．４倍にダウンコンバートしてからメモリに描画する。従って、このような場合には、描画処理命令１０１において、動画像の描画命令に、０．４倍のダウンコンバートを行う旨の命令を加える修正処理を行う。

このようにして、グラフィックスの描画命令、動画像の描画命令のそれぞれについて適宜修正を加えたものを、それぞれ、グラフィックス描画部１０５、動画描画部１０６に送出することになる。

一方、ステップＳ５０４では描画処理命令１０１については何等変更する必要はないので、係る描画処理命令１０１のうち、グラフィックスの描画命令についてはグラフィックス描画部１０５に送出し、動画像の描画命令については動画描画部１０６に送出する。

＜変形例＞
以下に説明するように、時間と共に、読み書き速度を少しずつ変更することで急な品質の低下を防ぐようにすることもできる。

図１３は、ステップＳ４０４とステップＳ４０５における別の形態の処理の詳細を示すフローチャートである。なお、図１３において、図５と同様の処理を行うステップには同じステップ番号を付しており、その説明は省略する。

また、本実施形態では、ステップＳ５０２における判断処理の結果、上記条件を満たさないのであれば、処理をステップＳ１３０１に進める。

ステップＳ１３０１では、描画制御部１０２は、グラフィックスに割り当てられる読み書き速度と、動画像に割り当てられる読み書き速度との間で、速度の交換を行うために要する時間を設定する。これは、例えば３秒というように予め定義した時間である。

次に、ステップＳ１３０２では、描画制御部１０２は、単位時間あたりに交換する速度の量を決定する。例えばステップＳ１３０１で「３秒」が設定されており、単位時間が「１」秒である場合、テーブル情報３０１からテーブル情報３０２に切り替える場合は、グラフィックスの読み書き速度は以下の計算式によれば、毎秒４０ＭＢ／ｓずつ増加させることになる。

（２４０ＭＢ／ｓ−１２０ＭＢ／ｓ）÷３＝４０ＭＢ／ｓ
一方、動画３の読み書き速度は、以下の計算式によれば、毎秒４０ＭＢ／ｓずつ減少させることになる。

（３６０ＭＢ／ｓ−２４０ＭＢ／ｓ）÷３＝４０ＭＢ／ｓ
この単位時間は秒やミリ秒など予め定義してあっても良いし、動画像やグラフィックスのフレームレートなどから動的に算出してもよい。

次に、ステップＳ１３０３では、ステップＳ１３０４、ステップＳ５０３における処理を、ステップＳ１３０１において設定した時間分繰り返す。

ステップＳ１３０４では、グラフィックスの読み書き速度、動画像の読み書き速度を、ステップＳ１３０２において計算した量だけ、単位時間毎に変更する処理を行う。

そしてステップＳ５０３では、ステップＳ１３０４で変更した読み書き速度を用いて第１の実施形態と同様の処理を行うことで、描画処理命令１０１を修正する処理を行う。

以上の説明により、本実施形態によれば、メモリへの限られた読み書き速度の中で、グラフィックスの描画と、動画像の描画と、を適応的に制御することができる。

［第２の実施形態］
本実施形態では、帯域制御情報１１２を用いるのではなく、現在使用されている読み書き速度を監視し、監視している読み書き速度に応じてグラフィックスと動画像の描画を制御する。以下では、第１の実施形態と異なる点のみについて説明する。

図７は、本実施形態に係る表示装置の機能構成例を示すブロック図である。なお、図７において、図１と同じ部分については同じ参照番号を付しており、その説明は省略する。

帯域監視部７０１は、メモリバス上に発行されるｒｅａｄ／ｗｒｉｔｅ要求信号やアドレス、データを監視して、グラフィックスの読み書き速度、動画像の読み書き速度、をリアルタイムで監視し、その監視結果を帯域情報として描画制御部１０２に通知する。

図８は、本実施形態に係る表示装置が、動画像とグラフィックスとを合成して表示する為に行う処理のフローチャートである。なお、図８において、図６と同様の処理を行うステップには同じステップ番号を付しており、その説明は省略する。

ステップＳ８０１では、描画制御部１０２は、帯域監視部７０１による監視結果としての帯域情報を取得し、取得した帯域情報と、描画処理命令１０１と、を用いて、第１の実施形態と同様の処理を行う。

図９は、ステップＳ８０１における処理の詳細を示すフローチャートである。なお、図９において、図５と同様の処理を行うステップには同じステップ番号を付しており、その説明は省略する。

先ず、ステップＳ９０１では、描画制御部１０２は、帯域監視部７０１から、現在のグラフィックスの読み書き速度、現在の動画像の読み書き速度、を監視情報として取得する。これは、一秒間に何ＭＢのデータ転送を行っているかを示す情報である。例えば、グラフィックスが使用するメモリのアドレスが「０ｘＡ０００００００〜０ｘＡ０７Ｅ９０００」で、範囲内のアドレスに対して３２ビットモードで毎秒１００００００００回のｗｒｉｔｅ要求信号が発生しているとする。この場合には、以下の式から４００ＭＢ／ｓの読み書き速度であると判断することができる。

３２÷８×１００００００００＝４００ＭＢ／ｓ
以降の処理については第１の実施形態と同様にして行う。即ち、ステップＳ９０１で求めた監視情報が示す読み書き速度が、最低限の速度よりも小さいか否かを判断し、その判断結果に応じて、描画処理命令１０１を修正する処理を行う。

［第３の実施形態］
本実施形態では、帯域制御情報１１２を用いるのではなく、現在のグラフィックスの読み書き速度、現在の動画像の読み書き速度から、次の時点でのグラフィックスの読み書き速度、動画像の読み書き速度を予測する。そして、予測したそれぞれの読み書き速度に応じて、グラフィックスと動画像の描画を制御する。

図１０は、本実施形態に係る表示装置の機能構成例を示すブロック図である。図１０において、図１と同じ部分については同じ参照番号を付しており、その説明は省略する。

帯域予測部１００１は、現在表示中のグラフィックスの解像度や色数、フレームレート、現在表示している動画像の数、に基づいて、それぞれの読み書き速度を予測し、その予測結果を帯域予測情報１００２として描画制御部１０２に通知する。また、帯域予測情報１００２は、描画処理命令１０１についても描画制御部１０２に送出する。

描画制御部１０２は、第２の実施形態で説明した帯域情報の代わりに帯域予測情報１００２を用いると共に、描画処理命令１０１を用いて、第１の実施形態と同様の処理を行う。

図１１は、本実施形態に係る表示装置が、動画像とグラフィックスとを合成して表示する為に行う処理のフローチャートである。なお、図１１において、図６と同様の処理を行うステップには同じステップ番号を付しており、その説明は省略する。

ステップＳ１１０１では、描画制御部１０２は、帯域予測部１００１から送出された帯域予測情報１００２と、描画処理命令１０１と、を用いて、第１の実施形態と同様の処理を行う。

図１２は、ステップＳ１１０１における処理の詳細を示すフローチャートである。

ステップＳ１２０１で描画制御部１０２は、現在のグラフィックスの読み書き速度と現在の動画像の読み書き速度に基づいて帯域予測部１００１が予測したグラフィックスの読み書き予測速度と動画像の読み書き予測速度を帯域予測情報１００２として取得する。これは、一秒間に何ＭＢのデータ転送を行っているかを示す情報である。

以降の処理については第１の実施形態と同様にして行う。即ち、ステップＳ１２０１で取得した読み書き予測速度が、最低限の速度よりも小さいか否かを判断し、その判断結果に応じて、描画処理命令１０１を修正する処理を行う。

以上の各実施形態によれば、複数の動画像とグラフィックスとの合成出力をより安価に実現することができる。また、限られた読み書き速度の中で、グラフィックスの描画処理と動画像の描画処理と、を適応的に制御することができる。

［第４の実施形態］
上記実施形態では、図１，７，１０のそれぞれに示した、表示装置を構成する各部は全てハードウェアでもって構成されているものとして説明した。しかし、これらの各部をコンピュータプログラムとして実現しても良い。この場合、係るコンピュータプログラムを一般のコンピュータにインストールして実行させれば、係るコンピュータは、上記表示装置として機能することになる。

図１４は、上記実施形態に係る表示装置に適用可能なコンピュータのハードウェア構成例を示すブロック図である。

ＣＰＵ１４０１は、ＲＡＭ１４０２やＲＯＭ１４０３に格納されているコンピュータプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、表示装置が行うものとして上記各実施形態において説明した各処理を実行する。

ＲＡＭ１４０２は、外部記憶装置１４０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１４０７を介して外部から受信したコンピュータプログラムやデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１４０２は、ＣＰＵ１４０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１４０２は、各種のエリアを適宜提供することができる。

ＲＯＭ１４０３には、本コンピュータの設定データやブートプログラムなどが格納されている。

操作部１４０４は、本コンピュータの操作者が操作することで、各種の指示をＣＰＵ１４０１に対して入力することができる。

表示部１４０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１４０１による処理結果を画像や文字などでもって表示することができる。例えば、上記実施形態で説明したような処理を行った結果として、動画像上にグラフィックスを合成した結果を表示する。

外部記憶装置１４０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１４０６には、ＯＳ（オペレーティングシステム）や、表示装置を構成する各部として図１，７，１０に示した各部の機能をＣＰＵ１４０１に実行させるためのコンピュータプログラムが保存されている。また、外部記憶装置１４０６には、帯域制御情報１１２や、上記処理において適宜用いた情報についてもデータとして保存されている。外部記憶装置１４０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１４０１による制御に従って適宜ＲＡＭ１４０２にロードされ、ＣＰＵ１４０１による処理対象となる。

Ｉ／Ｆ１４０７は、本コンピュータにコンピュータプログラムやデータを入力する為に用いられると共に、本コンピュータで処理した結果を外部に出力するために用いられる。

１４０８は上述の各部を繋ぐバスである。

［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係る表示装置の機能構成例を示すブロック図である。 描画処理命令１０１の構成例を示す図である。 帯域制御情報１１２の構成例を示す図である。 ステップＳ６０１において描画制御部１０２が行う処理の詳細を示すフローチャートである。 ステップＳ４０４とステップＳ４０５における処理の詳細を示すフローチャートである。 本発明の第１の実施形態に係る表示装置が、動画像とグラフィックスとを合成して表示する為に行う処理（表示制御方法）のフローチャートである。 本発明の第２の実施形態に係る表示装置の機能構成例を示すブロック図である。 本発明の第２の実施形態に係る表示装置が、動画像とグラフィックスとを合成して表示する為に行う処理のフローチャートである。 ステップＳ８０１における処理の詳細を示すフローチャートである。 本発明の第３の実施形態に係る表示装置の機能構成例を示すブロック図である。 本発明の第３の実施形態に係る表示装置が、動画像とグラフィックスとを合成して表示する為に行う処理のフローチャートである。 ステップＳ１１０１における処理の詳細を示すフローチャートである。 ステップＳ４０４とステップＳ４０５における別の形態の処理の詳細を示すフローチャートである。 各実施形態に係る表示装置に適用可能なコンピュータのハードウェア構成例を示すブロック図である。

Claims (10)

1. 動画像を描画するためのメモリ領域を有すると共に、該動画像上に合成するためのグラフィックを描画するためのメモリ領域を有するメモリを備え、該メモリに書き込まれた画像を読み出して表示する表示装置であって、
   前記動画像及び前記グラフィックの描画命令が記述された描画命令情報を取得する手段と、
   前記描画命令情報を参照し、前記動画像及び前記グラフィックの表示形態を判断する判断手段と、
   前記メモリに対して許容された読み書き速度の最大速度を示す最大速度情報を取得する手段と、
   前記最大速度情報が示す最大速度のうち、前記メモリに対する前記動画像の読み書き速度が占める第１の割合及び該最大速度のうち前記メモリに対する前記グラフィックの読み書き速度が占める第２の割合を、前記判断手段による判断結果に基づいて決定する決定手段と、
   前記決定手段が決定した割合が示す読み書き速度に応じて、前記描画命令情報に基づく前記メモリへの画像の読み書きを制御する制御手段と
   を備え、
   前記決定手段は、
   前記メモリに対して前記動画像を読み書きするために必要な読み書き速度を示す第１の速度情報及び前記メモリに対して前記グラフィックを読み書きするために必要な読み書き速度を示す第２の速度情報を取得し、
   前記第１の割合と前記第２の割合とを規定するための情報を、前記動画像の表示形態及び前記グラフィックの表示形態の組み合わせごとに保持しているテーブル情報を参照し、 前記描画命令情報によって規定されている前記動画像の表示形態及び前記グラフィックの表示形態の組み合わせに対応する前記第１の割合及び前記第２の割合を決定し、
   前記制御手段は、
   前記最大速度に対する第１の割合の速度である第１の速度が前記第１の速度情報が示す速度よりも小さい場合には前記描画命令情報において前記動画像の描画命令を修正し、前記最大速度に対する第２の割合の速度である第２の速度が前記第２の速度情報が示す速度よりも小さい場合には前記描画命令情報において前記グラフィックの描画命令を修正する修正手段と、
   前記決定手段が決定した割合が示す読み書き速度に応じて、前記修正手段による修正後の描画命令情報に基づく前記メモリへの画像の読み書きを制御する手段と
   を備える
   ことを特徴とする表示装置。
2. 前記決定手段は、前記表示装置が入出力する画像について規定した設定情報に基づいて、前記第１の速度情報及び前記第２の速度情報を求めることを特徴とする請求項１に記載の表示装置。
3. 前記決定手段は、入力動画像のビット数と画像サイズとフレームレートとの積と、出力動画像のビット数と画像サイズとフレームレートとの積と、の合計値を、前記第１の速度情報として求めることを特徴とする請求項２に記載の表示装置。
4. 前記決定手段は、グラフィックのビット数とグラフィックサイズとフレームレートとの積を、前記第２の速度情報として求めることを特徴とする請求項２又は３に記載の表示装置。
5. 前記制御手段は、前記第１の速度が前記第１の速度情報が示す速度よりも小さい場合には、前記描画命令情報において前記動画像のサイズを規定している描画命令を修正することを特徴とする請求項１に記載の表示装置。
6. 前記制御手段は、前記第１の速度が前記第１の速度情報が示す速度よりも小さい場合には、前記描画命令情報において前記動画像の出力解像度を規定している描画命令を修正することを特徴とする請求項１に記載の表示装置。
7. 前記制御手段は、前記第２の速度が前記第２の速度情報が示す速度よりも小さい場合には、前記描画命令情報において前記グラフィックのサイズを規定している描画命令を修正することを特徴とする請求項１に記載の表示装置。
8. 動画像を描画するためのメモリ領域を有すると共に、該動画像上に合成するためのグラフィックを描画するためのメモリ領域を有するメモリを備え、該メモリに書き込まれた画像を読み出して表示する表示装置の表示制御方法であって、
   前記表示装置の第１の取得手段が、前記動画像及び前記グラフィックの描画命令が記述された描画命令情報を取得する工程と、
   前記表示装置の判断手段が、前記描画命令情報を参照し、前記動画像及び前記グラフィックの表示形態を判断する判断工程と、
   前記表示装置の第２の取得手段が、前記メモリに対して許容された読み書き速度の最大速度を示す最大速度情報を取得する工程と、
   前記表示装置の決定手段が、前記最大速度情報が示す最大速度のうち、前記メモリに対する前記動画像の読み書き速度が占める第１の割合及び該最大速度のうち前記メモリに対する前記グラフィックの読み書き速度が占める第２の割合を、前記判断工程による判断結果に基づいて決定する決定工程と、
   前記表示装置の制御手段が、前記決定工程で決定した割合が示す読み書き速度に応じて、前記描画命令情報に基づく前記メモリへの画像の読み書きを制御する制御工程と
   を備え、
   前記決定工程では、
   前記メモリに対して前記動画像を読み書きするために必要な読み書き速度を示す第１の速度情報及び前記メモリに対して前記グラフィックを読み書きするために必要な読み書き速度を示す第２の速度情報を取得し、
   前記第１の割合と前記第２の割合とを規定するための情報を、前記動画像の表示形態及び前記グラフィックの表示形態の組み合わせごとに保持しているテーブル情報を参照し、 前記描画命令情報によって規定されている前記動画像の表示形態及び前記グラフィックの表示形態の組み合わせに対応する前記第１の割合及び前記第２の割合を決定し、
   前記制御工程は、
   前記最大速度に対する第１の割合の速度である第１の速度が前記第１の速度情報が示す速度よりも小さい場合には前記描画命令情報において前記動画像の描画命令を修正し、前記最大速度に対する第２の割合の速度である第２の速度が前記第２の速度情報が示す速度よりも小さい場合には前記描画命令情報において前記グラフィックの描画命令を修正する修正工程と、
   前記決定工程で決定した割合が示す読み書き速度に応じて、前記修正工程による修正後の描画命令情報に基づく前記メモリへの画像の読み書きを制御する工程と
   を備える
   ことを特徴とする表示装置の表示制御方法。
9. コンピュータを、請求項１乃至７の何れか１項に記載の表示装置の各手段として機能させるためのコンピュータプログラム。
10. 請求項９に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images