JP4960433B2 - 画像処理装置、受信装置および表示装置 - Google Patents

Description

本発明は、画像処理技術に関し、特に、動画および静止画の双方の画像に対して画像処理を行う画像処理装置、受信装置および表示装置に関するものである。

近年、画像の解像度が高解像度化するに伴って、液晶パネル等の表示パネル自体の解像度も高解像度化し、フルＨＤ（High Definition）を超える解像度（例えば、３８４０×２１６０）の解像度を表示することが出来るものが存在する。

特許文献１には、２０４８×１５３６の高解像度の静止画をディスプレイに表示させる場合に、グラフィックカードが１０２４×７６８までの解像度の静止画にしか対応していない場合であっても、入力した静止画を、一旦１０２４×７６８の解像度の４つの画像に分割し、その後、各静止画をつなぎ合わせて、ディスプレイ上に表示することによって高解像度の静止画を表示させる技術が開示されている。

特開平１１−１１９７２２号公報

ところで、動画をフルＨＤ（High Definition）を超える解像度で表示する場合、通常、スケーリング処理によって画像を伸張するので、表示される動画が純粋にフルＨＤ（High Definition）を超える解像度で表示されているわけではない。

テレビジョン受像機のように、外部から静止画や動画を受信して液晶パネル等に表示させる場合には、動画と同様に静止画もスケーリング処理を行っている。例えば、外部から静止画や動画を受信する受信装置と、受信した静止画や動画を表示する液晶パネル等の表示装置とが分離した構成（セットトップボックスと液晶パネル等）の場合には、各装置をＨＤＭＩ（High-Definition Multimedia Interface）に対応したケーブルで接続し、動画と同じ解像度で静止画を伝送し、スケーリング処理を施して画面に表示させている。

上述したＥＰＧ（Electronic Program Guide）等の静止画は、動画とは異なり、受信装置の内部で様々な解像度の静止画を生成できる。従って、物理的にはフルＨＤを超える解像度の静止画を生成することも可能である。

しかしながら、ＨＤＭＩに対応したケーブルでは、伝送できる画像の解像度は最大でフルＨＤの解像度であるため、フルＨＤを超える解像度の静止画をそのまま伝送することはできず、現実的には、最大でもフルＨＤの解像度の静止画までしか表示できないという問題があった。

本発明は、上記に鑑みてなされたものであって、フルＨＤを超える解像度の静止画を表示させることができる画像処理装置、受信装置および表示装置を提供することを目的とする。

本発明の実施形態にかかる画像処理装置は、第１の解像度の動画のフレームおよび前記第１の解像度の静止画のフレームを含むストリームを出力する受信装置と、前記ストリームの伝送を媒介する伝送手段を介して前記受信装置に接続されて前記第１の解像度よりも高い解像度である第２の解像度の動画および静止画を表示可能な表示装置と、を備えた画像処理装置であって、前記受信装置は、前記第２の解像度の静止画を分割して複数の前記第１の解像度の分割静止画を生成し、前記第１の解像度の動画のフレームのストリーム中に前記複数の分割静止画のフレームが挿入されたストリームを出力する多重処理手段を備え、前記表示装置は、前記第２の解像度で動画および静止画のうち少なくともいずれか一方を表示する表示手段と、前記第１の解像度の動画を前記第２の解像度に変換するスケーリング処理手段と、前記スケーリング処理手段で前記第２の解像度に変換された動画のフレームを記憶手段に記憶させる記憶制御手段と、前記受信装置から出力された前記第１の解像度の動画のフレームを受けた場合には、この受けた動画のフレームを前記スケーリング処理手段で前記第２の解像度に変換して前記表示手段に表示させると共に、前記受信装置から出力された前記第１の解像度の分割静止画のフレームを受けた場合には、前記記憶手段に記憶された前記第２の解像度の動画のフレームを少なくとも１回前記表示手段に表示させた後、複数の分割静止画のフレームを合成した前記第２の解像度の静止画を前記表示手段に表示させる切り替え手段と、を備える。

本発明によれば、フルＨＤを超える解像度の静止画を表示させることができる画像処理装置、受信装置および表示装置を提供することができるという効果を奏する。

第１の実施の形態にかかる放送受信機の構成を示したブロック図である。 図１に示す受信装置、伝送ケーブル、パネルの機能的な構成を示すブロック図である。 多重回路が、静止画を分割する例を示す図である。 多重回路が、動画および静止画をフレーム毎に出力する例を示す図である。 映像スケーリング処理部が、動画のスケーリング処理を行う場合の例を示す図である。 第２の実施の形態に係る受信装置とパネルの機能的な構成を示すブロック図である。 多重回路が、静止画と識別信号に加え、分割位置情報を出力する場合の例を示す図である。 動画のフレームの上側（または下側半分）の部分に、静止画を重ねて表示させた場合の例を示す図である。 図６に示す映像メモリの物理的な構成を示す図である。 ブレンド処理部が、動画および静止画を重ねて表示するまでの様子を示す図である。 第３の実施の形態に係る受信装置とパネルの機能的な構成を示す構成を示すブロック図である。 静止動画部に更新静止画部をあてはめた複合動画を出力する場合の例を示す図である。 ブレンド処理部が復元動画と復元静止画とを表示部に表示する場合の例を示す図である。

以下に添付図面を参照して、この発明にかかる画像処理装置、受信装置および表示装置の最良な実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、本実施形態にかかる放送受信機１０００の構成を示したブロック図である。図１に示したように、放送受信機１０００は、受信装置１００と、伝送ケーブル２００と、パネル３００と、アンテナ４００と、を含んで構成されている。以下では、本発明の一実施の形態として、放送受信機を画像処理装置の一例として示しているが、これと同様の機能を備える放送受信機以外の装置であっても適用可能である。

受信装置１００は、アンテナ４００を介して放送される映像（動画）を受信したり、あるいはグラフィックス（静止画）を生成するものである。伝送ケーブル２００は、受信装置１００と、パネル３００との間で、上述した動画または静止画の伝送を媒介するものである。パネル３００は、伝送された動画または静止画を表示するものである。アンテナ４００は、外部からの電波を受けるものである。

図２は、上述した受信装置１００、伝送ケーブル２００、パネル３００の機能的な構成を示すブロック図である。まず、受信装置１００について説明する。

受信装置１００は、図２に示すように、映像受信部１０１と、映像処理部１０２と、グラフィックス描画処理部１０３と、多重回路１０４と、を含んで構成されている。

映像受信部１０１は、アンテナ４００が受けた電波を放送信号に変換し、この変換した放送信号をデコードする。そして、映像受信部１０１は、デコードした放送信号を映像処理部１０２に出力する。なお、映像受信部１０１が変換する放送信号には、映像データ（動画）を示す映像信号のほかに、その動画の放送時刻や番組内容の要約等の番組情報が含まれている。

映像処理部１０２は、映像受信部１０１が、デコードした放送信号に対して、プログレッシブ走査変換等の変換処理を行い、解像度が１９２０×１０８０のフルＨＤ（High Definition）の映像データ（動画）を、後述する多重回路１０４に出力する。

グラフィックス描画処理部１０３は、外部のリモコン（不図示）等から、静止画をパネル３００に表示する要求を受けると、映像受信部１０１が変換した放送信号の中から番組情報を読み出して、例えば、ＥＰＧ（Electronic Program Guide）等のグラフィックス（静止画）を生成し、生成した静止画を後述する多重回路１０４に出力する。なお、グラフィックス描画処理部１０３が生成する静止画の解像度は、３８４０×２１６０であるものとする。

多重回路１０４は、上述した映像処理部１０２が出力した動画を受け取ると、この受け取った動画をフレーム毎に分けて伝送ケーブル２００に出力する。また、多重回路１０４は、グラフィックス描画処理部１０３が生成した静止画を受け取ると、この受け取った静止画を、伝送ケーブル２００が伝送可能な解像度の画像（例えば、解像度が１９２０×１０８０の画像）に分割し、分割した静止画を伝送ケーブル２００に出力する。

図３は、多重回路１０４が、静止画を分割する例を示す図である。図３に示すように、多重回路１０４は、グラフィックス描画処理部１０３が生成した、解像度が３８４０×２１６０の静止画Ｇ１を、１９２０×１０８０の静止画Ｇ１−ａ〜Ｇ１−ｄの４つの静止画に分割する。そして、分割した静止画Ｇ１−ａ〜Ｇ１−ｄを、順次伝送ケーブル２００に出力する。

このように、多重回路１０４は、映像処理部１０２が出力した動画については分割することなく１フレームごとに出力し、グラフィックス描画処理部１０３が生成した静止画については、伝送ケーブル２００が伝送可能な解像度にあわせて分割し、分割した静止画を、伝送ケーブル２００に出力する。

図４は、多重回路１０４が、動画および静止画を出力する例を示す図である。図４に示すように、多重回路１０４は、フレーム毎の動画Ｍ１〜Ｍ３のそれぞれを順次出力し、その後、分割した静止画Ｇ１〜Ｇ４を順次出力する。図４に示した例は、例えば、ユーザが動画を視聴している際に、動画Ｍ３のフレームを伝送したタイミングでＥＰＧ等の静止画Ｇ１を視聴するように切り替え、その後再び動画Ｍ４〜Ｍ７を視聴した場合である。

また、多重回路１０４は、分割した静止画を出力する場合には、出力する画像が静止画であることを示す識別信号Ｓ１を出力する。すなわち、多重回路１０４は、動画を出力する場合は動画のみを出力し、静止画を出力する場合は静止画と識別信号Ｓ１とを出力する。図４に示す例では、多重回路１０４が、静止画Ｇ４と識別信号Ｓ１を出力した後、続きの動画Ｍ４〜Ｍ７を出力している。続いて、図２に戻り、伝送ケーブル２００について説明する。

伝送ケーブル２００は、ＨＤＭＩ（High-Definition Multimedia Interface）規格によって定められたケーブルであり、解像度が１９２０×１０８０であるフルＨＤの動画や静止画、識別信号Ｓ１を伝送する。続いて、パネル３００について説明する。

パネル３００は、図２に示すように、映像スケーリング処理部３０１と、映像メモリ３０２と、グラフィックス構成処理部３０３と、グラフィックスメモリ３０４と、ブレンド処理部３０５と、表示部３０６と、を含んで構成されている。

映像スケーリング処理部３０１は、識別信号Ｓ１の有無を識別することによって、動画のフレームが伝送されたか、または静止画のフレームが伝送されたかを判定する。そして、映像スケーリング処理部３０１は、識別信号Ｓ１が伝送されていない、すなわち動画のフレームが伝送されたと判定した場合には、スケーリング処理を行い、伝送された動画を引き伸ばす。

図５は、映像スケーリング処理部３０１が、動画のスケーリング処理を行う場合の例を示す図である。図５に示すように、映像スケーリング処理部３０１は、１フレームごとに伝送ケーブル２００から、１９２０×１０８０の解像度の動画Ｍ１〜Ｍ４を受けると、順次、解像度３８４０×２１６０の動画Ｍ’１〜Ｍ’４にスケーリング処理を施し、後述する映像メモリ３０２に出力する。

映像メモリ３０２は、上述した映像スケーリング処理部３０１が出力したスケーリング処理が施された動画（Ｍ’１〜Ｍ’４）を記憶する。

グラフィックス構成処理部３０３は、映像スケーリング処理部３０１と同様に、識別信号Ｓ１の有無を識別することによって、動画のフレームが伝送されたか、または静止画のフレームが伝送されたかを判定する。そして、識別信号Ｓ１が伝送された、すなわち静止画が伝送されたと判定した場合、グラフィックス構成処理部３０３は、分割された静止画を受け取った順（例えば、図２に示した例では、Ｇ１−ａ〜Ｇ１−ｄの順）に結合し、分割する前の静止画Ｇ１となるように復元する。そして、復元した静止画Ｇ１をグラフィックスメモリ３０４に出力するとともに、識別信号Ｓ１を出力する。

なお、本実施の形態においては、映像スケーリング処理部３０１およびグラフィックス構成処理部３０３のそれぞれが、識別信号Ｓ１が伝送されたか否かを識別することとしたが、例えば、識別信号Ｓ１を識別する識別部を設けることとしてもよい。この場合、映像スケーリング処理部３０１およびグラフィックス構成処理部３０３における処理負荷が軽減されるとともに、識別信号Ｓ１の判定を１つの箇所で行うため、より効率的にスケーリング処理、または分割画像の結合を行うことができる。

図２に戻り、グラフィックスメモリ３０４は、上述したグラフィックス構成処理部３０３が、復元した解像度３８４０×２１６０の静止画（Ｇ１）、および識別信号Ｓ１を記憶する。

ブレンド処理部３０５は、上述したグラフィックスメモリ３０４に、識別信号Ｓ１が記憶されているか否かを判定する。そして、ブレンド処理部３０５は、識別信号Ｓ１が記憶されていると判定した場合には、グラフィックスメモリ３０４に記憶されている静止画を読み取り、表示部３０６に出力する。

また、ブレンド処理部３０５は、グラフィックスメモリ３０４に、識別信号Ｓ１が記憶されていないと判定した場合、映像メモリ３０２に記憶されている動画を読み取り、表示部３０６に出力する。

このように、受信装置１００の映像受信部１０１が外部から映像信号を受信し、映像処理部１０２が映像信号をフルＨＤの解像度に変換した動画を出力し、グラフィックス描画処理部１０３が外部からの指示に応じてフルＨＤの解像度を超える解像度の静止画を出力し、多重回路１０４がフルＨＤの解像度を超える解像度の静止画をフルＨＤの解像度に分割した分割静止画を生成し、生成した分割静止画とフルＨＤの解像度の動画とをフレームごとに出力し、パネル３００の表示部３０６がフルＨＤの解像度を超える解像度の動画および静止画を表示し、映像スケーリング処理部３０１がフルＨＤの解像度の動画を伸張し、グラフィックス構成処理部３０３が分割静止画を、フルＨＤの解像度を超える解像度の静止画に復元し、ブレンド処理部３０５が伸張されたフルＨＤの解像度の動画と、復元されたフルＨＤの解像度を超える解像度の静止画と、を表示部３０６に表示させるので、動画とともに静止画が伝送される場合であっても、フルＨＤを超える解像度の静止画を表示させることができる。

（第２の実施の形態）
上述した第１の実施の形態においては、表示パネルに表示する画像として、動画と静止画とを切り替えて表示する場合に、静止画を伝送可能な解像度に分割することによって、静止画がフルＨＤを超える解像度の場合であっても、その解像度のまま表示させることとした。しかし、静止画が、動画の一部にＯＳＤ（On Screen Display）等として動画に重ねて表示される場合も存在する。そこで、そのような場合には、静止画とともに表示されている動画を適切に制御しつつ、動画と静止画とを重ねて表示する場合について説明する。

図６は、第２の実施の形態に係る受信装置６００とパネル７００の機能的な構成を示すブロック図である。第２の実施の形態にかかる受信装置６００は、第１の実施の形態におけるグラフィックス描画処理部１０３とは異なるグラフィックス描画処理部６０３と、第１の実施の形態における多重回路１０４とは異なる多重回路６０４を備え、記憶部６０５をさらに備えている点で、第１の受信装置１００とは異なっている。

また、第２の実施の形態にかかるパネル７００は、第１の実施の形態における映像スケーリング処理部３０１とは異なる映像スケーリング処理部７０１と、第１の実施の形態における映像メモリ３０２とは異なる映像メモリ７０２と、第１の実施の形態におけるグラフィックス構成処理部３０３とは異なるグラフィックス構成処理部７０３と、第１の実施の形態におけるグラフィックスメモリ３０４とは異なるグラフィックスメモリ７０４と、第１の実施の形態とは異なるブレンド処理部７０５と、を備えている点で第１の実施の形態にかかるパネル３００とは異なっている。以下の説明では、上述した第１の実施の形態と同一の構成要素には同一の符号を付してその説明を省略している。

グラフィックス描画処理部６０３は、第１の実施の形態における処理と同様の処理を行うほか、外部のリモコン（不図示）等から、動画を表示した状態において、静止画を動画に重ねて表示させる要求を受けると、後述する記憶部６０５から静止画を動画上に表示させるための位置情報（例えば、動画のフレーム全体に対する静止画の位置。例えば静止画が矩形の場合はその各頂点の座標）を読み出し、生成した静止画と位置情報とを多重回路６０４に出力する。

多重回路６０４は、第１の実施の形態における処理と同様の処理を行うほか、静止画を分割する際に、グラフィックス描画処理部６０３から受け取った位置情報を読み取り、分割した静止画の位置を示す分割位置情報を求める。例えば、矩形の静止画を４つに分割した場合には、分割した各静止画の各頂点座標を求め、求めた各静止画の各頂点座標を出力する。

このとき、多重回路６０４は、分割位置情報を、分割した静止画に先立って出力する。すなわち、分割位置情報を、静止画を伝送する１つ前のフレームの動画とともに出力する。その理由は、後述するように、映像スケーリング処理部７０１が、映像メモリ７０２に前フレーム動画（後述）を出力する場合に、フレームバッファ７０２１に動画を出力するか否かを判定するためである。

図７は、多重回路６０４が、静止画と識別信号Ｓ１のほか、分割位置情報を出力する場合の例を示す図である。図７に示すように、多重回路６０４は、分割した静止画と識別信号Ｓ１とを出力する前に、前フレーム動画（後述）とともに分割位置情報を出力する。このような場合とは、例えば、図８に示すように、ユーザが動画Ｍ１３を視聴している際に、動画Ｍ１３のフレームの上側（または下側半分）の部分に、静止画Ｇ１１、Ｇ１２を重ねて表示させ、動画Ｍ１３と静止画Ｇ１１、Ｇ１２の両方を視聴する場合である。

記憶部６０５は、静止画を動画上に表示させるための位置を示す位置情報を記憶するメモリ等の記憶媒体である。上述したように、位置情報とは、例えば、静止画が矩形の場合における各頂点の座標であり、あらかじめ定められているものとする。続いて、図６に戻り、パネル７００について説明する。

パネル７００の映像スケーリング処理部７０１は、第１の実施の形態における処理と同様の処理を行うほか、識別信号Ｓ１が伝送されたか否かに応じて、スケーリング処理した動画の出力先を切り替えて出力する。

具体的には、映像スケーリング処理部７０１は、動画とともに分割位置情報が伝送されたか否かを判定し、分割位置情報が伝送されたと判定した場合には、分割位置情報とともに伝送された動画に対してスケーリング処理を施し、後述する映像メモリ７０２のフレームバッファ７０２１に出力する。例えば、図７に示した例では、分割位置情報とともに伝送された動画Ｍ１３を、フレームバッファ７０２１に出力する。このように、分割位置情報とともに伝送され、スケーリング処理が施された動画のことを、前フレーム動画と記すこととする。

映像メモリ７０２は、第１の実施の形態における処理と同様の内容を記憶するほか、静止画に重ねて表示させる動画の出力を制御するものである。

図９は、映像メモリ７０２の物理的な構成を示す図である。図９に示すように、映像メモリ７０２は、フレームバッファ７０２１と、切り替え回路７０２２と、を含んで構成されている。

フレームバッファ７０２１は、映像スケーリング処理部７０１が、分割位置情報が伝送さたと判定した場合において、上述した前フレーム動画を記憶する。

切り替え回路７０２２は、後述するように、グラフィックス構成処理部７０３から出力された識別信号Ｓ１を受けると、フレームバッファ７０２１から前フレーム動画を読み出して、ブレンド処理部７０５に出力する。

また、切り替え回路７０２２は、グラフィックス構成処理部７０３から出力された識別信号Ｓ１を受けていない場合には、映像スケーリング処理部７０１から出力された動画をブレンド処理部７０５に出力する。

図６に戻り、グラフィックス構成処理部７０３は、第１の実施の形態における処理と同様の処理を行うほか、分割位置情報が伝送されているか否かを判定し、分割位置情報が伝送されていると判定した場合は、分割位置情報を読み取り、順次、分割された静止画を復元し、復元した静止画を、グラフィックスメモリ７０４に出力する。

また、グラフィックス構成処理部７０３は、伝送された分割位置情報を読み取り、分割前の静止画を動画上に表示させるための位置を示す位置情報を求め、求めた位置情報をグラフィックスメモリ７０４に出力する。

グラフィックスメモリ７０４は、第１の実施の形態における内容と同様の内容を記憶するほか、上述した位置情報を記憶する。

ブレンド処理部７０５は、第１の実施の形態における処理と同様の処理を行うほか、グラフィックスメモリ７０４に記憶された位置情報を読み取り、読みとった位置情報が示す位置に、映像メモリ７０２から受け取った前フレーム動画とグラフィックスメモリ７０４に記憶されている静止画とを重ねた画像（以下、重畳画像と記す。）を生成し、表示部３０６に出力する。

図１０は、ブレンド処理部７０５が、上述した処理を行うまでの流れの例を示す図である。図１０に示す例では、動画Ｍ１３が、分割位置情報とともに伝送された前フレーム動画であるとして説明している。まず、映像スケーリング処理部７０１は、伝送ケーブル２００によって伝送された前フレーム動画Ｍ１３を受け取ると、フレームバッファ７０２１に記憶する。

その後、グラフィックス構成処理部７０３は、前フレーム動画Ｍ１３とともに伝送された分割位置情報（図１０に示す例では、静止画Ｇ１１の分割位置情報）を読み取り、さらに、その後順次伝送される静止画Ｇ１１、静止画Ｇ１２の分割位置情報、静止画Ｇ１２を読み取り、分割前の静止画を復元するとともに、分割前の静止画を動画上に表示させるための位置を示す位置情報を求め、分割前の静止画と位置情報とをグラフィックスメモリ７０４に記憶する。

そして、ブレンド処理部７０５は、フレームバッファ７０２１に記憶されている前フレーム動画Ｍ１３を読み出し、さらに、グラフィックスメモリ７０４に記憶されている位置情報を読み出し、前フレーム動画Ｍ１３と、グラフィックスメモリ７０４に記憶されている分割前の静止画とを重ねた重畳画像ＭＧ１を生成し、表示部３０６に出力する。

このとき、ブレンド処理部７０５は、静止画Ｇ１１、Ｇ１２をグラフィックスメモリ７０４から読み出している間は、フレームバッファ７０２１から、前フレームの動画Ｍ１３を繰り返し読み出して、重畳画像ＭＧ１を生成し、表示部３０６に出力している。したがって、分割された静止画が伝送されている回数（すなわち、識別信号Ｓ１が伝送された回数。図１０に示す例では、２つのフレームの静止画Ｇ１１、Ｇ１２が伝送されているので、２回）だけ、ブレンド処理部７０５は、重畳画像ＭＧ１を生成し、表示部３０６に出力する。

このように、記憶部６０５がフルＨＤを超える解像度の静止画をフルＨＤの解像度の動画上に表示させる位置を示す位置情報を記憶し、映像メモリ７０２がフルＨＤを超える解像度の静止画に重ねて表示するフルＨＤの解像度の動画である前フレーム動画を記憶し、グラフィックス描画処理部６０３が、外部からフルＨＤの解像度の動画にフルＨＤを越える解像度の静止画を重ねて表示させる指示を受けた場合、フルＨＤを越える解像度の静止画と、記憶部６０５に記憶された位置情報とを出力し、多重回路６０４が、位置情報を読み取って分割静止画をフルＨＤの解像度の動画上に表示させる位置を示す分割位置情報を求め、求めた分割位置情報と分割静止画とを出力し、映像スケーリング処理部７０１が、分割位置情報を受けた場合に、スケーリング処理した動画を映像メモリ７０２に出力し、グラフィックス構成処理部７０３は、分割位置情報に基づいて分割静止画をフルＨＤを越える解像度の静止画に復元し、さらに分割位置情報に基づいて位置情報を求め、復元したフルＨＤを超える解像度の静止画と求めた位置情報とを出力し、ブレンド処理部７０５は、位置情報に基づいて、復元されたフルＨＤを超える解像度の静止画と前フレーム動画とを重ねた重畳画像を表示部３０６に表示させるので、動画と静止画とを重ねて表示させる場合であっても、フルＨＤを超える解像度の静止画を表示させることができる。

（第３の実施の形態）
上述した第２の実施の形態においては、パネル３００に表示させる画像として、動画と静止画とを重ねて表示する場合に、静止画を表示する間は、次フレームの動画を表示せず、前フレームの動画を表示することによって、静止画とともに表示されている動画を適切に制御しつつ、動画と静止画とを重ねて表示させるとした。しかし、ユーザにとっては、静止画が表示されることによって、動画が表示されている途中でその動作が静止状態になると、臨場感等が損なわれてしまう場合も存在する。そこで、このような場合には、動画の中で静止している部分を活用しつつ、動画と静止画をパネル３００に重ねて表示させる場合について説明する。

図１１は、第３の実施の形態に係る受信装置８００とパネル９００の機能的な構成を示す構成を示すブロック図である。第３の実施の形態にかかる受信装置８００は、第２の実施の形態における映像処理部１０２とは異なる映像処理部８０２と、第２の実施の形態におけるグラフィックス描画処理部１０３とは異なるグラフィックス構成処理部８０３と、第２の実施の形態における多重回路６０４とは異なる多重回路８０４を備えている点で、第１の受信装置１００とは異なっている。

また、第３の実施の形態にかかるパネル９００は、第２の実施の形態における映像スケーリング処理部７０１とは異なる映像スケーリング処理部９０１と、第２の実施の形態における映像メモリ７０２とは異なる映像メモリ９０２と、第２の実施の形態におけるグラフィックス構成処理部７０３とは異なるグラフィックス構成処理部９０３と、第２の実施の形態におけるグラフィックスメモリ７０４とは異なる第２の実施の形態におけるグラフィックスメモリ９０４と、第２の実施の形態におけるブレンド処理部７０５とは異なるブレンド処理部９０５と、を備えている点で第１の実施の形態にかかるパネル３００とは異なっている。以下の説明では、上述した第１の実施の形態と同一の構成要素には同一の符号を付してその説明を省略している。

映像処理部８０２は、第２の実施の形態における処理と同様の処理を行うほか、動画の中の静止部分（以下、静止動画部と記す。）の範囲を特定し、特定した静止動画部の範囲を示す情報（例えば、静止動画部の領域の外延を示す座標（静止動画の範囲が矩形の場合には、その矩形の各頂点の座標）等。以下、静止動画部情報と記す。）を出力する。

グラフィックス構成処理部８０３は、第２の実施の形態における処理と同様の処理を行うほか、静止画の一部または全部が、新たな画像に更新されたか否かを判定し、静止画の一部または全部が更新されたと判定した場合には、その更新された部分（以下、更新静止画部と記す。）の範囲を特定する。そして、特定した更新静止画部と、その更新静止画部の範囲を示す情報（例えば、静止動画部と同様に、更新静止画部の領域の外延を示す座標等。以下、更新静止画部情報と記す。）を出力する。

多重回路８０４は、第２の実施の形態における処理と同様の処理を行うほか、上述した映像処理部８０２から出力された静止動画部情報とグラフィックス構成処理部８０３から出力された更新静止画部情報とを受けると、静止動画部情報と更新静止画部情報とを比較し、静止動画部の範囲の部分を更新静止画部に入れ替えて、上述した静止動画部情報と、更新静止画部情報とともに伝送ケーブル２００に出力する。

このように、動画の静止画部を、静止画の更新静止画部に入れ替えた動画のことを、以下では複合動画と記すこととする。また、多重回路８０４が、複合動画とともに、静止動画部情報と更新静止画部情報の両方の情報を出力する理由は、後述するように、常に静止動画部と更新静止画部とが一致するとは限らず、復元動画、復元静止画（いずれも後述）を生成できなくなってしまうためである。

なお、上述した複合動画を出力する場合、更新静止画部の範囲の大きさが、静止動画部の範囲の大きさを超える場合がある。そのような場合、伝送ケーブル２００に出力する動画としては、伝送ケーブル２００が伝送可能な１９２０×１０８０の解像度を超えてしまう場合がある。

そのような場合には、多重回路８０４が、静止動画部の範囲の部分を、更新静止画部に入れ替える際に、両者の範囲の大きさを比較し、更新静止画部の範囲が小さいと判定した場合にのみ、静止動画部の一部を更新静止画部に入れ替えることとしてもよい。

また、多重回路８０４は、回数を分けて複合動画を出力することも可能である。すなわち、多重回路８０４は、まず、両者の範囲の大きさを比較し、更新静止画部の範囲が大きいと判定した場合において、その更新静止画部の範囲に含まれる画素数をカウントし、カウントした画素数が、伝送ケーブル２００が伝送可能な１９２０×１０８０の解像度以下となるように更新静止画部を複数のフレームの静止画に分割する。その後、多重回路８０４は、分割した一部の更新静止画部を、静止動画部にあてはめて１つの複合動画を出力し、残りの更新静止画部を他のフレームの動画に割り当てた別の複合動画を出力することも可能である。

図１２は、上述した映像処理部８０２が静止動画部を特定し、グラフィックス構成処理部８０３が更新静止画部を特定し、多重回路８０４が複合動画を伝送ケーブル２００に出力する場合の例を示す図である。

図１２に示すように、まず、映像処理部８０２は、プログレッシブ走査変換等の変換処理を行った動画Ｍ２１の中の静止動画部ｇ１、ｇ２を特定する。そして、特定された静止動画部ｇ１、ｇ２を含む動画Ｍ２１と、静止動画部ｇ１、ｇ２の更新静止画部情報と、を多重回路８０４に出力する。

なお、映像処理部８０２が静止動画部を特定する方法は問わないが、例えば、動画Ｍ２１に隣接するフレームの動画（例えば、Ｍ２０、Ｍ２２）の同じ場所に位置する画素の画素値を比較し、両者の画素値が等しい場合には、その部分を静止動画部として特定することとしてもよい。

また、グラフィックス構成処理部８０３は、静止画Ｇ２１の中から更新静止画部ｇ’１、ｇ’２を特定し、特定した更新静止画部ｇ’１、ｇ’２と、更新静止画部情報と、を多重回路８０４に出力する。なお、更新静止画部を特定する方法については、上述した静止動画部を特定する方法と同様である。

そして、多重回路８０４は、映像処理部８０２から受け取った動画Ｍ２１に、グラフィックス構成処理部８０３から受け取った更新静止画部ｇ’１、ｇ’２を入れた複合動画Ｍ’２１を出力する。続いて、図１１に戻り、映像スケーリング処理部９０１について説明する。

映像スケーリング処理部９０１は、第２の実施の形態における処理と同様の処理を行うほか、伝送ケーブル２００によって伝送された複合動画をスケーリングし、その更新静止画部に対応する部分を静止動画部情報に基づいて前フレーム動画から取得した静止動画部に入れ替えた動画(以下、復元動画と記す。）を生成し、生成した復元動画と、静止動画部情報とを映像メモリ９０２に出力する。

映像メモリ９０２は、第２の実施の形態における内容と同様の内容を記憶するほか、上述した映像スケーリング処理部９０１から出力された復元動画と静止動画部情報とを記憶する。

グラフィックス構成処理部９０３は、第２の実施の形態における処理と同様の処理を行うほか、複合動画とともに伝送された更新静止画部情報を読み取り、複合動画の中から更新静止画部を切り出す。そして、グラフィックス構成処理部９０３は、切り出した更新静止画部を、グラフィックスメモリ９０４に記憶されている静止画（すなわち、更新される前の静止画）の更新静止画部に相当する部分に上書き（更新）した静止画（以下、復元静止画と記す。）を生成し、生成した復元静止画をグラフィックスメモリ９０４に出力する。

グラフィックスメモリ９０４は、第２の実施の形態における内容と同様の内容を記憶するほか、グラフィックス構成処理部９０３から出力された復元静止画と更新静止画部情報とを記憶する。

ブレンド処理部９０５は、第２の実施の形態における処理と同様の処理を行うほか、映像メモリ９０２から復元動画を読み取り、読み取った復元動画をパネル３００に表示する。また、ブレンド処理部９０５は、グラフィックスメモリ９０４から復元静止画を読み取り、読みとった復元静止画をパネル３００に表示する。

図１３は、上述した複合動画が伝送されてから、復元動画および復元静止画が生成されるまでの様子を示す図である。

図１３に示すように、伝送ケーブル２００から複合動画Ｍ’２１と静止動画部情報とが伝送されると、映像スケーリング処理部９０１は、複合動画Ｍ’２１の中の更新静止画部ｇ’１、ｇ’２以外の部分の動画ｍ１、ｍ２を切り出す。

そして、映像スケーリング処理部９０１は、映像メモリ９０２のフレームバッファ９０２１に記憶されている前フレーム動画Ｍ２０の中から、更新静止画部ｇ’１、ｇ’２に相当する部分の静止動画部ｇ１、ｇ２を切り取る。さらに、映像スケーリング処理部９０１は、スケーリングされた複合動画Ｍ’２１の中の更新静止画部ｇ’１、ｇ’２を、切り取った静止動画部ｇ１、ｇ２に入れ替えて、復元動画Ｍ”２１を生成し、映像メモリ９０２に出力する。

一方、グラフィックス構成処理部９０３は、伝送ケーブル２００から複合動画Ｍ’２１と更新静止画情報とが伝送されると、複合動画Ｍ’２１の中の更新静止画部ｇ’１、ｇ’２を切り出す。

そして、グラフィックス構成処理部９０３は、グラフィックスメモリ９０４に記憶されている静止画の中の更新静止画部ｇ’１、ｇ’２に相当する部分を、切り出した更新静止画部ｇ’１、ｇ’２に入れ替えて復元静止画を生成し、グラフィックスメモリ９０４に出力する。そして、ブレンド処理部９０５は、パネル３００に復元動画Ｍ”２１と復元静止画Ｇ’２１とを表示させる。

このように、映像処理部８０２が、さらに、フルＨＤの解像度に変換した動画の中の静止部分である静止動画部を特定し、静止動画部の範囲を示す静止動画部情報を出力し、グラフィックス描画処理部８０３が、さらに、フルＨＤの解像度を超える解像度の静止画の中で更新された部分である更新静止画部を特定し、特定した更新静止画部と、更新静止画部の範囲を示す更新静止画部情報を出力し、多重回路８０４が、フルＨＤの解像度の動画の静止動画部の少なくとも一部を更新静止画部に入れ替えた複合動画を生成し、生成した複合動画と静止動画部情報と更新静止画部情報とを出力し、映像スケーリング処理部９０１が、複合動画をスケーリングして、その更新静止画部に対応する部分を前フレーム動画から取得した静止動画部に入れ替えて復元動画を出力し、グラフィックス構成処理部９０３が、更新静止画部情報を読み取って複合動画から更新静止画部を取得し、復元されたフルＨＤの解像度を超える解像度の静止画を取得した更新静止画部に更新した復元静止画を出力し、ブレンド処理部９０５が、復元動画と復元静止画とを表示部３０６に表示させるので、動画と静止画とを重ねて表示させる場合であっても、臨場感等を損なうことなく、フルＨＤを超える解像度の静止画を表示させることができる。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

１０００…放送受信機、１００，６００，８００…受信装置、１０１…映像受信部、１０２，８０２…映像処理部、１０３，６０３，８０３…グラフィックス描画処理部、１０４，６０４，８０４…多重回路、２００…伝送ケーブル、３００，７００，９００…パネル、３０１，７０１，９０１…映像スケーリング処理部、３０２，７０２，９０２…映像メモリ、３０３，７０３，９０３…グラフィックス構成処理部、３０４，７０４，９０４…グラフィックスメモリ、３０５，７０５，９０５…ブレンド処理部、３０６…表示部、４００…アンテナ、６０５…記憶部、７０２１…フレームバッファ、７０２２…切り替え回路。

Claims (5)

1. 第１の解像度の動画のフレームおよび前記第１の解像度の静止画のフレームを含むストリームを出力する受信装置と、前記ストリームの伝送を媒介する伝送手段を介して前記受信装置に接続されて前記第１の解像度よりも高い解像度である第２の解像度の動画および静止画を表示可能な表示装置と、を備えた画像処理装置であって、
   前記受信装置は、
   前記第２の解像度の静止画を分割して複数の前記第１の解像度の分割静止画を生成し、前記第１の解像度の動画のフレームのストリーム中に前記複数の分割静止画のフレームが挿入されたストリームを出力する多重処理手段
   を備え、
   前記表示装置は、
   前記第２の解像度で動画および静止画のうち少なくともいずれか一方を表示する表示手段と、
   前記第１の解像度の動画を前記第２の解像度に変換するスケーリング処理手段と、
   前記スケーリング処理手段で前記第２の解像度に変換された動画のフレームを記憶手段に記憶させる記憶制御手段と、
   前記受信装置から出力された前記第１の解像度の動画のフレームを受けた場合には、この受けた動画のフレームを前記スケーリング処理手段で前記第２の解像度に変換して前記表示手段に表示させると共に、前記受信装置から出力された前記第１の解像度の分割静止画のフレームを受けた場合には、前記記憶手段に記憶された前記第２の解像度の動画のフレームを少なくとも１回前記表示手段に表示させた後、複数の分割静止画のフレームを合成した前記第２の解像度の静止画を前記表示手段に表示させる切り替え手段と、
   を備える画像処理装置。
2. 前記切り替え手段は、前記受信装置から出力された前記第１の解像度の分割静止画のフレームを受けた後、当該分割静止画のフレームを合成した前記第２の解像度の静止画が生成されるまで、前記記憶手段に記憶された前記第２の解像度の動画のフレームを前記表示手段に表示させる請求項１に記載の画像処理装置。
3. 前記受信装置は、さらに、前記分割静止画のフレームを出力したことを示す識別信号を出力する手段を備え、
   前記切り替え手段は、前記識別信号に基づいて切り替えを行う請求項１または２に記載の画像処理装置。
4. 請求項１〜３のうちいずれか一つに記載の画像処理装置で用いられる前記受信装置。
5. 請求項１〜３のうちいずれか一つに記載の画像処理装置で用いられる前記表示装置。

Images