JP2007522732A

JP2007522732A - スクリーンに表示される画像のアスペクト比の変更

Info

Publication number: JP2007522732A
Application number: JP2006551972A
Authority: JP
Inventors: イェーフェルトホーフェン，レオ; アークロンペンハウウェル，ミヒール; イェーウェーメルテンス，マルク; ブライン，フレデリクイェーデ
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2004-02-03
Filing date: 2005-01-27
Publication date: 2007-08-09
Also published as: EP1714477A1; KR20060135736A; WO2005076599A1; CN1914902A; US20080260290A1

Abstract

本発明は、画像データフォーマットで提供されるイメージデータストリームＸの表示のサイズを変えるための方法、画像処理装置、画像処理装置を含む画像表示装置、及びコンピュータプログラムプロダクトに関する。画像処理装置１２は、表示されるべき第一のオリジナルの視野を有するイメージデータストリームＸ_O，Ｘ_Sの少なくとも１部を選択し、選択されたイメージデータＸ_Sからオリジナルの視野よりも大きい領域からの画素領域の値を取得する少なくとも１つの画像復号化ユニット２２を有する。画像処理装置は、取得されたデータ及び値に基づいて、第二の視野に適合する表示されるべき画像を計算することで視野を変える。第一の視野で表示されることが意図されたイメージデータは、第二の視野で表示される。

Description

本発明は、符号化データの画像に関連するアスペクト比を変える分野全般に関し、より詳細には、イメージデータフォーマットで提供されるイメージデータストリームの表示サイズを変える方法、画像処理装置、画像表示装置、及びコンピュータプログラムプロダクトに関する。

たとえばテレビ放送された画像データの表示のような視覚情報の表示の分野では、所定のフォーマットで表示されるべきデータをブロードキャストすることが一般的である。ここで、４：３の所定のアスペクト比、すなわち表示される画像の幅と高さとの間の関係は、多かれ少なかれ標準化される。

しかし、たとえば、より大きな画像を提供する１６：９の異なるアスペクト比を有するテレビジョンスクリーンが今日存在する。更に広いアスペクト比の映画マテリアルが存在し、たとえばフロントプロジェクタを採用した将来的なテレビジョンによれば、このマテリアルは表示可能になる。

スクリーン全体に情報を表示することができるため、あるアスペクト比に従ってブロードキャストされたイメージデータが別のアスペクト比を有するディスプレイに表示されるとき、ブラックバー、カットアウト情報を設けるか、新たなアスペクト比を得るため、データを改竄する他のやり方を実行することが一般的である。情報の損失を招く画像を水平及び垂直方向に伸張することを通して、画像の歪みを招く画像を水平方向のみに伸張することを通して、及びいわゆるパノラマ式の伸張、すなわち画像のサイドに位置されるオブジェクトが画像の中央におけるオブジェクトよりも歪むこととなる非一様のズームファクタで水平方向に伸張することを通して、かかる変化を実行することができる。

あるアスペクト比から別のアスペクト比への変換を可能にするためのデータによるかかる改竄の１つのやり方は、ＷＯ０３／０１７６４９に記載されている。この文献は、前の画像から現在の画像への画像情報の挿入を記載している。このように、新たなアスペクト比は、画像を伸張する必要なしに提供される。

さらに、そのフォーマットがビデオデータを転送することにおいても使用することができる、ビデオデータの異なるタイプのデジタル符号化を提供することに対する動きがある。かかるフォーマットは、特にＭＰＥＧ２及びＭＰＥＧ４である。

このケースでは、かかるデータを含むストリームが存在する場合、かかる符号化に存在するバックグランドデータを使用することが有利であり、ディスプレイ全体を使用することと同時に、画像を歪ませるか、又は重要な情報をなくす必要なしに、アスペクト比の変換を行うことができるように、アスペクト比の変化を可能にすることが有利である。

したがって、本発明の目的は、ディスプレイ全体を使用すると同時に、視野の変換が表示される画像を歪ませるか、重要な情報をなくさせる必要なしに、視野の変換が行われるように、ディスプレイの符号化画像のストリームの視野の変動を可能にすることにある。

本発明の第一の態様によれば、上記目的は、画像データのフォーマットで提供されるイメージデータストリームの表示のサイズを変える方法により達成され、当該方法は以下のステップを含んでいる。ａ）あるフォーマットで符号化されたイメージデータストリームを取得し、第一のオリジナルの視野を表示させるステップ、ｂ）イメージデータストリームの少なくとも１部を選択するステップ、ｃ）選択されたイメージデータから、オリジナルの視野よりも大きな視野からの画素領域の値を取得するステップ、ｄ）取得されたデータ及び値に基づいて、第二の視野に適合する表示されるべき画像を計算することで視野を変えるステップ。

本発明の第二の態様によれば、上記目的は、画像データのフォーマットで提供されるイメージデータストリームの表示のサイズを変える画像処理装置により達成され、当該装置は、表示されるべき第一のオリジナルの視野を有するイメージデータストリームの少なくとも１部を選択し、選択されたイメージデータからオリジナルの視野よりも大きい領域からの画素領域の値を取得するために構成される少なくとも１つの画像復号化ユニットを有し、画像処理装置は、取得されたデータ及び値に基づいて、第二の視野に適合する表示されるべき画像を計算することで視野を変えるように構成され、第一の視野で表示されることが意図されたイメージデータは、第二の視野で表示される。

本発明の第三の態様によれば、上記目的は、イメージデータのフォーマットで提供されるイメージデータストリームの表示のサイズを変える画像表示装置により達成され、当該装置は、ディスプレイと、表示されるべき第一のオリジナルの視野を有するイメージデータストリームの少なくとも１部を選択し、デコードされたイメージデータからオリジナルの視野よりも大きい領域からの画素領域の値を取得するために構成される少なくとも１つの画像復号化ユニットとを有し、画像処理装置は、取得されたデータ及び値に基づいて、視野を変えるように構成され、第一の視野で表示されることが意図されたイメージデータは、第二の視野で表示される。

本発明の第四の態様によれば、上記目的は、イメージデータのフォーマットで提供されるイメージデータストリームの表示のサイズを変えるためにコンピュータで使用されるコンピュータプログラムプロダクトにより達成され、コンピュータプログラムコードがコンピュータにロードされたとき、表示されるべき第一のオリジナルの視野を有するイメージデータストリームを取得し、イメージデータストリームの少なくとも１部を選択し、選択されたイメージデータから、オリジナルの視野よりも大きな領域からの画素領域の値を取得し、取得されたデータ及び値に基づいて、第二の視野に適合する表示されるべき画像を計算することで視野を変え、第一の視野で表示されることが意図されたイメージデータを第二の視野で表示させる、ことをコンピュータに実行させるためのコンピュータプログラムコードを含むコンピュータプログラムプロダクトにより達成される。

請求項２及び１５は、異なるレイヤにおける画素としてイメージデータストリームのオブジェクトを供給することに向けられ、この場合、第一の視野の外にある画素領域は、少なくとも１つのレイヤで供給され、出力データストリームを供給するために前記１つのレイヤを含むデコードされたイメージデータストリームの少なくとも幾つかのレイヤのオブジェクトを結合することで、画像データの表示を可能にする。このようにして、視野の変化によってのみ影響される、それらのレイヤにのみ表示されるべき画像の操作を制限することが可能である。

請求項３は、第二の視野をもつディスプレイにストリームにおける画像データの少なくとも幾つかを表示することに向けられる。
請求項４及び１６によれば、符号化されたストリームは、ＭＰＥＧ−４画像データストリームであり、少なくとも部分的にオリジナルの視野の外にある画素領域の少なくとも幾つかは、スプライト（sprite）として符号化される。これにより、スプライトが視野を変えるために使用することができる大量の情報を含むので、簡単なやり方で視野を変えることができる。

請求項５及び１７によれば、選択された画像データ情報は、第二の視野において満足できない画素の位置のマッピングに関して処理される。この測定により、第二の視野を得るために使用される第一の視野の外にある画素領域において十分な画素がないか、たとえばオブジェクトが連続する画像の内外で動く場合といった、幾何学的な関係が調整される必要がある場合のような、異なるレイヤにおけるオブジェクト間の関係が視野の変化において考慮される必要がある場合、視野の変化がより効率的に行われるのを可能にする。これは、たとえば、人の一部が外から画像に周期的に入る場合に見る人の注意を困惑又は混乱させ、この場合、視野の内部又は外部にこの人のオブジェクトを常に位置合わせするのが良好な場合がある。別の例は、４：３画像のエッジに位置される人が、拡大された、たとえば１６：９画像のエッジで再び位置合わせされる。

請求項６，７，８，９，１０，１８，１９，２０，２１及び２２は、第二の視野を取得するために使用される第一の視野の外にある画素領域において十分な画素がない場合に、第一の視野の外で提供される選択された画像データを処理する異なるやり方に向けられる。

請求項１１及び２３は、異なるレイヤにおけるオブジェクト間の関係が視野の変化において考慮される必要があるときに、選択された画像データを処理することに向けられる。

請求項１２及び２４によれば、第一の視野は、アスペクト比４：３に対応し、第二の視野は、アスペクト比１６：９に対応する。

請求項１３及び２５によれば、第一の視野の外にある画素領域の値は、結合されたオブジェクトを含むストリームとは異なる少なくとも１つの出力データストリームで提供される。このように、幾つかのストリームは、ディスプレイで表示されるビデオを拡大するために結合することができる。また、これは、異なるタイプのアスペクト比を有する異なるタイプのスクリーンのために使用することができる表示されるビデオストリームの供給を可能にする。

本発明は、ディスプレイ全体を使用することと同時に、視野の変換が表示されている画像を歪ませるか、重要な情報を除去する必要なしに行うことができるように、ディスプレイの符号化されたイメージストリームについて、たとえばスペクト比といった視野の変動を可能にするという利点を有する。この視野の変化は、イメージデータストリームで既に利用可能な情報を使用して更に可能である。この変化は、更なる複雑な画像処理なしに実行することができる。本発明は、標準化された符号化フォーマットに関連されるデコーダの僅かな変動で実現するために更にシンプルである。

本発明の背後にある一般的な考えは、選択された画像データストリームから、画像データストリームのオリジナルの視野よりも大きな領域から画素領域の値を取得し、取得されたデータ及び値に基づいて第二の視野に一致する表示されるべき画像を計算することで視野を変えることである。このように、第一のアスペクト比で表示されることが意図される画像データは、内容を歪ませることなしに第二のアスペクト比で表示することができる。

本発明のこれらの態様及び他の態様は、以下に記載される実施の形態を参照して明らかとなるであろう。本発明は、添付図面を参照して更に詳細に説明される。

本発明は、テレビジョンスクリーンのようなスクリーンに情報を表示する分野全般に関する。ここで図１を参照して、この図は、テレビジョン装置とすることができる画像表示装置１０のブロック図を示している。画像表示装置１０は、画像処理装置１２を含んでおり、この画像処理装置は、ディスプレイ駆動ユニット１４に接続され、このディスプレイ駆動ユニットは、ディスプレイ１６に接続されている。画像処理装置１２は、好適な実施の形態では、テレビジョンブロードキャスタから放送されている、好ましくはＭＰＥＧ−４符号化規格に従って符号化されるビデオストリームＸを受信する。しかし、ストリームがローカル又は外部の記憶媒体から検索されることが認識されるべきである。また、ＭＰＥＧ−４は、適切に符号化されたストリームの一例であり、表示されることが意図される視野を超えて延びる情報を有する限り、他の規格も使用されることが認識されるべきである。画像処理装置１２は、ディスプレイ装置に送出するのに適したビデオフォーマットＸ’を提供するため、受信されたストリームを処理する。次いで、処理されたストリームＸ’は、ディスプレイ用に駆動ユニット１４に供給され、この駆動ユニットは、情報をディスプレイ１６の個々の画素を駆動するために適したデータに変換する。

ストリームはフレームに従って分割され、この場合、フレームはフォーマットを定義し、ストリームは、時間的に所定の瞬間で表示される。フレームフォーマット又は第一のオリジナルの視野は、４：３のアスペクト比に対応して通常に供給される。しかし、ディスプレイ１６は、１６：９の別のアスペクト比を有し、このことは、表示されるべき画像は、ディスプレイ１６に表示されるため、全体のディスプレイが使用されることとなるときに操作される必要があることを意味している。たとえば、伸張、画像のサイドでブラックバーを提供する等のような、別のアスペクト比を有するスクリーンへの提供のために所定のアスペクト比を有する画像を処理するために存在する多数の方法がある。これら公知のスキームによれば、ネガティブなやり方でストリームの表示されるコンテンツに影響を与えることなしにスクリーン全体を使用することは難しい。２つの方向で画像を伸張することは、情報の損失につながり、たとえば水平方向のような１方向での伸張は、画像におけるオブジェクトの歪みにつながり、パノラマ式の伸張は、オブジェクトの非一様な歪みを招く。全てのこれらの作用は、ストリームの見る人を困惑又は混乱させることが分かっている。本発明は、これを解決することに向けられる。

本発明の更なる詳細に進む前に、ＭＰＥＧ−４の態様の幾つかの短的な要約がここで与えられる。ストリームで表示されるべきオブジェクトは、異なるレイヤに符号化される。レイヤにおけるオブジェクトの符号化は、ＭＰＥＧ−２で使用される符号化に厳密に従う。したがって、オブジェクトは、先に又は後に送出されたオブジェクトに基づいた動きベクトルを使用して符号化することができる。通常、あるレイヤは、それぞれのオブジェクトについて供給され、１つのレイヤは、バックグランドについて供給される。ストリームは、フレームに従って分割され、この場合、それぞれの符号化されたレイヤは、特定のフレームに関連するオブジェクトの幾つかの情報を有する。フレームは、時間的に異なるポイントにある異なるレイヤから何が表示されるべきかを判定し、フレームについて、視野として見ることができるアスペクト比も設定される。全てのフレームは、同じアスペクト比を有するべきである。レイヤの１つは、フレームのかなり外に延びる情報であって、スプライトレイヤである情報である。次いで、スプライトは、多数のフレームにわたり変化されないままの静的な情報であるか、たとえばフレームからフレームにスプライトの動きを考慮する動的な情報である。スプライトは、多数のフレームに表示されるシーンのバックグランドエレメントに関する情報を含む。規格により、レイヤが殆ど任意に表示のために選択される点で大きな自由度を許容する。スプライトの目的は、ビデオストリームの符号化の効率を向上することである。本発明の一般的な考えは、全体の表示領域がビデオストリームの内容を歪ませることなしに、ビデオストリームの全ての情報を表示するために使用することができるように、ディスプレイのアスペクト比の変化を可能にするために、スプライトにおける情報を利用することである。ＭＰＥＧ−４に関するより多くの情報は、ＩＳＯ／ＩＥＣ規格１４４９６−２：２００１で発見することができ、この規格は、引用により本明細書に盛り込まれる。

本発明は、図２及び図３を参照して更に詳細に説明され、図２は、本発明の第一の実施の形態に係る画像処理装置１２のブロック図を示し、図３は、アスペクト比を変化する方法のフローチャートを示す。

先に記載されたように、画像処理装置１２は、ステップ３６で、ＭＰＥＧ−４規格に従うフォーマットを有する符号化された画像データストリームＸを受信し、このデータストリームは、分離ユニット１８に供給される。分離ユニット１８は、ステップ３８で、異なるオブジェクトのレイヤ及びフレームに従うストリームを分離し、分離された符号化されたレイヤ情報Ｘ_O及びＸ_Sを対応するレイヤデコーダ２０，２２に送出する。図２では、２つのみのレイヤデコーダが図示されており、第一２０は、オブジェクトレイヤのために供給され、第二２２はスプライト又はバックグランドレイヤのために供給される。通常の実施では、幾つかの更に多くのかかるデコーダ及びレイヤが存在することが認識されるべきである。オブジェクトレイヤにおける画像データは、所与のフレームについて、Ｉフレーム、Ｐフレーム及びＢフレームに従って更に符号化され、スプライトレイヤにおける情報は、スタティックなスプライト、又は前のオブジェクトプレーンの全体的な動き補償に基づいた予測を使用して符号化されるビデオオブジェクトプレーンの全部又は一部のワープに基づいている。デコードにおいて、ハーフＤ１のような圧縮された視野のフォーマットから標準的な視野のフォーマットへの伸張を行うことができる。それぞれのレイヤの復号化ユニット２０，２２は、その後、投影されるべきオブジェクト及びバックグランドエレメントを供給するために、そのレイヤのレイヤ情報を選択し、この例ではデコードする。したがって、それぞれのフレームにおいて、第一のデコーダ２０は、ステップ４０で、オブジェクトＸ’_Oをデコード又は作成し、第二のデコーダ２２は、ステップ４２で、第一の視野よりも大きな領域からの画素領域の値を得るとして見ることができる、バックグランドのスプライトＸ’_Sを作成又はデコードする。画素領域は、フォアグランドオブジェクトの画素ブロック、バックグランドオブジェクトの画素ブロック又はシングルピクセル等の一部とすることができる。画素領域の値は、少なくとも、グレイスケールの値、カラー及びテクスチャモデルパラメータを含む。スプライトについて、幾つかの画素領域は、オリジナルの視野又はアスペクト比の少なくとも部分的に外側にある。バックグランドのスプライト及びオブジェクトは、表示されるべきビデオシーケンスのそれぞれのフレームの結合ユニット２６にフレームフォーマットで共に供給される。制御ユニット２４は、ステップ４４で、使用すべき新たなアスペクト比である第二の視野を決定し、ステップ４６で、フレームが所望のアスペクト比１６：９で表示することができるデータを提供するための大きさに作られるよりも大きなスプライトの領域を切り抜く（cut out）、すなわちフレームに対応する領域を切り抜き、スプライトから所望の出力アスペクト比に対応する更なる領域を切り抜くために第二のデコーダ２２を制御する。更なるカットアウトエリアは、スプライトのフレームエリアと共に結合ユニット２６に提供され、この結合ユニットは、Ｘ’_Sを他のオブジェクトＸ’_Oと結合する。次いで、スプライトのカットアウト領域は、ステップ４８で、他のレイヤの復号化情報を通して得られたオブジェクトと結合される。結合ユニットは、表示されるべきスプライト及び他のレイヤのカットアウトエリアに基づいて、第二のアスペクト比に適合して表示されるべき画像を計算する。次いで、結合ユニット２６は、ステップ５０で、これら結合された画像Ｘ’をディスプレイにディスプレイドライバを介して送出し、ディスプレイは、ステップ５２で、結合された画像を表示する。

表示されるべき画像が満足される画素の位置を有さない場合、デコードされた画像データは、これらの位置のマッピングに関して処理される。たとえば、幾つかの画素が失われたため、スプライトがカットアウトエリアで十分な情報を有さない場合、スプライトレイヤは、結合ユニット２６に接続される画像拡大ユニット２７（たとえば、ＡＳＩＣ又は専用又は汎用プロセッサで実行するソフトウェア）により処理される。次いで、この処理は、伸張、オブジェクトの動き予測等といった先に記載された標準的な手順を含む。使用することができる１つの係る手順は、先に表示された画像の領域を切り抜くこと、及び引用により本明細書に盛り込まれるＷＯ０３／０１７６４９に記載されるように後の画像でこれらを使用することである。比較的小さな領域のみが失われているケースでは、この処理は、スプライト又はスプライトを欠いた画素情報の領域の幾何学的な画像変換のような更に進展したテクスチャギャップフィリング方法を含む。次いで、画像変換は、隣接する画素の外挿、境界の画素のコピー等を含む。

さらに、たとえば新たな視野のエッジで第一の視野におけるフレームのエッジで位置されるオブジェクトを提供するため、たとえばスプライトレイヤに関連するオブジェクトレイヤの幾つかの画素をシフトすることが可能である。このように、画像は、特定のスクリーンの視野に任意に対応するようにすることができる。これは、第二のアスペクト比で表示されたときに画像を乱す、オブジェクトが連続する画像の内外に移動し続ける場合に役立つ。これは、問題となるオブジェクトレイヤがオリジナルの幾何学的な位置である数学的な関数である幾何学的な位置で再生されるのを可能にする。さらに、このシフトは、視野のエッジで提供されるオブジェクトに制限されないが、何れかのオブジェクト又はレイヤについて適用することができる。

制御ユニット２４は、たとえばユーザによりなされる選択に依存して、どのオブジェクトが結合されるべきか、及びどのデコーダがオブジェクトを結合ユニット２６に送出すべきかを制御する。また、制御ユニットにおける異なるアスペクト比の間で選択し、それぞれ所望のアスペクト比に従ってスプライトをカットすることが可能であることを認識されたい。制御ユニットは、ディスプレイのアスペクト比の事前知識を有し、これに基づいて自動的に余分の領域のカットを制御する。また、余分の領域の選択及び切り抜きを実行するとき、フレーム外に移動するオブジェクトを考慮することも可能であり、このケースでは、制御ユニットは、スプライトデコーダ２２に加えて第一のデコーダ２０からの情報を有する必要がある。

本発明を更に説明するため、図４及び図５が参照され、図４は、オブジェクトが関連するビデオストリームのアスペクト比で通常に表示されるフレーム３２と共にスプライト２８の形式でバックグランドのシーンにオブジェクト３０が投影される第一の画像を示し、図５は、ディスプレイ装置のアスペクト比をもつ表示のためにオブジェクト３０との結合のためにスプライトについて大きな領域３４が切り取られる第二の画像を示している。図４は、破線のボックスとして変化したアスペクトのために設けられた余分のカットアウトエリア３４を示している。スプライト２８は、先に説明したように、フレームよりもずっと大きく、バックグランドとして空とグランドの多数のビルディング及び基礎を例示することが意図される方形及び楕円の形式で提供される多数のエレメントを含んでいる。オブジェクト３０は、ここでは明確さのために矩形として示されている。なお、オブジェクトはバックグランドと同様により複雑な形式を有し、オブジェクトは、フレームからフレームに外観を更に変えることができる。この例では１６：９である新たなアスペクト比を考慮するため、フレーム３２がスプライトに配置される部分の側の領域は切り抜かれ、この場合、オリジナルフレームのために意図されるスプライトの領域を含む全体のカットアウト領域は、参照符号３４で示される。これは、次いで、ディスプレイで表示することができるフレームの広い画像が供給されるように、結合ユニットでオブジェクト３０と結合される。次いで、スプライトは、表示された全体の画像を所望のアスペクト比に広くするため、それぞれ後続のフレームについて連続的に使用される。

次に表示されるべきシーンがシフトされる場合、先に記載された方法は、一方が手近に在る場合、表示されるエリアを拡大するため、このシーンに関連する別のスプライトで継続される。かかるスプライトが手近にない場合、画像拡大ユニットは、視野で残されている増加を提供するため、先に記載された処理を使用するために構成される。

本発明に係る画像処理装置の第二の実施の形態は、図６におけるブロック図に示されている。この装置は、図２で示される装置と本質的に同じであるが、幾つかの違いが存在する。はじめに、制御ユニットは、本発明の良好な理解のために省略されており、第二に、画像拡大装置は、省略されており、第三に、第二の復号化ユニット２２は、デコードされたスプライトデータの異なる４つの異なるストリームＸ’_S1、Ｘ’_S2、Ｘ’_S3及びＸ’_S4を提供する。デコードされたスプライトデータの第一のストリームＸ’_S1は、フレーム内にあるスプライトデータを含み、オブジェクトデータＸ’_Oとの結合のためのコンバイナー２６に送出される。他のストリームは、図１のディスプレイ駆動ユニットへの供給のためにフレームの外にあるスプライトのカットアウト領域を表す。ここで、デコードされたスプライトデータの第二のストリームＸ’_S2は、フレームの左へのカットアウトエリアを表し、デコードされたスプライトデータの第三のストリームＸ’_S3は、フレームの右へのカットアウト領域を表し、デコードされたスプライトデータの第四のストリームＸ’_S4は、フレームの上又は下へのカットアウト領域を表す。このように、ディスプレイに表示されるビデオを拡大するために結合することができる幾つかのストリームが提供される。また、これは、異なるタイプのアスペクト比を有する異なるタイプのスクリーンについて使用することができる、表示されるべきビデオデータの提供を可能にする。次いで、使用されるスクリーンのサイズを適合させるため、結合されたストリームと共に表示のために更なるストリームが選択される。

本発明に係る画像処理装置は、本発明に係る方法を実行するためのプログラムコードを含む対応するプログラムメモリをもつ１以上のプロセッサの形式で提供することができる。たとえば適切にプログラムされたＡＳＩＣ回路といったハードウェアユニットとしてこの機能を提供することもできる。さらに、ソフトウェアコードにアクセスするプロセッサとして幾つかのユニットを提供し、ハードウェアユニットとして他のユニットを提供することが可能である。

また、本発明は、コンピュータプログラムプロダクトとして実現される。コンピュータプログラムプロダクトは、汎用又は専用のプロセッサが一連のロードステップの後に、コマンドをプロセッサに取得させ、本発明の特徴的な機能のいずれかを実行させるのを可能にするコマンドの集合の物理的な実現であると理解されるべきである。特に、コンピュータプログラムプロダクトは、たとえばディスク又はテープのようなキャリアのデータ、メモリに存在するデータ、有線又は無線といったネットワークコネクションを通して伝播するデータ、又は紙上のプログラムコードのようなデータとして認識される場合がある。プログラムコードとは別に、プログラムに必要とされる特徴的なデータは、コンピュータプログラムプロダクトとして実施される場合もある。本発明に係るコンピュータプログラムプロダクトの１つの例は、図７に示されており、コンピュータにロードされたとき、本発明に係る方法を実行するプログラムコードを有するＣＤＲＯＭディスク５４を示す。

本発明によれば、幾つかの利点が得られる。表示されるオブジェクトのいずれかを歪ませる必要なしに、ディスプレイ全体を使用することができる。アスペクト比の変化は、符号化された画像データストリームで既に利用可能な情報を使用して更に得ることができる。この変化は、画像処理装置における更なる複雑なシーン変化の予測なしに実行することができる。さらに、本発明は、標準的な符号化フォーマットＭＰＥＧ−４と関連付けされるデコーダの僅かな変動で実現するためにシンプルである。

本発明に対して行われる幾つかのバリエーションが存在する。本発明は、スプライトレイヤに限定されないが、視野を超えて拡大する画素領域を有する何れかのレイヤについて適用することができる。記載された以外のアスペクト比をたとえば使用することもできる。反対のアスペクト比の変化、すなわち１６：９から４：３へも可能である。本発明は、アスペクト比の変化に制限されないが、視野のいずれかの変化に適用される。さらに、更に多くのオブジェクト及び対応するレイヤを有することも可能である。さらに、個別のデコーダを有する必要はないが、デコーディングは、多くの例では、同一のデコーダで実行することができる。本発明は、ＭＰＥＧ４に限定されないが、フレームの外に伸張する画素領域を有する限り、他のオブジェクトベースの圧縮応用で適用することができる。画像拡大ユニットは、コンバイナーに接続される必要はないが、関連するレイヤデコーダに接続される。実際に、スプライトが視野を変えるために使用することができる十分な情報を含む場合には全く必要とされない。さらに、本発明は、テレビジョンセットに制限されないが、ビデオ、ＤＶＤ又は何れか他のタイプの画像操作装置で実現することができる。また、おそらくホームネットワークの環境で、１以上のシーンへの接続のために提供することもできる。

本発明に係る画像表示装置のブロック図である。図１の画像表示装置における本発明の第一の実施の形態に係る画像処理装置のブロック図である。本発明に係るアスペクト比を変える方法のフローチャートである。ストリームのフレームと共にスプライトの形式でバックグランドシーンにオブジェクトが投影される第一の画像を示す図である。表示装置のアスペクト比をもつディスプレイのオブジェクトによる結合のためにスプライトに関して大きなエリアが切り抜かれる第二の画像を示す図である。本発明の第二の実施の形態に係る画像処理装置のブロック図である。本発明に係る方法を実行するプログラムコードを有するＣＤＲＯＭディスクを概念的に示す図である。

Claims

画像データのフォーマットで提供されるイメージデータストリームの表示のサイズを変える方法であって、
当該方法は、
ａ）あるフォーマットで符号化され、表示されるべき第一のオリジナルの視野を有するイメージデータストリームを取得するステップと、
ｂ）前記イメージデータストリームの少なくとも１部を選択するステップと、
ｃ）選択されたイメージデータから、前記オリジナルの視野よりも大きな視野からの画素領域の値を取得するステップと、
ｄ）画像データが前記第二の視野を実質的にカバーする画素値を有するように、取得されたデータ及び値に基づいて、第二の視野に適合する表示されるべき画像を計算することで視野を変えるステップと、
を含むことを特徴とする方法。
前記イメージデータストリームのオブジェクトは、異なるレイヤにおける画素として提供され、前記第一の視野の外にある画素領域は、少なくとも１つのレイヤで提供され、前記視野を変えるステップは、画像データの表示を可能にする出力データストリームを提供するため、前記１つのレイヤを含むデコードされたイメージデータストリームの少なくとも幾つかのレイヤのオブジェクトを結合するステップを含む、
請求項１記載の方法。
ｅ）前記第二の視野をもつディスプレイに前記ストリームにおける少なくとも幾つかのイメージデータを表示するステップを更に含む、
請求項１記載の方法。
前記符号化されたストリームは、ＭＰＥＧ−４イメージデータストリームであり、前記オリジナルの視野の少なくとも部分的に外にある画素領域の少なくとも幾つかは、スプライトとして符号化される、
請求項１記載の方法。
ｆ）前記第二の視野における十分ではない画素の位置のマッピングに関して前記選択された画像データを処理するステップを更に有する、
請求項１記載の方法。
前記処理するステップは、１方向に画像を伸張するステップ、非一様なズームファクタをもつ１方向で画像を伸張するステップ、２方向に画像を伸張するステップ、又は画像のサイドにブラックバーを提供するステップのいずれかを含む、
請求項５記載の方法。
前記処理するステップは、前記オリジナルの視野の外にある画素領域が前記第二の視野における提供のために手近にないか又は不十分である場合に、古いピクチャマテリアルを切り抜いて、後のピクチャマテリアルに貼り付けるステップを含む、
請求項５記載の方法。
前記処理するステップは、前記第二の視野のために欠けている画素がある場合に前記オリジナルの視野の外にある少なくとも画像の領域について幾何学的な画像変換を適用するステップを含む、
請求項５記載の方法。
前記幾何学的な画像変換は、既存の画素の外挿を使用して欠けている画素を満たすステップを含む、
請求項８記載の方法。
前記幾何学的な画像変換は、欠けている画素を満たすために境界の画素をコピーするステップを含む、
請求項８記載の方法。
前記処理するステップは、一方のレイヤのオブジェクトが他方のレイヤのオブジェクトに関して調節されるのを可能にするため、一方のレイヤの少なくとも画素の領域を少なくとも１つの他方のレイヤの画素に関してシフトするステップを含む、
請求項５記載の方法。
前記第一の視野は４：３のアスペクト比に対応し、前記第二の視野は１６：９のアスペクト比に対応する、
請求項１記載の方法。
前記第一の視野の外にある画素領域の値は、結合されたオブジェクトを含むストリームと異なる少なくとも１つの出力データストリームで提供される、
請求項２記載の方法。
画像データのフォーマットで提供されるイメージデータストリームの表示のサイズを変える画像処理装置であって、
当該装置は、表示されるべき第一のオリジナルの視野を有するイメージデータストリームの少なくとも１部を選択し、選択されたイメージデータからオリジナルの視野よりも大きい領域からの画素領域の値を取得するために構成される少なくとも１つの画像復号化ユニットを有し、
当該画像処理装置は、画像データが前記第二の視野を実質的にカバーする画素値を有するように、取得されたデータ及び値に基づいて、第二の視野に適合する表示されるべき画像を計算することで視野を変えるように構成される、
ことを特徴とする画像処理装置。
前記イメージデータストリームのオブジェクトは、異なるレイヤにおける画素として提供され、前記第一の視野の外にある画素領域は、少なくとも１つのレイヤで提供され、
画像データの表示を可能にする出力データストリームを提供するため、前記１つのレイヤを含むデコードされたイメージデータストリームの少なくとも幾つかのレイヤのオブジェクトを結合するために画像供給ユニットが構成される、
請求項１４記載の画像処理装置。
前記符号化されたストリームは、ＭＰＥＧ−４イメージデータストリームであり、前記オリジナルの視野の少なくとも部分的に外にある画素領域の少なくとも幾つかは、スプライトとして符号化される、
請求項１４記載の画像処理装置。
前記第二の視野における十分ではない画素の位置のマッピングに関して前記選択された画像データを処理するために画像拡大ユニットが構成される、
請求項１４記載の画像処理装置。
前記処理は、１方向に画像を伸張する手段、非一様なズームファクタをもつ１方向で画像を伸張する手段、２方向に画像を伸張する手段、又は画像のサイドにブラックバーを提供する手段のいずれかを有する、
請求項１７記載の画像処理装置。
前記処理は、前記オリジナルの視野の外にある画素領域が前記第二の視野における提供のために手近にないか又は不十分である場合に、古いピクチャマテリアルを切り抜いて、後のピクチャマテリアルに貼り付ける手段を有する、
請求項１７記載の画像処理装置。
前記処理は、前記第二の視野のために欠けている画素がある場合に前記オリジナルの視野の外にある少なくとも画像の領域について幾何学的な画像変換を適用する手段を有する、
請求項１７記載の画像処理装置。
前記幾何学的な画像変換は、既存の画素の外挿を使用して欠けている画素を満たす手段を有する、
請求項２０記載の画像処理装置。
前記幾何学的な画像変換は、欠けている画素を満たすために境界の画素をコピーする手段を有する、
請求項２０記載の画像処理装置。
前記処理は、一方のレイヤのオブジェクトが他方のレイヤのオブジェクトに関して調節されるのを可能にするため、一方のレイヤの少なくとも画素の領域を少なくとも１つの他方のレイヤの画素に関してシフトする手段を有する、
請求項１７記載の画像処理装置。
前記第一の視野は４：３のアスペクト比に対応し、前記第二の視野は１６：９のアスペクト比に対応する、
請求項１４記載の画像処理装置。
前記第一の視野の外にある画素領域の値は、結合されたオブジェクトを含むストリームと異なる少なくとも１つの出力データストリームで提供される、
請求項１４記載の画像処理装置。
イメージデータのフォーマットで提供されるイメージデータストリームの表示のサイズを変える画像表示装置であって、
当該装置は、
ディスプレイと、
表示されるべき第一のオリジナルの視野を有するイメージデータストリームの少なくとも１部を選択し、デコードされたイメージデータからオリジナルの視野よりも大きい領域からの画素領域の値を取得するために構成される少なくとも１つの画像復号化ユニットを有する画像処理装置とを有し、
前記画像処理装置は、第一の視野で表示されることが意図されたイメージデータは、第二の視野で表示されるように、取得されたデータ及び値に基づいて、視野を変えるために構成される、
ことを特徴とする画像表示装置。
イメージデータのフォーマットで提供されるイメージデータストリームの表示のサイズを変えるためにコンピュータで使用されるコンピュータプログラムプロダクトであって、
コンピュータプログラムコードがコンピュータにロードされたとき、表示されるべき第一のオリジナルの視野を有するイメージデータストリームを取得し、イメージデータストリームの少なくとも１部を選択し、
選択されたイメージデータから、オリジナルの視野よりも大きな領域からの画素領域の値を取得し、
第一の視野で表示されることが意図されたイメージデータが第二の視野で表示されるように、取得されたデータ及び値に基づいて、第二の視野に適合する表示されるべき画像を計算することで視野を変える、
ことをコンピュータに実行させるためのコンピュータプログラムコードを含む、
ことを特徴とするコンピュータプログラムプロダクト。