JP7217226B2 - グローバルな回転における動き補償画像を符号化する方法、デバイス及びストリーム - Google Patents

Description

１．技術分野
本開示は、没入型映像における動き補償の符号化の分野に関し、例えば、そのような没入型映像がバーチャルリアリティ、オーグメンテッドリアリティ又はオーグメンテッドバーチャリティに対してシステムで処理される際のもの、及び、例えば、頭部装着型表示デバイスで表示される際のものに関する。

２．背景
最近は、利用可能な広視野コンテンツ（最大３６０°）が増加している。そのようなコンテンツは、潜在的には、頭部装着型ディスプレイ、スマートグラス、ＰＣスクリーン、タブレット、スマートフォン及び同様のものなどの没入型表示デバイスでコンテンツを見ているユーザが完全に見ることができるものではない。それは、ある瞬間に、ユーザがコンテンツの一部しか見ることができないことを意味する。しかし、ユーザは、典型的には、頭の移動、マウスの移動、タッチスクリーン、音声及び同様のものなどの様々な手段によって、コンテンツ内でナビゲートすることができる。典型的には、このコンテンツを符号化及び復号することが望ましい。

３．概要
本原理の態様によれば、本開示は、画像シーケンスの第１の画像を符号化してストリームに埋め込む方法に関する。方法は、
－ 回転パラメータに従ってグローバルな回転における動き補償を第３の画像に適用することによって第２の画像を得ることであって、第３の画像が、圧縮プロセスのステップにおいて第１の画像を処理することによって得られる、得ることと、
－ 動き補償モジュールの入力画像として第２の画像を使用することによって、第１の画像及び関連回転パラメータを符号化してストリームに埋め込むことと
を含む。

特定の特性によれば、第３の画像は第１の画像であり、従って、グローバルな回転における動き補償は、圧縮ループの入力において第１の画像に直接適用される。

特定の実施形態によれば、第３の画像は、圧縮プロセスの間に、入力された第１の画像に応答して残差画像を得ることと、第１の画像に応答して動き予測画像を得ることとによって、上記第１の画像から得られ、第３の画像は、残差画像を動き予測画像に加えることによって得られる再構成された画像である。

また、本開示は、ストリームから画像シーケンスの第１の画像を復号する方法にも関する。方法は、
－ ストリームから関連付けられた第２の画像及び関連回転パラメータを得ることと、
－ 上記回転パラメータに従ってグローバルな回転における動き補償を第３の画像に適用することによって第１の画像を復号することと
を含む。第３の画像は、解凍プロセスの間に第２の画像から得られる動き補償モジュールの出力画像である。

特定の特性によれば、第３は、復号済みの第１の画像であり、従って、グローバルな動きの回転は、解凍ループの出力において復号済みの画像に適用される。

特定の実施形態によれば、第３の画像は、第２の画像に応答して残差画像を得ることと、第２の画像に応答して動き予測画像を得ることとによって得られ、第３の画像は、解凍プロセスの間に残差画像を動き予測画像に加えることによって得られる再構成された画像である。

また、本開示は、画像シーケンスを表すデータを運ぶビットストリームにも関する。データは、
・ 画像シーケンスを表す構文の第１の要素と、
・ 画像シーケンスの少なくとも１つの画像の識別子と関連付けられたパラメトリックなグローバルな回転における動きのパラメータを表す構文の第２の要素と
を含む。

また、本開示は、画像シーケンスの第１の画像を符号化してストリームに埋め込むデバイスにも関する。デバイスは、少なくとも１つのプロセッサと関連付けられたメモリを含み、少なくとも１つのプロセッサは、
－ 回転パラメータに従ってグローバルな回転における動き補償を第３の画像に適用することによって第２の画像を得ることであって、第３の画像が、圧縮プロセスのステップにおいて第１の画像を処理することによって得られる、得ることと、
－ 動き補償モジュールの入力画像として第２の画像を使用することによって、第１の画像及び関連回転パラメータを符号化してストリームに埋め込むことと
を行うように構成される。

特定の実施形態によれば、第３の画像は上記第１の画像であり、従って、グローバルな回転における動き補償は、圧縮ループの入力において第１の画像に直接適用される。

特定の実施形態によれば、第３の画像は、解凍プロセスの間に、第１の画像に応答して残差画像を得ることと、第１の画像に応答して動き予測画像を得ることとによって、第１の画像から得られ、第３の画像は、残差画像を動き予測画像に加えることによって得られる再構成された画像である。

また、本開示は、ストリームから画像シーケンスの第１の画像を復号するデバイスにも関する。デバイスは、少なくとも１つのプロセッサと関連付けられたメモリを含み、少なくとも１つのプロセッサは、
－ ストリームから第２の画像及び関連回転パラメータを得ることと、
－ 上記回転パラメータに従ってグローバルな回転における動き補償を第３の画像に適用することによって第１の画像を復号することと
を行うように構成される。第３の画像は、動き補償モジュールの出力画像であり、解凍プロセスの間のステップにおいて第２の画像から得られる。

４．図のリスト
添付の図面を参照する以下の説明を読み進めるにつれて、本開示がよりよく理解され、他の具体的な特徴及び利点が明らかになるであろう。

本開示の実施形態の例示的な環境による符号化及び復号システムの機能の概要を表す。 本原理の特定の実施形態によるシステムの第１の実施形態を表す。 本原理の特定の実施形態によるシステムの第１の実施形態を表す。 本原理の特定の実施形態によるシステムの第１の実施形態を表す。 本原理の特定の実施形態によるシステムの第１の実施形態を表す。 本原理の特定の実施形態によるシステムの第１の実施形態を表す。 本原理の特定の実施形態によるシステムの第１の実施形態を表す。 本開示によるシステムの第１の実施形態を表す。 本開示によるシステムの第１の実施形態を表す。 本開示による没入型映像レンダリングデバイスの第１の実施形態を表す。 本開示による没入型映像レンダリングデバイスの第１の実施形態を表す。 本開示による没入型映像レンダリングデバイスの第１の実施形態を表す。 本原理の特定の実施形態による、２つの異なるマッピング関数によるフレームへの全方向映像のマッピングの例を示す。 本原理の特定の実施形態による、パニング後の図１３の全方向映像のマッピングの例を示す。 本原理の特定の実施形態による、符号化予定の画像に応答して入力画像を動き補償することによって符号化予定の画像を符号化する方法を図示したものである。 本原理の特定の実施形態による、復号予定の画像に応答して入力画像を動き補償することによって画像シーケンスの画像を復号する方法を図示したものである。 本原理の特定の実施形態による、復号予定の画像に応答して入力画像を動き補償することによって画像シーケンスの画像を復号する別の方法を図示したものである。 本原理の特定の実施形態による、図１５の方法に従って符号化された画像シーケンスを表すデータを運ぶビットストリームのデータ構造の特定の実施形態を示す。 本原理の特定の実施形態による、図１５の方法１５０の第１の実施形態を示す。 本原理の特定の実施形態による、図１６の方法１６０の実施形態を示す。 本原理の特定の実施形態による、図１５の方法１５０の第２の実施形態を示す。 本原理の特定の実施形態による、図１７の方法１７０の実施形態を示す。 本原理の特定の実施形態による、図２４の方法のステップを実装して、符号化予定の画像に応答して入力画像を動き補償することによって画像シーケンスの画像を符号化するように構成されたデバイスの第１の実施形態のブロック図を示す。 本原理の特定の実施形態による、図２４に示される方法の第１の実施形態に従って符号化されたビットストリームを復号するように構成されたデバイスの実施形態を示す。 本原理の特定の実施形態による、図２６の方法のステップを実装して、符号化予定の画像に応答して入力画像を動き補償することによって画像シーケンスの画像を符号化するように構成されたデバイスの第２の実施形態のブロック図を示す。 本原理の特定の実施形態による、図２６に示される方法の第２の実施形態に従って符号化されたビットストリームを復号するように構成されたデバイスの実施形態を示す。 本原理の特定の実施形態による、図１５、１６、１７、１９、２０、２１又は２２に関連して説明された方法を実装するように構成された装置のハードウェア実施形態を示す。

５．実施形態の詳細な説明
ここでは、図面を参照して対象物について説明し、同様の参照番号は、全体を通じて、同様の要素を指すために使用される。以下の説明では、説明の目的で、対象物の完全な理解を提供するために、多くの具体的な詳細を記載する。対象物の実施形態は、これらの具体的な詳細がなくとも実践できることが理解されている。

広視野コンテンツは、数ある中でも特に、三次元コンピュータグラフィック画像シーン（３Ｄ ＣＧＩシーン）、ポイントクラウド又は没入型映像であり得る。そのような没入型映像を設計するため、例えば、バーチャルリアリティ（ＶＲ）、３６０、パノラマ、４π、ステラジアン、没入型、全方向又は広視野など、多くの用語を使用することができる。

没入型映像は、「規則的な」映像のような画素（すなわち、色情報の要素）の２次元アレイである少なくとも１つの長方形フレーム上の符号化済みの映像である。レンダリングするため、第１に、凸ボリューム（例えば、球体、立方体、ピラミッド）の内面（マッピング表面とも呼ばれる）にフレームがマッピングされ、第２に、バーチャルカメラによってこのボリュームの一部が捕捉される。バーチャルカメラによって捕捉された画像は、没入型表示デバイスのスクリーン上にレンダリングされる。立体映像は、１つ又は２つの長方形フレーム上で符号化され、２つのマッピング表面に投影され、２つのマッピング表面は、デバイスの特性に従って２つのバーチャルカメラによって捕捉するために組み合わされる。

画素は、フレームにおいてマッピング関数に従って符号化される。マッピング関数は、マッピング表面に依存する。同じマッピング表面の場合、いくつかのマッピング関数が可能である。例えば、立方体の面は、フレーム表面内の異なるレイアウトに従って構築され得る。球体は、例えば、正距円筒投影又は心射投影に従ってマッピングすることができる。選択された投影関数から得られた画素の組織は、線の連続性、直交局部フレーム、画素密度を修正又は破壊し、時間及び空間における周期性を導入する。これらは、映像の符号化及び復号に使用される典型的な特徴である。符号化及び復号方法では、没入型映像の特定性への考慮不足が見られる。実際に、没入型映像は３６０°映像であるため、例えば、パニングは、シーンのコンテンツは変化しないが大量のデータの符号化を必要とする動き及び不連続性を導入する。映像フレームを符号化及び復号する間に没入型映像の特定性を考慮することにより、最先端の方法に対して貴重な利点がもたらされることになる。

図１は、例示的な実施形態による符号化及び復号システムの一般的な概要を示す。図１のシステムは、機能システムである。前処理モジュール３００は、符号化デバイス４００による符号化のコンテンツを準備することができる。前処理モジュール３００は、複数画像の取得、取得した複数画像を共通の空間（典型的には、方向を符号化する場合は３Ｄ球体）にマージすること、及び、例えば、これらに限定されないが、正距円筒マッピング又は立方体マッピングを使用して、３Ｄ球体を２Ｄフレームにマッピングすることを実行することができる。また、前処理モジュール３００は、特定のフォーマット（例えば、正距円筒）の全方向映像を入力として受け取り、符号化により適したフォーマットにマッピングを変更するために映像を前処理することもできる。取得した映像データ表現に応じて、前処理モジュール３００は、マッピング空間変更を実行することができる。符号化デバイス４００及び符号化方法は、本明細書の他の図に関して説明する。符号化した後、データ（例えば、没入型映像データを符号化することができる又は３Ｄ ＣＧＩ符号化済みのデータ）は、ネットワークインタフェース５００に送信され、ネットワークインタフェース５００は、典型的には、いかなるネットワークインタフェースでも実装することができる（例えば、ゲートウェイに存在する）。次いで、データは、インターネットなどの通信ネットワークを通じて送信されるが、他のいかなるネットワークも想定することができる。次いで、データは、ネットワークインタフェース６００を介して受信される。ネットワークインタフェース６００は、ゲートウェイ、テレビ、セットトップボックス、頭部装着型表示デバイス、イマーシブ（投影型）ウォール又は任意の没入型映像レンダリングデバイスにおいて実装することができる。受信後、データは、復号デバイス７００に送信される。復号機能は、以下の図２～１２で説明される処理機能のうちの１つである。次いで、復号済みのデータは、プレーヤ８００によって処理される。プレーヤ８００は、レンダリングデバイス９００用にデータを準備し、センサ又はユーザ入力データからの外部データを受信することができる。より正確には、プレーヤ８００は、レンダリングデバイス９００によって表示される予定の映像コンテンツの一部を準備する。復号デバイス７００及びプレーヤ８００は、単一のデバイス（例えば、スマートフォン、ゲームコンソール、ＳＴＢ、タブレット、コンピュータなど）に統合することができる。変形形態では、プレーヤ８００は、レンダリングデバイス９００に統合される。

例えば、没入型映像をレンダリングする際、没入型表示デバイスの復号、再生及びレンダリング機能を実行するために、いくつかのタイプのシステムを想像することができる。

オーグメンテッドリアリティ、バーチャルリアリティ又はオーグメンテッドバーチャリティコンテンツを処理する第１のシステムは、図２～６に示されている。そのようなシステムは、処理機能、没入型映像レンダリングデバイス（例えば、頭部装着型ディスプレイ（ＨＭＤ）、タブレット又はスマートフォンであり得る）を含み、センサを含む場合もある。また、没入型映像レンダリングデバイスは、表示デバイスと処理機能との間に追加のインタフェースモジュールを含み得る。処理機能は、１つ又はいくつかのデバイスによって実行することができる。処理機能を没入型映像レンダリングデバイスに組み込むことも、処理機能を１つ又はいくつかの処理デバイスに組み込むこともできる。処理デバイスは、１つ又はいくつかのプロセッサや、没入型映像レンダリングデバイスとの通信インタフェース（無線又は有線通信インタフェースなど）を含む。

また、処理デバイスは、直接又はネットワークデバイス（ホーム若しくはローカルゲートウェイなど）を通じて、インターネットなどのワイドアクセスネットワーク及びクラウド上に位置するアクセスコンテンツとの第２の通信インタフェースも含み得る。また、処理デバイスは、イーサネットタイプのローカルアクセスネットワークインタフェースなどの第３のインタフェースを通じてローカルストレージにアクセスすることもできる。実施形態では、処理デバイスは、１つ又はいくつかの処理ユニットを有するコンピュータシステムであり得る。別の実施形態では、処理デバイスは、没入型映像レンダリングデバイスに有線又は無線リンクを通じて接続することができるスマートフォンでも、没入型映像レンダリングデバイスのハウジングに挿入することができ、コネクタを通じて又は無線で没入型映像レンダリングデバイスと通信することができるスマートフォンでもあり得る。処理デバイスの通信インタフェースは、有線インタフェース（例えば、バスインタフェース、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース）又は無線インタフェース（ＩＥＥＥ８０２．１１インタフェース若しくはBluetooth（登録商標）インタフェースなど）であり得る。

処理機能が没入型映像レンダリングデバイスによって実行される際は、没入型映像レンダリングデバイスは、コンテンツを受信及び／又は送信するために、直接又はゲートウェイを通じてネットワークへのインタフェースと共に提供することができる。

別の実施形態では、システムは、没入型映像レンダリングデバイス及び処理デバイスと通信する補助デバイスを含む。そのような実施形態では、この補助デバイスは、処理機能の少なくとも１つを内包し得る。

没入型映像レンダリングデバイスは、１つ又はいくつかのディスプレイを含み得る。デバイスは、そのディスプレイの各々の前でレンズなどの光学系を採用することができる。また、ディスプレイは、スマートフォン又はタブレットの事例のように、没入型表示デバイスの一部でもあり得る。別の実施形態では、ディスプレイ及び光学系は、ユーザが着用することができるヘルメット、眼鏡又はバイザに埋め込むことができる。また、没入型映像レンダリングデバイスは、後に説明されるように、いくつかのセンサを統合することもできる。また、没入型映像レンダリングデバイスは、いくつかのインタフェース又はコネクタも含み得る。没入型映像レンダリングデバイスは、センサ、処理機能、ハンドヘルド又は他のボディ部分関連のデバイス又はセンサと通信するために、１つ又はいくつかの無線モジュールを含む場合もある。

また、没入型映像レンダリングデバイスは、処理機能も含み得、処理機能は、１つ又はいくつかのプロセッサによって実行され、コンテンツを復号するように又はコンテンツを処理するように構成される。本明細書では、コンテンツを処理することにより、すべての機能が表示できるコンテンツを準備することが理解されている。このことは、例えば、コンテンツを復号すること、コンテンツを表示する前にコンテンツをマージすること及び表示デバイスに適合するようにコンテンツを修正することを含み得る。

没入型コンテンツレンダリングデバイスの１つの機能は、仮想ボリュームとして構築されたコンテンツの少なくとも一部を捕捉するバーチャルカメラを制御することである。システムは、バーチャルカメラの姿勢を処理するためにユーザの姿勢（例えば、ユーザの頭の姿勢）を完全に又は部分的に追跡する姿勢追跡センサを含み得る。いくつかの測位センサは、ユーザの移動を追跡することができる。また、システムは、例えば、照明、温度又は音の状態を測定するために、環境に関連する他のセンサも含み得る。また、そのようなセンサは、例えば、発汗又は心拍数を測定するために、ユーザの身体にも関連し得る。これらのセンサを通じて取得された情報は、コンテンツを処理するために使用することができる。また、システムは、ユーザ入力デバイス（例えば、マウス、キーボード、リモートコントロール、ジョイスティック）も含み得る。ユーザ入力デバイスからの情報は、コンテンツを処理するため、ユーザインタフェースを管理するため又はバーチャルカメラの姿勢を制御するために使用することができる。センサ及びユーザ入力デバイスは、有線又は無線通信インタフェースを通じて、処理デバイス及び／又は没入型レンダリングデバイスと通信する。

図２～６を使用すると、オーグメンテッドリアリティ、バーチャルリアリティ、オーグメンテッドバーチャリティ、又は、オーグメンテッドリアリティからバーチャルリアリティまでの任意のコンテンツを表示するこの第１のタイプのシステムのいくつかの実施形態が説明されている。

図２は、没入型映像を復号、処理及びレンダリングするように構成されたシステムの特定の実施形態を示す。システムは、没入型映像レンダリングデバイス１０、センサ２０、ユーザ入力デバイス３０、コンピュータ４０及びゲートウェイ５０（任意選択の）を含む。

図１０に示される没入型映像レンダリングデバイス１０は、ディスプレイ１０１を含む。ディスプレイは、例えば、ＯＬＥＤ又はＬＣＤタイプのものである。没入型映像レンダリングデバイス１０は、例えば、ＨＭＤ、タブレット又はスマートフォンである。デバイス１０は、タッチ面１０２（例えば、タッチパッド若しくは触覚スクリーン）、カメラ１０３、少なくとも１つのプロセッサ１０４に接続されたメモリ１０５及び少なくとも１つの通信インタフェース１０６を含み得る。少なくとも１つのプロセッサ１０４は、センサ２０から受信された信号を処理する。センサからの測定値のいくつかは、デバイスの姿勢を演算するため及びバーチャルカメラを制御するために使用される。姿勢推定のために使用されるセンサは、例えば、ジャイロスコープ、加速度計又はコンパスである。また、より複雑なシステム（例えば、カメラのリグを使用する）を使用することもできる。この事例では、少なくとも１つのプロセッサは、デバイス１０の姿勢を推定するために、画像処理を実行する。他のいくつかの測定値は、環境状態又はユーザの反応に従ってコンテンツを処理するために使用される。環境及びユーザを観察するために使用されるセンサは、例えば、マイクロフォン、光センサ又は接触センサである。また、例えば、ユーザの目を追跡する映像カメラのような、より複雑なシステムを使用することもできる。この事例では、少なくとも１つのプロセッサは、予想される測定を操作するために、画像処理を実行する。また、センサ２０及びユーザ入力デバイス３０からのデータは、コンピュータ４０に送信することもでき、コンピュータ４０は、これらのセンサの入力に従ってデータを処理する。

メモリ１０５は、プロセッサ１０４用のパラメータ及びコードプログラム命令を含む。また、メモリ１０５は、センサ２０及びユーザ入力デバイス３０から受信されたパラメータも含み得る。通信インタフェース１０６は、没入型映像レンダリングデバイスがコンピュータ４０と通信できるようにする。処理デバイスの通信インタフェース１０６は、有線インタフェース（例えば、バスインタフェース、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース）又は無線インタフェース（ＩＥＥＥ８０２．１１インタフェース若しくはBluetooth（登録商標）インタフェースなど）であり得る。コンピュータ４０は、データを送信し、任意選択により、没入型映像レンダリングデバイス１０に対するコマンドを制御する。コンピュータ４０は、データの処理を担当する（すなわち、没入型映像レンダリングデバイス１０による表示用にデータを準備する）。処理をコンピュータ４０によって排他的に行うことも、処理の一部をコンピュータによって行い、別の部分を没入型映像レンダリングデバイス１０によって行うこともできる。コンピュータ４０は、直接又はゲートウェイ若しくはネットワークインタフェース５０を通じて、インターネットに接続される。コンピュータ４０は、インターネットから没入型映像を表すデータを受信し、これらのデータを処理し（例えば、データを復号し、場合により、没入型映像レンダリングデバイス１０によって表示される予定の映像コンテンツの一部を準備する）、表示のために処理済みのデータを没入型映像レンダリングデバイス１０に送信する。また、変形形態では、システムは、没入型映像を表すデータが格納されたローカルストレージ（表示せず）も含み得、上記ローカルストレージは、コンピュータ４０上、又は、例えば、ローカルエリアネットワークを通じてアクセス可能なローカルサーバ（表示せず）上のものであり得る。

図３は、第２の実施形態を表す。この実施形態では、ＳＴＢ ９０は、直接（すなわち、ＳＴＢ ９０はネットワークインタフェースを含む）又はゲートウェイ５０を介して、インターネットなどのネットワークに接続されている。ＳＴＢ ９０は、テレビ１００又は没入型映像レンダリングデバイス２００などのレンダリングデバイスに無線インタフェースを通じて又は有線インタフェースを通じて接続される。ＳＴＢの古典的な機能に加えて、ＳＴＢ ９０は、テレビ１００又は任意の没入型映像レンダリングデバイス２００上でレンダリングするために映像コンテンツを処理する処理機能を含む。これらの処理機能は、コンピュータ４０に対して説明されるものと同じであり、ここでは、再度説明することはしない。また、センサ２０及びユーザ入力デバイス３０は、図２に関して以前に説明されるものと同じタイプのものである。ＳＴＢ ９０は、インターネットから没入型映像を表すデータを得る。変形形態では、ＳＴＢ ９０は、没入型映像を表すデータが格納されたローカルストレージ（表示せず）から没入型映像を表すデータを得る。

図４は、図２で表されるものに関連する第３の実施形態を表す。ゲームコンソール６０は、コンテンツデータを処理する。ゲームコンソール６０は、データを送信し、任意選択により、没入型映像レンダリングデバイス１０に対するコマンドを制御する。ゲームコンソール６０は、没入型映像を表すデータを処理し、表示のために処理済みのデータを没入型映像レンダリングデバイス１０に送信するように構成される。処理をゲームコンソール６０によって排他的に行うことも、処理の一部を没入型映像レンダリングデバイス１０によって行うこともできる。

ゲームコンソール６０は、直接又はゲートウェイ若しくはネットワークインタフェース５０を介して、インターネットに接続される。ゲームコンソール６０は、インターネットから没入型映像を表すデータを得る。変形形態では、ゲームコンソール６０は、没入型映像を表すデータが格納されたローカルストレージ（表示せず）から没入型映像を表すデータを得て、上記ローカルストレージは、ゲームコンソール６０上、又は、例えば、ローカルエリアネットワークを通じてアクセス可能なローカルサーバ（表示せず）上のものであり得る。

ゲームコンソール６０は、インターネットから没入型映像を表すデータを受信し、これらのデータを処理し（例えば、データを復号し、場合により、表示される予定の映像の一部を準備する）、表示のために処理済みのデータを没入型映像レンダリングデバイス１０に送信する。ゲームコンソール６０は、センサ２０及びユーザ入力デバイス３０からデータを受信し、それらのデータを使用して、インターネットから又はローカルストレージから得られた没入型映像を表すデータを処理することができる。

図５は、上記第１のタイプのシステムの第４の実施形態を表し、没入型映像レンダリングデバイス７０は、ハウジング７０５に挿入されたスマートフォン７０１によって形成される。スマートフォン７０１は、インターネットに接続することができ、従って、インターネットから没入型映像を表すデータを得ることができる。変形形態では、スマートフォン７０１は、没入型映像を表すデータが格納されたローカルストレージ（表示せず）から没入型映像を表すデータを得て、上記ローカルストレージは、スマートフォン７０１上、又は、例えば、ローカルエリアネットワークを通じてアクセス可能なローカルサーバ（表示せず）上のものであり得る。

没入型映像レンダリングデバイス７０は、没入型映像レンダリングデバイス７０の好ましい実施形態を与える図１１を参照して説明される。没入型映像レンダリングデバイス７０は、任意選択により、少なくとも１つのネットワークインタフェース７０２及びスマートフォン７０１用のハウジング７０５を含む。スマートフォン７０１は、スマートフォン及びディスプレイのすべての機能を含む。スマートフォンのディスプレイは、没入型映像レンダリングデバイス７０ディスプレイとして使用される。従って、スマートフォン７０１のディスプレイ以外のディスプレイは含まない。しかし、スマートフォンディスプレイ上でデータを見るために、レンズなどの光学系７０４が含まれる。スマートフォン７０１は、場合により、センサ２０から及びユーザ入力デバイス３０から受信されたデータに従って、没入型映像を表すデータを処理する（例えば、復号し、表示用に準備する）ように構成される。センサからの測定値のいくつかは、デバイスの姿勢を演算するため及びバーチャルカメラを制御するために使用される。姿勢推定のために使用されるセンサは、例えば、ジャイロスコープ、加速度計又はコンパスである。また、より複雑なシステム（例えば、カメラのリグを使用する）を使用することもできる。この事例では、少なくとも１つのプロセッサは、デバイス１０の姿勢を推定するために、画像処理を実行する。他のいくつかの測定値は、環境状態又はユーザの反応に従ってコンテンツを処理するために使用される。環境及びユーザを観察するために使用されるセンサは、例えば、マイクロフォン、光センサ又は接触センサである。また、例えば、ユーザの目を追跡する映像カメラのような、より複雑なシステムを使用することもできる。この事例では、少なくとも１つのプロセッサは、予想される測定を操作するために、画像処理を実行する。

図６は、上記第１のタイプのシステムの第５の実施形態を表し、没入型映像レンダリングデバイス８０は、データコンテンツを処理して表示するすべての機能を含む。システムは、没入型映像レンダリングデバイス８０、センサ２０及びユーザ入力デバイス３０を含む。没入型映像レンダリングデバイス８０は、場合により、センサ２０から及びユーザ入力デバイス３０から受信されたデータに従って、没入型映像を表すデータを処理する（例えば、復号し、表示用に準備する）ように構成される。没入型映像レンダリングデバイス８０は、インターネットに接続することができ、従って、インターネットから没入型映像を表すデータを得ることができる。変形形態では、没入型映像レンダリングデバイス８０は、没入型映像を表すデータが格納されたローカルストレージ（表示せず）から没入型映像を表すデータを得て、上記ローカルストレージは、レンダリングデバイス８０上、又は、例えば、ローカルエリアネットワークを通じてアクセス可能なローカルサーバ（表示せず）上のものであり得る。

没入型映像レンダリングデバイス８０は、図１２に示される。没入型映像レンダリングデバイスは、ディスプレイ８０１を含む。ディスプレイは、例えば、ＯＬＥＤ又はＬＣＤタイプのもの、タッチパッド（任意選択の）８０２、カメラ（任意選択の）８０３、少なくとも１つのプロセッサ８０４に接続されたメモリ８０５及び少なくとも１つの通信インタフェース８０６であり得る。メモリ８０５は、プロセッサ８０４用のパラメータ及びコードプログラム命令を含む。また、メモリ８０５は、センサ２０及びユーザ入力デバイス３０から受信されたパラメータも含み得る。また、メモリは、没入型映像コンテンツを表すデータを格納できるほど十分に大容量のものでもあり得る。このため、いくつかのタイプのメモリが存在し得、メモリ８０５は、単一のメモリでも、いくつかのタイプのストレージ（ＳＤカード、ハードディスク、揮発性又は不揮発性メモリ…）でもあり得る。通信インタフェース８０６は、没入型映像レンダリングデバイスがインターネットネットワークと通信できるようにする。プロセッサ８０４は、ディスプレイ８０１に映像を表示するために、映像を表すデータを処理する。カメラ８０３は、画像処理ステップの環境の画像を捕捉する。データは、没入型映像レンダリングデバイスを制御するために、このステップから抽出される。

オーグメンテッドリアリティ、バーチャルリアリティ又はオーグメンテッドバーチャリティコンテンツを処理する第２のシステムは、図７～９に示される。そのようなシステムは、イマーシブウォールを含む。

図７は、第２のタイプのシステムを表す。第２のタイプのシステムは、コンピュータ４０００からデータを受信するイマーシブ（投影型）ウォールであるディスプレイ１０００を含む。コンピュータ４０００は、インターネットから没入型映像データを受信することができる。コンピュータ４０００は、通常は、直接又はゲートウェイ５０００若しくはネットワークインタフェースを通じて、インターネットに接続される。変形形態では、没入型映像データは、コンピュータ４０００によって、没入型映像を表すデータが格納されたローカルストレージ（表示せず）から得て、上記ローカルストレージは、コンピュータ４０００内、又は、例えば、ローカルエリアネットワークを通じてアクセス可能なローカルサーバ（表示せず）内のものであり得る。

また、このシステムは、センサ２０００及びユーザ入力デバイス３０００も含み得る。イマーシブウォール１０００は、ＯＬＥＤ又はＬＣＤタイプのものであり得る。イマーシブウォール１０００は、１つ又はいくつかのカメラを装備し得る。イマーシブウォール１０００は、センサ２０００（又は複数のセンサ２０００）から受信されたデータを処理することができる。センサ２０００から受信されたデータは、照明状態、温度、ユーザの環境（例えば、物体の位置）に関連し得る。

また、イマーシブウォール１０００は、ユーザ入力デバイス３０００から受信されたデータを処理することもできる。ユーザ入力デバイス３０００は、ユーザの感情に対するフィードバックを与えるために、触力覚信号などのデータを送信する。ユーザ入力デバイス３０００の例は、スマートフォン、リモートコントロール及びジャイロスコープ機能を有するデバイスなどのハンドヘルドデバイスである。

また、センサ２０００及びユーザ入力デバイス３０００データは、コンピュータ４０００に送信することもできる。コンピュータ４０００は、これらのセンサ／ユーザ入力デバイスから受信されたデータに従って映像データを処理することができる（例えば、映像データを復号し、表示用に映像データを準備する）。センサ信号は、イマーシブウォールの通信インタフェースを通じて受信することができる。この通信インタフェースは、Bluetoothタイプのものでも、WIFIタイプのものでも、他のタイプの接続のものでもよく、好ましくは、無線のものであるが、有線接続でもよい。

コンピュータ４０００は、イマーシブウォール１０００に処理済みのデータを送信し、任意選択により、コマンドを制御する。コンピュータ４０００は、イマーシブウォール１０００によって表示される予定のデータを処理する（すなわち、表示用にデータを準備する）ように構成される。処理をコンピュータ４０００によって排他的に行うことも、処理の一部をコンピュータ４０００によって行い、別の部分をイマーシブウォール１０００によって行うこともできる。

図８は、第２のタイプの別のシステムを表す。システムは、イマーシブ（投影型）ウォール６０００を含み、イマーシブ（投影型）ウォール６０００は、映像コンテンツを処理し（例えば、データを復号し、表示用にデータを準備する）、表示するように構成される。システムは、センサ２０００、ユーザ入力デバイス３０００をさらに含む。

イマーシブウォール６０００は、インターネットからゲートウェイ５０００を通じて又はインターネットから直接、没入型映像データを受信する。変形形態では、没入型映像データは、イマーシブウォール６０００によって、没入型映像を表すデータが格納されたローカルストレージ（表示せず）から得て、上記ローカルストレージは、イマーシブウォール６０００内、又は、例えば、ローカルエリアネットワークを通じてアクセス可能なローカルサーバ（表示せず）内のものであり得る。

また、このシステムは、センサ２０００及びユーザ入力デバイス３０００も含み得る。イマーシブウォール６０００は、ＯＬＥＤ又はＬＣＤタイプのものであり得る。イマーシブウォール６０００は、１つ又はいくつかのカメラを装備し得る。イマーシブウォール６０００は、センサ２０００（又は複数のセンサ２０００）から受信されたデータを処理することができる。センサ２０００から受信されたデータは、照明状態、温度、ユーザの環境（例えば、物体の位置）に関連し得る。

また、イマーシブウォール６０００は、ユーザ入力デバイス３０００から受信されたデータを処理することもできる。ユーザ入力デバイス３０００は、ユーザの感情に対するフィードバックを与えるために、触力覚信号などのデータを送信する。ユーザ入力デバイス３０００の例は、スマートフォン、リモートコントロール及びジャイロスコープ機能を有するデバイスなどのハンドヘルドデバイスである。

イマーシブウォール６０００は、これらのセンサ／ユーザ入力デバイスから受信されたデータに従って映像データを処理することができる（例えば、映像データを復号し、表示用に映像データを準備する）。センサ信号は、イマーシブウォールの通信インタフェースを通じて受信することができる。この通信インタフェースは、Bluetoothタイプのものでも、WIFIタイプのものでも、他のタイプの接続のものでもよく、好ましくは、無線のものであるが、有線接続でもよい。イマーシブウォール６０００は、センサ及びインターネットと通信するために少なくとも１つの通信インタフェースを含み得る。

図９は、イマーシブウォールがゲームのために使用される第３の実施形態を示す。１つ又はいくつかのゲームコンソール７０００は、好ましくは、無線インタフェースを通じて、イマーシブウォール６０００に接続される。イマーシブウォール６０００は、インターネットからゲートウェイ５０００を通じて又はインターネットから直接、没入型映像データを受信する。変形形態では、没入型映像データは、イマーシブウォール６０００によって、没入型映像を表すデータが格納されたローカルストレージ（表示せず）から得て、上記ローカルストレージは、イマーシブウォール６０００内、又は、例えば、ローカルエリアネットワークを通じてアクセス可能なローカルサーバ（表示せず）内のものであり得る。

ゲームコンソール７０００は、命令及びユーザ入力パラメータをイマーシブウォール６０００に送信する。イマーシブウォール６０００は、表示用にコンテンツを準備するため、場合により、センサ２０００、ユーザ入力デバイス３０００及びゲームコンソール７０００から受信された入力データに従って没入型映像コンテンツを処理する。また、イマーシブウォール６０００は、表示予定のコンテンツを格納する内部メモリも含み得る。

本開示の非限定的な実施形態によれば、広視野映像の画像を符号化してストリームに埋め込む方法及びデバイスが開示される。また、ストリームから広視野映像の画像を復号する方法及びデバイスも開示される。また、広視野映像の画像を符号化するストリームの構文も開示される。

図１３は、２つの異なるマッピング関数によるフレームへの全方向映像のマッピングの例を示す。３Ｄシーン（ここでは、ホテルホール）は、球体のマッピング表面１３０に投影される。表面をフレームにマッピングするために前方方向が選択される。前方方向は、図２～１２で説明されるように、没入型映像レンダリングデバイス上でレンダリングする際にユーザの目の前に表示されたコンテンツ部分に相当し得る。図１３の例では、前方方向は、「Ａ」がプリントされているウィンドウに面している。「Ｂ」がプリントされている回転ドアは、前方方向の左側にある。図１の前処理モジュールは、フレームへの投影１３０のマッピングを実行する。異なるマッピング関数を使用して異なるフレームにつなげることができる。図１３の例では、前処理モジュール３００は、球体１３０に適用された正距円筒マッピング関数に従って、フレーム１３１のシーケンスを生成する。変形形態では、前処理モジュール３００は、マッピング空間変更を実行し、球体１３０を立方体１３２に変換し、その後、立方体レイアウト１３４に従って立方体１３２をフレーム１３３にマッピングする。図１３の例示的な立方体レイアウトは、フレームを３つの正方形を有する２つの行に分割する。上の行には、立方体の左面、前面及び右面が位置し、下の行には、立方体の９０°回転された上面、後面及び下面が位置する。連続性は、各行において保証される。立方体レイアウト１３４の表現の数値は、立方体のエッジの接続を表す。

１つ又は複数の長方形ピクチャへの３Ｄ表面のマッピングは、結果として得られた映像を符号化する際に、必然的に、圧縮効率に影響を及ぼし得るいくつかの影響を導入する。

実際に、投影は、以下の影響を導入し得る。
・ 強いジオメトリ歪み：
・ 直線はもはや真っ直ぐではない
・ 正規直交座標系はもはや正規直交ではない
・ 不均一な画素密度：符号化予定のピクチャの画素は、符号化予定の表面の同じ表面を常に表すとは限らない（例えば、球体のポールは、２Ｄ画像の画素の線によって表され得る）
・ 強い不連続性：ピクチャレイアウトは、表面上の２つの隣接する画素間において強い不連続性を導入し得る
・ ピクチャにおいて何らかの周期性が起こり得る（例えば、ある境界から反対側の境界にかけて）

表１は、様々なマッピング関数に対するそのような影響の例をリストする。これらの影響のいくつかは、図１３の映像フレーム１３１、１３３及び図１４のフレーム１４１、１４３に現れる。

図１４は、パニング後の図１３の全方向映像のマッピングの例を示す。３Ｄシーンの前方方向は回転されている（１４４）。３Ｄシーンは、図１３のものと同じであり、前方方向が回転されているだけである。図１４の例では、回転は、左側へのパニングに相当する。球体１４０の前方方向は、通路に面しており、「Ａ」がプリントされているウィンドウは、左面にあり、「Ｂ」がプリントされている回転ドアは、後面にある。正距円筒マッピング関数による球体１４０のマッピングは、映像フレーム１４１を生成する。変形形態では、前処理モジュールは、マッピング空間変更を実行し、球体１４０を立方体１４２に変換し、その後、図１３の立方体レイアウト１３４に従って立方体１４２をフレーム１４３にマッピングする。マッピング表面の３Ｄ回転１４４は、オイラー角表記（α，β，γ）を使用して示される。（α（ｔ），β（ｔ），γ（ｔ））により、時刻（ｔ）における３Ｄシーンにおける前方方向の配向を示す。角度は、参照フレームに従って設定される。前方方向は、絶対参照フレーム（例えば、水平計画の北の方向）に従って表現することができる。変形形態では、画像と関連付けられた前方方向（グローバルな回転における動きパラメータとさらに呼ばれる）は、参照画像の前方方向に対して参照フレームにおいて設定される。そのような変形形態では、画像と関連付けられた角度は、それ自体の前方方向と参照画像の前方方向との差（例えば、減算）に相当する。

これらの角度は、現実又は仮想のものであり得る取得システムの配向に相当する。取得システムは、各フレームと関連付けて、前方方向の配向を表す角度を符号化モジュール４００に送信する。変形形態では、前方方向角度は、取得システムの回転が検出された際にのみ送信される。別の変形形態では、前方方向角度は、規則的な頻度で（例えば、１０フレームごとに又は２４フレームごとに）符号化モジュール４００に送信される。別の実施形態では、取得システムは回転しない。前方方向は、取得システムと符号化モジュール４００との中間の編集モジュール（図１では表示せず）によって管理される。編集モジュールは、選択された変形形態に従って、各フレームと関連付けて又は回転が検出される度に若しくは規則的な頻度で、人間オペレータ又はアルゴリズムによって修正された前方方向角度を符号化モジュール４００に送信する。別の実施形態では、前処理モジュール３００は、２つのマッピング済みの表面（例えば、球体１３０、１４０）又は選択されたマッピング関数に従って生成された２つのフレーム（例えば、フレーム１３１、１４１又は１３３、１４３）を比較することによって、前方方向角度を演算する。前方方向角度の変化は、フレームのグローバルな回転における動きに相当する。全方向映像の場合、シーン全体が捕捉されるため、グローバルな回転における動きは、画像のコンテンツ情報を修正しない。フレーム１３１、１４１（相互に、１３３、１４３）は、同じ３Ｄシーンを表し、異なる前方方向から符号化された同じ色情報（格子補間まで）を含む。しかし、ピクチャ１３１、１４１の画素は、大幅に異なる。グローバルな回転における動き（例えば、パニングのような）を含むフレームシーケンスの符号化（映像圧縮規格方法による）は、動きモデルの計算を含意し、演算上の要求が多く、符号化済みの３Ｄシーンは同じ状態のままであるが大量のデータが必要とされる。

ＨＥＶＣ、Ｈ．２６４／ＡＶＣなどの映像圧縮規格は、符号化予定の情報を低減するために、時間冗長性を利用する。それは、インター予測に基づき、インター予測は、前の瞬間又は他の瞬間に対応するピクチャの再構成されたブロックの動き補償（ＭＣ）を操作する。時刻ｔ_２におけるピクチャＰ_２の画素ｐ_２は、時刻ｔ_１におけるピクチャＰ_１の画素ｐ_１に相当する。
［ｅｑ１］ ｐ_２（ｘ_２，ｙ_２，ｔ_２）＝ｐ_１（ｘ_１，ｙ_１，ｔ_１）

Ｐ_１とＰ_２との間の画素の変位は、方程式ｅｑ２のように分解することができる。
［ｅｑ２］ ｐ_２（ｘ_２，ｙ_２，ｔ_２）-ｐ_１（ｘ_１，ｙ_１，ｔ_１）＝ｄｐ（ｔ_１，ｔ_２）＋ｇｍｃ（ｐ，ｔ_１，ｔ_２）
式中、ｐは、画素であり（すなわち、同じ画素としてのｐ_１及びｐ_２の識別）、ｄｐは、３Ｄシーンにおける物理的なポイントの適切な動きによる画素の見かけの動きであり、ｇｍｃは、グローバルな回転における動きによる画素の見かけの動きである。前方方向が回転すると、シーンが変わらない場合（すなわち、ｄｐ（ｔ_１，ｔ_２）＝（０，０））であっても、ピクチャの画素は著しく変化する。このことは、前方方向はシーンの対象の物体の方に向けられる場合が多く、参照フレームを回転させることによって視点を適応させるため、実際には、頻繁に起こる。

本原理の非限定的な実施形態の例では、入力画像に対するグローバルな回転における動き補償を操作することにより、新しい画像が生成される。グローバルな回転における動きパラメータ（例えば、入力画像と関連付けられた前方方向角度）は、第１の画像のグローバルな回転における動きパラメータと比較される（例えば、減算される）。入力画像の画素は、新しい画像が、第１の画像の前方方向で捕捉されているかのように、入力画像のコンテンツと同じコンテンツを表すように再編成される。この原理によれば、入力画像及び参照画像は、容易に比較できるという利点を有する。第１の変形形態では、入力画像は、圧縮ループ（例えば、ＨＥＶＣ又はＨ．２６４／ＡＶＣなどの圧縮規格の圧縮ループ）の参照画像であり、第１の画像は、符号化予定の画像である。別の変形形態では、入力画像は、符号化予定の画像であり、第１の画像は、圧縮ループの参照画像である。この実施形態は、非限定的である。

図１５は、符号化予定の画像Ｉ１に応答して入力画像Ｉ２を動き補償することによってシーケンス画像の画像Ｉ１を符号化する方法１５０を図示したものである。この方法は、図１の符号化モジュール４００において実装される。ステップ１５１では、画像Ｉ１は、グローバルな回転における動き補償ステップ１５２の入力画像Ｉ２になるように準備される。ステップ１５１の実施形態は、図１９及び２１に関連してさらに説明する。ステップ１５２では、以前に得られたグローバルな回転における動きパラメータＲＰ（すなわち、前方方向角度）に従ってグローバルな回転における動き補償が入力画像Ｉ２に適用される。ステップ１５２の実施形態は、図２４及び２６に関連してさらに説明する。ステップ１５２は、グローバルな回転における動き補償画像Ｉ３を生成する。ステップ１５３では、動き補償モジュールの入力として画像Ｉ３が使用され、動き補償モジュールは、予測画像に応答して、残差データ、ブロックに対する動きベクトル及び参照画像に対する情報データＩＤ１を生成する。本原理の特定の実施形態では、ステップ１５４は、符号化予定の画像を表すデータを運ぶビットストリームＳを生成する。グローバルな回転における動きパラメータＲＰは、ロスレス形式でストリーム内で符号化される。

図１６は、復号予定の画像に応答して入力画像を動き補償することによって画像シーケンスの画像を復号する方法１６０を図示したものである。データ供給源Ｓは、図１５の方法１５０の第１の実施形態（図２４によって示される）に従って符号化済みのビットストリームを提供する。例えば、データ供給源は、ローカルメモリ（例えば、ビデオメモリ、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、ハードディスクなど）、記憶装置インタフェース（例えば、大容量記憶装置、光ディスク又は磁気サポートとのインタフェース）、及び、通信インタフェース（例えば、有線インタフェース（例えば、バスインタフェース、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース）又は無線インタフェース（ＩＥＥＥ８０２．１１インタフェース若しくはBluetooth（登録商標）インタフェースなど））を含む供給源のセットに属する。ステップ１６１では、ストリームから画像Ｉ４が得られ、画像Ｉ４は、グローバルな回転における動き補償ステップ１６２の入力に相当する。グローバルな回転における動きパラメータは、ビットストリームから得られる。ステップ１６１の実施形態は、図２０に関連してさらに説明する。ステップ１６２では、グローバルな回転における動きパラメータＲＰに従ってグローバルな回転における動き補償を入力画像Ｉ４に適用することによって、画像Ｉ５が生成される。ステップ１６２の実施形態は、図２０に関連してさらに説明する。ステップ１６３では、動き補償モジュールの入力として画像Ｉ３が使用され、動き補償モジュールは、復号済みの画像Ｉ６を生成する。

図１７は、復号予定の画像に応答して入力画像を動き補償することによって画像シーケンスの画像を復号する方法１７０を図示したものである。データ供給源Ｓは、図１５の方法１５０の第２の実施形態（図２６によって説明される）に従って符号化済みのビットストリームを提供する。例えば、供給源は、ローカルメモリ（例えば、ビデオメモリ、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、ハードディスクなど）、記憶装置インタフェース（例えば、大容量記憶装置、光ディスク又は磁気サポートとのインタフェース）、及び、通信インタフェース（例えば、有線インタフェース（例えば、バスインタフェース、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース）又は無線インタフェース（ＩＥＥＥ８０２．１１インタフェース若しくはBluetooth（登録商標）インタフェースなど））を含む供給源のセットに属する。ステップ１７１では、復号予定の画像に応答して、残差データ、動きベクトル及び画像参照に対する情報データＩＤ２がビットストリームから得られ、グローバルな回転における動きパラメータがビットストリームから得られる。ステップ１７２では、残差画像を、情報データＩＤ２に従って得られた動き予測画像と加えることによって、画像Ｉ７が復号される。ステップ１７２の実施形態は、図２２に関連してさらに説明する。ステップ１７３では、グローバルな回転における動きパラメータに従って復号済みの画像Ｉ７にグローバルな回転における動き補償を適用することによって画像Ｉ８が生成される。ステップ１７３の実施形態は、図２２に関連してさらに説明する。

図２４は、図１５の方法１５０の第１の実施形態を示す。この方法では、ＨＥＶＣ、Ｈ．２６４／ＡＶＣなどの映像圧縮規格に従って圧縮ループが開始される。シーケンスの画像のいくつかは、参照画像として使用され、メモリに格納される。方法１５０のステップ１５１は、この実施形態では、３つのサブステップ２４１、２４２、２４３を含む。ステップ２４１では、符号化予定の画像を参照画像と比較する（例えば、減算する）ことによって残差画像が計算される。周知のプロセスによれば、ステップ２４２では、動き予測画像を得るために動き推定プロセスが使用される。プロセスは、符号化予定の画像の画素と参照画像の画素との間で演算されたエラーを最小化するため又はレート歪みコストのような別の計量を最小化するために、参照画像において、動きベクトルなどの動きデータを検索する。ステップ２４３では、残差画像と動き予測画像とを加えることによって、再構成された画像が生成される。ステップ２４３の出力は、ステップ１５１の出力に相当する。ステップ１５２では、符号化予定の画像のＧＲＭパラメータに従って、参照画像に対してグローバルな回転における動き補償が行われる。変形形態では、画像に対して、符号化予定の画像のＲＭパラメータと参照画像のＧＲＭパラメータとの角度差の補償が行われる。ステップ１５３は、グローバルな回転における動き補償参照画像に従って、符号化予定の画像を動き補償することを含む。参照画像はグローバルな回転における動き補償が行われているため、ステップ１５３が促進され、計算済みの動きモデルは、少量のビットの符号化しか必要としない。ステップ１５４では、準備された符号化予定の画像がエントロピー符号化される。シーケンスのエントロピー符号化済みの画像は、ビットストリーム１８０の構文の第１の要素を形成し、ビットストリーム１８０の構文の第１の要素は、ビットストリーム１８０のペイロード部分１８２に格納される。グローバルな回転における動きパラメータは、ビットストリームの構文の第２の要素に含まれ、構文の上記第２の要素は、ビットストリーム１８０のヘッダ部分１８１に含まれる。ヘッダ部分１８１は、ロスレス形式で符号化される。

図２５は、図１６の方法１６０の実施形態を示す。この方法では、ＨＥＶＣ、Ｈ．２６４／ＡＶＣなどの映像圧縮規格に従って解凍ループが開始される。方法１６０のステップ１６１は、この実施形態では、２つのサブステップ２５１、２５２を含む。ステップ２５１では、残差画像がエントロピー復号され、動きモデルがビットストリームから得られる。動き予測画像は、動きモデルに従って計算される。ビットストリームから抽出された画像のいくつかは、参照画像として使用され、メモリに格納される。復号予定の画像に応答して、例えば、残差画像と動き補償画像とを加えることによって、画像が再構成される。ステップ２５２では、復号予定の画像と関連付けられたＧＲＭパラメータがビットストリームから得られる。また、メモリに格納された参照画像も、以前に復号された画像として、それらのＧＲＭパラメータと関連付けられる。ステップ１６２では、復号予定の画像のＧＲＭパラメータに従って、復号予定の画像と関連付けられた参照画像に対してグローバルな回転における動き補償が行われる。変形形態では、画像に対して、符号化予定の画像のＲＭパラメータと参照画像のＧＲＭパラメータとの角度差の補償が行われる。ステップ１６３は、グローバルな回転における動き補償参照画像に従って、復号予定の画像を動き補償することを含む。参照画像はグローバルな回転における動き補償が行われているため、ステップ１６３が促進される。

図２６は、図１５の方法１５０の第２の実施形態を示す。方法１５０のこの実施形態では、ステップ１５１は、符号化予定のフレーム及び画像と関連付けられたＧＲＭパラメータを得ることである。圧縮ループが開始されており、画像シーケンスのいくつかの画像が選択されており、参照画像を有し、メモリに格納される。また、参照画像も、ＧＲＭパラメータと関連付けられる。ステップ１５２では、符号化予定の画像は、入力画像として使用され、関連付けられたＧＲＭパラメータに従ってグローバルな回転における動き補償が行われる。画像は、例えば、ある角度だけ回転され、その角度は、ＧＲＭパラメータに含まれており、絶対参照方向（例えば、水平平面の北の方向）に従って定義される。変形形態では、符号化予定の画像は、メモリに格納された参照画像と関連付けられ、符号化予定の画像のＧＲＭパラメータと参照画像のＧＲＭパラメータとの差に従って計算された角度だけ回転される。ステップ１５３では、ステップ１５２で出力された画像は、ＨＥＶＣ、Ｈ．２６４／ＡＶＣなどの映像圧縮規格に従って構成された圧縮ループに入る。動き補償ステップが実行される。周知のプロセスによれば、動き推定は、符号化予定の画像Ｉ１の画素と参照画像Ｉ３の画素との間で演算されたエラーを最小化するため又はレート歪みコストのような別の計量を最小化するために、参照画像Ｉ３において、動きベクトルなどの動きデータを検索する。符号化予定の画像Ｉ１はステップ１５２においてグローバルな回転における動き補償が行われているため、動きデータの検索が促進され、符号化に必要とされるデータのボリュームは小さい。ステップ１５４では、準備された符号化予定の画像がエントロピー符号化される。シーケンスのエントロピー符号化済みの画像は、ビットストリーム１８０の構文の第１の要素を形成し、ビットストリーム１８０の構文の第１の要素は、ビットストリーム１８０のペイロード部分１８２に格納される。グローバルな回転における動きパラメータは、ビットストリームの構文の第２の要素に含まれ、構文の上記第２の要素は、ビットストリーム１８０のヘッダ部分１８１に含まれる。ヘッダ部分１８１は、ロスレス形式で符号化される。

図２７は、図１７の方法１７０の実施形態を示す。データ供給源Ｓは、図１５の方法１５０の第２の実施形態（図２６によって説明される）によって符号化済みのビットストリームを提供する。この方法では、ＨＥＶＣ、Ｈ．２６４／ＡＶＣなどの映像圧縮規格に従って解凍ループが開始されている。少なくとも１つの参照画像の解凍及び復号は既に実行されている。少なくとも１つの参照画像は、メモリに格納され、データ供給源Ｓから抽出されたＧＲＭパラメータと関連付けられる。ステップ１７１では、復号予定の画像に応答して、残差データ、動きベクトル及びグローバルな回転における動きパラメータに対する情報データがビットストリームから得られる。ステップ１７２では、残差画像を、情報データに従って得られた動き予測画像と加えることによって、画像が復号される。復号予定の画像は、メモリに格納された参照画像に関連する動き補償プロセスを含む周知の解凍プロセスに従って再構成される。ステップ１７３では、再構成された画像は、復号予定の画像と関連付けられたグローバルな回転における動きパラメータに従ってグローバルな回転における動き補償が行われる。再構成された画像は、復号予定の画像と関連付けられたＧＲＭパラメータによって符号化された絶対角度値（例えば、局所的な水平平面の北の方向を使用した参照フレームにおける）に相当する三次元角度だけ回転される。変形形態では、再構成された画像は、そのＧＲＭパラメータにおいて符号化された角度と復号予定の画像の再構成に使用された参照画像と関連付けられたＧＲＭパラメータにおいて符号化された角度との差に相当する三次元角度だけ回転される。

図１８は、図１５の方法１５０に従って符号化された画像シーケンスを表すデータを運ぶビットストリーム１８０のデータ構造の特定の実施形態を示す。シーケンスのエントロピー符号化済みの画像は、ビットストリーム１８０の構文の第１の要素を形成し、ビットストリーム１８０の構文の第１の要素は、ビットストリーム１８０のペイロード部分１８２に格納される。グローバルな回転における動きパラメータは、ビットストリームの構文の第２の要素に含まれ、構文の上記第２の要素は、ビットストリーム１８０のヘッダ部分１８１に含まれる。ヘッダ部分１８１は、ロスレス形式で符号化される。

図１９は、符号化予定の画像に応答して入力画像を動き補償することによって画像シーケンスの画像を符号化するデバイスの第１の実施形態のブロック図を示す。図１９のデバイスのモジュールは、図２４の方法のステップを実装する。

時間予測に基づくコード化（すなわち、インターコード化）に関連するデバイスの機能モジュールのみが図１９に示されている。先行技術分野でよく知られている他のモジュール（図示せず）は、例えば、空間予測の有無にかかわらず、イントラコード化を実装する。

符号化予定の画像Ｉ１は、モジュール１９１によって入力として取り入れられ、モジュール１９１は、残差画像Ｉｒを生成するために、例えば、画素に基づいて、現在の画像Ｉ１から予測画像Ｉｐを抽出する。モジュール１９２は、残差画像Ｉｒを変換して定量化する。変換Ｔは、例えば、離散余弦変換（ＤＣＴ）、ブロックベースの変換又はウェーブレットベースの変換である。モジュール１９３は、逆動作（すなわち、逆量子化ＩＱに続いて逆変換ＩＴ）を実装する。モジュール１９４は、再構成された（エイリアス復号された）画像を生成するために、例えば、画素に基づいて、モジュール１９３から出力された画像と予測画像Ｉｐとをマージし、再構成された画像は、復号済みピクチャバッファ（ＤＰＢ）であるメモリ（モジュール１９５）に格納される。モジュール１９３は、画像Ｉ２を生成し、メモリ（モジュール１９５）に格納し、画像Ｉ２は、時間予測モジュールの参照入力画像として使用することができる。

モジュール１９６は、メモリ１９５に格納された参照入力画像Ｉ２及びグローバルな回転における動きパラメータ（前方方向の角度）を入力として取り入れる。現在の画像の各画素の見かけの動きは、さらなるモジュール１９７によって、グローバルな回転における動きが最初に適用された参照入力Ｉ２に従って計算される。符号化予定の現在の画像Ｉ１は、グローバルな回転における動きパラメータ（ＧＲＭパラメータ）（α（ｔ），β（ｔ），γ（ｔ））及びｍ（ｘ，ｙ）（このピクチャでは、画素）と関連付けられる。復号済みピクチャバッファ（モジュール１９５）ＧＲＭパラメータ（α（ｔ’），β（ｔ’），γ（ｔ’））及びｎ（ｘ’，ｙ’）からの再構成された画像Ｉ２は、このピクチャでは、画素である。グローバルな動き補償参照ピクチャは、Ｉ２の対応する画素を得るためにＩ１の各画素に動き補償を適用することによって再構成される（（ｘ，ｙ）→（ｘ’，ｙ’）として）。座標（ｘ’，ｙ’）は、グローバルな回転における動き補償を適用することによって計算される。ポイントＭｔ’が計算される。Ｍｔ’は、瞬間ｔにおいて画像Ｉ１の参照フレームにおいて表現される画素ｍ（ｘ，ｙ）を瞬間ｔ’における画像Ｉ１の参照フレームに投影したものに相当する。方程式［ｅｑ．３］は、軸システム変更変換を操作する。

式中、関数ｆ及びＰｒｏｊは、画像Ｉ１及びＩ２のマッピングに従って定義された関数であり、Ｒ_ｔは、ＧＲＭパラメータ（α（ｔ），β（ｔ），γ（ｔ））に従って計算された回転行列であり、Ｒ_ｔ’は、ＧＲＭパラメータ（α（ｔ’），β（ｔ’），γ（ｔ’））に従って計算された回転行列である。画素ｎ（ｘ’，ｙ’）は、方程式［ｅｑ．４］に従ってポイントＭｔ’を参照入力画像Ｉ２に投影することによって計算される。
［ｅｑ．４］ ｎ（ｘ’，ｙ’）＝ｆ^－１（Ｐｒｏｊ（Ｍ_ｔ’））

方程式［ｅｑ．５］は、瞬時のグローバルな回転における動き補償を表現する。図１９の実施形態の変形形態では、画像Ｉ１及びＩ２は、図１３の画像１３１及び図１４の画像１４１によって示されるような正距円筒マッピングに従って符号化される。正距円筒マッピングは、関数ｆ及びＰｒｏｊを以下のように定義する。

図１９に示されるデバイスの実施形態の変形形態では、画像Ｉ１及びＩ２は、図１３の画像１３３及び図１４の画像１４３によって示されるような図１３のレイアウト１３４を用いた立方体マッピングに従って符号化される。この事例では、関数ｆ及びＰｒｏｊは、以下のように定義される。

式中、ｗは、画像幅の３分の１であり、ｈは、画像の高さの半分である。逆関数ｆ^－１は、上記の方程式から明快である。

逆関数Ｐｒｏｊは、上記の方程式から明快である。

図１９に示されるモジュール１９７では、モジュール１５２から出力された画像Ｉ３対して動き補償及び予測が実行される。モジューク１９６は、符号化予定の画像Ｉ１とグローバルな回転における動き補償参照画像Ｉ３との間の少なくとも１つの動きベクトルを推定する。周知のプロセスによれば、動き推定は、符号化予定の画像Ｉ１の画素と参照画像Ｉ３の画素との間で演算されたエラーを最小化するため又はレート歪みコストのような別の計量を最小化するために、参照画像Ｉ３において、動きベクトルなどの動きデータを検索する。参照画像Ｉ３はモジュール１９６によってグローバルな回転における動き補償が行われているため、動きデータの検索が促進される。符号化予定の画像Ｉ１は、予測画像Ｉｐとして符号化される。

モジュール１９８は、数量データをエントロピー符号化してコード化済みのデータのビットストリームＳに埋め込む。このモジュールは、図１８に関連して説明されるようなストリームを生成する。ビットストリームの構文の第１の要素では、構文の要素は、ビットストリーム１８０のペイロード部分１８２を形成し、モジュールは、通常のＣＡＢＡＣ（コンテキスト適応型バイナリ算術コード化）を使用し、画像シーケンスを表すエントロピー符号化済みのデータを格納する。ビットストリーム１８０のヘッダ部分１８１を形成する構文の第２の要素では、モジュールは、数ある他のデータの中でも特に、画像の識別子と関連付けられたグローバルな回転における動きパラメータをロスレス形式で符号化する。

図２０は、図２４に示される方法１５０の第１の実施形態に従って符号化されたビットストリームＳを復号するように構成されたデバイスの実施形態を示す。ビットストリームＳは、画像シーケンスを表し、図１８及び１９に関連して説明されるような構文の２つの要素を含む。図２０のデバイスのモジュールは、図２５の方法のステップを実装する。

モジュール２０１は、復号予定のコード化済みの画像シーケンスに対する残差データ及び復号済みの画像の再構成に必要な構文要素（例えば、コード化モード、画像の符号化に使用されたマッピング、動きデータ又は重要なマップなど）をエントロピー復号するＣＡＢＡＣを実装する。また、モジュールは、各画像と関連付けて、グローバルな回転における動きパラメータを抽出することも行う。

変形形態によれば、図２０には示されていないが、動きデータを復号することは、動きを推定することを含む。復号予定の画像に対する復号済みの映像データは、モジュール２０２に送信され、モジュール２０２は、逆量子化に続いて逆変換を適用する。モジュール２０２は、図１９のモジュール１９３と同様である。モジュール２０２は、モジュール２０３にリンクされ、モジュール２０３は、復号予定の画像を表す復号済みの画像Ｉ６を生成するために、例えば、画素ごとに、モジュール２０２から出力された残差画像と予測画像Ｉｐとをマージする。また、再構成された画像Ｉ６は、メモリ２０４にも格納される。

モジュール２０５は、メモリ２０４に格納された参照入力画像Ｉ４、この画像Ｉ４と関連付けられたグローバルな回転における動きパラメータ及び復号予定の現在の画像と関連付けられたＧＲＭパラメータを入力として取り入れる。現在の画像の各画素の見かけの動きは、さらなるモジュール２０６によって、グローバルな回転における動きが最初に適用された参照入力Ｉ４に従って計算される。グローバルな動き補償参照ピクチャは、Ｉ５の対応する画素を得るためにＩ４の各画素に動き補償を適用することによって再構成される（（ｘ，ｙ）→（ｘ’，ｙ’）として）。座標（ｘ’，ｙ’）は、図１９のモジュール１９６に関連して説明されるように、グローバルな回転における動き補償を適用することによって計算される。関数ｆ、ｆ^－１、Ｐｒｏｊ及びＰｒｏｊ^－１は、画像の符号化に使用されたマッピングに従って選択される。

動き補償及び予測は、モジュール２０６によって、モジュール２０５から出力された画像Ｉ５に対して実行される。モジュール２０６は、復号予定の画像とグローバルな回転における動き補償参照画像Ｉ５との間の少なくとも１つの動きベクトルを推定する。周知のプロセスによれば、動き推定は、復号予定の画像の画素と参照画像Ｉ５の画素との間で演算されたエラー又はレート歪みコストのような別の計量を最小化するために、参照画像Ｉ５において、動きベクトルなどの動きデータを検索する。参照画像Ｉ５はモジュール２０５によってグローバルな回転における動き補償が行われているため、動きデータの検索が促進される。復号予定の画像は、予測画像Ｉｐとして符号化される。

図２１は、符号化予定の画像に応答して入力画像を動き補償することによって画像シーケンスの画像を符号化するように構成されたデバイスの第２の実施形態のブロック図を示す。図２１のデバイスのモジュールは、図２６の方法のステップを実装する。

モジュール２１１は、画像Ｉ１を得るように構成される。モジュール２１１は、グローバルな回転における動き参照パラメータ（例えば、シーケンスの第１の画像のＧＲＭパラメータ又はイントラ予測でのみコード化された最後の画像のＧＲＭパラメータ及び符号化予定の画像Ｉ１と関連付けられたＧＲＭパラメータ）に従って、図１９に関連して説明されるように、関数ｆ、ｆ^－１、Ｐｒｏｊ及びＰｒｏｊ^－１を適用することによってグローバルな回転における動き補償を実行する。画像Ｉ１は、参照画像の前方方向に従ってマッピングされる。参照画像とモジュール２１１から出力されたＧＲＭ補償画像Ｉ３との画素差は、シーンにおける物体の見かけの動きによるものであり、もはや前方方向の回転によるものではない。ＧＲＭ補償画像Ｉ３は、モジュール２１２の構造によって、先行技術の周知の方法に従って動き補償が行われ、モジュール２１３によって、エントロピー符号化される。モジュール２１３は、数量データをエントロピー符号化してコード化済みのデータのビットストリームＳに埋め込む。このモジュールは、図１８に関連して説明されるようなストリームを生成する。ビットストリームの構文の第１の要素では、構文の要素は、ビットストリーム１８０のペイロード部分１８２を形成し、モジュールは、通常のＣＡＢＡＣ（コンテキスト適応型バイナリ算術コード化）を使用し、画像シーケンスを表すエントロピー符号化済みのデータを格納する。ビットストリーム１８０のヘッダ部分１８１を形成する構文の第２の要素では、モジュールは、数ある他のデータの中でも特に、画像の識別子と関連付けられたグローバルな回転における動きパラメータをロスレス形式で符号化する。

図２２は、図２６に示される方法１５０の第２の実施形態に従って符号化されたビットストリームＳを復号するように構成されたデバイスの実施形態を示す。ビットストリームＳは、画像シーケンスを表し、図１８及び２１に関連して説明されるような構文の２つの要素を含む。図２２のデバイスのモジュールは、図２７の方法のステップを実装する。

モジュール２２１は、復号予定のコード化済みの画像シーケンスに対する残差データ及び復号済みの画像の再構成に必要な構文要素（例えば、コード化モード、画像の符号化に使用されたマッピング、動きデータ又は重要なマップなど）をエントロピー復号するＣＡＢＡＣを使用する。また、モジュールは、各画像と関連付けられたグローバルな回転における動きパラメータを抽出することも行う。変形形態によれば、図２０には示されていないが、動きデータを復号することは、動きを推定することを含む。復号予定の画像に対する復号済みの映像データは、モジュール２２２に送信され、モジュール２２２は、逆量子化に続いて逆変換を適用する。モジュール２２２は、図１９のモジュール１９３と同様である。モジュール２２２は、モジュール２２３にリンクされ、モジュール２２３は、復号予定の画像を表す復号済みの画像Ｉ７を生成するために、例えば、画素ごとに、ステップ２２２から出力された残差画像と予測画像Ｉｐとをマージする。また、再構成された画像Ｉ７は、メモリ２２４にも格納される。動き補償及び予測は、モジュール２２５によって、メモリ２２４から出力された画像に対して実行される。モジュール２２６は、復号予定の画像とグローバルな回転における動き補償参照画像との間の少なくとも１つの動きベクトルを推定する。周知のプロセスによれば、動き推定は、復号予定の画像の画素と参照画像の画素との間で演算されたエラー又はレート歪みコストのような他の任意の計量を最小化するために、参照画像において、動きベクトルなどの動きデータを検索する。参照画像はモジュール２２５によってグローバルな回転における動き補償が行われているため、動きデータの検索が促進される。復号予定の画像は、予測画像Ｉｐとして符号化される。

図２３は、図１５、１６、１７、１９、２０、２１又は２２に関連して説明されるような方法を実装するように構成された装置２３０のハードウェア実施形態を示す。この例では、デバイス２３０は、クロック信号も輸送するアドレス及びデータのバス２３１によって互いに接続される以下の要素、すなわち、
－ 例えばＤＳＰ（又はデジタル信号プロセッサ）である、マイクロプロセッサ２３２（又はＣＰＵ）、
－ ＲＯＭ（読み取り専用メモリ）タイプの不揮発性メモリ２３３、
－ ランダムアクセスメモリ又はＲＡＭ（２３４）、
－ アプリケーションから送信用のデータを受信するＩ／Ｏインタフェース２３５、
－ ランダムアクセスメモリのレジスタを埋め込むことができるグラフィクスカード２３６、
－ 電源２３７
を含む。

例によれば、電源２３７は、デバイスの外部のものである。言及されるメモリの各々では、本明細書で使用される「レジスタ」という用語は、小容量のエリア（数ビット）又は非常に大きなエリア（例えば、全プログラム又は大量の受信若しくは復号済みのデータ）に相当し得る。ＲＯＭ ２３３は、プログラム及びパラメータを少なくとも含む。ＲＯＭ ２３３は、本原理による技法を実行するアルゴリズム及び命令を格納することができる。電源を入れると、ＣＰＵ ２３２は、ＲＡＭにプログラムをアップロードし、対応する命令を実行する。

ＲＡＭ ２３４は、プログラム（ＣＰＵ ２３２によって実行され、デバイス２３０の電源を入れた後にアップロードされる）をレジスタに含み、入力データをレジスタに含み、方法の異なる状態の中間データをレジスタに含み、方法の実行のために使用される他の変数をレジスタに含む。

本明細書で説明される実装形態は、例えば、方法１５０、１６０、１７０のうちの１つのモジュール若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は、信号で実装することができる。実装の単一の形態の文脈においてのみ論じられる（例えば、方法又はデバイスとしてのみ論じられる）場合であっても、論じられる特徴の実装形態は、他の形態（例えば、プログラム）でも実装することができる。装置は、例えば、図２～１２で説明されるシステムのコンポーネントのうちの１つであり得る適切なハードウェア、ソフトウェア及びファームウェアで実装することができる。方法及びそれらのモジュールは、例えば、コンピュータ、マイクロプロセッサ、集積回路又はプログラマブル論理デバイスを含む、例えば、一般に処理デバイスを指す装置（例えば、プロセッサなど）で実装することができる。また、プロセッサは、例えば、図２～１２で説明されるシステムのコンポーネントなど、例えば、コンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、セットトップボックス、及び、エンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスも含む。

図１５、１９、２１に示されるように符号化予定の画像に応答して入力画像を動き補償することによって画像シーケンスの画像を符号化する例によれば、画像シーケンスを表すビットストリームは、供給源から得られる。例えば、供給源は、
－ ローカルメモリ（２３３、２３４又は２３６）（例えば、ビデオメモリ又はＲＡＭ（若しくはランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（若しくは読み取り専用メモリ）、ハードディスク）、
－ 記憶装置インタフェース（２３５）（例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気サポートとのインタフェース）、
－ 通信インタフェース（２３５）（例えば、有線インタフェース（例えば、バスインタフェース、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース）又は無線インタフェース（ＩＥＥＥ８０２．１１インタフェース若しくはBluetooth（登録商標）インタフェースなど））
を含むセットに属する。

特定の一実施形態によれば、符号化予定の画像に応答して入力画像を動き補償することによって画像シーケンスの画像を符号化する方法１５０のステップを実装するアルゴリズムは、これらのステップを実装するデバイス２３０と関連付けられたグラフィクスカード２３６のメモリＧＲＡＭに格納される。変形形態によれば、ＲＡＭ（２３４）の一部は、ＣＰＵ（２３２）によって、アルゴリズムの格納用に割り当てられる。これらのステップは、ローカルメモリ（例えば、ビデオメモリ（２３４）、ＲＡＭ（２３４）、ＲＯＭ（２３３）、フラッシュメモリ（２３３）又はハードディスク（２３３））、記憶装置インタフェース（２３５）（例えば、大容量記憶装置、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスク又は磁気サポートとのインタフェース）を含むセットに属する送り先に送信される、及び／又は、通信インタフェース（２３５）（例えば、ポイントツーポイントリンク、バス、ポイントツーマルチポイントリンク又は放送ネットワークとのインタフェース）から受信される映像ストリームの生成をもたらす。

復号予定の画像に応答して入力画像を動き補償することによって画像シーケンスの画像を復号する例によれば、画像シーケンスを表すビットストリームは、供給源から得られる。例示的には、ビットストリームは、ローカルメモリ（例えば、ビデオメモリ（２３４）、ＲＡＭ（２３４）、ＲＯＭ（２３３）、フラッシュメモリ（２３３）又はハードディスク（２３３））から読み取られる。変形形態では、ストリームは、記憶装置インタフェース（２３５）（例えば、大容量記憶装置、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスク又は磁気サポートとのインタフェース）から受信される、及び／又は、通信インタフェース（２３５）（例えば、ポイントツーポイントリンク、バス、ポイントツーマルチポイントリンク又は放送ネットワークとのインタフェース）から受信される。

特定の一実施形態によれば、復号予定の画像に応答して入力画像を動き補償することによって画像シーケンスの画像を復号する方法のステップを実装するアルゴリズムは、これらのステップを実装するデバイス２３０と関連付けられたグラフィクスカード２３６のメモリＧＲＡＭに格納される。変形形態によれば、ＲＡＭ（２３４）の一部は、ＣＰＵ（２３２）によって、アルゴリズムの格納用に割り当てられる。これらのステップは、例えば、
－ モバイルデバイス、
－ 通信デバイス、
－ ゲームデバイス、
－ セットトップボックス
－ テレビ
－ タブレット（又はタブレットコンピュータ）、
－ ラップトップ、
－ ディスプレイ、及び、
－ 復号チップ、
など、図２～１２で説明されるシステムのコンポーネントを含むセットに属する送り先に送信される映像の構成をもたらす。

当然ながら、本開示は、以前に説明される実施形態に限定されない。

具体的には、本開示は、画像シーケンスを符号化及び復号する方法に限定されず、復号済みの映像を表示する任意の方法や、例えば、図２～１２の表示デバイスのような、この表示の方法を実装する任意のデバイスまで拡張される。ビットストリームの符号化及び復号に必要な計算の実装形態は、シェーダタイプのマイクロプログラムの実装形態に限定されず、例えば、ＣＰＵタイプのマイクロプロセッサによって実行することができるプログラムなど、任意のプログラムタイプの実装形態まで拡張される。本開示の方法の使用は、撮影中の利用に限定されず、例えば、録音スタジオにおけるポストプロダクション処理として知られている処理など、他の任意の利用まで拡張される。

本明細書で説明される実装形態は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は、信号で実装することができる。実装の単一の形態の文脈においてのみ論じられる（例えば、方法又はデバイスとしてのみ論じられる）場合であっても、論じられる特徴の実装形態は、他の形態（例えば、プログラム）でも実装することができる。装置は、例えば、適切なハードウェア、ソフトウェア及びファームウェアで実装することができる。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路又はプログラマブル論理デバイスを含む、例えば、一般に処理デバイスを指す装置（例えば、プロセッサなど）で実装することができる。また、プロセッサは、例えば、スマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、及び、エンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスも含む。

本明細書で説明される様々なプロセス及び特徴の実装形態は、様々な異なる機器又はアプリケーション（特に、例えば、データ符号化、データ復号、ビュー生成、テクスチャ処理、並びに、画像、関連テクスチャ情報及び／又は深度情報の他の処理と関連付けられた機器又はアプリケーション）で具体化することができる。そのような機器の例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに入力を提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ及び他の通信デバイスを含む。明確であるべきだが、機器は、モバイルであり得、移動車両にインストールすることさえも可能である。

それに加えて、方法は、プロセッサによって実行されている命令によって実装することができ、そのような命令（及び／又は実装形態によって生成されたデータ値）は、例えば、集積回路、ソフトウェアキャリア又は他の記憶装置（例えば、ハードディスク、コンパクトディスク（「ＣＤ」）、光ディスク（例えば、デジタル多用途ディスク若しくはデジタルビデオディスクと呼ばれる場合が多いＤＶＤなど）、ランダムアクセスメモリ（「ＲＡＭ」）又は読み取り専用メモリ（「ＲＯＭ」））などのプロセッサ可読媒体上に格納することができる。命令は、プロセッサ可読媒体上で有形に具体化されたアプリケーションプログラムを形成することができる。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア又は組合せにおけるものであり得る。命令は、例えば、オペレーティングシステム、別個のアプリケーション又はその２つの組合せで見つけることができる。従って、プロセッサは、例えば、プロセスを実行するように構成されたデバイスと、プロセスを実行する命令を有するプロセッサ可読媒体（記憶装置など）を含むデバイスの両方として特徴付けることができる。さらに、プロセッサ可読媒体は、命令に加えて又は命令の代わりに、実装形態によって生成されたデータ値を格納することができる。

当業者には明らかであるように、実装形態は、例えば、格納又は送信することができる情報を伝えるようにフォーマットされた様々な信号を生成することができる。情報は、例えば、方法を実行する命令、又は、説明される実装形態のうちの１つによって生成されたデータを含み得る。例えば、信号は、説明される実施形態の構文を書き込む又は読み取る規則をデータとして伝えるように、或いは、説明される実施形態によって書き込まれた実際の構文・値をデータとして伝えるように、フォーマットすることができる。そのような信号は、例えば、電磁波として（例えば、スペクトルの高周波部分を使用して）又はベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化すること、及び、符号化済みのデータストリームで搬送波を変調することを含み得る。信号が伝える情報は、例えば、アナログ又はデジタル情報であり得る。信号は、知られているように、様々な異なる有線又は無線リンク上で送信することができる。信号は、プロセッサ可読媒体上に格納することができる。

多くの実装形態について説明してきた。それにもかかわらず、様々な変更を行えることが理解されよう。例えば、他の実装形態を生成するために、異なる実装形態の要素を組み合わせることも、補足することも、変更することも、除去することもできる。それに加えて、当業者は、開示されるものの代わりに、他の構造及びプロセスを代用することができ、結果として得られる実装形態は、開示される実装形態と少なくとも実質的に同じ結果を達成するために、少なくとも実質的に同じ方法で、少なくとも実質的に同じ機能を実行することを理解するであろう。それに従って、これらの及び他の実装形態は、この出願によって企図される。
（付記１）
画像シーケンスの第１の画像（Ｉ１）を符号化してストリームに埋め込む方法であって、
回転パラメータに従ってグローバルな回転における動き補償を第３の画像（Ｉ２）に適用することによって第２の画像（Ｉ３）を得ることであって、前記第３の画像（Ｉ２）が、前記第１の画像から得られる、得ることと、
動き補償モジュールの入力画像として前記第２の画像（Ｉ３）を使用することによって、前記第１の画像（Ｉ１）及び前記第１の画像と関連付けられた回転パラメータを符号化して前記ストリームに埋め込むことと
を含む、方法。
（付記２）
前記第３の画像が前記第１の画像である、付記１に記載の方法。
（付記３）
前記第３の画像が、
前記第１の画像に応答して残差画像を得ることと、
前記第１の画像に応答して動き予測画像を得ることと
を行うことによって前記第１の画像から得られ、前記第３の画像が、前記残差画像を前記動き予測画像に加えることによって得られる再構成された画像である、付記１に記載の方法。
（付記４）
ストリームから画像シーケンスの第１の画像を復号する方法であって、
前記ストリームから第２の画像及び前記第２の画像と関連付けられた回転パラメータを得ることと、
前記回転パラメータに従ってグローバルな回転における動き補償を第３の画像（Ｉ４、Ｉ７）に適用することによって前記第１の画像を復号することと
を含み、前記第３の画像が、動き補償モジュールの出力画像であり、前記出力画像が、前記第２の画像から得られる、方法。
（付記５）
前記第３の画像が、前記復号済みの第１の画像である、付記４に記載の方法。
（付記６）
前記第３の画像が、
前記第２の画像に応答して残差画像を得ることと、
前記第２の画像に応答して動き予測画像を得ることと
を行うことによって得られ、前記第３の画像が、前記残差画像を前記動き予測画像に加えることによって得られる再構成された画像である、付記４に記載の方法。
（付記７）
画像シーケンスを表すデータを運ぶビットストリームであって、前記データが、
前記画像シーケンスを表す構文の第１の要素と、
前記画像シーケンスの少なくとも１つの画像の識別子と関連付けられたパラメトリックなグローバルな回転における動きのパラメータを表す構文の第２の要素と
を含むことを特徴とする、ビットストリーム。
（付記８）
画像シーケンスの第１の画像（Ｉ１）を符号化してストリームに埋め込むデバイスであって、少なくとも１つのプロセッサと関連付けられたメモリを含み、前記少なくとも１つのプロセッサが、
回転パラメータに従ってグローバルな回転における動き補償を第３の画像（Ｉ２）に適用することによって第２の画像（Ｉ３）を得ることであって、前記第３の画像（Ｉ２）が、前記第１の画像から得られる、得ることと、
動き補償モジュールの入力画像として前記第２の画像（Ｉ３）を使用することによって、前記第１の画像（Ｉ１）及び前記第１の画像と関連付けられた回転パラメータを符号化して前記ストリームに埋め込むことと
を行うように構成される、デバイス。
（付記９）
前記第３の画像が前記第１の画像である、付記８に記載のデバイス。
（付記１０）
前記第３の画像が、
前記第１の画像に応答して残差画像を得ることと、
前記第１の画像に応答して動き予測画像を得ることと
を行うことによって前記第１の画像から得られ、前記第３の画像が、前記残差画像を前記動き予測画像に加えることによって得られる再構成された画像である、付記８に記載のデバイス。
（付記１１）
ストリームから画像シーケンスの第１の画像を復号するデバイスであって、少なくとも１つのプロセッサと関連付けられたメモリを含み、前記少なくとも１つのプロセッサが、
前記ストリームから第２の画像及び前記第２の画像と関連付けられた回転パラメータを得ることと、
前記回転パラメータに従ってグローバルな回転における動き補償を第３の画像（Ｉ４、Ｉ７）に適用することによって前記第１の画像を復号することと
を行うように構成され、前記第３の画像が、動き補償モジュールの出力画像であり、前記出力画像が、前記第２の画像から得られる、デバイス。
（付記１２）
前記第３が、前記復号済みの第１の画像である、付記１１に記載のデバイス。
（付記１３）
前記第３の画像が、
前記第２の画像に応答して残差画像を得ることと、
前記第２の画像に応答して動き予測画像を得ることと
を行うことによって得られ、前記第３の画像が、前記残差画像を前記動き予測画像に加えることによって得られる再構成された画像である、付記１２に記載のデバイス。
（付記１４）
付記２、３、５又は６のいずれか一つに記載の方法の少なくともステップをプロセッサに実行させる命令がその中に格納された非一時的なプロセッサ可読媒体。
（付記１５）
符号化してビットストリームに埋め込まれた広視野映像の没入型レンダリングのシステムであって、
データネットワークから前記ビットストリームを受信するネットワークインタフェース（６００）と、
付記１２又は１３に記載の前記ビットストリームを復号するデバイス（７００）と、
没入型レンダリングデバイス（９００）と
を少なくとも含む、システム。

Claims (7)

1. 参照方向に従って画像を符号化してストリームに埋め込む方法であって、
   ３Ｄから２Ｄへのマッピングオペレータ及び前方方向に従って３Ｄシーンを第１の画像にマッピングすることと、
   前記３Ｄから２Ｄへのマッピングオペレータ及び前記前方方向と前記参照方向との間の角度に従って、回転パラメータを決定することと、
   第２の画像を得るために前記回転パラメータに従ってグローバルな回転における動き補償を参照の第３の画像に適用することであって、前記参照の第３の画像は、
   前記第１の画像であり、又は、
   前記第１の画像を参照画像と比較することにより算出される残差画像と、前記第１の画像に動き推定プロセスを適用することにより得られる動き予測画像とを加えることによって得られる、再構成された画像である、適用することと、
   残差データ及び動きベクトルを用いる動き補償モジュール内に前記第２の画像を入力することによって符号化されるための前記画像を生成することと、
   前記画像及び前記回転パラメータを符号化して前記ストリームに埋め込むことと
   を含む、方法。
2. 参照方向に従って第３の画像をレンダリングする方法であって、
   ストリームから画像及び回転パラメータを得ることであって、前記画像は３Ｄから２Ｄへのマッピングオペレータ及び前方方向に従ってマッピングされた３Ｄシーンを表し、且つ、前記回転パラメータは前記３Ｄから２Ｄへのマッピングオペレータ及び前記前方方向と前記参照方向との間の角度に従って決定される、得ることと、
   残差画像及び動きベクトルを用いる動き補償モジュール内に前記画像を入力することによって第２の画像を得ることであって、前記残差画像は、前記画像と参照画像とを比較することにより算出される、得ることと、
   前記第３の画像を得るために前記回転パラメータに従ってグローバルな回転における動き補償を前記第２の画像に適用することであって、前記第３の画像が、
   前記画像であり、又は、
   前記第２の画像を参照画像と比較することにより算出される残差画像と、前記第２の画像に動き推定プロセスを適用することにより得られる動き予測画像とを加えることによって得られる、再構成された画像である、適用することと、
   前記第３の画像をレンダリングすることと、を含む、方法。
3. 参照方向に従って画像を符号化してストリームに埋め込むデバイスであって、少なくとも１つのプロセッサと関連付けられたメモリを含み、前記少なくとも１つのプロセッサが、
   ３Ｄから２Ｄへのマッピングオペレータ及び前方方向に従って３Ｄシーンを第１の画像にマッピングすることと、
   前記３Ｄから２Ｄへのマッピングオペレータ及び前記前方方向と前記参照方向との間の角度に従って、回転パラメータを決定することと、
   第２の画像を得るために前記回転パラメータに従ってグローバルな回転における動き補償を参照の第３の画像に適用することであって、前記参照の第３の画像は、
   前記第１の画像あり、又は、
   前記第１の画像を参照画像と比較することにより算出される残差画像と、前記第１の画像に動き推定プロセスを適用することにより得られる動き予測画像とを加えることによって得られる、再構成された画像である、適用することと、
   残差データ及び動きベクトルを用いる動き補償モジュール内に前記第２の画像を入力することによって符号化されるための前記画像を生成することと、
   前記画像及び前記回転パラメータを符号化して前記ストリームに埋め込むことと
   を行うように構成される、デバイス。
4. 参照方向に従って第３の画像をレンダリングするデバイスであって、少なくとも１つのプロセッサと関連付けられたメモリを含み、前記少なくとも１つのプロセッサが、
   ストリームから画像及び回転パラメータを得ることであって、前記画像は３Ｄから２Ｄへのマッピングオペレータ及び前方方向に従ってマッピングされた３Ｄシーンを表し、且つ、前記回転パラメータは前記３Ｄから２Ｄへのマッピングオペレータ及び前記前方方向と前記参照方向との間の角度に従って決定される、得ることと、
   残差画像及び動きベクトルを用いる動き補償モジュール内に前記画像を入力することによって第２の画像を得ることであって、前記残差画像は、前記画像と参照画像とを比較することにより算出される、得ることと、
   前記第３の画像を得るために前記回転パラメータに従ってグローバルな回転における動き補償を前記第２の画像に適用することであって、前記第３の画像が、
   前記画像であり、又は、
   前記第２の画像を参照画像と比較することにより算出される残差画像と、前記第２の画像に動き推定プロセスを適用することにより得られる動き予測画像とを加えることによって得られる、再構成された画像である、適用することと、を行うように構成された、デバイス。
5. 請求項１に記載の方法の少なくともステップをプロセッサに実行させる命令がその中に格納された非一時的なプロセッサ可読媒体。
6. 請求項２に記載の方法の少なくともステップをプロセッサに実行させる命令がその中に格納された非一時的なプロセッサ可読媒体。
7. 符号化してビットストリームに埋め込まれた広視野映像の没入型レンダリングのシステムであって、
   データネットワークから前記ビットストリームを受信するネットワークインタフェースと、
   請求項４に記載の前記ビットストリームを復号するデバイスと、
   没入型レンダリングデバイスと
   を少なくとも含む、システム。

Images