JP2011176570A - マルチ解像度映像復号方法、マルチ解像度映像復号装置、及びプログラム - Google Patents

Abstract

【課題】ユーザからの表示領域の変更に応じて、高速に高品質な映像を復号表示する。
【解決手段】主解像度設定部１０４は、ユーザの注視領域を復号する主解像度を設定する。操作予測部１０５は、ユーザの操作を予測する。副解像度設定部１０６は、注視領域以外を復号する副解像度を設定する。周辺領域設定部１０７は、副解像度において周辺領域に対応する領域を設定する。復号対象設定部１０８は、復号する分割映像を決定する。優先順位設定部１０９は、復号対象の分割映像に優先順位を設定する。分割映像復号部１１０は、優先順位に従って符号化データから分割映像を復号する。映像拡大部１１１は、周辺領域に対して復号された映像をアップサンプルする。デブロッキング処理部１１２は、注視領域と周辺領域との境界領域に対してフィルタ処理を加える。
【選択図】図１

Description

本発明は、マルチ解像度映像の符号化データから復号する際に、ユーザからの表示領域の変更に応じて、高速に高品質な映像を復号表示するマルチ解像度映像復号方法、マルチ解像度映像復号装置、及びプログラムに関する。

ネットワーク技術の発展により、一般家庭において、大容量、かつ双方向の通信が利用可能になったため、インタラクティブ映像サービスが注目を集めている。特に、パノラマ映像のインタラクティブ視聴サービスは、ユーザ毎に異なる欲求を満たすことが可能なサービスとして高い注目を集めている。ここで言うパノラマ映像のインタラクティブ視聴サービスとは、スポーツや、コンサート、舞台などの複数の注目対象が存在するようなコンテンツにおいて、各ユーザが自身の興味に合わせて、全体を見渡せる映像を鑑賞したり、ある対象に注目して一部を拡大して鑑賞したりすることが可能な映像サービスである。

このようなサービスを実現する際には、一般的に、マルチ解像度映像が用いられる。マルチ解像度映像とは、複数の解像度で同じ内容の映像を表現した映像群のことである。例えば、静止画の例であるが、インターネット上で提供されている地図サービスなどでは、同じ領域に対して複数の縮尺の地図を準備し、ユーザからの指示に従って表示する地図の縮尺を変更している。

このようなサービスでは、一般的に、広範囲の撮影空間を取り扱うだけでなく、ユーザの興味に従って拡大表示した際の映像品質を保証するために、マルチ解像度映像には、非常に高解像度の映像が含められる。そのため、全ての解像度の映像全体を同時に処理するには、非常に多くの演算量が必要となり、実時間での処理は、ほぼ不可能である。

この膨大な演算量を削減するために、マルチ解像度映像を空間的に分割して符号化し、ユーザの指定した映像を生成するのに必要な分割映像の符号化データだけを復号処理して表示する方法が用いられている。つまり、ある解像度の一部分の映像データのみを復号処理することで、演算負荷の抑制を行っている。

そのような空間的に分割して符号化したマルチ解像度映像を用いて、インタラクティブ映像サービスを実現する際に、全てのデータを常に取得・復号するのではなく、必要なデータのみを部分的に取得・復号するシステムや、全てのデータを取得するが、復号は必要な部分に対してのみ行うシステムが提案されている。特許文献１では、そのようなシステムにおいて、インタラクティブに表示領域を変更する際のユーザレスポンスを向上するための技術が提案されている。

特開２００４−１９９２９１号公報（特許第３８９７６９１号）

前述のように、マルチ解像度映像を空間的に分割して符号化し、ユーザによって指定された映像を生成するために必要な分割映像の符号化データのみを復号することで、演算負荷を小さく抑え、実時間での動作を実現することが可能となる。

しかしながら、ユーザの指定を受けてから復号対象を決める場合、ユーザの指示を受けた後に、ストリームファイルやサーバから該当する分割映像を読み出して復号するため、その操作が表示に反映されるまでに遅延が発生してしまうという問題がある。このようなフィードバック遅延が存在する場合、システムに自身の操作が正しく受け付けられたのか判断することができなかったり、意図した映像を見ることができなかったりするため、ユーザは、システムに対して不快感を覚えることになる。

容易に考えられる対処方法として、復号映像が得られているかどうかに関わらず、ユーザからの操作に対して表示領域を変更するという方法がある。例えば、インターネット上の地図サービスでは、この方法が取られている。この場合、復号映像が得られていない領域では、空白の映像が表示されることになり、復号映像が得られた時点でその部分の表示が行われることになる。この方法を取ることで、ユーザは、自身の入力が少なくとも正確にシステムに受け付けられたというフィードバックが得られるため、操作に対する不快感は低下すると考えられる。しかしながら、この場合には、ユーザが観たいと思って選んだ時刻、及び領域の映像を提示することができないという問題が残る。

また、上述した特許文献１では、別の対処方法として、低解像度の映像に対するデータを別途受信しておき、ユーザの操作が行われている間は低解像度の映像を復号し、その復号映像を拡大表示することで、ユーザレスポンスを向上させる方法が提案されている。この方法では、常に低解像度の映像に対する分割映像を伝送する必要があるため、より大きな伝送帯域が必要となる。特に、ユーザの注視領域に対しては、高解像度と低解像度との両方の映像を伝送することになるため、無駄に帯域を消費してしまっているという問題がある。更に、ユーザの操作が開始された後に、低解像度の映像を復号するため、操作入力から表示が行われるまでに復号時間分の遅延が発生し、ユーザは、入力が正常に受け付けられたかどうかを即座に確認できないという問題もある。

本発明は、このような事情を考慮してなされたものであり、その目的は、ユーザからの表示領域の変更に応じて、高速に高品質な映像を復号表示することができるマルチ解像度映像復号方法、マルチ解像度映像復号装置、及びプログラムを提供することにある。

上述した課題を解決するために、本発明は、ユーザの注視領域を設定する注視領域設定ステップと、前記注視領域を復号する主解像度を設定する主解像度設定ステップと、ユーザの操作履歴からユーザ操作を予測する操作予測ステップと、前記主解像度よりも低い解像度で、前記注視領域の周辺領域を復号する副解像度を設定する副解像度設定ステップと、前記副解像度に基づいて、前記注視領域の周辺に位置する周辺領域を設定する周辺領域設定ステップと、前記注視領域を含む分割映像と前記周辺領域を含む分割映像とを、復号対象の分割映像として設定する復号対象設定ステップと、前記復号対象に指定された分割映像を復号する分割映像復号ステップと、前記副解像度で復号された分割映像をアップサンプルする映像拡大ステップとを含むことを特徴とするマルチ解像度映像復号方法である。

本発明は、上記の発明において、前記予測されるユーザ操作に基づいて、前記復号対象の分割映像に優先順位を設定する優先順位設定ステップをさらに含み、
前記分割映像復号ステップは、前記優先順位に基づいて、前記復号対象に指定された分割映像を復号することを特徴とする。

本発明は、上記の発明において、前記操作予測ステップは、前記注視領域の中心位置を蓄積しておき、蓄積された中心位置からユーザの操作をモデル化し、そのモデルに従って予測を行うことを特徴とする。

本発明は、上記の発明において、前記操作予測ステップで予測されたユーザ操作における注視領域の移動量に基づいて副解像度を設定することを特徴とする。

本発明は、上記の発明において、前記復号された注視領域を含む分割映像と前記アップサンプルされた周辺領域を含む分割映像との境界部分に対して、デブロッキングフィルタ処理を加える境界フィルタ処理ステップを更に含むことを特徴とする。

また、上述した課題を解決するために、本発明は、同一のシーンを複数の解像度で表現したマルチ解像度映像を空間的に分割して符号化したデータを復号するマルチ解像度映像復号装置であって、ユーザの注視領域を設定する注視領域設定手段と、前記注視領域設定手段により設定されたユーザの注視領域を復号する主解像度を設定する主解像度設定手段と、ユーザの操作履歴からユーザ操作を予測する操作予測手段と、前記主解像度よりも低い解像度で、前記注視領域の周辺領域を復号する副解像度を設定する副解像度設定手段と、前記副解像度設定手段により設定された副解像度に基づいて、前記注視領域の周辺に位置する周辺領域を設定する周辺領域設定手段と、前記注視領域を含む分割映像と前記周辺領域を含む分割映像とを、復号対象の分割映像として設定する復号対象設定手段と、前記操作予測手段により予測されるユーザ操作に基づいて、前記復号対象の分割映像に優先順位を設定する優先順位設定手段と、前記優先順位設定手段により設定された優先順位に基づいて、前記復号対象に指定された分割映像を復号する分割映像復号手段と、前記分割映像復号手段により副解像度で復号された分割映像をアップサンプルする映像拡大手段とを備えることを特徴とするマルチ解像度映像復号装置である。

本発明は、上記の発明において、前記操作予測手段は、前記注視領域の中心位置を蓄積しておき、蓄積された中心位置からユーザの操作をモデル化し、そのモデルに従って予測を行うことを特徴とする。

本発明は、上記の発明において、前記副解像度設定手段は、前記操作予測ステップで予測されたユーザ操作における注視領域の移動量に基づいて副解像度を設定することを特徴とする。

本発明は、上記の発明において、前記分割映像復号手段により復号された、前記注視領域を含む分割映像と前記アップサンプルされた周辺領域を含む分割映像との境界部分に対して、デブロッキングフィルタ処理を加える境界フィルタ処理手段を更に含むことを特徴とする。

また、上述した課題を解決するために、本発明は、同一のシーンを複数の解像度で表現したマルチ解像度映像を空間的に分割して符号化したデータを復号するマルチ解像度映像復号装置のコンピュータに、ユーザの注視領域を設定する注視領域設定機能、前記注視領域を復号する主解像度を設定する主解像度設定機能、ユーザの操作履歴からユーザ操作を予測する操作予測機能、前記主解像度よりも低い解像度で、前記注視領域の周辺領域を復号する副解像度を設定する副解像度設定機能、前記副解像度に基づいて、前記注視領域の周辺に位置する周辺領域を設定する周辺領域設定機能、前記注視領域を含む分割映像と前記周辺領域を含む分割映像とを、復号対象の分割映像として設定する復号対象設定機能、前記予測されるユーザ操作に基づいて、前記復号対象の分割映像に優先順位を設定する優先順位設定機能、前記優先順位に基づいて、前記復号対象に指定された分割映像を復号する分割映像復号機能、前記副解像度で復号された分割映像をアップサンプルする映像拡大機能を実行することを特徴とするプログラムである。

この発明によれば、同一のシーンが複数の解像度で表現されたマルチ解像度映像の符号化データを、ユーザの指定する表示領域に従って復号する際に、複数の解像度の映像を同時に復号することで、ユーザからの表示領域が時間的に変化する場合においても、高速に高品質な映像を復号表示することができる。

本発明の実施形態によるマルチ解像度映像復号装置１００の構成を示すブロック図である。 本発明の実施形態によるマルチ解像度映像復号装置１００の動作を説明するフローチャートである。 本実施形態による、優先順位の付け方を説明するための概念図である。 本実施形態による、優先順位の付け方を説明するためのフローチャートである。 本実施形態による優先順位の別の付け方を説明するための概念図である。 本実施形態による、デブロッキングフィルタを説明する概念図である。 本実施形態による、副解像度設定部１０６において周辺領域毎に異なる副解像度を割り当てる処理を説明するフローチャートである。

以下、本発明の一実施形態を、図面を参照して説明する。

帯域や計算資源が限られる状況では、常に全てのデータを伝送または復号することは不可能であるため、従来の手法では、ユーザからの入力を受けてから必要なデータを伝送または復号していた。そのため、ユーザが入力を行ってから表示が行われるまでに遅延が生じてしまっていた。本発明では、ユーザの操作を予測し（後述する図２のステップＳａ４）、その予測に応じて、注視領域以外の領域に対して、副解像度と周辺領域とを設定し（後述する図２のステップＳａ５、Ｓａ６）、優先順位をつけて（後述する図２のステップＳａ８）、注視領域以外の領域に対して、帯域や計算資源が許す限り、データ伝送や復号を行うことより、ユーザが注視領域を変更する場合においても、同時に復号されていた映像を表示することで、ユーザが入力を行った後、すぐに復号した映像を出力することを可能とし、ユーザレスポンスを向上させることを特徴としている。

図１は、本発明の実施形態によるマルチ解像度映像復号装置１００の構成を示すブロック図である。図において、マルチ解像度映像復号装置１００は、マルチ解像度映像符号化データ入力部１０１、符号化データメモリ１０２、注視領域入力部１０３、主解像度設定部１０４、操作予測部１０５、副解像度設定部１０６、周辺領域設定部１０７、復号対象設定部１０８、優先順位設定部１０９、分割映像復号部１１０、映像拡大部１１１、及びデブロッキング処理部１１２を備えている。

マルチ解像度映像符号化データ入力部１０１は、復号対象となるマルチ解像度映像を空間的に分割して符号化したデータを入力する。符号化データメモリ１０２は、入力された符号化データを蓄積する。注視領域入力部１０３は、ユーザの注視領域を入力する。主解像度設定部１０４は、注視領域に対する復号解像度を設定する。操作予測部１０５は、ユーザの操作を予測する。副解像度設定部１０６は、注視領域以外の復号解像度を設定する。

周辺領域設定部１０７は、副解像度において周辺領域に対応する領域を設定する。復号対象設定部１０８は、復号する分割映像を決定する。優先順位設定部１０９は、復号対象の分割映像に優先順位を設定する。分割映像復号部１１０は、優先順位に従って符号化データから分割映像を復号する。映像拡大部１１１は、周辺領域に対して復号された映像をアップサンプルする。デブロッキング処理部１１２は、注視領域と周辺領域との境界領域に対してフィルタ処理を加える。

図２は、本実施形態によるマルチ解像度映像復号装置１００の動作を説明するフローチャートである。このフローチャートに従って、マルチ解像度映像復号装置１００が実行する処理について詳細に説明する。

まず、マルチ解像度映像符号化データ入力部１０１により、マルチ解像度映像を空間的に分割して符号化したデータが入力され、符号化データメモリ１０２に蓄積される（ステップＳａ１）。次に、注視領域入力部１０３によりユーザの注視領域を設定し（ステップＳａ２）、主解像度設定部１０４により注視領域を復号する主解像度を設定する（ステップＳａ３）。主解像度は、ユーザの指示に従って決定されても構わないし、注視領域の大きさと表示領域の物理解像度とから計算して求めても構わない。

そして、指定された注視領域の情報を用いて操作予測部１０５において、ユーザの操作を予測する（ステップＳａ４）。予測の方法としては、例えば、注視領域の中心位置を蓄積しておき、該注視領域の中心位置の直前からの変化を予測結果とする方法がある。なお、前回からの変化がない場合に、ユーザの操作を停止と予測しても構わないし、その前の変化をそのまま予測結果としても構わない。本実施形態では、直前から変化がなかった場合には、その前の変化を予測結果とするものとし、中心位置の移動ベクトルと主解像度の変化とを予測結果とするものとする。

その他の操作方法として、中心位置の直前からの変化ではなく数フレーム前からの変化を予測結果してもよい。また、ある時刻の注視領域の中心位置から現在の注視領域の中心位置への変位ベクトルではなく、数フレーム間の注視領域の中心位置の変化から動き及び加速度のモデルを生成し、そのモデルに従って次のフレームもしくは数フレーム後の注視領域の中心位置を予測し、現在の中止領域の中心位置から予測された位置への変位ベクトルを予測結果としてもよい。更に複雑な方法として、注視領域の履歴だけでなく、その注視領域に含まれる映像コンテンツを利用した操作予測を行ってもよい。例えば、注視領域に含まれる被写体を判定し、特定の被写体に追従している場合は、その被写体の動きを予測し、次フレームにおけるその被写体の位置が中心に繰るような操作を予測結果としても構わない。

ここでは、ユーザの操作のうち注視領域の位置の変化のみを予測する場合を説明したが、拡大・縮小による解像度の変化を含めて予測しても構わない。その場合、それぞれを別の情報として扱っても構わないし、Ｘ軸を左右方向の位置の変化、Ｙ軸を上下方向の位置の変化、Ｚ軸を解像度の変化として表す三次元ベクトルを用いて、どの部分を中心に拡大・縮小すると予測できるかを示す形で予測結果を返しても構わない。

次に、副解像度設定部１０６において、注視領域以外の領域において復号する分割映像の解像度を設定する（ステップＳａ５）。どのような決定方法を用いても構わないが、最も単純な方法としては、常に主解像度よりも１段階だけ小さな解像度を設定する方法である。その他の方法としては、移動ベクトルの大きさに応じて変化させる方法もある。この場合、ベクトルが大きい場合に、より小さな解像度を設定する方法や、逆にベクトルが小さすぎる場合や、カメラを引く操作の場合に、より小さな解像度を設定する方法がある。前者の場合には、ユーザ操作による変化が大きいと予想されるので、それをカバーできるように、より小さな解像度で広範囲を復号できるようにする意味がある。後者の場合には、どの向きに並行移動するか確信できないので、全方位に対して復号を可能にする意味がある。

なお、ユーザの操作の予測として解像度の変化も取り扱う場合、予測結果が拡大や縮小の場合に、予測される解像度を副解像度としても構わないし、拡大・縮小の予測とは関係なく副解像度を決定しても構わない。

副解像度が設定されたら、周辺領域設定部１０７により、その副解像度において、注視領域の周辺に位置する周辺領域を設定する（ステップＳａ６）。周辺領域を設定する方法として、注視領域が副解像度において対応する領域に隣接する画素群を周辺画素として設定する方法と、主解像度における注視領域に隣接する画素群を求め、その画素群の副解像度における対応画素群を周辺画素に設定する方法とがある。なお、注視領域が矩形で与えられる場合には、矩形の４頂点に対して副解像度における隣接画素を求め、その頂点を繋ぐ直線を周辺画素とすることが可能である。

主解像度における注視領域の最も外側の画素と、その画素に対して１画素だけ隣の駐英領域には含まれない画素とが、副解像度において同じ画素に対応する場合がある。そのような場合に、注視領域が副解像度において対応する領域を求め、その領域に隣接する画素群を周辺画素とすると、その周辺画素は主解像度において注視領域に隣接しないことになる。このような事態を避けるために、本実施形態では、主解像度において注視領域に隣接する画素群を求め、その画素群が副解像度において対応する画素群を周辺画素とする。

なお、副解像度として主解像度より大きな解像度が設定されている場合、注視領域が副解像度において対応する位置を周辺領域として設定することで、拡大処理を予測に含む場合においても適切な領域を設定することが可能である。

主解像度、副解像度、注視領域、周辺領域が得られた後、復号対象設定部１０８において、復号対象の分割映像を設定する（ステップＳａ７）。具体的には、注視領域の画素を含む主解像度における分割映像と、周辺領域の画素を含む副解像度における分割映像とが復号対象の分割映像として設定される。

なお、ある解像度において、１つの画素に対して複数の分割映像が対応する場合には、復号対象となる分割映像数が少なくなるように、分割映像を選択することで、計算資源を節約することが可能である。そのような分割映像群を設定する方法としては、様々なアルゴリズムを用いることが可能であるが、例えば、まず全ての注視（周辺）領域の画素を未カバー集合に設定し、未カバー集合の画素を最も多く含む分割映像を復号対象として設定し、復号対象として設定された分割映像に含まれる画素を未カバー集合から取り除き、未カバー集合が空集合になるまで分割映像の選択を繰り返すというものがある。この方法は、最適性を保証するものではないが、単純な決定手法であるため高速に準最適な集合を求めることが可能である。

復号対象の分割映像の設定が終了したら、操作予測部１０５で予測された予測ユーザ操作の情報を用いて、優先順位設定部１０９で、復号対象の分割映像に対して優先順位が設定される（ステップＳａ８）。優先順位としては、まず、主解像度の分割映像が最も高い優先度となり、副解像度の分割映像については、ユーザ操作で次に選択される可能性の高い方向に対応する分割映像から順に高い優先順位が付けられる。

図３は、本実施形態による、優先順位設定部１０９での優先順位の付け方を説明するための概念図である。例えば、図３に示すように、周辺領域を上下左右の４グループとして設定し、そのグループ毎に優先順位を設定する。すなわち、予測される予測ユーザ操作が上下左右の場合には、ユーザ操作の方向（ベクトル：図示の矢印）に、最も高い優先順位「１」を設定し、その横方向に優先順位「２」を設定し、その後方に優先順位「４」を設定する。また、予測される予測ユーザ操作が斜め場合には、ユーザ操作の方向（ベクトル：図示の矢印）に、優先順位「１」、「２」を設定し、その後方に優先順位「３」、「４」を設定する。また、予測ユーザ操作が停止（縮小／拡大）の場合には、周辺に優先順位「１」を設定する。

図４は、本実施形態による、優先順位の付け方を説明するためのフローチャートである。最初に、ユーザ操作の予測結果の予測ユーザ操作ベクトルにおけるｘ成分（横方向）の絶対値とｙ成分（縦方向）の絶対値とを比較する（ステップＳｂ１）。ｘ成分が大きければ、ｘ成分の正負を判定し（ステップＳｂ２）、正ならば、右グループの優先度を「１」、左グループの優先度を「４」とし（ステップＳｂ３）、負ならば、右グループの優先度を「４」、左グループの優先度を「１」とし（ステップＳｂ４）、０ならば、全てのグループの優先度を「１」として終了する（ステップＳｂ５）。

次に、ｙ成分の正負を判定し（ステップＳｂ６）、正ならば、上グループの優先度を「３」、下グループの優先度を「２」とし（ステップＳｂ７）、負ならば、上グループの優先度を「２」、下グループの優先度を「３」とし（ステップＳｂ８）、０ならば、上下グループともに優先度を「２」として終了する（ステップＳｂ９）。

一方、最初の比較でｙ成分が大きければ（ステップＳｂ１のＮＯ）、ｙ成分の正負を判定し（ステップＳｂ１０）、正ならば、上グループの優先度を「４」、下グループの優先度を「１」とし（ステップＳｂ１１）、負ならば、上グループの優先度を「１」、下グループの優先度を「４」とする（ステップＳｂ１２）。

次に、ｘ成分の正負を判定し（ステップＳｂ１３）、正ならば、右グループの優先度を「２」、左グループの優先度を「３」とし（ステップＳｂ１４）、負ならば、右グループの優先度を「３」、左グループの優先度を「２」とし（ステップＳｂ１５）、０ならば、左右グループともに優先度を「２」として終了する（ステップＳｂ１６）。

なお、この例では、座標軸が水平右方向にｘ軸、鉛直下方向にｙ軸と設定されているものとする。また、優先度は、数字が小さいほど高いものとする。そのため、この例では、主解像度の分割映像に対しては、優先度「０」が割り当てられているものとする。複数のグループに所属する４隅の分割映像については、設定された優先順位のうち、高いほうを用いる。

図５は、本実施形態による、優先順位設定部１０９での優先順位の別の付け方を説明するための概念図である。図５に示すように、分割映像毎に細かく優先順位を設定しても構わない。但し、順位付けのルールが複雑になるため、そのための演算負荷が高くなることになる。

なお、ユーザの予測操作として拡大処理が想定され、副解像度として主解像度よりも大きな解像度が設定されている場合は、拡大中心に近い領域から順に高い優先度を付けることで、ユーザ操作で次に必要になる可能性が高い順に順位付けを行うことができる。

次に、図２に説明を戻すと、復号対象の分割映像に対して優先順位が決定したら、分割映像復号部１１０で、優先順位に従って符号化データから分割映像を復号する（ステップＳａ９）。予め定められた個数の分割映像を復号するようにしても構わないし、予め定められた時間が経過するまで順番に復号を行っても構わない。なお、分割映像復号部１１０は、マルチ解像度映像符号化データを復号できる処理を実現するものであれば、どのようなものでも構わない。例えば、各分割映像がＨ．２６４／ＡＶＣで符号化されているのであれば、Ｈ．２６４／ＡＶＣの復号処理を行う任意のものを用いることができる。

一般に、実時間で映像を表示しようとする場合、復号処理にかけられる時間が限られるため、復号可能な分割映像の数が制限される。本実施形態によれば、ユーザが次の表示が行われるまでに選択しそうな領域を優先的に復号することで、実時間表示を行うシステムにおいても、ユーザの不快感増加を防止できる可能性を高めることができる。

復号終了後、映像拡大部１１１において、周辺領域に対して復号された分割映像を主解像度と同じ解像度になるようにアップサンプルする（ステップＳａ１０）。次に、得られた分割映像を張り合わせて１つのフレームを生成する（ステップＳａ１１）。このとき、主解像度で復号した分割映像と副解像度で復号した分割映像との間に重複する領域がある場合には、主解像度で復号した分割映像を使用する。そして、注視領域と周辺領域との境界の位置する画素群に対して、デブロッキング処理部１１２でデブロッキングフィルタを施し（ステップＳａ１２）、その結果がマルチ解像度映像復号装置１００の出力となる（ステップＳａ１３）。

なお、副解像度が主解像度よりも解像度が大きい場合、注視領域に対して復号された分割映像を副解像度と同じ解像度になるようにアップサンプルする。また、分割映像を張り合わせる際も、重複部分では副解像度で復号した分割映像を使用する。このように、副解像度と主解像度の大きさによって処理が逆転してしまうため、ステップＳａ１０の前に、主解像度と副解像度とを入れ替え、注視領域と周辺領域とを入れ替えても構わない。この場合、処理の分岐が少なくなるため、回路の規模を小さくすることができる。

図６は、本実施形態による、デブロッキングフィルタを説明する概念図である。本実施形態でいうデブロッキングフィルタとは、図６に示すように、境界領域の画素に対して、その境界をぼかすローパスフィルタを施すことである。図６では、常に境界線に対して９０度方向にフィルタを施しているが、境界領域付近の映像のエッジを検出して、エッジと同じ向きにフィルタを施しても構わない。また、境界における輝度値の変化に応じてフィルタ係数を調整しても構わない。

異なる解像度から得られた映像では、それぞれの映像が持つ映像の周波数成分が異なる。そのため、それらを並べた場合、その境界において本来の映像には存在しないブロック境界が発生する。しかしながら、本実施形態によれば、境界領域に対してデブロッキング処理を加えて、境界領域における映像の品質を滑らかにすることでブロック境界を目立たなくすることができる。これによって出力される映像の主観品質が低下してしまうことを防ぐことが可能となる。

図７は、本実施形態による、副解像度設定部１０６において周辺領域毎に異なる副解像度を割り当てる処理を説明するフローチャートである。本実施形態では、副解像度を１つだけ決定したが、予測ユーザ操作の結果を用いて、方向毎に別の解像度を設定しても構わない。

まず、予測ユーザ操作ベクトルの大きさを求め（ステップＳｃ１）、その大きさに従って最大副解像度ｍａｘ＿ｓｕｂ＿ｒｅｓを設定する（ステップＳｃ２〜Ｓｃ６）。ここでは、まず、ベクトルの大きいが第１の閾値より大きいかどうかを調べ（ステップＳｃ２）、第１の閾値を超えている場合には、移動範囲が広く、出来るだけ広範囲の周辺領域を復号すべきと考え、最大副解像度にｍａｘ＿ｓｕｂ＿ｒｅｓ＿ｍｉｎを設定する（ステップＳｃ３）。

また、第１の閾値よりも小さい場合には、第２の閾値よりもベクトルのサイズが小さいかどうかを調べる（ステップＳｃ４）。ベクトルのサイズが第２の閾値よりも小さい場合には、ユーザ操作が変化する可能性が高いと考えられ、全方位の周辺領域を復号可能とするために、最大副解像度にｍａｘ＿ｓｕｂ＿ｒｅｓ＿ｍｉｄを設定する（ステップＳｃ６）。また、ベクトルのサイズが２つの閾値の間になる場合には、最大副解像度にｍａｘ＿ｓｕｂ＿ｒｅｓ＿ｎｏｒｍａｌを設定する（ステップＳｃ５）。なお、各解像度には、どのような値を設定しても構わないが、次式（１）の不等式を満たすように設定するのが一般的である。

ここで、ｍａｉｎ＿ｒｅｓは、主解像度を示す。
次に、得られた最大副解像度に対して、２段階の副解像度ｓｕｂ＿ｒｅｓ＿１とｓｕｂ＿ｒｅｓ＿２とを設定する（ステップＳｃ７）。このとき、各副解像度は、次式（２）の不等式を満たす。

ここで、ｍｉｎ＿ｒｅｓは、マルチ解像度映像中の最低解像度を示す。
そして、予測ユーザ操作ベクトルの各成分の正負に従って、各方向の副解像度を設定する（ステップＳｃ８〜Ｓｃ１５）。ｘ成分が正であれば、右方向にｓｕｂ＿ｒｅｓ＿１を設定し、左方向にｓｕｂ＿ｒｅｓ＿２を設定し（ステップＳｃ９）、負であれば、右方向にｓｕｂ＿ｒｅｓ＿２を設定し、左方向にｓｕｂ＿ｒｅｓ＿１を設定し（ステップＳｃ１０）、ゼロであれば、左右方向共にｓｕｂ＿ｒｅｓ＿１を設定する（ステップＳｃ１１）。

次に、ｙ成分が正であれば、下方向にｓｕｂ＿ｒｅｓ＿１を設定し、上方向にｓｕｂ＿ｒｅｓ＿２を設定し（ステップＳｃ１３）、負であれば、下方向にｓｕｂ＿ｒｅｓ＿２を設定し、上方向にｓｕｂ＿ｒｅｓ＿１を設定し（ステップＳｃ１４）、ゼロであれば、上下方向共にｓｕｂ＿ｒｅｓ＿１を設定する（ステップＳｃ１５）。

上述した実施形態によれば、指定解像度よりも低い解像度で注視領域の周辺領域に対する部分映像を復号し、その低解像度の映像を指定解像度へアップサンプリングして用いることによって、演算負荷の増加を抑えながら、大幅な領域変更にも対応した復号処理を実現することが可能となる。

以上説明した処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。

また、以上の実施形態では、マルチ解像度映像復号装置を中心に説明したが、これらマルチ解像度映像復号装置の各部の動作に対応したステップによって本発明のマルチ解像度映像復号方法を実現することができる。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は、本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものでないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

１００ マルチ解像度映像復号装置
１０１ マルチ解像度映像符号化データ入力部
１０２ 符号化データメモリ
１０３ 注視領域入力部
１０４ 主解像度設定部
１０５ 操作予測部
１０６ 副解像度設定部
１０７ 周辺領域設定部
１０８ 復号対象設定部
１０９ 優先順位設定部
１１０分割映像復号部
１１１ 映像拡大部
１１２ デブロッキング処理部

Claims (10)

1. 同一のシーンを複数の解像度で表現したマルチ解像度映像を空間的に分割して符号化したデータを復号するマルチ解像度映像復号方法であって、
   ユーザの注視領域を設定する注視領域設定ステップと、
   前記注視領域を復号する主解像度を設定する主解像度設定ステップと、
   ユーザの操作履歴からユーザ操作を予測する操作予測ステップと、
   前記主解像度よりも低い解像度で、前記注視領域の周辺領域を復号する副解像度を設定する副解像度設定ステップと、
   前記副解像度に基づいて、前記注視領域の周辺に位置する周辺領域を設定する周辺領域設定ステップと、
   前記注視領域を含む分割映像と前記周辺領域を含む分割映像とを、復号対象の分割映像として設定する復号対象設定ステップと、
   前記復号対象に指定された分割映像を復号する分割映像復号ステップと、
   前記副解像度で復号された分割映像をアップサンプルする映像拡大ステップと
   を含むことを特徴とするマルチ解像度映像復号方法。
2. 前記予測されるユーザ操作に基づいて、前記復号対象の分割映像に優先順位を設定する優先順位設定ステップをさらに含み、
   前記分割映像復号ステップは、前記優先順位に基づいて、前記復号対象に指定された分割映像を復号することを特徴とする請求項１に記載のマルチ解像度映像復号方法。
3. 前記操作予測ステップは、
   前記注視領域の中心位置を蓄積しておき、蓄積された中心位置からユーザの操作をモデル化し、そのモデルに従って予測を行うことを特徴とする請求項１または２に記載のマルチ解像度映像復号方法。
4. 前記副解像度設定ステップは、
   前記操作予測ステップで予測されたユーザ操作における注視領域の移動量に基づいて副解像度を設定することを特徴とする請求項１または２に記載のマルチ解像度映像復号方法。
5. 前記復号された注視領域を含む分割映像と前記アップサンプルされた周辺領域を含む分割映像との境界部分に対して、デブロッキングフィルタ処理を加える境界フィルタ処理ステップを更に含むことを特徴とする請求項１から４のいずれかに記載のマルチ解像度映像復号方法。
6. 同一のシーンを複数の解像度で表現したマルチ解像度映像を空間的に分割して符号化したデータを復号するマルチ解像度映像復号装置であって、
   ユーザの注視領域を設定する注視領域設定手段と、
   前記注視領域設定手段により設定されたユーザの注視領域を復号する主解像度を設定する主解像度設定手段と、
   ユーザの操作履歴からユーザ操作を予測する操作予測手段と、
   前記主解像度よりも低い解像度で、前記注視領域の周辺領域を復号する副解像度を設定する副解像度設定手段と、
   前記副解像度設定手段により設定された副解像度に基づいて、前記注視領域の周辺に位置する周辺領域を設定する周辺領域設定手段と、
   前記注視領域を含む分割映像と前記周辺領域を含む分割映像とを、復号対象の分割映像として設定する復号対象設定手段と、
   前記操作予測手段により予測されるユーザ操作に基づいて、前記復号対象の分割映像に優先順位を設定する優先順位設定手段と、
   前記優先順位設定手段により設定された優先順位に基づいて、前記復号対象に指定された分割映像を復号する分割映像復号手段と、
   前記分割映像復号手段により副解像度で復号された分割映像をアップサンプルする映像拡大手段と
   を備えることを特徴とするマルチ解像度映像復号装置。
7. 前記操作予測手段は、
   前記注視領域の中心位置を蓄積しておき、蓄積された中心位置からユーザの操作をモデル化し、そのモデルに従って予測を行うことを特徴とする請求項６に記載のマルチ解像度映像復号装置。
8. 前記副解像度設定手段は、
   前記操作予測ステップで予測されたユーザ操作における注視領域の移動量に基づいて副解像度を設定することを特徴とする請求項６に記載のマルチ解像度映像復号装置。
9. 前記分割映像復号手段により復号された、前記注視領域を含む分割映像と前記アップサンプルされた周辺領域を含む分割映像との境界部分に対して、デブロッキングフィルタ処理を加える境界フィルタ処理手段を更に含むことを特徴とする請求項６から８のいずれかに記載のマルチ解像度映像復号装置。
10. 同一のシーンを複数の解像度で表現したマルチ解像度映像を空間的に分割して符号化したデータを復号するマルチ解像度映像復号装置のコンピュータに、
    ユーザの注視領域を設定する注視領域設定機能、
    前記注視領域を復号する主解像度を設定する主解像度設定機能、
    ユーザの操作履歴からユーザ操作を予測する操作予測機能、
    前記主解像度よりも低い解像度で、前記注視領域の周辺領域を復号する副解像度を設定する副解像度設定機能、
    前記副解像度に基づいて、前記注視領域の周辺に位置する周辺領域を設定する周辺領域設定機能、
    前記注視領域を含む分割映像と前記周辺領域を含む分割映像とを、復号対象の分割映像として設定する復号対象設定機能、
    前記予測されるユーザ操作に基づいて、前記復号対象の分割映像に優先順位を設定する優先順位設定機能、
    前記優先順位に基づいて、前記復号対象に指定された分割映像を復号する分割映像復号機能、
    前記副解像度で復号された分割映像をアップサンプルする映像拡大機能
    を実行することを特徴とするプログラム。

Images