JP2008510357A

JP2008510357A - 画像のエンコーディング方法、エンコーディング装置、画像のデコーディング方法及びデコーディング装置

Info

Publication number: JP2008510357A
Application number: JP2007525547A
Authority: JP
Inventors: パク，グァン−フン
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2004-08-13
Filing date: 2005-08-12
Publication date: 2008-04-03
Also published as: EP1782632A1; WO2006016782A1

Abstract

全方向画像をエンコーディングして第１ビットストリームを生成する第１エンコーダと、第１ビットストリームをデコーディング装置に伝送し、第１ビットストリームに基づいて再生された画像から選択された関心領域の位置情報をデコーディング装置から受信するデータ通信部と、位置情報に基づいて関心領域に関連した画像をエンコーディングして第２ビットストリームを生成する第２エンコーダと、を備えることを特徴とする画像のエンコーディング装置である。

Description

本発明は、画像エンコーディング及びデコーディングに係り、さらに詳細には、３次元実感放送などに適用される全方向画像のエンコーディング及びデコーディングに関する。

全方向ビデオカメラシステムは、固定視点を基準に３６０°全方向撮影の可能なカメラシステムをいう。全方向ビデオカメラシステムは、カメラに双曲面ミラーのような特殊形態のミラーや、魚眼レンズのような特殊レンズを装着するか、複数のカメラを利用して全方向を撮影する。このような全方向ビデオカメラシステムから生成されたビデオ情報を放送及び伝送に適用させるための全方向ビデオエンコーディング方法についての研究が進められている。

全方向ビデオエンコーディング方法が適用される一例として、三次元実感放送がある。三次元実感放送の一例を挙げれば、野球競技などで多様な視点からの光景についての画像情報は、視聴者側の端末に全て与えられる。すなわち、投手の立場からの視点、捕手の立場からの視点、打者の立場からの視点、一塁席観衆の立場からの視点などでの多様な画像情報が視聴者に提供される。視聴者は、見たい視点を自ら決定して、その視点からの画像を視聴しうる。

三次元実感放送の一例として、クイックタイム（ＱｕｉｃｋＴｉｍｅＶＲ（登録商標））がある。クイックタイムＶＲ（登録商標）は、写真などを３６０°円筒型または立方体パノラミックビューで製作して、３６０°回転やズームなどを行えるようになっているが、あらゆるパノラミック画像情報を視聴前にユーザのコンピュータにダウンローディングせねばならないという短所と、画質が相当劣化するという短所とがある。

従来の技術によれば、全方向動画をエンコーディングするための方法論として、既存のＭＰＥＧ−４、Ｈ.２６４などの２次元画像のエンコーディング方法をそのまま全方向三次元画像に適用するための研究が進められている。図１は、従来の技術による全方向動画エンコーディング／デコーディングシステムの概念図である。図１に示すように、全方向画像撮影手段１１０を利用して全方向画像を得た後、画像変換部１２０は、既存のＭＰＥＧ−４エンコーダ１３０により処理可能な画像フォーマットに、全方向画像を所定のフォーマットの画像に変換する。

レンズ及びミラーを利用した全方向カメラシステムまたは複数のカメラを利用した全方向カメラシステムにより撮影された画像は、３次元の球形環境に対応する特徴を有する。従来のビデオコーデックは、２次元平面画像を入力されて圧縮して伝送するため、全方向カメラシステムにより撮影された３次元画像を２次元平面画像に変換する必要がある。３次元画像を２次元平面画像に変換するための方法としては、地図製作プロジェクション方式と多角形プロジェクション方式とに大別される。

地図製作プロジェクション方式は、世界地図を製作する方式と同様に球形を完全な直方形に変換させる方式である。多角形プロジェクション方式は、球形に対して多面体を内接させることによって、３次元画像を２次元平面画像に変換する。

ＭＰＥＧ−４エンコーダ１３０は、変換された画像をエンコーディングしてビットストリームを生成した後、ユーザ側のデコーディング装置に伝送する。ＭＰＥＧ−４デコーダ１４０及び画像変換部１５０は、それぞれビットストリームをデコーディング及び画像変換した後、ディスプレイ１６０を通じて全方向画像をユーザに提供する。

ユーザに伝送する全方向画像データの量は、非常に多いため、リアルタイムでユーザに伝達するためには、非常に広い伝送帯域幅が必要であり、伝送遅延、ユーザ側のデコーディング装置の性能限界などの多様な問題が発生する。

さらに、全方向画像と２次元画像との特性が異なるにもかかわらず、従来の２次元画像のエンコーディング技法を全方向画像にそのまま適用させる場合、エンコーディングの効率が低下する。

本発明が解決しようとする技術的課題は、全方向画像をさらに効率的に伝送でき、全方向画像のうち、ユーザの関心領域に対しては、さらに改善された画質の画像をユーザに提供できる画像のエンコーディング方法及びエンコーディング装置を提供することである。

本発明が解決しようとする他の技術的課題は、全方向画像のうち、ユーザの関心領域に対しては、さらに改善された画質の画像を提供されてユーザにディスプレイできる画像のデコーディング方法及びデコーディング装置を提供することである。

前記課題を解決するための本発明の一実施形態に係る画像のエンコーディング方法は、全方向画像をエンコーディングして第１ビットストリームを生成した後、デコーディング装置に伝送するステップと、前記第１ビットストリームに基づいて再生された画像から選択された関心領域の位置情報を前記デコーディング装置から受信するステップと、前記位置情報に基づいて前記関心領域に関連した画像をエンコーディングして第２ビットストリームを生成するステップとを含むことを特徴とする。

前記課題を解決するための本発明の一実施形態に係る画像のエンコーディング装置は、全方向画像をエンコーディングして第１ビットストリームを生成する第１エンコーダと、前記第１ビットストリームをユーザのデコーディング装置に伝送し、前記第１ビットストリームに基づいて再生された画像から前記ユーザの関心領域の位置情報を前記デコーディング装置から受信するデータ通信部と、前記位置情報に基づいて前記関心領域に関連した画像をエンコーディングして第２ビットストリームを生成する第２エンコーダと、を備えることを特徴とする。

前記他の課題を解決するための本発明の一実施形態に係る画像のデコーディング方法は、全方向画像をエンコーディングすることによって生成された第１ビットストリームをエンコーディング装置から受信するステップと、前記第１ビットストリームをデコーディングして再生画像をディスプレイするステップと、前記ディスプレイされる再生画像のうち、選択された関心領域の位置情報を前記エンコーディング装置に伝送するステップと、前記関心領域に関連した画像をエンコーディングすることによって生成された第２ビットストリームを前記エンコーディング装置から受信するステップと、前記第２ビットストリームをデコーディングするステップとを含むことを特徴とする。

前記他の課題を解決するための本発明の一実施形態に係る画像のデコーディング装置は、全方向画像をエンコーディングすることによって生成された第１ビットストリームをエンコーディング装置から受信してデコーディングする第１デコーダと、前記第１デコーダによりデコーディングされた再生全方向画像をディスプレイする第１ディスプレイと、前記第１ディスプレイを通じて再生された画像から選択された関心領域の位置情報を前記エンコーディング装置に伝送するデータ通信部と、前記関心領域に関連した画像をエンコーディングすることによって生成された第２ビットストリームを前記エンコーディング装置から受信してデコーディングする第２デコーダとを備えることを特徴とする。

本発明によれば、帯域幅に制限のあるチャンネルを通じて簡略な全方向画像をユーザ側のデコーディング装置に伝送し、全方向画像のうち、ユーザの関心領域に対しては、高画質の画像をユーザにリアルタイムで提供しうる。

以下、添付された図面を参照して、本発明に係る実施形態を詳細に説明する。

ユーザは、全方向カメラシステムにより獲得された画像のあらゆる部分に対して関心があるものではなく、全画像についての情報に基づいて、ユーザが視点変化を行って、関心部の画像を細密に見ようとすることが一般的である。したがって、本発明では、現在、ユーザの関心外に該当する部分の画像に対しては、最小の伝送帯域幅を利用してユーザ側に伝送し、関心領域は、高画質画像を伝送する。すなわち、より低い画質の全体パノマラ画像をユーザ側のデコーディング装置に提供して、ユーザをして概略的なパノマラ画像を提供し、ユーザがより高画質の詳細な画像を見ようとする関心領域を選択して、エンコーディング装置側にその関心領域についての位置情報を提供すれば、その関心領域に対する高画質画像をユーザ側のデコーディング装置に提供する。

図２は、本発明の一実施形態に係る画像のエンコーディング装置のブロック図である。図２に示すように、本発明の一実施形態に係る画像のエンコーディング装置は、第１エンコーダ２１０、データ通信部２２０、第１変換部２４０、第２変換部２３０、関心領域選択部２５０、減算部２６０及び第２エンコーダ２７０を備える。

全方向カメラシステム（図示せず）により撮影された全方向画像が、第１エンコーダ２１０及び第１変換部２４０に入力される。図２に示す本実施形態に係る全方向画像は、環状の画像となりうるが、これに限定されるものではない。

全方向カメラシステムは、特殊レンズまたはミラーとレンズとを組み合わせたカメラシステムであって、固定視点を基準に３６０°全方向を撮影しうる。全方向カメラシステムの一例として、日本ソニー社のモデルＴＲＶ９００またはモデルＨＤＷＦ９００がある。前者は、前方１８０°の光景のみを撮影するカメラであり、後者は、３６０°全方向の光景を撮影できるカメラである。その他に複数のカメラを利用して全方向画像を得る全方向カメラシステムも存在する。

一方、環状画像は、全方向カメラシステムのうち、ミラー基盤のカメラシステムによりミラーに反射されて撮影された画像であって、３６０°全方向画像が含まれた画像である。

第１エンコーダ２１０は、環状画像を入力されて所定の方式によって環状画像エンコーディングを行って、環状画像ビットストリームを生成する。第１エンコーダ２１０として、ＭＰＥＧ−４Ｐａｒｔ２の規格によるエンコーダまたはＨ.２６４（またはＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ）の規格によるエンコーダを使用しうる。しかし、これに限定されず、環状画像に適するように若干の変形を加えたエンコーダを使用してもよい。

第１エンコーダ２１０により生成された環状画像ビットストリームは、データ通信部２２０を通じて図３に示すような画像のデコーディング装置に伝送される。画像のデコーディング装置は、環状画像ビットストリームをデコーディングして再生された環状画像を得て、再生された環状画像を再びパノマラ画像に変換して、パノマラ画像ディスプレイ３３０を通じて再生される。さらに、第１エンコーダ２１０は、生成された環状画像ビットストリームを特定の帯域幅に合わせて再生された環状画像を別途に生成した後、再生された環状画像バッファ（図示せず）に保存する。第１エンコーダ２１０は、生成された環状画像ビットストリームをデコーディングすることによって再生された環状画像を生成する。したがって、第１エンコーダ２１０は、エンコーディングだけでなく、デコーディングの機能を有する。第１エンコーダ２１０によって再生された環状画像は、第２変換部２３０に入力される。

第１変換部２４０は、第１ＡＰＣ（Ａｎｎｕｌａｒ−ｔｏ−ＰａｎｏｒａｍａＣｏｎｖｅｒｓｉｏｎ）部２４１及び第１ＰＰＩＣ（Ｐａｎｏｒａｍａ−ｔｏ−ＰｅｒｓｐｅｃｔｉｖｅＩｍａｇｅＣｏｎｖｅｒｓｉｏｎ）部２４３を備える。第２変換部２３０は、第２ＡＰＣ部２３１及び第２ＰＰＩＣ部２３３を備える。

第１変換部２４０及び第２変換部２３０は、本来の環状画像及び再生された環状画像を入力されて、環状画像を所定の画像フォーマットに変換する。第１ＡＰＣ部２４１及び第２ＡＰＣ部２３１は、それぞれ本来の環状画像及び再生された環状画像を第１パノマラ画像及び第２パノマラ画像に変換する。第１ＡＰＣ部２４１及び第２ＡＰＣ部２３１で本来の環状画像及び再生された環状画像を２次元平面画像（すなわち、第１パノマラ画像及び第２パノマラ画像）に変換するための方法として、地図製作プロジェクション方式及び多角形プロジェクション方式などがある。第１ＰＰＩＣ部２４３及び第２ＰＰＩＣ部２３３は、第１パノマラ画像及び第２パノマラ画像を第１投影画像及び第２投影画像にそれぞれ変換する。第１ＰＰＩＣ部２４３及び第２ＰＰＩＣ部２３７で第１パノマラ画像及び第２パノマラ画像を第１投影画像及び第２投影画像に変換する方法としては、平行投影法及び透視投影法が主に使用される。

関心領域選択部２５０は、図３に示すデコーディング装置から、ユーザが選択した関心領域の位置情報を入力されて、第１ＰＰＩＣ部２４３及び第２ＰＰＩＣ部２３３を制御して、第１ＰＰＩＣ部２４３及び第２ＰＰＩＣ部２３３をして関心領域に該当する第１投影画像及び第２投影画像を出力させる。

減算部２６０は、第１ＰＰＩＣ部２４３から出力される第１投影画像と、第２ＰＰＩＣ部２３３から出力される第２投影画像との誤差画像を第２エンコーダ２７０に出力する。第２エンコーダ２７０は、その誤差画像を所定の方式によってエンコーディングして、デコーディング装置に伝送するための投影画像ビットストリームを生成する。第２エンコーダ２７０として、ＭＰＥＧ−４Ｐａｒｔ２の規格によるエンコーダまたはＨ.２６４（またはＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ）の規格によるエンコーダを使用しうる。しかし、これに限定されない。

図４は、本発明の一実施形態に係る画像のエンコーディング方法のフローチャートである。図２ないし図４に示すように、全方向カメラシステム（図示せず）により全方向の環状画像が生成されれば（Ｓ４１０）、全方向の環状画像が第１エンコーダ２１０に入力される。全方向の環状画像は、第１エンコーダ２１０によりＭＰＥＧ−４Ｐａｒｔ２またはＨ.２６４などの所定のエンコーディング方式によってエンコーディングされて、環状画像ビットストリームが生成される（Ｓ４２０）。環状画像ビットストリーム（第１ビットストリーム）は、データ通信部２２０を通じて所定のチャンネルを経て、図３に示すようなユーザ側のデコーディング装置に伝送される（Ｓ４３０）。

環状画像ビットストリームを受信したユーザ側画像のデコーディング装置は、その環状画像ビットストリーム（第１ビットストリーム）をデコーディングして再生された環状画像を得、再生された環状画像を再びパノマラ画像に変換して、パノマラ画像ディスプレイ３３０を通じて再生される。もちろん、パノマラ画像ディスプレイ３３０を通じて再生されるパノマラ画像の画質は保証できないが、ユーザは、パノマラ画像ディスプレイ３３０を通じて全体画像が見られる。パノマラ画像ディスプレイ３３０を通じた全体画像の視聴中、ユーザは、全体画像のうち、より詳細に視聴したい関心領域を選択する命令をユーザインターフェース（ＵｓｅｒＩｎｔｅｒｆａｃｅ：ＵＩ）３４０を利用して入力する。

ＵＩ３４０から出力された関心領域の位置情報は、データ通信部３５０を通じて図２に示す画像のエンコーディング装置に伝送する。伝送された関心領域の位置情報は、データ通信部２２０を通じて受信される（Ｓ４４０）。関心領域の位置情報は、再び関心領域選択部２５０に提供される。関心領域選択部２５０は、入力された関心領域の位置情報によって、第１ＰＰＩＣ部２４３及び第２ＰＰＩＣ部２３３が関心領域に該当する画像を出力するように制御する。第１ＰＰＩＣ部２４３は、第１ＡＰＣ部２４１から出力された第１パノマラ画像のうち、関心領域に該当する画像を抽出した後に第１投影画像に変換する。同様に、第２ＰＰＩＣ部２３３は、第２ＡＰＣ部２３１から出力された第２パノマラ画像のうち、関心領域に該当する画像を抽出した後に第２投影画像に変換する。

第１ＰＰＩＣ部２４３から出力された第１投影画像は、本来の環状画像を第１パノラマ画像に変換し、第１パノマラ画像を第１投影画像に変換した結果である。第２ＰＰＩＣ部２３３の出力された第２投影画像は、第１エンコーダ２１０から出力された再生された環状画像を第２パノマラ画像に変換し、第２パノマラ画像を第２投影画像に変換した結果である。すなわち、第１ＰＰＩＣ部２４３から出力された第１投影画像は、関心領域の本来の画像と言え、第２ＰＰＩＣ部２３３の出力画像は、関心領域の再生画像と言える。

減算部２６０は、第１ＰＰＩＣ部２４３の出力画像と第２ＰＰＩＣ部２３３の出力画像との間の誤差画像を第２エンコーダ２７０に出力する。関心領域の本来の画像をエンコーディングするよりは、関心領域の本来の画像と関心領域の再生画像との間の誤差をエンコーディングすることが伝送データの量を減少させうる。第２エンコーダ２７０は、その誤差画像をＭＰＥＧ−４Ｐａｒｔ２またはＨ.２６４などの所定のエンコーディング方式によってエンコーディングしてデコーディング装置に伝送するための投影画像ビットストリーム、すなわち、第２ビットストリームを生成する（Ｓ４５０）。第２エンコーダ２７０により生成された投影画像ビットストリーム（第２ビットストリーム）は、デコーディング装置に伝送されて（Ｓ４６０）、ユーザは、自身が選択した関心領域に関するさらに詳細な画像を視聴しうる。

図３は、本発明の一実施形態に係る画像のデコーディング装置のブロック図である。図３に示すように、本発明の一実施形態に係る画像のデコーディング装置は、第１デコーダ３１０、変換部３２０、ＵＩ３４０、データ通信部３５０、関心領域選択部３６０、第２デコーダ３７０及び合成部３８０を備える。

図３に示す画像のデコーディング装置は、図２に示すような画像のエンコーディング装置により生成された環状画像ビットストリーム及び投影画像ビットストリームを受信して、パノマラ画像ディスプレイ３３０及び投影画像ディスプレイ（図示せず）を通じてそれぞれパノマラ画像及び関心領域に関する投影画像をユーザに表示させる。

第１デコーダ３１０は、環状画像をエンコーディングすることによって生成された環状画像ビットストリームを入力されてデコーディングする。変換部３２０は、ＡＰＣ部３２１及びＰＰＩＣ部３２３を備える。変換部３２０は、第１デコーダ３１０から出力された再生された環状画像を入力されて、所定の画像フォーマットに変換する。ＡＰＣ部３２１は、環状画像をパノマラ画像に変換し、ＰＰＩＣ部３２３は、パノマラ画像を投影画像に変換する。

ＵＩ３４０は、ユーザからの命令を入力される。データ通信部３５０は、画像のエンコーディング装置とのデータの送受信を行う。関心領域選択部３６０は、ＵＩ３４０からユーザが選択した関心領域の位置情報を入力されて、ＰＰＩＣ部３２３が関心領域に該当する画像を出力するように制御する。

合成部３８０は、第２デコーダ３７９の出力画像とＰＰＩＣ部３２３の出力画像とを合成することによって、投影画像ディスプレイ部によってディスプレイされる投影画像を生成する。前述したように、投影画像ビットストリームは、関心領域の本来の画像をエンコーディングしたものではなく、関心領域の本来の画像と関心領域の再生画像との誤差画像をエンコーディングすることによって生成されたので、第２デコーダ３７９の出力画像は、関心領域の本来の画像と関心領域の再生画像との誤差画像である。したがって、完全な投影画像は、第２デコーダ３７９の出力画像の誤差画像と、ＰＰＩＣ部３２３の出力画像の関心領域の再生画像とを合成することによって得られる。

図５は、本発明の一実施形態に係る画像のデコーディング方法のフローチャートである。図３ないし図５に示すように、全方向環状画像をエンコーディングすることによって生成された環状画像ビットストリーム、すなわち、第１ビットストリームがデータ通信部３５０を通じて受信される（Ｓ５１０）。受信された環状画像ビットストリーム（第１ビットストリーム）は、第１デコーダ３１０によりデコーディングされた後、ＡＰＣ部３２１によりパノマラ画像に変換される。そのパノマラ画像は、パノマラ画像ディスプレイ３３０を通じて再生される（Ｓ５２０）。

ユーザは、パノマラ画像ディスプレイ３３０を通じて、高画質画像ではないが、全方向光景を含むパノマラ画像が見られる。パノマラ画像ディスプレイ３３０を通じた全体画像の視聴中、ユーザは、全体画像のうち、さらに詳細に視聴したい関心領域を選択する命令をＵＩ３４０を利用して入力する（Ｓ５３０）。ＵＩ３４０から出力された関心領域の位置情報は、データ通信部３５０を通じて、図２に示すような画像のエンコーディング装置に伝送される（Ｓ５４０）。画像のエンコーディング装置は、受信した関心領域の位置情報に基づいて、関心領域に関するさらに高画質の投影画像データを含む投影画像ビットストリームを図３の画像のデコーディング装置に伝送する。

投影画像ビットストリーム、すなわち、第２ビットストリームは、データ通信部３５０を通じて受信された後（Ｓ５５０）、第２デコーダ３７０に提供される。投影画像ビットストリーム（第２ビットストリーム）は、第２デコーダ３７０によりデコーディングされて、合成部３８０に出力される。合成部３８０は、第２デコーダ３７９の出力画像とＰＰＩＣ部３２３の出力画像とを合成することによって、ユーザにディスプレイする投影画像を生成する。合成部３８０により合成された関心領域に関する投影画像は、投影画像ディスプレイ（図示せず）を通じてユーザに再生される（Ｓ５６０）。

図６は、本発明の他の実施形態に係る画像のエンコーディング装置のブロック図である。図６に示す画像のエンコーディング装置は、図２に示す画像のエンコーディング装置の構造と類似している。ただし、空間的スケーラビリティの機能を付加するために、図６に示す画像のエンコーディング装置は、ダウンサンプリング部２０５及びアップサンプリング部２１５をさらに備えるという点で異なる。

図７は、本発明の他の実施形態に係る画像のデコーディング装置のブロック図であって、図６に示す画像のエンコーディング装置に対応する画像のデコーディング装置である。図７に示す画像のデコーディング装置は、図３に示す画像のデコーディング装置の構造と類似している。ただし、空間的スケーラビリティの機能の付加された図６に示す画像のエンコーディング装置に対応するために、第１デコーダ３１０の出力画像をアップサンプリングするためのアップサンプリング部３１５をさらに備えるという点で異なる。

また、本発明は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られうるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（リードオンリーメモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、また、キャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードとして保存され、かつ実行されうる。

以上、本発明についてその望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されうるということが理解できるであろう。本発明の範囲は、前述した説明ではなく、特許請求の範囲に記載されており、それと同等な範囲内にある全ての差異点は、本発明に含まれたものと解釈されねばならない。

従来の技術による全方向動画エンコーディング／デコーディングシステムの概念図である。本発明の一実施形態に係る画像のエンコーディング装置のブロック図である。本発明の一実施形態に係る画像のデコーディング装置のブロック図である。本発明の一実施形態に係る画像のエンコーディング方法のフローチャートである。本発明の一実施形態に係る画像のデコーディング方法のフローチャートである。本発明の他の実施形態に係る画像のエンコーディング装置のブロック図である。本発明の他の実施形態に係る画像のデコーディング装置のブロック図である。

Claims

画像のエンコーディング方法において、
全方向画像をエンコーディングして第１ビットストリームを生成した後、デコーディング装置に伝送するステップと、
前記第１ビットストリームに基づいて、再生された画像から選択された関心領域の位置情報を前記デコーディング装置から受信するステップと、
前記位置情報に基づいて、前記関心領域に関連した画像をエンコーディングして第２ビットストリームを生成するステップとを含むことを特徴とする方法。
前記第２ビットストリームを生成するステップは、
前記全方向画像から前記関心領域に対応する第１画像を得るステップと、
前記第１ビットストリームをデコーディングして再生された全方向画像を得るステップと、
前記再生された全方向画像から前記関心領域に対応する第２画像を得るステップと、
前記第１画像と前記第２画像との誤差画像を求めた後、前記誤差画像をエンコーディングして前記第２ビットストリームを生成するステップと、を含むことを特徴とする請求項１に記載の方法。
前記第１画像を得るステップは、
前記全方向画像をパノマラ画像に変換して第１パノマラ画像を得るステップと、
前記第１パノマラ画像から前記第１画像を得るステップとを含み、
前記第２画像を得るステップは、
前記再生された全方向画像をパノマラ画像に変換して第２パノマラ画像を得るステップと、
前記第２パノマラ画像から前記第２画像を得るステップと、を含むことを特徴とする請求項２に記載の方法。
前記第１パノマラ画像から前記第１画像を得るステップは、
前記第１パノマラ画像から前記関心領域を選択するステップと、
前記第１パノマラ画像から選択された関心領域を投影画像に変換して前記第１画像を得るステップとを含み、
前記第２パノマラ画像から前記第２画像を得るステップは、
前記第２パノマラ画像から前記関心領域を選択するステップと、
前記第２パノマラ画像から選択された関心領域を投影画像に変換して前記第２画像を得るステップとを含むことを特徴とする請求項３に記載の方法。
前記第１ビットストリームの生成以前に前記全方向画像をダウンサンプリングするステップをさらに含み、
前記再生された全方向画像を得るステップは、
前記ダウンサンプリングに対応するアップサンプリングステップを含むことを特徴とする請求項２に記載の方法。
画像のエンコーディング方法において、
第１解像度で入力された全方向画像をエンコーディングし、エンコーディングされた全方向画像を出力するステップと、
入力位置情報によって決定された前記入力全方向画像の領域に対応する画像をエンコーディングし、第２解像度で前記入力全方向画像の領域に対応する画像をエンコーディングして出力するステップとを含むことを特徴とする方法。
前記第２解像度は、第１解像度よりさらに高いことを特徴とする請求項６に記載の方法。
前記入力全方向画像の領域に対応する画像をエンコーディングするステップは、
前記第１解像度でエンコーディングされて出力された全方向画像をデコーディングするステップと、
前記入力位置情報によって前記デコーディングされた全方向画像の領域の第１投影画像を生成するステップと、
前記入力位置情報によって前記入力全方向画像の領域の第２投影画像を生成するステップと、
前記第２投影画像と第１投影画像との間のエラー画像を計算するステップと、
前記計算されたエラー画像をエンコーディングするステップとを含むことを特徴とする請求項６に記載の方法。
画像のエンコーディング装置において、
全方向画像をエンコーディングして第１ビットストリームを生成する第１エンコーダと、
前記第１ビットストリームをユーザのデコーディング装置に伝送し、前記第１ビットストリームに基づいて再生された画像で前記ユーザの関心領域の位置情報を前記デコーディング装置から受信するデータ通信部と、
前記位置情報に基づいて前記関心領域に関連した画像をエンコーディングして第２ビットストリームを生成する第２エンコーダとを備えることを特徴とする装置。
前記関心領域の位置情報を入力されて領域選択制御信号を出力する関心領域選択部と、
前記領域選択制御信号によって、前記全方向画像から前記関心領域に対応する第１画像を出力する第１変換部と、
前記第１エンコーダは、前記第１ビットストリームをデコーディングして再生された全方向画像を出力し、
前記領域選択制御信号によって、前記再生された全方向画像から前記関心領域に対応する第２画像を出力する第２変換部と、
前記第１画像と前記第２画像との間の誤差画像を前記第２エンコーダに出力する減算部とをさらに備えることを特徴とする請求項９に記載の装置。
前記第１変換部は、
前記全方向画像をパノマラ画像に変換して第１パノマラ画像を出力する第１パノマラ画像変換部と、
前記第１パノマラ画像で前記関心領域に対応する領域を投影画像に変換して前記第１投影画像を出力する第１投影画像変換部とを備え、
前記第２変換部は、
前記再生された全方向画像をパノマラ画像に変換して第２パノマラ画像を出力する第２パノマラ画像変換部と、
前記第２パノマラ画像で前記関心領域に対応する領域を投影画像に変換して前記第２投影画像を出力する第２投影画像変換部と、を備えることを特徴とする請求項１０に記載の装置。
前記全方向画像をダウンサンプリングして前記第１エンコーダに出力するダウンサンプリング部と、
前記第１エンコーダから出力された前記再生された全方向画像を、前記ダウンサンプリングに対応するアップサンプリングを行って出力するアップサンプリング部とを備えることを特徴とする請求項１０に記載の装置。
画像のエンコーディング装置において、
入力全方向画像をエンコーディングし、前記エンコーディングされた入力全方向画像をデコーディングする第１エンコーディング部と、
前記入力全方向画像から選択された関心領域の入力位置情報を受信し、前記受信された位置情報によって、前記入力全方向画像及び前記デコーディングされた全方向画像のそれぞれで選択された関心領域の第１投影画像及び第２投影画像を生成する関心領域部と、
前記選択された関心領域の第１投影画像と第２投影画像との間のエラー画像をエンコーディングする第２エンコーディング部と、を備えることを特徴とする装置。
前記第２エンコーディング部は、前記第１エンコーディング部でエンコーディングされた全方向画像を伝送するときの解像度よりさらに高い解像度でエンコーディングされたエラー画像を伝送することを特徴とする請求項１３に記載の装置。
前記関心領域部は、
前記入力全方向画像で選択された領域の第１投影画像を生成する第１変換部と、
前記デコーディングされた全方向画像で選択された領域の第２投影画像を生成する第２変換部と、
前記選択された関心領域の入力位置情報を受信し、前記受信された位置情報によって前記第１変換部及び第２変換部を制御する関心領域選択部と、をさらに備えることを特徴とする請求項１３に記載の装置。
前記第１変換部は、
前記入力全方向画像を第１パノマラ画像に変換する第１全方向パノマラ変換部と、
前記入力位置情報によって前記第１パノマラ画像の一部を前記第１投影画像に変換する第１パノマラ投影画像変換部とをさらに備え、
前記第２変換部は、
前記デコーディングされた全方向画像を第２パノマラ画像に変換する第２全方向パノマラ変換部と、
前記入力位置情報によって前記第２パノマラ画像を前記第２投影画像に変換する第２パノマラ投影画像変換部と、をさらに備えることを特徴とする請求項１５に記載の装置。
前記エンコーディングされた全方向画像及び前記エンコーディングされたエラー画像を外部のデコーディング装置に伝送し、前記外部デコーディング装置から選択された関心領域の入力位置情報を受信し、前記関心領域部に受信された位置情報を伝送するデータ通信部をさらに備えることを特徴とする請求項１３に記載の装置。
前記関心領域は、前記デコーディングされた全方向画像から選択されることを特徴とする請求項１３に記載の装置。
画像のデコーディング方法において、
全方向画像をエンコーディングすることによって生成された第１ビットストリームをエンコーディング装置から受信するステップと、
前記第１ビットストリームをデコーディングして再生画像をディスプレイするステップと、
前記ディスプレイされる再生画像のうち、選択された関心領域の位置情報を前記エンコーディング装置に伝送するステップと、
前記関心領域に関連した画像をエンコーディングすることによって生成された第２ビットストリームを前記エンコーディング装置から受信するステップと、
前記第２ビットストリームをデコーディングするステップと、を含むことを特徴とする方法。
前記第２ビットストリームをデコーディングするステップは、
前記第２ビットストリームをデコーディングして前記関心領域に対応する第１画像を得るステップと、
前記再生画像から関心領域に対応する第２画像を得るステップと、
前記第１画像と前記第２画像とを結合することによって前記関心領域に対応する結合された投影画像を生成するステップとを含むことを特徴とする請求項１９に記載の方法。
前記第２画像を得るステップは、
前記再生された画像をパノマラ画像に変換するステップと、
前記パノマラ画像から前記関心領域を選択するステップと、
前記関心領域を投影画像に変換して前記第２画像を得るステップとを含むことを特徴とする請求項２０に記載の方法。
前記エンコーディング装置により全方向画像のエンコーディング時、ダウンサンプリングされた場合に、前記再生された全方向画像を、前記ダウンサンプリングに対応するアップサンプリングを行うステップをさらに含むことを特徴とする請求項２０に記載の方法。
エンコーディングされた画像のビューイング方法において、
入力されたエンコーディング全方向画像をデコーディングし、デコーディングされた全方向画像をディスプレイするステップと、
前記デコーディングされた全方向画像で関心領域を選択し、前記選択された関心領域の位置情報を出力するステップと、
入力エンコーディングエラー画像をデコーディングし、前記デコーディングされたエラー画像を前記デコーディングされた全方向画像で選択された関心領域と結合し、結合された関心領域画像を生成するステップと、
前記結合された関心領域画像をディスプレイするステップとを含むことを特徴とする方法。
前記入力エンコーディングエラー画像は、前記選択された関心領域の出力位置情報によって生成されることを特徴とする請求項２３に記載の方法。
前記デコーディングされたエラー画像を、前記デコーディングされた全方向画像で選択された関心領域と結合するステップは、
前記デコーディングされた全方向画像をパノマラ画像に変換するステップと、
前記選択された関心領域によって前記パノマラ画像の一部を投影画像に変換するステップとをさらに含むことを特徴とする請求項２３に記載の方法。
画像のデコーディング装置において、
全方向画像をエンコーディングすることによって生成された第１ビットストリームをエンコーディング装置から受信してデコーディングする第１デコーダと、
前記第１デコーダによりデコーディングされた再生全方向画像をディスプレイする第１ディスプレイと、
前記第１ディスプレイを通じて再生された画像から選択された関心領域の位置情報を前記エンコーディング装置に伝送するデータ通信部と、
前記関心領域に関連した画像をエンコーディングすることによって生成された第２ビットストリームを前記エンコーディング装置から受信してデコーディングする第２デコーダとを備えることを特徴とする装置。
前記選択された関心領域の位置情報を入力されて領域選択制御信号を出力する関心領域選択部と、
前記領域選択制御信号によって、前記第１デコーダによりデコーディングされた画像から前記関心領域に対応する画像を出力する変換部と、
前記第２デコーダによりデコーディングされた画像と、前記変換部にから出力された画像とを合成する合成部とを備えることを特徴とする請求項２６に記載の装置。
前記変換部は、
前記第１デコーダによりデコーディングされた全方向画像をパノマラ画像に変換するパノマラ画像生成部と、
前記領域選択制御信号によって、前記パノマラ画像から前記関心領域に対応する領域を投影画像に変換した後に前記合成部に出力する投影画像生成部とを備えることを特徴とする請求項２７に記載の装置。
前記エンコーディング装置により前記再生された全方向画像に関して、前記全方向画像をエンコーディングする時に行われたダウンサンプリングに対応するアップサンプリングを行うアップサンプリング部をさらに備えることを特徴とする請求項２７に記載の装置。
画像のデコーディング装置において、
入力エンコーディングされた全方向画像をデコーディングする第１デコーディング部と、
前記デコーディングされた全方向画像で関心領域を選択し、前記選択された関心領域の位置情報を出力し、前記デコーディングされた全方向画像で選択された関心領域の投影画像を生成する関心領域部と、
入力エラー画像をデコーディングする第２デコーディング部と、
前記デコーディングされた全方向画像で選択された関心領域の投影画像と、前記デコーディングされたエラー画像とを結合し、結合された関心領域画像を生成する計算部とを備えることを特徴とする装置。
前記関心領域部は、
前記デコーディングされた全方向画像をディスプレイするディスプレイ部と、
前記ディスプレイされる全方向画像によって、ユーザに前記関心領域を選択せしめるユーザインターフェースと、
前記デコーディングされた全方向画像で選択された関心領域の投影画像を生成する変換部とをさらに備えることを特徴とする請求項３０に記載の装置。
前記変換部は、
前記デコーディングされた全方向画像をパノマラ画像に変換し、前記パノマラ画像をディスプレイする前記ディスプレイ部に出力する全方向パノマラ変換部と、
前記選択された関心領域に対応する前記パノマラ画像の部分を、前記選択された領域の投影画像に変換するパノマラ投影画像変換部とをさらに備えることを特徴とする請求項３１に記載の装置。
前記デコーディングされた全方向画像及び前記結合された関心領域画像をディスプレイする一つ以上のディスプレイ部をさらに備えることを特徴とする請求項３０に記載の装置。
画像エンコーディング及びデコーディング装置において、
入力全方向画像をエンコーディングし、前記エンコーディングされた全方向画像を伝送し、前記入力全方向画像の関心領域の位置情報を受信し、前記入力全方向画像で前記受信された位置情報によって決定された部分に対応するエラー画像をエンコーディングし、前記エンコーディングされたエラー画像を伝送するエンコーディング部と、
前記エンコーディングされた全方向画像を受信してデコーディングし、前記デコーディングされた全方向画像に基づいて前記関心領域を選択し、前記エンコーディング部に前記関心領域の位置情報を伝送し、前記デコーディングされたエラー画像と、前記位置情報によって決定された前記デコーディングされた全方向画像部分の画像とを結合して、前記選択された関心領域の結合された画像を生成するデコーディング部とを備えることを特徴とする装置。
画像のエンコーディング方法を実現させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体において、
前記画像のエンコーディング方法は、
全方向画像をエンコーディングして第１ビットストリームを生成した後、デコーディング装置に伝送するステップと、
前記第１ビットストリームに基づいて再生された画像から選択された関心領域の位置情報を前記デコーディング装置から受信するステップと、
前記位置情報に基づいて、前記関心領域に関連した画像をエンコーディングして第２ビットストリームを生成するステップとを含むことを特徴とする記録媒体。
画像のデコーディング方法を実現させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体において、
前記画像のデコーディング方法は、
全方向画像をエンコーディングすることによって生成された第１ビットストリームをエンコーディング装置から受信するステップと、
前記第１ビットストリームをデコーディングして再生画像をディスプレイするステップと、
前記再生画像のうち、選択された関心領域の位置情報を前記エンコーディング装置に伝送するステップと、
前記関心領域に関連した画像をエンコーディングすることによって生成された第２ビットストリームを前記エンコーディング装置から受信するステップと、
前記第２ビットストリームをデコーディングするステップとを含むことを特徴とする記録媒体。
画像のエンコーディング方法を実現させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体において、
前記画像のエンコーディング方法は、
第１解像度で入力された全方向画像をエンコーディングし、エンコーディングされた全方向画像を出力するステップと、
入力位置情報によって決定された前記入力全方向画像の領域に対応する画像をエンコーディングし、第２解像度で前記入力全方向画像の領域に対応する画像をエンコーディングして出力するステップとを含むことを特徴とする記録媒体。
画像のエンコーディング方法を実現させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体において、
前記画像のエンコーディング方法は、
入力全方向画像をエンコーディングし、前記エンコーディングされた全方向画像を出力するステップと、
前記エンコーディングされた全方向画像をデコーディングし、前記入力全方向画像の領域と、対応する前記デコーディングされた全方向画像の領域との間のエラー画像をエンコーディングして出力するステップとを含み、前記デコーディングされた全方向画像の領域は、入力関心領域情報に基づいて決定されることを特徴とする記録媒体。
エンコーディングされた画像の視聴方法を実現させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体において、
前記視聴方法は、
入力されたエンコーディング全方向画像をデコーディングし、デコーディングされた全方向画像をディスプレイするステップと、
前記デコーディングされた全方向画像で関心領域を選択し、前記選択された関心領域の位置情報を出力するステップと、
入力エンコーディングエラー画像をデコーディングし、前記デコーディングされたエラー画像を、前記デコーディングされた全方向画像で選択された関心領域と結合して、結合された関心領域画像を生成するステップと、
前記結合された関心領域画像をディスプレイするステップとを含むことを特徴とする方法。