JP2018530225A - 光照射野ベース画像を符号化及び復号する方法と装置、および対応するコンピュータプログラム製品 - Google Patents

Abstract

画像ごとに異なる焦点距離でフォーカスした画像セットを含む現在の焦点スタックを符号化する方法を開示する。本開示によると、該方法は、前記現在の焦点スタックの画像を表す情報を符号化（３１）することであって、前記画像は画像鮮明度基準に従って前記現在の焦点スタックにおいて選択され、前記画像を再構成して再構成画像にすることと、少なくとも再構成された画像からの予測によって、現在の焦点スタックの少なくとも他の画像を符号化すること（３２）とを含む。

Description

本開示は、光照射野イメージング、および光照射野データを取得および処理する技術に関する。より詳細には、本開示は、概して、光照射野ベース画像を符号化および復号する方法および装置に関し、画像またはビデオの符号化／復号（すなわち、画像またはビデオの圧縮／復元）の分野において用途がある。

このセクションは、以下に説明して特許請求する本開示の様々な態様に関連する様々な態様の技術を読者に紹介することを意図するものである。この説明は、本発明の様々な態様の理解を容易にする背景情報を読者に提供する役に立つはずである。従って、言うまでもなく、これらの記載は上記を考慮して読むべきであり、先行技術として認める（ａｄｍｉｓｓｉｏｎｓ ｏｆ ｐｒｉｏｒ ａｒｔ）ものではない。

従来の画像キャプチャ装置は、３次元シーンを２次元センサ上にレンダリングする。動作中、従来のキャプチャ装置は、装置内の光センサ（または光検出器）に到達する光の量を表す２次元（２−Ｄ）画像をキャプチャする。しかし、この２−Ｄ画像は、光センサに到達する光線の方向分布に関する情報（これは光照射野と呼ばれ得る）を含まない。例えば、深度は撮像中に失われる。したがって、従来のキャプチャ装置は、シーンからの光分布に関する情報の大部分を記憶していない。

光照射野キャプチャ装置（「光照射野データ取得装置」とも呼ばれる）は、そのシーンの様々な視点から光をキャプチャすることによって、シーンの４次元（４Ｄ）光照射野を測定するように設計されている。このように、これらの装置は、光センサと交差する各光ビームに沿って進む光の量を測定することにより、後処理によって新たなイメージングアプリケーションを提供するための追加の光学情報（光束の方向分布に関する情報）をキャプチャすることができる。光照射野キャプチャ装置によって取得される情報は、光照射野データと呼ばれる。光照射野キャプチャ装置は、本明細書において、光照射野データをキャプチャすることができる任意の装置として定義される。光照射野キャプチャ装置にはいくつかの種類がある：
− 米国特許出願公開第２０１３／０２２２６３３号明細書に記載されているように、イメージセンサと主レンズとの間に配置されたマイクロレンズアレイを使用するプレノプティック装置；
− それぞれのカメラが自分のイメージセンサにイメージを結ぶ（ｉｍａｇｅ）カメラアレイ。

また光照射野データは、従来のハンドヘルドカメラを使用することによって様々な視点から撮ったシーンの一連の２次元画像（同じシーンを表す２つの異なる画像が異なる視点でキャプチャされたときのビューと呼ばれる）からＣＧＩ（Ｃｏｍｐｕｔｅｒ Ｇｅｎｅｒａｔｅｄ Ｉｍａｇｅｒｙ）を用いてシミュレーションしてもよい。

光照射野データ処理は、シーンのリフォーカスされた画像を生成すること、シーンの遠近図を生成すること、シーンの深度マップを生成すること、拡張被写界深度（ＥＤＯＦ）画像を生成すること、立体画像を生成すること、および／またはこれらの任意の組み合わせを含むが、特に限定されない。

本開示は、より詳しくは、非特許文献１によって開示された図１に示されるようなプレノプティック装置（ｐｌｅｎｏｐｔｉｃ ｄｅｖｉｃｅ）によってキャプチャされる光照射野ベース画像にフォーカスする。

このようなプレノプティック装置は、主レンズ（１１）、マイクロレンズアレイ（１２）、及びフォトセンサ（１３）よりなる。より詳しくは、主レンズは被写体をマイクロレンズアレイ上に（またはその近くに）フォーカスする。マイクロレンズアレイ（１２）は、収束光線を分離して、マイクロレンズアレイの背後にあるフォトセンサ上の画像にする。

プレノプティック装置とは対照的に、Ｐｅｌｉｃａｎ Ｉｍａｇｉｎｇ（登録商標）カメラなどのカメラアレイ装置は、ビューのマトリックスを直接的に（モザイク解除せずに）提供する。

一般に、４次元（４Ｄ）光照射野は、焦点スタックを用いて処理される。焦点スタック（ｆｏｃａｌ ｓｔａｃｋ）は、それぞれが異なる焦点距離に焦点を合わせられた画像の集まりを含む。このような焦点スタックによりユーザは後処理により画像の焦点を変更できる。

光照射野画像またはビデオのデータセット（プレノプティックカメラ、カメラアレイまたはＣＧＩ（Ｃｏｍｐｕｔｅｒ Ｇｅｎｅｒａｔｅｄ Ｉｍａｇｅｒｙ）によるシミュレーションにより取得されたかにかかわらず）は、再編成され、フロントレンズの焦点面の近傍に、その焦点面の近傍のレンズによって生成される光照射野と同様の光データボリュームを形成する。このような焦点スタック１００は、図２に概略的に示されている。

カメラによる従来の焦点合わせは、焦点スタック１００中の画像１０１，１０２，１０３のうちの１つを選択することによってシミュレーションされる。これは、カメラの主光軸ｚに垂直に焦点面を移動させることに対応する。

これらの豊富なデータ源によって提供される多くの新しい光照射野イメージング機能には、コンテンツを、それが捕らえられた後に操作する機能がある。これらの操作には、さまざまな目的があり、特に芸術的、タスクベースおよび犯罪捜査（ｆｏｒｅｎｓｉｃ）がある。例えば、ユーザは、リアルタイムで、焦点、焦点深度、立体視のベースライン、および視点を変更することが可能である。このようなメディアの相互作用および経験は、光照射野ベースの画像を符号化／復号化するために従来の標準的な画像またはビデオコーデックを使用することによって得られるだろう従来のイメージングフォーマットでは利用できない。

さらに、ＡＩＦ（Ａｌｌ Ｉｎ Ｆｏｃｕｓ）画像は、焦点融合（ｆｏｃｕｓ ｆｕｓｉｏｎ）によって生成されてもよい。各焦点スタック画像内で合焦領域を検出し、これらの合焦領域のすべてを融合してＡＩＦ画像を形成する。

このような光照射野ベース画像を符号化する従来技術の方法は、標準的な画像またはビデオコーデック（ＪＰＥＧ、ＪＰＥＧ−２０００、ＭＰＥＧ４ Ｐａｒｔ １０ ＡＶＣ、ＨＥＶＣなど）を使用することにある。しかしながら、そのような標準的なコーデックは、光照射野イメージング（別名、プレノプティックデータ）の特異性を考慮に入れることができない。光照射野は、あらゆる方向の、空間内のあらゆる点における光の量（「放射輝度」）を記録している。

実際に、従来の標準画像またはビデオコーデック（ＪＰＥＧ、ＪＰＥＧ−２０００、ＭＰＥＧ４ Ｐａｒｔ １０ ＡＶＣ、ＨＥＶＣなど）を適用すると、従来のイメージングフォーマットとなる。

特に、従来のフレーム間符号化方式を使用すると、（他の視点から撮られた）他のビューによって提供される知識を考慮することなく、（同じ視点から撮られた）過去、未来、または時間的に隣接する画像からの情報を用いて符号化されるプレノオプティクビューとなる。

代替案として、ＭＰＥＧ ＭＶＣのような多視点符号化方法を使用することは、あるビューから別のビューを予測することにあるが、４Ｄ光照射野によって提供される深度を符号化するのには適していない。

結果として、従来の標準的な画像またはビデオのコーデックで符号化された４Ｄ光照射野データの復号化後、プレノプティック画像の再構成は不正確になる可能性がある。このようなデータからＡＩＦ画像を取得することは不可能な場合がある。

したがって、従来技術の少なくとも１つの欠点を回避することができる光照射野ベース画像を符号化／復号化する技術を提供することが望ましい。

Ｒ． Ｎｇ， ｅｔ ａｌ．著「Ｌｉｇｈｔ ｆｉｅｌｄ ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ ｈａｎｄ−ｈｅｌｄ ｐｌｅｎｏｐｔｉｃ ｃａｍｅｒａ」（Ｓｔａｎｄｆｏｒｄ Ｕｎｉｖｅｒｓｉｔｙ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＳＴＲ ２００５−０２， ｎｏ． １１ （Ａｐｒｉｌ ２００５））

以下は、読者に本開示の幾つかの態様に関する基本的な理解を提供するために開示の簡略化された概要を提示する。この要約は本開示の包括的な概要ではない。本開示の重要な又は必須の要素を特定することは意図していない。以下の概要は、より詳細な説明に対する前書きとして、簡単な形式で、単に本開示の幾つかの態様を提示するものである。

本開示は、画像ごとに異なる焦点距離でフォーカスされた画像セットを含む現在の焦点スタックを符号化する方法で、先行技術の欠点のうち少なくとも１つを緩和する。

かかる方法は、
− 現在の焦点スタックの画像を表す情報を符号化し、前記画像は最大数の合焦画素を含み、前記画像を再構成して再構成画像にすることと、
− 少なくとも再構成された画像からの予測によって、現在の焦点スタックの少なくとも他の画像を符号化することとを含む。

本開示の一実施形態では、焦点スタックに含まれる幾つかの画像中の合焦画素の数がクローズされ（ｃｌｏｓｅｄ）、閾値を越える（またはそれより大きい）とき、最大数の合焦画素を有する画像を使う替わりに、これらの画像の１つを符号化目的で用いることができる。

留意点として、合焦画素の数は画像鮮明度基準に関連することに留意されたい。実際、画像の要素／部分は、フォーカスされている場合、鮮明に（ｓｈａｒｐ）見える（すなわち、不鮮明でない（ｎｏｔ ｂｌｕｒｒｅｄ））。それゆえ、合焦画素数を判定するため、当業者は次の文献に記載された技術の１つを用いることができる：Ｊ． Ｋｕｍａｒ ｅｔ ａｌ．著「Ｓｈａｒｐｎｅｓｓ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｄｏｃｕｍｅｎｔ ａｎｄ Ｓｃｅｎｅ Ｉｍａｇｅｓ」、またはＫ． Ｄｅ ａｎｄ Ｍａｓｉｌａｍａｎｉ Ｖ．著「Ａ ｎｅｗ Ｎｏ−Ｒｅｆｅｒｅｎｃｅ Ｉｍａｇｅ ｑｕａｌｉｔｙ Ｍｅａｓｕｒｅ ｆｏｒ Ｂｌｕｒｒｅｄ Ｉｍａｇｅｓ ｉｎ Ｓｐａｔｉａｌ Ｄｏｍａｉｎ」、またはＤ． Ｓｈａｋｅｄ ａｎｄ Ｉ． Ｔａｓｔｌ著「Ｓｈａｒｐｎｅｓｓ Ｍｅａｓｕｒｅ： Ｔｏｗａｒｄｓ Ａｕｔｏｍａｔｉｃ Ｉｍａｇｅ Ｅｎｈａｎｃｅｍｅｎｔ」、またはＰ．Ｖ． Ｖｕ ａｎｄ Ｄ． Ｍ． Ｃｈａｎｄｌｅｒ著「Ａ Ｆａｓｔ Ｗａｖｅｌｅｔ−Ｂａｓｅｄ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｇｌｏｂａｌ ａｎｄ Ｌｏｃａｌ Ｉｍａｇｅ Ｓｈａｒｐｎｅｓｓ Ｅｓｔｉｍａｔｉｏｎ」。これらの技術は、なかんずく周波数コンテンツ分析（ｆｒｅｑｕｅｎｃｙ ｃｏｎｔｅｎｔ ａｎａｌｙｓｉｓ）やエッジ幅（ｅｄｇｅ−ｗｉｄｔｈ）に基づく。このように、本開示の一実施形態では、合焦画素数を明示的に判定する必要はない。実際、鮮明度推定器を、画像に関連する他の値と比較して、鮮明度の値に従って焦点スタック中の画像を選択するのに用いることができる。例えば、焦点スタック中の各画像について、（例えば、前述の文献「Ａ Ｆａｓｔ Ｗａｖｅｌｅｔ−Ｂａｓｅｄ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｇｌｏｂａｌ ａｎｄ Ｌｏｃａｌ Ｉｍａｇｅ Ｓｈａｒｐｎｅｓｓ Ｅｓｔｉｍａｔｉｏｎ」に記載されているように）鮮明度指標を決定できる。本開示の一実施形態では、鮮明度指標（ｓｈａｒｐｎｅｓｓ ｉｎｄｅｘ）値が最高である画像が、予測目的のためのベース画像として選択される。本開示の他の実施形態では、幾つかの鮮明度指標値が閾値より大きく、互いに近いとき、これらの画像のそれぞれを予測目的のベース画像（ｂａｓｅ ｉｍａｇｅ）として用いることができる。

よって、当業者は、焦点スタック中の画像を選択するのに鮮明度基準を用いることができる。以下では、説明は、焦点スタック中の参照画像を選択する基準として、合焦画素数の利用のみにフォーカスする。しかし、前述の通り、係る選択は画像鮮明度基準に従って行うことができる。このように、最大数の合焦画像（ｐｉｘｅｌｓ ｉｎ ｆｏｃｕｓ）を選択基準として利用する場合、他の画像鮮明度基準と置き換えることも可能である。さらに、前述の通り、かならずしも最大が用いられるわけではない。合焦画素数が閾値より大きい画素を参照画像として用いることもできる。

このように、本開示は、同じ視点でキャプチャされ、画像ごとに異なる焦点距離でフォーカスされた、同じシーンの画像セットを含む現在の焦点スタックを符号化する新規な発明的アプローチに依存する。焦点スタックはそのシーンに関連する光照射野データから得られる。

実際、光照射野原画像のマトリックスと比較した主な利点は、焦点を変更することが容易である焦点スタックの具体的な特性から、本開示は利益を享受する。
より正確には、本開示によると、考慮される焦点スタックにおいて最大数の合焦画素を含む画像を表す情報が最初に符号化される。

かかる情報は、例えば、最大数の合焦画素を含むかかる画像のイントラ符号化（ｉｎｔｒａ−ｅｎｃｏｄｉｎｇ）に対応する。この場合、再構成画像は、イントラ符号化に対応する前記情報を復号することにより取得される。

かかる情報は、レシーバが最大数の合焦画素を含むかかる画像を再構成できるシグナリング情報でもあり得る。この場合、再構成画像はデコーダによって再構成されるものに対応する。
次いで、他の画像の少なくとも１つの画素について、予測は、再構成画像中の同一位置にある対応画素の値から値を取得することを含む。

例えば、焦点スタック中で、他の画像が復号され、これは他の画像の画素の真の輝度値と、再構成画像中の同一位置にある対応画素の輝度値との間の輝度差分値を用いて行われる。
換言すると、焦点スタックの構造を利用し、焦点スタックに属する画像間の予測依存性の決定を、最大数の合焦画素を含む画像を予測用の参照画像として用いて行う。このように、本開示によれば、シーンに関連する光照射野から得られる焦点スタックを、画像符号化のための新しいピクチャグループ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅ （ＧＯＰ））として利用する。

留意すべき点として、以下の通り、「再構成（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）」と「復号（ｄｅｃｏｄｅｄ）」との用語は互換的に使える。通常、「再構成」はエンコーダ側で用いられ、「復号」はデコーダ側で用いられる。
ある態様によると、現在の焦点スタックにおいて、最大数の合焦画素を含む画像は全合焦（ａｌｌ−ｉｎ ｆｏｃｕｓ）画像である。

全合焦画像（ＡＩＦ画像）は、すべての画素が合焦（ｉｎ ｆｏｃｕｓ）である再構成画像に対応する。

留意すべき点として、本開示によると、全合焦画像を外部のプロバイダから受信することもできるし、または全合焦画像は本方法の前のステップ中に取得される。

本開示の実施形態によると、現在の焦点スタックの少なくとも１つの他の画像を少なくとも前記再構成画像からの予測によって符号化することは、前記他の画像の少なくとも１つの画素について、前記再構成画像内の対応する位置に配置された対応する画素の少なくとも１つの値と、符号化する前記他の画像に関連する焦点スタックにおける位置に応じた不鮮明化関数（ｂｌｕｒｒｉｎｇ ｆｕｎｃｔｉｏｎ）から値を符号化することを含む。

このような不鮮明さ（ｂｌｕｒ）モデルを取ることにより、符号化効率を改善できる。 不鮮明化関数の典型的な例は

で与えられるガウス関数である。ここで、σはガウス分布の標準偏差であり、焦点面に対する画素距離（深度）に依存する。理想的には、σは焦点スタック中の画素ごとに、及び画像ごとに計算される。

元の（全合焦画像）グレースケール画素が標準偏差σｘを有し、小さい標準偏差がσｙである現在の画素（現在の画像面）では、σは

により近似できる。

デコーダにおいて同じプロセスを用いるため、σを送信しなければならない。ビットレートを低減するため、この情報はコーディングユニットまたはブロックごとに送信されてもよい（ユニットのヘッダで、又はメタデータとして、またはＳＥＩメッセージ（ＳＥＩはＳｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎを意味する）として）。

本開示の一実施態様によると、現在の焦点スタックは様々な視野角でキャプチャされた焦点スタックグループの一部であり、焦点スタックグループの焦点スタックはその視野角の方向順にしたがって順序付けられ、符号化方法はさらに、
− 参照視野角と呼ばれる、前記現在の焦点スタックの方向順序および視野角からスタック間画像符号化順序を決定することと、
− 現在の焦点スタックの再構成画像からスタック間画像符号化順序に従って処理された焦点スタック群の少なくとももう１つの焦点スタックの画像の少なくとも１つの画素を符号化することであって、少なくとももう１つの焦点スタックの画像は、最大数の合焦画素を有する画像であり、参照画像と呼ばれる、ことを含む。

換言すると、異なる視野角でキャプチャされた焦点スタックグループの構造を考慮して、焦点スタックグループの焦点スタックは、焦点スタックグループに属する各焦点スタックについて、それらの視野角の方位順序に従って並んでいるので、最大数の合焦画素を有する画像に対応する参照画像は、参照視野角でキャプチャされた現在の焦点スタックの再構成画像から符号化される。

結果として、（イントラ符号化に対応する情報により、またはデコーダにそれの再構成を許可するシグナリング情報により表された）参照視野角でキャプチャされた現在の焦点スタックの１つの画像から始めて、焦点スタックグループに属する他の各焦点スタックの各参照画像を符号化することができ、次いで、現在の焦点スタックについて前述したように、参照視野角とは異なる視野角でキャプチャした所与の焦点スタックの参照画像は、その所与の焦点スタックの他のすべての画像を符号化するのに用いられる。

この特定の場合を考えると、参照視野角とは異なる視野角でキャプチャされた焦点スタックの角参照画像が全合焦画像（ａｌｌ−ｉｎ ｆｏｃｕｓ ｉｍａｇｅ）であるとき、この実施形態は事前に決定されたスタック間画像符号化順序に従って、隣接する全合焦画像から各全合焦画像を予測することに対応する。

例えば、双方向予測が実装される場合を考えると、スタック間画像符号化順序は、次を考慮することを含む：
− 現在の焦点スタックの最大数の合焦画素を含む画像に対応する再構成画像は「Ｉフレーム」（すなわち、焦点スタックグループの他のすべての画像から独立して符号化される画像）である。
− 現在の焦点スタックの再構成画像に関連する参照視野角と異なる最大視野角差を表す他の２つの焦点スタックの２つの参照画像は、「Ｐフレーム」と見なせる。次いで、
− 現在の焦点スタックの「Ｉ再構成画像」と「Ｐ参照画像」との間の中間視野角でキャプチャされたその他の参照画像は「Ｂフレーム」と見なされる。
本実施形態の第１の変形例によると、参照画像の画素は、参照画像と、現在の焦点スタックの再構成画像との間の視野角を表す情報から、視野角の参照値でキャプチャされた、現在の焦点スタック再構成画像から符号化される。

実際、同じシーンを表すが異なる視点でキャプチャされた２つの異なる画像に対応する２つのビュー間の視差が分かっており（計算されるか、符号化する焦点スタックグループの画像とともに提供される）、利用可能であると仮定すると、視差の利用を代替案として実行できる。これは、参照視野角でキャプチャされた現在の焦点スタックの再構成画像と最も一致する、焦点スタックグループの少なくとも他の焦点スタックの画像の１つの画素を検索することにある。

本実施形態の第２の変形例によると、視野角の前記参照値とは異なる視野角でキャプチャした前記参照画像の各画素の値は、視野角の前記参照値でキャプチャされた現在の焦点スタックの前記再構成画像から、及び前記焦点スタックグループに関連するシーンの階層的深度画像から符号化される。

換言すると、この第２の変形例によると、参照視野角でキャプチャされた現在の焦点スタックの再構成画像における最良の一致をする、焦点スタックグループの少なくとも他の焦点スタックの画像の１つの画素を検索する替わりに、階層的深度画像符号化方式（ｌａｙｅｒｅｄ ｄｅｐｔｈ ｉｍａｇｅ ｅｎｃｏｄｉｎｇ ｓｃｈｅｍｅ）を用いる。

より正確には、階層的深度画像（ＬＤＩ）符号化方式は、１つの投影中心の下に複数の参照画像をマージするＳｈａｄｅ ｅｔ ａｌ．著「Ｌａｙｅｒｅｄ Ｄｅｐｔｈ Ｉｍａｇｅｓ」（ｉｎ ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ １９９８）により提案されている。かかる符号化方式は、閉塞問題（ｏｃｃｌｕｓｉｏｎ ｐｒｏｂｌｅｍｓ）の解決を、１つの参照画像をワープする単純性を維持しつつ、画素ごとの複数の深度を保持することにより行う。このように、ＬＤＩ方式は、画像、深度／視差および遮蔽領域を符号化し、１つのビュー内で閉塞する（ｏｃｃｌｕｄｅ）領域を再構成することを含む。この領域は、視差だけによって再構成することができない。

他の一実施形態では、前記焦点スタックグループは、基準時刻ｔ０にキャプチャされ、時刻ｔにキャプチャされた少なくとも１つの他の焦点スタックグループをさらに含むシーケンスの一部であり、前記基準時刻ｔ０にキャプチャされた前記現在の焦点スタックの再構成画像から実行された時間予測を用いて、焦点スタックグループのシーケンスの時刻ｔにキャプチャされた少なくとも１つの他の焦点スタックグループの、視野角の前記参照値でキャプチャされた焦点スタックの参照画像の少なくとも１つの画素を符号化することを含む。

言い換えると、本開示のこの実施形態によると、参照時刻ｔ０における参照視野角でキャプチャされた現在の焦点スタックの最大数の合焦画素を含む画像に対応する１つの画像から始めて、異なる時刻にキャプチャされた複数の焦点スタックグループを含む全体シーケンスを符号化することができる。

このようなシーケンス全体の符号化は、焦点距離、視野角、およびキャプチャ時刻に対応する焦点スタック群のシーケンスの３つのパラメータを考慮して、３つのレベルの符号化を実施する。
− 所与のキャプチャ時刻および所与の視野角でキャプチャされた焦点スタックの焦点距離次元を符号化することを可能にする「スタック内符号化」であって、焦点スタックに属する各画像が異なる焦点距離でキャプチャされることを可能にする。
− 所与の時刻においてキャプチャされた焦点スタックグループの視野角次元を符号化させる「スタック間符号化」であって、その焦点スタックグループに属する各焦点スタックは異なる視野角でキャプチャされる、スタック間符号化と、
− 焦点スタックグループのシーケンスの時間次元を符号化させる「インター符号化（ｉｎｔｅｒｅ ｅｎｃｏｄｉｎｇ）」であって、そのシーケンスに属する各焦点スタックグループは異なる時刻にキャプチャされる。

留意すべき点として、これら３つの符号化レベルの任意の組み合わせを、本開示により実装でき、シーケンス全体の符号化を成功できる。

例えば、参照時刻ｔ０において参照視野角でキャプチャされた現在の焦点スタックの最大数の合焦画素を含む画像から始めて、最初に「インター符号化」、次に「スタック内符号化」、最後に「スタック間符号化」を適用することが可能であり、他の一例によると、「スタック間符号化」から始めて、次いで「インター符号化」、次いで「インター符号化」、最後に「スタック内符号化」が可能である。

本開示の他の態様によると、本方法は、現在の焦点スタックを表す信号に、現在の焦点スタックの全合焦画像を再構成するマップを挿入することを含む。

より正確には、そのようなマップは、各画素について、現在の焦点スタック内のどの画像が使用されるべきか（例えば、考慮される画素が合焦である場合）指示する。

本開示の他の態様に関する信号は、画像ごとに様々な焦点距離でフォーカスされた画像セットを含む少なくとも現在の焦点スタックを表す信号であって、少なくとも、
− 現在の焦点スタックの画像を表す情報であって、画像は最大数の合焦画素を含む、情報と、
− 前記現在の焦点スタックの少なくとも他の画像に関連し、最大数の合焦画素を含む画像の少なくとも再構成画像からの予測により取得される情報とを含む。

本開示の他の態様は、上記の信号を担う記録媒体に関する。

本開示の他の態様に関する方法は、画像ごとに様々な焦点距離でフォーカスされた画像セットを含む少なくとも現在の焦点スタックを復号する方法である。かかる方法は、
− 現在の焦点スタックの画像を表す情報を復号することであって、画像は最大数の合焦画素を含む、ことと、
− 少なくとも前記復号された画像からの予測によって、現在の焦点スタックの少なくとも他の画像を再構成することとを含む。

かかる復号方法は、上記の符号化方法に従って符号化された信号を復号するのに特に適している。
このように、同じ予測ステップの実行は、予測残差（信号で送信される）を予測に任意的に負荷することにより、所与の画素を再構成するように、符号化時に実行されるように行われる。

この復号方法の特徴と利点は符号化方法のそれと同じである。そのため、それらを詳細には説明しない。

本開示の他の態様に関する装置は、画像ごとに様々な焦点距離でフォーカスされた画像セットを含む少なくとも現在の焦点スタックを符号化する装置であって、少なくとも、
− 現在の焦点スタックの画像を表す情報を符号化し、前記画像は最大数の合焦画素を含み、前記画像を再構成して再構成画像にする手段と、
− 少なくとも再構成された画像からの予測によって、現在の焦点スタックの少なくとも他の画像を符号化する手段とを含む。

本開示の他の一実施形態では、符号化装置であって、メモリと、前記メモリに結合した少なくとも１つのプロセッサであって、符号化プロセスに関して前述したステップを実行するように構成されたものとを含む。
かかる符号化装置は、上記の通り、符号化方法を実装するように特に適合されている。

本開示の他の態様に関する装置は、画像ごとに様々な焦点距離でフォーカスされた画像セットを含む少なくとも現在の焦点スタックを復号する装置であって、
− 現在の焦点スタックの画像を表す情報を復号する手段であって、画像は最大数の合焦画素を含む、手段と、
− 少なくとも前記復号された画像からの予測によって、現在の焦点スタックの少なくとも他の画像を再構成する手段とを含む。

本開示の他の一実施形態では、復号装置は、メモリと、前記メモリに結合した少なくとも１つのプロセッサであって、復号プロセスに関して前述したステップを実行するように構成されたものとを含む。

かかる復号装置は、上記の通り、復号方法を実装するように特に適合されている。

本開示は、上記の方法を実装するように構成されたプロセッサを有する装置に関する。

本開示は、通信ネットワークからダウンロード可能であり、及び／又はコンピュータにより読み取り可能な媒体上に記録され、及び／又はプロセッサにより実行可能であり、上記のように焦点スタックを符号化及び／又は復号する方法を実装するプログラムコード命令を含むコンピュータプログラム製品に更に関する。

本開示は、コンピュータプログラム製品が記録され、プロセッサにより実行され得る非一時的コンピュータ読み取り可能媒体であって、上記の通り、焦点スタックを符号化及び／又は復号する方法を実装するプログラムコード命令を含む、非一時的コンピュータ読み取り可能媒体にも関する。

そのようなコンピュータプログラムは、コンピュータ可読記憶媒体に記憶されてもよい。本願のコンピュータ読み取り可能記憶媒体は、情報をその中に記憶する本来的機能、及びそれから情報の読み出しをする本来的機能を与えられた、非一時的記憶媒体である。コンピュータ読み取り可能記憶媒体は、例えば、電子的、磁気的、光学的、電磁気的、赤外線、又は半導体のシステム、装置、又は装置、又はそれらの任意の好適な組み合わせである。言うまでもなく、次のリストは、本原理を適用できるコンピュータ読み取り可能記憶媒体のよりぐらい的な例を提供するものであるが、当業者には明らかなように、単なる例示であり網羅的なものではない：ポータブルコンピュータディスケット；ハードディスク；リードオンリーメモリ（ＲＯＭ）；消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）；ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）；光学的記憶装置；磁気記憶装置；又はそれらの任意の好適な組み合わせ。

言うまでもなく、上記の概要と、下記の詳細な説明とは、説明をするためのものであり、特許請求の範囲に記載された発明を制限するものではない。

言うまでもなく、本明細書において「ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ」または「ａｎ ｅｍｂｏｄｉｍｅｎｔ」と言う場合、記載した実施形態が、ある機能、構造、または特徴を含むが、かならずしもすべての実施形態がその機能、構造、または特徴を含むとは限らないことを意味する。

さらに、かかる文言は必ずしも同じ実施形態を参照しているとは限らない。さらに、ある機能、構造、または特徴をある実施形態について説明した場合、明示的に記載していようがいまいが、他の実施形態に関するそれらの機能、構造、または特徴に影響が及ぶことは、当業者には自明である。

本開示の特定の性質、ならびに本開示の他の目的、利点、特徴および使用は、添付の図面と併せた以下の実施形態の説明から明らかになるであろう。

本発明の実施形態は、例として与えられ保護範囲を限定しない以下の説明と図面を参照して、より良く理解できるだろう。
先行技術に関連して既に示した、プレノプティックカメラを示す概念図である。 先行技術に関連して既に示した、画像の焦点スタックの一例を示す図である。 本開示による符号化方法の主要ステップを示す概略図である。 現在の焦点スタックを「スタック内符号化」するために実装された符号化順序の例を概略的に示す図である。 グループ焦点スタックの例を示す図である。 焦点スタックのグループの「スタック間符号化」の例を示す。 焦点スタックのグループの時間的シーケンスの「インター符号化（ｉｎｔｅｒ ｅｎｃｏｄｉｎｇ）」の例を示す図である。 本開示によって符号化された焦点スタックのグループのシーケンスを含む信号構造を示す概略図である。 本開示による復号方法のステップを示す概略図である。 本開示の一実施形態による装置のアーキテクチャの例を示す図である。 類似または同一の要素は、同じ参照番号で参照される。図中のコンポーネントは必ずしも寸法通りではなく、本発明の原理を例示するに当たり、強調した部分もある。

＜一般的原理＞
本開示の一般的原理は、焦点スタックに対応する新しいピクチャグループ（ＧＯＰ）構造内の予測依存性を決定することによって、光照射野コンテキストにおいて焦点スタックを符号化する新しい方法にある。
本開示の実施形態における画像の焦点スタックを符号化／復号する符号化及び復号方法、対応する装置、及びコンピュータ可読記憶媒体をここで説明する。

しかし、本開示は、多数の代替的な形式で実施でき、ここに開示した実施形態に限定されると解釈してはならない。したがって、本開示はいろいろな一部変更や代替的形体をとりうるが、具体的な実施形態を図面中で例として示し、以下に詳細に説明する。しかし、言うまでもなく、開示した具体的な形式に本開示を限定する意図ではなく、逆に、本開示は請求項で定められた開示の精神と範囲に入るすべての修正、代替物、構成、及び等価物をカバーする。

ここで用いる用語は、具体的な実施形態を説明することを目的としており、本開示の限定を意図したものではない。ここで、冠詞「ａ」、「ａｎ」、及び「ｔｈｅ」は、明らかに文脈に反しない限り、複数の場合も含む。さらに、言うまでもなく、「有する」、「含む」との用語は、本明細書で用いるとき、記載した特徴、整数、ステップ、動作、要素及び／又はコンポーネントがあることを示し、その他の特徴、整数、ステップ、動作、要素、コンポーネント及び／またはこれらのグループがあることを排除するものではない。

さらに、ある要素は、他の要素に「応答する（ｒｅｓｐｏｎｓｉｖｅ）」または「接続されている（ｃｏｎｎｅｃｔｅｄ）」というとき、その要素に直接的に応答しまたは接続されていてもよいし、媒介する要素があってもよい。対照的に、ある要素が他の要素に「直接応答する（ｄｉｒｅｃｔｌｙ ｒｅｓｐｏｎｓｉｖｅ）」または「直接接続される（ｄｉｒｅｃｔｌｙ ｃｏｎｎｅｃｔｅｄ）」と言うとき、媒介する要素はない。本明細書で使用される場合、「および／または」という用語は、関連する列挙された項目の１つまたは複数の任意のおよびすべての組み合わせを含み、「／」と省略することがある。

言うまでもなく、第１、第２などの用語は、ここでは様々な要素を説明するために使用されるが、これらの要素はこれらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。本開示の教示から逸脱することなく、例えば、第１の要素を第２の要素と呼んでもよく、同様に、第２の要素を第１の要素と呼んでもよい。

幾つかの図には、主要な通信方向を示す矢印を通信パス上に含むが、言うまでもなく、通信は図示した矢印とは反対の方向に行われてもよい。

幾つかの実施形態をブロック図と動作フローチャートを参照して説明するが、各ブロックは回路素子、モジュール、またはコードの一部を表す。コードの一部は、指定された論理機能を実装する一以上の実行可能命令を含む。また、他の実施形態では、ブロック内に記されている機能が、記載された順序から外れることがあることにも留意されたい。例えば、順次的に示された２つのブロックは、その機能に応じて、実際には、実質的に同時に実行してもよく、逆の順序で実行してもよい。

本明細書において「一実施形態」とは、その実施形態に関して説明する具体的な機能、構造、特徴などが本開示の少なくとも１つの実施形態に含まれ得ることを意味している。本明細書ではいろいろな箇所で「一実施形態とは」または「一実施形態によれば」と記載するが、必ずしも同じ実施形態を指すものではなく、別の、または代替的な実施形態は、必ずしも他の実施形態と互いに排他的なものではない。
特許請求の範囲に示す参照符号は例示であり、請求項の範囲を限定するものではない。

明示的には説明していないが、本実施形態及び変形は任意の組み合わせやサブコンビネーションで利用できる。

この開示は、焦点スタックのビューの画素を符号化／復号する場合を説明するが、シーケンスに属する各ビューが以下に説明するように順次符号化／復号されるので、焦点スタックのグループのシーケンス（プレノスコープビデオ）の符号化／復号に拡張される。
＜焦点スタック＞
図２に示すように、焦点スタック１００は、異なる焦点面（すなわち、異なる焦点距離）に焦点を合わせたＳ個の画像Ｉｓ（ｓ∈［１，Ｓ］）の集まりである。）のキューブを画定する。ここで、Ｓはユーザが選択した画像数または装置（例えば、エンコーダ／デコーダ）により要求される限度である。したがって、焦点スタック１００内の２つの連続画像間の（ｚ軸上の）距離または距離間隔は、これら２つの連続画像にリンクされた２つの焦点面間の距離に対応する。

記載された焦点スタックの計算は、４Ｄの光照射野が、レンズアレイおよび任意的な主レンズで、単一のイメージセンサによって記録されるという仮定に基づくことができる。しかしながら、焦点スタックの計算は、このようなタイプの光照射野カメラによって記録された４Ｄ光照射野に限定されないので、任意のタイプの光照射野カメラによって記録される４Ｄ光照射野に基づく再フォーカス画像の焦点スタックを計算することが可能であることに留意すべきである。

＜符号化方法＞
図３は、本開示による少なくとも１つの現在の焦点スタックＦｔ０，ｖ０を符号化する方法の主要ステップを模式的に示す図である。この方法は、符号化装置によって実行することができる。少なくとも１つの現在の焦点スタックＦｔ０，ｖ０は、図３に示すように、ある画像から別の画像に異なる焦点距離に焦点を合わせたＳ枚の１組の画像Ｉｓ＿Ｔｔ０，ｖ０を含む。

特定の非限定的な実施形態によれば、少なくとも１つの現在の焦点スタックＦｔ０，ｖ０を符号化する方法（３０）は、第１に、最大数の合焦画素を含む現在の焦点スタックＦｔ０，ｖ０をイントラ画像として符号化するステップ（３１）と、第２に、その画像を再構成して再構成画像にするステップ（３１）とを含む。

この特定のケースでは、考慮される焦点スタック内で最大数の合焦画素を含む画像を表す情報は、最大数の合焦画素を含むそのような画像のイントラ符号化に対応する。
任意的に、点線で表されるように、焦点スタックＦｔ０，ｖ０の最大数の合焦画素を含む画像は、全合焦（ａｌｌ−ｉｎ ｆｏｃｕｓ）画像（ＡＩＦ）である。

ＡＩＦ画像は、外部プロバイダから受信されてもよく、または計算されてもよい（ステップ３０００）。

さらに、現在の焦点スタックの最大数の合焦画素を含む画像が全合焦画像（ＡＩＦ）である場合、イントラ画像として符号化されたＡＩＦ画像を受信機に送信し、この受信器が、符号化され送信された現在の焦点スタックを復号することも可能である。

別の変形例では、符号化された現在の焦点スタックを表す信号に、マップを挿入することができ（３００１）、そのマップによりＡＩＦ画像を再構成することができるようにしてもよい。そのような挿入（３００１）は、イントラ画像として符号化されたＡＩＦ画像の送信を回避する。実際、このようなマップを受信すると、レシーバは焦点スタックの他の画像を復号する前にＡＩＦを再構成する。

結果として、この特定の場合には、ＡＩＦ（すなわち、現在の焦点スタックの最大数の合焦画素を含む画像）を表す情報は、前記マップに直接対応することができ、または（符号化されなければならない）そのマップが、情報ビットのように、復号のために用いられなければならないことを理解する役に立つ他のシグナリング情報であってもよい（３１）。

そのようなマップは、各画素について、現在の焦点スタック内のどの画像が使用されるべきか（例えば、考慮される画素が合焦である場合）指示する。

一旦、再構成画像ＩＲＥＣ＿Ｔｔ０，ｖ０が得られると（３１）、現在の焦点スタックＦｔ０，ｖ０の少なくとも他の画像Ｉｓ＿Ｆｔ０，ｖ０が、少なくとも再構成画像ＩＲＥＣ＿Ｔｔ０，ｖ０から予測（３２０）により符号化される（３２）。換言すると、他の画像Ｉｓ＿Ｆｔ０，ｖ０の画素について、予測（３２０）は、再構成画像中の同一位置にある対応画素の値から値を取得することを含む。

例えば、現在の焦点スタックＦｔ０，ｖ０中で、他の画像Ｉｓ＿Ｆｔ０，ｖ０が復号され、これは他の画像の画素の真の輝度値と、再構成画像ＩＲＥＣ＿Ｔｔ０，ｖ０中の同一位置にある対応画素の輝度値との間の（残差または残差信号としても知られている）輝度差分値を用いて行われる。

最大数の合焦画素を含む画像に関連する再構成画像ＩＲＥＣ＿Ｔｔ０，ｖ０を除き、現在の焦点スタックＦｔ０，ｖ０のＳ枚の画像すべてのこのような符号化（３２）は、「イントラスタック符号化（ｉｎｔｒａ−ｓｔａｃｋ ｅｎｃｏｄｉｎｇ）」と呼ばれ、現在の焦点スタックＦｔ０，ｖ０のＳ枚の画像すべての間の依存性を利用するものである。すべての画像は、例えばイントラ画像として事前に符号化された少なくとも再構成画像ＩＲＥＣ＿Ｔｔ０，ｖ０から予測されるからである。

任意的に、符号化効率を改善するため、現在の焦点スタック中の各画像の位置に応じて、不鮮明化モデル（３２１）を追加することもできる。

不鮮明化プロセス（３２１）は、次のように定義できる：
サイズ［ｍ×ｎ］（すなわち、ｍ画素×ｎ画素）の考慮中の画像Ｉｓ＿Ｆｔ０，ｖ０の各画素（座標を（ｘ、ｙ）とする）に対して、ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）×ｆ（ｘ，ｙ）＋ｎ（ｘ，ｙ）、ここで：
− ｆ（ｘ，ｙ）は、現在の焦点スタックＦｔ０，ｖ０の再構成画像ＩＲＥＣ＿Ｔｔ０，ｖ０の座標（ｘ，ｙ）の同一位置画素の値に対応し、
− ｈ（ｘ，ｙ）は、現在の焦点スタックＦｔ０，ｖ０の他の画像と、再構成画像ＩＲＥＣ＿Ｔｔ０，ｖ０との間の不鮮明度（ｂｌｕｒ）を表す不鮮明化関数に対応し、
− ｎ（ｘ，ｙ）は、加わるノイズであり、
− ｇ（ｘ，ｙ）は、現在の焦点スタックＦｔ０，ｖ０のＩｓ＿Ｆｔ０，ｖ０を符号化する考慮中の画像の不鮮明化画素（ｂｌｕｒｒｅｄ ｐｉｘｅｌ）に対応し、不鮮明化値（ｂｌｕｒｒｉｎｇ ｖａｌｕｅ）は画像源画像（ｓｏｕｒｃｅ ｉｍａｇｅ）として用いられる再構成画像ＩＲＥＣ＿Ｔｔ０，ｖ０から取得される。

ノイズｎ（ｘ，ｙ）を無視すると、不鮮明化関数による畳み込みは

により与えられる。ここで、
ａ＝（ｍ−１）／２、ｂ＝（ｎ−１）／２である。

不鮮明化関数の典型的な例は

で与えられるガウス関数である。ここで、σはガウス分布の標準偏差であり、焦点面に対する画素距離（深度）に依存する。理想的には、σは焦点スタック中の画素ごとに、及び画像ごとに計算される。例えば、σは次のように推定できる：
元の（全合焦画像）グレースケール画素値が標準偏差σｘを有し、現在の画素（現在の画像面）では小さい標準偏差がσｙであるとすると、σは

により近似できる。

デコーダにおいて同じプロセスを用いるため、σを送信しなければならない。ビットレートを低減するため、この情報はコーディングユニットまたはブロックごとに送信されてもよい（ユニットのヘッダで、又はメタデータとして、またはＳＥＩメッセージ（ＳＥＩはＳｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎを意味する）として）。

Ｔ．Ｊ Ｋｏｓｌｏｆｆ ｅｔ ａｌ．著「Ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｒｅｎｄｅｒｉｎｇ Ｇｅｎｅｒａｌｉｚｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ Ｅｆｆｅｃｔｓ Ｂａｓｅｄ ｏｎ Ｓｉｍｕｌａｔｅｄ Ｈｅａｔ Ｄｉｆｆｕｓｉｏｎ」（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｓｃｉｅｎｃｅ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ， ２００７）により開示されたものなど、他の不鮮明化モデル（ｂｌｕｒｒｉｎｇ ｍｏｄｅｌ）を使うこともできる。

値ｇ（ｘ，ｙ）が得られると、画素の真の値と比較される。この画素の座標は、符号化する他の画像における（ｘ，ｙ）である。これら２つの値の間の差分（残差とも呼ばれる）を用いて、符号化する他の画像Ｉｓ＿Ｆｔ０，ｖ０の画素を符号化する。

逆に、復号において、現在の焦点スタックの最大数の合焦画素を含む画像を表す情報を復号することにより得られる、再構成画像中の同一位置にある画素の値から始めて、残差を再構成画像ＩＲＥＣ＿Ｔｔ０，ｖ０中の同一位置にある画素の不鮮明化結果に加えることにより、座標が焦点スタックＦｔ０，ｖ０の復号する他の画像の（ｘ，ｙ）である画素が得られる。

図４は、時刻ｔ０において視野ｖ０でキャプチャされた現在の焦点スタックＦｔ０，ｖ０の「スタック内符号化（ｉｎｔｒａ−ｓｔａｃｋ ｅｎｃｏｄｉｎｇ）」の一例を示す概略図である。現在の焦点スタックＦｔ０，ｖ０の画像Ｉｓ＿Ｆｔ０，ｖ０は、例えば、第１画像Ｉｓ＿Ｆｔ０，ｖ０（４１）の焦点面と、後続する各画像（４２，４３，４４，４５，４６）の焦点面との間の距離に応じて、昇順Ｏ＿ｆ＿ｄにしたがって順序付けられる。そのような例によれば、予測（３２０）が双方向予測であることを考慮すると、再構成画像ＩＲＥＣ＿Ｆｔ０，ｖ０（４０）は「Ｉフレーム」と見なされ、例えば焦点スタックＦｔ０，ｖ０の中央に位置する画像に対応する。

再構成画像ＩＲＥＣ＿Ｆｔ０，ｖ０（４０）を「Ｉフレーム」として使用して、焦点スタックＦｔ０，ｖ０の２つの極端な画像（すなわち、最初の画像（４１）および最後の画像（４６））は、「Ｐフレーム」として予測的に符号化される。それらは再構成され、中間画像を「Ｂフレーム」として予測的に符号化するために後で使用される。「Ｂフレーム」は、再構成画像ＩＲＥＣ＿Ｆｔ０，ｖ０に対応する「Ｉフレーム」（４０）と、「Ｐフレーム」（４１および４６）のうちの１つとの間に位置する。より正確には、「Ｂフレーム」は、ＩＲＥＣ＿Ｆｔ０，ｖ０と、参照画像として使用される再構成された「Ｐフレーム」との両方を使用して予測される。

このように、留意点として、本開示に従って提案される「イントラスタック」符号化においてこの例に従って実装される符号化順序は、スタック順序Ｏ＿ｆ＿ｄとは異なる。（例えば、焦点スタックの中央に位置する）焦点の最大数の合焦画素を有する「Ｉフレーム」（４０）が、例えば、最初にイントラ画像として符号化され、次に、焦点スタックの最初と最後の画像に対応する「Ｐフレーム」（４１及び４６）が符号化され、最終的に「Ｉフレーム」（４０）と「Ｐフレーム」（４１，４６）のうちの１つとの間に位置する中間画像に対応する「Ｂフレーム」（４２，４３，４４及び４５）が符号化される。

アプリケーションに応じて、現在の焦点スタックＦｔ０，ｖ０は、現在の焦点スタックＦｔ０，ｖ０と同じ時刻ｔ０にキャプチャされるが、現在の焦点スタックＦｔ０，ｖ０の視野角ｖ０と異なる視野角を有する焦点スタックのグループＧｔｏの一部である可能性がある。

例えば、図５は、同じシーン（５０）からキャプチャされた焦点スタックのグループＧｔｏの例を示しており、２つの焦点面（すなわち、Ｓ ＝ ２）はそれぞれ下記に対応する：
− 画像５００，５０１および５０２がキャプチャされた第１の焦点面、および
− 画像５００，５０１および５０００がキャプチャされた第２の焦点面。
３つの異なる視野角（すなわち、Ｖ ＝ ３）はそれぞれ下記に対応する：
− 主キャラクタが軽く左に向けられている２つの画像５００および５０００をキャプチャするための第１の視野角、
− 主キャラクタがフロントビューでキャプチャされる２つの画像５０１および５００１をキャプチャするための第２の視野角、及び
− 主キャラクタが軽く右に向けられている２つの画像５０２および５００２をキャプチャするための第３の視野角。

この任意的な場合（図３の左側の点線で示されるように）、「スタック間符号化」３４００が実行され、焦点スタックのグループＧｔｏに属するすべての画像を符号化する。

より正確には、焦点スタック群のうちの複数の焦点スタックは、例えば、図５または図６に示されるように、視野角の方向順序に従って順序付けられる。

この場合には、「スタック間符号化」は、
− 参照視野角ｖ０と呼ばれる、現在の焦点スタックの方向順序および視野角ｖ０からスタック間画像符号化順序を決定すること（３３）、
− 現在の焦点スタックの再構成画像ＩＲＥＣ＿Ｆｔ０，ｖ０からスタック間画像符号化順序に従って処理された焦点スタック群Ｇの少なくとももう１つの焦点スタックＦｔ０，ｖ０の画像の少なくとも１つの画素を符号化すること（３４）であって、少なくとももう１つの焦点スタックＦｔ０，ｖ０の画像は、最大数の合焦画素を有する画像であり、参照画像と呼ばれる、ことを含む。

図５に関して、向きの順序は、メインキャラクタに対してキャプチャ装置の位置を左から右へと追従させるように画像を順序付けることにある。「スタック間符号化」予測（３２０）で実施される符号化（３４）が双予測であることを考慮すると、再構成画像ＩＲＥＣ＿Ｆｔ０，ｖ０は「Ｉフレーム」と考えられ、例えば画像５００１に対応し、メインキャラクタは視野角ｖ０でキャプチャされた顔である。

図６は、同じ場面からキャプチャされた焦点スタックのグループＧｔｏの別の例を示す。再構成画像ＩＲＥＣ＿Ｆｔ０，ｖ０（６０）の焦点面以外の６つの焦点面（すなわちＳ ＝ ６）と、現在の焦点スタックＦｔ０，ｖ０の視野角ｖ０以外の４つの異なる視野角（すなわち、Ｖ ＝ ０）が使用される。

視野角ｖ１、ｖ２、ｖ０、ｖ３およびｖ４は、方向順序Ｏ＿Ｏに従って順序付けられる。

「スタック間符号化」（３４００）は、少なくとも「Ｉフレーム」と見なされる再構成画像ＩＲＥＣ＿Ｆｔ０，ｖ０（６０）からすべての参照画像（６１，６２，６３，６４）を符号化することを含む。

画像（６１）および（６４）に対応する焦点スタックのグループＧｔｏの方向順序を考慮するとき、２つの極端な参照画像は、「Ｐフレーム」としてＩＲＥＣ＿Ｔｔ０，ｖ０から予測的に符号化され、再構成される。再構成された「Ｐフレーム」は、中間画像を「Ｂフレーム」（６２および６３）として予測的に符号化するために後で使用され、「Ｂフレーム」（６２および６３）は、再構成画像ＩＲＥＣ＿Ｔｔ０，ｖ０（６０）に対応する「Ｉフレーム」と、複数の「Ｐフレーム」（６１および６４）のうちの１つとの間にある。

このように、留意点として、符号化順序は、本開示に従って提案される「スタック間」符号化中にこの例に従って実装され、方向順序Ｏ＿Ｏとは異なる。焦点スタック群の中央に位置する「Ｉフレーム」（６０）は、例えば、最初にイントラ画像として符号化され、次に、「Ｐフレーム」（６１及び６４）が符号化され、最後に「Ｉフレーム」（６０）と「Ｐフレーム」（６１と６４）のうちの１つとの間に位置する中間画像に対応する「Ｂフレーム」（６２と６３）が符号化される。

第１の変形例によれば、１つの参照画像（６１，６２，６３または６４）が、考慮される焦点スタック、例えばＦｔ０，ｖ０中の焦点スタックＦｔ０，ｖ１、Ｆｔ０，ｖ２、Ｆｔ０，ｖ３、Ｆｔ０，ｖ４、Ｆｔ０，ｖ５を含む焦点スタック群中の１つの焦点スタックに対して符号化されると、６つの他の焦点面の他の画像は、上述の「スタック内符号化」３２００を使用して符号化される。

第２の変形例によると、すべての参照画像（６１，６２，６３又は６４）は、再構成画像ＩＲＥＣ＿Ｔｔ０，ｖ０から符号化でき、次いで、各焦点スタックＦｔ０，ｖ１、Ｆｔ０，ｖ２、Ｆｔ０，ｖ３、Ｆｔ０，ｖ４、Ｆｔ０，ｖ５に対して、「スタック内符号化」３２００が実行される。

「スタック間符号化」の特徴によれば、焦点スタックのグループＧｔｏの画像間の視差（３４１）が既知であり、利用可能である（計算され、または利用可能であり、またはそれらの画像とともに送信された）と仮定して、このような視差（３４１）を用いて、再構成画像ＩＲＥＣ＿Ｔｔ０，ｖ０（６０）から１つの参照画像（６１，６２，６３または６４）の予測を改善する。

そのような視差を考慮に入れることは、予測中に実施することができる最良のマッチの古典的な探索に関する代替案である。

例えば、「Ｐフレーム」（６１）に対応する参照画像の座標（ｘ，ｙ）の１つの画素に対して、画素Ｐｖ（ｘ，ｙ）の値は、Ｐｖ（ｘ，ｙ）＝Ｉｖ（ｘ＋ｄｘ，ｙ＋ｄｙ）である。ここで、ｄｘとｄｙはそれぞれ水平方向と垂直方向における視差（ｄｉｉｓｐａｒｉｔｉｅｓ）である。

「スタック間符号化」の別の特徴によれば、これらのビューを符号化するための別の代替手段として、階層的深度画像（ＬＤＩ）符号化方式を使用することができる（３４２）。ＬＤＩ方式は、画像、深度／視差および遮蔽領域を符号化し、１つのビュー（すなわち画像）内で遮蔽された領域を再構成することを含む。この領域は、視差によって再構成することができない。

アプリケーションに応じて、現在の焦点スタックＦｔ０，ｖ０と同じ時刻ｔ０にキャプチャされた焦点スタックのグループＧｔｏは、図７に示したｔ０とは異なる時刻ｔにキャプチャされた焦点スタックの少なくとも１つの他のグループＧｔをさらに含むシーケンスＳｅｑにも属することも可能である。

この場合、本開示による方法は、焦点スタックの少なくとも１つの他のグループＧｔの視野角ｖ０の基準値でキャプチャされ、焦点スタックのグループのシーケンスＳｅｑの時刻ｔでキャプチャされた、焦点スタックの参照画像（７１）の少なくとも１つの画素の「インター符号化」（３５００）を含み、基準時点ｔ０でキャプチャされた焦点スタックのグループＧｔｏの現在の焦点スタックＦｔ０，ｖ０の再構成画像ＩＲＥＣ＿Ｆｔ０，ｖ０（７０）から実行される時間的予測（３５）を使用することによって達成される。

図からわかるように、図７に表した焦点スタックのグループのシーケンスは、それぞれ焦点スタックＧｔ０とＧ５の２つのグループのみを含む（すなわち、Ｔ＝２であり、ここでＴは１つのシーケンスＳｅｑの焦点スタックのグループの数である）。このように、それ自体が「Ｉグループ」と見なせる参照時点ｔ０においてキャプチャされたグループＧｔ０に対して、焦点スタックのグループＧｔは「Ｐグループ」と見なせる。実際、「Ｐグループ」Ｇｔは、「Ｉグループ」Ｇｔ０から符号化される。言い換えれば、「Ｉグループ」Ｇｔ０は、例えばイントラ画像として符号化された画像を含む。この画像は、再構成後ＩＲＥＣ＿Ｔｔ０，ｖ０（７０）、シーケンスの他のすべての画像を符号化するため直接的または間接的に用いられる。２つより多いグループがある（Ｔ＞２）場合、同じ考え方が、「Ｉグループ」（または「Ｐグループ」から符号化された「Ｂグループ」と、他の「Ｐグループ」に対して有効である。

留意点として、かかるシーケンスを符号化しなければならない場合、再構成画像ＩＲＥＣ＿Ｔｔ０，ｖ０（７０）から焦点スタックの他のグループＧｔの参照視野角ｖ０でキャプチャされた参照画像（７１）を最初に符号化（３５００）し、次いで、上記の通り、「スタック内符号化」（３２００）と「スタック間符号化」（３４００）を用いて、各グループＧｔ０とＧｔ内で、他のすべての残っている画像を符号化することができる。

しかし、上記の通り、最初に、「スタック内符号化」（３２００）と「スタック間符号化」（３４００）とを用いてグループＧｔ０のすべての画像を符号化し、次に、「インター符号化（ｉｎｔｅｒ−ｅｎｃｏｄｉｎｇ）」（３５００）を用いてグループＧｔの参照画像７１を符号化し、次に、上記の通り、「スタック内符号化」（３２００）と「スタック間符号化」（３４００）とを用いてグループＧｔの他のすべての画像を符号化することも可能である。
「インター符号化」（３５００）動き補償モデルを改善することを用いて、予測精度を改善できる。

焦点スタックのＴ個のグループを含む、かかる符号化シーケンスを含む信号（例えば、ビットストリーム）の構造を図８に示す。

グループ数Ｔ＋１は、Ｔ回のキャプチャ時と参照時ｔ０に対応する。焦点スタックの１つのグループＧｔ０中で、Ｖ＋１個の異なる視野角を用いて、Ｖ個の異なる焦点スタックと、参照視野角ｖ０で時刻ｔ０にキャプチャされる焦点スタックＦｔ０，ｖ０とをキャプチャする。焦点スタックＦｔ０，ｖ０はＳ＋１枚の画像を含み、画像Ｉｓ０は例えばイントラ画像として符号化され、Ｓ枚の他の画像は１枚ずつ異なる焦点距離にフォーカスされる。
図８に表されたかかる信号は、階層的に組織化される。各階層レベル：シーケンスレベル、グループレベル及びスタックレベルは、符号化パラメータが指定されたヘッダを含む。

例えば、シーケンスヘッダは、焦点スタックごとの画像数Ｓ、焦点スタックのグループごとの視野角数Ｖ、及びシーケンスごとのキャプチャ回数Ｔを含むが、画像フォーマット、フレームレート等も含む。

これも図からわかるように、双方向予測が実装される場合、符号化順序（Ｉ，Ｐ，Ｂ）もこの信号で指定される。

＜復号方法＞
ここで図９を参照して、ある画像から他の画像まで、様々な焦点距離でフォーカスされた画像セットを含む少なくとも現在の焦点スタックを表す信号の復号に適したデコーダに実装される復号の主ステップを示す。

デコーダは、例えば、上記の符号化方法に従って符号化された少なくとも現在の焦点スタックを表す信号を受信するものと仮定する。

よって、この実施形態では、本発明による復号方法は、
− 現在の焦点スタックの画像を表す情報を復号することであって、画像は最大数の合焦画素を含む、ことと、
− 少なくとも復号された画像からの予測によって、現在の焦点スタックの少なくとも他の画像を再構成することとを含む。

上記の符号化とは逆に、本開示による復号方法は、最大数の合焦画素を含む画像に対応する再構成画像から始めて、現在の焦点スタックの各画像を復号する。

任意的に、かつ符号化とは逆に、焦点スタックの最大数の合焦画素を含む前記画像は全合焦（ａｌｌ−ｉｎ ｆｏｃｕｓ）画像（ＡＩＦ）である。

この特定の場合には、デコーダは、例えば、上記の符号化方法によって符号化された少なくとも現在の焦点スタックを表す前記信号から、前記ＡＩＦ画像の再構成を許可するマップを取り出す。

そのようなマップは、各画素について、現在の焦点スタック内のどの画像が使用されるべきか（例えば、考慮される画素が合焦である場合）指示する。

最大数の合焦画素を含む画像が、受信された信号に挿入されたマップを用いて、イントラ画像として復号（９１）され、又はＡＩＦとして再構成されると、現在の焦点スタックの少なくとも他の画像は、最大数の合焦画素を含む少なくとも前記画像からの予測により復号（９２）される。

換言すると、他の画像の少なくとも１つの画素について、予測は、現在の焦点スタックの最大数の合焦画素を含む画像に対応する画像と同一位置に配置された少なくとも対応する画素の値から、値を取得することを含む。

最大数の合焦画素を含む画像に関連する復号された画像を除き、現在の焦点スタックの画像すべてのこのような符号化（９２）は、「スタック内復号（ｉｎｔｒａ−ｓｔａｃｋ ｅｎｃｏｄｉｎｇ）」と呼ばれ、現在の焦点スタックの画像すべての間の依存性を利用するものである。すべての画像は、再構成画像から予測されるからである。

「スタック内符号化（ｉｎｔｒａ−ｓｔａｃｋ ｅｎｃｏｄｉｎｇ」とは逆に、前記「スタック内復号（ｉｎｔｒａ−ｓｔａｃｋ ｄｅｃｏｄｉｎｇ）」は不鮮明度モデル（ａ ｍｏｄｅｌ ｏｆ ｂｌｕｒ）を考慮することができる。

また、アプリケーションに応じて、現在の焦点スタックは、現在の焦点スタックと同じ時刻にキャプチャされるが、上記の通り、図５に示したように、現在の焦点スタックの視野角と異なる視野角を有する焦点スタックのグループの一部である可能性がある。

この任意的な場合には、「スタック間復号（ｉｎｔｅｒ−ｓｔａｃｋ ｄｅｃｏｄｉｎｇ）」（図示せず）が実行され、焦点スタックのグループに属するすべての画像を復号する。

より正確には、焦点スタック群のうちの複数の焦点スタックは、例えば、図５に示されるように、視野角の方向順序に従って順序付けられる。

この場合には、「スタック間符号化」は：
− 参照視野角ｖ０と呼ばれる、現在の焦点スタックの方向順序および視野角ｖ０からスタック間画像復号順序を決定すること、
− 現在の焦点スタックの再構成画像からスタック間画像符号化順序に従って処理された焦点スタック群の少なくとももう１つの焦点スタックの画像の少なくとも１つの画素を復号することであって、少なくとももう１つの焦点スタックの画像は、最大数の合焦画素を有する画像であり、参照画像と呼ばれる、ことを含む。

第１の変形例によれば、１つの参照画像が、考慮される焦点スタック、焦点スタックを含む焦点スタック群中の１つの焦点スタックに対して復号されると、他の焦点面の他の画像は、上述の「スタック内復号」を使用して復号される。

第２の変形例によると、すべての参照画像は、再構成画像から復号でき、次いで、各焦点スタックに対して、「スタック内復号」が実行される。

「スタック間復号」の特徴によると、焦点スタックのグループの画像間の視差が、デコーダに知られており、利用可能である（計算され、または利用可能であり、または復号する信号中でエンコーダにより送信されたもの）と仮定すると、かかる視差を用いて、再構成画像の参照画像の予測を改善する。

そのような不一致を考慮に入れることは、予測中に実施することができる最良のマッチの古典的な探索に関する代替案である。

「スタック間復号」の別の特徴によれば、これらのビューを復号するための別の代替手段として、階層的深度画像（ＬＤＩ）復号方式を使用することができる。ＬＤＩ方式は、画像、深度／視差および遮蔽領域を復号し、１つのビュー（すなわち画像）内で遮蔽された領域を再構成することを含む。この領域は、視差によって再構成することができない。

アプリケーションに応じて、現在の焦点スタックと同じ時刻にキャプチャされた焦点スタックのグループは、図７に示した異なる時刻にキャプチャされた焦点スタックの少なくとも１つの他のグループをさらに含むシーケンスＳｅｑにも属することも可能である。

この場合、本開示による方法は、焦点スタックの少なくとも１つの他のグループの視野角ｖ０の基準値でキャプチャされ、焦点スタックのグループのシーケンスＳｅｑの時刻ｔでキャプチャされた、焦点スタックの参照画像の少なくとも１つの画素の「インター復号」を含み、基準時点でキャプチャされた焦点スタックのグループの現在の焦点スタックの再構成画像から実行される時間的予測を使用することによって達成される。

留意点として、かかるシーケンスを復号しなければならない場合、再構成画像から焦点スタックの他のグループの参照視野角ｖ０でキャプチャされた参照画像を最初に復号し、次いで、上記の通り、「スタック内復号」と「スタック間復号」を用いて、各グループＧｔ０とＧｔ内で、他のすべての残っている画像を符号化することができる。

しかし、上記の通り、最初に、「スタック内復号」と「スタック間復号」とを用いてグループＧｔ０のすべての画像を復号し、次に、「スタック間復号」を用いてグループＧｔの参照画像をし、次に、上記の通り、「スタック内復号」と「スタック間復号」とを用いてグループＧｔの他のすべての画像をすることも可能である。

「インター復号」動き補償モデルを改善することを用いて、予測精度を改善できる。

＜エンコーダとデコーダの構造＞
図３と図９において、モジュールは機能ユニットであり、区別可能な物理的ユニットに関しても、関しなくてもよい。例えば、これらのモジュールは全体を、またはその一部を、１つの部品や回路にまとめてもよいし、またはソフトウェアの機能に貢献してもよい。逆に、幾つかのモジュールは、別の物理的実体により構成されてもよい。本開示とコンパチブルな装置は、純粋なハードウェア、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはＶＬＳＩ（Ｖｅｒｙ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）などの専用ハードウェアを用いて、または装置に組み込まれた幾つかの集積電子コンポーネントを用いて、またはハードウェアコンポーネントとソフトウェアコンポーネントとの組み合わせを用いて、実装される。

図１０は、装置９００のアーキテクチャ例を表し、これは図３−７を参照して説明した符号化方法、または図９を参照して説明した復号方法を実装するように構成され得る。
装置９００は、データ及びアドレスバス９０１によりリンクされた次のよそを含む：
− マイクロプロセッサ９０３（またはＣＰＵ）、これは例えばＤＳＰ（すなわちＤｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）である；
− ＲＯＭ（すなわちＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２；
− ＲＡＭ（すなわちＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ） ９０４；
− アプリケーションとの間でデータを送受信するＩ／Ｏインターフェース９０５、及び
− バッテリ９０６。

一変形例では、電源９０６は装置の外部にある。図１０の各要素は、当業者には周知であり、これ以上は説明しない。上記のメモリの各々において、本明細書で用いる「レジスタ」との用語は、小容量（数ビット）の領域または非常に大きい領域（例えば、プログラム全体または大量の受信または復号データ）に対応し得る。ＲＯＭ９０２は少なくともプログラムとパラメータを含む。本開示による方法のアルゴリズムは、ＲＯＭ９０２に格納される。スイッチオンの時に、ＣＰＵ９０３はＲＡＭにプログラムをアップロードし、対応する命令を実行する。

ＲＡＭ９０４は、レジスタ中に、ＣＰＵ９０３により実行され、装置９００のスイッチオン後にアップロードされるプログラム、レジスタ中の入力データ、レジスタ中の方法の様々な状態にある中間データ、レジスタ中の本方法の実行のために用いるその他の変数を含む。

ここで説明した実施形態は、方法またはプロセス、装置、またはソフトウェアプログラム、データストリーム、又は信号として実施できる。１つの形式の実施形態の場合で説明した（例えば、方法または装置としてのみ説明した）場合であっても、説明した機能の実施形態は他の形式（例えば、プログラム）でも実施できる。装置は例えば適切なハードウェア、ソフトウェア、及びファームウェアで実施可能である。上記の方法は、例えばプロセッサ等の装置で実施可能である。プロセッサとは、処理装置一般を指し、例えばコンピュータ、マイクロプロセッサ、集積回路、プログラマブル論理装置などを指す。プロセッサは、エンドユーザ間での情報通信を行う、コンピュータ、セルラー電話、ポータブル／パーソナル・デジタル・アシスタント（ＰＤＡ）などの装置、及びその他の通信装置も含む。

符号化またはエンコーダの具体的な実施形態によると、焦点スタックはソースから取得される。例えば、情報源は次を含むセットに属する：
− ローカルメモリ（９０２または９０４）であって、例えばビデオメモリまたはＲＡＭ（すなわちランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（すなわちリードオンリーメモリ）、ハードディスク；
− ストレージインターフェースであって、例えば大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、または磁気支持体とのインターフェース；
− 通信インターフェース（９０５）であって、例えば有線インターフェース（例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）または無線インターフェース（例えば、ＩＥＥＥ８０２．１１インターフェースまたはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェース）、及び
− 撮像回路（例えば、ＣＣＤ（すなわちＣｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（すなわちＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのセンサ）。

符号化またはエンコーダの異なる実施形態によると、エンコーダにより配信される信号は送り先に送信される。一例として、信号は、ビデオメモリ（９０４）またはＲＡＭ（９０４）、ハードディスク（９０２）などのローカルまたはリモートメモリに格納される。 変形例では、信号は、例えば、大規模記憶、フラッシュメモリ、ＲＯＭ、光ディスクまたは磁気サポートとのインターフェースなどのストレージインターフェースに送信され、ポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンクまたはブロードキャストネットワークなどの通信インターフェース（９０５）を解して送信される。

復号またはデコーダの様々な実施形態によると、復号された焦点スタックは送り先に送信され、具体的には次のものを含むセットに属する送り先に送信される：
− ローカルメモリ（９０２または９０４）であって、例えばビデオメモリまたはＲＡＭ（すなわちランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（すなわちリードオンリーメモリ）、ハードディスク；
− ストレージインターフェースであって、例えば大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、または磁気支持体とのインターフェース；
− 通信インターフェース（９０５）であって、例えば有線インターフェース（例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）または無線インターフェース（例えば、ＩＥＥＥ８０２．１１インターフェースまたはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェース）、及び
− ディスプレイ。

復号またはデコーダの様々な実施形態によると、信号はソースから取得される。典型的には、信号は、ビデオメモリ（９０４）、ＲＡＭ（９０４）、ＲＯＭ（９０２）、フラッシュメモリ（９０２）またはハードディスク（９０２）などのローカルメモリから読み出される。変形例では、信号はストレージインターフェースから受信され、例えば大容量記憶装置、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスクまたは磁気支持体とのインターフェースから受信され、および／または通信インターフェース（９０５）から受信され、例えばポイントツーポイントリンク、バス、ポイント・ツー・マルチポイント・リンク、またはブロードキャストネットワークとのインターフェースから受信される。

ここに説明した様々なプロセスと特徴の実施形態は、異なるいろいろな装置やアプリケーションで実施できる。かかる装置の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに入力を供給するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、セルラー電話、ＰＤＡ、ピクチャまたはビデオを処理するその他の任意の装置、またはその他の通信装置が含まれる。言うまでもなく、上記の機器は可動なものであってもよいし、移動体に組み込まれていてもよい。

さらに、これらの方法は、プロセッサによって実行される命令によって実施されてもよく、そのような命令（および／または実装によって生成されたデータ値）は、コンピュータ可読記憶媒体に格納されてもよい。コンピュータ読み取り可能記憶媒体は、一以上のコンピュータ読み取り可能媒体に化体され、その上に化体され、コンピュータにより実行可能なコンピュータ読み取り可能プログラムコードを有するコンピュータ読み取り可能プログラム製品の形式を取ることができる。本願のコンピュータ読み取り可能記憶媒体は、情報をその中に記憶する本来的機能、及びそれから情報の読み出しをする本来的機能を与えられた、非一時的記憶媒体である。コンピュータ読み取り可能記憶媒体は、例えば、電子的、磁気的、光学的、電磁気的、赤外線、又は半導体のシステム、装置、又は装置、又はそれらの任意の好適な組み合わせである。言うまでもなく、次のリストは、本原理を適用できるコンピュータ読み取り可能記憶媒体のよりぐらい的な例を提供するものであるが、当業者には明らかなように、単なる例示であり網羅的なものではない：ポータブルコンピュータディスケット；ハードディスク；リードオンリーメモリ（ＲＯＭ）；消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）；ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）；光学的記憶装置；磁気記憶装置；又はそれらの任意の好適な組み合わせ。

上記の命令は、プロセッサ読み取り可能媒体上に化体されたアプリケーションプログラムであってもよい。
命令は、例えば、ハードウェア、ファームウェア、常駐ソフトウェア、マイクロコードなど、または本明細書ではすべて「回路」、「モジュール」、または「システム」と総称することができるソフトウェアおよびハードウェアの側面を組み合わせた実施形態であってもよい。

本原理が１つまたは複数のハードウェアコンポーネントによって実装される場合、留意点として、ハードウェア構成要素は、中央処理装置などの集積回路であるプロセッサ、および／またはマイクロプロセッサ、および／または特定用途向け集積回路（ＡＳＩＣ）、および／またはアプリケーション特有の命令セットプロセッサ（ＡＳＩＰ）、および／またはグラフィックス処理ユニット（ＧＰＵ）、および／または物理処理ユニット（ＰＰＵ）、および／またはデジタル信号プロセッサ（ＤＳＰ）、および／または画像プロセッサ、および／またはコプロセッサ、および／または浮動小数点ユニット、および／またはネットワークプロセッサ、および／またはオーディオプロセッサ、および／またはマルチコアプロセッサなどを含む。さらに、ハードウェアコンポーネントは、ベースバンドプロセッサ（例えば、メモリユニットおよびファームウェアを含む）および／または無線信号を受信または送信する無線電子回路（アンテナを含むことができる）を備えることもできる。一実施形態では、ハードウェアコンポーネントは１つまたは複数の標準に準拠し、例えば、ＩＳＯ／ＩＥＣ１８０９２／ＥＣＭＡ−３４０、ＩＳＯ／ＩＥＣ２１４８１／ＥＣＭＡ−３５２、ＧＳＭＡ、ＳｔｏＬＰａＮ、ＥＴＳＩ／ＳＣＰ（スマートカードプラットフォーム）、ＧｌｏｂａｌＰｌａｔｆｏｒｍ（セキュアエレメント）などに準拠する。変形例では、ハードウェアコンポーネントは、無線周波数識別（ＲＦＩＤ）タグである。一実施形態では、ハードウェアコンポーネントは、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、および／またはＷｉ−Ｆｉ通信、および／またはジグビー通信、および／またはＵＳＢ通信、および／またはファイヤーワイヤ通信、および／またはＮＦＣ（近距離通信）通信を可能にする回路を含む。
さらにまた、本原理の諸態様はコンピュータ読み取り可能記憶媒体の形式を取り得る。一以上のコンピュータ読み取り可能記憶媒体の任意の組み合わせを利用できる。

このように、例えば、当業者には言うまでもなく、ここに説明したブロック図は本発明の原理を化体するシステムコンポーネント及び／または回路を概念的に示すものである。同様に、言うまでもなく、フローチャート、フロー図、状態遷移図、擬似コード等は、様々な方法（ｐｒｏｃｅｓｓｅｓ）を表し、これらの方法をコンピュータ読み取り可能記憶媒体に実質的に表しても、（明示的に示していようがいまいが）コンピュータやプロセッサで実行してもよい。

当業者には言うまでもないが、実施形態は、例えば記憶または送信され得る情報を担うようフォーマットされた種々の信号を生成することもできる。情報には、例えば、方法を実行する命令や、説明した実施形態により生成されるデータが含まれ得る。例えば、信号は、データとして、説明した実施形態のシンタックスを書き込み又は読み出しする規則を担うようにフォーマットされてもよいし、又はデータとして、説明した実施形態により書き込まれた実際のシンタックス値を担うようにフォーマットされてもよい。かかる信号は、（例えば、無線周波数のスペクトルを用いた）電磁波やベースバンド信号などとしてフォーマットし得る。フォーマット化には、例えば、データストリームの符号化、符号化したデータストリームによるキャリアの変調が含まれる。信号が担う情報は例えばアナログ情報やデジタル情報であってもよい。知られているように、信号は様々な異なる有線リンクまたは無線リンクで送信できる。信号はプロセッサ読み取り可能媒体に記憶してもよい。
実施形態を説明した。しかし、言うまでもなく様々な修正を行うことができる。例えば、別の実施形態の要素を組み合わせ、補充し、修正し、または削除して、他の実施形態を形成してもよい。また、当業者には言うまでもないが、開示した構成やプロセスを他の構成やプロセスで置き換えてもよく、その結果の実施形態が少なくとも実質的に同じ機能を果たし、少なくとも実質的に同じように、開示した実施形態と実質的に同じ結果を達成する。したがって、本願ではこれらの実施形態及びその他の実施形態を想定している。

Claims (16)

1. 画像ごとに異なる焦点距離でフォーカスした画像セットを含む現在の焦点スタックの符号化方法であって、
   前記現在の焦点スタックの画像を表す情報を符号化し、前記画像は画像鮮明度基準に従って前記現在の焦点スタックにおいて選択され、前記画像を再構成して再構成画像にすることと、
   少なくとも前記再構成画像からの予測によって、前記現在の焦点スタックの少なくとも他の画像を符号化することとを含む
   符号化方法。
2. 前記画像鮮明度基準は画像中の合焦画素の数に対応する、
   請求項１に記載の符号化方法。
3. 前記現在の焦点スタックにおいて選択される画像は、最大数の合焦画素を有する画像である、
   請求項２に記載の符号化方法。
4. 前記現在の焦点スタックにおいて、最大数の合焦画素を含む画像は全合焦画像である、
   請求項３に記載の符号化方法。
5. 現在の焦点スタックの少なくとも１つの他の画像を少なくとも前記再構成画像からの予測によって符号化することは、前記他の画像の少なくとも１つの画素について、前記再構成画像内の対応する位置に配置された対応する画素の少なくとも１つの値と、符号化する前記他の画像に関連する深度位置に応じた不鮮明化関数から値を符号化することを含む、
   請求項１に記載の符号化方法。
6. 前記現在の焦点スタックは様々な視野角でキャプチャされた焦点スタックグループの一部であり、前記焦点スタックグループの前記焦点スタックはその視野角の方向順にしたがって順序付けられ、前記符号化方法はさらに、
   参照視野角と呼ばれる、前記現在の焦点スタックの方向順序および視野角からスタック間画像符号化順序を決定することと、
   前記現在の焦点スタックの再構成画像から前記スタック間画像符号化順序に従って処理された前記焦点スタックグループの少なくとももう１つの焦点スタックの画像の少なくとも１つの画素を符号化することであって、前記少なくとももう１つの焦点スタックの画像は、画像鮮明度基準にしたがって選択された画像であり、参照画像と呼ばれることとを含む、
   請求項１乃至５いずれか一項に記載の符号化方法。
7. 前記参照画像の画素は、視野角の参照値でキャプチャされた前記現在の焦点スタックの再構成画像から、かつ前記参照画像と前記現在の焦点スタックの再構成画像との間の視野を表す情報から符号化される、
   請求項６に記載の符号化方法。
8. 視野角の参照値とは異なる視野角でキャプチャした前記参照画像の各画素の値は、視野角の前記参照値でキャプチャされた現在の焦点スタックの前記再構成画像から、及び前記焦点スタックグループに関連するシーンの階層的深度画像から符号化される、
   請求項６に記載の符号化方法。
9. 前記焦点スタックグループは、基準時刻ｔ０にキャプチャされ、時刻ｔにキャプチャされた少なくとも１つの他の焦点スタックグループをさらに含むシーケンスの一部であり、
   前記符号化方法はさらに、：
   前記基準時刻ｔ０にキャプチャされた前記現在の焦点スタックの再構成画像から実行された時間予測を用いて、焦点スタックグループのシーケンスの時刻ｔにキャプチャされた少なくとも１つの他の焦点スタックグループの、視野角の参照値でキャプチャされた焦点スタックの参照画像の少なくとも１つの画素を符号化することを含む、
   請求項６ないし８いずれか一項に記載の符号化方法。
10. 前記符号化方法はさらに、前記現在の焦点スタックを表す信号に、前記現在の焦点スタックの全合焦画像を再構成するマップを挿入することを含む、
    請求項４に記載の符号化方法。
11. 画像ごとに様々な焦点距離でフォーカスされた画像セットを含む少なくとも現在の焦点スタックを表す信号であって、少なくとも、
    前記現在の焦点スタックの画像を表す情報であって、
    前記画像は画像鮮明度基準に従って前記現在の焦点スタックから選択される、情報と、
    前記現在の焦点スタックの少なくとも他の画像に関連し、前記選択される画像の少なくとも再構成画像からの予測により取得される情報とを含む、
    信号。
12. 画像ごとに異なる焦点距離でフォーカスした画像セットを含む現在の焦点スタックを復号する方法であって、
    前記現在の焦点スタックの画像を表す情報を復号することであって、前記画像は画像鮮明度基準を満たす、ことと、
    少なくとも前記復号された画像からの予測によって、現在の焦点スタックの少なくとも他の画像を再構成することとを含む、
    方法。
13. 画像ごとに異なる焦点距離でフォーカスした画像セットを含む現在の焦点スタックを符号化する装置であって、
    メモリと、
    前記メモリに結合した少なくとも１つのプロセッサであって、
    前記現在の焦点スタックの画像を表す情報を符号化し、前記画像は画像鮮明度基準に従って前記現在の焦点スタックにおいて選択され、前記画像を再構成して再構成画像にし、
    少なくとも前記再構成された画像からの予測によって、現在の焦点スタックの少なくとも他の画像を符号化するように構成される、
    装置。
14. 画像ごとに異なる焦点距離でフォーカスした画像セットを含む現在の焦点スタックを復号する装置であって、
    メモリと、
    前記メモリに結合した少なくとも１つのプロセッサであって、
    前記現在の焦点スタックの画像を表す情報を復号し、前記画像は画像鮮明度基準を満たす、
    少なくとも前記復号された画像からの予測によって、現在の焦点スタックの少なくとも他の画像を再構成するように構成される、
    装置。
15. 通信ネットワークからダウンロード可能であり、及び／又はコンピュータにより読み取り可能な媒体上に記録され、及び／又はプロセッサにより実行可能であり、請求項１ないし１０いずれか一項または請求項１２に記載の方法を実装するプログラムコード命令を含むコンピュータプログラム製品。
16. コンピュータプログラム製品が記録され、プロセッサにより実行され得る非一時的コンピュータ読み取り可能媒体であって、請求項１乃至１０いずれか一項または請求項１２に記載の方法を実装するプログラムコード命令を含む、非一時的コンピュータ読み取り可能媒体。
    

Images