JP2015103872A

JP2015103872A - 画像符号化装置及び画像復号装置及びそれらの制御方法

Info

Publication number: JP2015103872A
Application number: JP2013241270A
Authority: JP
Inventors: 秀往松井; Hideyuki Matsui
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-11-21
Filing date: 2013-11-21
Publication date: 2015-06-04

Abstract

【課題】ライトフィールドデータから構成される複数の視点画像をより高い圧縮率で符号化することが可能となる。【解決手段】ライトフィールドデータから構成される複数の視点画像のうちの予め設定された１つを参照画像とし、当該参照画像については単独で画素ブロックを単位に符号化する。また。複数の視点画像のうち、参照画像を除く他の視点画像については、参照画像を参照画像として、予測符号化する。ただし、予測符号化を行う際に、参照画像と符号化対象の着目視点画像との関係が、複数の視点画像の中心位置に対して点対称、又は、前記中心位置を通る線分に対して線対称の関係にあるときには、その参照画像に加え、当該参照画像を前記関係に従って回転又は反転して得られた回転反転画像も予測符号化の際の参照画像として用いる。【選択図】図１

Description

本発明は多視点画像の符号化技術に関するものである。

プレノプティック（Plenoptic）カメラを用いて、光線の位置と方向（以下、ライトフィールド）を記録する技術が知られている（非特許文献１）。取得したライトフィールド情報を用いると、撮影後に画像のピント位置を変更したり（以下、リフォーカス）、被写界深度を変更するなどの画像処理が可能となる。

撮影後に上記の画像処理を行うためには、ライトフィールドを符号化する必要がある。ライトフィールドの符号化方法の１つとして、ライトフィールドを多視点画像に変換し、符号化する方法がある。多視点画像の符号化方式には、代表的なものとしてＨ．２６４／ＭＰＥＧ−４ＡＶＣｍｕｌｔｉｖｉｅｗｖｉｄｅｏｃｏｄｉｎｇ（以下、ＭＶＣ）が知られている。ＭＶＣでは、対象視点の映像を、参照視点の映像を用いて視差補償予測によって予測し、対象視点の映像と予測画像との差分を符号化することで、対象視点の映像そのものを符号化する場合に比べてデータ量を削減する。ここで、視差補償予測は、動画のフレーム間の相関を利用した圧縮技術として知られている動き補償予測を、異なる視点間の映像に適用したものと考えると分かりやすい。

特許第４０１５５３２号公報

Ren Ng. "Digital Light Field Photography", PhD thesis, stanford, CA, USA, 2006.

プレノプティックカメラで撮影した多視点画像はそれぞれ、メインレンズの異なる部分を通過した光のみを撮影した画像となる（非特許文献１）。これにより、画像のボケの形状が視点毎に異なるという特性を持つ。その様子を、図３を用いて説明する。図３（ａ）〜（ｆ）は全て、点光源を撮影した場合に取得できる画像を示している。図３（ａ）、（ｃ）、（ｅ）は一般的な単視点撮影のカメラで撮影した画像、図３（ｂ）、（ｄ）、（ｆ）はプレノプティックカメラで撮影した１６視点の画像である。また図３（ａ）、（ｂ）は点光源にピントが合っている場合、図３（ｃ）、（ｄ）は点光源からピントがずれている場合、図３（ｅ）、（ｆ）はさらにピントがずれている場合である。単視点撮影のカメラで撮影した画像は、点光源にピントが合った場合は図３（ａ）で示したように点として撮影され、点光源からピントが外れるほど図３（ｃ）、（ｅ）で示したように、円状のボケが大きくなるという性質を持つ。プレノプティックカメラで撮影した多視点画像では、点光源にピントが合っている場合は、図３（ｂ）で示したように、１６視点の画像全ての同一位置に点が撮影される。一方ピントが合っていない場合は、図３（ｄ）、（ｆ）で示したように、円状のボケが各視点に分割して撮影されるという性質がある。図３（ｂ）、（ｄ）、（ｆ）に写る１６枚の画像全てを加算平均すると、それぞれ図３（ａ）、（ｃ）、（ｅ）に一致する。

プレノプティックカメラで撮影した多視点画像を符号化する際には、ＭＶＣなどで用いられる視差補償予測を流用することが可能である。しかし、視差補償予測は、ブロック単位の平行移動で予測を行うため、視点毎に異なる形状のボケを持つプレノプティックカメラでは予測精度が下がる。したがって視差補償予測を単純に用いるだけでは、ボケ部の圧縮率が上がらない可能性が高い。

この問題を解決するための手段として、視点間のボケの対称性を利用する方法が考えられる。例えば、図３（ｆ）の３０５、３１４の点光源のボケ方を見ると、３０５のボケ部を時計回りに２７０度回転させれば３１４と同じ形のボケになるため、予測精度が高くなる。

このように画像間の回転対称性を利用した予測符号化技術は既に特許文献１で知られている。特許文献１では動画のフレーム間予測を行う際に、回転運動する被写体の予測効率を上げるために、ブロック単位で回転角度を符号化する。しかしこの方法では、ブロック単位に最適な回転方法を探索するための処理時間が増加する。また、回転予測を行うブロックに対して、回転角度を符号化するため、角度情報の符号量が増加し、圧縮率が低下する可能性がある。

本発明は上記の問題に鑑みなされたものである。そして、本明細書では、プレノプティックカメラで撮影した多視点画像のボケ部、特に点光源などによる玉ボケ、を撮影した場合の視点間予測の精度低下を抑えるための技術を提供する。また、その際に発生する最適な回転角度等の探索に必要な処理負荷の低減、および回転角度などの負荷情報のデータ量を抑える技術も提供する。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
ライトフィールドデータから構成される複数の視点画像を符号化する画像符号化装置であって、
前記複数の視点画像のうちの予め設定された１つを参照画像とし、当該参照画像を符号化する第１の符号化手段と、
前記複数の視点画像のうち、前記参照画像を除く他の視点画像については、前記参照画像を参照して、画素ブロックを単位に予測符号化する第２の符号化手段とを備え、
前記第２の符号化手段は、
前記参照画像と符号化対象の着目視点画像との関係が、点対称、又は、線対称の関係にあるとき、当該参照画像の画素ブロックを前記関係に従って回転又は反転して得られた回転反転されたブロックを予測符号化の際の参照画像として用いることを特徴とする。

本発明によれば、ライトフィールドデータで構成される多視点画像をより高い圧縮率で符号化することができる。

第１の実施形態の符号化装置のブロック図。第１の実施形態の符号化処理のフローチャート。第１の実施形態の符号化処理のフローチャート。第１の実施形態の符号化処理のフローチャート。プレノプティックカメラで撮影した多視点画像のボケの形状の違いを示した図。プレノプティックカメラの光学系を説明する図。プレノプティックカメラで撮影した多視点画像を説明する図。グループ情報テーブルを説明する図。回転反転方法テーブルを説明する図。回転反転視差補償予測の例を示す図。第１の実施形態で出力される符号データを説明する図。第１の実施形態の復号装置のブロック図。第２の実施形態のフローチャート。第３の実施形態のブロック図。実施形態が適用する撮像装置のブロック図。コンピュータのブロック構成図。５×５個の視点画像とグルーピングの関係を示す図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下で説明する各実施形態は、本発明を具体的に実施した例を示すもので、特許請求の範囲に記載の構成の具体的な実施形態の１つである。

［第１の実施形態］
本第１の実施形態では、デジタルカメラに代表される撮像装置に適当した例を説明するが、プレノプティックカメラで撮像したライトフィールドデータで構成される多視点画像を符号化する装置であればよく、カメラ（撮像機能）と一体になっている必要はない。あくまで一例であると認識されたい。

図１３は第１の実施形態が適用する撮像装置１３００のブロック構成図である。

本装置は、装置全体の制御を司るＣＰＵ１３０１、ＣＰＵ１３０２の処理手順であるプログラム並びに各種パラメータを記憶するＲＯＭ１３０２、ＣＰＵ１３０１のワークメモリとして使用されるＲＡＭ１３０３を有する。また、本装置には、各種メニューを表示したり、撮像中の映像を確認するため、並びに既に記録した画像を表示するための表示部１３０５と、その表示部１３０５を制御する表示制御部１３０４を有する。また、本装置は、ユーザからの指示入力を受け付けるための操作部１３０６を有する。この操作部１３０６には、電源Ｏｎ／Ｏｆｆボタンやシャッターボタンなどの物理的なスイッチ、表示部１３０５の表示画面の前面に設けられた透明なタッチパネルを含む。また、本装置は、光学レンズや絞りを有する光学部１３０８ａ、光学部１３０８ａを介して結像した画像を電気信号（画像データ）に変換する撮像部１３０８ｂで構成されるプレノプティックカメラ部（又はライトフィールドカメラ部）１３０７を有する。また、本装置は、プレノプティックカメラ部１３０７における光学部１３０８ａのフォーカシング、撮像部１３０８ｂによる露光制御を行うフォーカシング／露光制御部１３０９を有する。また、本装置は、撮像した画像を一時的に記憶するための画像バッファ１３１０、画像バッファ１３１０に格納された画像データを符号化したり、符号化画像データを復号して画像バッファ１３１０に展開する符号化／復号部１３１１を有する。また、本装置は、着脱自在な記憶媒体１３１３への符号化データの格納、並びに、符号化データを復号するために読み込む記録制御部１３１２を有する。

本実施形態の装置の特徴とする点は、プレノプティックカメラ部１３０７で取得した多視点の静止画データに対する、符号化／復号部１３１１による、ボケ部分の符号化効率を向上する為に回転反転予測を伴う符号化処理にある。なお、本実施形態における、回転反転予測とは、参照画像をブロック単位に、回転もしくは予め設定された線に対する線対称に反転して、対象画像を予測する方式とする。以下では図２Ａに示すフローチャートに沿って、符号化／復号部１３１１における符号化の処理の流れを説明する。

まず、図２ＡのＳ２０１では多視点画像を取得する。本実施形態におけるプレノプティックカメラ部１３０７は図４に示す光学系を有し、ライトフィールドを取得する。図４において、物体４０１から発せられる光は、光学部１３０８ａのメインレンズ４０２によってマイクロレンズ４０３に集光され、撮像部１３０８ｂ内のマイクロレンズ４０３において分離され、同内のセンサ４０４に受光される。センサ４０４の一部を拡大したのが４０５であり、マイクロレンズ４０３によって分離された光が、４×４画素のセンサに円上に受光される。なお、１つのマイクロレンズに対して４×４画素のセンサが対応するが、この数は一例である点に注意されたい。また、メインレンズとマイクロレンズはＦ値が同じであるとする。この構成は非特許文献１で知られている光学系と同様の物である。

上記センサ４０４で撮影された情報から、４×４枚（計１６枚）の多視点画像が撮影でき、画像バッファメモリ１３１０に格納される。以降では各多視点画像をＩｕｖで表す。ここで、ｕ，ｖは１つのマイクロレンズによるセンサ４０４への投影範囲の座標を表し、マイクロレンズの中心を通る位置を原点とし、ｕがその座標の横軸、ｖが縦軸である。また、マイクロレンズの投影する範囲の外周は直径１の円であるとする。Ｉｕｖは、例えばｕ＝ｕ１、ｖ＝ｖ１の場合、図４の符号４０５に示した円状領域に受光された光のうち、ｕ=ｕ１，ｖ＝ｖ１の位置にある画素を抜き出して並べることで生成できる。本実施形態では図５に実線の四角形で示した如く、１６枚の多視点画像を生成する。なお、図５では、画像Ｉｕ１ｖ１の中心が、図中に示した座標軸のｕ＝ｕ１、ｖ＝ｖ１の位置になる様に配置している。なお、非特許文献１によると、多視点画像内の各Ｉｕｖは、メインレンズの一部（部分開口）を通った光によってできる画像とみなせる。以降では説明の為、各画像Ｉｕｖに対応するセンサ上（かつ、メインレンズ上）の座標（ｕ，ｖ）を「視点位置」と呼ぶ。

上記プレノプティックカメラ部１３０７で点光源からピントをずらして撮影した多視点画像が図３（ｆ）である。実施形態では、多視点画像中の１枚の参照画像を用いて、１枚の符号化対象画像を符号化する例を述べる。説明を分かり易くするために、撮影画像の具体例が必要な場合は、図３（ｆ）の画像３０２を参照して画像３０３を予測符号化する例を述べる。なお、以下と同様の手順を繰り返せば、いずれの多視点画像も符号化することが可能である。

図２（ａ）に戻ってＳ２０２では、１６枚中の１つを参照画像として符号化する。符号化して得られた符号化データが画像バッファメモリ１３１０に一時的に格納される。実施形態では画像３０２をＪＰＥＧで符号化する。なお、参照画像の符号化方法はＪＰＥＧに限らずＰＮＧ、ＪＰＥＧ２０００、Ｈ２６４イントラなど様々な方式が考えられる。そして、Ｓ２０３で参照画像を復号する。復号して得られた画像データは画像バッファメモリ１３１０に格納されるものとする。Ｓ２０２で参照画像を非可逆圧縮した場合は、圧縮により劣化した参照画像が得られる。復号時に得られるのは劣化した参照画像であるため、以下ではこの劣化した参照画像を予測に用いる。

Ｓ２０４〜Ｓ２１１では参照画像を利用して、他の画像３０１、３０３〜３１６を１つずつ予測符号化する。以下では、画像３０１、３０２〜３１６のうち、符号化しようとする画像を対象画像という。

まず、Ｓ２０４では対象画像を１つ選択する。そして、Ｓ２０５にて、画像バッファメモリ１３１０内に、対象画像に対して回転反転予測が有効となる復号済みの参照画像があるか否かを判定する。図３（ｆ）から分かる様に全ての多視点画像間で、点光源のボケが線対称、もしくは回転対称の関係にあるとは限らない。具体的には画像３０１、３０４、３１３、３１６の４枚から成るグループ内では、どの画像ペア同士も回転対称もしくは線対称の関係にある。より詳しくは、画像３０４は画像３０１に対し、垂直線に対して線対称の画像である。画像３１３は画像３０１に対して、水平線に対して線対称の画像である。また、画像３１６は、画像３０１に対して１８０度の回転対象の画像である。

同様に画像３０２、３０３、３０５、３０８、３０９、３１２、３１４、３１５のグループ、画像３０６、３０７、３１０、３１１のグループはそれぞれ、グループ内のどの画像ペア同士も回転もしくは線対称な関係にあることがわかる。一方で、異なるグループ内の画像同士は、回転もしくは線対称な関係が成り立たない。このように回転もしくは線対称な関係が成り立たない画像ペアに対して、回転反転予測を行うと、処理時間が増加する一方で予測精度の向上は見込めない。従ってＳ２０４で参照画像と対象画像とが、同一グループであると判定した場合はＳ２０９、Ｓ２１０で回転反転を考慮した予測符号化を行い、異なるグループであると判定した場合はＳ２０６乃至Ｓ２０８で回転反転予測を考慮しない予測符号化を行う。

各多視点画像が同一グループで有るかどうかは、多視点画像を取得した光学系に依存する。従って同一グループの判定は、撮像装置に同一グループに属する画像の視点番号を記録しておき、符号化時にその情報を読み出すことで行う。図４に示した光学系を持つ撮像装置が保持する、同一グループの視点番号をまとめたテーブル（以下、グループ情報テーブル）を図６に示す。図示では多視点画像は３つのグループＩ乃至IIIに分類されることを示している。また、図示の視点番号は、左上隅からラスタースキャン順に対応し、図３（ｆ）の画像の参照符号の下２桁に対応する。図６における各グループにおける＊印、又は、＊＊印がついた視点番号は、そのグループに属する参照画像（又は準参照画像）となることを示している。そして、＊＊印は、多視点画像の全体の参照画像であることを示し、＊印は一次参照画像を参照して符号化する二次参照画像（準参照画像）であることを示す。つまり、視点画像“２”（図３の画像３０２）はＪＰＥＧ符号化する。そして、他のグループの準参照画像となる視点画像“１”、“６”は、視点画像“２”を参照して視差補償予測符号化する。こうして各グループの参照画像の符号化を終えると、以降は同じグループ内ではグループ内の参照画像を用いて回転・反転予測符号化する。

多視点画像にける参照画像や準参照画像の決め方は、各グループの中の１つの代表画像を選出して決めれば良い。実施形態では、多視点画像をラスタースキャンした際の、視点画像が最大数となるグループ内の最初に現れる視点番号を参照画像の視点番号として決定する。他のグループにおける準参照画像の視点番号は、多視点画像をラスタースキャンした際の、そのグループ内の最初に現れる視点番号とする。また、上記の通りなので、復号装置での復号処理がスムーズに行われるようにするため、参照画像を最初に符号化し、以降は、多視点画像をラスタースキャンした順に行う。実施形態では、多視点画像として４×４個が生成されるので、符号化する順番は視点番号順で示すと｛２、１、３、４、５、６、…、１５｝の順番となる。よって、先のＳ２０２では、視点番号“２”の画像３０２がＪＰＥＧ符号化されることになる。

なお、ここで述べたグループ内に１つ（準）参照を設けるのは、あくまで参照順序の一例である。例えば図６のグループＩに属する画像群が全て視点番号１の画像を参照する方法だけでなく、視点４が視点１を参照し、視点１３は視点４を参照することも可能である。ただしその場合視点１３を復号する為に視点４と視点１の両方を復号する必要があるため、視点のランダムアクセス性が低下するというデメリットがある。

さて、初めてＳ２０５の判定処理を行うとき、その符号化対象画像は２番目に視点番号“１”で示される画像となる。視点番号“１”の画像は図６に示すようにグループＩに属し、一次参照画像である視点番号“２”が属するグループIIとは異なる。一方、この段階で画像バッファメモリ１３１０に格納されている復号済み参照画像は視点番号“２”の画像であって、グループＩに属する。すなわち、両者のグループは一致しない。それ故、処理はＳ２０６に進み、一次参照画像を復号して得られた画像データを用いて、対象画像の視差補償予測符号化を行い、得られた符号化データを画像バッファメモリ１３１０に格納する。

この視差補償予測符号化は、動画像符号化でのフレーム間符号化と同じであると考えると分かりやすい。動画像符号化におけるフレーム間符号化では、対象フレーム内の着目画素ブロックに対する予測ブロックを、参照フレーム内からサーチする。そして、着目画素ブロックと予測ブロック内の画素どうしの差分値を演算し、その差分値を符号化する。実施形態における視差補償予測符号化では、対象画像（着目視点画像）と参照画像との関係は、時間差の代わりに視差の関係にある点が異なるだけである。すなわち、実施形態における差補償予測符号化では、着目視点画像内の各画素ブロックについては、参照画像内から予測ブロックをサーチして予測符号化を行うものとする。従って、これ以上の説明は省略する。

さて、Ｓ２０６の符号化処理を終えると、処理はＳ２０７に進み、対象画像は自身が属するグループ内の他の画像に対する参照画像となるか否か、換言すれば、二次参照画像であるか否かを判定する。Ｓ２０６の処理が初めて行われたとき、対象画像は視点番号“１”の画像であってグループＩの参照画像である（図６参照）。そこでグループＩに属する他の画像の符号化に備えて、Ｓ２０８にて、復号処理を行い、その復号した画像を画像バッファメモリ１３１０に格納する。

一方、Ｓ２０５にて、画像バッファメモリ１３１０内に、対象画像に対して回転反転予測が有効となる復号済みの参照画像があると判定した場合、Ｓ２０９に進み、回転反転方法の判定を行う。

特許文献１では、ブロック単位に最適な回転方法を探索し、その回転角度を符号化するが、その方法では回転予測を行うブロック毎に回転角度の符号化が必要になってしまう。また、ブロック単位に最適な角度を調べる為、処理時間も多く必要になる。

本実施形態では、点光源のボケを仮定し、画像単位で反転回転方法を保持する。これにより、回転反転方法は画像単位の付与で良くなり、ブロック単位で保持する場合に比べて符号量を削減できる。また、点光源のボケを仮定すると、参照画像と対象画像の視点位置から最適な回転反転方法が特定できるため、回転反転方法の特定に必要な処理時間も削減できる。

参照視点と対称視点のペアが決まった際の最適な回転反転方法を示した表（以下、回転反転方法テーブル）はグループ情報テーブルと同じく光学系に依存する為、撮影装置が保持しておき、符号化時に読みだす。回転反転は参照視点と対象視点が同一グループにあった場合のみ行う為、回転反転方法テーブルはグループに対して１つ必要である。グループIIの場合の例を図７に示した。グループIIの参照画像は視点番号“２”の画像となる。図７では、参照画像をどのように回転もしくは反転すれば、対象画像の視点の予測に適した画像が得られるかを示している。図中の各マスには、反転か回転を示すフラグと、角度情報が格納されている。フラグ“０”は線対称の反転、“１”は回転対称であることを示している。角度情報は、線対称の反転の場合は反転の軸の角度を、回転対称の場合は回転角度を示した。反転の軸の角度は、画像の水平左方向を０度とし、時計回りに回転した際の角度を示した。

例えば今、対象画像が視点番号“３”であったとする。この場合、図７のテーブルから視点番号“２”と視点番号“３”とで特定されるマスの“０、９０度”を得る。これは、反転フラグが“０”であるので反転、反転する際の基準となる線の方向は９０度（垂直方向）であることを示す。なお先に説明したように、図７中の視点番号は図３（ｆ）の画像３０１〜３１６の下２桁に対応している。図７中の左下半分が斜線になっているのは、視点ｉを視点ｊに変換する方法が分かれば、視点ｊから視点ｉはその逆変換で可能であるため、図７の右上半分が分かれば左下半分が不要な為である。なお、グループII内には視点番号“２”の画像（図４（ｆ）の画像３０２）が含まれるが、この視点画像“２”は参照画像（一次参照画像）であって、Ｓ２０４にて既に復号済みである。

なお、グループ情報テーブル、回転反転方法テーブルは上記に示した、撮像装置に保持させる方法以外も考えられる。図４のプレノプティックカメラの光学系において多視点画像のボケ部の対称性に影響するのは、マイクロレンズ４０３がセンサ４０４何画素分にまたがるか（以下、分割数と呼ぶ。図４では分割数は１６）である。従って、符号化装置に、分割数に応じたグループ情報テーブルと回転反転方法テーブルを数パターン保持しておき、撮像装置から入力された、分割数に応じたテーブルを読み出すことも可能である。もちろん、上記符号化装置が、単独の光学系のみに特化したものであるならば、その光学系の分割数におけるテーブルのみを保持すれば良い。

また、グループ情報テーブル、回転反転方法テーブルを符号化装置、撮像装置のどちらにも保持させずに、光学系に応じて自動生成する方法も考えられる。例えば分割数に応じて、図３（ｄ）もしくは（ｆ）のように円形のボケを分割した多視点画像を作成し、それらの画像ペア毎に最も良く予測できる回転反転方法を求めればよい。その探索方法は、例えば、画像単位に回転反転方法の候補を定め、後のＳ２０９で示すように１次元のブロックマッチングを行って参照視点画像から対象画像を予測し、もっとも予測誤差が小さい回転反転方法に決定する。この際、予測誤差が０（もしくは閾値以下）になる回転反転方法が無い画像ペアは、同じグループでは無いと見なす。

さて、回転・反転方法が決定されると、処理はＳ２１０に進み、対象画像を、画素ブロック単位に。回転・反転予測混在符号化処理を行う。以下、この符号化処理の手順を図２Ｂを参照して説明する。

まずＳ２２１では対象画像を複数の画素ブロックに分割し、そのうちの１つを選ぶ。通常は画像の左上からラスタースキャン順に画素ブロックを選択すればよい。１つの画素ブロックのサイズは８×８画素とするが、他のサイズであっても良いし、異なるブロックが混在しても構わない。

画素ブロックを選択したとき、その画素ブロックに対する予測画素ブロックを、参照画像からサーチする。このサーチには２通りある。

１つは、Ｓ２２２における視差ベクトル探索である。この処理はＭＶＣなどで行われるのと同様、対象画像のブロックに最も似た領域を参照画像から探す処理である。類似度は差分絶対値和（以下、ＳＡＤ）が小さいほど似ているという基準を用いれば良い。なお、視差ベクトルの探索範囲は２次元で行っても良いが、多視点画像の特性上、１次元に限定するのが望ましい。１次元の場合、対称視点の符号化対象ブロックを通り、参照画像の視点位置と対象画像の視点位置を結んだ直線と同じ傾きを持つ、直線上を探索する。例えば対象画像が画像３０３、参照画像が画像３０２の場合、両者は水平方向に並んでいるので、対象画像内の着目画素ブロックの位置をＢ（ｘ、ｙ）としたとき、参照画像内のＢ（ｘ、ｙ）を起点に、左右の水平方向に探索し、予測誤差が最小となる視差ベクトルを求める。なお、先に説明したＳ２０６の視差補償予測符号化処理も、ここで説明したのと同じ処理を行ってもよい。この場合、予測ブロックの探索範囲が２次元ではなく、１次元方向に沿ったものとなるので、探索範囲が狭くできる分だけ符号化速度を上げることができる。

もう１つは、Ｓ２２３における回転・反転予測を伴った視差ベクトルの探索である。この詳細を図２Ｃに示し、以下に説明する。

Ｓ２３１では回転反転予測を行う際の視差ベクトルの候補を選択する。例えば図８において、対象画像３０３のブロック８０１を予測する際には、参照画像３０２の探索範囲８０２上のブロックを指定するベクトルを１つ選ぶ。探索範囲はＳ２０９と同様、視点位置から定まる１次元の線上を調べるのが望ましい。以降ではブロック８０３を指定する視差ベクトルが選ばれたとする。次にＳ２３２では、Ｓ２２３１で選んだ視差ベクトルで指定されるブロックに対して、Ｓ２０５で特定された回転もしくは反転を施して得たブロックを予測画素ブロックとして予測誤差を計算する。図８の例では、視差ベクトルで指定されたブロック８０３を線対称に反転させてブロック８０４を得て、ブロック８０４と対象ブロック８０１との予測誤差を求める。予測誤差はＳＡＤを用いれば良い。

Ｓ２３３ではＳ２３１、Ｓ２３２の処理を全ての探索範囲で行ったかを判定する。全ての探索を終えた場合は、Ｓ２３４において、回転反転予測を行う際に最も予測誤差が小さくなる視差ベクトルを選ぶ。

図２Ｂに戻って、Ｓ２２４では、Ｓ２２２で得た視差ベクトルによる着目ブロックに対する誤差と、Ｓ２２３で得た回転反転を反映した得た視差ベクトルによる着目ブロックに対する誤差とを比較し、誤差の小さい方をそのブロックの予測方法として選ぶ。

Ｓ２２５、Ｓ２２６、Ｓ２２７では、予測方法を特定するための切り替えフラグ、視差ベクトル、および符号化対象ブロックと予測ブロックとの差分、をブロック単位に符号化する。差分情報はブロック単位に離散コサイン変換（以下、ＤＣＴ）を施した際の係数によって符号化されるのが望ましい。この結果、得られた符号化データは画像バッファメモリ１３１０に格納される。

Ｓ２２８において、対象画像内の全てのブロックを処理したと判定されれば、ブロック単位の処理を終える。

Ｓ２２９では回転反転情報を符号化する。回転反転情報とは画像単位に与えられる情報で、Ｓ２０４で判定した回転反転予測の有無に加え、回転反転予測有りの場合は回転反転方法（図７で示した回転反転方法テーブルの１マスに対応）である。なお、復号装置にグループ情報と、回転反転方法テーブルを保持する場合には、復号対象画像の視点番号がわかれば、２種類のベクトル探索を行った画像であるのか否かが判明するので、回転反転方法を明示的に符号化する必要はない。つまり、Ｓ２２９の処理は無くても構わない。

以上で、Ｓ２１０の回転反転予測混在符号化の説明を終える。図２Ａに戻って、Ｓ２１１では全視点画像の符号化を終えたか否かを判定する。否の場合には、Ｓ２０４以降の処理を繰り返す。一方、全視点画像の符号化を終えたと判断した場合には、画像バッファメモリ１３１０には、全視点画像の符号化データが格納されていることになる。そこで、ＣＰＵ１３０１は、画像のサイズや、多視点の視点の個数や配列など、復号に必要な情報をヘッダにし、それに後続して各視点画像の符号化データを接続し、１つの符号化画像データファイルを作成し、記憶媒体１３１３に格納する（Ｓ２１２）。

以上が実施形態における画像符号化／復号部１３１１の処理内容であるが、上記処理で出力する情報を図９に示した。図９では各視点の符号データに含まれるデータ名と、データの付与単位をまとめた。各データの説明は上記フローで述べた通りである。なお、画像単位に付与する、回転反転予測の有無を示すフラグが、「回転反転予測無し」を示している場合は、回転反転方法と予測切り替えフラグは不要となる。

図１は、上記の処理を実現する画像符号化／復号部１３１１内の符号化部１００の構成図である。

符号化部１００は、画像バッファメモリ１３１０に格納された多視点画像が入力される。また多視点画像中の参照画像（復号した画像）も入力される。これは図２のフローチャートのＳ２０１〜Ｓ２０４の処理に対応する。

符号化部１００は本実施形態の特徴である、回転反転を利用した多視点画像の符号化を行う。この符号化部１００は図２のＳ２０４〜Ｓ２２１の処理を行う。以下で、符号化部１００の各部の詳細を述べる。

回転反転方法判定部１０２では、対象画像の視点位置、参照画像の視点位置、および撮像装置から読み込むグループ情報テーブル、回転反転方法テーブルを利用して、回転反転が有効かどうか、有効な場合は最適な回転反転方法が何かを判定する。これは図２ＡのＳ２０５の処理に対応する。

回転反転視差ベクトル探索部１０３では、回転反転を考慮した視差ベクトルの探索を行い、最小誤差の画素ブロックのベクトルを求める。回転反転視差補償予測部１０４では、回転反転視差ベクトル探索部１０３で得た回転反転視差ベクトルを利用して予測画素ブロックを出力する。これら回転反転視差ベクトル探索部１０３、回転反転視差補償予測部１０４は、Ｓ２２３の処理の一部に当たる。

視差ベクトル探索部１０５は着目画素ブロックに対する最小の誤差となる視差ベクトルを探索し、視差補償予測部１０６は視差ベクトルを利用して予測画素ブロックを出力する。これらの処理は、Ｓ２２２に相当する。

判定部１１０は、回転反転視差ベクトル探索部１０３、視差ベクトル探索部１０５が、それぞれベクトルを探索する際に算出した最小誤差を比較し、いずれが小さいかを示す信号を出力する。かかる処理は、Ｓ２２４に相当する。

スイッチ１１１は、判定部１１０の判定結果を示す信号に従い、回転・反転視差補償予測部１０４、視差補償予測部１０６のいずれか一方からの予測画素ブロックを選択し、加算器１１２に出力する。加算器１１２は、対象画像中の注目画素ブロックと、スイッチ１１１から供給された予測ブロックとの差分を算出し、その差分ブロックをＤＣＴ部１０７に供給する。そして、ＤＣＴ部１０７によるＤＣＴ変換、量子化部１０８によるＤＣＴ変換係数の量子化処理、更にはエントロピー符号化部１０９による符号化が行われる。なお、エントロピー符号化部１０９では、対象画像が、各グループ内での参照画像である場合を除き、判定部１１０からの判定信号（１ビット）も合わせて符号化し、それを画像の符号化データに付加して出力する。参照画像の場合、スイッチ１１１は、視差補償予測部１０６からの予測画素ブロックを選択するものとしているので、いずれの予測ブロックを用いたかを示すフラグが不要であるからである。これらスイッチ１１１、ＤＣＴ変換部１０７、量子化部１０８、エントロピー符号化部１０９は、Ｓ２２５乃至Ｓ２２７に相当することになる。

以上実施形態における多視点画像の符号化にかかる説明した。次に、符号化／復号部１３１１内の復号部１０００の画像復号処理を説明する。図１０は、復号部１０００のブロック構成図である。以下、復号部１０００の処理内容を説明する。

ＣＰＵ１３０１は、復号処理に先立って、図６、図７に示すテーブルを、エントロピー復号部１００２にセットする。エントロピー復号部１００２は、これらのテーブルを参照して、復号処理と、復号部１０００の各処理部の制御を行う。

先に説明したように、実施形態の場合、符号化データは、視点番号“２、１，３，４、…１６”の順番に並んでいる。すなわち、最初に復号するのは、視点番号“２”の画像であり、グループIIに属する画像である。この画像は、参照画像を必要とはせず、単独で復号できるＪＰＥＧ符号化データでもある。従って、エントロピー復号部１００２→逆量子化部１００５→逆ＤＣＴ部１００６を経て、視点番号“２”の画像内の各画素ブロックが画像バッファメモリ１３１０に出力される。

２番目の視点画像は視点番号“１”の画像であり、グループＩに属する画像でもある。また、この画像は、視点番号“２”の画像（最初に復号した画像）を参照画像として、視差補償予測符号化された画像である。従って、エントロピー復号部１００２は、量子化済みの差分ブロックの符号化データだけでなく、ベクトル情報の復号も行い、予測復号処理を行う。エントロピー復号部１００２は、量子化差分ブロックデータを逆量子化部１００５に供給すると共に、復号して得られたベクトル情報を視差予測部１００４に供給する。また、エントロピー復号部１００２は、スイッチ１００７に対して、視差予測部１００４を選択する制御信号を供給する。視差予測部１００４は、そのベクトル情報に基づき、参照画像内の該当する画素ブロックを読み出す。加算器１００８は、逆ＤＣＴ部１００６から出力された差分ブロックに、視差予測部１００４から供給された予測ブロックを加算し、画素ロックを生成し、画像バッファメモリ１３１０に出力することになる。

３番目の視点画像は視点番号“３”の画像である。この画像は、視点番号“３”は視点番号“２”と同じグループIIに属するものであるので、最初に復号した画像を参照画像とする、回転反転視差補償予測符号化された画像である。従って、エントロピー復号部１００２には、量子化済みの差分ブロックの符号化データだけでなく、ベクトル情報の復号も行う。エントロピー復号部１００２は、量子化差分ブロックデータを逆量子化部１００５に供給する。また、エントロピー復号部１００２は、復号して得られたベクトル情報と、回転反転にかかるパラメータを回転反転視差予測部１００３に供給する。また、エントロピー復号部１００２は、スイッチ１００７に対して、回転反転視差予測部１００３を選択する制御信号を供給する。回転反転視差予測部１００３は、入力したベクトル情報に基づき、参照画像内の該当する画素ブロックを読み出し、かつ、設定されたパラメータに従って読出した画素ブロックに対して回転・反転を行い、その結果を出力する。加算器１００８は、逆ＤＣＴ部１００６から出力された差分ブロックに、回転反転視差予測部１００３から供給された予測ブロックを加算し、画素ロックを生成し、画像バッファメモリ１３１０に出力することになる。

４番目以降の視差画像の復号処理は、上記説明から明らかであろうから、その説明は省略する。

なお、図９の符号データ、及び、図１０の復号装置の説明では、回転反転予測の有無、及び回転反転方法が符号データに明示的に含まれている前提で説明した。しかし、符号化処理の説明で述べたように、これらの情報は、対象視点番号と参照視点番号、及び多視点画像を撮影した光学系の分割数が分かれば特定することができる。その特定方法の１つとしては、復号装置にも、分割数に応じたグループ情報テーブルと回転反転方法テーブルを持たせ、分割数に応じて切り替える方法がある。また、別の方法としては、分割数に応じてテーブルを自動生成する方法も考えられる。復号装置がこれらの構成をとる場合には、回転反転予測の有無及び、回転反転方法は、対象視点と参照視点の番号及び分割数の中に陰に符号化されていると考えることができる。

上記実施形態では、多視点画像が４×４個の視点位置の画像の配列であるものとして説明したが、Ｎ×Ｍ個（Ｎ，Ｍは自然数であって、少なくとも一方は２以上の整数）に一般化できる。この場合の各視点位置画像のグループへの分類は、その配列の中心位置から互いに同じ距離にある画像を１つのグループに分類する、という条件でよい。この結果、同じグループに属する画像は、互いに、多視点配列の中心位置に対して点対称、又は、中心位置を通る線分に対して線対称の関係になる。換言すれば、異なるグループに属する画像どうしは、非点対称かつ非線対称ということができる。例えば、図１５に示すように５×５個の視点位置画像があり、それぞれの視点位置の番号を図示のようにラスタースキャン順に割り当てたとき、図示の右側に示すように５つのグループに分類できる。

［第１の実施形態の変形例］
上記の第１の実施形態では、デジタルカメラに代表される撮像装置に適用した例を説明したが、ソフトウェアで実現しても構わない。この場合、このソフトウェアは、ＰＣ（パーソナルコンピュータ）等、一般のコンピュータのメモリにインストールされることになる。そしてこのコンピュータのＣＰＵがこのインストールされたソフトウェアを実行することで、このコンピュータは、画像符号化装置や復号装置として機能することになる。即ち、このコンピュータは、上述の画像処理装置に適用することができる。この場合のコンピュータは、例えば図１４に示す構成を有することになる。以下は図１５を参照した説明である。

ＣＰＵ１５０１は、ＲＡＭ１５０２やＲＯＭ１５０３に格納されているコンピュータプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、画像処理装置が行うものとして説明した上述の各処理を実行する。ＲＡＭ１５０２は、コンピュータ読み取り可能な記憶媒体の一例である。ＲＡＭ１５０２は、外部記憶装置１５０７や記憶媒体ドライブ１５０５、更にはネットワークインタフェース１５１０からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリアを、有する。更に、ＲＡＭ１５０２は、ＣＰＵ１５０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１５０２は、各種のエリアを適宜提供することができる。ＲＯＭ１５０３は、コンピュータ読み取り可能な記憶媒体の一例であり、コンピュータの設定データや、ブートプログラムなどが格納されている。キーボード１５０４、マウス１５０５は、コンピュータの操作者が操作することで、各種の指示をＣＰＵ１５０１に対して入力することができる。表示装置１５０６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１５０１による処理結果を画像や文字などでもって表示することができる。外部記憶装置１５０７は、コンピュータ読み取り記憶媒体の一例であり、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１５０７には、ＯＳ（オペレーティングシステム）や、図１に示した各処理をＣＰＵ１５０１に実現させるためのコンピュータプログラムやデータ、上記の各種テーブル、データベース等が保存されている。外部記憶装置１５０７に保存されているコンピュータプログラムやデータは、ＣＰＵ１５０１による制御に従って適宜ＲＡＭ１５０２にロードされ、ＣＰＵ１５０１による処理対象となる。

記憶媒体ドライブ１５０８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されているコンピュータプログラムやデータを読み出し、読み出したコンピュータプログラムやデータを外部記憶装置１５０７やＲＡＭ１５０２に出力する。なお、外部記憶装置１５０７に保存されているものとして説明した情報の一部若しくは全部をこの記憶媒体に記録させておき、この記憶媒体ドライブ１５０８に読み取らせても良い。

Ｉ／Ｆ１５０９は、外部から多視点画像、光学系のパラメータ等を入力するインタフェースであり、一例として示すのであればＵＳＢ（Universal Serial Bus）である。１５１０は、上述の各部を繋ぐバスである。

上述構成において、本コンピュータの電源がＯＮになると、ＣＰＵ１５０１はＲＯＭ１５０３に格納されているブートプログラムに従って、外部記憶装置１５０７からＯＳをＲＡＭ１５０２にロードする。この結果、キーボード１５０４、マウス１５０５を介した情報入力操作が可能となり、表示装置１５０６にＧＵＩを表示することが可能となる。ユーザが、キーボード１５０４やマウス１５０５を操作し、外部記憶装置１５０７に格納されたアプリケーションプログラムの起動指示を入力すると、ＣＰＵ１５０１はこのプログラムをＲＡＭ１５０２にロードし、実行する。これにより、本コンピュータが符号化や復号を行う画像処理装置として機能することになる。

なお、ＣＰＵ１５０１が実行する画像処理用のアプリケーションプログラムは、基本的に図１に示す各部に相当する関数を備えることになる。ここで、符号化対象の画像は、Ｉ／Ｆ１５０９を介して入力し、一旦、がうぶ記憶装置１５０７などに格納される。また、画像処理結果（符号化結果）は外部記憶装置１５０７に保存することになる。なお、このコンピュータは、以降の各実施形態に係る画像処理装置にも同様に適用可能であることは、以下の説明より明らかである。

［第２の実施形態］
本第２の実施形態では、第１の実施形態における、多焦点画像の回転反転予測混在符号化方法を変更した例を説明する。第１の実施形態では、同じグループ内であって、参照画像以外の画像を符号化する場合、その画像中の全ブロックに対し、視差ベクトル探索と回転反転視差ベクトルの両方を探索し、予測誤差の小さい予測方法を選ぶ実施形態を説明した。本実施形態では、各ブロックがボケ部であるかどうかを判定し、回転反転視差ベクトルの探索はボケ部のみに行う例を説明する。

本第２の実施形態は、図２Ａのフローチャートに回転反転予測混在符号化処理（Ｓ２０６）の詳細が、図２Ｂに代わって、図１１Ａ，１１Ｂの処理に変更する以外は第１の実施形態と同様である。従って以下では、図１１Ａ，１１Ｂの処理の詳細について説明する。

図１１（ａ）の処理のうち、Ｓ１１０１、Ｓ１１０２以外の処理は、図２Ｂの該当する処理と同じであるので同符号を付した。

図１１（ａ）のフローの特徴はＳ１１０１でボケ部を判定し、その結果に応じてＳ１１０２で分岐し、ボケ部と判定されたブロックのみ、回転反転視差ベクトル探索処理（Ｓ２２３）と予測方法選択（Ｓ２２４）を行う点である。それ以外のブロックに対しては視差ベクトル探索Ｓ１１０２による予測のみを行う。

Ｓ１１０１のボケ部判定の詳細を図１１（ｂ）に示す。本実施形態におけるボケ部判定は、多視点画像の視差によるボケの判定と、コントラストによるボケの判定を組み合わせている。なお、これらの一方、もしくは別の方法でボケ部の判定を行っても良い。

まずＳ１１１２では対象視点画像と、隣接する視点の画像との視差を算出する。視差は視差ベクトルの探索と同様、ブロック単位でＳＡＤを計算し、最もＳＡＤの低いブロックを選ぶ。なお、適切な視差が見つからない場合がある。例えば、対象ブロックの周辺に類似したテクスチャが周期的に表れるためＳＡＤ最小のブロックが一意に決まらない場合や、オクルージョン領域であることから、ＳＡＤが十分に小さくなる対応ブロックが見つからない場合である。この様な場合はＳ１１１２では「視差無し」を出力する。なお、Ｓ１１１２の視差算出処理は、Ｓ１１０２の視差ベクトル探索とほぼ同様の処理を行う。従って、Ｓ１１０２の結果の流用などにより、処理量を減らすことができる。

Ｓ１１１３ではＳ１１１２において視差が求まったかどうかによって分岐を行う。視差が求まった場合はＳ１１１４に進む。

Ｓ１１１４では視差の絶対値が閾値より大きいかを判定し、閾値以上のブロックはボケ部（Ｓ１１１７）、それ以外は非ボケ部（Ｓ１１１８）と判定する。これは、図３（ｆ）をみれば分かる通り、プレノプティックカメラで撮影した多視点画像間の視差の絶対値が大きいほど、その領域のボケも大きいためである。本実施形態では、視差の絶対値が８以上をボケ部であるとする。視差が８以上ある場合は、多視点画像内の各画像における点光源のボケも８画素にまたがるため、８×８画素ブロック単位の回転反転予測の効果が大きいと考えられるためである。

Ｓ１１１３で視差が求まらなかった場合は、Ｓ１１１５でブロック内のコントラストを算出し、Ｓ１１１６でコントラストが閾値以上かを判定する。閾値以上なら非ボケ部（Ｓ１１２１）、それ以外はボケ部（Ｓ１１２０）と判定する。コントラストはブロック内の輝度最大画素と最低画素との輝度値の比を用いる。なお、コントラストとしてはそれ以外に、ブロック内の輝度の分散などを用いても良い。

以上で、第２の実施形態の処理の説明を終える。本実施形態の特徴はＳ１１０３のボケ部判定結果に応じて、Ｓ１１０５の回転反転視差ベクトル探索を行うか否かを切り替える点である。この切り替えにより、全てのブロックに対して回転反転視差ベクトル探索を行う場合に比べて、探索処理の削減が見込める。

［第３の実施形態］
第３の実施形態では回転反転予測をＭＶＣに組み合わせる場合を説明する。第１の実施形態では、プレノプティックカメラ部１３０７で撮影した多視点の静止画の符号化だったのに対し、本実施形態では動画を扱う。それに伴い、第１の実施形態に加えて、時間軸に沿ったフレーム間相関を利用した予測が加わる。また、ＭＶＣの機能である画面内予測も加わる。

なお、動画像を撮像する際には、画像バッファメモリ１３１０には、時系列に撮像された多視点画像が順次格納されることになる。

本第３の実施形態の符号化・復号部１３１１における符号化部１２０１のブロック構成図を図１２に示す。

図１２において、図１と同じ機能を有するものについては同符号を付した。図１２では、逆量子化部１２１１〜動き補償予測部１２１７が、第１の実施形態の符号化装置に対して、本実施形態で追加したブロックである。これらのブロックはＭＶＣの構成要素として広く知られている。イントラ予測部１２１３は、対象画像の符号化済みブロックの情報を利用して、まだ符号化していないブロックに対する予測を行う。対象視点の参照画像メモリ１２１５には、対象視点の動画のうち、対象画像とは別の時刻の画像が格納されている。動きベクトル探索部１２１６、動き補償予測部１２１７では、１２１５に納められている画像を使って、対象画像を予測する処理を行う。対象視点の参照画像メモリへは、異なる４つの予測方式のいずれかによる予測画像と、逆量子化部１２１１、逆ＤＣＴ部１２１２で復号された差分情報とが加算され、デブロッキング・フィルタ１２１４を施されて入力される。

以上で本実施形態の説明を終える。本第３の実施形態により、回転反転予測は既存の標準技術であるＭＶＣの拡張機能として、容易に追加可能なことが確認できる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

ライトフィールドデータから構成される複数の視点画像を符号化する画像符号化装置であって、
前記複数の視点画像のうちの予め設定された１つを参照画像とし、当該参照画像を符号化する第１の符号化手段と、
前記複数の視点画像のうち、前記参照画像を除く他の視点画像については、前記参照画像を参照して、画素ブロックを単位に予測符号化する第２の符号化手段とを備え、
前記第２の符号化手段は、
前記参照画像と符号化対象の着目視点画像との関係が、点対称、又は、線対称の関係にあるとき、当該参照画像の画素ブロックを前記関係に従って回転又は反転して得られた回転反転されたブロックを予測符号化の際の参照画像として用いる
ことを特徴とする画像符号化装置。
上記第２の符号化手段は、参照視点と着目視点のペアに対して画像単位で１つ、回転または反転の方法を符号化し、
前記着目視点画像内のブロックの符号化データにおいてブロック単位で、回転または反転した予測画素ブロックを予測に用いたかを示す情報を付加して出力する
ことを特徴とする請求項１に記載の画像符号化装置
前記複数の視点画像は、Ｎ×Ｍ個の視点位置の画像の配列であって、当該配列の中心位置から互いに同じ距離にある画像をグループに分類したとき、
前記第１の符号化手段は、最大数の画像を含むグループ内の１つの代表画像を前記参照画像として符号化し、
前記第２の符号化手段は、
前記最大数の画像を含むグループ内の、前記参照画像を除く他の画像については、前記参照画像に対して前記点対称又は前記線対称にあるものとして符号化し、
前記最大数の画像のグループを除く他のグループ内の１つの画像については、前記参照画像に対して非点対称かつ非線対称にある準参照画像として符号化し、
前記最大数の画像のグループを除く他のグループ内の前記準参照画像を除く他の画像については、前記準参照画像に対して前記点対称又は前記線対称にあるものとして符号化する
ことを特徴とする請求項１に記載の画像符号化装置。
前記第２の符号化手段は、符号化対象の着目視点画像の画素ブロックを予測符号化するとき、前記着目視点画像の視点位置と前記参照画像の視点位置とを結ぶベクトルに沿って前記参照画像から予測画素ブロックを探索することを特徴とする請求項１乃至３の何れか１項に記載の画像符号化装置。
前記第２の符号化手段は、
符号化対象の着目視点画像の画素ブロックがボケているか否かを判定する判定手段を有し、
当該判定手段の判定結果がボケていると判定し、かつ、前記参照画像と前記着目視点画像との関係が、前記複数の視点画像の中心位置に対して点対称、又は、前記中心位置を通る線分に対して線対称の関係あるとき、前記参照画像に加え、当該参照画像を前記関係に従って回転又は反転して得られた回転反転した画像も予測符号化の際の参照画像として用いて符号化することを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。
前記判定手段は、多視点画像間の視差と、画像内のコントラストに基づいてボケているか否か判定することを特徴とする請求項５に記載の画像符号化装置。
ライトフィールドカメラ部と、請求項１乃至５のいずれか１項に記載の画像符号化装置と、符号化したデータを記憶媒体に格納する格納手段とを有することを特徴とする撮像装置。
ライトフィールドデータを表す複数の視点画像の符号化データを復号する画像復号装置であって、
前記複数の視点画像のうちの予め設定された１つを、単独で符号された画像として画素ブロックを単位に復号する第１の復号手段と、
前記複数の視点画像のうち、前記参照画像を除く他の視点画像については、前記参照画像を参照して、画素ブロックを単位に予測復号する第２の復号手段とを備え、
前記第２の復号手段は、
前記参照画像と復号対象の着目視点画像との関係が、前記複数の視点画像の中心位置に対して点対称、又は、前記中心位置を通る線分に対して線対称の関係にあるとき、前記参照画像に加え、当該参照画像を前記関係に従って回転又は反転して得られた回転反転された画像も予測復号する際の参照画像として用い、
復号して得られた情報に基づいて、前記着目視点画像内の画素ブロックが、いずれの参照画像として符号化されたのかを判定し、判定した一方の参照画像を用いて予測復号する
ことを特徴とする画像復号装置。
ライトフィールドデータから構成される複数の視点画像を符号化する画像符号化装置の制御方法であって、
第１の符号化手段が、前記複数の視点画像のうちの１つを参照画像とし、当該参照画像を符号化する第１の符号化工程と、
第２の符号化手段が、前記複数の視点画像のうち、前記参照画像を除く他の視点画像については、前記参照画像を参照して、画素ブロックを単位に予測符号化する第２の符号化工程とを備え、
前記第２の符号化工程では、
前記参照画像と符号化対象の着目視点画像との関係が、前記複数の視点画像の中心位置に対して点対称、又は、前記中心位置を通る線分に対して線対称の関係にあるとき、前記参照画像に加え、当該参照画像を前記関係に従って回転又は反転して得られた回転反転された画像も予測符号化の際の参照画像として用いる
ことを特徴とする画像符号化装置の制御方法。
ライトフィールドデータを表す複数の視点画像の符号化データを復号する画像復号装置の制御方法であって、
第１の復号手段が、前記複数の視点画像のうちの予め設定された１つを、単独で符号された画像として画素ブロックを単位に復号する第１の復号工程と、
第２の復号手段が、前記複数の視点画像のうち、前記参照画像を除く他の視点画像については、前記参照画像を参照して、画素ブロックを単位に予測復号する第２の復号工程とを備え、
前記第２の復号工程では、
前記参照画像と復号対象の着目視点画像との関係が、前記複数の視点画像の中心位置に対して点対称、又は、前記中心位置を通る線分に対して線対称の関係にあるとき、前記参照画像に加え、当該参照画像を前記関係に従って回転又は反転して得られた回転反転された画像も予測復号する際の参照画像として用い、
復号して得られた情報に基づいて、前記着目視点画像内の画素ブロックが、いずれの参照画像として符号化されたのかを判定し、判定した一方の参照画像を用いて予測復号する
ことを特徴とする画像復号装置の制御方法。
コンピュータに読み込ませ実行させることで、前記コンピュータに請求項９に記載の方法の各工程を実行させるためのプログラム。
コンピュータに読み込ませ実行させることで、前記コンピュータに請求項１０に記載の方法の各工程を実行させるためのプログラム。
請求項１１又は１２に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。