JP2013150071A - 符号化装置、符号化方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】多視点画像データ及びこの多視点画像データについての距離情報を、をより小さいデータ量の符号化データへと符号化する。
【解決手段】それぞれの入力画像について、入力画像を撮像した撮像部から各画素の被写体までの推定距離を示す距離画像を取得する。仮想空間内に、複数の撮像部の視点を現実と同様の配置で設定し、各撮像部に対応する距離画像の各画素を画素が示す距離だけ撮像部の視点から離間した位置に配置した場合に、各撮像部の視点から対応する距離画像までの距離と、撮像部と部分的に視野を共有する他撮像部に対応する距離画像から撮像部の視点までの距離と、の距離差が小さいほど信頼度が高くなるように、各撮像部についての信頼度を設定する。より大きい信頼度が設定された撮像部を選択する。選択した撮像部に対応する入力画像と距離画像とを符号化する。
【選択図】図５

Description

本発明は、複数の視点から撮影された画像及び距離情報の符号化技術に関し、特に多眼カメラによって撮影された画像の符号化技術に関する。

近年、映画業界を中心に３Ｄコンテンツの利用が活発である。より高い臨場感を求めて多視点撮影技術、多視点表示技術の開発が進んでいる。撮像装置においても、２視点撮影装置としてステレオカメラ、多視点撮影装置としてＰｌｅｎｏｐｔｉｃカメラ、多眼カメラ、カメラアレイシステムなどが開発されている。

しかしながら、視点数の増加に伴い、処理しなければならない画像データ量も増大する。そのため、多視点画像データを効率的に取り扱えるフォーマット及び符号化方式が求められている。多視点画像の標準フォーマットとして、静止画像に関しては、２００９年にＣＩＰＡによりＭｕｌｔｉ Ｐｉｃｔｕｒｅ Ｆｏｒｍａｔが制定された。また動画像に関しては、２００９年にＩＳＯ／ＩＥＣとＩＴＵ−Ｔとの共同により、Ｈ．２６４／ＭＰＥＧ−４が多視点映像に拡張されたＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が標準化された。さらに現在、ＭＰＥＧ−３ＤＶＣ（３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の標準化作業が進行している。ＭＰＥＧ−３ＤＶＣは多視点の画像と共に奥行き情報を符号化する方式である。

より高い符号化効率を実現するため、奥行き情報を利用して視点方向の冗長性を符号化する技術も提案されている。例えば、動き補償予測、視差補償予測、奥行き予測、画面内予測を適応的に切り替えることにより、多視点映像の符号化効率の向上を図る技術が提案されている（特許文献１）。

特開２００８−２７１２１７号公報

しかしながら、上述の方法は多視点画像の各視点についての画像データ（及び奥行き情報）を効率的に符号化するものであり、視点数が増えるに従って画像データ量が増加するという問題を完全に解決することはできない。

本発明は、多視点画像データ及びこの多視点画像データについての距離情報を、より小さいデータ量の符号化データへと符号化することを目的とする。

本発明の目的を達成するために、例えば、本発明の符号化装置は以下の構成を備える。すなわち、
複数の撮像部によって撮像されたそれぞれの撮像画像を入力画像として取得する第１の取得手段と、
それぞれの前記入力画像について、該入力画像を撮像した撮像部から各画素の被写体までの推定距離を示す距離画像を取得する第２の取得手段と、
仮想空間内に、前記複数の撮像部の視点を現実と同様の配置で設定し、各撮像部に対応する距離画像の各画素を該画素が示す距離だけ該撮像部の視点から離間した位置に配置した場合に、各撮像部の視点から対応する距離画像までの距離と、該撮像部と部分的に視野を共有する他撮像部に対応する距離画像から該撮像部の視点までの距離と、の距離差が小さいほど信頼度が高くなるように、各撮像部についての信頼度を設定する設定手段と、
より大きい前記信頼度が設定された撮像部を選択する選択手段と、
前記選択手段が選択した撮像部に対応する前記入力画像と前記距離画像とを符号化する符号化手段と、
を備えることを特徴とする。

多視点画像データ及びこの多視点画像データについての距離情報を、より小さいデータ量の符号化データへと符号化できる。

複数の撮像部を備えた符号化装置の一例を示した図である。 実施例１に係る符号化装置の内部構成を示すブロック図である。 実施例１に係る撮像部１０１〜１０９の内部構成を示す図である。 実施例１に係る画像処理部２１２の機能構成例を示すブロック図である。 実施例１の信頼度算出部４０３が行う処理のフローチャートである。 信頼度算出部４０３が行う処理を説明する為の図である。 信頼度算出部４０３が行う処理を説明する為の図である。 実施例１に係る処理のフローチャートである。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下で説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の一つである。

実施例１では、多眼カメラで撮影された多視点画像の符号化を想定している。多視点画像のデータ量は多いため、符号化により多視点画像のデータ量を効率的に削減することが求められている。実施例１においては、ユースケースによって必要とする視点数が異なることに注目している。例えば画像のリフォーカス処理を行うときは、それぞれの視点についての画像を用いることが望ましい。一方で距離情報を用いた背景ぼかし処理は、１視点からの画像と距離情報とを用いて行うことができる。このようにユースケースが決まっている場合、ユースケースに適した数の視点についての画像及び距離情報を符号化すればよい。この場合、保存する画像及び距離情報の数を減らすことができるため、多眼カメラで撮影された多視点画像をよりデータ量の少ない符号化データへと符号化することができる。

具体的には上述の処理は以下のように行うことができる。まず、多眼カメラのそれぞれの撮像部で撮像された画像が取得される。そして、それぞれの画像についての距離情報が取得される。この距離情報は、それぞれの画像の各画素についての撮像部から被写体までの距離でありうる。この距離情報は撮像部から取得されてもよいし、後述するようにそれぞれの画像間の比較により算出されてもよい。そして、ユーザの指示に従う数の画像が選択され、選択された画像とこの画像についての距離情報とが符号化される。

多視点画像から１つ以上の視点を選択するとき、どのような基準で選択するかが問題となる。本実施例では、それぞれの画像についての距離情報の信頼度に従って画像が選択される。距離情報を正確に決定することは容易ではないため、視点ごとに距離情報の精度が異なることがありうる。したがって、どの視点についての距離情報を用いるかに依存して、距離情報を用いた画像処理（例えば背景ぼかし処理）の結果が異なることがありうる。より精度が高い距離情報を用いることにより、より良好な画像処理結果が得られるものと考えられる。そこで本実施例においては、それぞれの画像についての距離情報の信頼度（精度）が求められ、信頼度がより高い距離情報と対応する画像とが符号化される。

図１は、実施例１に係る符号化装置が符号化する画像を撮影する撮像装置を示す。撮像装置は複数の撮像部を備える。撮像装置は例えば、多眼カメラでありうる。実施例１において撮像装置はさらに、撮影した画像を符号化する。すなわちこの撮像装置は、実施例１に係る符号化装置として動作する。しかしながら、画像の符号化は撮像装置とは別の装置によって行われてもよい。すなわち、本実施例に係る符号化処理はＣＰＵ２０１のようなプロセッサとＲＡＭ２０２のようなメモリを備えるコンピュータによって実現されうる。例えば、ＲＯＭ２０３のようなコンピュータ読み取り可能な記憶媒体に格納されたコンピュータプログラムをＲＡＭ２０２に読み出し、このコンピュータプログラムに従ってＣＰＵ２０１を動作させることにより、本実施例に係る処理は実現されうる。しかしながら本実施例に係る符号化処理は、図２及び図４に示す各処理部を実現する専用のハードウェアを備える符号化装置によって行われてもよい。

図１において、１００は符号化装置の筺体である。筐体１００は、撮像を行う９個の撮像部１０１〜１０９及び撮影ボタン１１０を備えている。９個の撮像部１０１〜１０９は、正方格子上に均等に配置されている。本実施例において撮像部１０１〜１０９は、２４ビットカラー画像（撮像画像）を撮像するものとする。

ユーザが撮影ボタン１１０を押下すると、撮像部１０１〜１０９は被写体からの光をセンサ（撮像素子）で受光し、受光した信号をＡ／Ｄ変換する。こうして、撮像部１０１〜１０９のそれぞれによって、カラー画像（デジタルデータ）が同時に取得される。このような多眼方式の撮像装置（符号化装置）により、同一の被写体を複数の視点から撮像して得られるカラー画像群を得ることができる。

本実施例に係る符号化装置は９個の撮像部を備えるが、撮像部の数は９個には限定されない。すなわち、複数の撮像部を備える撮像装置によって得られた画像について、本実施例の処理を適用することができる。３つ以上の撮像部を備えることにより、後述するように信頼度に従って画像を選択することができる。また、図１において撮像部１０１〜１０９は、正方格子上に均等に配置されている。しかしながら、撮像部の配置は任意である。例えば、それぞれの撮像部を放射状又は直線状に配置してもよいし、まったくランダムに配置してもよい。

図２は、本実施例に係る符号化装置の内部構成の一例を示すブロック図である。図２には本実施例に係る符号化装置が有する主要な構成を示すが、本実施例に係る符号化装置は他の構成を有していてもよいし、一部の構成を有さなくてもよい。

２０１は中央処理装置（ＣＰＵ）であり、以下に述べる各部を統括的に制御する。２０２はＲＡＭであり、ＣＰＵ２０１の主メモリ又はワークエリア等として機能する。２０３はＲＯＭであり、ＣＰＵ２０１で実行される制御プログラム等を格納している。２０４は各種データの転送経路となるバスである。例えば、撮像部１０１〜１０９によって取得されたデジタルデータはこのバス２０４を介して所定の処理部に送られる。

２０５はユーザの指示を受け取る操作部である。２０６は撮像画像及び文字などを表示する表示部である。表示部２０６はタッチスクリーン機能を有していてもよい。この場合表示部２０６は、操作部２０５の代わりに、タッチスクリーンにより入力されたユーザ指示を受け取ることができる。２０７は表示制御部であり、表示部２０６に表示される撮影画像や文字の表示制御を行う。

２０８は撮像制御部であり、ＣＰＵ２０１の指示に基づいて撮像部１０１〜１０９を制御する。例えば撮像制御部２０８は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの制御を行うことができる。２０９はデジタル信号処理部であり、バス２０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種画像処理を行う。２１０はエンコーダ部であり、デジタルデータを所定のファイルフォーマットに変換する処理を行う。エンコーダ部２１０の詳細については後述する。

２１１は外部メモリ制御部である。外部メモリ制御部２１１は、ＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）を接続するためのインターフェースである。２１２は画像処理部である。画像処理部２１２は、撮像部１０１〜１０９で取得されたカラー画像群、又はデジタル信号処理部２０９から出力されるカラー画像群について、距離情報及び距離情報の信頼度を算出する。そして画像処理部２１２は、算出された信頼度に基づいて符号化対象とするカラー画像を選択する。画像処理部２１２の詳細については後述する。

図３は、撮像部１０１〜１０９の内部構成を示す。撮像部１０１〜１０９は、レンズ３０１〜３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、ｉＲカットフィルタ３０７、カラーフィルタ３０８、センサ３０９及びＡ／Ｄ変換部３１０を含む。図３には撮像部１０１〜１０９が有する主要な構成を示すが、撮像部１０１〜１０９は他の構成を有していてもよいし、一部の構成を有さなくてもよい。

レンズ３０１〜３０３はそれぞれ、ズームレンズ３０１、フォーカスレンズ３０２、及びぶれ補正レンズ３０３である。センサ３０９は、例えばＣＭＯＳやＣＣＤなどのセンサ（撮像素子）である。センサ３０９で被写体からの光量を検知すると、検知された光量がＡ／Ｄ変換部３１０によってデジタル値に変換され、デジタルデータとなってバス２０４に出力される。

図４を用いて、本実施例に係る画像処理部２１２について説明する。図４に示すように画像処理部２１２は、画像取得部４０１、距離情報推定部４０２、信頼度算出部４０３、及び視点選択部４０４を有している。以下で、これらの各部について説明する。画像取得部４０１は、撮像部１０１〜１０９のそれぞれで取得されたカラー画像を取得する（第１の取得）。あるいは、デジタル信号処理部２０９は撮像部１０１〜１０９のそれぞれで取得されたカラー画像を画像処理してもよく、画像取得部４０１はデジタル信号処理部２０９から画像処理後の画像を取得してもよい。このように画像取得部４０１は、それぞれが撮像部１０１〜１０９に対応する、９視点からの画像群を取得する。以下では画像取得部４０１が取得した９視点からの画像群を、それぞれ撮像部１０１〜１０９の入力画像と呼ぶ。画像取得部４０１は、９視点からの入力画像群を距離情報推定部４０２に送る。

距離情報推定部４０２は、９視点からの入力画像群それぞれについて、カメラから被写体までの距離を表す距離情報を推定する（第２の取得）。この距離情報は、入力画像を撮像した撮像部から各画素の被写体までの推定距離を、画素毎に示す。すなわち、この距離情報は距離画像として記録されうる。そして距離情報推定部４０２は、９視点からの入力画像群と対応する距離情報とを信頼度算出部４０３に送出する。

本実施例に係る距離情報推定方法について簡単に説明する。まず距離情報推定部４０２は、入力画像のそれぞれに平滑化フィルタを適用する。本実施例において距離情報推定部４０２は、エッジ保持型の平滑化フィルタを用いる。以下で、撮像部１０１〜１０９の入力画像にフィルタ処理を行うことにより得られる画像を、それぞれ撮像部１０１〜１０９のフィルタ画像と呼ぶ。

次に距離情報推定部４０２は、フィルタ画像を複数の小領域に分割する。具体的には距離情報推定部４０２は、以下のように処理を行うことができる。まず距離情報推定部４０２は、画素を１つずつ別々の小領域に割り当てる。その後距離情報推定部４０２は、複数の小領域を統合する。具体的には距離情報推定部４０２は、小領域を１つ選択し、選択された小領域についての平均色を算出する。例えば、選択された小領域を構成する画素の画素値の平均を平均色として算出することができる。そして距離情報推定部４０２は、選択された小領域についての平均色と、近隣の小領域の平均色とを比較し、色差が所定値以下である場合にはこれらの小領域を統合する。ただしこの時、統合後の小領域の大きさ（画素数）が一定範囲内に収まるようにする。

本実施例では、色差が６以下である場合に小領域を統合するものとする。また、色差はＲＧＢそれぞれについての画素値の差の二乗和の平方根とする。もっとも、色差は他の方法を用いて求めてもよく、例えばＬ＊ａ＊ｂ＊表色系における色値を算出し、同様の方法で色差を算出してもよい。また本実施例では、小領域の大きさが１００〜１６００画素となるように統合を行う。

９視点からのフィルタ画像それぞれについて領域分割を行った後、距離情報推定部４０２は、それぞれのフィルタ画像の小領域毎に初期視差量を算出する。具体的には距離情報推定部４０２は、以下のように処理を行うことができる。まず距離情報推定部４０２は、初期視差量算出の対象となるフィルタ画像の視点を基準視点として選択する。ここでは、距離情報推定部４０２は撮像部１０５を基準視点として選択したものとする。

次に距離情報推定部４０２は、基準視点の周囲の視点を参照視点として選択する。本実施例においては基準視点の上下左右の撮像部を参照視点として選択する。すなわち距離情報推定部４０２は、撮像部１０２、１０４、１０６、１０８を参照視点として選択する。もし距離情報推定部４０２が撮像部１０７を基準視点として選択している場合、撮像部１０４、１０８が参照視点として選択される。また、撮像部１０８が基準視点として選択された場合、撮像部１０５、１０７、１０９が参照視点として選択される。本実施例において距離情報推定部４０２はこのように、基準視点である撮像部に隣接する撮像部を、参照視点として選択する。

そして距離情報推定部４０２は、基準視点のフィルタ画像に含まれる各小領域について、参照視点のフィルタ画像との比較を行う。こうして距離情報推定部４０２は、基準視点のフィルタ画像に含まれる各小領域について初期視差量を算出する。具体的には距離情報推定部４０２は、基準視点のフィルタ画像に含まれる各小領域を順次選択し、選択された小領域について以下のように処理を行うことができる。

まず、距離情報推定部４０２は、適当な視差量を設定し、参照視点のフィルタ画像中において、選択された小領域に対応する小領域を決定する。ここで、基準視点のフィルタ画像中の選択された小領域の位置を、設定された視差量だけシフトすることによって得られる位置が、選択された小領域に対応する小領域の位置である。そして距離情報推定部４０２は、それぞれの画素ごとに、選択された小領域内の画素と、対応する小領域の画素との色差を算出する。さらに距離情報推定部４０２は、算出された色差のヒストグラムを参照して、最頻値を持つ画素の数を記録する。距離情報推定部４０２は、視差量の設定値を変化させながら、最頻値を持つ画素の数を記録することを繰り返す。そして、この最頻値を持つ画素の数が最も多くなる視差量を、初期視差量として選択する。

本実施例においては、視差量は縦方向と横方向との双方について設定するものとする。また、参照視点が複数存在する場合、それぞれの参照視点を用いて初期視差量が算出されうる。この場合距離情報推定部４０２は、１つの参照視点のみを用いて初期視差量を算出してもよい。別の例において距離情報推定部４０２は、それぞれの参照視点を用いて算出された初期視差量の統計値、例えば平均値、を初期視差量として以下で用いてもよい。

さらに距離情報推定部４０２は、こうして算出された初期視差量をリファインしてもよい。例えば、色が類似した近隣の小領域群は似た視差量を持つ可能性が高い。また、視差量の差が小さい近隣の小領域群は似た視差量を持つ可能性が高い。これらの条件に基づいて距離情報推定部４０２は、小領域間の色差及び視差量の差などを用いて反復的に視差量を調整することができる。最後に距離情報推定部４０２は、視差量を距離情報に変換することにより距離情報を算出する。視差量から距離情報への変換は、例えば撮像部１０１〜１０９の焦点距離などを示す情報を参照して行うことができる。

以上のように説明した距離推定方法により、各入力画像の各ピクセルに対応した距離情報を算出できる。それぞれの撮像部１０１〜１０９を順番に基準視点として選択して以上のような距離情報算出処理を行うことにより、撮像部１０１〜１０９の入力画像のそれぞれについての距離情報を算出することができる。しかしながら距離の推定方法は上述の方法には限定されず、公知の方法を含む他の方法を用いてもよい。また、本実施例においては距離情報推定部４０２が入力画像を用いて距離情報を算出するが、距離情報推定部４０２は距離情報を受信してもよい。例えば、撮像部１０１〜１０９が被写体との距離を測定することにより距離情報を作成し、この距離情報を距離情報推定部４０２が受信してもよい。

信頼度算出部４０３は、撮像部１０１〜１０９のそれぞれについて、対応する距離情報の信頼度を設定する。そして信頼度算出部４０３は、撮像部１０１〜１０９のそれぞれについての、入力画像、距離情報、及び信頼度を視点選択部４０４に送信する。信頼度算出部４０３の詳しい構成については後述する。以下において、視点についての信頼度とは、その視点に対応する距離情報の信頼度のことを意味する。

視点選択部４０４は、信頼度に従って、撮像部１０１〜１０９の中から符号化対象とする視点を選択する。例えば視点選択部４０４は、より高い信頼度が設定された撮像部を選択すればよい。ここで視点選択部４０４は、最も信頼度が高い撮像部を符号化対象として選択してもよい。また視点選択部４０４は、より信頼度が高い複数の撮像部を符号化対象として選択してもよい。しかしながら視点選択部４０４は最も信頼度が高い撮像部を符号化対象として選択する必要はない。例えば視点選択部４０４は、予め決定された撮像部の組み合わせのうち、合計の信頼度が最も高くなる組み合わせを、符号化対象として選択してもよい。いくつかの互いにより離れた撮像部の組み合わせを、この予め決定された撮像部の組み合わせとして用いることにより、符号化後のデータにはより情報量が多くかつ正確な情報が含まれることとなる。

視点選択部４０４は、符号化対象とする撮像部についての入力画像と距離情報とをエンコーダ部２１０に送る。エンコーダ部２１０は、受け取った入力画像と距離情報とを符号化する。符号化は任意の方法により行うことができる。エンコーダ部２１０はさらに、多眼カメラの属性情報を取得してこれを符号化してもよい。多眼カメラの属性情報の例としては、以下のものが挙げられる。
・多眼カメラの撮像部数
・距離情報を符号化しているか否かを示すフラグ
・符号化対象とする撮像部数
・符号化対象とする撮像部の位置
・符号化対象とする撮像部の回転方向
・符号化対象とする撮像部の焦点距離
・符号化対象とする撮像部の画角
・符号化対象とする撮像部についての距離範囲

本実施例においてエンコーダ部２１０は第１の符号化部と第２の符号化部とを有する。第１の符号化部は受け取った入力画像を符号化する。また第２の符号化部は、受け取った距離情報を符号化する。第１の符号化部と第２の符号化部とは異なる符号化方式を用いて符号化を行ってもよい。本実施例では、入力画像及び距離情報は共にＪＰＥＧ方式で符号化されるものとする。また距離情報が必要ではないときは、入力画像のみを符号化してもよい。この場合、多眼カメラの属性情報は距離情報を符号化しているかのフラグを有さなくてもよい。

次に、図８のフローチャートを参照して本実施例に係る処理について説明する。ステップＳ８０１において画像取得部４０１は、撮像部１０１〜１０９の入力画像を取得する。ステップＳ８０２において距離情報推定部４０２は、撮像部１０１〜１０９の入力画像のそれぞれについて上述のように距離情報を算出する。ステップＳ８０３において信頼度算出部４０３は、撮像部１０１〜１０９のそれぞれについて、対応する距離情報の信頼度を算出する。ステップＳ８０３の処理については後に詳しく述べる。ステップＳ８０４において視点選択部４０４は、上述のように符号化対象とする撮像部を選択する。ステップＳ８０５においてエンコーダ部２１０は、上述のように選択された撮像部についての入力画像及び距離情報を符号化する。

ここでステップＳ８０３の処理について、図５のフローチャートを参照して説明する。ステップＳ８０３において信頼度算出部４０３は、撮像部１０１〜１０９を順番に基準視点（着目撮像部）として選択する。そして、基準視点の入力画像について後述するステップＳ５０１〜Ｓ５１３の処理を行うことによって、基準視点についての信頼度を算出する。それぞれの撮像部についてステップＳ５０１〜Ｓ５１３の処理を繰り返すことにより、それぞれの撮像部１０１〜１０９についての信頼度を算出することができる。

ステップＳ５０１において信頼度算出部４０３は、基準視点の周囲の視点を参照視点（他撮像部）として選択する。ここで、基準視点は参照視点と部分的に視野を共有している。すなわち基準視点の入力画像及び参照視点の入力画像には、同じ被写体が含まれている。この場合、基準視点は参照視点と部分的に視野を共有するものと考えられる。

本実施例では基準視点の上下左右の撮像部を参照視点として選択する。ここでは、撮像部１０５が基準視点として選択されているものとする。この場合信頼度算出部４０３は、撮像部１０２、１０４、１０６、１０８を参照視点として選択する。もし信頼度算出部４０３が撮像部１０７を基準視点として選択している場合、撮像部１０４、１０８が参照視点として選択される。また、撮像部１０８が基準視点として選択された場合、撮像部１０５、１０７、１０９が参照視点としとて選択される。このように本実施例において、参照視点の数は２〜４となる。信頼度算出部４０３は、距離情報推定部４０２によって距離情報を算出するために選択された参照視点を、ステップＳ５０１において信頼度を算出するために選択してもよい。

ステップＳ５０２において信頼度算出部４０３は、全ての参照視点についての処理を行ったか否かを判定する。全ての参照視点についての処理を行っている場合、処理はステップＳ５１３に進む。全ての参照視点についての処理を行っていない場合、処理はステップＳ５０３に進む。

ステップＳ５０３において信頼度算出部４０３は、未処理の参照視点を１つ選択する。このときの選択の順序は任意である。ステップＳ５０４で信頼度算出部４０３は、選択された参照視点の入力画像の全画素についての処理を行ったか否かを判定する。全画素についての処理を完了している場合、処理はステップＳ５０２に戻る。全画素についての処理を完了していない場合、処理はステップＳ５０５に進む。

ステップＳ５０５において信頼度算出部４０３は、選択された参照視点の入力画像のうち、未処理の画素（着目画素）を１つ選択する。このときの選択の順序は任意である。例えば、入力画像の左上から右下に向かって順番に画素を選択することができる。

ステップＳ５０６において信頼度算出部４０３は、選択された画素を、距離情報を参照して、３Ｄ空間上（仮想空間内）に投影する。以下に図６を参照して、ステップＳ５０６の処理についてより詳しく説明する。

図６（ａ）は、撮像部１０５が基準視点であり、撮像部１０４、１０６が参照視点である場合の、３Ｄ空間上の配置を示す。上述のように撮像部１０５が基準視点である場合、参照視点は１０２、１０４、１０６、１０８であるが、説明を簡単にするために撮像部１０４、１０６のみが参照視点であるものとする。撮像部１０４、１０６は、現実空間上と同様の配置で、３Ｄ空間上に配置される。

オブジェクト６０１は、撮像部１０４の入力画像の各画素を距離情報に従って３Ｄ空間上に投影することによって得られるオブジェクトである。具体的には、撮像部１０４の入力画像の各画素を、各画素に対応する方向へ、各画素に対応する距離だけ撮像部１０４から離れた位置に配置することにより、オブジェクト６０１が得られる。各画素に対応する距離は、距離情報を参照することにより得ることができる。また各画素に対応する方向は、例えば撮像部１０４の画角を示す情報及び入力画像の解像度を参照して決定することができる。同様にオブジェクト６０２は、撮像部１０５の入力画像の各画素を距離情報に従って３Ｄ空間上に投影することによって得られるオブジェクトである。さらにオブジェクト６０３は、撮像部１０６の入力画像の各画素を距離情報に従って３Ｄ空間上に投影することによって得られるオブジェクトである。

ステップＳ５０６において信頼度算出部４０３は、選択された画素を、選択された画素に対応する方向６０４に投影する。投影された画素の位置を示す３Ｄ点６０５は、撮像部１０４から、選択された画素に対応する距離だけ離れている。すなわち３Ｄ点６０５は、上述のオブジェクト６０１上に存在する。もし撮像部１０６が参照視点である場合、信頼度算出部４０３は、選択された画素を、選択された画素に対応する方向６１１に投影する。投影された画素の位置を示す３Ｄ点６１０は、撮像部１０６から、選択された画素に対応する距離だけ離れている。

図６（ｂ）は、撮像部１０８が基準視点であり、撮像部１０７、１０９が参照視点である場合の、３Ｄ空間上の配置を示す。図６（ａ）の場合と同様に、オブジェクト６１４、６１５、６１６は、それぞれ撮像部１０７、１０８、１０９の入力画像の各画素を３Ｄ空間上に投影することによって得られる。この場合、撮像部１０７が参照視点である時に信頼度算出部４０３は、選択された画素を、選択された画素に対応する方向６１７に投影する。投影された画素の位置を示す３Ｄ点６１８は、撮像部１０７から、選択された画素に対応する距離だけ離れている。また撮像部１０９が参照視点である時に信頼度算出部４０３は、選択された画素を、選択された画素に対応する方向６２４に投影する。投影された画素の位置を示す３Ｄ点６２３は、撮像部１０９から、選択された画素に対応する距離だけ離れている。

ステップＳ５０７において信頼度算出部４０３は、基準視点から、ステップＳ５０６において投影された画素へと向かう方向を決定する。例えば図６（ａ）において、撮像部１０４が参照視点である場合、この方向は基準視点１０５から３Ｄ点６０５へと向かう方向６０７である。また、撮像部１０６が参照視点である場合、この方向は基準視点１０５から３Ｄ点６１０へと向かう方向６０８である。図６（ｂ）の場合、撮像部１０７が参照視点であれば、この方向は基準視点１０８から３Ｄ点６１８へと向かう方向６２０である。また、撮像部１０９が参照視点である場合、この方向は基準視点１０８から３Ｄ点６２３へと向かう方向６２１である。

ステップＳ５０８において信頼度算出部４０３は、ステップＳ５０７で決定された方向の画像が、基準視点の入力画像に含まれているか否かを判定する。具体的には、基準視点の入力画像の焦点距離などを参照することにより、信頼度算出部４０３は基準視点の入力画像の画角を知ることができる。そして信頼度算出部４０３は、ステップＳ５０７で決定された方向が基準視点の入力画像の画角内にある場合に、ステップＳ５０７で決定された方向の画像が基準視点の入力画像に含まれていると判定することができる。含まれている場合、処理はステップＳ５０９に進む。含まれていない場合、処理はステップＳ５０４に戻る。

ステップＳ５０９において信頼度算出部４０３は、ステップＳ５０７で決定された方向に対応する、基準視点の入力画像中の画素位置を特定する。ステップＳ５０７の処理は、基準視点の入力画像の焦点距離及び入力画像の解像度などを参照して行うことができる。ステップＳ５０９において算出される画素位置は、入力画像を構成する画素の間であってもよい。

ステップＳ５１０において信頼度算出部４０３は、ステップＳ５０５で選択された画素が、基準視点のオクルージョン領域中にあるか否かを判定する。基準視点のオクルージョン領域とは、基準視点からは被写体の影に隠れて見えない部分のことをいう。参照視点の入力画像のうちのオクルージョン領域の範囲は、信頼度算出部４０３が判定することができる。画素がオクルージョン領域中にあるか否かは公知の画像処理技術を用いて判定することができるため、本明細書では詳細には説明しない。

ステップＳ５１０の処理について、図７を参照して説明する。図７において、基準視点は撮像部１０５であり、参照視点は撮像部１０６である。オブジェクト７０１は、撮像部１０５の入力画像の各画素を距離情報に従って３Ｄ空間上に投影することによって得られるオブジェクトである。またオブジェクト７０２は、撮像部１０６の入力画像の各画素を距離情報に従って３Ｄ空間上に投影することによって得られるオブジェクトである。ステップＳ５０６において信頼度算出部４０３は、選択された画素を、選択された画素に対応する方向７０４に投影している。投影された画素の位置を示す３Ｄ点７０６は、撮像部１０６から、選択された画素に対応する距離だけ離れている。ステップＳ５０７において信頼度算出部４０３は、基準視点から、投影された画素へと向かう方向７０３を決定している。また３Ｄ点７０５は基準視点から方向７０３上にあり、３Ｄ点７０５の位置は、撮像部１０５から、ステップＳ５０９において算出された画素位置の画素に対応する距離だけ離れている。オクルージョン領域中では、対応する３Ｄ点７０５、７０６は異なるオブジェクトを表している。本実施例においては、このような場合には３Ｄ点７０５、７０６についての距離情報は信頼度算出のために用いない。

ステップＳ５１０においてオクルージョン領域中にあると判定した場合、処理はステップＳ５０４に戻る。ステップＳ５１０においてオクルージョン領域中にないと判定した場合、処理はステップＳ５１１に進む。この処理によって、参照視点の入力画像のうち、基準視点のオクルージョン領域外にある画素を用いて信頼度を算出することができる。もっとも、ステップＳ５１０の処理を行うことは必須ではない。オクルージョン領域の計算は画素単位で行ってもようし、小領域単位で行ってもよい。小領域単位で計算する場合、基準視点の入力画像と参照視点の入力画像とについて対応する領域の特徴が大きく違う場合に、この小領域はオクルージョン領域にあるものと考えることができる。

本実施例ではステップＳ５０５で選択された画素が、基準視点のオクルージョン領域中にある場合に、この画素についての距離情報を信頼度算出のために用いない。しかしながら、いずれかのオクルージョン領域に関係する距離情報は信頼度算出のために用いないように、信頼度算出部４０３を構成することもできる。例えば別の実施例においては、ステップＳ５０９において算出された画素位置が、参照視点のオクルージョン領域中にある場合に、この画素についての距離情報は信頼度算出のために用いられない。

ステップＳ５１１において信頼度算出部４０３は、ステップＳ５０９で特定された画素位置についての、距離情報が示す基準視点からの距離（第２の距離）を取得する。ステップＳ５０９で特定された画素位置が入力画像を構成する画素の間である場合、信頼度算出部４０３は距離情報を補間することによって基準視点からの距離を取得することができる。

ステップＳ５１２において信頼度算出部４０３は、ステップＳ５１１で取得された距離と、ステップＳ５０５で選択された画素についての基準視点からの距離（第１の距離）と、の差分を算出する。そして信頼度算出部４０３は、算出された差分をメモリ（不図示）に格納する。その後処理は、ステップＳ５０４に戻る。

図６（Ａ）を参照してステップＳ５１１及びステップＳ５１２の処理を詳しく説明する。３Ｄ点６０６、６０９は、ステップＳ５０９において算出された画素位置の画素を、ステップＳ５０７で決定された方向６０７、６０８へと投影した場合の画素位置を示す。ステップＳ５１１で取得された距離は、３Ｄ点６０６、６０９と撮像部１０５との間の距離に対応する。またステップＳ５０５で選択された画素についての基準視点からの距離は、３Ｄ点６０５、６１０と撮像部１０５との間の距離に対応する。したがって、ステップＳ５１２で算出される差分は、距離６１２、６１３に対応する。

ここで３Ｄ点６０５、６０９は、オブジェクト６０１、６０３上の点である。オブジェクト６０１、６０３は、撮像部１０４、１０６に対応する距離情報に従って得られるものである。すなわち、距離情報が距離画像として表されている場合、オブジェクト６０１、６０３は、撮像部１０４、１０６に対応する距離画像の各画素をその画素が示す距離だけ撮像部から離間させて配置することにより得られる。このように３Ｄ点６０５、６０９と撮像部１０５との間の距離は、仮想空間中に配置された撮像部１０４、１０６に対応する距離画像と、撮像部１０５との間の距離に対応する。

同様に３Ｄ点６０６、６１０は、オブジェクト６０２上の点である。オブジェクト６０２は、撮像部１０５に対応する距離情報に従って得られるものである。すなわち、距離情報が距離画像として表されている場合、オブジェクト６０２は、撮像部１０５に対応する距離画像の各画素をその画素が示す距離だけ撮像部から離間させて配置することにより得られる。このように３Ｄ点６０６、６１０と撮像部１０５との間の距離は、仮想空間中に配置された撮像部１０５に対応する距離画像と、撮像部１０５との間の距離に対応する。

また、３Ｄ点６０６は、撮像部１０５から３Ｄ点６０５へと向かう方向上に位置する。このように本実施例において信頼度算出部は、基準視点からみて距離画像が重なっている部分についての、基準視点からみた距離画像間の距離差を算出する。具体的には、基準視点である撮像部１０５に対応する距離画像と、参照視点である撮像部１０４、１０６に対応する距離画像と、の距離差を算出している。特に本実施例においては、基準画像と参照画像との間で共有している視野部分についての距離情報を用いて、距離差が算出される。

同様に図６（Ｂ）の場合、３Ｄ点６１９、６２６は、ステップＳ５０９において算出された画素位置の画素を、ステップＳ５０７で決定された方向６２０、６２１へと投影した場合の画素位置を示す。ステップＳ５１１で取得された距離は、３Ｄ点６１９、６２６と撮像部１０５との間の距離に対応する。またステップＳ５０５で選択された画素についての基準視点からの距離は、３Ｄ点６１８、６２３と撮像部１０５との間の距離に対応する。したがって、ステップＳ５１２で算出される距離差は、距離６２５、６２６に対応する。

図６の例では、図６（ｂ）の方が図６（ａ）より距離差が小さい。距離差が小さいことは、基準画像についての距離情報が示す距離が、参照画像についての距離情報が示す距離により近いことを示し、このことは距離情報の精度が高いことを示唆する。したがってステップＳ５１２で算出される距離差が小さいほど、基準画像についての距離情報はより信頼性が高いものと判定できる。

ステップＳ５１３において信頼度算出部４０３は、ステップＳ５１２でメモリに記録された距離差に従って、基準視点についての信頼度を算出する。信頼度算出部は、基準視点に対応する距離画像と、参照視点に対応する距離画像と、の距離差が小さいほど信頼度が高くなるように、基準視点についての信頼度を算出する。本実施例において信頼度算出部は、ステップＳ５１２でメモリに記録された距離差の平均値を信頼度として用いる。この場合、信頼度がより小さいことは、信頼度がより高いことを意味する。しかしながら信頼度は他の方法で求めてもよく、距離差の他の統計値（例えば最大値）を信頼度として求めてもよい。

本実施例では、撮像部１０１〜１０９で撮像される画像がカラー画像であることを前提に各部の構成や処理を説明した。しかしながら、撮像部１０１〜１０９で撮像される画像の一部又は全部はモノクロ画像であってもよい。この場合、撮像部１０１〜１０９からはカラーフィルタ３０８を省くことができる。

本実施例において説明した信頼度の算出方法は一例にすぎず、各撮像部又は撮像装置からみた距離画像間の距離差が小さいほど基準視点についての信頼度が高くなるような、他の方法を採用することもできる。例えば本実施例では、３Ｄ点６０５と３Ｄ点６０６との間の距離を用いて信頼度を算出した。しかしながら代わりに、撮像部１０４と３Ｄ点６０５との間の距離と、撮像部１０５と３Ｄ点６０６との間の距離との差分を用いて、同様に信頼度を算出することもできる。また、オブジェクト（距離画像）６０１と、オブジェクト６０２とについて、撮像部１０５（又は撮像部１０１〜１０９が配置されている平面）からみて重なり合っている部分についての平均間隔を算出してもよい。この平均間隔を用いても、同様に信頼度を算出することができる。

実施例１においては、距離情報の信頼度に従って符号化対象となる撮像部を選択した。実施例２ではさらに、オクルージョンの度合いに従って符号化対象となる撮像部を選択する。ある入力画像についてオクルージョンの度合いが大きい場合、この入力画像は他の画像には写っていない被写体を多く含んでいるものと考えられる。本実施例では、このような入力画像についても符号化の対象とする。

以下で、実施例２に係る符号化装置及びその処理方法について説明する。実施例２に係る符号化装置の構成は実施例１と同様であり、説明は省略する。また、実施例２に係る符号化装置が備える画像処理部２１２の構成も、実施例１と同様であるから、説明は省略する。

実施例２に係る処理は、図８及び図５に示す実施例１に係る処理と同様であるが、ステップＳ５１０、ステップＳ５１３、及びステップＳ８０４の処理が実施例１とは異なる。

ステップＳ５１０において、ステップＳ５０５で選択された画素が基準視点のオクルージョン領域中にあると判定された場合、信頼度算出部４０３は、ステップＳ５０５で選択された画素についてのオクルージョン量を算出する。そして、処理はステップＳ５０４に戻る。オクルージョン領域中にないと判定された場合、実施例１と同様に、処理はステップＳ５１１に進む。

図７を参照してオクルージョン量について説明する。図７に示される各要素は、実施例１に関連して既に説明した。本実施例で信頼度算出部４０３は、３Ｄ点７０５、７０６間の距離をオクルージョン量として算出し、算出されたオクルージョン量をメモリ（不図示）に記録する。

ステップＳ５１３において信頼度算出部４０３は、ステップＳ５１２でメモリに記録された距離差に従って、基準視点についての信頼度を算出する。本実施例において信頼度算出部４０３はさらに、ステップＳ５０９でメモリに記録されたオクルージョン量に従って、基準視点の入力画像についてのオクルージョン量（オクルージョンの度合い）を算出する。本実施例において信頼度算出部は、ステップＳ５０９でメモリに記録されたオクルージョン量の平均値を、基準視点の入力画像についてのオクルージョン量として算出する。しかしながら、記録されたオクルージョン量の他の統計値（例えば最大値）を、基準視点の入力画像についてのオクルージョン量として求めてもよい。

ステップＳ８０４において視点選択部４０４は、実施例１と同様に信頼度に従って、撮像部１０１〜１０９の中から符号化対象とする撮像部を選択する。本実施例において視点選択部４０４はさらに、ステップＳ５１３で求められたオクルージョン量に応じて、符号化対象とする撮像部を選択する。具体的には、ステップＳ５１３で求められたオクルージョン量が設定された閾値よりも大きい場合に、対応する撮像部を符号化対象として選択することができる。

本実施例においては視点選択部４０４は、実施例１と同様に信頼度に従って符号化対象とする撮像部を選択した後に、オクルージョン量に応じて符号化対象とする撮像部を追加的に選択する。しかしながら、信頼度とオクルージョン量とに従って符号化対象とする撮像部を決めるのであれば、他の方法を用いてもよい。例えば、符号化対象とする撮像部の数が一定となるように、視点選択部４０４は符号化対象とする撮像部を選択してもよい。

本実施例においては、オクルージョンの度合いを、上述のように３Ｄ点の間の距離に従って算出した。この３Ｄ点の間の距離はそれぞれの入力画像についての距離情報の誤差に対応し、この誤差が大きいほどオクルージョンの度合いは大きいものと考えられる。しかしながらオクルージョンの度合いは本実施例のように算出される必要はない。例えば、オクルージョンの度合いとして、オクルージョン領域の大きさ、前景オブジェクトに隠れている背景オブジェクトの大きさを表す指標を用いてもよい。すなわち、より大きいオクルージョン領域を有する入力画像を撮像した撮像部を、符号化対象とする撮像部として選択してもよい。ここでオクルージョン領域の大きさとは、他の撮像部のいずれによっても撮像されない領域の大きさを指してもよいし、他の撮像部のいずれかによっては撮像されない領域の大きさを指してもよい。例えば、オクルージョン領域として特定された領域の大きさ（画素数）を指標として用いることができる。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (8)

1. 複数の撮像部によって撮像されたそれぞれの撮像画像を入力画像として取得する第１の取得手段と、
   それぞれの前記入力画像について、該入力画像を撮像した撮像部から各画素の被写体までの推定距離を示す距離画像を取得する第２の取得手段と、
   仮想空間内に、前記複数の撮像部の視点を現実と同様の配置で設定し、各撮像部に対応する距離画像の各画素を該画素が示す距離だけ該撮像部の視点から離間した位置に配置した場合に、各撮像部の視点から対応する距離画像までの距離と、該撮像部と部分的に視野を共有する他撮像部に対応する距離画像から該撮像部の視点までの距離と、の距離差が小さいほど信頼度が高くなるように、各撮像部についての信頼度を設定する設定手段と、
   より大きい前記信頼度が設定された撮像部を選択する選択手段と、
   前記選択手段が選択した撮像部に対応する前記入力画像と前記距離画像とを符号化する符号化手段と、
   を備えることを特徴とする符号化装置。
2. 前記設定手段は、
   前記仮想空間における、前記信頼度を設定する着目撮像部の視点と、前記他撮像部に対応する距離画像の着目画素との間の距離を、第１の距離として取得する手段と、
   前記仮想空間における、前記着目撮像部の視点から前記着目画素へと向かう方向を決定する手段と、
   前記決定された方向に対応する、前記着目撮像部によって撮像された入力画像中の画素を特定する手段と、
   前記距離画像を参照して、前記特定された画素に対応する距離画像の画素と、前記着目撮像部の視点との間の距離を、第２の距離として取得する手段と、
   前記第１の距離と前記第２の距離との差分を用いて前記距離差を算出する手段と、
   を備えることを特徴とする、請求項１に記載の符号化装置。
3. 前記設定手段はオクルージョン領域を特定する手段をさらに備え、前記着目画素は、前記他撮像部に対応する距離画像のうち前記着目撮像部のオクルージョン領域外から選択されることを特徴とする、請求項２に記載の符号化装置。
4. 前記設定手段は、前記信頼度を設定する撮像部に隣接する撮像部を、前記他撮像部として選択することを特徴とする、請求項１乃至３の何れか１項に記載の符号化装置。
5. 前記選択手段は、より大きいオクルージョン領域を有する入力画像を撮像した撮像部をさらに選択することを特徴とする、請求項１乃至４の何れか１項に記載の符号化装置。
6. 符号化装置が行う符号化方法であって、
   第１の取得手段が、複数の撮像部によって撮像されたそれぞれの撮像画像を入力画像として取得する第１の取得工程と、
   第２の取得手段が、それぞれの前記入力画像について、該入力画像を撮像した撮像部から各画素の被写体までの推定距離を示す距離画像を取得する第２の取得工程と、
   設定手段が、仮想空間内に、前記複数の撮像部の視点を現実と同様の配置で設定し、各撮像部に対応する距離画像の各画素を該画素が示す距離だけ該撮像部の視点から離間した位置に配置した場合に、各撮像部の視点から対応する距離画像までの距離と、該撮像部と部分的に視野を共有する他撮像部に対応する距離画像から該撮像部の視点までの距離と、の距離差が小さいほど信頼度が高くなるように、各撮像部についての信頼度を設定する設定工程と、
   選択手段が、より大きい前記信頼度が設定された撮像部を選択する選択工程と、
   符号化手段が、前記選択工程で選択した撮像部に対応する前記入力画像と前記距離画像とを符号化する符号化工程と、
   を備えることを特徴とする符号化方法。
7. コンピュータを、請求項１乃至５の何れか１項に記載の符号化装置の各手段として機能させるための、コンピュータプログラム。
8. 請求項７に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。

Images