JP6128748B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は、複数の視点から撮像された画像データ及び距離情報を用いた自由視点画像合成技術に関する。特に多眼方式の撮像装置で撮像された多視点画像データの自由視点画像合成技術に関するものである。

近年、映画業界を中心に３Ｄコンテンツの利用が活発である。より高い臨場感を求めて多視点撮像技術、多視点表示技術の開発が進んでいる。

２視点表示では眼鏡式３Ｄディスプレイが主流である。右目用の画像データと左目用の画像データを生成し、眼鏡の制御によりそれぞれの眼で見える画像を切り替えることで、観察者は立体画像を見ることができる。また多視点表示ではレンチキュラレンズ、パララックスバリア方式を用いた眼鏡無し３Ｄディスプレイが開発されており、主にデジタル・サイネージの用途で利用されている。

撮像装置においても、２視点撮像ではステレオカメラ、３視点以上の多視点撮像ではＰｌｅｎｏｐｔｉｃカメラやカメラアレイシステム、といった多眼方式の撮像装置が開発されている。また撮像装置に工夫を加えることで、既存のカメラ構成を比較的変更することなく多視点画像を撮像できるコンピュテーショナル・フォトグラフィー（Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｐｈｏｔｏｇｒａｐｈｙ）と呼ばれる分野の研究も盛んに行われている。

多眼方式の撮像装置で撮像された多視点画像を多視点表示装置で表示する場合、撮像装置と表示装置との間の視点数の違いを調整する必要がある。例えば、３眼のカメラで撮像された３視点画像を９視点の眼鏡無し３Ｄディスプレイで表示するとき、撮像されていない６視点分の画像を補完生成しなければならない。またステレオカメラで撮像された画像を眼鏡式３Ｄディスプレイで表示する場合、どちらも２視点ではあるが、ディスプレイによって視聴に最適な視差が異なるため、撮像した画像とは異なる視点で画像を再構成して出力する場合がある。

以上のようなユースケースを実現するため、撮像された視点以外の画像データを生成する技術として自由視点画像合成技術が開発されている。

関連技術として、ＭＰＥＧ−３ＤＶ（３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の標準化作業が進行している。ＭＰＥＧ−３ＤＶは多視点の画像データと共に奥行き情報を符号化する方式である。多視点画像データの入力から、既存の２Ｄディスプレイ、眼鏡式３Ｄディスプレイ、眼鏡無し３Ｄディスプレイなど様々な視点数の表示装置に出力することを想定し、自由視点画像合成技術を用いて視点数の制御を行う。また多視点映像を対話的に視聴するための技術としても、自由視点画像合成技術が開発されている（特許文献１）。

特開２００６−０１２１６１号公報

自由視点画像合成技術における課題の一つとして、オブジェクト境界付近の画質劣化がある。その要因としては、オブジェクト境界付近では前景色と背景色とが混在しており、距離情報の推定誤差が大きくなると共に、前景と背景とを正確に分離することが困難であることが挙げられる。オブジェクト境界付近の画像合成をどのように行うかが、自由視点画像合成技術における画質向上の鍵となっている。

本発明に係る画像処理装置は、複数の視点から撮像することにより得られた多視点画像データの画像中のオブジェクトの境界領域を特定する特定手段と、前記多視点画像データを合成して、合成画像データを生成する合成手段とを有し、前記境界領域は、前記オブジェクトの境界に隣接した前景部分である境界前景層、及び前記オブジェクトの境界に隣接した背景部分である境界背景層とで構成され、前記特定手段は、前記境界前景層、前記境界背景層、前記境界領域以外の領域を構成する主層の３層に分離した上で、前記境界前景層及び前記境界背景層を構成する画素についてアルファ値を推定し、前記合成手段は、任意の視点位置での画像を生成するために参照する視点に対して、前記主層、前記境界前景層、前記境界背景層の順にレンダリングし、各層のレンダリング結果を画素毎に統合することで、前記視点位置での画像を合成し、前記境界領域についての前記統合において、前記境界前景層の画素のアルファ値と前記境界背景層の画素のアルファ値とを用いた重み付き平均を行って、当該境界領域の画素の色を求めることを特徴とする。

本発明によれば、多視点画像データを用いた自由視点画像合成を高画質に行うことができる。

複数の撮像部を備えた多眼方式による撮像装置の一例を示した図である。 撮像装置の内部構成を示すブロック図である。 撮像部の内部構成を示す図である。 画像処理部の内部構成を示す機能部ロック図である。 距離情報推定処理の流れを示すフローチャートである。 図６は、距離情報推定処理の経過を説明する図である。（ａ）及び（ｃ）は視点画像の例を示す図、（ｂ）は視点画像にフィルタをかけて小領域に分割した状態を示す図、（ｄ）はある視点画像に他の撮像部の視点画像における小領域を重ねた状態を示す図、（ｅ）は（ｄ）で生じているずれが解消された状態を示す図である。 ヒストグラムの一例を示す図であり、（ａ）は高いピークを持つヒストグラム、（ｂ）は低いピークのヒストグラムをそれぞれ示している。 初期視差量の調整を説明する図である。 画像分離処理の流れを示すフローチャートである。 視点画像内の各画素が、前景画素、背景画素、通常画素の３つに分類される様子を説明する図である。 実施例１に係る自由視点画像生成処理の流れを示すフローチャートである。 視点画像を３つの層に分離する様子を説明する図である。 主層のレンダリングの様子を説明する図である。 主層のレンダリング結果の一例を示す図である。 境界前景層のレンダリングの様子を説明する図である。 境界背景層のレンダリングの様子を説明する図である。 実施例２に係る画像分離処理の流れを示すフローチャートである。 実施例２に係るアルファ推定処理の様子を説明する図である。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。

図１は、本実施例に係る、複数の撮像部を備えた多眼方式による撮像装置の一例を示した図である。

撮像装置１００の筐体には、カラー画像データを取得する９個の撮像部１０１〜１０９及び撮像ボタン１１０を備えている。９個の撮像部１０１〜１０９は、すべて同一の焦点距離を有し、正方格子上に均等に配置されている。

ユーザが撮像ボタン１１０を押下すると、撮像部１０１〜１０９が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換されて、複数のカラー画像（デジタルデータ）が同時に取得される。

このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像したカラー画像群（多視点画像データ）を得ることができる。

なお、ここでは撮像部の数を９個としたが撮像部の数は９個に限定されない。撮像装置が複数の撮像部を有する限りにおいて本発明は適用可能である。また、ここでは９個の撮像部が正方格子上に均等に配置される例について説明したが、撮像部の配置は任意である。例えば、放射状や直線状に配置してもよいし、まったくランダムに配置してもよい。

図２は、撮像装置１００の内部構成を示すブロック図である。

中央処理装置（ＣＰＵ）２０１は、以下に述べる各部を統括的に制御する。

ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

ＲＯＭ２０３は、ＣＰＵ２０１で実行される制御プログラム等を格納している。

バス２０４は、各種データの転送経路であり、例えば、撮像部１０１〜１０９によって取得されたデジタルデータはこのバス２０４を介して所定の処理部に送られる。

操作部２０５は、ボタンやモードダイヤルなどが該当し、これらを介してユーザ指示が入力される。

表示部２０６は、撮影画像や文字の表示を行う。表示部２０６には一般的に液晶ディスプレイが広く用いられる。また、タッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部２０５の入力として扱うことも可能である。

表示制御部２０７は、表示部２０６に表示される画像や文字の表示制御を行う。

撮像部制御部２０８は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、ＣＰＵ２０１からの指示に基づいた撮像系の制御を行う。

デジタル信号処理部２０９は、バス２０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。

エンコーダ部２１０は、デジタルデータを所定のファイルフォーマットに変換する処理を行う。外部メモリ制御部２１１は、ＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に繋ぐためのインターフェースである。

画像処理部２１２は、撮像部１０１〜１０９で取得された多視点画像データ或いは、デジタル信号処理部２０９から出力される多視点画像データから、距離情報を算出し、自由視点合成画像データを生成する。画像処理部２１２の詳細については後述する。

なお、撮像装置の構成要素は上記以外にも存在するが、本件発明の主眼ではないので、説明を省略する。

図３は、撮像部１０１〜１０９の内部構成を示す図である。

撮像部１０１〜１０９は、レンズ３０１〜３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、ｉＲカットフィルタ３０７、カラーフィルタ３０８、センサ３０９及びＡ／Ｄ変換部３１０で構成される。レンズ３０１〜３０３は夫々、ズームレンズ３０１、フォーカスレンズ３０２、ぶれ補正レンズ３０３である。センサ３０９は、例えばＣＭＯＳやＣＣＤなどのセンサである。

センサ３０９で被写体の光量を検知すると、検知された光量がＡ／Ｄ変換部３１０によってデジタル値に変換され、デジタルデータとなってバス２０４に出力される。

なお、本実施例では、撮像部１０１〜１０９で撮像される画像がすべてカラー画像であることを前提に各部の構成や処理を説明するが、撮像部１０１〜１０９で撮像される画像の一部或いは全部をモノクロ画像に変更しても構わない。その場合には、カラーフィルタ３０８は省略される。

図４は、画像処理部２１２の内部構成を示す機能ブロック図である。

画像処理部２１２は、距離情報推定部４０１、分離情報生成部４０２、自由視点画像生成部４０３を有している。本実施例において画像処理部２１２は、撮像装置内の一構成要素として説明しているが、この画像処理部２１２の機能をＰＣ等の外部装置で実現してもよい。すなわち、本実施例における画像処理部２１２は、撮像装置の一機能としても、又は独立した画像処理装置としても実現し得るものである。

以下、画像処理部２１２の各構成要素について説明する。

撮像部１０１〜１０９で取得されたカラーの多視点画像データ或いは、デジタル信号処理部２０９から出力されるカラーの多視点画像データ（本実施例ではいずれも９視点）が画像処理部２１２に入力されると、まず、距離情報推定部４０１に送られる。

距離情報推定部４０１は、入力された多視点画像データ内の各視点の画像それぞれについて、撮像部から被写体までの距離を表す情報（以下、「距離情報」と呼ぶ。）を推定する。距離情報推定の詳細については後述する。なお、距離情報推定部４０１を設ける代わりに、同等の距離情報を外部から入力するように構成してもよい。

分離情報生成部４０２は、多視点画像データを構成する各視点画像を、３つの層（被写体の境界の前景部分である境界前景層、背景部分である境界背景層、被写体の境界でない主層）に分離するための基礎となる情報（分離情報）を生成する。具体的には、各視点画像内の各画素を、被写体の境界（以下、「オブジェクト境界」と呼ぶ。）に隣接する前景画素／背景画素、及び前景画素／背景画素以外の通常画素の３種類に分類し、各画素がいずれの種類に該当するのかを特定可能な情報を生成する。分離情報生成の詳細については後述する。

自由視点画像生成部４０３は、主層、境界前景層、境界背景層の各３次元モデルをレンダリングして任意の視点位置における画像データ（自由視点画像データ）を生成する。自由視点画像生成の詳細については後述する。

（距離情報推定処理）
距離情報推定部４０１における距離情報の推定方法について説明する。図５は、本実施例に係る距離情報推定処理の流れを示すフローチャートである。以下では、入力される多視点画像データは、図１に示した９個の撮像部１０１〜１０９を有する撮像装置１００によって撮像された９視点の画像データであるものとして説明を行う。

ステップ５０１において、距離情報推定部４０１は、入力された９視点画像データ内の１の視点画像（対象視点画像）に対し、エッジ保持型の平滑化フィルタをかける。

ステップ５０２において、距離情報推定部４０１は、対象視点画像を所定のサイズの領域（以下、「小領域」と呼ぶ。）に分割する。具体的には、色差が閾値以下の隣接する画素（画素群）同士を順次統合していき、最終的に所定の画素数からなる小領域（例えば、１００〜１６００画素の領域）に対象視点画像を分割する。閾値は、比較される色同士が同程度の色であると判断するのにふさわしい値、例えばＲＧＢをそれぞれ８ビット（２５６色）で量子化した場合であれば「６」といった値に設定される。初めは、隣り合う画素同士を比較して色差が上記閾値以下であれば、両画素を統合する。そして、次に、統合された画素群について平均色をそれぞれ求め、隣接する画素群の平均色と比較し、色差が上記閾値以下となった画素群同士を統合していく。このような処理を、画素群の大きさ（画素数）が、上述の一定の画素数で構成される小領域に達するまで繰り返す。

ステップ５０３において、距離情報推定部４０１は、９視点画像データに含まれる９つの視点画像のすべてに対して、小領域への分割が完了したかどうかを判定する。小領域への分割が完了している場合には、ステップ５０４に進む。一方、領域分割が完了していない場合にはステップ５０１に戻り、次の視点画像を対象視点画像として、平滑化フィルタをかける処理及び小領域への分割処理を行う。

ステップ５０４において、距離情報推定部４０１は、すべての視点画像について、それぞれ周囲の視点画像（ここでは、上下左右に位置する視点画像）を参照して、分割された小領域毎に初期視差量を算出する。例えば、中央の撮像部１０５に係る視点画像の初期視差量を算出するときは、撮像部１０２・１０４・１０６・１０８の各視点画像が参照される。端部の撮像部に係る視点画像の場合、例えば撮像部１０７の視点画像は撮像部１０４・１０８の各視点画像が参照され、撮像部１０８の視点画像の場合は撮像部１０５・１０７・１０９の各視点画像が参照されて、初期視差量が算出される。初期視差量の算出は以下のようにして行う。

まず、初期視差量を求める視点画像の各小領域と、参照する視点画像（参照視点画像）における対応する小領域との比較を行う。ここで、対応する小領域とは、初期視差量を求める視点画像の各小領域の位置に対して視差量分シフトした参照視点画像における小領域である。

次に、初期視差量を求める視点画像の各画素と視差量分シフトした参照視点画像における対応する画素との色差を、小領域内の全ての画素について算出し、ヒストグラムを作成する。

そして、視差量を変化させて、それぞれヒストグラムを作成する。

こうして得られたヒストグラムにおいて、ピークが高い視差量が求める初期視差量となる。なお、参照する視点画像における対応する領域は、縦方向と横方向で視差量を調整して設定する。縦方向の１ピクセルの視差量と横方向の１ピクセルの視差量が同じ距離を示さないためである。

ここまでの処理について、具体例を用いて説明する。

図６の（ａ）は、撮像部１０５の視点画像の例を示す図であり、オブジェクト６０１が写っている。図６の（ｂ）は、撮像部１０５の視点画像にエッジ保持型のフィルタをかけ、小領域に分割した状態を示す図である。ここで、小領域の一つを小領域６０２、小領域６０２の中心座標を６０３とする。図６の（ｃ）は、撮像部１０４の視点画像の例を示す図である。撮像部１０４の場合、同じオブジェクトを撮像部１０５の右側から撮像することになるため、撮像部１０４の視点画像におけるオブジェクト６０４は、撮像部１０５の視点画像におけるオブジェクト６０１よりも左側に写っている。

いま、対象視点画像を撮像部１０５の視点画像、参照する視点画像を撮像部１０４の視点画像として、小領域６０２を対象とした対応領域の比較を行う。図６の（ｄ）は撮像部１０４の視点画像に、撮像部１０５の視点画像における小領域６０２を重ねた状態であり、対応領域においてずれがある。そして、撮像部１０５の視点画像における小領域６０２の画素値（エッジ保持型のフィルタをかけたもの）と撮像部１０４の視点画像における画素値（エッジ保持型のフィルタをかけたもの）との比較を行い、ヒストグラムを作成する。具体的には、対応する小領域の各画素の色差を取得し、横軸に色差、縦軸にマッチングした画素数を取る。そのようにして、視差量を変化させて（例えば、小領域を１画素ずつ移動させて）、視差量毎のヒストグラムを順次作成する。図７は、ヒストグラムの一例を示しており、図７の（ａ）のように高いピークを持つヒストグラム分布は視差量の信頼度が高く、図７の（ｂ）のようにピークの低いヒストグラム分布は視差量の信頼度が低いと判断する。ここでは、高いピークを持つヒストグラムの視差量を、初期視差量として設定する。図６の（ｅ）は、図６の（ｄ）で生じているずれが解消された状態であり、撮像部１０５の視点画像における小領域６０２が撮像部１０４の視点画像における対応領域にずれなく重なっている。この図６の（ｅ）における矢印６０５で示される視差量が、求める初期視差量に相当する。なお、ここでは小領域を１画素ずつ移動させてヒストグラムを生成したが、０．５画素ずつ移動させるなど移動量は任意に設定して構わない。

図５のフローチャートの説明に戻る。

ステップ５０５において、距離情報推定部４０１は、小領域間の色差、初期視差量の差などを用いて反復的に初期視差量を調整する。具体的には、色差が近い近隣の小領域は似た視差量を持ち、所期視差量の差が近い近隣の小領域は似た視差量を持つ可能性が高いとの考えに基づいて初期視差量の調整を行う。

図８は、初期視差量の調整を説明する図である。図８の（ａ）は、図６の（ｂ）の小領域毎に初期視差量を算出した結果（調整前の状態）を示す図であり、図８の（ｂ）は調整を行った後の状態を示す図である。図８の（ａ）では、オブジェクト領域８００（太線の内側の領域）における３つの小領域の視差量をそれぞれ斜線８０１、斜線８０２、斜線８０３で表している。ここで、斜線８０１／８０３は左上から右下に向かう斜線であり、斜線８０２は右上から左下に向かう斜線であるが、これは両者の視差量が異なっていることを示す。この場合において、背景領域（太線の外側の領域）については右上から左下に向かう斜線が正解の視差量であり、オブジェクト領域については左上から右下に向かう斜線が正解の視差量であるとする。図８の（ａ）では、視差量８０１及び８０３に関しては、オブジェクト領域の視差量として正しい視差量が算出できているが、視差量８０２に関しては、背景領域の視差量を算出してしまっており正しい視差量ができていないことが分かる。視差量の調整では、このような小領域単位に視差量を推定したときに生じた誤りが、周囲の小領域との関係を利用して正される。例えば、図８の（ａ）の場合、背景領域の視差量になってしまっていた視差量８０２が、隣接する小領域の視差量８０１及び視差量８０３を利用して調整された結果、図８の（ｂ）に示すとおり、左上から右下に向かう正しい視差量８０４となる。

ステップ５０６において、距離情報推定部４０１は、初期視差量の調整によって得られた視差量を距離に変換する処理を行って距離情報を得る。距離情報は、（カメラ間隔×焦点距離）／（視差量×１ピクセルの長さ）で算出されるが、１ピクセルの長さは縦と横とでは異なるため、縦と横の視差量が同一距離を示すように必要な変換が施される。

さらに、変換された距離情報は、例えば８ビット（２５６階調）に量子化される。そして８ビットに量子化された距離情報は、８ビットのグレイスケール（２５６階調）の画像データとして保存される。距離情報のグレイスケール画像では、オブジェクトの色は、カメラからの距離が近い程、白（値：２５５）に近い色、カメラからの距離が遠い程、黒（値：０）に近い色で表現される。例えば、図８におけるオブジェクト領域８００は白で表現され、背景領域は黒で表現される。もちろん、距離情報は１０ビット、１２ビットなど他のビット数で量子化しても良いし、量子化せずバイナリファイルとして保存しても構わない。

このようにして、各視点画像の各画素に対応した距離情報が算出される。本実施例では、画像を所定の画素数からなる小領域に分割して距離を算出しているが、多視点画像間の視差を基に距離を得るのであれば他の推定方法を用いても構わない。

上記の処理で得られた各視点画像に対応する距離情報と多視点画像データは、後続の分離情報生成部４０２および自由視点画像生成部４０３に送られる。なお、各視点画像に対応する距離情報と多視点画像データを分離情報生成部４０２のみに送り、分離情報生成部４０２からこれらのデータを自由視点画像生成部４０３に送るようにしてもよい。

（分離情報生成処理）
次に、分離情報生成部４０２における、各視点画像を３つの層に分離する処理について説明する。図９は、本実施例に係る画像分離処理の流れを示すフローチャートである。

ステップ９０１において、分離情報生成部４０２は、多視点画像データ、及び、距離情報推定処理によって得られた距離情報を取得する。

ステップ９０２において、分離情報生成部４０２は、視点画像内のオブジェクト境界を抽出する。本実施例では、対象画素の距離情報と近隣画素の距離情報との差分（以下、「距離情報の差分」と呼ぶ。）が閾値以上の箇所をオブジェクトの境界として特定している。具体的には、以下のとおりである。

まず、縦方向に走査し、距離情報の差分を閾値と比較して、閾値以上となる画素を特定する。次に、横方向に走査し、同様に距離情報の差分を閾値と比較して、閾値以上となる画素を特定する。そして、縦方向と横方向でそれぞれ特定された画素の和集合をとり、オブジェクト境界として特定する。なお、閾値としては、距離情報が８ビットで量子化（０〜２５５）されている場合においては、例えば「１０」のような値に設定される。

ここでは、オブジェクト境界を距離情報に基づいて得ているが、画像を領域分割してオブジェクト境界にするなど他の方法を用いても構わない。ただ、画像の領域分割により得られるオブジェクト境界と、距離情報から得られるオブジェクト境界とは、出来る限り一致していることが望ましい。画像の領域分割によってオブジェクト境界を得たときは、得られたオブジェクト境界に合わせて距離情報を補正すると良い。

ステップ９０３において、分離情報生成部４０２は、視点画像内の各画素を、前景画素、背景画素、通常画素の３種類に分類する。具体的には、ステップ９０１で取得した距離情報を参照して、ステップ９０２で特定されたオブジェクト境界に隣接する画素について、距離が手前の方の画素を前景画素、距離が奥の方の画素を背景画素にそれぞれ決定する。図１０は、視点画像内の各画素が、前景画素、背景画素、通常画素の３つに分類される様子を説明する図である。オブジェクト境界１００１を跨ぐ隣接画素に対して、距離が近い方の画素が前景画素１００２、距離が遠い方の画素が背景画素１００３に、残りの画素が通常画素１００４にそれぞれ分類されている。

ステップ９０４において、分離情報生成部４０２は、入力された多視点画像データに含まれるすべての視点画像について画素の分類が完了したかどうかを判定する。未処理の視点画像がある場合にはステップ９０２に戻り、次の視点画像に対しステップ９０２及びステップ９０３の処理を行う。一方、すべての視点画像について画素の分類が完了していた場合には、ステップ９０５に進む。

ステップ９０５において、分離情報生成部４０２は、前景画素、背景画素、通常画素を特定可能な分離情報を自由視点画像生成部４０３に送る。前景画素と背景画素が分かれば、その余の画素は通常画素であると判明するので、分離情報としては、前景画素及び背景画素が特定可能な情報であればよい。すなわち、分離情報としては、例えば前景画素と判定された画素について“０”、背景画素と判定された画素について“１”といったフラグを別途付加すること等が考えられる。後述の自由視点画像生成処理では、このような分離情報を用いて、所定の視点画像が３つの層（すなわち、前景画素で構成される境界前景層、背景画素で構成される境界背景層、通常画素で構成される主層）に分離されることになる。

（自由視点画像生成処理）
続いて、自由視点画像生成部４０３における、自由視点画像の生成処理について説明する。図１１は、本実施例に係る自由視点画像生成処理の流れを示すフローチャートである。

ステップ１１０１において、自由視点画像生成部４０３は、出力される自由視点画像における任意の視点（以下、「自由視点」と呼ぶ。）の位置情報を取得する。自由視点の位置情報は、例えば以下のような座標によって与えられる。本実施例では、撮像部１０５の位置を基準となる座標位置（０．０，０．０）とした場合における、自由視点の位置を示す座標情報を与えるものとする。この場合、撮像部１０１は（１．０，１．０）、撮像部１０２は（０．０，１．０）、撮像部１０３は（−１．０，１．０）、撮像部１０４は（１．０，０．０）の座標でそれぞれ表される。同様に、撮像部１０６は（−１．０，０．０）、撮像部１０７は（１．０，−１．０）、撮像部１０８は（０．０，−１．０）、撮像部１０９は（−１．０，−１．０）の座標で表される。ここで、例えば、４つの撮像部１０１、１０２、１０４、１０５の中間位置を自由視点とした画像を合成したいと考えたとき、ユーザは、座標（０．５，０．５）を入力すればよいことになる。当然のことながら、座標定義の方法は上記に限るものではなく、撮像部１０５以外の撮像部の位置を基準となる座標位置としてもよい。また、自由視点の位置情報の入力方法は上述した座標を直接入力する方法に限られるものではなく、例えば、撮像部の配置を示すＵＩ画面（不図示）を表示部２０６に表示し、タッチ操作等によって所望の自由視点を指定するようにしてもよい。

なお、本ステップにおける取得対象としては説明していないが、上述のとおり各視点画像に対応する距離情報と多視点画像データも、距離情報推定部４０１或いは分離情報生成部４０２から取得される。

ステップ１１０２において、自由視点画像生成部４０３は、指定された自由視点の位置における自由視点画像データの生成で参照する、複数の視点画像（以下、「参照画像群」と呼ぶ。）を設定する。本実施例では、指定された自由視点の位置に近い４つの撮像部で撮像された視点画像を参照画像群として設定する。上記のように、自由視点の位置として座標（０．５，０．５）が指定されたときの参照画像群は、撮像部１０１、１０２、１０４、１０５で撮像された４つの視点画像によって構成されることになる。もちろん、参照画像群を構成する視点画像の数は４つに限定されるものではなく、指定された自由視点の周囲の３つでも構わない。さらに、指定された自由視点の位置を内包するものであれば足り、例えば指定された自由始点位置の直近ではない４つの撮像部（例えば、撮像部１０１、１０３、１０７、１０９）で撮像された視点画像を参照画像群に設定してもよい。

ステップ１１０３において、自由視点画像生成部４０３は、設定された参照画像群に含まれる各視点画像を主層、境界前景層、境界背景層の３つの層に分離して３次元モデルを生成する処理を行う。３つの層のうち、境界前景層と境界背景層とで構成される領域は、画像中のオブジェクトの境界領域と言い換えることもできる。そして、後述のとおり、この境界領域の画素値を生成する際には、境界領域以外の領域（主層）の画素値を生成する際のレンダリングの単位よりも小さいレンダリング単位が用いられる。図１２は、視点画像を上記３つの層に分離する様子を説明する図である。以下、詳しく説明する。

まず、主層の３次元モデルの生成について説明する。

主層の場合は、オブジェクト境界に掛かっていない４つの画素を相互に接続して四辺形メッシュを構築することにより３次元モデルを生成する。図１２において、例えば、いずれもオブジェクト境界１００１に掛かっていない４つの画素（２つの通常画素１００４、１２０１及び２つの前景画素１２０２、１２０３）を接続して四辺形メッシュ１２０４が構築される。このような処理を繰り返し行い、主層の３次元モデルとなるすべての四辺形メッシュが構築される。このときの四辺形メッシュの大きさは最小で１画素×１画素である。本実施例では、主層は全て１画素×１画素の大きさの四辺形メッシュで構築しているが、より大きな四辺形メッシュとしてもよい。または、四辺形以外の形状、例えば三角形のメッシュを構築するようにしても構わない。

上記のようにして構築される、１画素単位の四辺形メッシュのＸ座標とＹ座標は撮像装置１００のカメラパラメータから算出されたグローバル座標が相当し、Ｚ座標は距離情報から得られる各画素における被写体までの距離が相当する。そして、各画素の色情報を四辺形メッシュにテクスチャマッピングして、主層の３次元モデルを生成する。

次に、境界前景層と境界背景層の３次元モデルの生成について説明する。

オブジェクト境界に接する境界前景層と境界背景層では、主層の場合よりも詳細な３次元モデルの生成を行う。具体的には、オブジェクト境界に掛かっている４つの画素を相互に接続して四辺形メッシュを構築し、当該構築された四辺形メッシュをサブ画素に細分割することにより、３次元モデルを生成する。図１２において、例えば、いずれもオブジェクト境界に掛かっている４つの画素（背景画素１００３、１２０５、１２０６及び前景画素１００２）で構築される四辺形メッシュをサブ画素に細分割して、０．５画素×０．５画素サイズの四辺形メッシュが構築される。このような処理を繰り返し行い、境界前景層及び境界背景層の３次元モデルとなるすべての四辺形メッシュが構築される。そして、サブ画素単位の各四辺形メッシュは、対応する画素の特徴から、境界前景層と境界背景層とに分類される。例えば、オブジェクト境界の前景部分である前景画素１００２に対応するサブ画素単位の四辺形メッシュ１２０７は境界前景層となる。また、オブジェクト境界の背景部分である背景画素１００３、１２０５、１２０６に対応するサブ画素単位の四辺形メッシュ１２０８、１２０９、１２１０は境界背景層となる。

上記のようにして構築される、サブ画素単位の四辺形メッシュのＸ座標とＹ座標は、近隣画素のＸ座標、Ｙ座標から内挿されて算出されたグローバル座標が相当し、Ｚ座標は距離情報から得られる対応する画素における被写体までの距離が相当する。そして、対応する画素の色情報を四辺形メッシュにそれぞれテクスチャマッピングして、境界前景層と境界背景層の３次元モデルを生成する。例えば、サブ画素単位の四辺形メッシュ１２０７は前景画素１００２の色、同様に、１２０８は背景画素１００３の色、１２０９は背景画素１２０５の色、１２１０は背景画素１２０６の色をそれぞれ用いて、境界前景層或いは境界背景層の３次元モデルが生成される。

図１１のフローチャートの説明に戻る。

ステップ１１０４において、自由視点画像生成部４０３は、主層のレンダリングを行う。図１３は、主層のレンダリングの様子を説明する図である。横軸にＸ座標、縦軸にＺ座標を取っている。図１３において、線分１３０１及び１３０２は、白塗りの逆三角１３０３で示す参照視点から３次元モデル生成した場合における主層の四辺形メッシュをそれぞれ示している。ここでは、前景画素１３０４と背景画素１３０５との間にオブジェクト境界（不図示）が存在するものとする。主層として、通常画素１３０６と前景画素１３０４とを接続した四辺形メッシュ１３０１、及び、通常画素１３０７と背景画素１３０５とを接続した四辺形メッシュ１３０２が３次元モデル生成されている。このような四辺形メッシュ１３０１及び１３０２を、ステップ１１０１で指定された自由視点の位置（図１３では、黒塗りの逆三角１３０８）でレンダリングした画像が主層のレンダリング画像となる。レンダリング処理において、色が存在しない画素部分は、穴として残ることになる。そして、上記のようなレンダリング処理を、参照画像群の全てについて行い、主層のレンダリング画像群を得る。図１３において、矢印１３０９／１３１０は、四辺形メッシュ１３０２が、視点１３０３／視点１３０８でどの位置から見えるかを示している。視点１３０３より左側にある視点１３０８では、四辺形メッシュ１３０２は、視点１３０３より右側に位置する。矢印１３１１／１３１２も同様に、四辺形メッシュ１３０１が、視点１３０３／視点１３０８でどの位置から見えるかを示している。

図１４は、主層のレンダリング結果の一例を示す図である。ここでは、説明の簡易化のために、図６で示した２つの視点画像（撮像部１０５の視点画像と撮像部１０４の視点画像）を参照画像群とし、撮像部１０５と撮像部１０４との中間視点を任意の視点位置とした場合のレンダリング結果を示す。この場合、撮像部１０５の視点画像と撮像部１０４の視点画像との中間視点の画像が生成される。図１４の（ａ）は撮像部１０５の視点画像における主層のレンダリング結果、同（ｂ）は撮像部１０４の視点画像における主層のレンダリング結果である。この場合において、オブジェクト１４０１は、中間視点におけるオブジェクトであり、撮像部１０５のオブジェクト６０１（図６の（ａ）を参照）より左側に、撮像部１０４のオブジェクト６０４（図６の（ｃ）を参照）より右側に位置している。そして、図１４の（ａ）ではオブジェクト１４０１の右側にオクルージョン領域１４０２が、同（ｂ）ではオブジェクト１４０１の左側にオクルージョン領域１４０３が穴として残っていることが分かる。

図１１のフローチャートの説明に戻る。

ステップ１１０５において、自由視点画像生成部４０３は、得られた主層のレンダリング画像群を統合して、主層の統合画像データを得る。本実施例の場合、参照画像としての４つの視点画像から生成された主層のレンダリング画像（４つ）が統合されることになる。統合処理は、画素毎に行われ、統合後の色は各レンダリング画像の重み付き平均、具体的には、指定された自由視点の位置と参照画像との距離に基づく重み付き平均を用いる。例えば、指定された自由始点位置が各参照画像に対応する４つの撮像部から等距離だけ離れた位置であった場合には０．２５ずつの等しい重みとなる。一方、指定された自由始点位置が、いずれかの撮像部に近寄った位置であった場合には、その距離が近いほど大きい重みとなる。もちろん平均色の求め方は、これに限定されるものではない。各レンダリング画像で穴が空いている箇所は、統合の色計算には用いない。つまり穴が空いていないレンダリング画像からの重み付き平均によって統合後の色は計算される。全てのレンダリング画像で穴が空いている箇所は穴として残る。前述の図１４の（ａ）及び（ｂ）で示した主層のレンダリング画像の統合の場合、図１４の（ａ）における穴部分（オクルージョン領域１４０２）は図１４の（ｂ）で、図１４の（ｂ）における穴部分（オクルージョン領域１４０３）は図１４の（ａ）で埋められる。すなわち、２つの参照画像での中間視点画像を生成しているため、色計算の重みはそれぞれ０．５となり、統合された画像の各画素の色は、共に穴が空いていない場合は、図１４の（ａ）と同（ｂ）の平均色となる。そして、一方は穴が空いていて他方は穴が空いていない場合は、穴が空いていない画素の色が採用されることになる。説明の簡易化のために２つのレンダリング画像を統合する場合の説明をしたが、４つのレンダリング画像の統合処理も考え方は同じである。なお、ここでの統合処理で穴が埋まらない部分は、後述する境界前景層及び境界背景層のレンダリング結果の統合処理により埋めていく。

このようにして、主層の統合画像データが生成される。

ステップ１１０６において、自由視点画像生成部４０３は、境界前景層のレンダリングを行う。図１５は、境界前景層のレンダリングの様子を説明する図である。図１３と同様、横軸にＸ座標、縦軸にＺ座標を取っており、前景画素１３０４と背景画素１３０５との間にオブジェクト境界（不図示）が存在するものとする。図１５において、線分１５０１は、白塗りの逆三角で示される参照視点１３０３から３次元モデル生成した場合における境界前景層の四辺形メッシュを示している。この境界前景層１５０１は、前景画素１３０４の距離情報と色情報を持つサブ画素単位の四辺形メッシュである。このようなサブ画素単位の四辺形メッシュ１５０１を、ステップ１１０１で指定された自由視点の位置（図１５中の黒塗りの逆三角１３０８）でレンダリングした画像が境界前景層のレンダリング画像となる。なお、境界前景層のレンダリングの場合も、色が存在しない画素部分は、穴として残ることになる。そして、上記のようなレンダリング処理を、参照画像群の全てについて行い、境界前景層のレンダリング画像群を得る。図１５において、矢印１５０２／１５０３は、四辺形メッシュ１５０１が、視点１３０３／視点１３０８でどの位置から見えるかを示している。視点１３０３より左側にある視点１３０８では、四辺形メッシュ１５０１は、視点１３０３より右側に位置する。

ステップ１１０７において、自由視点画像生成部４０３は、境界前景層のレンダリング画像群を統合して、境界前景層の統合画像データを得る。ステップ１１０５と同様の統合処理によって、参照画像としての４つの視点画像から生成された境界前景層のレンダリング画像（４つ）が統合される。

ステップ１１０８において、自由視点画像生成部４０３は、主層の統合画像データと境界前景層の統合画像データとを統合し、２層（主層＋境界前景層）統合画像データを得る。ここでの統合処理も画素毎に行われる。この際、主層と境界前景層では主層の方が安定的に精度の高い画像が得られるため、主層の統合画像を優先して利用する。よって、主層の統合画像に穴が空いていて、境界前景層の統合画像に穴が空いていないという場合にのみ、境界前景層の色で補完がなされる。主層の統合画像と境界前景層の統合画像との双方に穴が空いているときは、穴として残ることになる。以上の処理により、２層統合画像データを得る。

ステップ１１０９において、自由視点画像生成部４０３は、境界背景層のレンダリングを行う。図１６は、境界背景層のレンダリングの様子を説明する図である。図１３と同様、横軸にＸ座標、縦軸にＺ座標を取っており、前景画素１３０４と背景画素１３０５との間にオブジェクト境界（不図示）が存在するものとする。図１６において、破線の線分１６０１は、白塗りの逆三角で示される参照視点１３０３から３次元モデル生成した場合における境界背景層の四辺形メッシュを示している。この境界背景層１６０１は、背景画素１３０５の距離情報と色情報を持つサブ画素単位の四辺形メッシュである。このようなサブ画素単位の四辺形メッシュ１６０１を、ステップ１１０１で指定された自由視点の位置（図１６中の黒塗りの逆三角１３０８）でレンダリングした画像が境界背景層のレンダリング画像となる。なお、境界背景層のレンダリングの場合も、色が存在しない画素部分は、穴として残ることになる。そして、上記のようなレンダリング処理を、参照画像群の全てについて行い、境界背景層のレンダリング画像群を得る。図１６において、矢印１６０２／１６０３は、四辺形メッシュ１６０１が、視点１３０３／視点１３０８でどの位置から見えるかを示している。視点１３０３より左側にある視点１３０８では、四辺形メッシュ１６０１は、視点１３０３より右側に位置する。

ステップ１１１０において、自由視点画像生成部４０３は、境界背景層のレンダリング画像群を統合して、境界背景層の統合画像データを得る。ステップ１１０５と同様の統合処理によって、参照画像としての４つの視点画像から生成された境界背景層のレンダリング画像（４つ）が統合される。

ステップ１１１１において、自由視点画像生成部４０３は、ステップ１１０８で得た２層統合画像データと、境界背景層の統合画像データとを統合して、３層（主層＋境界前景層＋境界背景層）統合画像データを得る。ここでの統合処理も画素毎に行われる、この際、２層（主層＋境界前景層）統合画像と境界背景層の統合画像とでは２層統合画像の方が安定的に精度の高い画像が得られるため、２層統合画像を優先して利用する。よって、２層（主層＋境界前景層）統合画像に穴が空いていて、境界背景層の統合画像に穴が空いていないという場合にのみ、境界背景層の色で補完がなされる。２層統合画像と境界背景層の統合画像との双方に穴が空いているときは、穴として残ることになる。以上の処理により、３層統合画像データを得る。

なお、本実施例において、主層、境界前景層、境界背景層の順にレンダリング処理を行うのは、オブジェクト境界付近の画質劣化を抑えるためである。

ステップ１１１２において、自由視点画像生成部４０３は、穴埋め処理を行う。具体的には、ステップ１１１１で得た３層統合画像データにおいて穴として残っている部分を周囲の色を用いて補完する。本実施例では、穴埋め対象画素の周囲画素から距離情報が奥にある画素を選択して穴埋め処理を行っている。もちろん穴埋めの方法は他の方法を用いても構わない。

ステップ１１１３において、自由視点画像生成部４０３は、穴埋め処理の終わった自由視点画像データを、エンコーダ部２１０に出力する。エンコーダ部２１０では、任意の符号化方式（例えばＪＰＥＧ方式）で符号化して画像出力される。

本実施例によれば、多視点画像データにおける各視点間の撮像画像を高精度に合成することが可能となり、撮像した画像とは視点数の異なるディスプレイにおける違和感のない表示、リフォーカス処理など画像処理の高画質化、などを実現できる。

実施例１では、オブジェクト境界付近の三次元モデル生成を詳細に行い、３層に分離してレンダリングすることで自由視点画像合成の画質向上を図った。次に、オブジェクト境界付近の３次元モデル生成にアルファ値（透明度）を導入することで、より高い画質を実現する態様について、実施例２として説明する。なお、実施例１と共通する部分（距離情報推定部４０１における処理）については説明を簡略化ないしは省略し、ここでは差異点である分離情報生成部４０２及び自由視点画像生成部４０３における処理を中心に説明することとする。

図１７は、本実施例に係る画像分離処理の流れを示すフローチャートである。

ステップ１７０１において、分離情報生成部４０２は、多視点画像データ、及び、距離情報推定処理によって得られた距離情報を取得する。

ステップ１７０２において、分離情報生成部４０２は、視点画像内のオブジェクト境界を抽出する。

ステップ１７０３において、分離情報生成部４０２は、視点画像内の各画素を、前景画素、背景画素、通常画素の３種類に分類する。

ここまでは、実施例１の図９のフローチャートのステップ９０１〜ステップ９０３と同じである。

ステップ１７０４において、分離情報生成部４０２は、ステップ１７０３で特定された前景画素及び背景画素のアルファ値の推定を行う。

図１８は、本実施例に係るアルファ推定処理の様子を説明する図である。

まず、前景画素（１８０４、１８０５、１８１１、１８１７）と背景画素（１８０３、１８０９、１８１０、１８１６）とを、アルファ推定の未定領域とする。そして、オブジェクト境界１８０１を挟んで前景画素がある側の通常画素（１８０６、１８０７、１８１２、１８１３、１８１８、１８１９）を、アルファ推定の前景領域とする。同様に、オブジェクト境界１８０１を挟んで背景画素がある側の通常画素（１８０２、１８０８、１８１４、１８１５）を、アルファ推定の背景領域とする。ここでは、オブジェクト境界１８０１からそれぞれ２画素幅の領域を前景領域／背景領域に設定しているが、この画素幅は任意に設定可能である。そして、未定領域としいて設定された前景画素及び背景画素のアルファ値を、前景領域／背景領域として設定された通常画素の情報を基に推定する。推定には公知のアルファ推定方法（例えば、ベイズ推定）を適用可能である。アルファ推定の具体的な内容については本発明の特徴ではないため、説明を省略する。このようにして、前景画素及び背景画素にアルファ値が付加される。

ステップ１７０５において、分離情報生成部４０２は、入力された多視点画像データに含まれるすべての視点画像について、画素の分類およびアルファ値の推定が完了したかどうかを判定する。未処理の視点画像がある場合にはステップ１７０２に戻り、次の視点画像に対しステップ１７０２〜ステップ１７０４の処理を行う。一方、すべての視点画像について画素の分類およびアルファ値の推定が完了していた場合には、ステップ１７０６に進む。

ステップ１７０６において、分離情報生成部４０２は、ステップ１７０３で得た前景画素、背景画素、通常画素を特定可能な分離情報、及びステップ１７０４で得たアルファ情報を自由視点画像合成部４０４に送る。

続いて、本実施例における自由視点画像の生成処理について説明する。前景画素と背景画素にアルファ値が付加されている点が異なるのみで、基本的な処理の内容は実施例１における自由視点画像の生成処理と同じであるので、前述の図１１のフローチャートに沿って本実施例に特有な点を中心に説明する。

ステップ１１０１における自由視点の位置情報の取得、及びステップ１１０２における参照画像群の設定は、実施例１と同様である。但し、上述のとおり、分離情報生成部４０２からは分離情報に加えアルファ情報も取得される（ステップ１１０１）。

ステップ１１０３における主層、境界前景層、境界背景層の３次元モデル生成も実施例１と同様である。但し、本実施例では、境界前景層、境界背景層の３次元モデル生成の際、サブ画素単位の四辺形メッシュには対応する画素のアルファ値が付加される。

ステップ１１０４〜ステップ１１１０における、各層のレンダリング処理及びレンダリング結果の統合処理も、実施例１と同様である。但し、主層と境界前景層を統合した２層統合画像において境界前景層でレンダリングされた画素はアルファ値を有している。また、境界背景層でレンダリングされた画素も、アルファ値を有している。
ステップ１１１１における３層統合画像データの生成では、画素毎に統合処理を行い、２層統合画像（主層と境界前景層の統合画像）で穴が空いている場合は、境界背景層の色で補完する。また、穴は空いていないが、境界前景層によってレンダリングされアルファ値を有している画素に関しては、境界前景層と境界背景層の色をアルファ値に応じて重み付き平均により求める。例えば、境界前景層の画素が持つアルファ値が大きい（透明度が低い）場合は、境界前景層の画素値がより多く反映されるような重み付き平均を行う。逆に、境界前景層の画素が持つアルファ値が小さい（透明度が高い）場合は、境界背景層の画素値がより多く反映されるような重み付き平均を行う。このような処理により、境界部分の色の曖昧性に対応することができ、画質の向上が図られる。

ステップ１１１２における穴埋め処理およびステップ１１１３における自由視点画像データの出力処理は、実施例１と同様である。

本実施例によれば、オブジェクト境界付近の３次元モデル生成にアルファ値（透明度）を導入することで、より高い画質を実現することが可能となる。

（その他の実施形態）
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (11)

1. 複数の視点から撮像することにより得られた多視点画像データの画像中のオブジェクトの境界領域を特定する特定手段と、
   前記多視点画像データを合成して、合成画像データを生成する合成手段と、
   を有し、
   前記境界領域は、前記オブジェクトの境界に隣接した前景部分である境界前景層、及び前記オブジェクトの境界に隣接した背景部分である境界背景層とで構成され、
   前記特定手段は、前記境界前景層、前記境界背景層、前記境界領域以外の領域を構成する主層の３層に分離した上で、前記境界前景層及び前記境界背景層を構成する画素についてアルファ値を推定し、
   前記合成手段は、
   任意の視点位置での画像を生成するために参照する視点に対して、前記主層、前記境界前景層、前記境界背景層の順にレンダリングし、各層のレンダリング結果を画素毎に統合することで、前記視点位置での画像を合成し、
   前記境界領域についての前記統合において、前記境界前景層の画素のアルファ値と前記境界背景層の画素のアルファ値とを用いた重み付き平均を行って、当該境界領域の画素の色を求める
   ことを特徴とする画像処理装置。
2. 前記重み付き平均は、前記境界前景層の画素が持つアルファ値が大きくなるほど、前記境界前景層の画素値がより多く反映され、前記境界前景層の画素が持つアルファ値が小さくなるほど前記境界背景層の画素値がより多く反映されることを特徴とする請求項１に記載の画像処理装置。
3. 前記境界領域の画素値を生成する際のレンダリング単位は、前記境界領域以外の領域の画素値を生成する際のレンダリング単位よりも小さいことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記特定手段は、前記撮像を行なう撮像部から被写体までの距離を表す距離情報に基づいて前記オブジェクトの境界を抽出して、前記分離を行なうことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記特定手段は、画像の領域分割を用いて前記オブジェクトの境界を抽出して、前記分離を行なうことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 複数の視点から撮像することにより得られた多視点画像データの画像中のオブジェクトの境界領域を特定する特定ステップと、
   前記多視点画像データを合成して、合成画像データを生成する合成ステップと、
   を含み、
   前記境界領域は、前記オブジェクトの境界に隣接した前景部分である境界前景層、及び前記オブジェクトの境界に隣接した背景部分である境界背景層とで構成され、
   前記特定ステップでは、前記境界前景層、前記境界背景層、前記境界領域以外の領域を構成する主層の３層に分離した上で、前記境界前景層及び前記境界背景層を構成する画素についてアルファ値を推定し、
   前記合成ステップでは、
   任意の視点位置での画像を生成するために参照する視点に対して、前記主層、前記境界前景層、前記境界背景層の順にレンダリングし、各層のレンダリング結果を画素毎に統合することで、前記視点位置での画像を合成し、
   前記境界領域についての前記統合において、前記境界前景層の画素のアルファ値と前記境界背景層の画素のアルファ値とを用いた重み付き平均を行って、当該境界領域の画素の色を求める
   ことを特徴とする画像処理方法。
7. 前記重み付き平均は、前記境界前景層の画素が持つアルファ値が大きくなるほど、前記境界前景層の画素値がより多く反映され、前記境界前景層の画素が持つアルファ値が小さくなるほど前記境界背景層の画素値がより多く反映されることを特徴とする請求項６に記載の画像処理方法。
8. 前記境界領域の画素値を生成する際のレンダリング単位は、前記境界領域以外の領域の画素値を生成する際のレンダリング単位よりも小さいことを特徴とする請求項６又は７に記載の画像処理方法。
9. 前記特定ステップでは、前記撮像を行なう撮像部から被写体までの距離を表す距離情報に基づいて前記オブジェクトの境界を抽出して、前記分離を行なうことを特徴とする請求項６乃至８のいずれか１項に記載の画像処理方法。
10. 前記特定ステップでは、画像の領域分割を用いて前記オブジェクトの境界を抽出して、前記分離を行なうことを特徴とする請求項６乃至８のいずれか１項に記載の画像処理方法。
11. コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置として機能させることを特徴とするプログラム。

Images