JPWO2012098607A1 - 立体画像処理装置および立体画像処理方法 - Google Patents

Abstract

立体画像において、いかなる要因で発生した書き割り現象であっても、被写体の立体感・厚み感を復元し、書き割り感の少ない高品位な立体画像を得る。立体撮像装置（立体画像処理装置）（１０００）では、デプス取得部（１０３）が、立体画像からＬデプス情報およびＲデプス情報を取得し、画像補正部（１０４）が、Ｌデプス情報およびＲデプス情報に基づいて、被写体の端部分領域を平滑化する処理を実行する。これにより、この立体画像処理装置による処理を行った立体画像は、被写体の立体感・厚み感を適切に表現でき、かつ、書き割り感の少ない高品位な立体画像となる。

Description

本発明は、立体画像（３次元立体画像）の品位を高める技術に関するものであり、立体撮像を行うカメラ（撮像装置）、立体画像（立体映像）を表示するディスプレイ装置、立体画像（立体映像）を処理する画像処理装置など、立体画像（立体映像）を扱う幅広い機器に応用できる技術に関する。

立体画像（左眼用画像および右眼用画像）を、独立して左右の目に投影できる表示装置（以下、「立体表示装置」という。）に表示することにより、立体画像を再現させるために、両眼視差が存在する状態で立体画像（左眼用画像および右眼用画像）を撮像する立体撮像装置が知られている。
立体撮像において、遠景（遠景の被写体）や近景（近景の被写体）が大きな視差を持つ状態で取得された立体画像（左眼用画像および右眼用画像）は、人間が立体視する際の融像限界を超え立体視が困難な画像になる、あるいは、当該立体画像を見ている人間に疲労感を生じさせる画像（疲れる画像）になる。このような不良な立体画像の生成を避けるために、視差調整やステレオベース調整（以下、「ＳＢ調整」という。）を行うことで、良好な立体画像を得る技術があり、このような技術は、映画などの本格的な立体撮影において広く用いられている。

視差調整は、主に遠景（遠景の被写体）が融像限界を超える場合に用いられる技術で、遠景までの距離を非線形に圧縮するように視差調整することで、立体視する際に見にくかった遠景（遠景の被写体）を近づけ、立体視する際に見やすい立体画像（立体視が容易な立体画像）を取得することができる。
また、ステレオベース調整は、２台のカメラ（左眼用画像撮像用のカメラおよび右眼用画像撮像用のカメラ）の間隔を近づけることにより（ステレオベース（基線長）を小さくすることにより）、視差のダイナミックレンジを小さくすることができる。このため、上記のようにステレオベース調整を行った後、立体撮像を行うことで、近景（近景の被写体）から遠景（遠景の被写体）までの全体が融像域内に入る立体画像を取得することができる。

また、立体画像を小さなサイズのディスプレイ装置に表示した場合も、立体画像（左眼用画像および右眼用画像）の視差が小さくなるため、遠景が圧縮される。したがって、この場合、小さなサイズのディスプレイ装置に表示される立体画像は、見やすい立体画像となる。
立体撮像において、上記撮影技術（視差調整、ステレオベース調整）を駆使することにより、所定の表示環境において立体表示させたとき、十分見やすい画像（立体視しやすい立体画像）となる立体画像を撮影することができる（例えば、特許文献１参照）。

特開平８−９４２１号公報

しかしながら、上記従来技術では、立体視の融像限界を考慮して、望ましい視差を減らすことにより（立体撮像の対象である被写体が立体視の融像域内に入るように、視差を本来の値から減少させることにより）、見やすい立体画像（立体視しやすい立体画像）を取得している訳であるから、立体画像における立体感・遠近感の自然さの観点では望ましいものではない。したがって、上記従来技術（視差調整、ステレオベース調整による技術）により取得される立体画像は、立体画像の品位について問題がある。

視差調整による技術では、見やすい（立体視しやすい）立体画像を取得することはできるが、遠景までの距離が非線形に圧縮されることになるので、視差調整を行った立体画像では、奥行きが平板になる現象（遠景の被写体の厚み感が減少し、平板状の立体像として知覚される現象）が発生する。
また、ＳＢ調整による技術では、取得される立体画像において、全体的に遠近感が少なくなるため（最近点から最遠点までの距離が小さくなるため）、個々の被写体の立体感が低下する現象が発生する。

したがって、上記従来技術を用いた場合、何れの場合も、取得される立体画像は、立体感・遠近感の乏しい品位の低い画像になりがちである。
また、上記従来技術を用いた場合に発生する立体感の圧縮・低下に伴い、いわゆる「書き割り現象」が生じることがある。
「書き割り現象」とは、立体画像において、例えば、前景の人物などの主要な被写体の厚みが薄くなり、板に描いた平面的な絵のように見える現象のことである。

この書き割り現象が重要な主被写体で発生すると、立体画像の品位は極端に低下する。
また、書き割り現象は、上記従来技術のように視差調整を行うことにより立体画像における立体感の圧縮・低下が発生することを唯一の原因として生じるものではない。撮影条件（撮影状況）によっては、理想的な無歪みの立体撮影（立体感の圧縮・低下のない立体画像を撮像する撮影）においても、書き割り現象が発生することがある。

このように、書き割り現象は、視覚的な現象であり、書き割り現象を発生させる全ての原因が完全に解明されているわけではない。ただ、どのような要因で発生した書き割り現象であっても、立体画像の品位を損なうことには変わりが無い。
本発明は、上記問題点に鑑み、いかなる要因で発生した書き割り現象であっても、被写体の立体感・厚み感を復元し、書き割り感の少ない高品位な立体画像が得られる立体画像処理装置、立体画像処理方法およびプログラムを実現することを目的とする。

第１の発明は、２眼方式または多視点方式による立体画像に含まれる左眼用画像および右眼用画像に対して画像補正処理を行う立体画像処理装置であって、端部分領域検出部と、輪郭補正部と、を備える。
端部分領域検出部は、左眼用画像および右眼用画像から、左眼用画像および右眼用画像に含まれる被写体の左側の輪郭を含む領域および当該被写体の右側の輪郭を含む領域のうち何れか一方または両方の領域を端部分領域として検出する。

輪郭補正部は、端部分領域検出部が検出した被写体の端部分領域のうち少なくとも一端の領域に対して平滑化処理を実行する。
この立体画像処理装置では、左眼用画像および／または右眼用画像上における被写体の端部分領域を検出し、検出した被写体の端部分領域のうち少なくとも一端の領域に対して平滑化処理が実行される。その結果、この立体画像処理装置では、左眼用画像および右眼用画像において、被写体の端部分領域が不適切に視差マッチングされることで発生する立体感・遠近感の品質低下（例えば、書き割り現象、磨りガラスまとわりつき現象等による品質低下）を適切に防止することができる。

したがって、この立体画像処理装置により取得される立体画像は、書き割り現象等の発生を抑制し、被写体の立体感・厚み感を復元し、高品位な立体画像となる。
なお、「平滑化処理」とは、画像信号の信号波形を平滑化する処理のことをいう。「平滑化処理」には、例えば、当該画像信号から、（１）高周波成分を除去する処理、（２）シュート成分を除去する処理、（３）リンギング成分を除去する処理、（４）ジャギー成分を除去する処理等が含まれる。

第２の発明は、第１の発明であって、端部分領域検出部は、左眼用画像および右眼用画像から、左眼用画像および右眼用画像に含まれる被写体についての３次元空間での距離情報を取得し、左眼用距離画像および右眼用距離画像を取得するデプス取得部を備える。
そして、端部分領域検出部は、デプス取得部が取得した被写体の前記距離情報に基づいて、左眼用画像および／または右眼用画像上における被写体の端部分領域を検出する。

この立体画像処理装置では、被写体の距離情報（デプス値）に基づいて、左眼用画像および／または右眼用画像上における被写体の端部分領域を検出し、検出した被写体の端部分領域のうち少なくとも一端の領域に対して、平滑化処理（例えば、高周波成分を除去する処理）が実行される。その結果、この立体画像処理装置では、左眼用画像および右眼用画像において、被写体の端部分領域が不適切に視差マッチングされることで発生する立体感・遠近感の品質低下（例えば、書き割り現象、磨りガラスまとわりつき現象等による品質低下）を適切に防止することができる。

したがって、この立体画像処理装置により取得される立体画像は、書き割り現象等の発生を抑制し、被写体の立体感・厚み感を復元し、高品位な立体画像となる。
なお、「３次元空間での距離情報」とは、例えば、左眼用画像または右眼用画像を立体撮影したと仮定したときの第１視点（例えば、左眼用画像を取得するときの左眼視点）または第２視点（例えば、右眼用画像を取得するときの右眼視点）に相当する３次元空間内の点（撮影点）と、左眼用画像上の画素である第１画素と、第１画素に対応する右眼用画像上の画素である第２画素に対応する３次元空間（左眼用画像または右眼用画像を立体撮影したと仮定したときの撮影空間）内の点までの距離のことをいう。

また、「被写体についての３次元空間での距離情報」（被写体の距離に関する情報である距離情報）とは、被写体距離と相関のある情報のことをいう。
「被写体距離」とは、撮像部の撮像素子（例えば、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ）面上に焦点を結んでいる物体からカメラ（立体撮像装置）までの距離をいい、物点距離と、共役距離（物像間距離）を含む概念である。また、「被写体距離」は、立体撮像装置から被写体までの概略の距離を含む概念であり、例えば、（１）立体撮像装置の光学系のレンズ全体（第１視点用レンズおよび／または第２視点用レンズ）の重心位置から被写体までの距離、（２）撮像部の撮像素子の撮像素子面から被写体までの距離、（３）立体撮像装置の重心（あるいは中心）から被写体までの距離、（４）第１視点および第２視点を結ぶ線分から被写体までの距離等を含む概念である。

第３の発明は、第１の発明であって、端部分領域検出部は、左眼用画像および右眼用画像から、左眼用画像および右眼用画像に含まれる被写体の輪郭を抽出する輪郭抽出部を備える。
そして、端部分領域検出部は、輪郭抽出部が抽出した左眼用画像および右眼用画像の輪郭情報に基づいて、左眼用画像および／または右眼用画像上における被写体の端部分領域を検出する。

この立体画像処理装置では、輪郭抽出部により抽出された被写体の輪郭に基づいて、左眼用画像および／または右眼用画像上における被写体の端部分領域を検出し、検出した被写体の端部分領域のうち少なくとも一端の領域に対して、平滑化処理（例えば、高周波成分を除去する処理）が実行される。その結果、この立体画像処理装置では、左眼用画像および右眼用画像において、被写体の端部分領域が不適切に視差マッチングされることで発生する立体感・遠近感の品質低下（例えば、書き割り現象、磨りガラスまとわりつき現象等による品質低下）を適切に防止することができる。
したがって、この立体画像処理装置により取得される立体画像は、書き割り現象等の発生を抑制し、被写体の立体感・厚み感を復元し、高品位な立体画像となる。

第４の発明は、第１の発明であって、端部分領域検出部は、被写体の左側の輪郭を含む領域を左端部分領域として検出し、さらに被写体の右側の輪郭を含む領域を右端部分領域として検出する。
輪郭補正部は、
（１）左眼用画像上の左端部分領域に対して、平滑化処理を実行し、
（２）右眼用画像上の右端部分領域に対して、平滑化処理を実行する。

この立体画像処理装置では、オクルージョン領域となりやすい領域に対して、平滑化処理（例えば、高周波成分を除去する処理）が実行されるので、オクルージョン領域となりやすい領域の輪郭部分がぼかされる。その結果、この立体画像処理装置では、左眼用画像および右眼用画像において、被写体の端部分領域が不適切に視差マッチングされることで発生する立体感・遠近感の品質低下（例えば、書き割り現象、磨りガラスまとわりつき現象等による品質低下）を適切に防止することができる。
したがって、この立体画像処理装置により取得される立体画像は、書き割り現象等の発生を抑制し、被写体の立体感・厚み感を復元し、高品位な立体画像となる。

第５の発明は、第１の発明であって、端部分領域検出部は、被写体の左側の輪郭を含む領域を左端部分領域として検出し、さらに被写体の右側の輪郭を含む領域を右端部分領域として検出する。
輪郭補正部は、
（１）左眼用画像上の左端部分領域に対して、第１強度で、平滑化処理を実行し、左眼用画像上の右端部分領域に対して、第１強度より弱い強度である第２強度で、平滑化処理を実行し、
（２）右眼用画像上の右端部分領域に対して、第３強度で、平滑化処理を実行し、右眼用画像上の左端部分領域に対して、第３強度より弱い強度である第４強度で、平滑化処理を実行する。

この立体画像処理装置では、オクルージョン領域となりやすい領域について、より強く、平滑化処理（例えば、高周波成分を除去する処理）が実行されるので、オクルージョン領域となりやすい領域の輪郭部分が、オクルージョン領域となりにくい領域の輪郭部分に比べて、強くぼかされる。その結果、この立体画像処理装置では、左眼用画像および右眼用画像において、被写体の端部分領域が不適切に視差マッチングされることで発生する立体感・遠近感の品質低下（例えば、書き割り現象、磨りガラスまとわりつき現象等による品質低下）を適切に防止することができる。
したがって、この立体画像処理装置により取得される立体画像は、書き割り現象等の発生を抑制し、被写体の立体感・厚み感を復元し、高品位な立体画像となる。

第６の発明は、２眼方式または多視点方式による立体画像に含まれる左眼用画像および右眼用画像に対して画像補正処理を行う立体画像処理方法である。立体画像処理方法では、以下の処理が実行される。
（１）左眼用画像および右眼用画像から、左眼用画像および右眼用画像に含まれる被写体の左側の輪郭を含む領域および当該被写体の右側の輪郭を含む領域のうち何れか一方または両方の領域を端部分領域として検出する処理。
（２）検出した被写体の端部分領域のうち少なくとも一端の領域を平滑化する処理。
これにより、第１の発明と同様の効果を奏する画像処理方法を実現することができる。

本発明によれば、いかなる要因で発生した書き割り現象であっても、被写体の立体感・厚み感を復元し、書き割り感の少ない高品位な立体画像を取得することができる。

撮影環境（撮影シーン）を含めた第１実施形態の立体撮像装置１０００の概略構成図 第１実施形態の画像補正部１０４の構成図 撮影環境と被写体についての説明図 視差マッチングによる第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）の取得方法を説明するための図 第１実施形態における強度生成部１３２の信号波形図 第１実施形態における強度生成部の処理フローチャート 第１実施形態の立体撮像装置による処理結果を説明するための図 撮影シーン２００を立体撮影して取得した立体画像において、輪郭が過度にぼけた状態の処理結果の一例を示す図 第１実施形態の変形例における強度生成部１３２の信号波形図 第１実施形態の変形例における強度生成部の処理フローチャート 第１実施形態の変形例の立体撮像装置による処理結果を説明するための図 第１実施形態の変形例における強度生成部１３２の信号波形図 第２実施形態の立体撮像装置１０００の概略構成図 第２実施形態の画像補正部２０１の構成図

以下、本発明の実施形態について、図面を参照しながら説明する。
［第１実施形態］
第１実施形態では、立体画像処理装置として、２眼方式の立体撮像装置（デジタルカメラやビデオカメラなど）を例に、以下、説明する。
一般に、被写体を立体撮影して取得されたＲ画像およびＬ画像は、それぞれ、カメラ信号処理の中でアパーチャー補正（輪郭強調）が実行された後に取得されたものである。通常の二次元画像では、少々のリンギング（オーバーシュート、アンダーシュート等）は、画質の品位へ悪影響を及ぼすことは少なく、二次元画像の解像度感を高めることができるため、二次元画像の高画質化処理として積極的に利用されている。

しかし、これらの二次元画像に対して有効であった処理を、立体撮像装置により立体撮影を行って取得された立体画像（Ｒ画像およびＬ画像）に対して行うと、処理後の立体画像（Ｒ画像およびＬ画像）は、被写体オブジェクトの周りが不自然な輪郭線に囲まれ、合成画像の様に見える画像になることがある。その結果、このような処理がなされた立体画像（Ｒ画像およびＬ画像）は、書き割り感が非常に強い立体画像になる。

立体画像（Ｒ画像およびＬ画像）に、はっきり目立つリンギングが無い場合でも、立体画像（Ｒ画像およびＬ画像）に、解像感が高く輪郭の輝度傾斜が急で、いわゆる二値的でコントラストの強い輪郭を含まれる場合や、立体画像（Ｒ画像およびＬ画像）に対して、解像感を高める処理を行ったため、立体画像（Ｒ画像およびＬ画像）にエイリアシングが発生しジャギーがある輪郭が含まれる場合には、当該立体画像（Ｒ画像およびＬ画像）を立体表示させたとき、やはり書き割り感の強い画像に見える。
このように、被写体オブジェクトの輪郭に対する要求が立体画像では二次元画像と異なる。

本実施形態は、上記課題に対する解決を提示するものである。つまり、本実施形態は、立体画像（Ｒ画像およびＬ画像）に対して、被写体オブジェクト境界領域の輪郭のぼかし処理やジャギー除去処理や輪郭付近のリンギングやシュート（オーバーシュート、アンダーシュート等）の除去処理などを行うことにより、輪郭を立体画像にふさわしいものに補正し上記課題の解決を図るものである。

＜１．１：立体撮像装置の構成＞
図１に、第１実施形態に係る立体撮像装置１０００の概略図を示す。なお、図１では、立体撮像装置１０００とともに、立体撮像装置１０００で撮像するシーン２００（撮像シーン２００）を模式的に図示している。
立体撮像装置１０００は、図１に示すように、第１視点から被写体光を集光し第１画像信号（例えば、右眼用画像信号（Ｒ画像信号））を取得する第１撮像部１０１Ｒと、第２視点から被写体光を集光し第２画像信号（例えば、左眼用画像信号（Ｌ画像信号））を取得する第２撮像部１０１Ｌと、第１画像信号（例えば、Ｒ画像信号）および第２画像信号（例えば、Ｌ画像信号）を、それぞれ、デジタル信号に変換する画像入力部１０２と、を備える。

また、立体撮像装置１０００は、デジタル信号に変換された第１画像信号（例えば、Ｒ画像信号）および第２画像信号（例えば、Ｌ画像信号）から、それぞれ、被写体距離情報を算出し、第１デプス情報（例えば、Ｒデプス情報）および第２デプス情報（例えば、Ｌデプス情報）として出力するデプス取得部と、第１デプス情報（例えば、Ｒデプス情報）および第２デプス情報（例えば、Ｌデプス情報）を用いて、第１画像信号（例えば、Ｒ画像信号）および第２画像信号（例えば、Ｌ画像信号）に画像補正処理を行う画像補正部１０４と、を備える。
また、立体撮像装置１０００は、図１に示すように、上記各機能部を制御する制御部１０５を備える。なお、制御部１０５と、立体撮像装置１０００の各機能部とは、相互に直接接続されていてもよいし、あるいは、相互にバスを介して接続されていてもよい。

なお、説明便宜のため、第１撮像部１０１Ｒにより右眼用画像（映像）が撮像され、第２撮像部１０１Ｌにより左眼用画像（映像）が撮像されるものとして、以下、説明する。
第１撮像部１０１Ｒは、第１視点に設置されており、被写体光を集光する光学系と、集光した被写体光から光電変換により第１画像信号（右眼用画像信号（Ｒ画像信号））を取得する撮像素子と、を備える。そして、第１撮像部１０１Ｒは、取得した第１画像信号（Ｒ画像信号）を画像入力部１０２に出力する。
第２撮像部１０１Ｌは、第１視点とは異なる位置である第２視点に設置されており、被写体光を集光する光学系と、集光した被写体光から光電変換により第２画像信号（左眼用画像信号（Ｌ画像信号））を取得する撮像素子と、を備える。そして、第２撮像部１０１Ｌは、取得した第２画像信号（Ｌ画像信号）を画像入力部１０２に出力する。

画像入力部１０２は、第１撮像部１０１Ｒにより取得された第１画像信号（Ｒ画像信号）を入力とし、入力された第１画像信号に対して、Ａ／Ｄ変換を行い、Ａ／Ｄ変換した第１画像信号（Ｒ画像信号）をデプス取得部１０３および画像補正部１０４に出力する。
また、画像入力部１０２は、第２撮像部１０１Ｌにより取得された第２画像信号（Ｌ画像信号）を入力とし、入力された第２画像信号に対して、Ａ／Ｄ変換を行い、Ａ／Ｄ変換した第２画像信号（Ｌ画像信号）をデプス取得部１０３および画像補正部１０４に出力する。

デプス取得部１０３は、画像入力部１０２から出力される第１画像信号（Ｒ画像信号）および第２画像信号（L画像信号）を入力とする。デプス取得部１０３は、第１画像信号（Ｒ画像信号）により形成される第１画像（Ｒ画像）および第２画像信号（L画像信号）から形成される第２画像（Ｌ画像）から、第１画像（Ｒ画像）用のデプス情報である第１デプス情報（Ｒデプス情報）および第２画像（Ｌ画像）用のデプス情報である第２デプス情報（Ｌデプス情報）を取得する。そして、デプス取得部１０３は、取得した第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）を画像補正部１０４に出力する。

なお、デプス情報の取得は、例えば、視差マッチングにより取得することが好ましい。
画像補正部１０４は、図２に示すように、Ｌ画像用画像補正部１０４Ｌと、Ｒ画像用画像補正部１０４Ｒとを備える。画像補正部１０４は、画像入力部１０２から出力される第１画像信号（Ｒ画像信号）および第２画像信号（L画像信号）と、デプス取得部１０３から出力される第１デプス情報（Ｒデプス情報）および第２デプス情報（Lデプス情報）と、を入力とする。画像補正部１０４は、第１デプス情報（Ｒデプス情報）に基づいて、第１画像信号（Ｒ画像信号）に補正処理を行い、補正処理後の第１画像信号（Ｒ画像信号）を出力する。また、画像補正部１０４は、第２デプス情報（Lデプス情報）に基づいて、第２画像信号（L画像信号）に補正処理を行い、補正処理後の第２画像信号（Ｌ画像信号）を出力する。

Ｌ画像用画像補正部１０４Ｌは、図２に示すように、輪郭補正部１３と、強度生成部１３２と、を備える。
輪郭補正部１３は、図２に示すように、スムージング部１３１と、合成部１３３と、を含む。
スムージング部１３１は、画像入力部１０２から出力される第２画像信号（L画像信号）ＩＳ＿Ｌを入力とし、入力された第２画像信号（L画像信号）ＩＳ＿Ｌに対して、スムージング処理を行う。そして、スムージング部１３１は、スムージング処理を行った第２画像信号（L画像信号）ＳＳ＿Ｌを合成部１３３に出力する。

合成部１３３は、画像入力部１０２から出力される第２画像信号（L画像信号）ＩＳ＿Ｌと、スムージング部１３１から出力されるスムージング処理後の第２画像信号（L画像信号）ＳＳ＿Ｌと、強度生成部１３２から出力される強度信号Ｋ１＿Ｌと、を入力とする。合成部１３３は、強度信号Ｋ１＿Ｌに基づいて、第２画像信号（L画像信号）ＩＳ＿Ｌと、スムージング処理後の第２画像信号（L画像信号）ＳＳ＿Ｌと、を合成し、合成後の信号を、第２画像信号（L画像信号）Ｌｏｕｔとして、出力する。

強度生成部１３２は、デプス取得部１０３から出力される第２デプス情報（Lデプス情報）を入力とし、第２デプス情報（Lデプス情報）から強度信号Ｋ１＿Ｌを生成する。そして、強度生成部１３２は、生成した強度信号Ｋ１＿Ｌを輪郭補正部１３の合成部１３３に出力する。
以上のようにして、Ｌ画像用画像補正部１０４Ｌが構成される。

なお、Ｒ画像用画像補正部１０４Ｒは、Ｌ画像用画像補正部１０４Ｌと同様の構成を有しており、入力される信号が、Ｒ画像信号およびＲデプス情報である点だけが、Ｌ画像用画像補正部１０４Ｌとは相違する。
制御部１０５は、図１に示すように、第１撮像部１０１Ｒ、第２撮像部１０１Ｌ、画像入力部１０２、デプス取得部、および、画像補正部１０４と、双方向に必要な信号をやり取りできるように接続されている。制御部１０５は、所定のタイミングで、Ｒ画像信号、Ｌ画像信号に対する信号処理や、データ読み出し／書き込み処理が実行されるように、所定の制御信号（駆動信号や同期信号等）により、立体撮像装置１０００の上記各機能部を制御する。
なお、「端部分領域検出部」は、Ｌ画像の処理については、デプス取得部１０３およびＬ画像用画像補正部１０４Ｌの強度生成部１３２により実現され、Ｒ画像の処理については、デプス取得部１０３およびＲ画像用画像補正部１０４Ｒの強度生成部１３２により実現される。

＜１．２：立体撮像装置の動作＞
以上のように構成された立体撮像装置１０００の動作について、以下、説明する。
図１において、撮影シーン２００は、背景２０１と、前景２０２とを含む。そして、前景２０２が主被写体である。このような図１に示した撮影シーン（図３に示した撮影シーン）を立体撮像装置１０００で立体撮像する場合を例に、以下、立体撮像装置１０００の動作について、説明する。
また、図３は、立体撮像装置１０００を用いて立体撮影を行う場合の撮影環境と被写体との関係（一例）を模式的に示した図であり、図１の撮影シーンを上から見た図である。図３（ａ）は、撮影環境（撮影シーン）２００と、第１撮像部１０１Ｒおよび第２撮像部１０１Ｌとを上から見た図である。撮影環境（撮影シーン）２００では、前景の主被写体２０２、および、背景の被写体２０１は、図３（ａ）に示すような位置関係となっている。なお、説明を簡単にするため、背景の被写体２０１は、絵が描かれた壁のようなものとしているが、このような被写体に限定されず、例の被写体であってもよいことは言うまでもない。

図３（ｂ）は、背景の被写体２０１に描かれている絵の輝度分布を表しており、図３（ｃ）は、前景の主被写体２０２を立体撮像装置１０００側（カメラ側）から見た正面の輝度分布を表している。
なお、図６（ｂ）、（ｃ）において、横軸は水平方向の位置であり、縦軸は輝度を示している。
なお、説明を簡単にするため、立体撮像装置１０００の第１撮像部１０１Ｒが撮影する画角の中心線（図３の１０１Ｒから出ている一点鎖線）と第２撮像部１０１Ｌが撮影する画角の中心線（図３の１０１Ｌから出ている一点鎖線）とは、背景２０１の配置されている距離（ｄ２）で交差するように輻輳角を設定している。

また、前景２０２（主被写体２０２）は、例えば、立体的な丸みを持ったオブジェクト（例えば、上から見たときに所定の幅を有する略楕円形のオブジェクト（例えば、人物））であるものとする。
なお、説明便宜のために、輻輳角を上記のように設定したが、上記に限定されず、輻輳角を他の角度に設定してもよい。
撮像シーン２００からの被写体光は、第１視点に配置された第１撮像部１０１Ｒで集光され、第１撮像部１０１Ｒの撮像素子により、第１画像信号（Ｒ画像信号）に変換される。同様に、撮像シーン２００からの被写体光は、第２視点に配置された第２撮像部１０１Ｌで集光され、第２撮像部１０１Ｌの撮像素子により、第２画像信号（Ｌ画像信号）に変換される。

なお、第１撮像部１０１Ｒおよび第２撮像部１０１Ｌは、立体撮像装置１０００において立体画像（左眼用画像および右眼用画像）を取得できるように、基線長（ステレオベース長）分だけ離して配置されている。
第１撮像部１０１Ｒから出力された第１画像信号（Ｒ画像信号）および第２撮像部１０１Ｌから出力された第２画像信号（Ｌ画像信号）は、それぞれ、画像入力部１０２に入力され、画像入力部１０２によりデジタル信号に変換される。そして、デジタル信号に変換された第１画像信号（Ｒ画像信号）および第２画像信号（Ｌ画像信号）は、それぞれ、デプス取得部１０３および画像補正部１０４に出力される。

デプス取得部１０３では、第１画像信号（Ｒ画像信号）により形成される第１画像（Ｒ画像）および第２画像信号（L画像信号）から形成される第２画像（Ｌ画像）から、第１画像（Ｒ画像）用のデプス情報である第１デプス情報（Ｒデプス情報）および第２画像（Ｌ画像）用のデプス情報である第２デプス情報（Ｌデプス情報）が、例えば、視差マッチングにより、取得される。
ここで、視差マッチングによる第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）の取得方法について、図４を用いて説明する。
図４は、三角形のオブジェクトが奥に配置されており、円形のオブジェクトが手前に配置されている撮影シーンを立体撮像装置１０００で立体撮影したときの立体画像を模式的に示す図である。図４（ａ）は、Ｌ画像（左眼用画像）を模式的に示した図であり、図４（ｂ）は、Ｒ画像（右眼用画像）を模式的に示した図であり、図４（ｃ）は、Ｒ画像およびＬ画像を１つの画像として重ねて表示させた図である。

視差マッチングによる第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）の取得方法は、例えば、以下の（１）〜（３）の処理を実行することで、実現される。
（１）まず、デプス取得部１０３は、Ｌ画像（左眼用画像）およびＲ画像（右眼用画像）を用いて、例えば、図４（ａ）のＬ画像上の点ＡＬに対応する被写体Ａ（図４の三角形の頂点）が、図４（ｂ）のＲ画像上の点ＡＲに対応していることを検出する。
（２）そして、検出した２つの点ＡＬおよび点ＡＲのずれ量（視差）Ｄｉｆｆ（Ａ）を算出する。

なお、視差は、ずれ方向により、正負の符号を有するものとする。例えば、Ｒ画像上の点が、Ｌ画像上の点に対して左方向にずれている場合をプラスとし、逆の場合をマイナスとする。
例えば、図４の場合、被写体Ａについての視差の絶対値がα（≧０）であるとすると、Ｒ画像上のＡＲ点が、Ｌ画像上のＡＬ点より右方向にずれているので、被写体Ａについての視差を「−α」として算出する。そして、被写体Ｂ（図４の円の中心点）についての視差の絶対値がβ（≧０）であるとすると、Ｒ画像上のＢＲ点が、Ｌ画像上のＢＬ点より左方向にずれているので、被写体Ｂについての視差を「＋β」として算出する。

（３）デプス取得部１０３は、（１）、（２）の処理を、画像上の全ての点（全ての画素）について行い、算出したずれ量（視差）を画素値とする視差画像を取得する。そして、Ｌ画像の各画素に算出した視差を画素値として取得した視差画像を、Ｌデプス情報（Ｌデプス情報画像（左眼画像用距離画像））とし、Ｒ画像の各画素に算出した視差を画素値として取得した視差画像を、Ｒデプス情報（Ｒデプス情報画像（右眼画像用距離画像））とする。
例えば、Ｌデプス情報（Ｌデプス情報画像（左眼画像用距離画像））では、図４（ａ）のＬ画像のＡＬ点に相当する画素の値が、被写体Ａの視差である−αとなり、Ｒデプス情報（Ｒデプス情報画像（右眼画像用距離画像））では、図４（ｂ）のＲ画像のＡＲ点に相当する画素の値が、被写体Ａの視差である−αとなる。
なお、「距離画像」とは、各画素に、当該各画素に相当する被写体の実際の位置（３次元空間内の位置）と立体撮像装置１０００の位置との距離に相関性のある値をマッピングした画像のことである。

なお、上記視差マッチングによる第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）の取得方法は、一例であり、これに限定されるものではない。例えば、上記と視差の符号の取り方を逆にしても構わない。また、デプス取得部１０３は、他の方法により、左眼画像用距離画像および右眼画像用距離画像を取得し、Ｌデプス情報およびＲデプス情報を取得するものであってもよい。
以上のようにして取得されたＬデプス情報およびＲデプス情報は、それぞれ、画像補正部１０４に出力される。

（１．２．１：画像補正部１０４の動作）
以下、画像補正部１０４の動作について、説明する。
なお、Ｌ画像に対しては、Ｌデプス情報を用いて、Ｌ画像用画像補正部１０４Ｌにより処理が実行され、Ｒ画像に対しては、Ｒデプス情報を用いて、Ｒ画像用画像補正部１０４Ｒにより処理が実行されるが、その処理内容は同一であるため、以下では、主として、Ｌ画像用画像補正部１０４Ｌについて、説明する。
まず、Ｌ画像用画像補正部１０４Ｌの強度生成部１３２の動作について、説明する。
図５は、強度生成部１３２の動作を説明するための図である。図５の最上図は、横軸が水平方向の位置であり、縦軸がＬデプス情報の値である。つまり、図５の最上図におけるＤＬは、Ｌ画像における画素位置に対するＬ画像のデプス情報（距離情報）であり、デプス取得部１０３から与えられるＬ画像のデプス情報（距離情報）を表している。ここでは、ＤＬの値は、遠方であるほど（被写体距離が大きい程）小さい値を取り、近景である程（被写体距離が小さい程）、大きい値を取るものとする。

したがって、図５の最上図に示すように、主被写体２０２のデプス情報（距離情報）が背景被写体２０１のデプス情報（距離情報）より大きい値を取る。そして、図５の最上図に示すように、主被写体２０２のＬデプス情報の値がＤ２＿ｆ〜Ｄ２＿ｎの範囲の値をとる。つまり、主被写体２０２の最近点のＬデプス情報の値が、Ｄ２＿ｎであり、主被写体２０２の最遠点のＬデプス情報の値が、Ｄ２＿ｆである。そして、背景被写体２０１は、平坦な壁であるため、背景被写体２０１のＬデプス情報は、Ｄ１で一定である。

強度生成部１３２の動作について、図５および図６に示すフローチャートを用いて、説明する。
（Ｓ１０１、Ｓ１０２）：
強度生成部１３２は、入力されたＬデプス情報（Ｌデプス値）に対して、輪郭補正処理（例えば、ＬＰＦ処理）を行うことで（スムージング処理を行うことで）、輪郭補正Ｌデプス値ＤＬ’（図５中の曲線Ｃｒｖ１に相当）を取得する。
（Ｓ１０３）：
強度生成部１３２は、輪郭補正Ｌデプス値ＤＬ’を水平位置（図５のＸ軸方向の値）について微分（差分）することで、Ｌデプス微分信号ΔＤＬを取得する。なお、Ｓ１０３の処理において、厳密な微分（差分）処理ではなく、輪郭補正Ｌデプス値ＤＬ’の変化分を検出する処理であれば、当該処理を、微分（差分）処理の代わりに実行してもよい。
（Ｓ１０４）：
強度生成部１３２は、Ｌデプス微分信号ΔＤＬの絶対値をとることで、Ｌデプス微分絶対値信号ΔＤＬ１を取得する。
（Ｓ１０５）：
強度生成部１３２は、取得したＬデプス微分絶対値信号ΔＤＬ１を正規化した信号（例えば、［０：１］の範囲の信号に正規化した信号）を、Ｌ画像用強度信号Ｋ１＿Ｌとして、輪郭補正部１３（合成部１３３）に出力する。

以上により、立体撮像装置１０００では、強度生成部１３２により生成されたＬ画像用強度信号Ｋ１＿Ｌにより、デプス値の異なる輪郭（デプス値の異なる被写体により形成される輪郭）付近を正確に検出することが出来る。
なお、輪郭を含む領域を検出したＬデプス微分絶対値信号ΔＤＬ１の幅（図５のＰ１、Ｐ２の幅に相当）（Ｒデプス微分絶対値信号ΔＤＲ１の場合は、図５のＱ１、Ｑ２の幅に相当）は、Ｌデプス信号（Ｌデプス値）ＤＬにかけるローパスフィルタの特性により調整することができる。

次に、Ｌ画像用画像補正部１０４Ｌの輪郭補正部１３の動作について、説明する。
輪郭補正部１３のスムージング部１３１では、画像入力部１０２から出力されたＬ画像信号ＩＳ＿Ｌに対して、スムージング処理が実行される。本実施形態において、スムージング部１３１は、例えば、ローパスフィルタであり、スムージング処理として、ＬＰＦ処理が実行される。これにより、スムージング部１３１により処理されたＬ画像信号ＳＳ＿Ｌは、輪郭部分のぼかされた信号（平滑化された信号（例えば、高周波成分が取り除かれた信号、シュート除去された信号、リンギング除去された信号、ジャギー除去された信号等））となる。

なお、スムージング部１３１でのスムージング処理は、ＬＰＦ処理に限定されることはなく、メディアンフィルタによる処理などでもよい。つまり、スムージング部１３１でのスムージング処理として、輪郭をぼかす傾向の処理が実行されればよいので、スムージング部１３１でのスムージング処理は、このような処理（輪郭をぼかす傾向の処理）が実行できる処理であれば、なんでもよい。なお、スムージング部１３１でのスムージング処理として、細くて振幅変化の大きいジャギーの除去に有効なメディアンフィルタと通常のローパスフィルタとの組合せによる処理を採用することが効果的である。

スムージング部１３１によりスムージング処理が実行されたＬ画像信号ＳＳ＿Ｌは、合成部１３３に出力される。
合成部１３３では、例えば、［０：１］の範囲に正規化された信号であるＬ画像用強度信号Ｋ１＿Ｌを内分比として、Ｌ画像信号ＩＳ＿Ｌと、スムージング処理が実行されたＬ画像信号ＳＳ＿Ｌと、合成して出力Ｌ画像信号Ｌｏｕｔを取得する。つまり、合成部１３３は、
Ｌｏｕｔ＝（１−Ｋ１＿Ｌ）×ＩＳ＿Ｌ＋Ｋ１＿Ｌ×ＳＳ＿Ｌ
に相当する処理を実行することで、出力Ｌ画像信号Ｌｏｕｔを取得する。

これにより、合成部１３３から出力されるＬ画像信号Ｌｏｕｔは、（１）デプス値の異なる被写体間により形成される輪郭部分では、ぼかされた画像信号（スムージング処理が実行された画像信号）となり、（２）それ以外の部分では、画像入力部から出力された画像信号（スムージング処理が実行されていない画像信号）となる。
なお、Ｒ画像信号に対しても、Ｒ画像用画像補正部１０４Ｒにより上記と同様の処理が実行される。

以上により、立体撮像装置１０００により処理された立体画像は、輪郭付近のみ選択的にぼかされた立体画像となる。
なお、スムージング部１３１によるスムージング処理（例えば、ローパスフィルタ処理）によるぼかし度合いは、強度信号Ｋ１＿Lの値に応じて設定される。したがって、輪郭近傍領域である程、ぼかし度合いが高くなるため、立体撮像装置１０００により処理することで、効果的に輪郭領域のジャギーやシュート（オーバーシュート、アンダーシュート等）を除去した立体画像を取得することができる。

立体撮像装置１０００において、以上の処理を行った場合の処理結果を図７に示す。
図７から分かるように、Ｌ画像の主被写体２０２の左右の輪郭付近（図７のＰ１、Ｐ２で示す領域）において、強度信号Ｋ１＿Ｌ（ΔＤＬ１の値）に応じた強度でスムージング処理が実行されている（位置Ｌ１、Ｌ２付近で、強度の強いスムージング処理が実行されている）。
また、Ｒ画像の主被写体２０２の左右の輪郭付近（図７のＱ１、Ｑ２で示す領域）において、強度信号Ｋ１＿Ｒ（ΔＤＲ１の値）に応じた強度でスムージング処理が実行されている（位置Ｒ１、Ｒ２付近で、強度の強いスムージング処理が実行されている）。

このように本実施形態の立体撮像装置１０００により適切に輪郭補正された立体画像（Ｌ画像およびＲ画像）は、被写体オブジェクトの輪郭の不自然さが軽減された立体画像となっており、立体画像を立体表示したときに、変な合成画像と認識される要素を効果的に軽減した立体画像となっている。その結果、立体撮像装置１０００により取得された立体画像は、立体表示したときに、書き割り感の少ない自然で高品位な立体画像となる。
なお、上記において、輪郭補正部１３が、スムージング部１３１および合成部１３３により構成される例について説明したが、これに限定されることなく、例えば、輪郭補正部１３をカットオフ周波数可変のローパスフィルタとし実現してもよい。この場合、当該カットオフ周波数可変のローパスフィルタは、強度信号Ｋ２（Ｋ２＿ＬまたはＫ２＿Ｒ）により、制御される。つまり、この場合、強度信号Ｋ２（Ｋ２＿ＬまたはＫ２＿Ｒ）に基づいて、入力画像（Ｌ画像またはＲ画像）に対して、輪郭領域付近のみ、カットオフ周波数を低下させて、フィルタ処理を実行することで出力画像を取得する。これにより、立体画像の輪郭領域（デプス値に異なる被写体間により形成される輪郭領域）付近のみ選択的にぼかすことができ、上記同様の効果を得ることができる。

≪変形例≫
次に、本実施形態の変形例について説明する。
上記では、第１実施形態の立体撮像装置１０００により、立体画像に対して、適切に輪郭補正することで、輪郭部分のリンギングやジャギーを除去し、輪郭部分を自然なぼけ具合の輪郭に補正することができ、書き割り感を軽減した立体画像を取得することができることを説明してきた。
しかし、立体画像に対して画像補正処理を行う場合、ぼけ程度の適切な設定は容易でなく、ぼけ程度が小さい画像補正処理を行えば、リンギングなどが残留し、逆に、ぼけ程度が大きすぎる画像補正処理を行えば、輪郭部分を過度にぼかすことになる。

図８は、撮影シーン２００を立体撮影して取得した立体画像において、輪郭が過度にぼけた状態の処理結果（一例）を示している。
図８に示すように、網掛けの輪郭領域は、過度にぼけた輪郭の範囲を示している。「過度にぼけた状態」とは、主被写体２０２の端の輝度の一部が背景２０１に滲みながら当該主被写体２０２の端の輝度値を示す信号が平滑化されること（例えば、高周波成分が無くなること）を意味している。
このような画像を立体視すると、被写体オブジェクトの輪郭の周りの範囲（図８のＡＬ４０２、ＡＬ４０３、ＡＲ４０２、ＡＲ４０３で示した範囲）の背景が平滑化されており（例えば、高周波成分が無くなり）、背景の模様による視差マッチングが困難になる。そのため、図８に示す立体画像を立体表示させたとき、視覚は、Ｌ画像とＲ画像の輪郭周辺のぼけた背景同士をマッチングするようになる。その結果、被写体オブジェクトの輪郭部分の外側のぼけた背景の領域も含めて被写体オブジェクトと同じ視差であると認識され（主被写体２０２の視差と同じ視差であると認識され）、図８中のＡ‘で示した領域が、前景（主被写体２０２）と認識されてしまう。

このような立体画像を立体表示すると、被写体オブジェクトの輪郭部分の周りに磨りガラスがまとわりついていて、そこにぼけた背景が写っているように見える。
このように、背景の一部が前景（主被写体２０２）の周りにまとわりつくと、リンギングが発生している立体画像と同様に、立体表示したときに、前景（主被写体２０２）が平板のように感じられるため、書き割り感が助長されることになる。
つまり、立体画像に対する画像補正処理において、書き割り感を低減する目的で輪郭のリンギングを除去する場合、ぼかし方が少なければリンギングが残り、ぼかしすぎると余分なボケにより新たな書き割り感を生むことになる。このため、立体画像に対する画像補正処理において、常に安定した処理は容易でない。

本変形例は、上記課題を解決するものである。
本変形例の立体撮像装置の構成は、第１実施形態の立体撮像装置１０００と同様の構成である。
本変形例の立体撮像装置は、画像補正部１０４の強度生成部１３２で生成される強度信号が、第１実施形態の立体撮像装置１０００と異なる。
本変形例の立体撮像装置のＬ画像用画像補正部１０４Ｌの強度生成部１３２は、第１実施形態のＬ画像用強度信号Ｋ１＿Ｌの代わりに、Ｌ画像用第２強度信号Ｋ２＿Ｌを出力する。
本変形例の立体撮像装置のＲ画像用画像補正部１０４Ｒの強度生成部１３２は、第１実施形態のＲ画像用強度信号Ｋ１＿Ｒの代わりに、Ｌ画像用第２強度信号Ｋ２＿Ｒを出力する。
なお、本変形例において、第１実施形態の立体撮像装置１０００と同様の部分については、同一符号を付し、詳細な説明を省略する。

図９は、本変形例の強度生成部１３２での処理を説明するための波形図であり、Ｌデプス信号（Ｌデプス値）ＤＬ、輪郭補正Ｌデプス信号（輪郭補正Ｌデプス値）ＤＬ’、Ｌデプス微分信号ΔＤＬ、第２Ｌデプス微分絶対値信号ΔＤＬ２、および、第２Ｒデプス微分絶対値信号ΔＤＲ２を示している。
なお、図９において、Ｌデプス信号（Ｌデプス値）ＤＬ、Ｌデプス微分信号ΔＤＬは、Ｌ画像用の信号であり、図５のものと同じである。

第２Ｌデプス微分絶対値信号ΔＤＬ２は、Ｌ画像用の第２強度信号Ｋ２＿Ｌを生成するための信号であり、Ｌ画像用第２強度信号Ｋ２＿Ｌは、第２Ｌデプス微分絶対値信号ΔＤＬ２を正規化した信号（例えば、［０：１］の範囲に正規化した信号）である。
第２Ｒデプス微分絶対値信号ΔＤＲ２は、Ｒ画像用の第２強度信号Ｋ２＿Ｒを生成するための信号であり、Ｒ画像用第２強度信号Ｋ２＿Ｒは、第２Ｒデプス微分絶対値信号ΔＤＲ２を正規化した信号（例えば、［０：１］の範囲に正規化した信号）である。

また、第２Ｌデプス微分絶対値信号ΔＤＬ２は、図５のＬデプス信号ΔＤＬの信号において、信号値が負となる部分を除いて、信号値が正となる部分のみを残した信号（信号値が「０」の部分を含む信号でもよい。）である。
Ｌ画像用の強度生成部１３２は、第２Ｌデプス微分絶対値信号ΔＤＬ２を正規化して（例えば、［０：１］の範囲に正規化して）、Ｌ画像用第２強度信号Ｋ２＿Ｌを生成し、生成したＬ画像用第２強度信号Ｋ２＿ＬをＬ画像用の輪郭補正部１３に出力する。

また、第２Ｒデプス微分絶対値信号ΔＤＲ２は、Ｒ画像用の強度生成部１３２において、生成される信号であり、以下の処理により生成される信号である。
（１）図５のＬデプス微分信号ΔＤＬに相当するＲ画像用の信号であるＲデプス微分信号ΔＤＲとすると、この信号の信号値を正負反転する。
（２）処理（１）により取得された信号において、信号値が負である部分を除いて、信号値が正である部分のみを残す。これにより、Ｒ画像用の強度生成部１３２は、Ｒデプス微分信号ΔＤＲを生成する。

Ｒ画像用の強度生成部１３２は、第２Ｒデプス微分絶対値信号ΔＤＲ２を正規化して（例えば、［０：１］の範囲に正規化して）、Ｒ画像用第２強度信号Ｋ２＿Ｒを生成し、生成したＲ画像用第２強度信号Ｋ２＿ＲをＲ画像用の輪郭補正部１３に出力する。
図９に示すように、本変形例では、Ｌ画像用第２強度信号Ｋ２＿Ｌ（第２Ｌデプス微分絶対値信号ΔＤＬ２）は、被写体オブジェクト（主被写体２０２）左端の輪郭部分付近のみに発生し、Ｒ画像用第２強度信号Ｋ２＿Ｒ（第２Ｒデプス微分絶対値信号ΔＤＲ２）は、被写体オブジェクト（主被写体２０２）右端の輪郭部分付近のみに発生する。

図１０は、本変形例の強度生成部１３２の処理フローチャートである。図１０（ａ）はＬ画像用の強度生成部１３２の処理フローチャートであり、図１０（ｂ）はＲ画像用の強度生成部１３２の処理フローチャートである。
図１０を用いて、本変形例の強度生成部１３２の処理について、説明する。
まず、図１０（ａ）を用いて、Ｌ画像用の強度生成部１３２の処理について、説明する。
（Ｓ２０１、Ｓ２０２）：
強度生成部１３２は、入力されたＬデプス情報（Ｌデプス値）に対して、輪郭補正処理（例えば、ＬＰＦ処理）を行うことで（スムージング処理を行うことで）、輪郭補正Ｌデプス値ＤＬ’（図９中の曲線Ｃｒｖ１に相当）を取得する。
（Ｓ２０３）：
強度生成部１３２は、輪郭補正Ｌデプス値ＤＬ’を水平位置（図９のＸ軸方向の値）について微分（差分）することで、Ｌデプス微分信号ΔＤＬを取得する。なお、Ｓ２０３の処理において、厳密な微分（差分）処理ではなく、輪郭補正Ｌデプス値ＤＬ’の変化分を検出する処理であれば、当該処理を、微分（差分）処理の代わりに実行してもよい。
（Ｓ２０４）：
強度生成部１３２は、Ｌデプス微分信号ΔＤＬにおいて、信号値が負となる部分の信号を取り除き（信号値が負となる部分の信号値を「０」にし）、第２Ｌデプス微分絶対値信号ΔＤＬ２を取得する。
（Ｓ２０５）：
強度生成部１３２は、取得した第２Ｌデプス微分絶対値信号ΔＤＬ２を正規化した信号（例えば、［０：１］の範囲の信号に正規化した信号）を、Ｌ画像用強度信号Ｋ２＿Ｌとして、輪郭補正部１３（合成部１３３）に出力する。

次に、図１０（ｂ）を用いて、Ｒ画像用の強度生成部１３２の処理について、説明する。
（Ｓ３０１、Ｓ３０２）：
強度生成部１３２は、入力されたＲデプス情報（Ｒデプス値）に対して、輪郭補正処理（例えば、ＬＰＦ処理）を行うことで（スムージング処理を行うことで）、輪郭補正Ｒデプス値ＤＲ’を取得する。
（Ｓ３０３）：
強度生成部１３２は、輪郭補正Ｒデプス値ＤＲ’を水平位置（図９のＸ軸方向の値）について微分（差分）することで、Ｒデプス微分信号ΔＤＲを取得する。なお、Ｓ３０３の処理において、厳密な微分（差分）処理ではなく、輪郭補正Ｒデプス値ＤＲ’の変化分を検出する処理であれば、当該処理を、微分（差分）処理の代わりに実行してもよい。
（Ｓ３０４）：
強度生成部１３２は、（１）Ｒデプス微分信号ΔＤＲの信号値の正負を反転させた信号を取得する。そして、（２）強度生成部１３２は、当該正負を反転させた信号において、信号値が負となる部分の信号を取り除き（信号値が負となる部分の信号値を「０」にし）、第２Ｒデプス微分絶対値信号ΔＤＲ２を取得する。
（Ｓ３０５）：
強度生成部１３２は、取得した第２Ｒデプス微分絶対値信号ΔＤＲ２を正規化した信号（例えば、［０：１］の範囲の信号に正規化した信号）を、Ｒ画像用強度信号Ｋ２＿Ｒとして、輪郭補正部１３（合成部１３３）に出力する。

以上により、本変形例のＬ画像用の強度生成部１３２により、Ｌ画像用強度信号Ｋ２＿Ｌが生成され、本変形例のＲ画像用の強度生成部１３２により、Ｒ画像用強度信号Ｋ２＿Ｒが生成される。
そして、Ｌ画像用の輪郭補正部１３では、強度生成部１３２により生成された強度信号Ｋ２＿Ｌにより、被写体オブジェクト（主被写体２０２）の左の輪郭部分のみぼかす。つまり、合成部１３３では、強度信号Ｋ２＿Ｌを内分比として、
Ｌｏｕｔ＝（１−Ｋ２＿Ｌ）×ＩＳ＿Ｌ＋Ｋ２＿Ｌ×ＳＳ＿Ｌ
に相当する処理が実行され、出力Ｌ画像信号Ｌｏｕｔが生成される。

また、Ｒ画像用の輪郭補正部１３では、強度生成部１３２により生成された強度信号Ｋ２＿Ｒにより、被写体オブジェクト（主被写体２０２）の右の輪郭部分のみぼかす。つまり、合成部１３３では、強度信号Ｋ２＿Ｒを内分比として、
Ｒｏｕｔ＝（１−Ｋ２＿Ｒ）×ＩＳ＿Ｒ＋Ｋ２＿Ｒ×ＳＳ＿Ｒ
に相当する処理が実行され、出力Ｒ画像信号Ｒｏｕｔが生成される。

つまり、本変形例の立体撮像装置では、第２強度信号Ｋ２（Ｋ２＿Ｌ、Ｋ２＿Ｒ）の働きにより、（１）Ｌ画像では、被写体オブジェクト（主被写体２０２）の左の輪郭部分のみをぼかす処理が実行され、（２）Ｒ画像では、被写体オブジェクト（主被写体２０２）の右の輪郭部分のみをぼかす処理が実行されることになる。
この本変形例の立体撮像装置による処理後の波形図を図１１に示す。
図１１から分かるように、（１）Ｌ画像では、被写体オブジェクト（主被写体２０２）の左の輪郭部分のみがぼけており、（２）Ｒ画像では、被写体オブジェクト（主被写体２０２）の右の輪郭部分のみがぼけている。
したがって、上記のようにして、本変形例の立体撮像装置により取得された立体画像は、立体表示させたとき、被写体オブジェクト（主被写体２０２）の輪郭付近の領域が不適切にマッチングされることがない。その結果、本変形例の立体撮像装置により取得された立体画像は、書き割り現象等の発生を抑え、適切な立体感・遠近感を再現することができる立体画像となる。

なお、上記では、説明を簡単にするために、Ｌ画像では、被写体オブジェクト（主被写体２０２）の左の輪郭部分のみをぼかし、Ｒ画像では、被写体オブジェクト（主被写体２０２）の右の輪郭部分のみぼかす場合について、説明したが、これに限定されることはない。
例えば、本変形例の立体撮像装置において、以下のように処理してもよい。
（１）Ｌ画像では、被写体オブジェクト（主被写体２０２）の左の輪郭部分を強くぼかし（第１の強度でぼかす）、かつ、被写体オブジェクト（主被写体２０２）の右の輪郭部分を弱くぼかす（第１の強度より弱い第２の強度でぼかす）。
（２）Ｒ画像では、被写体オブジェクト（主被写体２０２）の右の輪郭部分を強くぼかし（第３の強度でぼかす）、かつ、被写体オブジェクト（主被写体２０２）の左の輪郭部分を弱くぼかす（第３の強度より弱い第４の強度でぼかす）。

図１２に、上記処理を行う場合のＬデプス信号（Ｌデプス値）ＤＬ、輪郭補正Ｌデプス信号（輪郭補正Ｌデプス値）ＤＬ’、Ｌデプス微分信号ΔＤＬ、第２Ｌデプス微分絶対値信号ΔＤＬ２、および、第２Ｒデプス微分絶対値信号ΔＤＲ２の波形図を示す。
図１２に示すように、
（１）Ｌ画像では、被写体オブジェクト（主被写体２０２）の右の輪郭部分（領域Ｐ２）での強度信号Ｋ１＿Ｌのピーク値が、被写体オブジェクト（主被写体２０２）の左の輪郭部分（領域Ｐ１）での強度信号Ｋ１＿Ｌのピーク値のｋ倍（０≦ｋ≦１）となる。
（２）Ｒ画像では、被写体オブジェクト（主被写体２０２）の左の輪郭部分（領域Ｑ１）での強度信号Ｋ１＿Ｒのピーク値が、被写体オブジェクト（主被写体２０２）の右の輪郭部分（領域Ｑ２）での強度信号Ｋ１＿Ｒのピーク値のｍ倍（０≦ｍ≦１）となる。

したがって、本変形例の立体撮像装置において、上記強度信号Ｋ１を用いて、輪郭補正部１３での処理を実行することで、
（１）Ｌ画像では、被写体オブジェクト（主被写体２０２）の左の輪郭部分を強くぼかし（第１の強度でぼかす）、かつ、被写体オブジェクト（主被写体２０２）の右の輪郭部分を弱くぼかす（第１の強度より弱い第２の強度でぼかす）ことができ、かつ、
（２）Ｒ画像では、被写体オブジェクト（主被写体２０２）の右の輪郭部分を強くぼかし（第３の強度でぼかす）、かつ、被写体オブジェクト（主被写体２０２）の左の輪郭部分を弱くぼかす（第３の強度より弱い第４の強度でぼかす）ことができる。

以上のように処理を実行することで、本変形例の立体撮像装置で取得される立体画像では、Ｒ画像の領域ＡＲ４０２は、あまりぼけてないため、Ｌ画像のぼけた領域ＡＬ４０２とＲ画像の領域ＡＲ４０２とがマッチングされてしまい、前景と感じることはなくなる。
また、Ｌ画像のぼけた領域ＡＬ４０２の背景は、元来、オクルージョン（対応する位置の背景がＲ画像中に存在しない）領域となる可能性が高い領域であるため、ステレオマッチングの相手が存在せず距離感は不定な領域である。
したがって、本変形例の立体撮像装置により上記処理を行った立体画像を立体表示させた場合において、Ｌ画像の被写体オブジェクトの左端部分をぼかしたことによる副作用は認知されにくい。
同様に、本変形例の立体撮像装置で取得される立体画像では、Ｌ画像の領域ＡＬ４０３は、あまりぼけてないため、Ｒ画像のぼけた領域ＡＲ４０３とＬ画像の領域ＡＬ４０３とがマッチングし前景と感じることはなくなる。

また、Ｒ画像のぼけた領域ＡＲ４０３の背景は、同様に元来、オクルージョン領域となる可能性が高い領域あるため、ステレオマッチングされずに距離感は不定となる領域である。
したがって、本変形例の立体撮像装置により上記処理を行った立体画像を立体表示させた場合において、Ｒ画像の被写体オブジェクトの右端部分をぼかしたことによる副作用は生じにくい。

以上のように、本変形例の立体撮像装置では、被写体オブジェクト（例えば、主被写体２０２）の左右のサイドのぼかし具合（ぼかし程度）が異なるようにさえすれば、不適切な視差マッチング（不適切な画像領域が視差マッチングにより同一被写体オブジェクトと認識されてしまうこと）を回避でき、その結果、書き割り現象等が発生することを適切に防止することができる。
つまり、本変形例の立体撮像装置では、被写体オブジェクト（例えば、主被写体２０２）の左右のサイドのぼかし具合（ぼかし程度）が異なるようにさえすればよいので、スムージング処理におけるフィルタ処理の精度の要求が高くない。すなわち、本変形例の立体撮像装置では、スムージング処理において、フィルタ処理の程度に対するマージンを大きくすることができる。その結果、本変形例の立体撮像装置では、立体画像に対して、容易かつ安定な画像補正処理を実行することができる。
なお、本実施形態では、主被写体２０２の輝度が、背景２０１の輝度よりも高い例について図示して説明したが、これに限定されることはない。つまり、本実施形態の立体撮像装置１０００および本実施形態の変形例の立体撮像装置における処理内容と効果とは、被写体の輝度には関係ない。

［第２実施形態］
次に、第２実施形態について、説明する。
第２実施形態の立体撮像装置（立体画像処理装置）２０００は、第１実施形態と同様の効果、目的を持つ立体撮像装置（立体画像処理装置）であり、図１３に、本実施形態の立体撮像装置２０００の概略構成を示す。
本実施形態の立体撮像装置２０００は、第１実施形態の立体撮像装置１０００において、デプス取得部１０３を輪郭抽出部２０に置換し、画像補正部１０４を第２画像補正部２１に置換した構成を有している。この点が、本実施形態の立体撮像装置２０００と第１実施形態の立体撮像装置１０００との相違点であり、それ以外については、本実施形態の立体撮像装置２０００は、第１実施形態の立体撮像装置１０００と同様である。

なお、本実施形態において、第１実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
輪郭抽出部２０は、画像入力部１０２から出力されるＲ画像およびＬ画像を入力とする。輪郭抽出部２０は、画像入力部１０２から出力されるＲ画像およびＬ画像から被写体の輪郭成分を抽出する。そして、輪郭抽出部２０は、後述する処理により抽出した輪郭成分に関する情報（Ｌ画像用共通輪郭画像）を、第２画像補正部２１のＬ画像用画像補正部２１Ｌの第２強度生成部２２に出力し、後述する処理により抽出した輪郭成分に関する情報（Ｒ画像用共通輪郭画像）を、第２画像補正部２１のＲ画像用画像補正部２１Ｒの第２強度生成部２２に出力する。

なお、「抽出した輪郭成分に関する情報」とは、例えば、画像から輪郭成分を抽出することで取得した輪郭成分抽出画像（例えば、エッジ検出画像）や、当該輪郭成分抽出画像（例えば、エッジ検出画像）を形成する画像信号を含む概念である。
輪郭抽出部２０は、画像の横方向（画像の水平方向）における画素値の変化量を主として検出することで、輪郭抽出処理を行うものであり、画像の横方向（水平方向）における画素値の二次微分やラプラシアンなどを用いた様々な公知な手法により、輪郭抽出処理を行う。また、輪郭抽出部２０は、画像の横方向（画像の水平方向）だけでなく、画像の縦方向（画像の垂直方向）や斜め方向における画素値の変化量を検出することで、輪郭抽出処理を行うものであってもよい。また、上記輪郭抽出処理を実行するための画素値の変化量の検出方向は１方向に限定されることはなく、複数方向であってもよい。

また、さらに高精度な輪郭抽出手法が提案されており、輪郭抽出部２０は、これらを用いて、輪郭抽出処理を行うものであってもよい。要するに、輪郭抽出ができる方法であれば、輪郭抽出部２０での輪郭抽出処理において、どのようなものを用いても構わない。
また、輪郭抽出部２０は、書き割り現象の発生を軽減したい被写体（これは多くの場合主被写体であることが多い）の輪郭だけを抽出する機能を有する。輪郭抽出部２０は、例えば、図示しない方法で指示された主被写体のＲ画像上の輪郭とＬ画像上の輪郭とが、重なるように輪郭画像Ｒ（Ｒ画像から輪郭成分を抽出した結果、取得された輪郭画像Ｒ）と輪郭画像Ｌ（Ｌ画像から輪郭成分を抽出した結果、取得された輪郭画像Ｌ）とを横方向（画像の水平方向）にシフトする。このとき、輪郭抽出部２０は、例えば、公知の相関判定法を用いて、主被写体のＲ画像上の輪郭とＬ画像上の輪郭との重なり具合を判定する。

そして、輪郭抽出部２０は、輪郭画像Ｒの主被写体の輪郭と輪郭画像Ｌの主被写体の輪郭とが最も重なった状態で、輪郭画像Ｒと輪郭画像Ｌとの共通部を抜き出す。例えば、輪郭が「０」から「２５５」のグレースケール（強い輪郭ほど大きな値をとるものとする）で表されている場合（輪郭画像Ｒおよび輪郭画像Ｌの画素値が「０」から「２５５」（８ビットのデータ）である場合）、輪郭画像Ｒの主被写体の輪郭と輪郭画像Ｌの主被写体の輪郭とが最も重なった状態で、同一座標位置において、輪郭画像Ｒの画素値と輪郭画像Ｌの画素値とのうちの最小値を取ることにより共通輪郭の抽出が可能になる。つまり、輪郭画像Ｒの主被写体の輪郭と輪郭画像Ｌの主被写体の輪郭とが最も重なった状態となるように輪郭画像Ｒおよび輪郭画像Ｌを重ね合わせた画像において、座標位置（ｘ，ｙ）における輪郭画像Ｒの画素値をＲ１（ｘ，ｙ）とし、座標位置（ｘ，ｙ）における輪郭画像Ｌの画素値をＬ１（ｘ，ｙ）とすると、
（１）Ｒ１（ｘ，ｙ）＞Ｌ１（ｘ，ｙ）のとき、
Ｍｉｎ（ｘ，ｙ）＝Ｌ１（ｘ，ｙ）
（２）Ｒ１（ｘ，ｙ）≦Ｌ１（ｘ，ｙ）のとき、
Ｍｉｎ（ｘ，ｙ）＝Ｒ１（ｘ，ｙ）
により、輪郭画像Ｒの画素値と輪郭画像Ｌの画素値とのうちの最小値Ｍｉｎ（ｘ，ｙ）を取る。

そして、上記処理により取得した最小値Ｍｉｎ（ｘ，ｙ）を、座標位置（ｘ，ｙ）の画素値とすることで、共通輪郭部分の抽出処理を行うことができる。
この処理により、主被写体とデプス値の異なる輪郭は、輪郭画像Ｒの主被写体の輪郭と輪郭画像Ｌの主被写体の輪郭とが最も重なった状態となるように輪郭画像Ｒおよび輪郭画像Ｌを重ね合わせた画像において、輪郭画像Ｒと輪郭画像Ｌとで位置がずれているため、消去される。（主被写体とデプス値の異なる輪郭は、輪郭画像Ｒの主被写体の輪郭と輪郭画像Ｌの主被写体の輪郭とが最も重なった状態となるように輪郭画像Ｒおよび輪郭画像Ｌを重ね合わせた画像において、輪郭画像Ｒと輪郭画像Ｌとで位置がずれているため、上記最小値Ｍｉｎ（ｘ，ｙ）が「０」に近い値となるため、主被写体とデプス値の異なる輪郭は、消去されることになる。）
もし、おおよそのデプス情報（デプス値）が分かるのであれば、輪郭抽出部２０において、当該デプス情報（デプス値）に基づいた処理を行うことで、デプス値の異なる輪郭のさらなる消去も可能である。

上記処理の後、さらに、残った主被写体の輪郭の内、主被写体の輪郭オブジェクトの内部に位置していると推定される輪郭は消去する方が望ましい。例えば、輪郭抽出部２０において、主被写体の輪郭の左端のものと右端のものを残し、その中間の領域に位置する輪郭を消去する、あるいは、当該輪郭成分を弱める（当該輪郭を形成する部分の画素値を小さくする）処理を行うことも可能である。
また、輪郭抽出部２０において、Ｒ画像とＬ画像の色合いを調べ、例えば、色相、彩度、明度等により色合いの変化を検出し、色合いが変化している画像領域の輪郭を残し、色合いが変化していない画像領域の輪郭を消去する、あるいは、当該輪郭成分を弱める（当該輪郭を形成する部分の画素値を小さくする）処理を行うことも可能である。
さらに、輪郭抽出部２０において、より高度で精度の高い方法として知られている人物検出処理を行い、当該人物検出処理の結果を参照し、人物の端の輪郭以外を消去する、あるいは、当該輪郭成分を弱める（当該輪郭を形成する部分の画素値を小さくする）処理を行うことも可能である。

以上の処理により、輪郭抽出部２０は、共通輪郭部分を抽出した画像（これを「共通輪郭画像」という。）を取得する。そして、輪郭抽出部２０は、取得した共通輪郭画像の画素の座標位置が画像入力部１０２から出力されるＬ画像の画素の座標位置と一致するようにシフトさせたＬ画像用共通輪郭画像を取得する。また、輪郭抽出部２０は、取得した共通輪郭画像の画素の座標位置が画像入力部１０２から出力されるＲ画像の画素の座標位置と一致するようにシフトさせたＲ画像用共通輪郭画像を取得する。
そして、輪郭抽出部２０は、Ｌ画像用共通輪郭画像を第２画像補正部２１のＬ画像用画像補正部２１Ｌの第２強度生成部２２に出力し、Ｒ画像用共通輪郭画像を第２画像補正部２１のＲ画像用画像補正部２１Ｒの第２強度生成部２２に出力する。

図１４に、第２画像補正部２１の構成を示す。図１４に示すように、第２画像補正部２１は、Ｌ画像用画像補正部２１Ｌと、Ｒ画像用画像補正部２１Ｒと、を備える。
図１４においても、図２の画像補正部１０４と同様の部分については、同一符号を付し、詳細な説明を省略する。
第２強度生成部２２は、輪郭抽出部２０から出力されるＬ画像用共通輪郭画像を入力とする。第２強度生成部２２は、前述の輪郭抽出部２０から入力されるＲ画像用共通輪郭画像あるいはＬ画像用共通輪郭画像の輪郭情報のレベル（Ｒ画像用共通輪郭画像あるいはＬ画像用共通輪郭画像の画素値）を調整し正規化する。例えば、第２強度生成部２２は、入力されるＲ画像用共通輪郭画像を形成する画像信号あるいはＬ画像用共通輪郭画像を形成する画像信号を、［０：１］の範囲の信号に正規化する。

そして、Ｌ画像用画像補正部２１Ｌの第２強度生成部２２により正規化された信号は、Ｌ画像用強度信号Ｋ１＿Ｌとして、合成部１３３に出力される。
Ｌ画像用画像補正部２１Ｌの合成部１３３では、Ｌ画像用画像補正部２１Ｌの第２強度生成部２２から出力されたＬ画像用強度信号Ｋ１＿Ｌに基づいて、スムージング部１３１から出力されるＬ画像信号ＳＳ＿Ｌと、画像入力部１０２から出力されるＬ画像信号ＩＳ＿Ｌとを合成する。
具体的には、合成部１３３では、次式のように、［０：１］の範囲に正規化された信号であるＬ画像用強度信号Ｋ１＿Ｌを内分比として、Ｌ画像信号ＩＳ＿Ｌと、スムージング処理が実行されたＬ画像信号ＳＳ＿Ｌとが合成されて出力Ｌ画像信号Ｌｏｕｔが生成される。

なお、第２強度生成部２２では、最も強い輪郭（共通輪郭画像における最大の画素値）が値「１」を取るようにゲイン調節し正規化することで、Ｌ画像用強度信号Ｋ１＿Ｌが生成されている。
Ｌｏｕｔ＝（１−Ｋ１＿Ｌ）×ＩＳ＿Ｌ＋Ｋ１＿Ｌ×ＳＳ＿Ｌ
このようにして、合成部１３３により合成された画像信号は、Ｌ出力画像として出力される。

したがって、本実施形態の立体撮像装置２０００では、上記処理を実行することで、主被写体の輪郭付近はスムージングされた信号が出力されるため、本実施形態の立体撮像装置２０００により処理された立体画像は、輪郭付近のみ選択的にぼかされた立体画像となる。その結果、本実施形態の立体撮像装置２０００により取得される立体画像は、書き割り現象等の発生を抑制した立体画像となる。
なお、上記では、Ｌ画像についての処理（Ｌ画像用画像補正部２１Ｌの処理）について説明したが、Ｒ画像についての処理（Ｒ画像用画像補正部２１Ｒの処理）も同様である。
また、「端部分領域検出部」は、Ｌ画像の処理については、輪郭抽出部２０およびＬ画像用画像補正部２１Ｌの第２強度生成部２２により実現され、Ｒ画像の処理については、輪郭抽出部２０およびＲ画像用画像補正部２１Ｒの第２強度生成部２２により実現される。

［他の実施形態］
なお、上記実施形態で説明した立体撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る立体撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕｅ−ｒａｙ Ｄｉｓｃ）、半導体メモリを挙げることができる。

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
また、上記実施形態では、２つの撮像部により、ステレオ画像（左眼用画像および右眼用画像）を取得（撮像）している場合について説明した。しかし、これに限定されることはなく、例えば、１つの撮像素子により、左眼用画像と右眼用画像とを時分割で交互に取得するようにしてもよいし、また、１つの撮像素子の撮像素子面を２分割して、左眼用画像と右眼用画像とを取得するようにしてもよい。

また、上記実施形態において、画像入力部１０２には、Ｒ画像およびＬ画像が入力される構成について説明したが、これに限定されることはなく、例えば、多視点方式により取得されたＮ枚（Ｎは２以上の自然数）の画像から、Ｒ画像およびＬ画像を選択し、選択したＲ画像（信号）およびＬ画像（信号）を、画像入力部１０２に入力するようにしてもよい。
また、立体画像処理装置において、Ｒ画像およびＬ画像は、必ずしも内部で取得されなくてもよい。例えば、Ｒ画像およびＬ画像は、外部から立体画像処理装置に入力されるものであってもよい。

さらに、立体画像処理装置において、Ｒデプス情報およびＬデプス情報も、必ずしも内部で取得されなくてもよい。例えば、Ｒデプス情報およびＬデプス情報は、外部から立体画像処理装置に入力されるものであってもよい。この場合、立体画像処理装置において、デプス取得部１０３を省略することができる。つまり、立体画像処理装置が、画像補正部１０４のみを備えるものであってもよい。
また、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

本発明に係る立体画像処理装置および立体画像処理方法によれば、いかなる要因で発生した書き割り現象であっても、被写体の立体感・厚み感を復元し、書き割り感の少ない高品位な立体画像を取得することができる。したがって、本発明は、立体画像（立体映像）関連分野において有用であり、当該分野において、実施することができる。

１０００、２０００ 立体撮像装置（立体画像処理装置）
１０１Ｒ 第１撮像部
１０１Ｌ 第２撮像部
１０２ 画像入力部
１０３ デプス取得部
１０４ 画像補正部
１０５ 制御部
１０４Ｌ、２１Ｌ Ｌ画像用画像補正部
１０４Ｒ、２１Ｒ Ｒ画像用画像補正部
１３ 輪郭補正部
１３１ スムージング部
１３２ 強度生成部
１３３ 合成部
２０ 輪郭抽出部
２１ 第２画像補正部
２２ 第２強度生成部

本発明は、立体画像（３次元立体画像）の品位を高める技術に関するものであり、立体撮像を行うカメラ（撮像装置）、立体画像（立体映像）を表示するディスプレイ装置、立体画像（立体映像）を処理する画像処理装置など、立体画像（立体映像）を扱う幅広い機器に応用できる技術に関する。

立体画像（左眼用画像および右眼用画像）を、独立して左右の目に投影できる表示装置（以下、「立体表示装置」という。）に表示することにより、立体画像を再現させるために、両眼視差が存在する状態で立体画像（左眼用画像および右眼用画像）を撮像する立体撮像装置が知られている。
立体撮像において、遠景（遠景の被写体）や近景（近景の被写体）が大きな視差を持つ状態で取得された立体画像（左眼用画像および右眼用画像）は、人間が立体視する際の融像限界を超え立体視が困難な画像になる、あるいは、当該立体画像を見ている人間に疲労感を生じさせる画像（疲れる画像）になる。このような不良な立体画像の生成を避けるために、視差調整やステレオベース調整（以下、「ＳＢ調整」という。）を行うことで、良好な立体画像を得る技術があり、このような技術は、映画などの本格的な立体撮影において広く用いられている。

視差調整は、主に遠景（遠景の被写体）が融像限界を超える場合に用いられる技術で、遠景までの距離を非線形に圧縮するように視差調整することで、立体視する際に見にくかった遠景（遠景の被写体）を近づけ、立体視する際に見やすい立体画像（立体視が容易な立体画像）を取得することができる。
また、ステレオベース調整は、２台のカメラ（左眼用画像撮像用のカメラおよび右眼用画像撮像用のカメラ）の間隔を近づけることにより（ステレオベース（基線長）を小さくすることにより）、視差のダイナミックレンジを小さくすることができる。このため、上記のようにステレオベース調整を行った後、立体撮像を行うことで、近景（近景の被写体）から遠景（遠景の被写体）までの全体が融像域内に入る立体画像を取得することができる。

また、立体画像を小さなサイズのディスプレイ装置に表示した場合も、立体画像（左眼用画像および右眼用画像）の視差が小さくなるため、遠景が圧縮される。したがって、この場合、小さなサイズのディスプレイ装置に表示される立体画像は、見やすい立体画像となる。
立体撮像において、上記撮影技術（視差調整、ステレオベース調整）を駆使することにより、所定の表示環境において立体表示させたとき、十分見やすい画像（立体視しやすい立体画像）となる立体画像を撮影することができる（例えば、特許文献１参照）。

特開平８−９４２１号公報

しかしながら、上記従来技術では、立体視の融像限界を考慮して、望ましい視差を減らすことにより（立体撮像の対象である被写体が立体視の融像域内に入るように、視差を本来の値から減少させることにより）、見やすい立体画像（立体視しやすい立体画像）を取得している訳であるから、立体画像における立体感・遠近感の自然さの観点では望ましいものではない。したがって、上記従来技術（視差調整、ステレオベース調整による技術）により取得される立体画像は、立体画像の品位について問題がある。

視差調整による技術では、見やすい（立体視しやすい）立体画像を取得することはできるが、遠景までの距離が非線形に圧縮されることになるので、視差調整を行った立体画像では、奥行きが平板になる現象（遠景の被写体の厚み感が減少し、平板状の立体像として知覚される現象）が発生する。
また、ＳＢ調整による技術では、取得される立体画像において、全体的に遠近感が少なくなるため（最近点から最遠点までの距離が小さくなるため）、個々の被写体の立体感が低下する現象が発生する。

したがって、上記従来技術を用いた場合、何れの場合も、取得される立体画像は、立体感・遠近感の乏しい品位の低い画像になりがちである。
また、上記従来技術を用いた場合に発生する立体感の圧縮・低下に伴い、いわゆる「書き割り現象」が生じることがある。
「書き割り現象」とは、立体画像において、例えば、前景の人物などの主要な被写体の厚みが薄くなり、板に描いた平面的な絵のように見える現象のことである。

この書き割り現象が重要な主被写体で発生すると、立体画像の品位は極端に低下する。
また、書き割り現象は、上記従来技術のように視差調整を行うことにより立体画像における立体感の圧縮・低下が発生することを唯一の原因として生じるものではない。撮影条件（撮影状況）によっては、理想的な無歪みの立体撮影（立体感の圧縮・低下のない立体画像を撮像する撮影）においても、書き割り現象が発生することがある。

このように、書き割り現象は、視覚的な現象であり、書き割り現象を発生させる全ての原因が完全に解明されているわけではない。ただ、どのような要因で発生した書き割り現象であっても、立体画像の品位を損なうことには変わりが無い。
本発明は、上記問題点に鑑み、いかなる要因で発生した書き割り現象であっても、被写体の立体感・厚み感を復元し、書き割り感の少ない高品位な立体画像が得られる立体画像処理装置、立体画像処理方法およびプログラムを実現することを目的とする。

第１の発明は、２眼方式または多視点方式による立体画像に含まれる左眼用画像および右眼用画像に対して画像補正処理を行う立体画像処理装置であって、端部分領域検出部と、輪郭補正部と、を備える。
端部分領域検出部は、左眼用画像および右眼用画像から、左眼用画像および右眼用画像に含まれる被写体の左側の輪郭を含む領域および当該被写体の右側の輪郭を含む領域のうち何れか一方または両方の領域を端部分領域として検出する。

輪郭補正部は、端部分領域検出部が検出した被写体の端部分領域のうち少なくとも一端の領域に対して平滑化処理を実行する。
この立体画像処理装置では、左眼用画像および／または右眼用画像上における被写体の端部分領域を検出し、検出した被写体の端部分領域のうち少なくとも一端の領域に対して平滑化処理が実行される。その結果、この立体画像処理装置では、左眼用画像および右眼用画像において、被写体の端部分領域が不適切に視差マッチングされることで発生する立体感・遠近感の品質低下（例えば、書き割り現象、磨りガラスまとわりつき現象等による品質低下）を適切に防止することができる。

したがって、この立体画像処理装置により取得される立体画像は、書き割り現象等の発生を抑制し、被写体の立体感・厚み感を復元し、高品位な立体画像となる。
なお、「平滑化処理」とは、画像信号の信号波形を平滑化する処理のことをいう。「平滑化処理」には、例えば、当該画像信号から、（１）高周波成分を除去する処理、（２）シュート成分を除去する処理、（３）リンギング成分を除去する処理、（４）ジャギー成分を除去する処理等が含まれる。

第２の発明は、第１の発明であって、端部分領域検出部は、左眼用画像および右眼用画像から、左眼用画像および右眼用画像に含まれる被写体についての３次元空間での距離情報を取得し、左眼用距離画像および右眼用距離画像を取得するデプス取得部を備える。
そして、端部分領域検出部は、デプス取得部が取得した被写体の前記距離情報に基づいて、左眼用画像および／または右眼用画像上における被写体の端部分領域を検出する。

この立体画像処理装置では、被写体の距離情報（デプス値）に基づいて、左眼用画像および／または右眼用画像上における被写体の端部分領域を検出し、検出した被写体の端部分領域のうち少なくとも一端の領域に対して、平滑化処理（例えば、高周波成分を除去する処理）が実行される。その結果、この立体画像処理装置では、左眼用画像および右眼用画像において、被写体の端部分領域が不適切に視差マッチングされることで発生する立体感・遠近感の品質低下（例えば、書き割り現象、磨りガラスまとわりつき現象等による品質低下）を適切に防止することができる。

したがって、この立体画像処理装置により取得される立体画像は、書き割り現象等の発生を抑制し、被写体の立体感・厚み感を復元し、高品位な立体画像となる。
なお、「３次元空間での距離情報」とは、例えば、左眼用画像または右眼用画像を立体撮影したと仮定したときの第１視点（例えば、左眼用画像を取得するときの左眼視点）または第２視点（例えば、右眼用画像を取得するときの右眼視点）に相当する３次元空間内の点（撮影点）と、左眼用画像上の画素である第１画素と、第１画素に対応する右眼用画像上の画素である第２画素に対応する３次元空間（左眼用画像または右眼用画像を立体撮影したと仮定したときの撮影空間）内の点までの距離のことをいう。

また、「被写体についての３次元空間での距離情報」（被写体の距離に関する情報である距離情報）とは、被写体距離と相関のある情報のことをいう。
「被写体距離」とは、撮像部の撮像素子（例えば、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ）面上に焦点を結んでいる物体からカメラ（立体撮像装置）までの距離をいい、物点距離と、共役距離（物像間距離）を含む概念である。また、「被写体距離」は、立体撮像装置から被写体までの概略の距離を含む概念であり、例えば、（１）立体撮像装置の光学系のレンズ全体（第１視点用レンズおよび／または第２視点用レンズ）の重心位置から被写体までの距離、（２）撮像部の撮像素子の撮像素子面から被写体までの距離、（３）立体撮像装置の重心（あるいは中心）から被写体までの距離、（４）第１視点および第２視点を結ぶ線分から被写体までの距離等を含む概念である。

第３の発明は、第１の発明であって、端部分領域検出部は、左眼用画像および右眼用画像から、左眼用画像および右眼用画像に含まれる被写体の輪郭を抽出する輪郭抽出部を備える。
そして、端部分領域検出部は、輪郭抽出部が抽出した左眼用画像および右眼用画像の輪郭情報に基づいて、左眼用画像および／または右眼用画像上における被写体の端部分領域を検出する。

この立体画像処理装置では、輪郭抽出部により抽出された被写体の輪郭に基づいて、左眼用画像および／または右眼用画像上における被写体の端部分領域を検出し、検出した被写体の端部分領域のうち少なくとも一端の領域に対して、平滑化処理（例えば、高周波成分を除去する処理）が実行される。その結果、この立体画像処理装置では、左眼用画像および右眼用画像において、被写体の端部分領域が不適切に視差マッチングされることで発生する立体感・遠近感の品質低下（例えば、書き割り現象、磨りガラスまとわりつき現象等による品質低下）を適切に防止することができる。
したがって、この立体画像処理装置により取得される立体画像は、書き割り現象等の発生を抑制し、被写体の立体感・厚み感を復元し、高品位な立体画像となる。

第４の発明は、第１の発明であって、端部分領域検出部は、被写体の左側の輪郭を含む領域を左端部分領域として検出し、さらに被写体の右側の輪郭を含む領域を右端部分領域として検出する。

輪郭補正部は、
（１）左眼用画像上の左端部分領域に対して、平滑化処理を実行し、
（２）右眼用画像上の右端部分領域に対して、平滑化処理を実行する。
この立体画像処理装置では、オクルージョン領域となりやすい領域に対して、平滑化処理（例えば、高周波成分を除去する処理）が実行されるので、オクルージョン領域となりやすい領域の輪郭部分がぼかされる。その結果、この立体画像処理装置では、左眼用画像および右眼用画像において、被写体の端部分領域が不適切に視差マッチングされることで発生する立体感・遠近感の品質低下（例えば、書き割り現象、磨りガラスまとわりつき現象等による品質低下）を適切に防止することができる。
したがって、この立体画像処理装置により取得される立体画像は、書き割り現象等の発生を抑制し、被写体の立体感・厚み感を復元し、高品位な立体画像となる。

第５の発明は、第１の発明であって、端部分領域検出部は、被写体の左側の輪郭を含む領域を左端部分領域として検出し、さらに被写体の右側の輪郭を含む領域を右端部分領域として検出する。

輪郭補正部は、
（１）左眼用画像上の左端部分領域に対して、第１強度で、平滑化処理を実行し、左眼用画像上の右端部分領域に対して、第１強度より弱い強度である第２強度で、平滑化処理を実行し、
（２）右眼用画像上の右端部分領域に対して、第３強度で、平滑化処理を実行し、右眼用画像上の左端部分領域に対して、第３強度より弱い強度である第４強度で、平滑化処理を実行する。

この立体画像処理装置では、オクルージョン領域となりやすい領域について、より強く、平滑化処理（例えば、高周波成分を除去する処理）が実行されるので、オクルージョン領域となりやすい領域の輪郭部分が、オクルージョン領域となりにくい領域の輪郭部分に比べて、強くぼかされる。その結果、この立体画像処理装置では、左眼用画像および右眼用画像において、被写体の端部分領域が不適切に視差マッチングされることで発生する立体感・遠近感の品質低下（例えば、書き割り現象、磨りガラスまとわりつき現象等による品質低下）を適切に防止することができる。

したがって、この立体画像処理装置により取得される立体画像は、書き割り現象等の発生を抑制し、被写体の立体感・厚み感を復元し、高品位な立体画像となる。
第６の発明は、２眼方式または多視点方式による立体画像に含まれる左眼用画像および右眼用画像に対して画像補正処理を行う立体画像処理方法である。立体画像処理方法では、以下の処理が実行される。
（１）左眼用画像および右眼用画像から、左眼用画像および右眼用画像に含まれる被写体の左側の輪郭を含む領域および当該被写体の右側の輪郭を含む領域のうち何れか一方または両方の領域を端部分領域として検出する処理。
（２）検出した被写体の端部分領域のうち少なくとも一端の領域を平滑化する処理。

これにより、第１の発明と同様の効果を奏する画像処理方法を実現することができる。

本発明によれば、いかなる要因で発生した書き割り現象であっても、被写体の立体感・厚み感を復元し、書き割り感の少ない高品位な立体画像を取得することができる。

撮影環境（撮影シーン）を含めた第１実施形態の立体撮像装置１０００の概略構成図 第１実施形態の画像補正部１０４の構成図 撮影環境と被写体についての説明図 視差マッチングによる第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）の取得方法を説明するための図 第１実施形態における強度生成部１３２の信号波形図 第１実施形態における強度生成部の処理フローチャート 第１実施形態の立体撮像装置による処理結果を説明するための図 撮影シーン２００を立体撮影して取得した立体画像において、輪郭が過度にぼけた状態の処理結果の一例を示す図。 第１実施形態の変形例における強度生成部１３２の信号波形図 第１実施形態の変形例における強度生成部の処理フローチャート 第１実施形態の変形例の立体撮像装置による処理結果を説明するための図 第１実施形態の変形例における強度生成部１３２の信号波形図 第２実施形態の立体撮像装置１０００の概略構成図 第２実施形態の画像補正部２０１の構成図

以下、本発明の実施形態について、図面を参照しながら説明する。
［第１実施形態］
第１実施形態では、立体画像処理装置として、２眼方式の立体撮像装置（デジタルカメラやビデオカメラなど）を例に、以下、説明する。
一般に、被写体を立体撮影して取得されたＲ画像およびＬ画像は、それぞれ、カメラ信号処理の中でアパーチャー補正（輪郭強調）が実行された後に取得されたものである。通常の二次元画像では、少々のリンギング（オーバーシュート、アンダーシュート等）は、画質の品位へ悪影響を及ぼすことは少なく、二次元画像の解像度感を高めることができるため、二次元画像の高画質化処理として積極的に利用されている。

しかし、これらの二次元画像に対して有効であった処理を、立体撮像装置により立体撮影を行って取得された立体画像（Ｒ画像およびＬ画像）に対して行うと、処理後の立体画像（Ｒ画像およびＬ画像）は、被写体オブジェクトの周りが不自然な輪郭線に囲まれ、合成画像の様に見える画像になることがある。その結果、このような処理がなされた立体画像（Ｒ画像およびＬ画像）は、書き割り感が非常に強い立体画像になる。

立体画像（Ｒ画像およびＬ画像）に、はっきり目立つリンギングが無い場合でも、立体画像（Ｒ画像およびＬ画像）に、解像感が高く輪郭の輝度傾斜が急で、いわゆる二値的でコントラストの強い輪郭を含まれる場合や、立体画像（Ｒ画像およびＬ画像）に対して、解像感を高める処理を行ったため、立体画像（Ｒ画像およびＬ画像）にエイリアシングが発生しジャギーがある輪郭が含まれる場合には、当該立体画像（Ｒ画像およびＬ画像）を立体表示させたとき、やはり書き割り感の強い画像に見える。

このように、被写体オブジェクトの輪郭に対する要求が立体画像では二次元画像と異なる。
本実施形態は、上記課題に対する解決を提示するものである。つまり、本実施形態は、立体画像（Ｒ画像およびＬ画像）に対して、被写体オブジェクト境界領域の輪郭のぼかし処理やジャギー除去処理や輪郭付近のリンギングやシュート（オーバーシュート、アンダーシュート等）の除去処理などを行うことにより、輪郭を立体画像にふさわしいものに補正し上記課題の解決を図るものである。

＜１．１：立体撮像装置の構成＞
図１に、第１実施形態に係る立体撮像装置１０００の概略図を示す。なお、図１では、立体撮像装置１０００とともに、立体撮像装置１０００で撮像するシーン２００（撮像シーン２００）を模式的に図示している。
立体撮像装置１０００は、図１に示すように、第１視点から被写体光を集光し第１画像信号（例えば、右眼用画像信号（Ｒ画像信号））を取得する第１撮像部１０１Ｒと、第２視点から被写体光を集光し第２画像信号（例えば、左眼用画像信号（Ｌ画像信号））を取得する第２撮像部１０１Ｌと、第１画像信号（例えば、Ｒ画像信号）および第２画像信号（例えば、Ｌ画像信号）を、それぞれ、デジタル信号に変換する画像入力部１０２と、を備える。

また、立体撮像装置１０００は、デジタル信号に変換された第１画像信号（例えば、Ｒ画像信号）および第２画像信号（例えば、Ｌ画像信号）から、それぞれ、被写体距離情報を算出し、第１デプス情報（例えば、Ｒデプス情報）および第２デプス情報（例えば、Ｌデプス情報）として出力するデプス取得部１０３と、第１デプス情報（例えば、Ｒデプス情報）および第２デプス情報（例えば、Ｌデプス情報）を用いて、第１画像信号（例えば、Ｒ画像信号）および第２画像信号（例えば、Ｌ画像信号）に画像補正処理を行う画像補正部１０４と、を備える。

また、立体撮像装置１０００は、図１に示すように、上記各機能部を制御する制御部１０５を備える。なお、制御部１０５と、立体撮像装置１０００の各機能部とは、相互に直接接続されていてもよいし、あるいは、相互にバスを介して接続されていてもよい。
なお、説明便宜のため、第１撮像部１０１Ｒにより右眼用画像（映像）が撮像され、第２撮像部１０１Ｌにより左眼用画像（映像）が撮像されるものとして、以下、説明する。

第１撮像部１０１Ｒは、第１視点に設置されており、被写体光を集光する光学系と、集光した被写体光から光電変換により第１画像信号（右眼用画像信号（Ｒ画像信号））を取得する撮像素子と、を備える。そして、第１撮像部１０１Ｒは、取得した第１画像信号（Ｒ画像信号）を画像入力部１０２に出力する。
第２撮像部１０１Ｌは、第１視点とは異なる位置である第２視点に設置されており、被写体光を集光する光学系と、集光した被写体光から光電変換により第２画像信号（左眼用画像信号（Ｌ画像信号））を取得する撮像素子と、を備える。そして、第２撮像部１０１Ｌは、取得した第２画像信号（Ｌ画像信号）を画像入力部１０２に出力する。

画像入力部１０２は、第１撮像部１０１Ｒにより取得された第１画像信号（Ｒ画像信号）を入力とし、入力された第１画像信号に対して、Ａ／Ｄ変換を行い、Ａ／Ｄ変換した第１画像信号（Ｒ画像信号）をデプス取得部１０３および画像補正部１０４に出力する。
また、画像入力部１０２は、第２撮像部１０１Ｌにより取得された第２画像信号（Ｌ画像信号）を入力とし、入力された第２画像信号に対して、Ａ／Ｄ変換を行い、Ａ／Ｄ変換した第２画像信号（Ｌ画像信号）をデプス取得部１０３および画像補正部１０４に出力する。

デプス取得部１０３は、画像入力部１０２から出力される第１画像信号（Ｒ画像信号）および第２画像信号（L画像信号）を入力とする。デプス取得部１０３は、第１画像信号（Ｒ画像信号）により形成される第１画像（Ｒ画像）および第２画像信号（L画像信号）から形成される第２画像（Ｌ画像）から、第１画像（Ｒ画像）用のデプス情報である第１デプス情報（Ｒデプス情報）および第２画像（Ｌ画像）用のデプス情報である第２デプス情報（Ｌデプス情報）を取得する。そして、デプス取得部１０３は、取得した第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）を画像補正部１０４に出力する。

なお、デプス情報の取得は、例えば、視差マッチングにより取得することが好ましい。
画像補正部１０４は、図２に示すように、Ｌ画像用画像補正部１０４Ｌと、Ｒ画像用画像補正部１０４Ｒとを備える。画像補正部１０４は、画像入力部１０２から出力される第１画像信号（Ｒ画像信号）および第２画像信号（L画像信号）と、デプス取得部１０３から出力される第１デプス情報（Ｒデプス情報）および第２デプス情報（Lデプス情報）と、を入力とする。画像補正部１０４は、第１デプス情報（Ｒデプス情報）に基づいて、第１画像信号（Ｒ画像信号）に補正処理を行い、補正処理後の第１画像信号（Ｒ画像信号）を出力する。また、画像補正部１０４は、第２デプス情報（Lデプス情報）に基づいて、第２画像信号（L画像信号）に補正処理を行い、補正処理後の第２画像信号（Ｌ画像信号）を出力する。

Ｌ画像用画像補正部１０４Ｌは、図２に示すように、輪郭補正部１３と、強度生成部１３２と、を備える。
輪郭補正部１３は、図２に示すように、スムージング部１３１と、合成部１３３と、を含む。
スムージング部１３１は、画像入力部１０２から出力される第２画像信号（L画像信号）ＩＳ＿Ｌを入力とし、入力された第２画像信号（L画像信号）ＩＳ＿Ｌに対して、スムージング処理を行う。そして、スムージング部１３１は、スムージング処理を行った第２画像信号（L画像信号）ＳＳ＿Ｌを合成部１３３に出力する。

合成部１３３は、画像入力部１０２から出力される第２画像信号（L画像信号）ＩＳ＿Ｌと、スムージング部１３１から出力されるスムージング処理後の第２画像信号（L画像信号）ＳＳ＿Ｌと、強度生成部１３２から出力される強度信号Ｋ１＿Ｌと、を入力とする。合成部１３３は、強度信号Ｋ１＿Ｌに基づいて、第２画像信号（L画像信号）ＩＳ＿Ｌと、スムージング処理後の第２画像信号（L画像信号）ＳＳ＿Ｌと、を合成し、合成後の信号を、第２画像信号（L画像信号）Ｌｏｕｔとして、出力する。

強度生成部１３２は、デプス取得部１０３から出力される第２デプス情報（Lデプス情報）を入力とし、第２デプス情報（Lデプス情報）から強度信号Ｋ１＿Ｌを生成する。そして、強度生成部１３２は、生成した強度信号Ｋ１＿Ｌを輪郭補正部１３の合成部１３３に出力する。
以上のようにして、Ｌ画像用画像補正部１０４Ｌが構成される。

なお、Ｒ画像用画像補正部１０４Ｒは、Ｌ画像用画像補正部１０４Ｌと同様の構成を有しており、入力される信号が、Ｒ画像信号およびＲデプス情報である点だけが、Ｌ画像用画像補正部１０４Ｌとは相違する。
制御部１０５は、図１に示すように、第１撮像部１０１Ｒ、第２撮像部１０１Ｌ、画像入力部１０２、デプス取得部１０３、および、画像補正部１０４と、双方向に必要な信号をやり取りできるように接続されている。制御部１０５は、所定のタイミングで、Ｒ画像信号、Ｌ画像信号に対する信号処理や、データ読み出し／書き込み処理が実行されるように、所定の制御信号（駆動信号や同期信号等）により、立体撮像装置１０００の上記各機能部を制御する。

なお、「端部分領域検出部」は、Ｌ画像の処理については、デプス取得部１０３およびＬ画像用画像補正部１０４Ｌの強度生成部１３２により実現され、Ｒ画像の処理については、デプス取得部１０３およびＲ画像用画像補正部１０４Ｒの強度生成部１３２により実現される。

＜１．２：立体撮像装置の動作＞
以上のように構成された立体撮像装置１０００の動作について、以下、説明する。

図１において、撮影シーン２００は、背景２０１と、前景２０２とを含む。そして、前景２０２が主被写体である。このような図１に示した撮影シーン（図３に示した撮影シーン）を立体撮像装置１０００で立体撮像する場合を例に、以下、立体撮像装置１０００の動作について、説明する。
また、図３は、立体撮像装置１０００を用いて立体撮影を行う場合の撮影環境と被写体との関係（一例）を模式的に示した図であり、図１の撮影シーンを上から見た図である。図３（ａ）は、撮影環境（撮影シーン）２００と、第１撮像部１０１Ｒおよび第２撮像部１０１Ｌとを上から見た図である。撮影環境（撮影シーン）２００では、前景の主被写体２０２、および、背景の被写体２０１は、図３（ａ）に示すような位置関係となっている。なお、説明を簡単にするため、背景の被写体２０１は、絵が描かれた壁のようなものとしているが、このような被写体に限定されず、例の被写体であってもよいことは言うまでもない。

図３（ｂ）は、背景の被写体２０１に描かれている絵の輝度分布を表しており、図３（ｃ）は、前景の主被写体２０２を立体撮像装置１０００側（カメラ側）から見た正面の輝度分布を表している。
なお、図３（ｂ）、（ｃ）において、横軸は水平方向の位置であり、縦軸は輝度を示している。

なお、説明を簡単にするため、立体撮像装置１０００の第１撮像部１０１Ｒが撮影する画角の中心線（図３の１０１Ｒから出ている一点鎖線）と第２撮像部１０１Ｌが撮影する画角の中心線（図３の１０１Ｌから出ている一点鎖線）とは、背景２０１の配置されている距離（ｄ２）で交差するように輻輳角を設定している。
また、前景２０２（主被写体２０２）は、例えば、立体的な丸みを持ったオブジェクト（例えば、上から見たときに所定の幅を有する略楕円形のオブジェクト（例えば、人物））であるものとする。

なお、説明便宜のために、輻輳角を上記のように設定したが、上記に限定されず、輻輳角を他の角度に設定してもよい。
撮像シーン２００からの被写体光は、第１視点に配置された第１撮像部１０１Ｒで集光され、第１撮像部１０１Ｒの撮像素子により、第１画像信号（Ｒ画像信号）に変換される。同様に、撮像シーン２００からの被写体光は、第２視点に配置された第２撮像部１０１Ｌで集光され、第２撮像部１０１Ｌの撮像素子により、第２画像信号（Ｌ画像信号）に変換される。

なお、第１撮像部１０１Ｒおよび第２撮像部１０１Ｌは、立体撮像装置１０００において立体画像（左眼用画像および右眼用画像）を取得できるように、基線長（ステレオベース長）分だけ離して配置されている。
第１撮像部１０１Ｒから出力された第１画像信号（Ｒ画像信号）および第２撮像部１０１Ｌから出力された第２画像信号（Ｌ画像信号）は、それぞれ、画像入力部１０２に入力され、画像入力部１０２によりデジタル信号に変換される。そして、デジタル信号に変換された第１画像信号（Ｒ画像信号）および第２画像信号（Ｌ画像信号）は、それぞれ、デプス取得部１０３および画像補正部１０４に出力される。

デプス取得部１０３では、第１画像信号（Ｒ画像信号）により形成される第１画像（Ｒ画像）および第２画像信号（L画像信号）から形成される第２画像（Ｌ画像）から、第１画像（Ｒ画像）用のデプス情報である第１デプス情報（Ｒデプス情報）および第２画像（Ｌ画像）用のデプス情報である第２デプス情報（Ｌデプス情報）が、例えば、視差マッチングにより、取得される。

ここで、視差マッチングによる第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）の取得方法について、図４を用いて説明する。
図４は、三角形のオブジェクトが奥に配置されており、円形のオブジェクトが手前に配置されている撮影シーンを立体撮像装置１０００で立体撮影したときの立体画像を模式的に示す図である。図４（ａ）は、Ｌ画像（左眼用画像）を模式的に示した図であり、図４（ｂ）は、Ｒ画像（右眼用画像）を模式的に示した図であり、図４（ｃ）は、Ｒ画像およびＬ画像を１つの画像として重ねて表示させた図である。

視差マッチングによる第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）の取得方法は、例えば、以下の（１）〜（３）の処理を実行することで、実現される。
（１）まず、デプス取得部１０３は、Ｌ画像（左眼用画像）およびＲ画像（右眼用画像）を用いて、例えば、図４（ａ）のＬ画像上の点ＡＬに対応する被写体Ａ（図４の三角形の頂点）が、図４（ｂ）のＲ画像上の点ＡＲに対応していることを検出する。
（２）そして、検出した２つの点ＡＬおよび点ＡＲのずれ量（視差）Ｄｉｆｆ（Ａ）を算出する。

なお、視差は、ずれ方向により、正負の符号を有するものとする。例えば、Ｒ画像上の点が、Ｌ画像上の点に対して左方向にずれている場合をプラスとし、逆の場合をマイナスとする。
例えば、図４の場合、被写体Ａについての視差の絶対値がα（≧０）であるとすると、Ｒ画像上のＡＲ点が、Ｌ画像上のＡＬ点より右方向にずれているので、被写体Ａについての視差を「−α」として算出する。そして、被写体Ｂ（図４の円の中心点）についての視差の絶対値がβ（≧０）であるとすると、Ｒ画像上のＢＲ点が、Ｌ画像上のＢＬ点より左方向にずれているので、被写体Ｂについての視差を「＋β」として算出する。
（３）デプス取得部１０３は、（１）、（２）の処理を、画像上の全ての点（全ての画素）について行い、算出したずれ量（視差）を画素値とする視差画像を取得する。そして、Ｌ画像の各画素に算出した視差を画素値として取得した視差画像を、Ｌデプス情報（Ｌデプス情報画像（左眼画像用距離画像））とし、Ｒ画像の各画素に算出した視差を画素値として取得した視差画像を、Ｒデプス情報（Ｒデプス情報画像（右眼画像用距離画像））とする。

例えば、Ｌデプス情報（Ｌデプス情報画像（左眼画像用距離画像））では、図４（ａ）のＬ画像のＡＬ点に相当する画素の値が、被写体Ａの視差である−αとなり、Ｒデプス情報（Ｒデプス情報画像（右眼画像用距離画像））では、図４（ｂ）のＲ画像のＡＲ点に相当する画素の値が、被写体Ａの視差である−αとなる。
なお、「距離画像」とは、各画素に、当該各画素に相当する被写体の実際の位置（３次元空間内の位置）と立体撮像装置１０００の位置との距離に相関性のある値をマッピングした画像のことである。

なお、上記視差マッチングによる第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）の取得方法は、一例であり、これに限定されるものではない。例えば、上記と視差の符号の取り方を逆にしても構わない。また、デプス取得部１０３は、他の方法により、左眼画像用距離画像および右眼画像用距離画像を取得し、Ｌデプス情報およびＲデプス情報を取得するものであってもよい。
以上のようにして取得されたＬデプス情報およびＲデプス情報は、それぞれ、画像補正部１０４に出力される。

（１．２．１：画像補正部１０４の動作）
以下、画像補正部１０４の動作について、説明する。
なお、Ｌ画像に対しては、Ｌデプス情報を用いて、Ｌ画像用画像補正部１０４Ｌにより処理が実行され、Ｒ画像に対しては、Ｒデプス情報を用いて、Ｒ画像用画像補正部１０４Ｒにより処理が実行されるが、その処理内容は同一であるため、以下では、主として、Ｌ画像用画像補正部１０４Ｌについて、説明する。

まず、Ｌ画像用画像補正部１０４Ｌの強度生成部１３２の動作について、説明する。
図５は、強度生成部１３２の動作を説明するための図である。図５の最上図は、横軸が水平方向の位置であり、縦軸がＬデプス情報の値である。つまり、図５の最上図におけるＤＬは、Ｌ画像における画素位置に対するＬ画像のデプス情報（距離情報）であり、デプス取得部１０３から与えられるＬ画像のデプス情報（距離情報）を表している。ここでは、ＤＬの値は、遠方であるほど（被写体距離が大きい程）小さい値を取り、近景である程（被写体距離が小さい程）、大きい値を取るものとする。

したがって、図５の最上図に示すように、主被写体２０２のデプス情報（距離情報）が背景被写体２０１のデプス情報（距離情報）より大きい値を取る。そして、図５の最上図に示すように、主被写体２０２のＬデプス情報の値がＤ２＿ｆ〜Ｄ２＿ｎの範囲の値をとる。つまり、主被写体２０２の最近点のＬデプス情報の値が、Ｄ２＿ｎであり、主被写体２０２の最遠点のＬデプス情報の値が、Ｄ２＿ｆである。そして、背景被写体２０１は、平坦な壁であるため、背景被写体２０１のＬデプス情報は、Ｄ１で一定である。

強度生成部１３２の動作について、図５および図６に示すフローチャートを用いて、説明する。
（Ｓ１０１、Ｓ１０２）：
強度生成部１３２は、入力されたＬデプス情報（Ｌデプス値）に対して、輪郭補正処理（例えば、ＬＰＦ処理）を行うことで（スムージング処理を行うことで）、輪郭補正Ｌデプス値ＤＬ’（図５中の曲線Ｃｒｖ１に相当）を取得する。
（Ｓ１０３）：
強度生成部１３２は、輪郭補正Ｌデプス値ＤＬ’を水平位置（図５のＸ軸方向の値）について微分（差分）することで、Ｌデプス微分信号ΔＤＬを取得する。なお、Ｓ１０３の処理において、厳密な微分（差分）処理ではなく、輪郭補正Ｌデプス値ＤＬ’の変化分を検出する処理であれば、当該処理を、微分（差分）処理の代わりに実行してもよい。
（Ｓ１０４）：
強度生成部１３２は、Ｌデプス微分信号ΔＤＬの絶対値をとることで、Ｌデプス微分絶対値信号ΔＤＬ１を取得する。
（Ｓ１０５）：
強度生成部１３２は、取得したＬデプス微分絶対値信号ΔＤＬ１を正規化した信号（例えば、［０：１］の範囲の信号に正規化した信号）を、Ｌ画像用強度信号Ｋ１＿Ｌとして、輪郭補正部１３（合成部１３３）に出力する。

以上により、立体撮像装置１０００では、強度生成部１３２により生成されたＬ画像用強度信号Ｋ１＿Ｌにより、デプス値の異なる輪郭（デプス値の異なる被写体により形成される輪郭）付近を正確に検出することが出来る。
なお、輪郭を含む領域を検出したＬデプス微分絶対値信号ΔＤＬ１の幅（図５のＰ１、Ｐ２の幅に相当）（Ｒデプス微分絶対値信号ΔＤＲ１の場合は、図５のＱ１、Ｑ２の幅に相当）は、Ｌデプス信号（Ｌデプス値）ＤＬにかけるローパスフィルタの特性により調整することができる。

次に、Ｌ画像用画像補正部１０４Ｌの輪郭補正部１３の動作について、説明する。
輪郭補正部１３のスムージング部１３１では、画像入力部１０２から出力されたＬ画像信号ＩＳ＿Ｌに対して、スムージング処理が実行される。本実施形態において、スムージング部１３１は、例えば、ローパスフィルタであり、スムージング処理として、ＬＰＦ処理が実行される。これにより、スムージング部１３１により処理されたＬ画像信号ＳＳ＿Ｌは、輪郭部分のぼかされた信号（平滑化された信号（例えば、高周波成分が取り除かれた信号、シュート除去された信号、リンギング除去された信号、ジャギー除去された信号等））となる。

なお、スムージング部１３１でのスムージング処理は、ＬＰＦ処理に限定されることはなく、メディアンフィルタによる処理などでもよい。つまり、スムージング部１３１でのスムージング処理として、輪郭をぼかす傾向の処理が実行されればよいので、スムージング部１３１でのスムージング処理は、このような処理（輪郭をぼかす傾向の処理）が実行できる処理であれば、なんでもよい。なお、スムージング部１３１でのスムージング処理として、細くて振幅変化の大きいジャギーの除去に有効なメディアンフィルタと通常のローパスフィルタとの組合せによる処理を採用することが効果的である。

スムージング部１３１によりスムージング処理が実行されたＬ画像信号ＳＳ＿Ｌは、合成部１３３に出力される。
合成部１３３では、例えば、［０：１］の範囲に正規化された信号であるＬ画像用強度信号Ｋ１＿Ｌを内分比として、Ｌ画像信号ＩＳ＿Ｌと、スムージング処理が実行されたＬ画像信号ＳＳ＿Ｌと、合成して出力Ｌ画像信号Ｌｏｕｔを取得する。つまり、合成部１３３は、
Ｌｏｕｔ＝（１−Ｋ１＿Ｌ）×ＩＳ＿Ｌ＋Ｋ１＿Ｌ×ＳＳ＿Ｌ
に相当する処理を実行することで、出力Ｌ画像信号Ｌｏｕｔを取得する。

これにより、合成部１３３から出力されるＬ画像信号Ｌｏｕｔは、（１）デプス値の異なる被写体間により形成される輪郭部分では、ぼかされた画像信号（スムージング処理が実行された画像信号）となり、（２）それ以外の部分では、画像入力部から出力された画像信号（スムージング処理が実行されていない画像信号）となる。
なお、Ｒ画像信号に対しても、Ｒ画像用画像補正部１０４Ｒにより上記と同様の処理が実行される。

以上により、立体撮像装置１０００により処理された立体画像は、輪郭付近のみ選択的にぼかされた立体画像となる。
なお、スムージング部１３１によるスムージング処理（例えば、ローパスフィルタ処理）によるぼかし度合いは、強度信号Ｋ１＿Lの値に応じて設定される。したがって、輪郭近傍領域である程、ぼかし度合いが高くなるため、立体撮像装置１０００により処理することで、効果的に輪郭領域のジャギーやシュート（オーバーシュート、アンダーシュート等）を除去した立体画像を取得することができる。

立体撮像装置１０００において、以上の処理を行った場合の処理結果を図７に示す。
図７から分かるように、Ｌ画像の主被写体２０２の左右の輪郭付近（図７のＰ１、Ｐ２で示す領域）において、強度信号Ｋ１＿Ｌ（ΔＤＬ１の値）に応じた強度でスムージング処理が実行されている（位置Ｌ１、Ｌ２付近で、強度の強いスムージング処理が実行されている）。

また、Ｒ画像の主被写体２０２の左右の輪郭付近（図７のＱ１、Ｑ２で示す領域）において、強度信号Ｋ１＿Ｒ（ΔＤＲ１の値）に応じた強度でスムージング処理が実行されている（位置Ｒ１、Ｒ２付近で、強度の強いスムージング処理が実行されている）。
このように本実施形態の立体撮像装置１０００により適切に輪郭補正された立体画像（Ｌ画像およびＲ画像）は、被写体オブジェクトの輪郭の不自然さが軽減された立体画像となっており、立体画像を立体表示したときに、変な合成画像と認識される要素を効果的に軽減した立体画像となっている。その結果、立体撮像装置１０００により取得された立体画像は、立体表示したときに、書き割り感の少ない自然で高品位な立体画像となる。

なお、上記において、輪郭補正部１３が、スムージング部１３１および合成部１３３により構成される例について説明したが、これに限定されることなく、例えば、輪郭補正部１３をカットオフ周波数可変のローパスフィルタとし実現してもよい。この場合、当該カットオフ周波数可変のローパスフィルタは、強度信号Ｋ２（Ｋ２＿ＬまたはＫ２＿Ｒ）により、制御される。つまり、この場合、強度信号Ｋ２（Ｋ２＿ＬまたはＫ２＿Ｒ）に基づいて、入力画像（Ｌ画像またはＲ画像）に対して、輪郭領域付近のみ、カットオフ周波数を低下させて、フィルタ処理を実行することで出力画像を取得する。これにより、立体画像の輪郭領域（デプス値に異なる被写体間により形成される輪郭領域）付近のみ選択的にぼかすことができ、上記同様の効果を得ることができる。

≪変形例≫
次に、本実施形態の変形例について説明する。
上記では、第１実施形態の立体撮像装置１０００により、立体画像に対して、適切に輪郭補正することで、輪郭部分のリンギングやジャギーを除去し、輪郭部分を自然なぼけ具合の輪郭に補正することができ、書き割り感を軽減した立体画像を取得することができることを説明してきた。

しかし、立体画像に対して画像補正処理を行う場合、ぼけ程度の適切な設定は容易でなく、ぼけ程度が小さい画像補正処理を行えば、リンギングなどが残留し、逆に、ぼけ程度が大きすぎる画像補正処理を行えば、輪郭部分を過度にぼかすことになる。
図８は、撮影シーン２００を立体撮影して取得した立体画像において、輪郭が過度にぼけた状態の処理結果（一例）を示している。

図８に示すように、網掛けの輪郭領域は、過度にぼけた輪郭の範囲を示している。「過度にぼけた状態」とは、主被写体２０２の端の輝度の一部が背景２０１に滲みながら当該主被写体２０２の端の輝度値を示す信号が平滑化されること（例えば、高周波成分が無くなること）を意味している。
このような画像を立体視すると、被写体オブジェクトの輪郭の周りの範囲（図８のＡＬ４０２、ＡＬ４０３、ＡＲ４０２、ＡＲ４０３で示した範囲）の背景が平滑化されており（例えば、高周波成分が無くなり）、背景の模様による視差マッチングが困難になる。そのため、図８に示す立体画像を立体表示させたとき、視覚は、Ｌ画像とＲ画像の輪郭周辺のぼけた背景同士をマッチングするようになる。その結果、被写体オブジェクトの輪郭部分の外側のぼけた背景の領域も含めて被写体オブジェクトと同じ視差であると認識され（主被写体２０２の視差と同じ視差であると認識され）、図８中のＡ‘で示した領域が、前景（主被写体２０２）と認識されてしまう。

このような立体画像を立体表示すると、被写体オブジェクトの輪郭部分の周りに磨りガラスがまとわりついていて、そこにぼけた背景が写っているように見える。
このように、背景の一部が前景（主被写体２０２）の周りにまとわりつくと、リンギングが発生している立体画像と同様に、立体表示したときに、前景（主被写体２０２）が平板のように感じられるため、書き割り感が助長されることになる。

つまり、立体画像に対する画像補正処理において、書き割り感を低減する目的で輪郭のリンギングを除去する場合、ぼかし方が少なければリンギングが残り、ぼかしすぎると余分なボケにより新たな書き割り感を生むことになる。このため、立体画像に対する画像補正処理において、常に安定した処理は容易でない。
本変形例は、上記課題を解決するものである。

本変形例の立体撮像装置の構成は、第１実施形態の立体撮像装置１０００と同様の構成である。
本変形例の立体撮像装置は、画像補正部１０４の強度生成部１３２で生成される強度信号が、第１実施形態の立体撮像装置１０００と異なる。
本変形例の立体撮像装置のＬ画像用画像補正部１０４Ｌの強度生成部１３２は、第１実施形態のＬ画像用強度信号Ｋ１＿Ｌの代わりに、Ｌ画像用第２強度信号Ｋ２＿Ｌを出力する。

本変形例の立体撮像装置のＲ画像用画像補正部１０４Ｒの強度生成部１３２は、第１実施形態のＲ画像用強度信号Ｋ１＿Ｒの代わりに、Ｒ画像用第２強度信号Ｋ２＿Ｒを出力する。
なお、本変形例において、第１実施形態の立体撮像装置１０００と同様の部分については、同一符号を付し、詳細な説明を省略する。

図９は、本変形例の強度生成部１３２での処理を説明するための波形図であり、Ｌデプス信号（Ｌデプス値）ＤＬ、輪郭補正Ｌデプス信号（輪郭補正Ｌデプス値）ＤＬ’、Ｌデプス微分信号ΔＤＬ、第２Ｌデプス微分絶対値信号ΔＤＬ２、および、第２Ｒデプス微分絶対値信号ΔＤＲ２を示している。
なお、図９において、Ｌデプス信号（Ｌデプス値）ＤＬ、Ｌデプス微分信号ΔＤＬは、Ｌ画像用の信号であり、図５のものと同じである。

第２Ｌデプス微分絶対値信号ΔＤＬ２は、Ｌ画像用の第２強度信号Ｋ２＿Ｌを生成するための信号であり、Ｌ画像用第２強度信号Ｋ２＿Ｌは、第２Ｌデプス微分絶対値信号ΔＤＬ２を正規化した信号（例えば、［０：１］の範囲に正規化した信号）である。
第２Ｒデプス微分絶対値信号ΔＤＲ２は、Ｒ画像用の第２強度信号Ｋ２＿Ｒを生成するための信号であり、Ｒ画像用第２強度信号Ｋ２＿Ｒは、第２Ｒデプス微分絶対値信号ΔＤＲ２を正規化した信号（例えば、［０：１］の範囲に正規化した信号）である。

また、第２Ｌデプス微分絶対値信号ΔＤＬ２は、図５のＬデプス信号ΔＤＬの信号において、信号値が負となる部分を除いて、信号値が正となる部分のみを残した信号（信号値が「０」の部分を含む信号でもよい。）である。
Ｌ画像用の強度生成部１３２は、第２Ｌデプス微分絶対値信号ΔＤＬ２を正規化して（例えば、［０：１］の範囲に正規化して）、Ｌ画像用第２強度信号Ｋ２＿Ｌを生成し、生成したＬ画像用第２強度信号Ｋ２＿ＬをＬ画像用の輪郭補正部１３に出力する。

また、第２Ｒデプス微分絶対値信号ΔＤＲ２は、Ｒ画像用の強度生成部１３２において、生成される信号であり、以下の処理により生成される信号である。
（１）図５のＬデプス微分信号ΔＤＬに相当するＲ画像用の信号であるＲデプス微分信号ΔＤＲとすると、この信号の信号値を正負反転する。
（２）処理（１）により取得された信号において、信号値が負である部分を除いて、信号値が正である部分のみを残す。これにより、Ｒ画像用の強度生成部１３２は、Ｒデプス微分信号ΔＤＲを生成する。

Ｒ画像用の強度生成部１３２は、第２Ｒデプス微分絶対値信号ΔＤＲ２を正規化して（例えば、［０：１］の範囲に正規化して）、Ｒ画像用第２強度信号Ｋ２＿Ｒを生成し、生成したＲ画像用第２強度信号Ｋ２＿ＲをＲ画像用の輪郭補正部１３に出力する。
図９に示すように、本変形例では、Ｌ画像用第２強度信号Ｋ２＿Ｌ（第２Ｌデプス微分絶対値信号ΔＤＬ２）は、被写体オブジェクト（主被写体２０２）左端の輪郭部分付近のみに発生し、Ｒ画像用第２強度信号Ｋ２＿Ｒ（第２Ｒデプス微分絶対値信号ΔＤＲ２）は、被写体オブジェクト（主被写体２０２）右端の輪郭部分付近のみに発生する。

図１０は、本変形例の強度生成部１３２の処理フローチャートである。図１０（ａ）はＬ画像用の強度生成部１３２の処理フローチャートであり、図１０（ｂ）はＲ画像用の強度生成部１３２の処理フローチャートである。
図１０を用いて、本変形例の強度生成部１３２の処理について、説明する。
まず、図１０（ａ）を用いて、Ｌ画像用の強度生成部１３２の処理について、説明する。
（Ｓ２０１、Ｓ２０２）：
強度生成部１３２は、入力されたＬデプス情報（Ｌデプス値）に対して、輪郭補正処理（例えば、ＬＰＦ処理）を行うことで（スムージング処理を行うことで）、輪郭補正Ｌデプス値ＤＬ’（図９中の曲線Ｃｒｖ１に相当）を取得する。
（Ｓ２０３）：
強度生成部１３２は、輪郭補正Ｌデプス値ＤＬ’を水平位置（図９のＸ軸方向の値）について微分（差分）することで、Ｌデプス微分信号ΔＤＬを取得する。なお、Ｓ２０３の処理において、厳密な微分（差分）処理ではなく、輪郭補正Ｌデプス値ＤＬ’の変化分を検出する処理であれば、当該処理を、微分（差分）処理の代わりに実行してもよい。
（Ｓ２０４）：
強度生成部１３２は、Ｌデプス微分信号ΔＤＬにおいて、信号値が負となる部分の信号を取り除き（信号値が負となる部分の信号値を「０」にし）、第２Ｌデプス微分絶対値信号ΔＤＬ２を取得する。
（Ｓ２０５）：
強度生成部１３２は、取得した第２Ｌデプス微分絶対値信号ΔＤＬ２を正規化した信号（例えば、［０：１］の範囲の信号に正規化した信号）を、Ｌ画像用強度信号Ｋ２＿Ｌとして、輪郭補正部１３（合成部１３３）に出力する。

次に、図１０（ｂ）を用いて、Ｒ画像用の強度生成部１３２の処理について、説明する。
（Ｓ３０１、Ｓ３０２）：
強度生成部１３２は、入力されたＲデプス情報（Ｒデプス値）に対して、輪郭補正処理（例えば、ＬＰＦ処理）を行うことで（スムージング処理を行うことで）、輪郭補正Ｒデプス値ＤＲ’を取得する。
（Ｓ３０３）：
強度生成部１３２は、輪郭補正Ｒデプス値ＤＲ’を水平位置（図９のＸ軸方向の値）について微分（差分）することで、Ｒデプス微分信号ΔＤＲを取得する。なお、Ｓ３０３の処理において、厳密な微分（差分）処理ではなく、輪郭補正Ｒデプス値ＤＲ’の変化分を検出する処理であれば、当該処理を、微分（差分）処理の代わりに実行してもよい。
（Ｓ３０４）：
強度生成部１３２は、（１）Ｒデプス微分信号ΔＤＲの信号値の正負を反転させた信号を取得する。そして、（２）強度生成部１３２は、当該正負を反転させた信号において、信号値が負となる部分の信号を取り除き（信号値が負となる部分の信号値を「０」にし）、第２Ｒデプス微分絶対値信号ΔＤＲ２を取得する。
（Ｓ３０５）：
強度生成部１３２は、取得した第２Ｒデプス微分絶対値信号ΔＤＲ２を正規化した信号（例えば、［０：１］の範囲の信号に正規化した信号）を、Ｒ画像用強度信号Ｋ２＿Ｒとして、輪郭補正部１３（合成部１３３）に出力する。

以上により、本変形例のＬ画像用の強度生成部１３２により、Ｌ画像用強度信号Ｋ２＿Ｌが生成され、本変形例のＲ画像用の強度生成部１３２により、Ｒ画像用強度信号Ｋ２＿Ｒが生成される。
そして、Ｌ画像用の輪郭補正部１３では、強度生成部１３２により生成された強度信号Ｋ２＿Ｌにより、被写体オブジェクト（主被写体２０２）の左の輪郭部分のみぼかす。つまり、合成部１３３では、強度信号Ｋ２＿Ｌを内分比として、
Ｌｏｕｔ＝（１−Ｋ２＿Ｌ）×ＩＳ＿Ｌ＋Ｋ２＿Ｌ×ＳＳ＿Ｌ
に相当する処理が実行され、出力Ｌ画像信号Ｌｏｕｔが生成される。

また、Ｒ画像用の輪郭補正部１３では、強度生成部１３２により生成された強度信号Ｋ２＿Ｒにより、被写体オブジェクト（主被写体２０２）の右の輪郭部分のみぼかす。つまり、合成部１３３では、強度信号Ｋ２＿Ｒを内分比として、
Ｒｏｕｔ＝（１−Ｋ２＿Ｒ）×ＩＳ＿Ｒ＋Ｋ２＿Ｒ×ＳＳ＿Ｒ
に相当する処理が実行され、出力Ｒ画像信号Ｒｏｕｔが生成される。

つまり、本変形例の立体撮像装置では、第２強度信号Ｋ２（Ｋ２＿Ｌ、Ｋ２＿Ｒ）の働きにより、（１）Ｌ画像では、被写体オブジェクト（主被写体２０２）の左の輪郭部分のみをぼかす処理が実行され、（２）Ｒ画像では、被写体オブジェクト（主被写体２０２）の右の輪郭部分のみをぼかす処理が実行されることになる。
この本変形例の立体撮像装置による処理後の波形図を図１１に示す。

図１１から分かるように、（１）Ｌ画像では、被写体オブジェクト（主被写体２０２）の左の輪郭部分のみがぼけており、（２）Ｒ画像では、被写体オブジェクト（主被写体２０２）の右の輪郭部分のみがぼけている。
したがって、上記のようにして、本変形例の立体撮像装置により取得された立体画像は、立体表示させたとき、被写体オブジェクト（主被写体２０２）の輪郭付近の領域が不適切にマッチングされることがない。その結果、本変形例の立体撮像装置により取得された立体画像は、書き割り現象等の発生を抑え、適切な立体感・遠近感を再現することができる立体画像となる。

なお、上記では、説明を簡単にするために、Ｌ画像では、被写体オブジェクト（主被写体２０２）の左の輪郭部分のみをぼかし、Ｒ画像では、被写体オブジェクト（主被写体２０２）の右の輪郭部分のみぼかす場合について、説明したが、これに限定されることはない。
例えば、本変形例の立体撮像装置において、以下のように処理してもよい。
（１）Ｌ画像では、被写体オブジェクト（主被写体２０２）の左の輪郭部分を強くぼかし（第１の強度でぼかす）、かつ、被写体オブジェクト（主被写体２０２）の右の輪郭部分を弱くぼかす（第１の強度より弱い第２の強度でぼかす）。
（２）Ｒ画像では、被写体オブジェクト（主被写体２０２）の右の輪郭部分を強くぼかし（第３の強度でぼかす）、かつ、被写体オブジェクト（主被写体２０２）の左の輪郭部分を弱くぼかす（第３の強度より弱い第４の強度でぼかす）。

図１２に、上記処理を行う場合のＬデプス信号（Ｌデプス値）ＤＬ、輪郭補正Ｌデプス信号（輪郭補正Ｌデプス値）ＤＬ’、Ｌデプス微分信号ΔＤＬ、第２Ｌデプス微分絶対値信号ΔＤＬ２、および、第２Ｒデプス微分絶対値信号ΔＤＲ２の波形図を示す。
図１２に示すように、
（１）Ｌ画像では、被写体オブジェクト（主被写体２０２）の右の輪郭部分（領域Ｐ２）での強度信号Ｋ１＿Ｌのピーク値が、被写体オブジェクト（主被写体２０２）の左の輪郭部分（領域Ｐ１）での強度信号Ｋ１＿Ｌのピーク値のｋ倍（０≦ｋ≦１）となる。
（２）Ｒ画像では、被写体オブジェクト（主被写体２０２）の左の輪郭部分（領域Ｑ１）での強度信号Ｋ１＿Ｒのピーク値が、被写体オブジェクト（主被写体２０２）の右の輪郭部分（領域Ｑ２）での強度信号Ｋ１＿Ｒのピーク値のｍ倍（０≦ｍ≦１）となる。

したがって、本変形例の立体撮像装置において、上記強度信号Ｋ１を用いて、輪郭補正部１３での処理を実行することで、
（１）Ｌ画像では、被写体オブジェクト（主被写体２０２）の左の輪郭部分を強くぼかし（第１の強度でぼかす）、かつ、被写体オブジェクト（主被写体２０２）の右の輪郭部分を弱くぼかす（第１の強度より弱い第２の強度でぼかす）ことができ、かつ、
（２）Ｒ画像では、被写体オブジェクト（主被写体２０２）の右の輪郭部分を強くぼかし（第３の強度でぼかす）、かつ、被写体オブジェクト（主被写体２０２）の左の輪郭部分を弱くぼかす（第３の強度より弱い第４の強度でぼかす）ことができる。

以上のように処理を実行することで、本変形例の立体撮像装置で取得される立体画像では、Ｒ画像の領域ＡＲ４０２は、あまりぼけてないため、Ｌ画像のぼけた領域ＡＬ４０２とＲ画像の領域ＡＲ４０２とがマッチングされてしまい、前景と感じることはなくなる。
また、Ｌ画像のぼけた領域ＡＬ４０２の背景は、元来、オクルージョン（対応する位置の背景がＲ画像中に存在しない）領域となる可能性が高い領域であるため、ステレオマッチングの相手が存在せず距離感は不定な領域である。

したがって、本変形例の立体撮像装置により上記処理を行った立体画像を立体表示させた場合において、Ｌ画像の被写体オブジェクトの左端部分をぼかしたことによる副作用は認知されにくい。
同様に、本変形例の立体撮像装置で取得される立体画像では、Ｌ画像の領域ＡＬ４０３は、あまりぼけてないため、Ｒ画像のぼけた領域ＡＲ４０３とＬ画像の領域ＡＬ４０３とがマッチングし前景と感じることはなくなる。

また、Ｒ画像のぼけた領域ＡＲ４０３の背景は、同様に元来、オクルージョン領域となる可能性が高い領域あるため、ステレオマッチングされずに距離感は不定となる領域である。
したがって、本変形例の立体撮像装置により上記処理を行った立体画像を立体表示させた場合において、Ｒ画像の被写体オブジェクトの右端部分をぼかしたことによる副作用は生じにくい。

以上のように、本変形例の立体撮像装置では、被写体オブジェクト（例えば、主被写体２０２）の左右のサイドのぼかし具合（ぼかし程度）が異なるようにさえすれば、不適切な視差マッチング（不適切な画像領域が視差マッチングにより同一被写体オブジェクトと認識されてしまうこと）を回避でき、その結果、書き割り現象等が発生することを適切に防止することができる。

つまり、本変形例の立体撮像装置では、被写体オブジェクト（例えば、主被写体２０２）の左右のサイドのぼかし具合（ぼかし程度）が異なるようにさえすればよいので、スムージング処理におけるフィルタ処理の精度の要求が高くない。すなわち、本変形例の立体撮像装置では、スムージング処理において、フィルタ処理の程度に対するマージンを大きくすることができる。その結果、本変形例の立体撮像装置では、立体画像に対して、容易かつ安定な画像補正処理を実行することができる。

なお、本実施形態では、主被写体２０２の輝度が、背景２０１の輝度よりも高い例について図示して説明したが、これに限定されることはない。つまり、本実施形態の立体撮像装置１０００および本実施形態の変形例の立体撮像装置における処理内容と効果とは、被写体の輝度には関係ない。

［第２実施形態］
次に、第２実施形態について、説明する。

第２実施形態の立体撮像装置（立体画像処理装置）２０００は、第１実施形態と同様の効果、目的を持つ立体撮像装置（立体画像処理装置）であり、図１３に、本実施形態の立体撮像装置２０００の概略構成を示す。
本実施形態の立体撮像装置２０００は、第１実施形態の立体撮像装置１０００において、デプス取得部１０３を輪郭抽出部２０に置換し、画像補正部１０４を第２画像補正部２１に置換した構成を有している。この点が、本実施形態の立体撮像装置２０００と第１実施形態の立体撮像装置１０００との相違点であり、それ以外については、本実施形態の立体撮像装置２０００は、第１実施形態の立体撮像装置１０００と同様である。

なお、本実施形態において、第１実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
輪郭抽出部２０は、画像入力部１０２から出力されるＲ画像およびＬ画像を入力とする。輪郭抽出部２０は、画像入力部１０２から出力されるＲ画像およびＬ画像から被写体の輪郭成分を抽出する。そして、輪郭抽出部２０は、後述する処理により抽出した輪郭成分に関する情報（Ｌ画像用共通輪郭画像）を、第２画像補正部２１のＬ画像用画像補正部２１Ｌの第２強度生成部２２に出力し、後述する処理により抽出した輪郭成分に関する情報（Ｒ画像用共通輪郭画像）を、第２画像補正部２１のＲ画像用画像補正部２１Ｒの第２強度生成部２２に出力する。

なお、「抽出した輪郭成分に関する情報」とは、例えば、画像から輪郭成分を抽出することで取得した輪郭成分抽出画像（例えば、エッジ検出画像）や、当該輪郭成分抽出画像（例えば、エッジ検出画像）を形成する画像信号を含む概念である。
輪郭抽出部２０は、画像の横方向（画像の水平方向）における画素値の変化量を主として検出することで、輪郭抽出処理を行うものであり、画像の横方向（水平方向）における画素値の二次微分やラプラシアンなどを用いた様々な公知な手法により、輪郭抽出処理を行う。また、輪郭抽出部２０は、画像の横方向（画像の水平方向）だけでなく、画像の縦方向（画像の垂直方向）や斜め方向における画素値の変化量を検出することで、輪郭抽出処理を行うものであってもよい。また、上記輪郭抽出処理を実行するための画素値の変化量の検出方向は１方向に限定されることはなく、複数方向であってもよい。

また、さらに高精度な輪郭抽出手法が提案されており、輪郭抽出部２０は、これらを用いて、輪郭抽出処理を行うものであってもよい。要するに、輪郭抽出ができる方法であれば、輪郭抽出部２０での輪郭抽出処理において、どのようなものを用いても構わない。
また、輪郭抽出部２０は、書き割り現象の発生を軽減したい被写体（これは多くの場合主被写体であることが多い）の輪郭だけを抽出する機能を有する。輪郭抽出部２０は、例えば、図示しない方法で指示された主被写体のＲ画像上の輪郭とＬ画像上の輪郭とが、重なるように輪郭画像Ｒ（Ｒ画像から輪郭成分を抽出した結果、取得された輪郭画像Ｒ）と輪郭画像Ｌ（Ｌ画像から輪郭成分を抽出した結果、取得された輪郭画像Ｌ）とを横方向（画像の水平方向）にシフトする。このとき、輪郭抽出部２０は、例えば、公知の相関判定法を用いて、主被写体のＲ画像上の輪郭とＬ画像上の輪郭との重なり具合を判定する。

そして、輪郭抽出部２０は、輪郭画像Ｒの主被写体の輪郭と輪郭画像Ｌの主被写体の輪郭とが最も重なった状態で、輪郭画像Ｒと輪郭画像Ｌとの共通部を抜き出す。例えば、輪郭が「０」から「２５５」のグレースケール（強い輪郭ほど大きな値をとるものとする）で表されている場合（輪郭画像Ｒおよび輪郭画像Ｌの画素値が「０」から「２５５」（８ビットのデータ）である場合）、輪郭画像Ｒの主被写体の輪郭と輪郭画像Ｌの主被写体の輪郭とが最も重なった状態で、同一座標位置において、輪郭画像Ｒの画素値と輪郭画像Ｌの画素値とのうちの最小値を取ることにより共通輪郭の抽出が可能になる。つまり、輪郭画像Ｒの主被写体の輪郭と輪郭画像Ｌの主被写体の輪郭とが最も重なった状態となるように輪郭画像Ｒおよび輪郭画像Ｌを重ね合わせた画像において、座標位置（ｘ，ｙ）における輪郭画像Ｒの画素値をＲ１（ｘ，ｙ）とし、座標位置（ｘ，ｙ）における輪郭画像Ｌの画素値をＬ１（ｘ，ｙ）とすると、
（１）Ｒ１（ｘ，ｙ）＞Ｌ１（ｘ，ｙ）のとき、
Ｍｉｎ（ｘ，ｙ）＝Ｌ１（ｘ，ｙ）
（２）Ｒ１（ｘ，ｙ）≦Ｌ１（ｘ，ｙ）のとき、
Ｍｉｎ（ｘ，ｙ）＝Ｒ１（ｘ，ｙ）
により、輪郭画像Ｒの画素値と輪郭画像Ｌの画素値とのうちの最小値Ｍｉｎ（ｘ，ｙ）を取る。

そして、上記処理により取得した最小値Ｍｉｎ（ｘ，ｙ）を、座標位置（ｘ，ｙ）の画素値とすることで、共通輪郭部分の抽出処理を行うことができる。
この処理により、主被写体とデプス値の異なる輪郭は、輪郭画像Ｒの主被写体の輪郭と輪郭画像Ｌの主被写体の輪郭とが最も重なった状態となるように輪郭画像Ｒおよび輪郭画像Ｌを重ね合わせた画像において、輪郭画像Ｒと輪郭画像Ｌとで位置がずれているため、消去される。（主被写体とデプス値の異なる輪郭は、輪郭画像Ｒの主被写体の輪郭と輪郭画像Ｌの主被写体の輪郭とが最も重なった状態となるように輪郭画像Ｒおよび輪郭画像Ｌを重ね合わせた画像において、輪郭画像Ｒと輪郭画像Ｌとで位置がずれているため、上記最小値Ｍｉｎ（ｘ，ｙ）が「０」に近い値となるため、主被写体とデプス値の異なる輪郭は、消去されることになる。）
もし、おおよそのデプス情報（デプス値）が分かるのであれば、輪郭抽出部２０において、当該デプス情報（デプス値）に基づいた処理を行うことで、デプス値の異なる輪郭のさらなる消去も可能である。

上記処理の後、さらに、残った主被写体の輪郭の内、主被写体の輪郭オブジェクトの内部に位置していると推定される輪郭は消去する方が望ましい。例えば、輪郭抽出部２０において、主被写体の輪郭の左端のものと右端のものを残し、その中間の領域に位置する輪郭を消去する、あるいは、当該輪郭成分を弱める（当該輪郭を形成する部分の画素値を小さくする）処理を行うことも可能である。

また、輪郭抽出部２０において、Ｒ画像とＬ画像の色合いを調べ、例えば、色相、彩度、明度等により色合いの変化を検出し、色合いが変化している画像領域の輪郭を残し、色合いが変化していない画像領域の輪郭を消去する、あるいは、当該輪郭成分を弱める（当該輪郭を形成する部分の画素値を小さくする）処理を行うことも可能である。
さらに、輪郭抽出部２０において、より高度で精度の高い方法として知られている人物検出処理を行い、当該人物検出処理の結果を参照し、人物の端の輪郭以外を消去する、あるいは、当該輪郭成分を弱める（当該輪郭を形成する部分の画素値を小さくする）処理を行うことも可能である。

以上の処理により、輪郭抽出部２０は、共通輪郭部分を抽出した画像（これを「共通輪郭画像」という。）を取得する。そして、輪郭抽出部２０は、取得した共通輪郭画像の画素の座標位置が画像入力部１０２から出力されるＬ画像の画素の座標位置と一致するようにシフトさせたＬ画像用共通輪郭画像を取得する。また、輪郭抽出部２０は、取得した共通輪郭画像の画素の座標位置が画像入力部１０２から出力されるＲ画像の画素の座標位置と一致するようにシフトさせたＲ画像用共通輪郭画像を取得する。

そして、輪郭抽出部２０は、Ｌ画像用共通輪郭画像を第２画像補正部２１のＬ画像用画像補正部２１Ｌの第２強度生成部２２に出力し、Ｒ画像用共通輪郭画像を第２画像補正部２１のＲ画像用画像補正部２１Ｒの第２強度生成部２２に出力する。
図１４に、第２画像補正部２１の構成を示す。図１４に示すように、第２画像補正部２１は、Ｌ画像用画像補正部２１Ｌと、Ｒ画像用画像補正部２１Ｒと、を備える。

図１４においても、図２の画像補正部１０４と同様の部分については、同一符号を付し、詳細な説明を省略する。
第２強度生成部２２は、輪郭抽出部２０から出力されるＬ画像用共通輪郭画像を入力とする。第２強度生成部２２は、前述の輪郭抽出部２０から入力されるＲ画像用共通輪郭画像あるいはＬ画像用共通輪郭画像の輪郭情報のレベル（Ｒ画像用共通輪郭画像あるいはＬ画像用共通輪郭画像の画素値）を調整し正規化する。例えば、第２強度生成部２２は、入力されるＲ画像用共通輪郭画像を形成する画像信号あるいはＬ画像用共通輪郭画像を形成する画像信号を、［０：１］の範囲の信号に正規化する。

そして、Ｌ画像用画像補正部２１Ｌの第２強度生成部２２により正規化された信号は、Ｌ画像用強度信号Ｋ１＿Ｌとして、合成部１３３に出力される。
Ｌ画像用画像補正部２１Ｌの合成部１３３では、Ｌ画像用画像補正部２１Ｌの第２強度生成部２２から出力されたＬ画像用強度信号Ｋ１＿Ｌに基づいて、スムージング部１３１から出力されるＬ画像信号ＳＳ＿Ｌと、画像入力部１０２から出力されるＬ画像信号ＩＳ＿Ｌとを合成する。

具体的には、合成部１３３では、次式のように、［０：１］の範囲に正規化された信号であるＬ画像用強度信号Ｋ１＿Ｌを内分比として、Ｌ画像信号ＩＳ＿Ｌと、スムージング処理が実行されたＬ画像信号ＳＳ＿Ｌとが合成されて出力Ｌ画像信号Ｌｏｕｔが生成される。
なお、第２強度生成部２２では、最も強い輪郭（共通輪郭画像における最大の画素値）が値「１」を取るようにゲイン調節し正規化することで、Ｌ画像用強度信号Ｋ１＿Ｌが生成されている。

Ｌｏｕｔ＝（１−Ｋ１＿Ｌ）×ＩＳ＿Ｌ＋Ｋ１＿Ｌ×ＳＳ＿Ｌ
このようにして、合成部１３３により合成された画像信号は、Ｌ出力画像として出力される。
したがって、本実施形態の立体撮像装置２０００では、上記処理を実行することで、主被写体の輪郭付近はスムージングされた信号が出力されるため、本実施形態の立体撮像装置２０００により処理された立体画像は、輪郭付近のみ選択的にぼかされた立体画像となる。その結果、本実施形態の立体撮像装置２０００により取得される立体画像は、書き割り現象等の発生を抑制した立体画像となる。

なお、上記では、Ｌ画像についての処理（Ｌ画像用画像補正部２１Ｌの処理）について説明したが、Ｒ画像についての処理（Ｒ画像用画像補正部２１Ｒの処理）も同様である。
また、「端部分領域検出部」は、Ｌ画像の処理については、輪郭抽出部２０およびＬ画像用画像補正部２１Ｌの第２強度生成部２２により実現され、Ｒ画像の処理については、輪郭抽出部２０およびＲ画像用画像補正部２１Ｒの第２強度生成部２２により実現される。

［他の実施形態］
なお、上記実施形態で説明した立体撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る立体撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕｅ−ｒａｙ Ｄｉｓｃ）、半導体メモリを挙げることができる。

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
また、上記実施形態では、２つの撮像部により、ステレオ画像（左眼用画像および右眼用画像）を取得（撮像）している場合について説明した。しかし、これに限定されることはなく、例えば、１つの撮像素子により、左眼用画像と右眼用画像とを時分割で交互に取得するようにしてもよいし、また、１つの撮像素子の撮像素子面を２分割して、左眼用画像と右眼用画像とを取得するようにしてもよい。

また、上記実施形態において、画像入力部１０２には、Ｒ画像およびＬ画像が入力される構成について説明したが、これに限定されることはなく、例えば、多視点方式により取得されたＮ枚（Ｎは２以上の自然数）の画像から、Ｒ画像およびＬ画像を選択し、選択したＲ画像（信号）およびＬ画像（信号）を、画像入力部１０２に入力するようにしてもよい。

また、立体画像処理装置において、Ｒ画像およびＬ画像は、必ずしも内部で取得されなくてもよい。例えば、Ｒ画像およびＬ画像は、外部から立体画像処理装置に入力されるものであってもよい。
さらに、立体画像処理装置において、Ｒデプス情報およびＬデプス情報も、必ずしも内部で取得されなくてもよい。例えば、Ｒデプス情報およびＬデプス情報は、外部から立体画像処理装置に入力されるものであってもよい。この場合、立体画像処理装置において、デプス取得部１０３を省略することができる。つまり、立体画像処理装置が、画像補正部１０４のみを備えるものであってもよい。

また、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

本発明に係る立体画像処理装置および立体画像処理方法によれば、いかなる要因で発生した書き割り現象であっても、被写体の立体感・厚み感を復元し、書き割り感の少ない高品位な立体画像を取得することができる。したがって、本発明は、立体画像（立体映像）関連分野において有用であり、当該分野において、実施することができる。

１０００、２０００ 立体撮像装置（立体画像処理装置）
１０１Ｒ 第１撮像部
１０１Ｌ 第２撮像部
１０２ 画像入力部
１０３ デプス取得部
１０４ 画像補正部
１０５ 制御部
１０４Ｌ、２１Ｌ Ｌ画像用画像補正部
１０４Ｒ、２１Ｒ Ｒ画像用画像補正部
１３ 輪郭補正部
１３１ スムージング部
１３２ 強度生成部
１３３ 合成部
２０ 輪郭抽出部
２１ 第２画像補正部
２２ 第２強度生成部

Claims (6)

1. ２眼方式または多視点方式による立体画像に含まれる左眼用画像および右眼用画像に対して画像補正処理を行う立体画像処理装置であって、
   前記左眼用画像および前記右眼用画像から、前記左眼用画像および前記右眼用画像に含まれる被写体の左側の輪郭を含む領域および当該被写体の右側の輪郭を含む領域のうち何れか一方または両方の領域を端部分領域として検出する端部分領域検出部と、
   前記端部分領域検出部が検出した前記被写体の端部分領域のうち少なくとも一端の領域に対して平滑化処理を実行する輪郭補正部と、
   を備える立体画像処理装置。
2. 前記端部分領域検出部は、
   前記左眼用画像および前記右眼用画像に含まれる被写体についての３次元空間での距離情報を取得し、左眼用距離画像および右眼用距離画像を取得するデプス取得部を備え、
   前記デプス取得部が取得した前記被写体の前記距離情報に基づいて、前記左眼用画像および／または前記右眼用画像上における前記被写体の端部分領域を検出する、
   請求項１に記載の立体画像処理装置。
3. 前記端部分領域検出部は、
   前記左眼用画像および前記右眼用画像から、前記左眼用画像および前記右眼用画像に含まれる被写体の輪郭を抽出する輪郭抽出部を備え、
   前記輪郭抽出部が抽出した前記左眼用画像および前記右眼用画像の輪郭情報に基づいて、前記左眼用画像および／または前記右眼用画像上における前記被写体の端部分領域を検出する、
   請求項１に記載の立体画像処理装置。
4. 前記端部分領域検出部は、
   前記被写体の左側の輪郭を含む領域を左端部分領域として検出し、さらに前記被写体の右側の輪郭を含む領域を右端部分領域として検出し、
   前記輪郭補正部は、
   （１）前記左眼用画像上の前記左端部分領域に対して、平滑化処理を実行し、
   （２）前記右眼用画像上の前記右端部分領域に対して、平滑化処理を実行する、
   請求項１に記載の立体画像処理装置。
5. 前記端部分領域検出部は、
   前記被写体の左側の輪郭を含む領域を左端部分領域として検出し、さらに前記被写体の右側の輪郭を含む領域を右端部分領域として検出し、
   前記輪郭補正部は、
   （１）前記左眼用画像上の前記左端部分領域に対して、第１強度で、平滑化処理を実行し、前記左眼用画像上の前記右端部分領域に対して、第１強度より弱い強度である第２強度で、平滑化処理を実行し、
   （２）前記右眼用画像上の前記右端部分領域に対して、第３強度で、平滑化処理を実行し、前記右眼用画像上の前記左端部分領域に対して、第３強度より弱い強度である第４強度で、平滑化処理を実行する、
   請求項１に記載の立体画像処理装置。
6. ２眼方式または多視点方式による立体画像に含まれる左眼用画像および右眼用画像に対して画像補正処理を行う立体画像処理方法であって、
   （１）前記左眼用画像および前記右眼用画像から、前記左眼用画像および前記右眼用画像に含まれる被写体の左側の輪郭を含む領域および当該被写体の右側の輪郭を含む領域のうち何れか一方または両方の領域を端部分領域として検出し、
   （２）検出した前記被写体の端部分領域のうち少なくとも一端の領域を平滑化する、
   処理を実行する立体画像処理方法。

Images