JPWO2012056685A1 - ３次元画像処理装置、３次元撮像装置および３次元画像処理方法 - Google Patents

Abstract

シーンのカメラからの距離を示す距離情報を用いて、当該シーンの撮影画像を処理する３次元画像処理装置（５００）であって、立体感を強調する対象となる距離である指定距離の入力を受け付ける距離指定部（５０１）と、指定距離におけるシーンの立体感が強調されるように、距離情報が示す距離を、３次元画像を生成するための立体距離に変換する距離変換部（５０２）と、立体距離に基づいて撮影画像を加工することにより、指定距離において強調される立体感が表された強調画像を生成する強調画像生成部（５０３）とを備える。

Description

本発明は、シーンのカメラからの距離を示す距離情報を用いて当該シーンの撮影画像を処理する３次元画像処理装置および３次元画像処理方法、ならびにそのような３次元画像処理装置を備える３次元撮像装置に関する。

近年、ＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）あるいはＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）等の固体撮像素子（以下、単に「撮像素子」と称する場合がある）を用いたデジタルスチルカメラあるいはデジタルビデオカメラの高機能化および高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。

その結果、固体撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加した。さらに、撮像によって得られる画像の質も飛躍的に向上している。

一方、液晶ディスプレイあるいはプラズマディスプレイ等の薄型の表示装置により、場所を取らず、高解像度で高コントラストな画像の表示が可能となっている。このような画像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネあるいは高速なシャッタを有するメガネを用いて、高画質な３次元画像を表示する３次元表示装置が開発され始めている。

３次元表示装置に表示する高画質な３次元画像あるいは３次元映像を取得するための３次元撮像装置の開発も進んでいる。３次元画像を取得し、３次元表示装置で表示を行うシンプルな方法としては、位置が異なる２つの光学系（レンズと撮像素子）を備えた撮像装置で画像あるいは映像を撮影することが考えられる。各光学系を用いて撮影された画像が左目用画像、右目用画像として３次元表示装置に入力される。撮影された左目用画像および右目用画像を３次元表示装置が高速に切り替えて表示することで、メガネを着用したユーザは３次元画像を立体的に知覚することができる。

また、複数台のカメラから構成される撮像系を用いてシーンの奥行き情報を算出し、奥行き情報とテクスチャ情報とから左目用画像および右目用画像を生成する方法がある。また、シーンの条件あるいは撮像装置の光学系の条件を変えて１台のカメラで撮影した複数枚の画像から奥行き情報を算出することで、左目用画像および右目用画像を生成する方法がある。

前者に関する方法としては、多数のカメラから取得される画像を同時に利用して各画素の奥行きを求める非特許文献１に記載のマルチベースラインステレオ法がある。このマルチベースラインステレオ法は、一般的な２眼ステレオに比べて高い精度でシーンの奥行きを推定できることが知られている。

一例として、カメラが２台（２眼ステレオ）のときの左目用画像および右目用画像（視差画像）の生成方法について説明する。２眼ステレオでは、２台のカメラを利用して互いに異なる視点から２枚の画像が撮影され、撮影された各画像から特徴点が抽出され、特徴点間の対応関係を求めることにより対応点が特定される。このように特定された対応点間の距離が視差と呼ばれる。例えば、２台のカメラで撮影された２枚の画像において、対応する特徴点の座標（ｘ，ｙ）がそれぞれ（５、１０）、（１０、１０）であるとき、視差は５となる。ここでカメラが平行に配置されているとし、視差をｄ、２台のカメラの焦点距離をｆ、カメラ間の距離（基線長：ｂａｓｅｌｉｎｅ）をＢとすると、（式１）によりカメラから被写体までの距離が求められる。

２台のカメラ間の距離が長くなると、一方のカメラで観測される特徴点が他方のカメラでは観測できないことがある。そのような場合でもマルチベースラインステレオ法では３台以上のカメラを利用することで対応点探索の曖昧性を減らすことができるため、視差推定の誤差が減る。

奥行きが求まれば、例えば非特許文献２記載の方法のように奥行きの情報とシーンのテクスチャとを用いて左目用画像および右目用画像を生成することが可能となる。非特許文献２記載の方法によれば、推定した奥行きと撮像装置から得られるシーンのテクスチャとを用いて、仮想カメラ位置（左目用のカメラ位置と右目用のカメラ位置）を新たな視点位置とした画像が生成できる。これにより、撮影時とは異なる視点位置の画像を得ることができる。

新たな視点位置の画像は（式２）により生成できる。ここで各記号は（式１）と同様である。奥行きを求めたカメラのｘ座標をｘｃとし、新たに生成する視点位置にあるカメラのｘ座標をｘｌ、ｘｒとする。ｘｌ、ｘｒはそれぞれ左目用および右目用のカメラ（仮想カメラ）のｘ座標である。仮想カメラ間の距離（基線長：ｂａｓｅｌｉｎｅ）をｔｘとする。

以上により、複数台のカメラを利用して奥行きを算出すれば、左目用画像および右目用画像が生成できる。

後者に関する奥行きの算出方法のうち、シーンの関する条件を変更する方法として非特許文献３に示すフォトメトリックステレオがある。照明の位置を変えて被写体を撮影した複数枚の画像が入力されたとき、被写体の画素値と照明の位置との３次元的な関係から被写体の３次元位置が求められる。また、撮像装置の光学条件を変える方法として、非特許文献４に示すＤｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法がある。この方法では、カメラの焦点距離を変えて撮影した複数枚の画像における各画素のボケの変化量とカメラの焦点距離と絞りの大きさ（開口径）とを用いてカメラから被写体までの距離（奥行き）を求めることができる。このように、シーンの３次元情報を取得する様々な方法が古くから研究されている。

上記に示す方法で獲得した奥行きの情報を用いて生成される左目用画像および右目用画像を用いて、３次元画像を表示することができる。特に、近年家庭用の液晶ディスプレイあるいはプラズマディスプレイにおいても３次元表示が可能になっている。また、民生用途においても、３次元画像の撮影と表示を行うことも可能になっている。

３次元撮像装置を利用して画像や映像を撮影すると、被写体の奥行き情報を取得できる。したがって、３次元撮像装置によって撮影された画像や映像を３次元表示装置を介して表示すれば、立体感および臨場感のある画像や映像を表示することができる。しかしながら、特に民生用の３次元撮像装置を利用する撮影者は、立体感のある画像や映像を撮影するための技術やノウハウを持たない。そのような撮影者が撮影した画像や映像は、立体感が得にくく、３次元画像としてのメリットが少ない。

ところで、シーンの距離（奥行き）に関する処理として、距離に割り当てる解像度を変える方法が提案されている（例えば、特許文献１〜５を参照）。これらの特許文献１〜５に開示されている技術は、距離に対する解像度の割当量を変えることで、３次元データのデータ量を削減することができる。

特開２００９−１６２７４７号公報 特開２００９−１６２７４８号公報 特開２００９−１６３７１６号公報 特開２００９−１６３７１７号公報 特開２００９−１６３７１８号公報 特開２０１０−１６７４３号公報

"A Multiple-baseline Stereo," IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.15, No.4, pp.353-363, 1993, M.Okutomi and T.Kanade. "Stereoscopic Image Generation Based on Depth Images for 3D TV." IEEE Trans. On Broadcasting, Vol.51, No.2, June 2005, L.Zhang and W.J.Tam. "Photometric method for determining surface orientation from multiple images." Optical Engineerings19, I, 139-144, 1980, R.J.Woodham. "A new sense for depth of field", IEEE Transaction on Pattern Analysis and Machine Intelligence, 2, 4, pp.523-531 1987, A.P.Pentland. "Depth from Defocus: A Spatial Domain Approach," International Journal of Computer Vision, Vol.13, No.3, pp.271-294, 1994 M.Subbarao and G.Surya. "２眼式立体画像における箱庭・書き割り効果の幾何学的解析"、電子情報通信学会ＨＩＰ、ヒューマン情報処理１０１（２２７）、１５−２２、２００１、山之上裕一ら

しかしながら、上記従来の方法では、データ量の圧縮はできるが、例えば所望の被写体の立体感を強調するなどのように撮影画像の立体感を向上させることはできないという問題がある。

そこで、本発明は、上記従来の課題を解決するものであって、シーンのカメラからの距離を示す距離情報を用いて当該シーンの撮影画像の立体感を向上させることができる３次元画像処理装置および３次元画像処理方法、ならびにそのような３次元画像処理装置を備える３次元撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る３次元画像処理装置は、シーンのカメラからの距離を示す距離情報を用いて、前記シーンの撮影画像を処理する３次元画像処理装置であって、立体感を強調する対象となる距離である指定距離の入力を受け付ける距離指定部と、前記指定距離における前記シーンの立体感が強調されるように、前記距離情報が示す距離を、３次元画像を生成するための立体距離に変換する距離変換部と、前記立体距離に基づいて前記撮影画像を加工することにより、前記指定距離において強調される立体感が表された強調画像を生成する強調画像生成部とを備える。

本構成によれば、指定距離におけるシーンの立体感が強調されるように、距離情報が示す距離を立体距離に変換することができる。したがって、３次元画像の撮影に不慣れな撮影者が撮影した画像であっても、所望の被写体の立体感が強調された画像を得ることが可能となる。

さらに、本構成によれば、立体距離に基づいて撮影画像を加工することにより、指定距離において強調される立体感が表された強調画像を生成する。したがって、撮影者は、撮影中に表示される強調画像を見ることにより立体感の強調度合いを確認することができる。その結果、効果的に撮影画像の立体感を向上させることが可能となる。

また、前記強調画像生成部は、前記指定距離と前記立体距離との差が大きい領域ほどボケが大きくなるように前記撮影画像を加工することにより、前記強調画像を生成することが好ましい。

この構成によれば、指定距離と立体距離との差が大きい領域ほどボケが大きくなるように撮影画像を加工することにより、強調画像を生成することができる。つまり、強調画像を２次元画像として生成することができる。したがって、強調画像を表示するために３次元表示装置が必ずしも必要ではなくなるので、例えば撮像装置の構成を簡易にすることができる。

また、前記強調画像生成部は、前記撮影画像のボケの特徴を示すボケ情報を用いて前記撮影画像に対して復元処理を行うことにより復元画像を生成し、前記指定距離と前記立体距離との差が大きい領域ほど大きなボケを付加することにより、前記強調画像を生成することが好ましい。

この構成によれば、撮影画像に対して復元処理を行うことにより生成された復元画像にボケを付加することにより強調画像を生成することができる。したがって、撮影画像に含まれるボケによって立体感の視認性が低下することを抑制することが可能となる。

また、前記３次元画像処理装置は、さらに、前記撮影画像に基づいて、前記立体距離に応じた視差を有する視差画像を前記３次元画像として生成する視差画像生成部を備えることが好ましい。

この構成によれば、立体距離に応じた視差を有する視差画像を生成することができる。したがって、３次元表示装置を用いてシーンを立体的に表示することが可能となる。

また、前記距離変換部は、前記距離情報が示す距離の関数として前記立体距離が表された変換式を用いて、前記距離情報が示す距離を前記立体距離に変換し、前記指定距離における前記関数の変化の割合は１より大きいことが好ましい。

この構成によれば、距離情報が示す距離の関数として立体距離が表された変換式を用いて、距離情報が示す距離を立体距離に変換することができる。このとき、指定距離における関数の変化の割合は１より大きいので、指定距離において距離情報が示す距離の変化量よりも立体距離の変化量のほうが大きくなる。したがって、指定距離におけるシーンの立体感が強調されるように、変換式を用いて、距離情報が示す距離を立体距離に容易に変換することが可能となる。

また、前記距離変換部は、あらかじめ保持された複数の変換式のうち、前記指定距離において変化の割合が最も大きい変換式を用いて、前記距離情報が示す距離を前記立体距離に変換することが好ましい。

この構成によれば、あらかじめ保持された複数の変換式のうち、指定距離における立体感の強調に適した変換式を用いて、距離情報が示す距離を立体距離に変換することができる。

また、前記３次元画像処理装置は、集積回路として構成されてもよい。

また、本発明の一態様に係る３次元撮像装置は、上記３次元画像処理装置と、前記シーンの撮影画像を撮影する撮像部と、前記強調画像を表示する表示部とを備える。

これにより、上記３次元画像処理装置と同様の効果を奏することができる。

なお、本発明は、このような３次元画像処理装置として実現することができるだけでなく、このような３次元画像処理装置が備える特徴的な構成要素の動作をステップとする３次元画像処理方法として実現することができる。また、本発明は、３次元画像処理方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

本発明によれば、シーンのカメラからの距離を示す距離情報を用いて当該シーンの撮影画像の立体感を向上させることができる。

図１は、本発明の実施の形態における３次元撮像装置の全体構成を示す図である。 図２は、本発明の実施の形態における３次元画像処理部の構成を示すブロック図である。 図３は、本発明の実施の形態における３次元画像処理部の処理動作を示すフローチャートである。 図４は、本発明の実施の形態における距離情報取得部の処理動作を示すフローチャートである。 図５Ａは、本発明の実施の形態における距離指定部での距離指定方法の一例を示す図である。 図５Ｂは、本発明の実施の形態における距離指定部での距離指定方法の一例を示す図である。 図６は、本発明の実施の形態における輻輳ステレオの一例を示す図である。 図７Ａは、本発明の実施の形態における変換式のパラメータの一例を示す図である。 図７Ｂは、本発明の実施の形態における実距離と立体距離との関係の一例を示す図である。 図８は、複数の指定距離が指定された場合の変換式の設定方法の一例を示す図である。 図９は、ボケ画像と全焦点画像とＰＳＦとの関係を示す図である。 図１０は、本発明の実施の形態におけるボケカーネルのサイズの求め方を示す図である。 図１１は、本発明の実施の形態における強調画像生成部によって生成される強調画像を説明するための概念図である。 図１２は、本発明の実施の形態おける視差画像生成方法を説明するための図である。 図１３は、本発明の一態様に係る３次元画像処理装置の機能構成を示すブロック図である。 図１４は、本発明の一態様に係る３次元画像処理装置の処理動作を示すフローチャートである。

以下、図面を参照しながら本発明の実施の形態を説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示す。つまり、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、本発明の一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲の記載に基づいて特定される。したがって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素は、本発明の課題を達成するために必ずしも必要ではないが、より好ましい形態を構成する構成要素として説明される。

また、以下の説明において、画像を示す信号または情報を単に「画像」と称する場合がある。

図１は、本発明の実施の形態における３次元撮像装置１０の全体構成を示すブロック図である。本実施の形態の３次元撮像装置１０は、デジタル式の電子カメラであり、撮像部１００と、信号処理部２００と、表示部３００とを備える。以下に、撮像部１００、信号処理部２００および表示部３００を詳細に説明する。

撮像部１００は、シーンの画像を撮影する。シーンとは、撮像部１００によって撮影された画像に写っているもののすべてを意味し、被写体に加えて背景も含む。

図１に示すように、撮像部１００は、撮像素子１０１と、光学レンズ１０３と、フィルタ１０４と、制御部１０５と、素子駆動部１０６とを備える。

撮像素子１０１は、例えばＣＣＤイメージセンサあるいはＣＭＯＳイメージセンサ等の固体撮像素子であり、公知の半導体製造技術によって製造される。例えば、撮像素子１０１は、撮像面上に行列状に配置された複数の光感知セルを備える。

光学レンズ１０３は、撮像素子１０１の撮像面上に像を形成する。本実施の形態では、撮像部１００は、１枚の光学レンズ１０３を備えているが、複数枚の光学レンズを備えてもよい。

フィルタ１０４は、可視光を透過して、近赤外光（ＩＲ）をカットする赤外カットフィルタである。なお、撮像部１００は、必ずしもフィルタ１０４を備える必要はない。

制御部１０５は、撮像素子１０１を駆動するための基本信号を生成する。さらに、制御部１０５は、撮像素子１０１からの出力信号を受信して信号処理部２００に送出する。

素子駆動部１０６は、制御部１０５によって生成された基本信号に基づいて撮像素子１０１を駆動する。

なお、これらの制御部１０５および素子駆動部１０６は、例えばＣＣＤドライバなどのＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）から構成されている。

信号処理部２００は、撮像部１００からの信号に基づいて画像を示す信号（画像信号）を生成する。図１に示すように、信号処理部２００は、メモリ２０１と、３次元画像処理部２０２と、インタフェース部２０３とを備える。

３次元画像処理部２０２は、シーンのカメラからの距離を示す距離情報を用いて、当該シーンの撮影画像を処理する。この３次元画像処理部２０２は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。なお、３次元画像処理部２０２の詳細については、図面を用いて後述する。

メモリ２０１は、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などによって構成される。メモリ２０１には、撮像部１００から得られた信号が記録されるとともに、３次元画像処理部２０２によって生成された画像データあるいはその圧縮画像データが一時的に記録される。これらの画像データは、インタフェース部２０３を介して、不図示の記録媒体あるいは表示部３００などに送出される。

表示部３００は、撮影条件あるいは撮影された画像などを表示する。また、表示部３００は、静電容量方式あるいは抵抗膜方式などのタッチパネルであり、ユーザからの入力を受け付ける入力部としても機能する。ユーザから入力された情報は、インタフェース部２０３を通して、信号処理部２００および撮像部１００の制御に反映される。

また、表示部３００は、信号処理部２００によって生成された強調画像を表示する。なお、本実施の形態では、表示部３００は、３次元画像（例えば視差画像）の立体表示ができなくてもよい。

なお、本実施の形態の３次元撮像装置１０は、さらに、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。

図２は、本発明の実施の形態における３次元画像処理部２０２の構成を示すブロック図である。図２に示すように、３次元画像処理部２０２は、距離情報取得部４００と、距離指定部４０１と、距離変換部４０２と、強調画像生成部４０３と、視差画像生成部４０４とを備える。

距離情報取得部４００は、撮像部１００で撮影された撮影画像に基づいて、シーンのカメラからの距離（以下、実距離ともいう）を示す距離情報を取得する。

距離指定部４０１は、立体感を強調する対象となる距離である指定距離の入力を受け付ける。つまり、距離指定部４０１は、立体感を強調したい距離を指定する。

距離変換部４０２は、指定距離におけるシーンの立体感が強調されるように、距離情報が示す距離を立体距離に変換する。つまり、距離変換部４０２は、指定距離における実距離の変化量よりも立体距離の変化量の方が大きくなるように、実距離を立体距離に変換する。なお、立体距離とは、３次元画像（例えば視差画像）を生成するための距離である。

本実施の形態では、距離変換部４０２は、指定距離において実距離よりも立体感が強調される立体距離に実距離を変換するための変換式を用いて、実距離を立体距離に変換する。この変換式では、立体距離が実距離の関数として表される。また、この変換式では、指定距離における関数（立体距離）の変化の割合が１よりも大きい。これにより、指定距離において、実距離の変化量よりも立体距離の変化量の方が大きくなる。

なお、距離変換部４０２は、必ずしも変換式を用いて距離変換を行う必要はない。距離変換部４０２は、例えば実距離と立体距離とが対応付けられたテーブルを参照して、実距離を立体距離に変換してもよい。

強調画像生成部４０３は、立体距離に基づいて撮影画像を加工することにより、指定距離において強調される立体感が表された強調画像を生成する。つまり、強調画像生成部４０３は、立体距離に基づいて撮影画像を加工することにより、指定距離において強調される立体感を視認可能な強調画像を生成する。なお、立体感を視認可能な画像とは、ユーザが立体感を知覚することができる画像を意味する。

本実施の形態では、強調画像生成部４０３は、立体距離の情報を利用して、立体感が強調される領域あるいは強調度合いがわかるように、撮影画像にボケを付加するする。具体的には、強調画像生成部４０３は、指定距離と立体距離との差が大きい領域ほどボケが大きくなるように撮影画像を加工することにより、強調画像を生成する。逆に言えば、強調画像生成部４０３は、指定距離と立体距離との差が小さい領域ほどボケが小さくなるように撮影画像を加工する。

視差画像生成部４０４は、立体距離に基づいて、左目用および右目用の画像を生成する。つまり、視差画像生成部４０４は、撮影画像を用いて、立体距離に応じた視差を有する視差画像（例えば、左目用画像および右目用画像）を生成する。

このように生成された視差画像は、例えば、不図示の立体表示装置に出力される。立体表示装置は、例えば、メガネ式の立体表示方式により視差画像を表示する。メガネ式の立体表示方式とは、メガネ（例えば、液晶シャッタメガネまたは偏光メガネなど）を着用したユーザに対して、視差を有する左目用画像および右目用画像を表示する方式である。

なお、立体表示装置は、必ずしもメガネ式の立体表示方式により視差画像を表示する必要はなく、裸眼式の立体表示方式により視差画像を表示してもよい。裸眼式の立体表示方式は、メガネを用いない立体表示方式（例えば、パララックスバリア方式あるいはレンチキュラーレンズ方式など）である。

次に、以上のように構成された３次元画像処理部２０２の処理動作について説明する。

図３は、本発明の実施の形態における３次元画像処理部２０２の処理動作を示すフローチャートである。

まず、距離情報取得部４００は、撮像部１００で撮影された撮影画像に基づいて、カメラからのシーンの距離を示す距離情報を取得する（Ｓ１０２）。続いて、距離指定部４０１は、指定距離の入力を受け付ける（Ｓ１０４）。距離変換部４０２は、指定距離における前記シーンの立体感が強調されるように、距離情報が示すシーンの距離を立体距離に変換する（Ｓ１０６）。強調画像生成部４０３は、立体距離に基づいて撮影画像を加工することにより、指定距離において強調される立体感が表された強調画像を生成する（Ｓ１０８）。

ここで、指定距離の変更が必要な場合（Ｓ１１０のＹｅｓ）、再びステップＳ１０４の処理に戻る。指定距離の変更が必要な場合とは、例えば、表示部３００に表示された強調画像を視認したユーザによって指定距離の変更を指示された場合などである。一方、指定距離の変更が不要な場合（Ｓ１１０のＮｏ）、視差画像生成部４０４は、立体距離に応じた視差を有する多視点画像を生成する（Ｓ１１２）。

次に、図３に示した各ステップにおける処理の詳細を説明する。

＜距離情報取得処理（Ｓ１０２）＞
まず、ステップＳ１０２の距離情報取得処理の詳細について説明する。

距離情報取得部４００は、撮像部１００で得られる画像信号からシーンの距離情報を取得する。本実施の形態では、特許文献６に記載のＤｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法により距離を計測する方法について例示するが、他の方法（例えば、複数台のカメラを用いたステレオ法、フォトメトリックステレオ、あるいはアクティブセンサを用いたＴＯＦ法など）でも構わない。

Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法では、まず、撮像部１００は、レンズや絞りの設定を変えることで互いにボケが異なる複数枚の画像を撮影する。そして、距離情報取得部４００は、このように撮影された複数枚の画像間のボケの相関量を画素ごとに算出する。このボケの相関量と被写体距離との関係を定める参照テーブルを参照することで、距離情報取得部４００は、距離情報を取得する。

図４は、本発明の実施の形態における距離情報取得部４００の処理動作の一例を示すフローチャートである。具体的には、図４は、Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法による距離計測の方法を示す。

まず、距離情報取得部４００は、同一のシーンの画像であって焦点距離が互いに異なる２枚の画像を撮像部１００から取得する（Ｓ２０２）。焦点距離は、レンズあるいは撮像素子の位置を動かすことで変更できる。

次に、距離情報取得部４００は、測距対象となる画素とその近傍領域の画素群とを含む領域をＤＦＤカーネルとして設定する（Ｓ２０４）。このＤＦＤカーネルが測距処理の対象となる。ＤＦＤカーネルのサイズや形は特に制限されるものではないが、例えば測距対象画素を中心とした１０ｘ１０の矩形領域などをＤＦＤカーネルとして設定することができる。

そして、距離情報取得部４００は、焦点距離を変えて撮影された２枚の画像からＤＦＤカーネルとして設定された領域を抽出し、ＤＦＤカーネルの画素毎に画素単位のボケ相関量を算出する（Ｓ２０６）。

ここで、距離情報取得部４００は、ＤＦＤカーネルに対してあらかじめ定められた重み係数を用いて、ＤＦＤカーネルの画素毎に求めたボケ相関量の重み付けを行う（Ｓ２０８）。この重み係数は、例えばＤＦＤカーネルの中心ほど値が大きく、端ほど値が小さくなる係数である。なお、ガウス分布など既存の重み分布を重み係数として利用しても構わない。この重み付け処理によりノイズの影響にロバストになるという特徴がある。重み付けされたボケ相関量の和は、ＤＦＤカーネルのボケ相関量として扱われる。

最後に、距離情報取得部４００は、距離情報とボケ相関量との関係を示すルックアップテーブルを用いてボケ相関量から距離情報を求める（Ｓ２１０）。ルックアップテーブルでは、ボケ相関量は、被写体距離の逆数に対して線形な関係である（ルックアップテーブル算出処理は非特許文献５を参照）。なお、ボケ相関量がルックアップテーブルに含まれてなければ、距離情報取得部４００は、補間によって被写体距離を求めればよい。また、光学系が変わればルックアップテーブルも変えることが好ましい。そこで、距離情報取得部４００は、絞りの大きさや焦点距離に応じて複数のルックアップテーブルを用意しておいても構わない。これらの光学系の設定情報は撮像時に既知のため、使用するルックアップテーブルは事前に求めておくことが可能である。

次にボケ相関量算出方法について説明する。

互いに異なる焦点距離で撮影された２枚の画像を画像Ｇ１、Ｇ２とする。距離情報取得部４００は、被写体距離を測定する測距対象画素を選び、その測距対象画素の近傍Ｍ×Ｍ矩形領域の画素値をＤＦＤカーネルとして画像Ｇ１、Ｇ２にそれぞれ設定する。画像Ｇ１、Ｇ２それぞれにおけるＤＦＤカーネル内の画素値をｇ１（ｕ，ｖ）、ｇ２（ｕ，ｖ）｛ｕ，ｖ：１，２，３，・・・Ｍ｝、測距対象画素の座標を（ｃｕ，ｃｖ）とする。ＤＦＤカーネル内の任意の画素位置（ｕ，ｖ）における画素毎のボケ相関量Ｇ（ｕ，ｖ）は、（式３）で表される。

ここでＣは定数であり、実験的に決められる。Δは画素値の２次微分（ラプラシアン）を表す。このように、画素毎のボケ相関量は、ボケの異なる２枚の画像において所定画素の画素値の差分を２つの画像の所定画素での２次微分の平均値で除算することにより算出される。このボケ相関量は、画像内の画素単位でのボケの相関の程度を表す。

以上までの処理によって撮影シーンの距離情報を求めることができる。なお、距離情報取得部４００は、必ずしも以上のような処理を行う必要はない。距離情報取得部４００は、撮像部１００によって生成された距離情報を単に取得するだけでもよい。

＜距離指定処理（Ｓ１０４）＞
次に、ステップＳ１０４において、距離指定部４０１は、立体感を強調したい被写体の距離である指定距離の入力をユーザから受け付ける。ユーザは、例えば、図５Ａに示すようなスライドバーを用いて、立体感を強調したい距離を指定すればよい。

また、ユーザは、表示部３００に表示された画像に対して立体感を強調したい被写体を指定することにより、当該被写体の距離を、立体感を強調したい距離として指定してもよい。この場合、表示部３００は、タッチパネルの機能を有することが好ましい。これにより、ユーザは、図５Ｂに示すように、表示部３００をタッチするだけで非被写体を容易に指定することができる。

＜距離変換処理（Ｓ１０６）＞
次に、ステップＳ１０６の距離変換処理の詳細を説明する。

距離変換部４０２は、実距離よりも立体感が強調された立体距離への実距離の変換を行う。本実施の形態では、実距離から立体距離に変換するための変換式を、あらかじめ複数用意しておく。距離変換部４０２は、指定距離における立体感の強調に適した変換式を複数の変換式の中から選択し、選択した変換式を用いて実距離から立体距離への変換を行う。

以下、立体感の強調に適した変換式を距離毎に求める方法について述べる。本実施の形態では、非特許文献６に示される交差法（輻輳ステレオ法）の原理に基づいて得られる複数の変換式があらかじめ保持されている。

輻輳ステレオ法では、図６に示すように２台のカメラが、それぞれのカメラの光軸が交差するように配置されており、光軸が交差する位置を前後させることによって被写体の立体距離を変えることができる。輻輳ステレオ法では、カメラの間隔を変えることにより光軸が交差する位置を前後に変えることができ、被写体の飛び出し量を制御できる。このことから、輻輳ステレオ法は、立体感の演出が簡便であることが知られている。

非特許文献６に示される式展開により（式４）が得られる。

（式４）を用いることで、Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法を用いて算出された実距離Ｌｂと立体像が生じる立体距離Ｌｄとの関係が求まる。ここで、Ｌｓは視距離であり、撮影時にピントがあっている被写体までの実距離である。Ｌｃは、撮影時のカメラ間における光軸が交差する点までの距離である。ａ１は、撮影時のカメラ間隔と左右の視差画像の間隔との比である。ａ２は、撮影時の画像の画角と視差画像の画角との比を表す。

図７Ａは、本発明の実施の形態における変換式のパラメータの一例を示す図である。図７Ａにおいて、ｄｃはカメラの間隔、ｄｅは視聴時の眼の間隔（瞳孔間隔）、αは撮像レンズの間隔、βは表示画面の間隔を示す。したがって、（式４）との関係において、ａ１＝ｄｃ／ｄｅ、ａ２＝ｔａｎ（β／２）／ｔａｎ（α／２）が成り立つ。

例えば、パラメータを図７Ａに示すように設定した場合の実距離と立体距離との関係は図７Ｂのようになる。図７Ｂは、条件１、２、３のときの距離の変換結果を示す。なお、図７Ｂでは、横軸は実距離を示し、縦軸は立体距離を示す。また、条件とは、複数のパラメータ（Ｌｓ、Ｌｃなど）の値の組合せを指す。

図７Ｂを見ると、実距離の変化に対して立体距離が非線形に変化していることがわかる。例えば、条件１、２は、実距離が４０以下のときに実距離の変化量よりも立体距離の変化量が大きい。また、条件３では実距離が４０より大きいときに実距離の変化量よりも立体距離の変化量が大きい。実距離の変化量に対して立体距離の変化量が大きいほど見た目の立体感が得やすい。

以上のことから、指定距離において立体感を強調させるための変換式は、指定距離において、実距離の変化量よりも立体距離の変化量が大きくなる必要がある。そこで、距離変換部４０２は、複数の変換式のうち、指定距離における立体距離の変化量が最も大きい変換式を選択する。距離変換部４０２は、このように選択された変換式を利用してシーンの実距離を立体距離へ変換することで、指定距離における立体感を強調するための立体距離を得ることができる。

ここで、変換式の取得方法について具体的に説明する。まず、指定距離が１つである場合に、その指定距離においてシーンの立体感を強調するための変換式を複数の変換式の中から選択する方法を説明する。

まず、複数の条件に対応する複数の変換式をあらかじめ生成しておく。実距離ｄにおけるｎ番目の変換式をｆ（ｄ，ｎ）と表す。すなわち、ｎ番目の変換式で求めた実距離ｄに対応する立体距離がｆ（ｄ，ｎ）と表される。

変換式を生成するための条件（パラメータ）は、既存の知識に基づいて決められればよい。変換式は、撮影以前に生成しておくことが可能であり、設計段階で生成しておいてもよい。ここでは、Ｎ個の変換式があらかじめ生成されているとする。

また、実距離の範囲を０からｄｍａｘまでとする。実距離の範囲は利用するシーンによってセンチメートルやメートルなど単位が異なるが、本実施の形態では単位の表記を省略する。実距離ｄのときの変換式の番号ｎを保持するテーブルをＴとする。このとき実距離が１変化したときの立体距離の変化量をΔｆ（ｄ，ｎ）＝ｆ（ｄ＋１，ｎ）−ｆ（ｄ，ｎ）と表す。

既に述べたように実距離ｄの変化量に対して立体距離の変化量Δｆ（ｄ、ｎ）が大きければ実距離ｄに位置する被写体の立体感を強調できる。したがって、距離変換部４０２は、（式５）のように、実距離ｄごとに、Ｎ個の変換式のうち立体距離の変化量Δｆ（ｄ，ｎ）が最大となる変換式を特定し、特定した変換式を実距離ｄに対応づけてテーブルＴに記録する。

ここで、テーブルＴの作成方法について詳細に説明する。まず、（式５）のように、実距離ｄごとに、立体距離の変化量Δｆ（ｄ，ｎ）を全ての変換式について算出され、Δｆ（ｄ，ｎ）が最大となる変換式が特定される。このように特定された変換式が実距離ｄに対応づけてテーブルＴ［ｄ］に格納される。その結果、距離変換部４０２は、テーブルＴを参照するだけで、複数の変換式の中から、指定距離αにおいてシーンの立体感を強調させるための変換式を選択することができる。本実施の形態では、各距離で用いるべき変換式の番号ｎをテーブルＴに格納することで、変換式を選択する際の処理量を低減している。

以上により、距離変換部４０２は、指定距離αが入力されると実距離０からｄｍａｘを、立体距離ｆ（Ｔ［α］，０）〜ｆ（Ｔ［α］，ｄｍａｘ）に変換できる。

次に、指定距離が２つ以上である場合に、その２つ以上の指定距離においてシーンの立体感を強調するための変換式を取得する方法について説明する。例えば、図８に示すように２つの変換式ｆ１、ｆ２があり、シーンの立体感を強調させたい実距離が指定距離α、βであるとする。

このような場合、実距離を３つの区間に分割して実距離と立体距離の変換を行う。３つの区間とは、図８の（ｂ）のグラフに示すように、実距離が０〜αまでの第１区間、αからβまでの第２区間、およびβ以降の第３区間である。実距離が０からαまでの第１区間では、変換式ｆ１を用いて実距離の変換が行われる。実距離がαからβまでの第２区間では、変換式ｆ１と変換式ｆ２とを合成した新たな変換式ｆ３を用いて実距離の変換が行われる。実距離がβ以降の第３区間では、変換式ｆ２を用いて実距離の変換が行われる。

変換式ｆ３は次のような性質を持つ。実距離αにおいて変換式ｆ１によって得られる立体距離をｆ１（α）とし、実距離βにおいて変換式ｆ２によって得られる立体距離をｆ２（β）とすると、α＜βのとき、ｆ１（α）＜ｆ２（β）となる。この条件を満たさない場合、立体距離が実際の距離と反転するため見た目の違和感が大きくなる。

したがって、変換式ｆ３は、座標（α、ｆ１（α））と座標（β、ｆ２（β））とを結ぶ線（直線および曲線のいずれでも構わない）で定義され、実距離に対して単調増加する線で定義される。例えば、ｆ１（α）≦ｆ２（β）のときに変換式ｆ３が直線で定義されるとすると、変換式ｆ３の傾きは「（ｆ１（α）−ｆ２（β））／（α−β）」であり、切片は「α（（ｆ１（α）−ｆ２（β））／（α−β））−ｆ１（α）」となる。

なお、ｆ１（α）＞ｆ２（β）のとき、座標（α、ｆ１（α））と座標（β、ｆ２（β））とを結ぶ線は単調減少を表す。そこで、変換式ｆ２にｆ１（α）以上の定数Ｔをオフセットとして加えることで、実距離の増加に伴って立体距離が減少することがないように式変形を行う。これにより、β以降の第３区間においては、ｆ２’（ｄ）＝（ｆ２（ｄ）＋Ｔ）≧ｆ１（α）となる変換式ｆ２’が用いられる。

以上により、第１〜第３区間の変換式を定義することができる。

なお、指定距離が３つである場合は、αとβの間に新たな指定距離γがあると考え、αからγまでの区間およびγからβまでの区間の変換式を、先程の例に示した変換式ｆ３の生成方法と同様の方法で定義する。このようにαからβまでの区間を細分化することで、指定距離が３つ以上である場合も容易に変換式を定義することができる。

以上のように、距離変換部４０２は、あらかじめ保持された複数の変換式のうち、指定距離において変化の割合が最も大きい変換式を選択し、選択した変換式を用いて実距離を立体距離に変換する。

＜強調画像生成処理（Ｓ１０８）＞
次に、ステップＳ１０８の強調画像生成処理の詳細について説明する。

強調画像生成部４０３は、２次元画像を表示する２次元表示装置でも立体感の強調度合いを視認できるような２次元画像を強調画像として、立体距離に基づいて生成する。本実施の形態では、強調画像生成部４０３は、撮影画像にボケを付加することで、強調される立体感が表された強調画像を生成する。

なお、強調画像生成部４０３は、必ずしもボケを付加することにより強調画像を生成する必要はない。例えば、強調画像生成部４０３は、陰影などを付加することにより２次元画像において立体感を表現しても構わない。また、強調画像生成部４０３は、遠近法あるいは大気遠近法（遠方のものを、青く、コントラストを落として描画し遠近感をだす方法）を利用して立体感を表わしてもよい。

ここで、ボケを付加することにより強調画像を生成する処理についてより詳細に説明する。

まず、強調画像生成部４０３は、撮影画像に復元処理を行うことにより復元画像を生成する。もし、ボケが付加される画像に撮影の際に生じるボケが存在すれば、新たに付加されるボケと撮影の際に生じるボケとが混在してしまうため、立体感がうまく表現されない。

そこで、本実施の形態では、強調画像生成部４０３は、立体距離の情報とレンズの公式とを用いて、各画素のボケの大きさを示すボケ情報（ボケカーネル）を算出する。そして、強調画像生成部４０３は、撮影画像の各画素に対してボケカーネルを用いて逆畳み込み演算（復元処理）を行うことで、全ての画素で焦点が合った画像（全焦点画像）を復元画像として生成する。

そして、強調画像生成部４０３は、このように生成された全焦点画像に立体感を生むボケを付加することで強調画像を生成する。

以上の処理を説明するために、まず画像のボケの生成過程について説明する。ボケのない全焦点画像の輝度分布をｓ（ｘ，ｙ）とし、ボケの大きさを表すボケ関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）をｆ（ｘ，ｙ）とする。ここでは説明を簡単にするため画像全体が一様なボケ関数ｆでボケが生じていると仮定する。ノイズの影響を無視すれば以下の（式６）が成り立つ。

ここで、記号「＊」は、畳み込み演算（コンボリューション）を示している。図９は、（式６）を画像で表現した例である。図９のように全焦点画像が点で与えられるとき、円形状のボケ関数（詳細は後で定義する）で畳み込まれることによりボケ画像ｓ（ｘ，ｙ）が得られる。このボケ関数をボケカーネルとも呼ぶ。ここではボケ関数の円の直径をカーネルサイズという。

（式６）の右辺は、一般に、以下の（式７）で表される。

画像が、Ｍ×Ｎ個の画素からなる場合、上記の（式７）は、以下の（式８）で表すことができる。

一般に、２つの関数の畳み込みのフーリエ変換は、各関数のフーリエ変換の積によって表される。このため、ｉ（ｘ，ｙ）、ｓ（ｘ，ｙ）、ｆ（ｘ，ｙ）のフーリエ変換を、それぞれ、Ｉ（ｕ，ｖ）、Ｓ（ｕ，ｖ）、Ｆ（ｕ，ｖ）で表すと、（式６）から、以下の（式９）が導かれる。なお、（ｕ，ｖ）は、周波数領域における座標であり、それぞれ、実画像におけるｘ方向およびｙ方向の空間周波数に対応している。

ここで、記号「・」は、周波数領域における関数の「積」を示している。（式９）を変形すると、以下の（式１０）が得られる。

この（式１０）は、カメラ撮影によって得られた画像ｉ（ｘ，ｙ）のフーリエ変換Ｉ（ｕ，ｖ）を、ボケ関数ＰＳＦであるｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）で除算して得られた関数が、全焦点画像ｓ（ｘ，ｙ）のフーリエ変換Ｓ（ｕ，ｖ）に相当することを示している。

以上のことから、各画素のボケ関数ＰＳＦであるｆ（ｘ，ｙ）が分かれば、撮影画像ｉ（ｘ，ｙ）から全焦点画像ｓ（ｘ，ｙ）を求めることができる。

そこで、各画素のボケ関数ＰＳＦの求め方の一例について説明する。図１０にレンズの模式図を示す。カメラからの距離がｄである被写体を撮影しているときのボケカーネルのサイズをＢ、開口面から撮像面までの距離をＣとする。カメラの設定条件から絞りの直径（開口径）Ａと焦点距離ｆとは既知である。このとき、開口径Ａと焦点距離ｆとの関係、および、ボケカーネルＢと開口面から撮像面までの距離Ｃおよび焦点距離ｆの差との関係は、相似するので、（式１１）が得られる。

（式１１）よりボケカーネルのサイズＢは（式１２）で表される。

ここでレンズの公式より（式１３）が得られる。

カメラから被写体までの距離ｄと焦点距離ｆは既知であるため、（式１３）を用いると（式１２）は（式１４）のように変形できる。

強調画像生成部４０３は、この（式１４）によりボケカーネルのサイズＢを求めることができる。ボケカーネルのサイズＢが決まればボケ関数ｆ（ｘ，ｙ）が得られる。本実施の形態では、ボケカーネルをピルボックス関数で定義する。ピルボックス関数は（式１５）で定義できる。

以上の方法により、強調画像生成部４０３は、各画素のボケカーネルを求めて、ボケ関数を得る。そして、強調画像生成部４０３は、（式１０）により、ボケ関数を用いて撮影画像に対して逆畳み込み演算を行うことにより、全焦点画像を生成する。つまり、強調画像生成部４０３は、撮影画像のボケの特徴を示すボケ情報を用いて撮影画像に対して復元処理を行うことにより復元画像を生成する。

次に、強調画像生成部４０３は、全焦点画像にボケを付加することで、２次元表示装置でも、指定距離において強調される立体感（立体感が強調される位置あるいは強調度合い）を視覚的に確認できる強調画像を生成する。本実施の形態では、強調画像生成部４０３は、指定距離において焦点があっていて、指定距離から離れるにつれて画像のボケ量が大きくなるように全焦点画像を加工することで強調画像を生成する。つまり、強調画像生成部４０３は、指定距離と立体距離との差が大きい領域ほど大きなボケを付加することにより強調画像を生成する。

また、本実施の形態では、全焦点画像にボケを付加するために、（式１５）で定義したピルボックス関数が用いられる。強調画像生成部４０３は、指定距離と立体距離との差が大きくなるにつれて、当該立体距離を有する画像領域のボケ量を増加させる。

ボケ量を増加させるための方法として、例えば立体距離が１０離れるとピルボックス関数のカーネルサイズを拡大する（３×３から５×５サイズに拡大する）という方法が考えられる。そこで、強調画像生成部４０３は、全焦点画像の全ての画素において、各画素の立体距離と指定距離との差の大きさに応じて、ボケカーネルのサイズを決定する。そして、強調画像生成部４０３は、決定されたボケカーネルのサイズに従って、全焦点画像の各画素にボケを付加する。

以上の処理により、強調画像生成部４０３は、指定距離で合焦し、指定距離から立体距離が離れるほどボケが大きくなる強調画像を生成することができる。

図１１は、本発明の実施の形態における強調画像生成部４０３によって生成される強調画像を説明するための概念図である。図１１の（ａ）〜（ｄ）に示す画像には、立体距離ｄ１、ｄ２、ｄ３を有する被写体が含まれている。ここで、立体距離ｄ１、ｄ２、ｄ３は、ｄ１＜ｄ２＜ｄ３の関係を満たすとする。また、立体距離ｄ１、ｄ２、ｄ３は、ｄ２−ｄ１＝ｄ３−ｄ２の関係も満たすとする。

図１１の（ａ）は、全焦点画像を示す。全焦点画像では、立体距離ｄ１、ｄ２、ｄ３の被写体の焦点はあっている。

図１１の（ｂ）は、指定距離αがｄ１と等しい場合の強調画像を示す。図１１の（ｂ）に示すように、指定距離α＝ｄ１の場合、立体距離ｄ２を有する被写体よりも立体距離ｄ３を有する被写体に大きなボケが付加されている。

図１１の（ｃ）は、指定距離αがｄ２と等しい場合の強調画像を示す。図１１の（ｃ）に示すように、指定距離α＝ｄ２の場合、立体距離ｄ１、ｄ３を有する被写体にはボケが付加されている。ここでは、立体距離ｄ１とｄ２との差は、ｄ３とｄ２との差と等しいので、立体距離ｄ１、ｄ３を有する被写体には同じ大きさのボケが付加されている。

図１１の（ｄ）は、指定距離αがｄ３と等しい場合の強調画像を示す。図１１の（ｄ）に示すように、指定距離α＝ｄ３の場合、立体距離ｄ２を有する被写体よりも立体距離ｄ３を有する被写体に大きなボケが付加されている。

このように、強調画像生成部４０３は、指定距離と立体距離との差が大きい領域ほどボケが大きくなるように撮影画像を加工することにより強調画像を生成する。そして、強調画像生成部４０３は、生成した強調画像を２次元表示装置である表示部３００に出力する。そして、表示部３００が強調画像を表示することにより、ユーザは、どの領域の立体感が強調されているかを撮影時に定性的に確認することができる。

＜視差画像生成処理（Ｓ１１２）＞
最後に、視差画像生成部４０４は、立体距離と全焦点画像とを用いて、視差画像（ここでいう視差画像とは左目用画像と右目用画像との２枚の画像を指す）を生成する。以下、全焦点画像をテクスチャ（あるいはテクスチャ画像）と呼び、立体距離の値を画素値として表現した画像を距離画像と呼ぶ。

テクスチャ画像と距離画像とから左目用画像を生成する方法について説明する。図１２に距離画像とテクスチャ画像、及び、左目用画像と被写体までの距離との関係を示す。図１２内の記号の意味は以下の通りである。

Ａ：距離計測位置
Ｂ：左視差位置
Ｃ、Ｄ：被写体
Ｅ：左視差位置の光軸
Ｇ、Ｉ：被写体Ｃ、Ｄの左目用カメラでの撮影位置
ｆ：距離計測位置の焦点距離
ｄ：ＡとＢの距離
Ｚ，Ｚ’：Ｃ、Ｄまでの距離
Ｘ１、Ｘ２：撮影画像上の座標

テクスチャ画像の画素（ｕ，ｖ）に対応する左目用画像の画素がわかれば、テクスチャ画像の画素（ｕ，ｖ）の画素値を左目用画像の対応する画素にコピーすることで左目用画像を生成できる。図１２において焦点距離ｆとカメラから被写体までの距離Ｚ、Ｚ’とは既知である。また、距離ｄはあらかじめ視差画像を生成する際に任意に設定可能な値なので既知である。ここで、三角形ＡＢＣと三角形ＥＩＢ、及び、三角形ＡＢＤと三角形ＥＧＢがそれぞれ相似しているので、（式１６）が得られる。

（式１６）を変形すると、（式１７）が得られる。

このことから、立体距離がＺのとき、テクスチャ画像の画素（ｕ，ｖ）は、左目用画像では画素（ｕ−Ｘ１，ｖ）に対応する。そこで、視差画像生成部４０４は、テクスチャ画像の画素（ｕ，ｖ）の画素値を左目用画像の画素（ｕ−Ｘ１，ｖ）にコピーすればよい。同様に、視差画像生成部４０４は、立体距離がＺ’の場合は、テクスチャ画像の画素（ｕ，ｖ）の画素値を左目用画像の画素（ｕ−Ｘ２，ｖ）にコピーすればよい。

視差画像生成部４０４は、以上の処理を距離画像に含まれる全ての画素に対して行うことで、左目用画像を生成できる。右目用画像は、左目用画像と左右反対の位置にコピーすることで生成される。先程の例で説明すると、左目用画像の画素（ｕ−Ｘ１，ｖ）に対応する右目用画像の画素は、画素（ｕ＋Ｘ１，ｖ）となる。これにより、視差画像生成部４０４は、ユーザが所望の距離にある被写体の立体感を強調した視差画像を生成することができ、３次元表示装置などにより被写体を立体表示することが可能になる。

以上のように、本実施の形態に係る３次元撮像装置によれば、立体感を強調したいシーンの距離を指定することで、輻輳ステレオ法に従った物理的に違和感のでないように、実距離を立体距離に変換ができるという効果がある。

つまり、本実施の形態に係る３次元撮像装置によれば、指定距離におけるシーンの立体感が強調されるように、距離情報が示す距離を立体距離に変換することができる。したがって、３次元画像の撮影に不慣れな撮影者が撮影した画像であっても、所望の被写体の立体感が強調された画像を得ることが可能となる。

また、撮影者が立体感を視認することができる強調画像を生成することで、どの領域の立体感がどの程度強調されているかを撮影者が撮影中に確認できるという効果がある。その結果、効率液に撮影画像の立体感を向上させることが可能となる。

また、本実施の形態に係る３次元撮像装置によれば、指定距離と立体距離との差が大きい領域ほどボケが大きくなるように撮影画像を加工することにより、強調画像を生成することができる。つまり、強調画像を２次元画像として生成することができる。したがって、強調画像を表示するために３次元表示装置が必ずしも必要ではなくなるので、例えば撮像装置の構成を簡易にすることができる。

また、本実施の形態に係る３次元撮像装置によれば、撮影画像に対して復元処理を行うことにより生成された復元画像にボケを付加することにより強調画像を生成することができる。したがって、撮影画像に含まれるボケによって立体感の視認性が低下することを抑制することが可能となる。

以上、本発明の一態様に係る３次元撮像装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施した形態も、本発明の範囲内に含まれる。

例えば、上記実施の形態において、強調画像生成部は、２次元画像を強調画像として生成したが、３次元画像を強調画像として生成してもよい。この場合、表示部は、３次元画像を立体表示できることが好ましい。これにより、撮影者は、表示部に立体表示された強調画像を見ることにより、指定距離において強調される立体感を確認することができる。

また、３次元画像処理部は、必ずしも、距離情報取得部および視差画像生成部を備えなくてもよい。この場合、距離変換部が例えば撮像部から距離情報を取得すればよい。また、視差画像は、表示部が生成してもよい。

また、上記実施の形態における各種処理において画素毎に処理が行われていたが、例えば複数の画素からなる領域毎に処理が行われてもよい。

また、上記実施の形態において、３次元画像処理部は、３次元撮像装置に含まれていたが、３次元撮像装置から独立して３次元画像処理装置として実現されてもよい。このような３次元画像処理装置の一例を図１３および図１４を用いて説明する。

図１３は、本発明の一態様に係る３次元画像処理装置５００の機能構成を示すブロック図である。また、図１４は、本発明の一態様に係る３次元画像処理装置５００の処理動作を示すフローチャートである。図１３に示すように、３次元画像処理装置５００は、距離指定部５０１と、距離変換部５０２と、強調画像生成部５０３とを備える。

図１４に示すように、まず、距離指定部５０１は、立体感を強調する対象となる距離である指定距離の入力を受け付ける（Ｓ３０２）。続いて、距離変換部５０２は、指定距離におけるシーンの立体感が強調されるように、距離情報が示す距離を、３次元画像を生成するための立体距離に変換する（Ｓ３０４）。最後に、強調画像生成部５０３は、立体距離に基づいて撮影画像を加工することにより、指定距離において強調される立体感が表された強調画像を生成する（Ｓ３０６）。このように、３次元画像処理装置５００は、距離情報を用いて、指定距離における撮影画像の立体感を強調する。

（その他変形例）
なお、以下のような場合も本発明に含まれる。

（１）上記の３次元画像処理装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＯＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、３次元画像処理装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の３次元画像処理装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の３次元画像処理装置を構成する構成要素の一部または全部は、３次元画像処理装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明に係る３次元画像処理装置および３次元撮像装置は、撮影画像において、指定距離における立体感を強調することができ、デジタルスチルカメラ、デジタルビデオカメラあるいはコンピュータソフトウェアなどとして利用することができる。

１０ ３次元撮像装置
１００ 撮像部
１０１ 撮像素子
１０３ 光学レンズ
１０４ フィルタ
１０５ 制御部
１０６ 素子駆動部
２００ 信号処理部
２０１ メモリ
２０２ ３次元画像処理部
２０３ インタフェース部
３００ 表示部
４００ 距離情報取得部
４０１、５０１ 距離指定部
４０２、５０２ 距離変換部
４０３、５０３ 強調画像生成部
４０４ 視差画像生成部
５００ ３次元画像処理装置

Claims (10)

1. シーンのカメラからの距離を示す距離情報を用いて、前記シーンの撮影画像を処理する３次元画像処理装置であって、
   立体感を強調する対象となる距離である指定距離の入力を受け付ける距離指定部と、
   前記指定距離における前記シーンの立体感が強調されるように、前記距離情報が示す距離を、３次元画像を生成するための立体距離に変換する距離変換部と、
   前記立体距離に基づいて前記撮影画像を加工することにより、前記指定距離において強調される立体感が表された強調画像を生成する強調画像生成部とを備える
   ３次元画像処理装置。
2. 前記強調画像生成部は、前記指定距離と前記立体距離との差が大きい領域ほどボケが大きくなるように前記撮影画像を加工することにより、前記強調画像を生成する
   請求項１に記載の３次元画像処理装置。
3. 前記強調画像生成部は、前記撮影画像のボケの特徴を示すボケ情報を用いて前記撮影画像に対して復元処理を行うことにより復元画像を生成し、前記指定距離と前記立体距離との差が大きい領域ほど大きなボケを付加することにより、前記強調画像を生成する
   請求項２に記載の３次元画像処理装置。
4. 前記３次元画像処理装置は、さらに、
   前記撮影画像に基づいて、前記立体距離に応じた視差を有する視差画像を前記３次元画像として生成する視差画像生成部を備える
   請求項１〜３のいずれか１項に記載の３次元画像処理装置。
5. 前記距離変換部は、前記距離情報が示す距離の関数として前記立体距離が表された変換式を用いて、前記距離情報が示す距離を前記立体距離に変換し、
   前記指定距離における前記関数の変化の割合は１より大きい
   請求項１〜４のいずれか１項に記載の３次元画像処理装置。
6. 前記距離変換部は、あらかじめ保持された複数の変換式のうち、前記指定距離において変化の割合が最も大きい変換式を用いて、前記距離情報が示す距離を前記立体距離に変換する
   請求項５に記載の３次元画像処理装置。
7. 前記３次元画像処理装置は、集積回路として構成されている
   請求項１〜６のいずれか１項に記載の３次元画像処理装置。
8. 請求項１〜７のいずれか１項に記載の３次元画像処理装置と、
   前記シーンの撮影画像を撮影する撮像部と、
   前記強調画像を表示する表示部とを備える
   ３次元撮像装置。
9. シーンのカメラからの距離を示す距離情報を用いて、前記シーンの撮影画像を処理する３次元画像処理方法であって、
   立体感を強調する対象となる距離である指定距離の入力を受け付ける距離指定ステップと、
   前記指定距離における前記シーンの立体感が強調されるように、前記距離情報が示す距離を、３次元画像を生成するための立体距離に変換する距離変換ステップと、
   前記立体距離に基づいて前記撮影画像を加工することにより、前記指定距離において強調される立体感が表された強調画像を生成する強調画像生成ステップとを含む
   ３次元画像処理方法。
10. 請求項９に記載の３次元画像処理方法をコンピュータに実行させるためのプログラム。

Images