JP5180407B2 - 立体撮像装置および視差画像復元方法 - Google Patents

Description

【技術分野】
【０００１】
本発明は単眼撮像装置に係り、特に撮影レンズの２方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、異なる視点画像を取得する技術に関する。
【背景技術】
【０００２】
従来、この種の単眼立体撮像装置として、図９に示す光学系を有するものが知られている（特許文献１）。
【０００３】
この光学系は、メインレンズ１およびリレーレンズ２の左右方向の異なる領域を通過した被写体像をミラー４により瞳分割し、それぞれ結像レンズ５、６を介して撮像素子７、８に結像させるようにしている。
【０００４】
図１０の（Ａ）から（Ｃ）は、それぞれ前ピン、合焦（ベストフォーカス）、および後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。なお、図１０では、フォーカスによる分離の違いを比較するために、図９に示したミラー４を省略している。
【０００５】
図１０の（Ｂ）に示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図１０の（Ａ）および（Ｃ）に示すように前ピンおよび後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。
【０００６】
従って、左右方向に瞳分割された被写体像を撮像素子７、８を介して取得することにより、被写体距離に応じて視点の異なる左視点画像および右視点画像（３Ｄ画像）を取得することができる。
【０００７】
位相板により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（非特許文献１）。
【０００８】
一般的な結像光学系においては、ベストフォーカスの位置では光線が最も密に集中し、ベストフォーカス位置から離れて行くとそのデフォーカス量にほぼ比例してボケ径が広がる。ボケの形は点像分布関数（ＰＳＦ：Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）で表される（特許文献２）。
【０００９】
被写体となる物体をズームレンズ等の光学系により撮像素子の撮像面上に結像した場合、撮像素子で撮像した像は元の物体に比べて光学系の収差の影響によりボケが生じ、画質が劣化することが知られている。この時の像による画像の強度分布ｇは、元の物体の輝度分布ｆと光学系の結像性能を表す点像強度分布ｈの畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）にノイズｎが加わった
ｇ＝ｆ＊ｈ＋ｎ（＊は畳み込み積分）・・・（Ａ）
で表される。ｇ、ｈ、ｎを既知として、式（Ａ）から元の物体の輝度分布ｆを求めることができる。このようにして、光学系のボケを信号処理により取り除き、理想的な像を得る技術は、像の「復元」、「逆畳み込み」、あるいは「デコンボリューション（Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）」と呼ばれている。点像強度分布（ＰＳＦ）に基づく復元フィルタは、撮像時の画像の劣化に関する情報、例えば撮影条件（露光時間、露光量、被写体までの距離、焦点距離等）や撮像装置の特性情報（レンズの光学特性、撮像装置の識別情報等）等を考慮して生成される（特許文献３）。
【００１０】
ボケによる劣化モデルは、関数によって表現することができる。例えば、中心画素からの距離（像高）をパラメータとする正規分布でボケ現象を表現することができる（特許文献４）。
【００１１】
なお、光学的伝達関数（ＯＴＦ）は、ＰＳＦの周波数領域への二次元フーリエ変換である。ＰＳＦをＯＴＦに変換する、またはその逆は容易であるので、ＯＴＦは、ＰＳＦと同視されうる（特許文献５）。
【００１２】
デフォーカス量が不明なため、ピントが合っていてもいなくてもＰＳＦが同じような広がりを有するようにした特殊な光学系は、ＥＤｏｆ（Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ、強化被写界深度）と呼ばれる（特許文献６から８）。図１１は、ＥＤｏｆのＰＳＦに対応するデコンボリューションフィルタの一例を示す。このデコンボリューションフィルタは、画像内の各位置の像高（画像中心からの距離）に対応したフィルタである。図１１では、像高０〜ｒ１にフィルタａ、像高ｒ１〜ｒ２にフィルタｂ、像高ｒ２以上にフィルタｃが対応していることが示されている。
【００１３】
特許文献９は視差画像入力装置の一例を示す。
【００１４】
特許文献１０は、撮像画面を分割し、その分割領域ごとに被写体の焦点検出を行って、その像ずれ量（デフォーカス量）を検出する技術の一例を示す。なお、像ずれ量は被写体までの距離に依存するため、像ずれ量は被写体距離と技術的に同視しうる。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】
特表２００９−５２７００７号公報
【特許文献２】
特開２００８−２１１６７９号公報
【特許文献３】
特開２００８−１７２３２１号公報
【特許文献４】
特開２０００−０２０６９１号公報
【特許文献５】
特表２００９−５３４７２２号公報
【特許文献６】
特開２００９−１０９４４号公報
【特許文献７】
特開２００９−１８７０９２号公報
【特許文献８】
特開２００９−１８８６７６号公報
【特許文献９】
特開平１０−４２３１４号公報
【特許文献１０】
特開平４−７３７３１号公報
【非特許文献】
【００１６】
【非特許文献１】
Edward R. Dowski, Jr., Robert H. Cormack, Scott D. Sarama, “Wavefront Coding; jointly optimized optical and digital imaging systems”
【発明の概要】
【発明が解決しようとする課題】
【００１７】
図１２Ａから図１２Ｃに示したように、単眼立体撮像装置の撮像レンズ１２を通過した光束はマイクロレンズＬｍやＬｃなどでフォトダイオードＰＤｍａ・ＰＤｍｂあるいはＰＤｃａ・ＰＤｃｂに射出される。このフォトダイオードへの射出光束の一部を遮光部材で遮断することで視点画像が得られる。図１２Ｃに示すように、撮像レンズ１２の光軸中心Ｉ０を中心としたＣＣＤ１６の受光面の近傍画素群である中央部Ｒ１では、光束はマイクロレンズの光軸中心を基準とした視差方向（Ｘ方向）に関して均等に入射するため、マイクロレンズＬｃからの射出光に基づいて、フォトダイオードＰＤｃａおよびフォトダイオードＰＤｃｂは左右対称な点像を出力できる。これに対し、図１２Ｂに示すように、ＣＣＤ１６の受光面の周縁部Ｒ２、Ｒ３では、光束は斜めに入射するため、フォトダイオードＰＤｍａおよびフォトダイオードＰＤｍｂは左右非対称な点像を出力する。
【００１８】
すなわち、周縁部では、右視点用画素と左視点用画素との間での光束の入射のアンバランスが生じる。このため、ＣＣＤ１６の受光面の位置によって、視点画像間の像質が均一とはならず、立体画像の品質が低下する。
【００１９】
本発明はこのような事情に鑑みてなされたもので、ＥＤｏｆのような特殊な光学系を用いることなく、画素の位置に関わらず視点画像間の像質を均一とし、立体画像の品質を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【００２０】
本発明の第１の態様に係る立体撮像装置は、単一の撮像光学系からの光束に対する瞳分割により第１および第２の視差画像を出力する立体撮像装置であって、第１および第２の視差画像の各位置におけるデフォーカス量を表すデフォーカスマップを算出するデフォーカスマップ算出部と、視差画像内の各位置におけるデフォーカス量と像高とに対応した、撮像光学系の結像性能を表す点像強度分布に基づくデコンボリューションフィルタである復元フィルタを保存する復元フィルタ保存部と、視差画像内の各位置のデフォーカス量と像高とに対応した復元フィルタを第１および第２の視差画像内の各位置ごとに選択し、選択した復元フィルタに基づいて第１および第２の視差画像内の各位置ごとにデコンボリューションを実施することで第１および第２の視差画像を復元する復元部とを備える。
［００２１］
本発明の第２の態様に係る立体撮像装置は、上記第１の態様において、復元フィルタ保存部は、撮像光学系に関する光学特性ごとに復元フィルタを保存する。
［００２２］
本発明の第３の態様に係る立体撮像装置は、上記第２の態様において、光学特性は焦点距離および／または絞り値を含む。
［００２３］
本発明の第４の態様に係る立体撮像装置は、上記第１から第３の態様において、復元フィルタ保存部は、第１および第２の視差画像内の視差方向と像高とに沿った各位置ごとの復元フィルタを保存する。
［００２４］
本発明の第５の態様に係る立体撮像装置は、上記第４の態様において、復元フィルタ保存部は、第１および第２の視差画像内の領域を視差方向に沿って個数Ｎ１だけ分割しかつ第１および第２の視差画像内の領域を視差方向に垂直な方向に沿って個数Ｎ１よりも小さい個数Ｎ２だけ分割した小領域の各々の像高に対応する復元フィルタを保存する。
［００２５］
本発明の第６の態様に係る立体撮像装置は、上記第４または第５の態様において、復元フィルタ保存部は、第１および第２の視差画像に共通の復元フィルタを保存する。
［００２６］
本発明の第７の態様に係る立体撮像装置は、上記第６の態様において、復元部は、復元フィルタ保存部に保存された第１の視差画像および第２の視差画像のうちの一方に対応する復元フィルタである基準復元フィルタに基づいて一方の視差画像を復元するとともに、基準復元フィルタを鏡像反転することで第１の視差画像および第２の視差画像のうちの他方に対応する復元フィルタである鏡像反転復元フィルタを得た上、鏡像反転復元フィルタに基づいて他方の視差画像を復元する。
［００２７］
本発明の第８の態様に係る立体撮像装置は、上記第４から第７の態様において、復元フィルタ保存部は、視差方向のうち正または負の一方向に沿った画像の小領域ごとの像高およびデフォーカス量に対応する復元フィルタを保存する。
【００２８】
本発明の第９の態様に係る立体撮像装置は、上記第１から第８の態様において、復元部の復元した第１および第２の視差画像に基づく立体画像を出力する出力部を備える。
【００２９】
本発明の第１０の態様に係る視差画像復元方法は、単一の撮像光学系からの光束に対する瞳分割により得られた第１および第２の視差画像の各位置におけるデフォーカス量を表すデフォーカスマップを算出するステップと、視差画像内の各位置におけるデフォーカス量と像高とに対応した、撮像光学系の結像性能を表す点像強度分布に基づくデコンボリューションフィルタである復元フィルタを保存するステップと、視差画像内の各位置のデフォーカス量と像高とに対応した復元フィルタを第１および第２の視差画像内の各位置ごとに選択し、選択した復元フィルタに基づいて第１および第２の視差画像内の各位置ごとにデコンボリューションを実施することで第１および第２の視差画像を復元するステップとを含む。
【００３０】
本発明の第１１の態様に係る視差画像復元方法は、上記第１０の態様において、撮像光学系に関する光学特性ごとに復元フィルタを保存するステップを含む。
【００３１】
本発明の第１２の態様に係る視差画像復元方法は、上記第１１の態様において、光学特性は焦点距離および／または絞り値を含む。
【００３２】
本発明の第１３の態様に係る視差画像復元方法は、上記第１０から第１２の態様において、第１および第２の視差画像内の視差方向と像高とに沿った各位置ごとの復元フィルタを保存するステップを含む。
【００３３】
本発明の第１４の態様に係る視差画像復元方法は、上記第１３の態様において、第１および第２の視差画像内の領域を視差方向に沿って個数Ｎ１だけ分割しかつ第１および第２の視差画像内の領域を視差方向に垂直な方向に沿って個数Ｎ１よりも小さい個数Ｎ２だけ分割した小領域の各々の像高に対応する復元フィルタを保存するステップを含む。
【００３４】
本発明の第１５の態様に係る視差画像復元方法は、上記第１３または第１４の態様において、第１および第２の視差画像に共通の復元フィルタを保存するステップを含む。
［００３５］
本発明の第１６の態様に係る視差画像復元方法は、上記第１５の態様において、保存された第１の視差画像および第２の視差画像のうちの一方に対応する復元フィルタである基準復元フィルタに基づいて一方の視差画像を復元するとともに、基準復元フィルタを鏡像反転することで第１の視差画像および第２の視差画像のうちの他方に対応する復元フィルタである鏡像反転復元フィルタを得た上、鏡像反転復元フィルタに基づいて他方の視差画像を復元するステップを含む。
［００３６］
本発明の第１７の態様に係る視差画像復元方法は、上記第１３から第１６の態様において、視差方向のうち正または負の一方向に沿った画像の小領域ごとの像高およびデフォーカス量に対応する復元フィルタを保存するステップを含む。
［００３７］
本発明の第１８の態様に係る視差画像復元方法は、上記第１０から第１７の態様において、復元した第１および第２の視差画像に基づく立体画像を出力するステップを含む。
発明の効果
［００３８］
本発明によると、各視点画像間で対応する位置の像質が、像高とデフォーカス量に応じた復元フィルタで復元されるため、画像中心から離れた周縁部分であっても、視点画像間の像質が均一になるよう復元される。
【図面の簡単な説明】
［００３９］
［図１］単眼立体撮像装置のブロック図
［図２Ａ］瞳分割視差画像取得撮像素子ＣＣＤの構成例を示す図
［図２Ｂ］瞳分割視差画像取得撮像素子ＣＣＤの構成例を示す図（主画素）
［図２Ｃ］瞳分割視差画像取得撮像素子ＣＣＤの構成例を示す図（副画素）
［図３］主画素、副画素の１画素ずつを示した図
［図４Ａ］図３の要部拡大図
［図４Ｂ］図３の要部拡大図
［図５Ａ］変倍位置がワイド端の場合の各視点画像の点像（右）の広がりの一例を示す図
【図５Ｂ】変倍位置がワイド端の場合の各視点画像の点像（左）の広がりの一例を示す図
【図６Ａ】変倍位置がテレ端の場合の各視点画像の点像（右）の広がりの一例を示す図
【図６Ｂ】変倍位置がテレ端の場合の各視点画像の点像（左）の広がりの一例を示す図
【図７Ａ】像高と視差方向に対応した復元フィルタを例示した図
【図７Ｂ】像高と視差方向に対応した復元フィルタを例示した図
【図８】復元処理のフローチャート
【図９】従来の単眼立体撮像装置の一例を示す図
【図１０】撮像素子に結像する像の分離状態を示す図
【図１１】ＥＤｏｆのＰＳＦに対応したデコンボリューションフィルタを例示した図
【図１２Ａ】主画素・副画素間でのアンバランスな受光の一例を示す図
【図１２Ｂ】主画素・副画素間でのアンバランスな受光の一例を示す拡大図
【図１２Ｃ】主画素・副画素間でのアンバランスな受光の一例を示す拡大図
【発明を実施するための形態】
【００４０】
以下、添付図面に従って本発明に係る単眼立体撮像装置の実施の形態について説明する。
【００４１】
［撮像装置の全体構成］
図１は本発明に係る単眼立体撮像装置１０の実施の形態を示すブロック図である。
【００４２】
この単眼立体撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０によって統括制御される。
【００４３】
単眼立体撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて単眼立体撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。
【００４４】
シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する２段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、および動画を撮影する動画モードのいずれかを選択する選択操作用部材である。
【００４５】
再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画または動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作部材）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
【００４６】
撮影モード時において、被写体を示す画像光は、撮像レンズ１２、絞り１４を介して瞳分割視差画像を取得可能な位相差イメージセンサである固体撮像素子（以下、「ＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）」という）１６の受光面に結像される。撮像レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム（焦点距離）制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３３によって駆動され、例えば、絞り値（Ｆ値）Ｆ２．８〜Ｆ１１まで１ＡＶ刻みで５段階に絞り制御される。
【００４７】
また、ＣＰＵ４０は、絞り駆動部３３を介して絞り１４を制御するとともに、ＣＣＤ制御部３６を介してＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、ＣＣＤ１６からの画像信号の読み出し制御等を行う。
【００４８】
＜ＣＣＤの構成例＞
図２Ａから図２ＣはＣＣＤ１６の構成例を示す図である。
【００４９】
ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインの画素（主画素）と、偶数ラインの画素（副画素）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。各画素群に対応する複数の受光素子は、有効な撮像信号を得るための有効画素領域と、黒レベルの基準信号を得るためのオプティカルブラック領域（以下「ＯＢ領域」という）とを形成する。ＯＢ領域は、実際には、有効画素領域の周囲を取り囲むように形成される。
【００５０】
図２Ａから図２Ｃに示すようにＣＣＤ１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。
【００５１】
図３は撮像レンズ１２、絞り１４、およびＣＣＤ１６の主、副画素の１画素ずつを示した図であり、図４Ａ及び図４Ｂは図３の要部拡大図である。
【００５２】
図４Ａに示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。
【００５３】
これに対し、図４Ｂに示すようにＣＣＤ１６の主画素および副画素には遮光部材１６Ａが形成される。単眼立体撮像装置１０を横置きにして撮像する場合、この遮光部材１６Ａにより主画素、副画素（フォトダイオードＰＤ）の受光面の右半分または左半分が遮光される。あるいは単眼立体撮像装置１０を縦置きにして撮像する場合、この遮光部材１６Ａにより主画素、副画素（フォトダイオードＰＤ）の受光面の上半分または下半分が遮光される。マイクロレンズＬの光軸Ｚから右、左、上、あるいは下方向（例えば図４Ｂでは光軸より左方向）に所定量Δだけ偏位した位置には、遮光部材１６Ａの開口１６Ｂが設けられている。光束は開口１６Ｂを通過し、フォトダイオードＰＤの受光面に到達する。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。
【００５４】
なお、主画素と副画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分／左半分、あるいは上半分／下半分）が異なる。例えば、主画素では光束の左半分が制限され、副画素では光束の右半分が制限されると、主画素からは右の視点画像、副画素からは左の視点画像が得られる。あるいは、主画素では光束の上半分が制限され、副画素では光束の下半分が制限されると、主画素からは下の視点画像、副画素からは上の視点画像が得られる。上記構成のＣＣＤ１６は、主画素と副画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、ＣＣＤ１６の構成はこれに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるもの（例えば図１２Ａから図１２Ｃ）でもよいし、ミラーにより瞳分割するもの（例えば図９）でもよい。
【００５５】
図１に戻って、ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
【００５６】
デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正および感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。
【００５７】
ここで、図２Ｂおよび図２Ｃに示すように，ＣＣＤ１６の奇数ラインの主画素から読み出される主画像データは、左視点画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右視点画像データとして処理される。
【００５８】
デジタル信号処理部２４で処理された左視点画像データおよび右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域およびＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）３０に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。
【００５９】
この液晶モニタ３０は、立体視画像（左視点画像および右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示装置であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。
【００６０】
また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）動作およびＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）動作を開始させ、レンズ駆動部３６を介して撮像レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
【００６１】
ＡＥ検出部４４では、画面全体のＧ信号を積算し、または画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１４の絞り値およびＣＣＤ１６の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞り駆動部３３を介して絞り１４を制御するとともに、決定したシャッタスピードに基づいてＣＣＤ制御部３６を介してＣＣＤ１６での電荷蓄積時間を制御する。
【００６２】
ＡＦ処理部４２は、コントラストＡＦ処理または位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データおよび右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データおよび右視点画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。
【００６３】
ＡＥ動作およびＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素および副画素に対応する左視点画像（主画像）および右視点画像（副画像）の２枚分の画像データが画像入力コントローラ２２からメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４８に入力し、一時的に記憶される。
【００６４】
メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データおよび色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。
【００６５】
メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ５２により読み出され、メモリカード５４に記録される。
【００６６】
デフォーカスマップ作成部６１は、主画素および副画素に対応する位相差を、所定のフォーカス領域に含まれる小領域の各々について算出するだけでなく、有効画素領域の全体を実質的に被覆する複数の小領域の各々について算出する。有効画素領域の全体を実質的に被覆する複数の小領域とは、有効画素領域の全体を完全に覆っている必要はなく、有効画素領域の全体に渡って密にあるいは粗に配列されていればよい。例えば、有効画素領域をマトリクス状に所定の単位（例えば８×８画素）、あるいはそれ以下（例えば１×１画素）、あるいはそれ以上（例えば１０×１０画素）で分割した分割領域の各々について位相差が算出される。あるいは、有効画素領域の外縁を起点に所定のピッチ（例えば分割領域１つ分、あるいはそれ以上、あるいはそれ以下）を隔てた所定の単位の分割領域ごとに位相差が算出される。要するに位相差は有効画素領域の全体に渡って算出されるものとするが、必ずしも有効画素領域を構成する小領域の全てについて算出されなくてもよい。
【００６７】
デフォーカスマップ作成部６１は、上記小領域の各々について算出された位相差に基づき、上記小領域の各々に対応するデフォーカス量を求める。この、有効画素領域の全体に渡って求められた小領域の各々に対応するデフォーカス量の集合を、デフォーカスマップと呼ぶ。デフォーカスマップ作成部６１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性記憶媒体を有しており、求まったデフォーカスマップを一時的に保存する。なお、特許文献１０のように、デフォーカス量は被写体距離情報と等価であるため、デフォーカスマップは、小領域の各々に対応する被写体距離情報と等価である。デフォーカスマップ作成部６１は、各視点画像間で特徴点および対応点検出を行い、それらの特徴点および対応点の間の位置情報の差に基づいてデフォーカスマップを作成してもよい。
【００６８】
復元フィルタ保存部６２は、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性記憶媒体で構成されており、各視点画像における各小領域の像高（画像中心からの距離、典型的には撮像レンズ１２の光軸中心Ｌからの距離）およびデフォーカス量（ないしは被写体距離）に対応する復元フィルタ（第１のフィルタ）を保存している。
【００６９】
好ましくは、この復元フィルタは、特許文献２や３のように、焦点距離、Ｆ値などの光学特性とＰＳＦとの関係ごとに予め生成されている。つまり、像高およびデフォーカス量に応じた復元フィルタが、光学特性ごとに保存されている（第２のフィルタ）。
【００７０】
これは、焦点距離などと、像高およびデフォーカス量とに応じて各視点画像の点像の広がりが異なり、それにＰＳＦを対応させるためである。
【００７１】
図５Ａおよび図５Ｂは撮像レンズ１２のズームレンズの変倍位置がワイド端の場合の各視点画像の点像の広がりの一例を示し、図６Ａおよび図６Ｂは撮像レンズ１２のズームレンズの変倍位置がテレ端の場合の各視点画像の点像の広がりの一例を示す。
【００７２】
また、好ましくは、復元フィルタ保存部６２は、視点画像の各小領域の視差方向に沿った像高およびデフォーカス量に対応しかつ左右の視点画像に共通する復元フィルタを保存している（第３のフィルタ）。これは、視差方向でない方向の像高の違いに起因する像質の違いは、立体視画像への影響が小さく、この像高に応じたフィルタによる復元の必要性も小さいからである。また、視差方向に関しては、左右の視点画像に共通する復元フィルタを保存することでメモリ消費の削減も実現している。図７Ａおよび図７Ｂは第３のフィルタの一例を示す。このうち、図７Ａは一方の視点画像、例えば右の視点画像に対応する復元フィルタを示し、図７Ｂは他方の視点画像、例えば左の視点画像に対応する復元フィルタを示す。図７Ａの復元フィルタと図７Ｂの復元フィルタは、画像中心（像高０の位置）に関して互いに反転鏡像の関係にある。復元フィルタ保存部６２は、いずれか一方の視点画像に対応する復元フィルタを保存しており、復元部６３は、保存された一方の復元フィルタを画像中心に関して鏡像反転して他方の視点画像に対応する復元フィルタを得る。画像中心からの視差方向（Ｘ）の距離±Ｘ１〜±Ｘ３と視差方向に垂直な方向（Ｙ）の距離Ｙ０〜±Ｙ１と像高Ｒ１〜Ｒ３との組に従って視点画像が区分けされた各ゾーンには、復元フィルタが対応づけられる。ゾーンの区分けは、視差方向（Ｘ）および視差方向に垂直な方向（Ｙ）に沿って所定の数だけ行われている。一例として図７Ａおよび図７Ｂでは、視差方向（Ｘ）に沿ったゾーンの区分け数Ｎ１＝６、視差方向に垂直な方向（Ｙ）に沿ったゾーンの区分け数Ｎ２＝２である。より一般的には、視差方向の復元の質を高めるため、Ｎ１＞Ｎ２とし、視差方向に沿ってより細かくゾーン分けおよび当該ゾーンに対する復元フィルタの対応づけが行われる。
【００７３】
さらに好ましくは、復元フィルタ保存部６２は、視差方向のうち正（右）または負（左）の一方向に沿った各視点画像の小領域ごとの像高およびデフォーカス量に対応する復元フィルタを保存している（第４のフィルタ）。視差方向に沿った小領域の像高が画面中心から同じ距離であれば、その像高に対応する光学特性も同様であり、その小領域が中心から正側（右側）であっても負側（左側）であっても同じ復元フィルタで当該小領域が復元されうると考えられるので、像高の方向に関わらず同じ距離では同じ復元フィルタを用いることで、メモリ消費の削減を実現している。
【００７４】
復元部６３は、情報処理装置、例えばＣＰＵ４０で構成されており、以下の処理を実行する。図８は単眼立体撮像装置１０の実行する復元処理のフローチャートである。なお、デフォーカスマップの作成、復元フィルタの保存、復元フィルタを用いた視点画像の復元処理、復元された視点画像の出力処理などは、単眼立体撮像装置１０以外の情報処理装置、例えばパソコンなどでも実行できる。以下の処理を単眼立体撮像装置１０その他の情報処理装置に実行させるためのプログラムは、ＲＯＭやＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録されている。
【００７５】
Ｓ１では、復元部６３は、実際にＣＣＤ１６から取得された各視点画像を実質的に被覆する小領域を設定する。この小領域の単位（位置および大きさの区分）は復元フィルタ保存部６２の小領域と同じである。
【００７６】
Ｓ２では、デフォーカスマップ作成部６１は、上述のデフォーカスマップを作成する。Ｓ３では、復元部６３は、各視点画像に設定された各小領域の像高とデフォーカス量とを特定する。各小領域の像高の特定は画像中心から各小領域までの最短距離を算出することで行うことができる。また、各小領域のデフォーカス量の特定は、デフォーカスマップ作成部６１の作成したデフォーカスマップに基づいて各視点画像ごとに行われる。復元部６３は、各視点画像ごとに特定された小領域の像高およびデフォーカス量に対応する復元フィルタを復元フィルタ保存部６２から選択する。
【００７７】
Ｓ４では、復元部６３は、各視点画像の小領域ごとに選択された復元フィルタで当該小領域をデコンボリューションし、対応する視点画像の小領域を復元する。復元フィルタ保存部６２の復元フィルタが第１のフィルタの場合、復元部６３は、各視点画像ごとに特定された小領域の像高およびデフォーカス量に対応する復元フィルタを復元フィルタ保存部６２から選択し、各視点画像の小領域ごとに選択された復元フィルタで当該小領域をデコンボリューションし、対応する視点画像の小領域を復元する。
【００７８】
復元フィルタ保存部６２の復元フィルタが第２のフィルタの場合、復元部６３は、焦点距離やＦ値などの光学特性をＣＰＵ４０、レンズ駆動部３６、絞り駆動部３４などから取得し、当該取得された光学特性に対応し、かつ、各視点画像ごとに特定された小領域の像高およびデフォーカス量に対応する復元フィルタを復元フィルタ保存部６２から選択し、各視点画像の小領域ごとに選択された復元フィルタで当該小領域をデコンボリューションし、対応する視点画像の小領域を復元する。
【００７９】
復元フィルタ保存部６２の復元フィルタが第３のフィルタの場合、復元部６３は、各視点画像に共通に設定された小領域の視差方向に沿った像高およびデフォーカス量に対応する共通の復元フィルタを復元フィルタ保存部６２から選択し、各視点画像の小領域ごとに選択された各視点画像に共通の復元フィルタで当該小領域をデコンボリューションし、対応する各視点画像の小領域を復元する。
【００８０】
復元フィルタ保存部６２の復元フィルタが第４のフィルタの場合、復元部６３は、各視点画像に共通の小領域の視差方向に沿った像高およびデフォーカス量に対応する復元フィルタを復元フィルタ保存部６２から選択し、各視点画像の小領域ごとに選択された共通の復元フィルタで当該小領域をデコンボリューションし、対応する各視点画像の小領域を復元する。この際、復元部６３は、視差方向に沿った小領域の像高が画面中心から同じ距離であれば、その小領域が中心から正側（右側）であっても負側（左側）であっても同じ復元フィルタで当該小領域を復元する。
【００８１】
復元部６３は、各小領域ごとに劣化の復元された視点画像から立体視画像を生成し、復元後の立体視画像として改めてＶＲＡＭ５０に保存する。このＶＲＡＭ５０の復元後の立体視画像は、液晶モニタ３０に出力され、良好な３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。すなわち、復元のタイミングは、立体視画像が液晶モニタ３０の出力より前に行われることが好ましい。
【００８２】
ただし、ＶＲＡＭ５０の復元後の立体視画像は、液晶モニタ３０に出力されなくてもよく、液晶モニタ３０に出力されぬまま、メモリカード５４に出力すなわち圧縮記録されることもできる。このメモリカード５４に記録された復元後の立体視画像を他の立体視ディスプレイで再生すれば、同様に良好な３Ｄの被写体像が表示されうる。
【００８３】
以上のような第１から４のフィルタを用いた復元部６３のデコンボリューション処理により、各視点画像間で対応する位置の小領域の像質が、像高とデフォーカス量に応じた復元フィルタで復元されるため、画像中心の近傍部分であっても、画像中心から離れた周縁部分であっても、視点画像間の像質が均一になるよう復元される。
【００８４】
また、復元フィルタが第２のフィルタの場合、ズーム位置やＦ値などの光学特性が変わっても視点画像間の像質が均一になる。
【００８５】
また、復元フィルタが第３または４のフィルタの場合、対応する視差画像は共通の復元フィルタで復元され、復元フィルタ保存部６２のメモリ消費量を削減できる。
【符号の説明】
【００８６】
１２：撮像レンズ、１４：絞り、１６：ＣＣＤ、６１：デフォーカスマップ作成部、６２：復元フィルタ保存部、６３：復元部

Claims (20)

1. 単一の撮像光学系からの光束に対する瞳分割により第１および第２の視差画像を出力する立体撮像装置であって、
   前記第１および第２の視差画像の各位置におけるデフォーカス量を算出する算出部と、
   前記視差画像内の各位置におけるデフォーカス量と像高とに対応した、前記撮像光学系の結像性能を表す点像強度分布に基づくデコンボリューションフィルタである復元フィルタを保存する復元フィルタ保存部と、
   前記視差画像内の各位置のデフォーカス量と像高とに対応した復元フィルタを前記第１および第２の視差画像内の各位置ごとに選択し、選択した復元フィルタに基づいて前記第１および第２の視差画像内の各位置ごとにデコンボリューションを実施することで前記第１および第２の視差画像を復元する復元部と、
   を備える立体撮像装置。
2. 単一の撮像光学系からの光束に対する瞳分割により第１および第２の視差画像を出力する立体撮像装置であって、
   前記第１および第２の視差画像の各位置におけるデフォーカス量を表すデフォーカスマップを算出するデフォーカスマップ算出部と、
   前記視差画像内の各位置におけるデフォーカス量と像高とに対応した、前記撮像光学系の結像性能を表す点像強度分布に基づくデコンボリューションフィルタである復元フィルタを保存する復元フィルタ保存部と、
   前記視差画像内の各位置のデフォーカス量と像高とに対応した復元フィルタを前記第１および第２の視差画像内の各位置ごとに選択し、選択した復元フィルタに基づいて前記第１および第２の視差画像内の各位置ごとにデコンボリューションを実施することで前記第１および第２の視差画像を復元する復元部と、
   を備える立体撮像装置。
3. 前記復元フィルタ保存部は、前記撮像光学系に関する光学特性ごとに復元フィルタを保存する請求項１または２に記載の立体撮像装置。
4. 前記光学特性は焦点距離および／または絞り値を含む請求項３に記載の立体撮像装置。
5. 前記復元フィルタ保存部は、前記第１および第２の視差画像内の視差方向と像高とに沿った各位置ごとの復元フィルタを保存する請求項１から４のいずれかに記載の立体撮像装置。
6. 前記復元フィルタ保存部は、前記第１および第２の視差画像内の領域を視差方向に沿って個数Ｎ１だけ分割しかつ前記第１および第２の視差画像内の領域を前記視差方向に垂直な方向に沿って前記個数Ｎ１よりも小さい個数Ｎ２だけ分割した小領域の各々の像高に対応する復元フィルタを保存する請求項５に記載の立体撮像装置。
7. 前記復元フィルタ保存部は、前記第１および第２の視差画像に共通の復元フィルタを保存する請求項５または６に記載の立体撮像装置。
8. 前記復元部は、前記復元フィルタ保存部に保存された前記第１の視差画像および前記第２の視差画像のうちの一方に対応する復元フィルタである基準復元フィルタに基づいて前記一方の視差画像を復元するとともに、前記基準復元フィルタを鏡像反転することで前記第１の視差画像および前記第２の視差画像のうちの他方に対応する復元フィルタである鏡像反転復元フィルタを得た上、前記鏡像反転復元フィルタに基づいて前記他方の視差画像を復元する請求項７に記載の立体撮像装置。
9. 前記復元フィルタ保存部は、視差方向のうち正または負の一方向に沿った画像の小領域ごとの像高およびデフォーカス量に対応する復元フィルタを保存する請求項５から８のいずれかに記載の立体撮像装置。
10. 前記復元部の復元した第１および第２の視差画像に基づく立体画像を出力する出力部を備える請求項１から９のいずれかに記載の立体撮像装置。
11. 単一の撮像光学系からの光束に対する瞳分割により得られた第１および第２の視差画像の各位置におけるデフォーカス量を算出するステップと、
    前記視差画像内の各位置におけるデフォーカス量と像高とに対応した、前記撮像光学系の結像性能を表す点像強度分布に基づくデコンボリューションフィルタである復元フィルタを保存するステップと、
    前記視差画像内の各位置のデフォーカス量と像高とに対応した復元フィルタを前記第１および第２の視差画像内の各位置ごとに選択し、選択した復元フィルタに基づいて前記第１および第２の視差画像内の各位置ごとにデコンボリューションを実施することで前記第１および第２の視差画像を復元するステップと、
    を含む視差画像復元方法。
12. 単一の撮像光学系からの光束に対する瞳分割により得られた第１および第２の視差画像の各位置におけるデフォーカス量を表すデフォーカスマップを算出するステップと、
    前記視差画像内の各位置におけるデフォーカス量と像高とに対応した、前記撮像光学系の結像性能を表す点像強度分布に基づくデコンボリューションフィルタである復元フィルタを保存するステップと、
    前記視差画像内の各位置のデフォーカス量と像高とに対応した復元フィルタを前記第１および第２の視差画像内の各位置ごとに選択し、選択した復元フィルタに基づいて前記第１および第２の視差画像内の各位置ごとにデコンボリューションを実施することで前記第１および第２の視差画像を復元するステップと、
    を含む視差画像復元方法。
13. 前記撮像光学系に関する光学特性ごとに復元フィルタを保存するステップを含む請求項１１または１２に記載の視差画像復元方法。
14. 前記光学特性は焦点距離および／または絞り値を含む請求項１３に記載の視差画像復元方法。
15. 前記第１および第２の視差画像内の視差方向と像高とに沿った各位置ごとの復元フィルタを保存するステップを含む請求項１１から１４のいずれかに記載の視差画像復元方法。
16. 前記第１および第２の視差画像内の領域を視差方向に沿って個数Ｎ１だけ分割しかつ前記第１および第２の視差画像内の領域を前記視差方向に垂直な方向に沿って前記個数Ｎ１よりも小さい個数Ｎ２だけ分割した小領域の各々の像高に対応する復元フィルタを保存するステップを含む請求項１５に記載の視差画像復元方法。
17. 前記第１および第２の視差画像に共通の復元フィルタを保存するステップを含む請求項１５または１６に記載の視差画像復元方法。
18. 前記保存された前記第１の視差画像および前記第２の視差画像のうちの一方に対応する復元フィルタである基準復元フィルタに基づいて前記一方の視差画像を復元するとともに、前記基準復元フィルタを鏡像反転することで前記第１の視差画像および前記第２の視差画像のうちの他方に対応する復元フィルタである鏡像反転復元フィルタを得た上、前記鏡像反転復元フィルタに基づいて前記他方の視差画像を復元するステップを含む請求項１７に記載の視差画像復元方法。
19. 視差方向のうち正または負の一方向に沿った画像の小領域ごとの像高およびデフォーカス量に対応する復元フィルタを保存するステップを含む請求項１５から１８のいずれかに記載の視差画像復元方法。
20. 前記復元した第１および第２の視差画像に基づく立体画像を出力するステップを含む請求項１１から１９のいずれかに記載の視差画像復元方法。

Images