JP5192096B2 - 立体撮像装置 - Google Patents

Description

本発明は立体撮像装置に係り、特に撮影光学系の左右方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左視点画像及び右視点画像を取得する技術に関する。

従来、この種の立体撮像装置として、図１６に示す光学系を有するものが知られている（特許文献１）。

この光学系は、メインレンズ１及びリレーレンズ２の左右方向の異なる領域を通過した被写体像をミラー４により瞳分割し、それぞれ結像レンズ５、６を介して撮像素子７、８に結像させるようにしている。

図１７の（Ａ）〜（Ｃ）は、それぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。尚、図１７では、フォーカスによる分離の違いを比較するために、図１６に示したミラー４を省略している。

図１７の（Ｂ）に示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図１７の（Ａ）及び（Ｃ）に示すように前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。

従って、左右方向に瞳分割された被写体像を撮像素子７、８を介して取得することにより、被写体距離に応じて視差の異なる左視点画像及び右視点画像（３Ｄ画像）を取得することができる。

その他、立体撮像装置に関連する先行技術として、特許文献２に記載のものがある。

また、奥行き感、立体感を出す画像処理として、画像中から人物画像領域を抽出し、その抽出された人物画像領域とそれ以外の背景画像領域とに異なるシャープネス補正を行うデジタルカメラが提案されている（特許文献３）。

特表２００９−５２７００７号公報 特開２００９−１６８９９５号公報 特開２００４−２０７９８５号公報

特許文献１、２等に記載の立体撮像装置により取得される左視点画像と右視点画像は、左右方向に瞳分割された被写体像に対応するものである。このため、撮影光学系の左右方向の光学的な性能（色収差、ディストーション等）の違いの影響により、ボケ方などがアンバランスになり、立体視がしにくくなるという問題がある。

一方、特許文献３に記載のデジタルカメラは、一画面内の領域別（人物画像領域とそれ以外の背景画像領域などの被写体距離別）に別々のシャープネス補正をかけ、奥行き感や立体感を変えている。しかしながら、特許文献３におけるシャープネス補正は、そもそも左視点画像及び右視点画像からなる立体視画像に対するシャープネス補正ではない。

本発明はこのような事情に鑑みてなされたもので、左視点画像と右視点画像とのアンバランスを修正することができ、立体視に好適な立体視画像を取得することができる立体撮像装置を提供することを目的とする。

前記目的を達成するために、本発明の第１の態様に係る立体撮像装置は、単一の撮影光学系と、前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、前記第１の画像に対して第１の画像処理を行うとともに、前記第２の画像に対して前記第１の画像処理と異なる第２の画像処理を行う画像処理部であって、各処理後の第１の画像と第２の画像との画質の差を低減するように前記第１の画像処理及び第２の画像処理を行う画像処理部とを備える。

上記第１の態様によれば、立体撮像装置により取得される第１の画像及び第２の画像に対してそれぞれ異なる画像処理を行うことにより、両画像の画質の差を低減させる（両画像のボケ方の違い含むアンバランスを補正する）ことができ、これにより立体視がしやすい立体視画像にすることができる。

本発明の第２の態様に係る立体撮像装置は、上記第１の態様において、前記画像処理部は、前記第１の画像及び第２の画像に対してそれぞれ異なるシャープネス補正を行うように構成されている。

本発明の第３の態様に係る立体撮像装置は、上記第２の態様において、前記第１の画像及び第２の画像に基づいて視差量を算出する視差量算出部を備え、前記画像処理部は、前記算出した視差量の大きな範囲の画像に対して前記シャープネス補正を弱くするように構成されている。視差量の大きな範囲の画像はボケているため、この範囲の画像に大きなシャープネス補正をかけても画質をよくすることができず、また、ボケている範囲は、光学特性（歪等）の差が顕著となるため、大きなシャープネス補正をかけた場合に、より画質の差が顕著になり好ましくない画質になるからである。

本発明の第４の態様に係る立体撮像装置は、上記第１から第３の態様において、前記画像処理部は、前記第１の画像及び第２の画像に対してそれぞれ異なる色収差補正を行うように構成されている。

本発明の第５の態様に係る立体撮像装置は、上記第１から第４の態様において、前記画像処理部は、前記第１の画像及び第２の画像に対してそれぞれ異なるディストーション補正を行うように構成されている。

本発明の第６の態様に係る立体撮像装置は、上記第１から第５の態様において、前記第１の画像及び第２の画像の画像処理に使用する第１の補正パラメータ及び第２の補正パラメータを予め記憶する記憶部を備え、前記画像処理部は、前記記憶された第１の補正パラメータ及び第２の補正パラメータに基づいてそれぞれ前記第１の画像及び第２の画像の画像処理を行うように構成されている。

本発明の第７の態様に係る立体撮像装置は、上記第６の態様において、前記撮影光学系はズームレンズであり、前記記憶部には、前記ズームレンズのズーム位置に対応して、又はズーム位置と絞り値に対応してそれぞれ前記第１の補正パラメータ及び第２の補正パラメータが記憶され、前記画像処理部は、撮影時のズーム位置、又はズーム位置と絞り値に基づいて前記記憶部から対応する第１の補正パラメータ及び第２の補正パラメータを読み出し、読み出した第１の補正パラメータ及び第２の補正パラメータに基づいてそれぞれ前記第１の画像及び第２の画像の画像処理を行うように構成されている。

撮影光学系（ズームレンズ）のズーム位置、又はズーム位置及び絞り値により、撮影光学系の左右方向の光学的性能が変動するが、ズームレンズのズーム位置、又はズーム位置及び絞り値に対応して記憶された第１の補正パラメータ及び第２の補正パラメータを使用して補正するため、前記第１の画像及び第２の画像に対して、より適切な画像処理を行うことができる。

本発明の第８の態様に係る立体撮像装置は、上記第１から第７の態様において、前記画像処理部により処理された前記第１の画像及び第２の画像からなる立体視画像を記録媒体に記録する記録部を備える。

本発明の第９の態様に係る立体撮像装置は、上記第１から第８の態様において、前記画像処理部は、前記第１の画像及び第２の画像を加算した平面画像の撮影時には、前記第１の画像処理及び第２の画像処理とは異なる画像処理を行うように構成されている。

即ち、平面画像（２Ｄ画像）の撮影時には、前記第１の画像及び第２の画像（３Ｄ画像）の撮影時に行われる前記第１、第２の画像処理とは更に異なる画像処理を行い、これにより２Ｄ画像及び３Ｄ画像の撮影時にそれぞれ最適な画像を取得できるようにしている。

本発明の第１０の態様に係る立体撮像装置は、上記第１から第７の態様において、前記画像処理部による処理前の前記第１の画像及び第２の画像とともに、立体画像を示す情報と平面画像を示す情報を関連付けて記録媒体に記録する記録部を備え、前記画像処理部は、立体視画像の出力時に前記記録媒体から読み出した第１の画像及び第２の画像に対して前記第１の画像処理及び第２の画像処理を行い、平面画像の出力時に前記第１の画像処理及び第２の画像処理とは異なる画像処理を行うように構成されている。

立体撮像装置から２Ｄ画像又は３Ｄ画像を出力する際に、２Ｄ画像及び３Ｄ画像に応じた最適な画像処理を行って出力することができる。

本発明の第１１の態様に係る立体撮像装置は、上記第１から第１０の態様において、前記撮像素子は、それぞれマトリクス状に配列された光電変換用の第１群の画素及び第２群の画素であって、前記撮影光学系の第１の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第１群の画素と、前記撮影光学系の第２の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第２群の画素とを有し、前記第１群の画素及び第２群の画素から前記第１の画像及び第２の画像の読み出しが可能となるように構成されている。

これにより、複数の撮像素子を使用する立体撮像装置に比べて装置の小型化を図ることができる。

本発明によれば、立体撮像装置により取得された第１、第２の画像（左右視点画像）に対してそれぞれ別々の画像処理を施すことにより左右視点画像のアンバランスを修正することができ、これにより立体視に好適な立体視画像を取得することができる。

本発明に係る立体撮像装置の実施の形態を示すブロック図 位相差ＣＣＤの構成例を示す図 位相差ＣＣＤの構成例を示す図（主画素） 位相差ＣＣＤの構成例を示す図（副画素） 撮影光学系と位相差ＣＣＤの主、副画素の１画素ずつを示した図 図３の要部拡大図（通常画素） 図３の要部拡大図（位相差画素） 位相差ＣＣＤの主、副画素から得られる点像の一例を示す図（図５Ｄの撮影光学系に対応） 位相差ＣＣＤの主、副画素から得られる点像の一例を示す図（図５Ｅの撮影光学系に対応） 位相差ＣＣＤの主、副画素から得られる点像の一例を示す図（図５Ｆの撮影光学系に対応） 撮影光学系のレンズの収差の第１の例を示す図 撮影光学系のレンズの収差の第２の例を示す図 撮影光学系のレンズの収差の第３の例を示す図 本発明の第１の実施形態の立体撮像装置の撮影動作を示すフローチャート 補正前の点像を示す図 補正後の点像を示す図 本発明の第２の実施形態の立体撮像装置の撮影動作を示すフローチャート 視差の有無による点像の違いを示す図（視差なし） 視差の有無による点像の違いを示す図（視差あり） 本発明の第３の実施形態の立体撮像装置の撮影動作を示すフローチャート 主画像と副画像の画角周辺における色収差の違いの一例を示す図 本発明の第４の実施形態の立体撮像装置の撮影動作を示すフローチャート 本発明の第５の実施形態の立体撮像装置の撮影動作を示すフローチャート 本発明の第５の実施形態の作用を説明するために用いた図（補正前） 本発明の第５の実施形態の作用を説明するために用いた図（補正後） 本発明の第５の実施形態の作用を説明するために用いた図 本発明の第５の実施形態の作用を説明するために用いた図 本発明の第６の実施形態の立体撮像装置の再生動作を示すフローチャート 従来の立体撮像装置の光学系の一例を示す図 立体撮像装置により位相差のある画像が撮像される原理を示す図

以下、添付図面に従って本発明に係る立体撮像装置の実施の形態について説明する。

［撮像装置の全体構成］
図１は本発明に係る立体撮像装置１０の実施の形態を示すブロック図である。

この立体撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０によって統括制御される。

立体撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて立体撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。

シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、２Ｄ撮影モード、３Ｄ撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、及び動画を撮影する動画モードを選択する選択用操作部材である。

再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動用操作部材）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

撮影モード時において、被写体を示す画像光は、撮影光学系（ズームレンズ）１２、絞り１４を介して位相差イメージセンサである固体撮像素子（以下、「位相差ＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）」という）１６の受光面に結像される。撮影光学系１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ２．８〜Ｆ１１まで１ＡＶ刻みで５段階に絞り制御される。

また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、ＣＣＤ制御部３６を介して位相差ＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、位相差ＣＣＤ１６からの画像信号の読み出し制御等を行う。

＜位相差ＣＣＤの構成例＞
図２Ａから図２Ｃは位相差ＣＣＤ１６の構成例を示す図である。

位相差ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインの画素（主画素）と、偶数ラインの画素（副画素）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。尚、前記位相差ＣＣＤ１６の全ラインの画素を順次読み出し、その後、奇数ラインの画素からなる主画像と、偶数ラインの画素からなる副画像とを分離するようにしてもよい。

図２Ａから図２Ｃに示すように、位相差ＣＣＤ１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。

図３は撮影光学系１２、絞り１４、及び位相差ＣＣＤ１６の主、副画素の１画素ずつを示した図であり、図４Ａ及び図４Ｂは図３の要部拡大図である。

図４Ａに示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。

これに対し、位相差ＣＣＤ１６の主画素及び副画素には遮光部材１６Ａが形成され、この遮光部材１６Ａにより主画素、副画素（フォトダイオードＰＤ）の受光面の右半分、又は左半分が遮光されている。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。

尚、上記構成の位相差ＣＣＤ１６は、主画素と副画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。

図１に戻って、位相差ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。位相差ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ディストーション補正処理、色収差補正処理、同時化処理、ＹＣ処理、シャープネス補正等の所定の信号処理を行う。尚、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ；例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ））４６には、カメラ制御プログラム、位相差ＣＣＤ１６の欠陥情報、画像処理等に使用する各種の補正パラメータやテーブル等が記憶されている。

ここで、図２Ｂ及び図２Ｃに示すように、位相差ＣＣＤ１６の奇数ラインの主画素から読み出される主画像データは、左視点画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右視点画像データとして処理される。

デジタル信号処理部２４で処理された左視点画像データ及び右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。

この液晶モニタ３０は、立体視画像（左視点画像及び右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示装置であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。

また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、位相差ＣＣＤ１６は、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）動作及びＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）動作を開始させ、レンズ駆動部３６を介して撮影光学系１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１４の絞り値及び位相差ＣＣＤ１６の電子シャッタ（シャッタスピード）を所定のプログラム線図にしたがって決定し、その決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタスピードに基づいてＣＣＤ制御部３６を介して位相差ＣＣＤ１６での電荷蓄積時間を制御する。

ＡＦ処理部４２は、コントラストＡＦ処理又は位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データ及び右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データ及び右視点画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素及び副画素に対応する左視点画像（主画像）及び右視点画像（副画像）の２枚分の画像データが画像入力コントローラ２２からメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４８に入力し、一時的に記憶される。

メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。

メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ５２により読み出され、メモリカード５４に記録される。

［第１の実施形態］
次に、位相差ＣＣＤ１６から読み出された主画素、副画素の画像データに対するデジタル信号処理部２４での信号処理（画像処理）について説明する。

図５Ｄから図５Ｆは、それぞれ撮影光学系の収差の一例を示すグラフである。横軸が瞳位置、縦軸が収差を示している。

撮影光学系には、球面収差、色収差、コマ収差、非点収差、像面湾曲等の収差がある。立体撮像装置１０では、左右方向に瞳分割された被写体像（撮影光学系の左右方向の異なる領域を通過する被写体像）から主画素、副画素の画像データを取得するため、撮影光学系の左右方向の収差が主画素、副画素の画像データの画質に影響する。

図５Ａから図５Ｃは、それぞれ図５Ｄから図５Ｆに示す撮影光学系を有する立体撮像装置から得られる主画素、副画素の点像の一例を示している。

図５Ｃに示すように、図５Ｆのような収差を有する撮影光学系の場合には、主画素、副画素の点像のピークや傾きに収差が影響していないが、図５Ｄのような収差を有する撮影光学系の場合には、主画素、副画素の点像のピークや広がり（ＰＳＦ：Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）に収差が大きく影響する。

そして、図５Ｄのような収差を有する撮影光学系の場合には、主画像と副画像とが撮影画角内の周辺エリアでアンバランスになり、立体視がしにくくなる。

そこで、第１の実施形態では、製品出荷前に撮影光学系１２の収差等を検査し、主画素、副画素の画像データに対して別々のシャープネス補正用の補正パラメータを作成し、ＲＯＭ４６に書き込んでおく。

デジタル信号処理部２４は、主画素、副画素の画像データに対してシャープネス補正を行う場合に、ＲＯＭ４６から別々の補正パラメータを読み出し、主画素、副画素の画像データをそれぞれ対応する補正パラメータにより補正し、両画像のバランスを調整する。

尚、シャープネス補正としては、例えば、所定サイズ（３×３、５×５）のコンボリューションフィルタを使用することができ、フィルタ係数（補正パラメータ）を適宜設定することで、シャープネス補正の強弱を調節することができる。また、撮影画角内の領域別に補正パラメータをもたせることで、主画像、副画像のシャープネス補正を領域別に行うことができる。

図６は本発明の第１の実施形態の立体撮像装置１０の撮影動作を示すフローチャートである。

ＣＰＵ４０は、シャッタボタンが全押しされると、本撮影用の露光を行わせる（ステップＳ１０）。

撮影露光が行われると、位相差ＣＣＤ１６から主画像と副画像がそれぞれ読み出され、メモリ４８に一旦保持される（ステップＳ１２）。メモリ４８に保持された主画像、副画像は、デジタル信号処理部２４によりホワイトバランス補正、ガンマ補正処理、同時化処理、ＹＣ処理等の各種の信号処理が行われるが、図６ではこれらの処理は省略されている。

続いて、デジタル信号処理部２４は、ＲＯＭ４６から主画像、副画像に対応する別々のシャープネス補正用の補正パラメータを読み出す（ステップＳ１４）。そして、主画像、副画素に対して、別々の補正パラメータを使用してシャープネス補正を行う（ステップＳ１６）。尚、シャープネス補正は、通常、ＹＣ処理により生成されたＹ信号（輝度信号）に対して行われる。

上記のようにして補正された主画像と副画像は、別々の補正パレメータでシャープネス補正されることにより、図７Ｂに示すように、図７Ａ（補正前）と比較して、主画像と副画像のそれぞれ対応する点像のピークを揃えることができ、左右視点画像のバランスがよくなる。

上記のようにして画像処理された主、副画像（ＹＣ信号）は、それぞれ圧縮処理されてＭＰファイルに格納され、そのＭＰファイルは、メディア・コントローラ５２を介してメモリカード５４に記録される（ステップＳ１８）。

［第２の実施形態］
図８は本発明の第２の実施形態の立体撮像装置１０の撮影動作を示すフローチャートである。尚、図６に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図８に示すように第２の実施形態は、ステップＳ２０、ステップＳ２２の処理が追加されている点で、第１の実施形態と相違する。

ステップＳ２０は、ステップＳ１２により取得された主画像と副画像の対応点の視差量を算出する。

視差量の算出は、一方の画像（例えば、主画像）を基準にして、他方の画像（副画像）の対応する画素を求める。この対応する画素を求める方法としては、例えばブロックマッチング法を適用することができる。そして、主画像の全ての画素について、副画像上で対応する画素との視差を求めることにより、一画面分の視差を示す視差マップを作成する。

ステップＳ２２は、ステップＳ２０で作成された視差マップから視差量の大きい領域（＝ボケが大きい領域）を求め、この視差量の大きい領域に対応する補正パラメータを、シャープネス補正が弱くなるように修正する。

上記のように視差量に応じて修正された補正パラメータを使用して主画像及び副画像のシャープネス補正を行うことにより、図９Ａに示すように視差がない領域（又は少ない領域）では、シャープネス補正が強くかけることができ、図９Ｂに示すように視差の大きい領域（ボケ領域）では、シャープネス補正が弱くかけることができる。

［第３の実施形態］
図１０は本発明の第３の実施形態の立体撮像装置１０の撮影動作を示すフローチャートである。尚、図６に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１０に示すように第３の実施形態は、図６のステップＳ１４、ステップＳ１６の代わりに、ステップＳ３０、ステップＳ３２の処理を行っている点で、第１の実施形態と相違する。

ステップＳ３０では、ＲＯＭ４６から主画像、副画像に対応する別々の色収差補正用の補正パラメータを読み出す。

ステップＳ３２では、主画像のＲ、Ｇ、Ｂ信号、及び副画素のＲ、Ｇ、Ｂ信号に対して、前記読み出した色別及び主、副画像別の補正パラメータを使用して色収差補正を行う。

図１１はそれぞれ主画像と副画像の画角周辺における色収差の違いの一例を示している。

第３の実施形態によれば、主画像と副画像の画角周辺における色収差を個別に補正することができ、それぞれ色ずれのない主画像、副画像が得られる。

［第４の実施形態］
図１２は本発明の第４の実施形態の立体撮像装置１０の撮影動作を示すフローチャートである。尚、図６に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１２に示すように第３の実施形態は、図６のステップＳ１４、ステップＳ１６の代わりに、ステップＳ４０、ステップＳ４２の処理を行っている点で、第１の実施形態と相違する。

ステップＳ４０では、ＲＯＭ４６から主画像、副画像に対応する別々のディストーション（歪曲収差）補正用の補正パラメータを読み出す。

ステップＳ４２では、主画像及び副画素に対して前記読み出した別々の補正パラメータを使用してディストーション補正を行う。

これにより、撮影光学系１２の左右方向のディストーションが非対称であっても、そのディストーションの影響を受けない主画像及び副画像を得ることができる。

［第５の実施形態］
図１３は本発明の第５の実施形態の立体撮像装置１０の撮影動作を示すフローチャートである。尚、図６に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１３に示す第５の実施形態では、２Ｄ画像の撮影時と３Ｄ画像の撮影時とで画像処理を切り替えるようにしている。

立体撮像装置１０は、２Ｄ撮影モードが選択された場合と、３Ｄ撮影モードとが選択された場合とで、以下に示すように異なる処理を行う。尚、ステップＳ１０、Ｓ１２までの位相差ＣＣＤ１６から主画像及び副画像を読み出すまでは、同様に行われる。

ステップＳ５０では、３Ｄ撮影モードか否か（２Ｄ撮影モード）が判別され、３Ｄ撮影モードの場合（「ＹＥＳの場合」）には、ステップＳ５２に遷移し、２Ｄ撮影モードの場合（「ＮＯの場合」）には、ステップＳ５８に遷移する。

３Ｄ撮影モード時の主画像及び副画像に対する処理は、前述した第１の実施形態から第４の実施形態で説明したように、主画像と副画像とで別々の補正パラメータをＲＯＭ４６から読み出し（ステップＳ５２）、その読み出した別々の補正パラメータを使用して主画像及び副画像の画像処理を行う（ステップＳ５４）。そして、補正後の主画像及び副画像は、ＭＰファイルに格納されてメモリカード５４に記録される（ステップＳ５６）。

これにより、撮影光学系１２の左右方向の光学特性の違いにかかわらず、主画像と副画像のバランスをとることができる。

一方、２Ｄ撮影モードの場合には、主画像と副画像とで別々の補正パラメータであって、３Ｄ画像用の補正パラメータとは異なる２Ｄ画像用の補正パラメータをＲＯＭ４６から読み出す（ステップＳ５８）。尚、２Ｄ画像用の補正パラメータの特徴につては後述する。

そして、主画像と副画像を前記読み出した別々の補正パラメータを使用して補正し（ステップＳ６０）、補正後の主画像と副画像のそれぞれ対応する画素同士を加算して２Ｄ画像を生成する（ステップＳ６２）。

生成された２Ｄ画像は、デジタルカメラ用の画像ファイル（Ｅｘｉｆファイル）に格納されてメモリカード５４に記録される（ステップＳ６４）。

図１４Ａ（補正前）及び図１４Ｂ（補正後）に示すように、３Ｄ画像の撮影時には、主画像と副画像はその点像が等しくなるように補正される。

一方、図１４Ｂに示す３Ｄ画像用に補正された主画像と副画像とを加算すると、図１４Ｄに示すように、２線ボケのような絵になる。

そこで、２Ｄ画像の撮影時には、主画像と副画像に対する補正パラメータを、３Ｄ画像用のもとは別に持ち、その補正パラメータを使用して補正するようにしている。図１４Ｃは、２Ｄ画像用の補正パラメータにより補正された主画像と副画像の点像を示しており、これらの点像を加算しても２線ボケにはならない。

尚、２Ｄ画像の撮影の主画像と副画像に対する補正パラメータは、略同じ補正パラメータを使用することができる。従って、補正前に主画像と副画像とを加算し、その加算された画像に対して、２Ｄ画像用の補正パラメータを使用して補正してもよい。

［第６の実施形態］
図１５は本発明の第６の実施形態の立体撮像装置１０の再生動作を示すフローチャートである。

まず、第６の実施形態の立体撮像装置１０により２Ｄ撮影モード、又は３Ｄ撮影モードによる撮影が行われると、前述したように３Ｄ画像が格納されたＭＰファイル、又は２Ｄ画像が格納されたＥｘｉｆファイルがメモリカード５４に記録される。また、立体撮像装置１０は、メモリカード５４への記録時には、前記３Ｄ画像又は２Ｄ画像に対してシャープネス補正等の画像処理を施さないようにしている。

図１５において、立体撮像装置１０が再生モードに切り替えられると、メモリカード５４に記録された３Ｄ画像又は２Ｄ画像が読み出される（ステップＳ７０）。

続いて、読み出された画像が３Ｄ画像か否かが判別される（ステップＳ７２）。この判別は、ＭＰファイル、Ｅｘｉｆファイルを示す拡張子、又はＭＰファイル内の画像の種別を示すタグ情報から判別することができる。

メモリカード５４から読み出された画像が３Ｄ画像と判別されると、３Ｄ画像を構成する主画像、副画像に対して、別々の補正パラメータをＲＯＭ４６から読み出し（ステップＳ７４）、その読み出した別々の補正パラメータを使用して主画像及び副画像の画像処理を行う（ステップＳ７４）。そして、補正後の主画像及び副画像を液晶モニタ３０、又は外部の３Ｄディスプレイ、３Ｄプリンタ等に出力する（ステップＳ７８）。

一方、メモリカード５４から読み出された画像が２Ｄ画像と判別されると、その２Ｄ画像に対する補正パラメータをＲＯＭ４６から読み出し（ステップＳ８０）、その読み出した補正パラメータを使用して２Ｄ画像の画像処理を行う（ステップＳ８２）。そして、補正後の２Ｄ画像を液晶モニタ３０、又は外部の３Ｄディスプレイ、３Ｄプリンタ等に出力する（ステップＳ８４）。

尚、上記第６の実施形態では、メモリカード５４への記録時に３Ｄ画像又は２Ｄ画像に対してシャープネス補正等の画像処理を施さないようにしているが、これに限らず、一般的な画像処理を施したものでもよい。この場合には、３Ｄ画像の再生を行うときのみ、主画像と副画像とで異なる画像処理を施し、両画像のアンバランスを補正するようにしてもよい。

［その他］
撮影光学系１２の左右方向の光学特性はズーム位置により異なるため、主画像と副画像のアンバランスを補正するための補正パラメータを各ズーム位置毎に記憶保持し、３Ｄ撮影時のズーム位置（ズーム倍率）に応じて、そのズーム位置に対応する補正パラメータを使用する。

また、絞り１４の絞り値（開口径）によっても主画像と副画像の特性が異なるため、主画像と副画像のアンバランスを補正するための補正パラメータを、各ズーム位置及び絞り値毎に記憶保持し、３Ｄ撮影時のズーム位置及び絞り値に応じて、そのズーム位置及び絞り値に対応する補正パラメータを使用することが望ましい。

この実施形態の立体撮像装置１０は、１つの位相差ＣＣＤ１６を使用しているため、図１６に示す２つの撮像素子７、８を使用するものに比べて、装置の小型化を図ることができるが、本発明は、１つの撮像素子を使用するものに限らず、図１６に示した従来の光学系及び撮像素子を有するものにも適用できる。

また、撮像素子は、この実施の形態のＣＣＤセンサに限らず、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子でもよい。

また、上記の実施形態では、左右方向に瞳分割された被写体像を示す主画像、副画像を得るようにしたが、瞳分割される被写体像の数は２つに限定されず、また、瞳分割する方向も左右方向に限らず、上下左右方向に瞳分割するようにしてもよい。

更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…立体撮像装置、１２…撮影光学系、１４…絞り、１６…撮像素子（位相差ＣＣＤ）、３０…液晶モニタ、３２…ＣＣＤ制御部、３４…絞り駆動部、３６…レンズ駆動部、３８…操作部、４０…中央処理装置（ＣＰＵ）、４２…ＡＦ処理部、４４…ＡＥ検出部、４６…ＲＯＭ

Claims (11)

1. 単一の撮影光学系と、
   前記撮影光学系の予め定められた方向の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、
   前記第１の画像に対して第１の画像処理を行うとともに、前記第２の画像に対して前記第１の画像処理と異なる第２の画像処理を行う画像処理部であって、各処理後の第１の画像と第２の画像との画質の差を低減するように前記第１の画像処理及び第２の画像処理を行う画像処理部と、
   を備える立体撮像装置。
2. 前記画像処理部は、前記第１の画像及び第２の画像に対してそれぞれ異なるシャープネス補正を行う、請求項１に記載の立体撮像装置。
3. 前記第１の画像及び第２の画像に基づいて視差量を算出する視差量算出部を備え、
   前記画像処理部は、前記算出した視差量の大きな範囲の画像に対して前記シャープネス補正を弱くする、請求項２に記載の立体撮像装置。
4. 前記画像処理部は、前記第１の画像及び第２の画像に対してそれぞれ異なる色収差補正を行う、請求項１から３のいずれかに記載の立体撮像装置。
5. 前記画像処理部は、前記第１の画像及び第２の画像に対してそれぞれ異なるディストーション補正を行う、請求項１から４のいずれかに記載の立体撮像装置。
6. 前記第１の画像及び第２の画像の画像処理に使用する第１の補正パラメータ及び第２の補正パラメータを予め記憶する記憶部を備え、
   前記画像処理部は、前記記憶された第１の補正パラメータ及び第２の補正パラメータに基づいてそれぞれ前記第１の画像及び第２の画像の画像処理を行う、請求項１から５のいずれかに記載の立体撮像装置。
7. 前記撮影光学系はズームレンズであり、
   前記記憶部には、前記ズームレンズのズーム位置に対応して、又はズーム位置と絞り値に対応してそれぞれ前記第１の補正パラメータ及び第２の補正パラメータが記憶され、
   前記画像処理部は、撮影時のズーム位置、又はズーム位置と絞り値に基づいて前記記憶部から対応する第１の補正パラメータ及び第２の補正パラメータを読み出し、読み出した第１の補正パラメータ及び第２の補正パラメータに基づいてそれぞれ前記第１の画像及び第２の画像の画像処理を行う、請求項６に記載の立体撮像装置。
8. 前記画像処理部により処理された前記第１の画像及び第２の画像からなる立体視画像を記録媒体に記録する記録部を備える請求項１から７のいずれかに記載の立体撮像装置。
9. 前記画像処理部は、前記第１の画像及び第２の画像を加算した平面画像の撮影時には、前記第１の画像処理及び第２の画像処理とは異なる画像処理を行う、請求項１から８のいずれかに記載の立体撮像装置。
10. 前記画像処理部による処理前の前記第１の画像及び第２の画像とともに、立体画像を示す情報と平面画像を示す情報を関連付けて記録媒体に記録する記録部を備え、
    前記画像処理部は、立体視画像の出力時に前記記録媒体から読み出した第１の画像及び第２の画像に対して前記第１の画像処理及び第２の画像処理を行い、平面画像の出力時に前記第１の画像処理及び第２の画像処理とは異なる画像処理を行う、請求項１から７のいずれかに記載の立体撮像装置。
11. 前記撮像素子は、それぞれマトリクス状に配列された光電変換用の第１群の画素及び第２群の画素であって、前記撮影光学系の第１の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第１群の画素と、前記撮影光学系の第２の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第２群の画素とを有し、前記第１群の画素及び第２群の画素から前記第１の画像及び第２の画像の読み出しが可能な撮像素子である、請求項１から１０のいずれかに記載の立体撮像装置。

Images