JP5284306B2 - 立体撮像装置、ゴースト像処理装置およびゴースト像処理方法 - Google Patents

Description

本発明は、立体撮像装置、ゴースト像処理装置およびゴースト像処理方法に関し、特に、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換することで生成された複数の視点画像（立体画像）に対するゴースト像処理技術に関する。

被写体に太陽等の明るい光源が含まれている場合、その光源の光が撮影光学系内や撮像素子の表面で反射し、反射光の像が撮像素子上に結像することで撮像画像内にゴースト像が生じることがある。

特許文献１には、撮影光学系内の絞りの開口径を変化させることで互いに異なるＦ値で２回の撮像を行い、２つの画像の差分からゴースト検出を行う構成が開示されている。

特許文献２には、フォーカスレンズを移動させてフォーカス位置とデフォーカス位置とで撮像し、フォーカス画像とデフォーカス画像の差分からゴースト検出を行う構成が開示されている。

特許文献３には、撮像画像に対して画像処理を行い被写界深度を拡大した画像を得る装置にて、光学系の光軸に対し直交する面内で波面変換素子を回転させる機構を備え、波面変換素子を回転角度０度と１８０度とに回転させたときにそれぞれ取得される２つの画像間で和、差の演算処理を行うことで、ゴースト除去を行う構成が開示されている。

特開２００８−２２８１８１号公報 特開２００８−５４２０６号公報 特開２００５−９１８６５号公報

単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する単眼立体撮像素子が求められていると共に、１回の単眼立体撮像で得られた立体画像（右眼画像、左目画像）に対するゴースト像処理を確実に行うことが求められている。

しかしながら、従来の撮像素子に関した先行技術文献に記載の技術では、撮影条件が異なる複数回の撮像を行わなければ、ゴースト像を処理することができない。また、先行技術文献には撮影条件が異なる２つの画像の差分からゴースト像を検出することは記載されているが、１回の単眼立体撮像により得られる複数の視点画像（右眼画像、左眼画像）間には視差があるため、従来技術を複数の視点画像に適用すると誤検出の問題が生じる。よって、先行技術文献に記載の技術を適用して１回の単眼立体撮像でゴースト像処理を行うことは、困難である。

本発明はこのような事情に鑑みてなされたもので、１回の立体撮像でゴースト像に対する処理を行うことができる立体撮像装置、ゴースト像処理装置およびゴースト像処理方法を提供することを目的とする。

前記目的を達成するために、本発明は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する撮像素子により生成された複数の視点画像を取得する画像取得手段と、取得された前記複数の視点画像間の被写体像の視差による像ずれ量を算出する像ずれ量算出手段と、前記像ずれ量に基づいて、前記複数の視点画像間の像ずれを補正する像ずれ補正手段と、像ずれ補正後の前記複数の視点画像を比較することで、前記複数の視点画像内のゴースト像を検出するゴースト像検出手段と、を備えたことを特徴とするゴースト像処理装置を提供する。

この発明によれば、視点画像間の被写体像の視差による像ずれ量が算出され、その像ずれ量に基づいて視点画像間の像ずれが補正され、像ずれ補正後の視点画像間の比較により各視点画像内のゴースト像が検出されるので、複数回の立体撮像を行わなくても、１回の立体撮像で得られた複数の視点画像からゴースト像検出を行うことができるとともに、ゴースト像の誤検出を防止することができる。

本発明の一実施形態では、前記ゴースト像検出手段は、像ずれ補正後の前記複数の視点画像の対応画素間で画素値の差分を算出することにより、前記対応画素ごとの前記差分の配列からなるゴースト抽出データを生成することを特徴とする。即ち、複数の視点画像からゴースト抽出データを生成することで、ゴースト発生の検証やゴースト像の除去などを容易に行うことができる。

本発明の一実施形態では、前記ゴースト抽出データ内の前記差分の極性に基づいて前記複数の視点画像の各々にて前記ゴースト像が存在する部分を認識し、像ずれ補正後の前記複数の視点画像の各々から前記ゴースト像を除去するゴースト像除去手段と、前記ゴースト像が除去された前記複数の視点画像間の像ずれ量を像ずれ補正前の量に戻す像ずれ量戻し手段を備えたことを特徴とする。即ち、１回の立体撮像で得られた複数の視点画像からゴースト像を除去することができる。

本発明の一実施形態では、前記ゴースト像除去手段は、像ずれ補正後の前記複数の視点画像のうち前記ゴースト像が存在する部分の画素値から前記ゴースト抽出データの値を差し引くことを特徴とする。

本発明の一実施形態では、前記ゴースト像除去手段は、像ずれ補正後の前記複数の視点画像のうち一方の前記視点画像の前記ゴースト像が存在する部分の画素値を他方の前記視点画像のゴースト像が存在しない部分の画素値に置き換えることを特徴とする。

本発明の一実施形態では、前記撮像素子は、第１の瞳分割方向に分離された第１の画素群および第２の画素群と、第２の瞳分割方向に分離された第３および第４の画素群とを有し、前記画像取得手段は、前記第１の画素群、前記第２の画素群、前記第３の画素群および前記第４の画素群によりそれぞれ生成された第１の視点画像、第２の視点画像、第３の視点画像および第４の視点画像を取得し、前記像ずれ量算出手段は、前記第１の視点画像と前記第２の視点画像との視差による第１の像ずれ量を算出するとともに、前記第３の視点画像と前記第４の視点画像との視差による第２の像ずれ量を算出し、前記像ずれ補正手段は、前記第１の像ずれ量に基づいて前記第１の視点画像と前記第２の視点画像との像ずれを補正するとともに、前記第２の像ずれ量に基づいて前記第３の視点画像と前記第４の視点画像との像ずれを補正し、前記ゴースト像検出手段は、像ずれ補正後の前記第１の視点画像と前記第２の視点画像とを比較するとともに、像ずれ補正後の前記第３の視点画像と前記第４の視点画像とを比較することで前記複数の視点画像内のゴースト像を検出することを特徴とする。即ち、一方向（例えば横方向）だけでなく他方向（例えば縦方向）から入射したゴースト光によるゴースト像を確実に検出することが可能になる。

また、本発明は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する撮像素子により生成された複数の視点画像を取得する画像取得手段と、取得された前記複数の視点画像間の被写体像の視差による像ずれ量を算出する像ずれ量算出手段と、前記像ずれ量に基づいて、前記複数の視点画像間の像ずれを補正する像ずれ補正手段と、像ずれ補正後の前記複数の視点画像の対応画素間で明るさを比較して、暗い方の部分のみを抽出することで、ゴースト像を含まない合成画像を生成する画像合成手段と、を備えたことを特徴とするゴースト像処理装置を提供する。即ち、複数回の立体撮像を行わなくても、１回の立体撮像で得られた複数の視点画像からゴースト除去を行うことができるとともに、誤検出を防止することができる。また、ゴースト抽出を必要としないので、ゴースト除去処理の高速化を図ることができる。

また、本発明は、前記単一の撮影光学系と、前記撮像素子と、前記ゴースト像処理装置と、を備えたことを特徴とする立体撮像装置を提供する。

また、本発明は、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する撮像素子により生成された複数の視点画像を取得する画像取得工程と、取得された前記複数の視点画像間の被写体像の視差による像ずれ量を算出する像ずれ量算出工程と、前記像ずれ量に基づいて、前記複数の視点画像間の像ずれを補正する像ずれ補正工程と、像ずれ補正後の前記複数の視点画像を比較することで、前記複数の視点画像内のゴースト像を検出するゴースト像検出工程と、を備えたことを特徴とするゴースト像処理方法を提供する。

また、本発明は、単一の撮撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する撮像素子により生成された複数の視点画像を取得する画像取得工程と、取得された前記複数の視点画像間の被写体像の視差による像ずれ量を算出する像ずれ量算出工程と、前記像ずれ量に基づいて、前記複数の視点画像間の像ずれを補正する像ずれ補正工程と、像ずれ補正後の前記複数の視点画像間で対応画素間の明るさを比較して、暗い方の部分のみを抽出することで、ゴースト像を含まない合成画像を生成する画像合成工程と、を備えたことを特徴とするゴースト像処理方法を提供する。

本発明によれば、１回の立体撮像でゴースト像検出、ゴースト像除去等のゴースト像に対する処理を行うことができる。

立体撮像装置のブロック図 位相差イメージセンサの構成例を示す図 主、副画素の１画素ずつを示した図 図３の要部拡大図 第１実施形態におけるゴースト像処理の一例の流れを示すフローチャート （Ａ）はゴースト像を有する主画素データおよび副画素データを重ね合わせて表示した様子を示す模式図、（Ｂ）はその主画素データを示す図、（Ｃ）はその副画素データを示す図 単眼立体撮像における異常光の入射を示す模式図 （Ａ）および（Ｂ）は視差による像ずれと像ずれ補正の説明に用いる説明図 ゴースト抽出データの一例を示す図 第２実施形態におけるゴースト像処理の一例の流れを示すフローチャート 第３実施形態におけるゴースト像処理の一例の流れを示すフローチャート 第４実施形態におけるゴースト像処理の一例の流れを示すフローチャート 第４実施形態におけるゴースト像処理の説明に用いる説明図 第５実施形態における撮像素子の画素配列を示す平面透視図

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

＜撮像装置の全体構成＞
図１は本発明に係る立体撮像装置１０の実施の形態を示すブロック図である。

この立体撮像装置１０は、撮像した画像をメモリカード５４（以下「メディア」ともいう）に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

立体撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて立体撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。

シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、２Ｄ撮影モード、３Ｄ撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モード、本発明に係る視差優先撮影モードを選択する選択手段である。

再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

撮影モード時において、被写体を示す画像光は、フォーカスレンズ、ズームレンズを含む撮影光学系１２、絞り１４を介して固体撮像素子である位相差ＣＣＤ１６の受光面に結像される。撮影光学系１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ1.4〜Ｆ11まで１ＡＶ刻みで６段階に絞り制御される。

また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、ＣＣＤ制御部３２を介して位相差ＣＣＤ１６での電荷蓄積時間（シャッタ速度）や、位相差ＣＣＤ１６からの画像信号の読み出し制御等を行う。

＜単眼３Ｄセンサの構成例＞
図２は位相差ＣＣＤ１６（単眼立体撮像素子）の構成例を示す図である。

位相差ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインの画素（主画素）と、偶数ラインの画素（副画素）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。

図２に示すように位相差ＣＣＤ１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。

図３は撮影光学系１２、絞り１４、及び位相差ＣＣＤ１６の主画素ＰＤａ、副画素ＰＤｂの１画素ずつを示した図であり、図４は図３の要部拡大図である。

図４（Ａ）に示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。

これに対し、位相差ＣＣＤ１６の主画素ＰＤａ及び副画素ＰＤｂには遮光部材１６Ａが形成され、この遮光部材１６Ａにより主画素ＰＤａ、副画素ＰＤｂの受光面の右半分、又は左半分が遮光されている。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。

尚、上記構成の位相差ＣＣＤ１６は、主画素ＰＤａと副画素ＰＤｂとでは、遮光部材１６Ａにより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤ（ＰＤａ，ＰＤｂ）とを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。

図１に戻って、位相差ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。位相差ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正等の所定の信号処理を行う。

また、ＥＥＰＲＯＭ５６は、カメラ制御プログラム、位相差ＣＣＤ１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、プログラム線図、本発明に係る複数の視差優先プログラム線図等が記憶されている不揮発性メモリである。

ここで、図２（Ｂ）及び（Ｃ）に示すように、位相差ＣＣＤ１６の奇数ラインの主画素から読み出される主画像データは、左視点画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右視点画像データとして処理される。

デジタル信号処理部２４で処理された左視点画像データ及び右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０（ＬＣＤ）に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。

この液晶モニタ３０は、立体視画像（左視点画像及び右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。

また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、位相差ＣＣＤ１６は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影光学系１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り１４の絞り値及び位相差ＣＣＤ１６の電子シャッタ（シャッタ速度）を所定のプログラム線図にしたがって決定し、その決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタ速度に基づいてＣＣＤ制御部３２を介して位相差ＣＣＤ１６での電荷蓄積時間を制御する。

ＡＦ処理部４２は、コントラストＡＦ処理又は位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データ及び右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データ及び右視点画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素及び副画素に対応する左視点画像（主画像）及び右視点画像（副画像）の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。

メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。

メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＰＭファイルは、メディアコントローラ５２により読み出され、メモリカード５４に記録される。

以下では、本発明に係る立体撮像装置を各種の実施形態に分けて説明する。

＜第１実施形態＞
図５は、第１実施形態におけるゴースト像処理の一例の流れを示すフローチャートである。本処理は、立体画像を構成する複数の視点画像からゴースト像を抽出するゴースト像抽出処理であり、図１のＣＰＵ４０により行われる。ＣＰＵ４０により、本発明における像ずれ量算出手段、像ずれ補正手段およびゴースト像検出手段が構成されている。

本処理の開始前、既に、位相差ＣＣＤ１６（単眼３Ｄセンサ）により被写体が立体撮像されている。即ち、撮影光学系１２の射出瞳の異なる領域（右半分、左半分）を通過した光束が位相差ＣＣＤ１６によりそれぞれ光電変換され、複数の視点画像（以下「主画素データ」および「副画素データ」ともいう）がメモリ４８に一時的に格納されている。

ステップＳ１０２およびＳ１０４にて、ＣＰＵ４０は、主画素データおよび副画素データをメモリ４８から取得する。

図６（Ａ）は、ゴースト像をそれぞれ有する主画素データおよび副画素データを重ね合わせてＬＣＤ３０に表示した様子を模式的に示す。尚、本図面上では立体表示できないため平面画像として表している。図６（Ｂ）はゴースト像を有する主画素データ、図６（Ｃ）はゴースト像を有する副画素データをそれぞれ示す。立体撮像装置１０における瞳分割の構造上、図７に示すように主画素ＰＤａに入射する異常光は副画素ＰＤｂに入射せず、副画素ＰＤｂに入射する異常光は主画素ＰＤａに入射しない場合がほとんどである。即ち、図６（Ｂ）の主画素データ中に現れるゴースト像は図６（Ｃ）の副画素データ中にほとんど現れず、図６（Ｃ）の副画素データ中に現れるゴースト像は図６（Ｂ）の主画素データ中にほとんど現れない。

ステップＳ１０６にて、ＣＰＵ４０は、視差による像ずれ量（以下「視差量」ともいう）を算出する。

具体的には、まず、主画素データ中の主画素と副画素データ中の副画素との対応関係の検出（対応点検出）を行い、次に、対応する画素間（対応点間）の像ずれ量（主画素データ中の主画素の座標と副画素データ中の副画素の座標との差分）を算出し、各画素（主画素および／または副画素）と像ずれ量との関係（視差分布）を示す視差マップを生成する。尚、本例の視差マップは、副画素データ中の各副画素と像ずれ量との対応関係を示す。例えば、図８（Ａ）に示す主画素データと図８（Ｂ）に示す副画素データとでは、木の像がＤだけ像ずれしているので、木の像を構成する各画素に像ずれ量Ｄを関連付ける。尚、図８（Ａ）および（Ｂ）中、人の像にはほとんど像ずれが無いが、実際には人の像内で被写体距離に応じた小さな像ずれが生じている。

ステップＳ１０８にて、ＣＰＵ４０は、視差マップに基づいて、主画素データと副画素データとの被写体像の視差に因る像ずれを補正する。本例では、副画素データ中で副画素を移動させることで、主画素データ中の主画素の座標と、その主画素に対応する副画素データ中の副画素の座標とを一致させる。例えば、図８（Ｂ）に示す副画素データでは、木の像をＤだけ左方向に移動させる。

ステップＳ１１０にて、ＣＰＵ４０は、像ずれ補正後の主画素と副画素とで画素値の差分を算出することで、ゴースト像を抽出する。例えば、図６（Ｂ）に示す主画素データと図６（Ｃ）に示す副画素データとを取得した場合、図９に示すゴースト抽出データ（ゴースト抽出画像）が生成される。本例のゴースト抽出データは、主画素データと副画素データとで対応する画素ごとの画素値の差分（以下「ゴースト画素値」という）の配列からなる。本例のゴースト抽出データでは、主画素データ中にゴースト像が存在する領域の値（ゴースト画素値）が正となり、副画素データ中にゴースト像が存在する領域の値（ゴースト画素値）が負となる。主画素データにも副画素データにもゴーストが存在しない領域では値がゼロとなるが、実際にはノイズ等の影響により完全なゼロとはならないので、ゴースト抽出データの生成時に、主画素と副画素との画素値の差分が閾値以下である場合には、ゴースト抽出データの値を強制的にゼロとする調整（ゼロ調整）を行ってもよい。尚、ゴースト抽出データの値（ゴースト画素値）は前述のように正／負の極性を有するが、図９では、図示の便宜上、ゴースト画素値を絶対値にして階調表示した。また、図９では、ゴースト像でない部分（背景の空部分）も主画素と副画素とで画素値に差があるため抽出されているが、ゴースト光に因る色とは異なるため、実際にはフィルタ処理により排除される。

ステップＳ１１２にて、ＣＰＵ４０は、ゴースト抽出データを出力する。本例では、メモリ４８に出力するが、特に出力先は限定されない。

尚、副画素データに対し像ずれ補正を行った場合を例に説明したが、主画素データに対し像ずれ補正を行ってもよい。主画素データおよび副画素データの両方に対し像ずれ補正を行ってもよい。

本実施形態では、主画素データ（第１の視点画像）と副画素データ（第２の視点画像）との視差による像ずれ量を算出し、その像ずれ量に基づいて主画素データと副画素データとの視差による像ずれを補正し、像ずれ補正後の主画素データと副画素データとを比較することで、主画素データおよび副画素データ内のゴースト像を検出する構成なので、１回の単眼立体撮像でゴースト像を検出することができるとともにゴースト像の誤検出を防止することができる。

＜第２実施形態＞
図１０は、第２実施形態におけるゴースト像処理の一例の流れを示すフローチャートである。本処理は、立体画像を構成する複数の視点画像からゴースト像を除去するゴースト像除去処理であり、図１のＣＰＵ４０により行われる。ＣＰＵ４０により、本発明における像ずれ量算出手段、像ずれ補正手段、ゴースト像検出手段、ゴースト像除去手段および像ずれ量戻し手段が構成されている。

尚、本処理の開始前、既に、図５に示したゴースト像抽出処理が済んでいるものとする。

ステップＳ２０２にて、ＣＰＵ４０は、ゴースト抽出データ（ゴースト抽出画像）を取得する。本例では、メモリ４８から取得する。

ステップＳ２０４にて、ＣＰＵ４０は、主画素補正を開始する。本例では主画素データが既にメモリ４８に格納されているが、メモリ４８上に無ければメモリカード５４等から取得する。

ステップＳ２０６にて、ＣＰＵ４０は、ゴースト抽出データを参照し、注目した主画素に対応する値（ゴースト画素値）が正であるか否かを判定する。

ゴースト抽出データの値が負または０である場合（主画素ゴースト無しの場合）、ステップＳ２０８にて、ＣＰＵ４０は、主画素データの値（主画素値）を参照し、そのまま採用する。

ゴースト抽出データの値が正である場合（主画素ゴースト有りの場合）、ステップＳ２１０にて、ＣＰＵ４０は、主画素値からゴースト抽出データの値（ゴースト画素値）を差し引く。即ち、ゴースト画素値の絶対値を差し引く。

ステップＳ２１２にて、ＣＰＵ４０は、全主画素に対して補正が終了したか否かを判定し、未終了の場合にはステップＳ２０６に戻り、終了した場合にはステップＳ２１４に進む。

ステップＳ２１４にて、ＣＰＵ４０は、メディアコントローラ５２により、ゴースト成分が除去された主画素データをメモリカード５４に出力する。

ステップＳ２１６にて、ＣＰＵ４０は、副画素補正を開始する。本例では副画素データが既にメモリ４８に格納されているが、メモリ４８上に無ければメモリカード５４等から取得する。

ステップＳ２１８にて、ＣＰＵ４０は、視差マップに基づいて、主画素データと副画素データとの視差に因る像ずれを補正する。本例では、図５のステップＳ１０８と同様であり、副画素に対して像ずれ補正を行う。

ステップＳ２２０にて、ＣＰＵ４０は、ゴースト抽出データを参照し、注目した副画素に対応する値（ゴースト画素値）が負であるか否かを判定する。

ゴースト抽出データの値が負である場合（副画素ゴースト有りの場合）、ステップＳ２２２にて、ＣＰＵ４０は、副画素値にゴースト抽出データの値（ゴースト画素値）を加える。即ち、ゴースト画素値の絶対値を差し引く。

ゴースト抽出データの値が正または０である場合（副画素ゴースト無しの場合）、ステップＳ２２４にて、ＣＰＵ４０は、副画素データの値（副画素値）を参照し、そのまま採用する。

ステップＳ２２６にて、ＣＰＵ４０は、全副画素に対して補正が終了したか否かを判定し、未終了の場合にはステップＳ２２０に戻り、終了した場合にはステップＳ２２８に進む。

ステップＳ２２８にて、ＣＰＵ４０は、視差マップに基づいて、ゴースト像除去後の副画素データの像ずれを回復する。即ち、図８に示すように視差に因る像ずれを元に戻す。

ステップＳ２３０にて、ＣＰＵ４０は、メディアコントローラ５２により、ゴースト成分が除去された副画素データをメモリカード５４に出力する。

以上のように、本実施形態では、ゴースト抽出データの値（ゴースト画素値）の極性に基づいて第１の視点画像（主画素データ）および第２の視点画像の各々にて前記ゴースト像が存在する部分を認識し、像ずれ補正後の第１の視点画像および第２の視点画像の各々のゴースト像が存在する部分の画素値からゴースト抽出画像の画素値の絶対値を差し引くことでゴースト像の除去を行うとともに、視差マップに基づいて、ゴースト像除去後の第１の視点画像と第２の視点画像との像ずれ量を像ずれ補正前の量に戻す。

＜第３実施形態＞
図１１は、第３実施形態におけるゴースト像処理の一例の流れを示すフローチャートである。本処理は、立体画像を構成する複数の視点画像からゴースト像を除去するゴースト像除去処理であり、図１のＣＰＵ４０により行われる。ＣＰＵ４０により、本発明における像ずれ量算出手段、像ずれ補正手段、ゴースト像検出手段、ゴースト像除去手段および像ずれ量戻し手段が構成されている。

尚、本処理の開始前、既に、図５に示したゴースト像抽出処理が済んでいるものとする。

ステップＳ３０２〜Ｓ３０４は、第２実施形態におけるステップＳ２０２〜Ｓ２０４と同様である。

ステップＳ３０６にて、ＣＰＵ４０は、ゴースト抽出データを参照し、注目した主画素に対応する値（ゴースト画素値）が正であるか否かを判定する。

ゴースト抽出データの値が負または０である場合（主画素ゴースト無しの場合）、ステップＳ３０８にて、ＣＰＵ４０は、主画素値を参照し、そのまま主画素値として採用する。

ゴースト抽出データの値が正である場合（主画素ゴースト有りの場合）、ステップＳ３１０にて、ＣＰＵ４０は、副画素値を参照し、その副画素値を新たな主画素値として採用する。

ステップＳ３１２にて、ＣＰＵ４０は、全主画素に対して補正が終了したか否かを判定し、未終了の場合にはステップＳ３０６に戻り、終了した場合にはステップＳ３１４に進む。

ステップＳ３１４〜Ｓ３１８は、第２実施形態におけるステップＳ２１４〜Ｓ２１８と同様である。

ステップＳ３２０にて、ＣＰＵ４０は、ゴースト抽出データを参照し、注目した主画素に対応する値（ゴースト画素値）が負であるか否かを判定する。

ゴースト抽出データの値が負である場合（副画素ゴースト有りの場合）、ステップＳ３２２にて、ＣＰＵ４０は、主画素値を参照し、その主画素値を新たな副画素値として採用する。

ゴースト抽出データの値が正または０である場合（副画素ゴースト無しの場合）、ステップＳ３２４にて、ＣＰＵ４０は、副画素値を参照し、そのまま副画素値として採用する。

ステップＳ３２６にて、ＣＰＵ４０は、全副画素に対して補正が終了したか否かを判定し、未終了の場合にはステップＳ３２０に戻り、終了した場合にはステップＳ３２８に進む。

ステップＳ３２８〜Ｓ３３０は、第２実施形態におけるステップＳ２２８〜Ｓ２３０と同様である。

以上のように、本実施形態では、像ずれ補正後の第１の視点画像（主画素データ）および第２の視点画像（副画素データ）のうち一方の視点画像のゴースト像を他方の視点画像のゴースト像が存在しない部分の画像に置き換えることでゴースト像の除去を行うとともに、視差マップに基づいて、ゴースト像除去後の第１の視点画像と第２の視点画像との像ずれを回復する。

＜第４実施形態＞
図１２は、第４実施形態におけるゴースト像処理の一例の流れを示すフローチャートである。本処理は、立体画像を構成する複数の視点画像からゴースト像を除去するゴースト像除去処理であり、図１のＣＰＵ４０により行われる。ＣＰＵ４０により、本発明における像ずれ量算出手段、像ずれ補正手段、画像合成手段および複数視点化手段が構成されている。尚、本処理では、図５に示したゴースト像抽出処理は不要である。

ステップＳ４０２〜Ｓ４０８は、図５におけるステップＳ１０２〜Ｓ１０８と同様である。

ステップＳ４１０にて、ＣＰＵ４０は、像ずれ補正後の主画素と副画素とで対応画素間の明るさ（輝度）を比較する。主画素の方が明るい場合には、ステップＳ４１２にて副画素の値を参照して合成画素値として採用し、副画素の方が明るい場合または明るさが同じ場合には、ステップＳ４１４にて主画素の値を参照して合成画素値として採用する。

ステップＳ４１６にて、ＣＰＵ４０は、全合成画素の採用（決定）が終了したか否かを判定し、未終了の場合にはステップＳ４１０に戻り、終了した場合にはステップＳ４１６に進む。

全画素の採用が終了すると、図１３に示すように、主画素データおよび副画素データから暗部のみが抽出された１枚の合成画像（以下「暗部抽出画像データ」という）が得られる。この暗部抽出画像データは、暗部のみを抽出した画像であるためゴースト像を含まない。即ち、ゴースト像が除去された１枚の画像が得られる。

ステップＳ４１８にて、ＣＰＵ４０は、ステップＳ４０６で算出した像ずれ量に基づいて、暗部抽出画像データから新たな立体画像（複数の視点画像）を生成する。即ち、複数視点化を行う。本例では、暗部抽出画像データが主画素データと同じ視点の画像であるため、この暗部抽出画像データを新たな主画素データとし、視差マップに基づいて暗部抽出画像データから新たな副画素データを生成する。これらの新たな主画素データと新たな副画素データとにより、ゴースト像を含まない新たな立体画像が構成される。

ステップＳ４２０にて、ＣＰＵ４０は、メディアコントローラ５２により、新たな立体画像をメモリカード５４に出力する。

＜第５実施形態＞
次に、第５実施形態（瞳分割方向が複数ある場合）について説明する。

図１４（Ａ）は主画素＋副画素の配列を示し、図１４（Ｂ）は主画素のみの配列を示し、図１４（Ｃ）は副画素のみの配列を示す。

本実施形態の位相差ＣＣＤ１６は、複数の瞳分割方向（図中のＸ方向およびＹ方向）にそれぞれ分離された複数の画素群対を有する。具体的には、位相差ＣＣＤ１６は、第１の瞳分割方向（図中のＸ方向）に分離された第１の主画素群６１ａおよび第１の副画素群６１ｂからなる第１の画素群対６１と、第１の瞳分割方向に直交する第２の瞳分割方向（図中のＹ方向）に分離された第２の主画素群６２ａおよび第２の副画素群６２ｂからなる第２の画素群対６２とを有する。

なお、各画素群対における、フォトダイオードＰＤ、マイクロレンズＬおよび遮光部材１６Ａの対応関係は、基本的には、第１実施形態で説明した通りなので、ここでは説明を省略する。

尚、瞳分割方向は、瞳の分割された領域同士を結ぶ方向（瞳を左半分と右半分とに分割した場合には左右方向、瞳を上半分と下半分とに分割した場合には上下方向）である。即ち、瞳を分割する仮想的な境界線に直交する方向である。但し、いわゆる屈曲光学系のように、撮影光学系と撮像素子の受光面とで光軸中心が一致しない場合には、撮影光学系における瞳分割方向を屈曲した光路に沿って撮像素子の受光面に投影した方向である。

本例の位相差ＣＣＤ１６によれば、横撮り時（即ち図１４（Ａ）のｘ軸を水平にした時）には、第１の画素群対６１（６１ａ，６１ｂ）によって生成された第１の視点画像および第２の視点画像によって立体画像を構成し、縦撮り時（即ち図１４（Ａ）を９０度回転してｘ軸を垂直にしたとき）には、第２の画素群対６２（６２ａ，６２ｂ）によって生成された第３の視点画像および第４の視点画像によって立体画像を構成することができる。

次に、本実施形態におけるゴースト像処理について説明する。

まず、ＣＰＵ４０は、第１の視点画像と第２の視点画像との視差による像ずれ量（第１の像ずれ量）を算出するとともに、第３の視点画像と第４の視点画像との視差による像ずれ量（第２の像ずれ量）を算出する。次に、ＣＰＵ４０は、第１の像ずれ量に基づいて第１の視点画像と第２の視点画像との像ずれを補正するとともに、第２の像ずれ量に基づいて第３の視点画像と第４の視点画像との像ずれを補正する。次に、ＣＰＵ４０は、像ずれ補正後の第１の視点画像と第２の視点画像とを比較するとともに、像ずれ補正後の第３の視点画像と第４の視点画像とを比較することで、複数の視点画像内のゴースト像を検出する。

本実施形態では、複数の画素群対６１、６２により得られた４視点の画像を用いることで、左右方向だけでなく、上下方向からの入射により発生するゴースト像を確実に検出することができる。

本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

１０…立体撮像装置、１２…撮影光学系、１４…絞り、１６…位相差ＣＣＤ（撮像素子）、１６Ａ…遮光部材、１６Ｂ…遮光部材の開口、２４…デジタル信号処理部、４０…ＣＰＵ、４８…メモリ、５２…メディアコントローラ、５４…メモリカード、５６…ＥＥＰＲＯＭ、Ｌ…マイクロレンズ、ＰＤ…フォトダイオード（画素）

Claims (14)

1. 単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する撮像素子により生成された複数の視点画像を取得する画像取得手段と、
   取得された前記複数の視点画像間の被写体像の視差による像ずれ量を算出する像ずれ量算出手段と、
   前記像ずれ量に基づいて、前記複数の視点画像間の像ずれを補正する像ずれ補正手段と、
   像ずれ補正後の前記複数の視点画像を比較することで、前記複数の視点画像内のゴースト像を検出するゴースト像検出手段と、
   を備えたことを特徴とするゴースト像処理装置。
2. 前記ゴースト像検出手段は、像ずれ補正後の前記複数の視点画像の対応画素間で画素値の差分を算出することにより、前記対応画素ごとの前記差分の配列からなるゴースト抽出データを生成することを特徴とする請求項１に記載のゴースト像処理装置。
3. 前記ゴースト抽出データ内の前記差分の極性に基づいて前記複数の視点画像の各々にて前記ゴースト像が存在する部分を認識し、像ずれ補正後の前記複数の視点画像の各々から前記ゴースト像を除去するゴースト像除去手段と、
   前記ゴースト像が除去された前記複数の視点画像間の像ずれ量を像ずれ補正前の量に戻す像ずれ量戻し手段と、
   を備えたことを特徴とする請求項２に記載のゴースト像処理装置。
4. 前記ゴースト像除去手段は、像ずれ補正後の前記複数の視点画像のうち前記ゴースト像が存在する部分の画素値から前記ゴースト抽出データの値を差し引くことを特徴とする請求項３に記載のゴースト像処理装置。
5. 前記ゴースト像除去手段は、像ずれ補正後の前記複数の視点画像のうち一方の前記視点画像の前記ゴースト像が存在する部分の画素値を他方の前記視点画像のゴースト像が存在しない部分の画素値に置き換えることを特徴とする請求項３に記載のゴースト像処理装置。
6. 前記撮像素子は、第１の瞳分割方向に分離された第１の画素群および第２の画素群と、第２の瞳分割方向に分離された第３および第４の画素群とを有し、
   前記画像取得手段は、前記第１の画素群、前記第２の画素群、前記第３の画素群および前記第４の画素群によりそれぞれ生成された第１の視点画像、第２の視点画像、第３の視点画像および第４の視点画像を取得し、
   前記像ずれ量算出手段は、前記第１の視点画像と前記第２の視点画像との視差による第１の像ずれ量を算出するとともに、前記第３の視点画像と前記第４の視点画像との視差による第２の像ずれ量を算出し、
   前記像ずれ補正手段は、前記第１の像ずれ量に基づいて前記第１の視点画像と前記第２の視点画像との像ずれを補正するとともに、前記第２の像ずれ量に基づいて前記第３の視点画像と前記第４の視点画像との像ずれを補正し、
   前記ゴースト像検出手段は、像ずれ補正後の前記第１の視点画像と前記第２の視点画像とを比較するとともに、像ずれ補正後の前記第３の視点画像と前記第４の視点画像とを比較することで、前記複数の視点画像内のゴースト像を検出することを特徴とする請求項１ないし５のうちいずれか１項に記載のゴースト像処理装置。
7. 単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する撮像素子により生成された複数の視点画像を取得する画像取得手段と、
   取得された前記複数の視点画像間の被写体像の視差による像ずれ量を算出する像ずれ量算出手段と、
   前記像ずれ量に基づいて、前記複数の視点画像間の像ずれを補正する像ずれ補正手段と、
   像ずれ補正後の前記複数の視点画像の対応画素間で明るさを比較して、暗い方の部分のみを抽出することで、ゴースト像を含まない合成画像を生成する画像合成手段と、
   を備えたことを特徴とするゴースト像処理装置。
8. 前記単一の撮影光学系と、前記撮像素子と、請求項１ないし７のうちいずれか１項に記載のゴースト像処理装置と、を備えたことを特徴とする立体撮像装置。
9. 単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する撮像素子により生成された複数の視点画像を取得する画像取得工程と、
   取得された前記複数の視点画像間の被写体像の視差による像ずれ量を算出する像ずれ量算出工程と、
   前記像ずれ量に基づいて、前記複数の視点画像間の像ずれを補正する像ずれ補正工程と、
   像ずれ補正後の前記複数の視点画像を比較することで、前記複数の視点画像内のゴースト像を検出するゴースト像検出工程と、
   を備えたことを特徴とするゴースト像処理方法。
10. 前記ゴースト像検出工程は、像ずれ補正後の前記複数の視点画像の対応画素間で画素値の差分を算出することにより、前記対応画素ごとの前記差分の配列からなるゴースト抽出データを生成することを特徴とする請求項９に記載のゴースト像処理方法。
11. 前記ゴースト抽出データ内の前記差分の極性に基づいて前記複数の視点画像の各々にて前記ゴースト像が存在する領域を認識し、像ずれ補正後の前記複数の視点画像の各々から前記ゴースト像を除去するゴースト像除去工程と、
    前記ゴースト像が除去された前記複数の視点画像間の像ずれ量を像ずれ補正前の量に戻す像ずれ量戻し工程と、
    を備えたことを特徴とする請求項１０に記載のゴースト像処理方法。
12. 前記ゴースト像除去工程は、像ずれ補正後の前記複数の視点画像のうち前記ゴースト像が存在する部分の画素値から前記ゴースト抽出データの値を差し引くことを特徴とする請求項１１に記載のゴースト像処理方法。
13. 前記ゴースト像除去工程は、像ずれ補正後の前記複数の視点画像のうち一方の前記視点画像の前記ゴースト像が存在する部分の画素値を他方の前記視点画像のゴースト像が存在しない部分の画素値に置き換えることを特徴とする請求項１１に記載のゴースト像処理方法。
14. 単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する撮像素子により生成された複数の視点画像を取得する画像取得工程と、
    取得された前記複数の視点画像間の被写体像の視差による像ずれ量を算出する像ずれ量算出工程と、
    前記像ずれ量に基づいて、前記複数の視点画像間の像ずれを補正する像ずれ補正工程と、
    像ずれ補正後の前記複数の視点画像の対応画素間で明るさを比較して、暗い方の部分のみを抽出することで、ゴースト像を含まない合成画像を生成する画像合成工程と、
    を備えたことを特徴とするゴースト像処理方法。