JP5467993B2

JP5467993B2 - 画像処理装置、複眼デジタルカメラ、及びプログラム

Info

Publication number: JP5467993B2
Application number: JP2010285026A
Authority: JP
Inventors: 浩島谷
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-03-30
Filing date: 2010-12-21
Publication date: 2014-04-09
Anticipated expiration: 2030-12-21
Also published as: US8675042B2; US20110242273A1; JP2011229116A

Description

本発明は、画像処理装置、複眼デジタルカメラ、及びプログラムに係り、特に立体視表示するためのパノラマ画像を生成する画像処理装置、複眼デジタルカメラ、及びプログラムに関する。

従来より、画像における被写体までの距離を検出し、検出された被写体までの距離に基づいて、奥行き方向に配置してなる複数台の表示装置に映像信号を振り分け、また、割り当てていない期間は静止画を表示する映像表示方法が知られている（特許文献１）。

また、時間経過と共に初期値から徐々に視差量を変化させる視差量変更工程を有する立体映像表示方法が知られている（特許文献２）。

特開２００５−２３６８２１号公報特開２００３−３４８６２２号公報

しかしながら、上記の特許文献１に記載の技術では、視差調整の方法について開示がないため、パノラマサイズの画像を立体視表示する場合の適切な視差量を求めることができない、という問題がある。また、上記の特許文献２に記載の技術では、時間経過と共に視差量を変化させるため、適切な視差量になるまでに時間がかかってしまう、という問題がある。

本発明は、上記問題を解決するためになされたもので、パノラマ画像の適切な視差量の調整量を計算することができる画像処理装置、複眼デジタルカメラ、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、立体視を行う立体視用画像を生成するために、異なる２以上の視点の各々から一連に撮影された２以上の群の一連の撮影画像を取得する取得手段と、前記一連の撮影画像の各々について、被写体との距離を計測する距離計測手段と、前記距離計測手段によって計測された前記距離の統計値に基づいて選択された、前記一連の撮影画像のうちの何れかの撮影画像について、他の視点から撮影され、かつ、該撮影画像と対応する撮影画像との間で調整した視差量の調整量を、前記２以上の群の各々について、前記一連の撮影画像を合成してパノラマ画像を生成したときの前記パノラマ画像間の視差量の調整量とする視差調整量計算手段と、を含んで構成されている。

本発明のプログラムは、コンピュータを、立体視を行う立体視用画像を生成するために、異なる２以上の視点の各々から一連に撮影された２以上の群の一連の撮影画像を取得する取得手段、前記一連の撮影画像の各々について、被写体との距離を計測する距離計測手段、及び前記距離計測手段によって計測された前記距離の統計値に基づいて選択された、前記一連の撮影画像のうちの何れかの撮影画像について、他の視点から撮影され、かつ、該撮影画像と対応する撮影画像との間で調整した視差量を、前記２以上の群の各々について、前記一連の撮影画像を合成してパノラマ画像を生成したときの前記パノラマ画像間の視差量の調整量とする視差調整量計算手段として機能させるためのプログラムである。

本発明によれば、取得手段によって、立体視を行う立体視用画像を生成するために、異なる２以上の視点の各々から一連に撮影された２以上の群の一連の撮影画像を取得する。そして、距離計測手段によって、一連の撮影画像の各々について、被写体との距離を計測する。視差調整量計算手段によって、距離計測手段によって計測された距離の統計値に基づいて選択された、一連の撮影画像のうちの何れかの撮影画像について、他の視点から撮影され、かつ、該撮影画像と対応する撮影画像との間で調整した視差量の調整量を、２以上の群の各々について、一連の撮影画像を合成してパノラマ画像を生成したときのパノラマ画像間の視差量の調整量とする。

このように、被写体までの距離の統計値に基づいて選択された何れかの撮影画像について調整した視差量の調整量を、パノラマ画像間の視差量の調整量とすることにより、パノラマ画像の適切な視差量の調整量を計算することができる。

本発明に係る視差量計算手段は、視差調整量計算手段は、一連の撮影画像の各々について計測された距離の平均値に対応する撮影画像について、又は、一連の撮影画像の各々について計測された距離から得られる最も出現頻度が多い距離範囲に含まれる距離が計測された撮影画像について調整した視差量の調整量を、パノラマ画像間の視差量の調整量とすることができる。これによって、違和感の少ない立体視用のパノラマ画像を得ることができる。

本発明に係る視差調整量計算手段は、一連の撮影画像の各々について計測された距離のうちの最も近い距離が調整された撮影画像について計算した視差量の調整量を、パノラマ画像間の視差量の調整量とするようにすることができる。これによって、違和感の少ない立体視用のパノラマ画像を得ることができる。

本発明に係る視差調整量計算手段は、一連の撮影画像の各々について計測された距離が分散している場合、予め定められた視差量の調整量を、２以上の群に対する前記パノラマ画像間の視差量の調整量とすることができる。

また、上記の視差調整量計算手段は、一連の撮影画像の各々について計測された距離が分散していない場合、一連の撮影画像の各々について計測された距離から得られる最も出現頻度が多い距離範囲に含まれる距離が計測された撮影画像について調整した視差量の調整量を、パノラマ画像間の視差量の調整量とするようにすることができる。

上記の予め定められた視差量の調整量を、２以上の視点の各々からの光軸方向が交差する位置に基づいて定められる視差量の調整量とすることができる。これによって、違和感の少ない立体視用のパノラマ画像を得ることができる。

上記の発明に係る画像処理装置は、一連の撮影画像の各々から、顔を表わす領域の個数又は大きさを示す顔情報を抽出する顔情報抽出手段を更に含み、視差調整量計算手段は、距離計測手段によって計測された距離の統計値及び顔情報抽出手段によって抽出された顔情報に基づいて選択された、一連の撮影画像のうちの何れかの撮影画像について調整した視差量の調整量を、パノラマ画像間の視差量の調整量とすることができる。これによって、違和感の少ない立体視用のパノラマ画像を得ることができる。

また、上記の発明における視差調整量計算手段は、一連の撮影画像の各々について計測された距離が分散していない場合に、距離の統計値に基づいて一連の撮影画像のうちの何れかの撮影画像を選択し、距離が分散している場合に、顔情報に基づいて一連の撮影画像のうちの何れかの撮影画像を選択し、選択された撮影画像について調整した視差量の調整量を、パノラマ画像間の視差量の調整量とするようにすることができる。これによって、違和感の少ない立体視用のパノラマ画像を得ることができる。

また、上記の発明における視差調整量計算手段は、距離が分散している場合に、顔を表わす領域が１個以上である撮影画像のうち、顔を表わす領域の個数が最も少ない撮影画像を選択し、選択された撮影画像について調整した視差量の調整量を、パノラマ画像間の視差量の調整量とするようにすることができる。

また、上記の発明における視差調整量計算手段は、距離が分散していないとき、一連の撮影画像の各々について計測された距離のうち、所定個以上の距離が、無限遠である場合に、顔を表わす領域の大きさが所定値以上となる撮影画像を選択し、無限遠となる距離の個数が所定個未満である場合に、一連の撮影画像の各々について計測された距離から得られる最も出現頻度が多い距離範囲に含まれる距離が計測された撮影画像を選択し、選択された撮影画像について調整した視差量の調整量を、パノラマ画像間の視差量の調整量とするようにすることができる。これによって、違和感の少ない立体視用のパノラマ画像を得ることができる。

上記の視差調整量計算手段は、選択された撮影画像の被写体領域における視差量が０となるように調整したときの視差量の調整量を算出し、算出した視差量の調整量を、パノラマ画像間の視差量の調整量とするようにすることができる。
上記の画像処理装置は、視差調整量計算手段によって計算された視差量の調整量に基づいて、２以上の群に対するパノラマ画像を立体視表示する表示手段を更に含むことができる。

また、上記の表示手段は、一連の撮影画像の各々について計測された距離のうち、所定個以上の距離が、無限遠である場合、パノラマ画像を平面画像として表示するようにすることができる。これによって、ユーザに疲労感を与えることのない画像を提供することができる。

上記の表示手段は、一連の撮影画像の各々を立体視表示する場合には、他の視点から撮影され、かつ、該撮影画像と対応する撮影画像との間の視差量の調整量に基づいて、該撮影画像を立体視表示するようにすることができる。これによって、ユーザに違和感のない立体視用画像を提供することができる。

本発明に係る複眼デジタルカメラは、上記の画像処理装置と、異なる２以上の視点の各々から複数の画像を撮影する撮影手段と、を含んで構成されている。

以上説明したように、本発明によれば、被写体までの距離の統計値に基づいて選択された何れかの撮影画像について調整した視差量の調整量を、パノラマ画像間の視差量の調整量とすることにより、パノラマ画像の適切な視差量の調整量を計算することができる、という効果が得られる。

本実施の形態の複眼デジタルカメラの正面側斜視図である。本実施の形態の複眼デジタルカメラの背面側斜視図である。第１の実施の形態の複眼デジタルカメラの内部構成を示す概略ブロック図である。各撮影画像について計測された被写体までの距離を示す図である。（Ａ）距離テーブルカウンタの一例を示す図、及び（Ｂ）被写体までの距離の分布を示す図である。単写モードの連続組み合わせ又は連写モードで撮影された一連の撮影画像の例を示す図である。（Ａ）一連の左画像を合成したパノラマ画像の例を示す図、及び（Ｂ）一連の右画像を合成したパノラマ画像の例を示す図、である。第１の実施の形態におけるパノラマ画像生成処理ルーチンの内容を示すフローチャートである。各撮影画像について計測された被写体までの距離を示す図である。距離テーブルカウンタの一例を示す図である。第２の実施の形態におけるパノラマ画像生成処理ルーチンの内容を示すフローチャートである。（Ａ）各撮影画像について計測された被写体までの距離が分散している場合を示す図、及び（Ｂ）各撮影画像について計測された被写体までの距離が集中して分布している場合を示す図である。第３の実施の形態におけるパノラマ画像生成処理ルーチンの内容を示すフローチャートである。各撮影画像について計測された被写体までの距離を示す図である。距離テーブルカウンタの一例を示す図である。第４の実施の形態におけるパノラマ画像生成処理ルーチンの内容を示すフローチャートである。第５の実施の形態の複眼デジタルカメラの内部構成を示す概略ブロック図である。各撮影画像について計測された被写体までの距離及び各撮影画像について記録された顔個数カウンタを示す図である。第５の実施の形態におけるパノラマ画像生成処理ルーチンの内容を示すフローチャートである。各撮影画像について計測された被写体までの距離、各撮影画像について記録された顔個数カウンタ、及び顔サイズカウンタを示す図である。第６の実施の形態におけるパノラマ画像生成処理ルーチンの内容を示すフローチャートである。

以下、図面を参照して、本発明の実施の形態を詳細に説明する。なお、本実施の形態では、本発明の撮影装置を複眼デジタルカメラに適用した場合について説明する。

図１は、第１の実施の形態の複眼デジタルカメラ１の正面側斜視図、図２は背面側斜視図である。図１に示すように、複眼デジタルカメラ１の上部には、レリーズボタン２、電源ボタン３、及びズームレバー４が備えられている。また、複眼デジタルカメラ１の正面には、フラッシュ５及び２つの撮影部２１Ａ、２１Ｂのレンズが配設されている。また、複眼デジタルカメラの１の背面には、各種表示を行う液晶モニタ７、及び各種操作ボタン８が配設されている。

図３は、複眼デジタルカメラ１の内部構成を示す概略ブロック図である。図３に示すように、複眼デジタルカメラ１は、２つの撮影部２１Ａ、２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、入力部３６、及びＣＰＵ３７を備えている。なお、撮影部２１Ａ、２１Ｂは、被写体を見込む輻輳角を持って、予め定められた基線長となるように配置されている。なお、輻輳角及び基線長の情報は内部メモリ２７に記憶されている。

撮影制御部２２は、不図示のＡＦ処理部及びＡＥ処理部からなる。ＡＦ処理部はレリーズボタン２の半押し操作により撮影部２１Ａ、２１Ｂが取得したプレ画像に基づいて、被写体領域を合焦領域として決定すると共に、レンズの焦点位置を決定し、撮影部２１Ａ、２１Ｂに出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１Ａ、２１Ｂに出力する。

また、撮影制御部２２は、レリーズボタン２の全押し操作により、１枚の画像を撮影する単写モードでは、撮影部２１Ａに対して左画像、撮影部２１Ｂに対して右画像の本画像を取得させる本撮影の指示を行い、複数枚の画像を連続的に撮影する連写モードでは、撮影部２１Ａに対して左画像、撮影部２１Ｂに対して右画像の本画像を取得させる本撮影の指示を所定回数連続して行う。パノラマ撮影モードにおいては、単写モードの連続組み合わせ又は連写モードで、撮影部２１Ａ、２１Ｂによって、左画像及び右画像が、所定枚数ずつ撮影される。なお、レリーズボタン２が操作される前は、撮影制御部２２は、撮影範囲を確認させるための本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を撮影部２１Ａ、２１Ｂに対して行う。

画像処理部２３は、撮影部２１Ａ、２１Ｂより取得した左画像及び右画像のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正等の画像処理を施す。

圧縮／伸長処理部２４は、画像処理部２３によって処理が施された左画像及び右画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルを生成する。この立体視用の画像ファイルには、左画像及び右画像の画像データを含み、Ｅｘｉｆフォーマット等に基づいて、基線長、輻輳角、及び撮影日時等の付帯情報、並びにレンズの焦点位置を表すフォーカス情報が格納される。

フレームメモリ２５は、撮影部２１Ａ、２１Ｂが取得した左画像及び右画像を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部２６は、記録メディア２９にアクセスして画像ファイル等の書き込み及び読み込みの制御を行う。

内部メモリ２７は、複眼デジタルカメラ１において設定される各種定数、及びＣＰＵ３７が実行するプログラム等を記憶する。

表示制御部２８は、撮影時においてフレームメモリ２５に格納された左画像及び右画像から生成された立体視用画像を液晶モニタ７に表示させたり、記録メディア２９に記録されている左画像及び右画像、または立体視用画像を液晶モニタ７に表示させたりする。また、表示制御部２８は、スルー画像を液晶モニタ７に表示させる。なお、表示制御部２８及び液晶モニタ７が、表示手段の一例である。

また、複眼デジタルカメラ１は、更に、３次元処理部３０、視差算出部３１、距離測定部３２、視差調整量算出部３３、及び画像合成部３４を備える。なお、視差算出部３１及び視差調整量算出部３３が、視差調整量計算手段の一例である。

３次元処理部３０は、左画像及び右画像を液晶モニタ７に立体視表示するために、左画像及び右画像に３次元処理を行って立体視用画像を生成する。例えば、算出された視差量の調整量に基づいて、視差量の調整を行うことによって、立体視用画像を生成する。

視差算出部３１は、左画像及び右画像に対して特徴点を求め、特徴点の対応付けを行い、視差量として、左画像及び右画像の双方に含まれる被写体の左画像と右画像との横方向における特徴点の相違を算出する。

距離測定部３２は、撮影制御部２２のＡＦ処理部により得られる被写体領域のレンズ焦点位置に基づいて、被写体までの距離を測定する。また、距離測定部３２は、パノラマ撮影モードでは、単写モードの連続組み合わせ又は連写モードで撮影された一連の左画像（又は右画像）の各々について、図４に示すように、被写体までの距離を計測し、図５（Ａ）に示すように、２ｍ刻みの各距離範囲（０〜２ｍ、２ｍ〜４ｍ、・・・、∞）の出現頻度を表わす距離テーブルカウンタに、出現頻度を記録する。

視差調整量算出部３３は、パノラマ撮影モードにおいて、距離テーブルカウンタから得られる図５（Ｂ）に示すような被写体までの距離の分布に基づいて、最も出現頻度が高い距離範囲に含まれる距離が計測された撮影画像を、一連の撮影画像から選択する（例えば、図４のコマ番号７の撮影画像）。視差調整量算出部３３は、選択された撮影画像の、対応する左画像及び右画像の双方に含まれる主要被写体における視差量が所定量（例えば、０）となるように調整するための視差量の調整量を算出する。なお、視差量の調整量とは、対応する左画像及び右画像について算出される各画素の視差量を、画像全体として調整するときの調整量である。視差調整量算出部３３は、算出した視差量の調整量を、パノラマ画像を立体視表示する場合における視差量の調整量として決定する。

画像合成部３４は、パノラマ撮影モードにおいて、単写モードの連続組み合わせ又は連写モードで撮影された、図６に示すような一連の左画像を合成して、図７（Ａ）に示すようなパノラマ画像を生成する。また、画像合成部３４は、単写モードの連続組み合わせ又は連写モードで撮影された一連の右画像を合成して、図７（Ｂ）に示すようなパノラマ画像を生成する。

次に、第１の実施の形態の複眼デジタルカメラ１における作用について説明する。

まず、パノラマ撮影モードの選択が、液晶モニタ７に表示されるメニュー画面で行われる。メニュー画面は、メニューボタンを押下することにより、液晶モニタ７に表示される。また、本実施の形態のデジタルカメラでは、このメニュー画面に表示されるメニュー項目の一つにシャッタモードの設定項目が用意されており、このシャッタモードの設定項目の選択により、単写モードと連写モードとが択一的に選択される。

そして、パノラマ撮影モードが選択された場合に、前述の単写モードの連続組み合わせ或いは連写モードで所定回数の撮影が実施され、撮影部２１Ａ、２１Ｂから取り込まれた所定枚数ずつの左画像及び右画像を一旦フレームメモリ２５に蓄える。なお、連写モードでの撮影が実施される場合であっても、１枚の撮影毎に、レンズの焦点位置を決定し、フォーカシング制御を行う。

そして、フレームメモリ２５から、左画像及び右画像についての２群の一連の画像を取得すると、複眼デジタルカメラ１において図８に示すパノラマ画像生成処理ルーチンが実行される。

まず、ステップ１００において、距離テーブルカウンタを初期化して、ステップ１０２で、一連の左画像（又は右画像）について、ＡＦ処理部により決定された被写体領域のレンズの焦点位置を取得し、ステップ１０４で、被写体までの距離を計測すると共に、視差量を算出する。

そして、ステップ１０６において、距離テーブルカウンタにおいて、上記ステップ１０４で算出された距離を含む距離範囲のカウントを、インクリメントする。ステップ１０８では、一連の左画像の全てについて、上記ステップ１０２〜１０６の処理を行ったか否かを判定し、一連の左画像のうち、上記処理を行っていない画像が存在する場合には、上記ステップ１０２へ戻り、当該画像について上記処理を繰り返す。一方、一連の左画像の全てについて上記の処理を行った場合には、ステップ１１０へ進み、距離テーブルカウンタのカウンタ情報から、最も出現頻度の高い距離範囲を特定し、特定された距離範囲に含まれる距離が計測された左画像を選択する。次のステップ１１１では、選択された左画像と、対応する右画像との間の視差量の調整量を算出し、算出した視差量の調整量を、パノラマ画像における視差量の調整量として決定する。

そして、ステップ１１２において、一連の左画像を合成して、パノラマ画像を生成すると共に、一連の右画像を合成して、パノラマ画像を生成する。次のステップ１１４では、上記ステップ１１２で生成された２つのパノラマ画像から、上記ステップ１１１で決定された視差量の調整量に基づいて、立体視用パノラマ画像を生成して、記録メディア２９に格納して、パノラマ画像生成処理ルーチンを終了する。このとき、所定枚数の画像を繋ぎ合わせたパノラマ画像だけではなく、個々の撮影画像についても、個々に算出される視差量の調整量に基づいて、立体視用画像を各々生成して、記録メディア２９へ記録する。

上記パノラマ画像生成処理ルーチンによって、記録メディア２９に格納された立体視用パノラマ画像は、再生の指示に応じて記録メディア２９から読み出され、圧縮／伸長処理部２４で非圧縮のＹＣ信号とされたのち（再生対象画像の画像データが圧縮画像データの場合）、表示制御部２８を介して液晶モニタ７に出力される。これにより、パノラマ画像が液晶モニタ７に再生され、立体視表示される。

また、個々の撮影画像が、立体視表示される場合には、個々に生成された立体視用画像が、記録メディア２９から読み出され、表示制御部２８を介して液晶モニタ７に出力される。これにより、個々の撮影画像が液晶モニタ７に再生され、立体視表示される。

以上説明したように、第１の実施の形態の複眼デジタルカメラによれば、被写体までの距離の統計値に基づいて選択された１つの画像について視差量の調整量を計算して、左右のパノラマ画像間の視差量の調整量として決定することにより、パノラマ画像の適切な視差量の調整量を計算することができる。また、被写体までの距離について、最も出現頻度の高い距離範囲に含まれる距離が計測された左画像の視差量の調整量を、全体のパノラマ画像の視差量の調整量とすることにより、違和感の少ない立体視用のパノラマ画像を得ることができる。

また、複数枚の画像や連写撮影した画像でパノラマ画像を生成するとき、一コマ目で視差を決定してしまうと、連写していく中で最初に視差を合わせた物体より手前に物体が写っていた場合に、違和感のある画像となってしまう。また、一コマ毎に視差を可変とするとコマのつながりに違和感があり、見づらい画像となる。一方、本実施の形態では、１コマ目の画像や中心の画像ではなく、画像情報の統計情報を基に、パノラマ画像の視差量の調整量を決定するので、違和感の少ない立体視用のパノラマ画像を生成することができる。

また、左右の画像各々について、一連の画像をパノラマ画像として各々合成して、立体視表示する場合に、個々の画像の、合焦位置に基づく被写体までの距離の分布において、出現頻度が一番多い距離範囲に含まれる被写体までの距離となる画像を選択し、選択された画像の視差量の調整量を、全体の視差量の調整量として決定するので、立体視した場合に違和感の少ない視差を設定できる。

なお、上記第１の実施の形態では、被写体までの距離について、最も出現頻度の高い距離範囲に含まれる距離が計測された左画像の視差量の調整量を、全体のパノラマ画像の視差量の調整量とする場合を例に説明したが、これに限定されるものではない。例えば、被写体までの距離の統計情報として、被写体までの距離の平均値を算出し、被写体間での距離が、距離の平均値に最も近い画像を選択し、選択した画像の視差量の調整量を、全体のパノラマ画像の視差量の調整量として決定するようにしてもよい。

次に、第２の実施の形態について説明する。第２の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１と同一であるため、同一符号を付して、説明を省略する。

第２の実施の形態では、被写体までの距離が最も近い画像の視差量の調整量を、パノラマ画像の視差量の調整量として採用している点が、第１の実施の形態と異なっている。

第２の実施の形態に係る複眼デジタルカメラでは、距離測定部３２によって、パノラマ撮影モードでは、単写モードの連続組み合わせ又は連写モードで撮影された一連の左画像（又は右画像）の各々について、例えば、図９に示すように、被写体までの距離を計測し、図１０に示すように、例えば０．５ｍ刻みの各距離範囲（０〜０．５ｍ、０．５ｍ〜１ｍ、・・・）の出現頻度を表わす距離テーブルカウンタに、出現頻度を格納する。

視差調整量算出部３３は、パノラマ撮影モードにおいて、距離テーブルカウンタに基づいて、被写体までの距離が、全体的に近距離に分布しているか否かを判定する。例えば、所定距離以内のカウント数の合計が、所定個以上であった場合には、全体的に近距離に分布していると判定する。視差調整量算出部３３は、全体的に近距離に分布していると判定した場合、被写体までの距離が最も近い撮影画像を、一連の撮影画像から選択する（例えば、図９のコマ番号１の撮影画像）。視差調整量算出部３３は、選択された撮影画像の、対応する左画像及び右画像について視差量の調整量を算出し、算出された視差量の調整量を、パノラマ画像を立体視表示する場合における視差量の調整量として決定する。

また、視差調整量算出部３３は、全体的に近距離に分布していないと判定した場合、被写体までの距離の平均値に最も近い撮影画像を、一連の撮影画像から選択し、選択された撮影画像の、対応する左画像及び右画像について視差量の調整量を算出し、算出された視差量の調整量を、パノラマ画像を立体視表示する場合における視差量の調整量として決定する。

図１１を参照して、第２の実施の形態の複眼デジタルカメラにおけるパノラマ画像生成処理ルーチンについて説明する。なお、第１の実施の形態のパノラマ画像生成処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。

まず、ステップ１００において、距離テーブルカウンタを初期化して、ステップ１０２で、一連の左画像（又は右画像）について、被写体領域のレンズの焦点位置を取得し、ステップ１０４で、被写体までの距離を計測すると共に、視差量を算出する。

そして、ステップ１０６において、距離テーブルカウンタにおいて、上記ステップ１０４で算出された距離を含む距離範囲のカウントを、インクリメントする。ステップ１０８では、一連の左画像の全てについて、上記ステップ１０２〜１０６の処理を行ったか否かを判定し、一連の左画像の全てについて上記の処理を行った場合には、ステップ２００へ進む。

ステップ２００では、距離テーブルカウンタのカウンタ情報から、全体的に近距離に分布しているか否かを判定し、全体的に近距離に分布していると判定された場合には、ステップ２０２において、被写体までの距離が最も近い左画像を選択する。次のステップ１１１では、選択された左画像と、対応する右画像とについて視差量の調整量を算出し、算出された視差量の調整量を、パノラマ画像における視差量の調整量として決定する。

一方、上記ステップ２００で、全体的に近距離に分布していないと判定された場合には、ステップ２０４において、被写体までの距離の平均値に最も近い左画像を選択する。次のステップ１１１では、選択された左画像と、対応する右画像とについて視差量の調整量を算出し、算出される視差量の調整量を、パノラマ画像における視差量の調整量として決定する。

そして、ステップ１１２において、一連の左画像を合成して、パノラマ画像を生成すると共に、一連の右画像を合成して、パノラマ画像を生成する。次のステップ１１４では、上記ステップ１１２で生成された２つのパノラマ画像から、上記ステップ１１１で決定された視差量の調整量に基づいて、立体視用パノラマ画像を生成して、記録メディア２９に格納して、パノラマ画像生成処理ルーチンを終了する。

以上説明したように、第２の実施の形態の複眼デジタルカメラによれば、左右の画像各々について、一連の画像をパノラマ画像として各々合成して、立体視表示する場合に、被写体との距離が一番近い画像の視差量の調整量を、全体の視差量の調整量として決定するので、立体感のあるパノラマ画像を提供することができる。

次に、第３の実施の形態について説明する。第３の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１と同一であるため、同一符号を付して説明を省略する。

第３の実施の形態では、被写体までの距離が分散している場合に、クロスポイントを視差位置とした場合の視差量の調整量を、パノラマ画像の視差量の調整量として採用している点が、第１の実施の形態と異なっている。

第３の実施の形態に係る複眼デジタルカメラでは、視差調整量算出部３３によって、パノラマ撮影モードにおいて、距離テーブルカウンタに基づいて、被写体までの距離が分散しているか否かを判定する。例えば、被写体までの距離の平均値との差が、所定値以上となる範囲のカウント数の合計が、所定個以上であった場合（例えば、図１２（Ａ）に示すように、平均値との差が、３以上となる範囲のカウント数の合計が、半数以上であった場合）には、被写体までの距離が分散していると判定する。視差調整量算出部３３は、被写体までの距離が分散していると判定した場合、クロスポイント（撮影部２１Ａ、２１Ｂのレンズの光軸方向の交差点）を視差位置とした場合の予め求められた視差量の調整量（すなわち、調整量が０）を、パノラマ画像を立体視表示する場合における視差量の調整量として決定する。

また、視差調整量算出部３３は、図１２（Ｂ）に示すように、被写体までの距離の分布が集中しており、被写体までの距離が分散していないと判定した場合、最も出現頻度が高い距離範囲に含まれる距離が計測された撮影画像を、一連の撮影画像から選択し、選択された撮影画像の、対応する左画像及び右画像について視差量の調整量を算出し、算出された視差量の調整量を、パノラマ画像を立体視表示する場合における視差量の調整量として決定する。

図１３を参照して、第３の実施の形態の複眼デジタルカメラにおけるパノラマ画像生成処理ルーチンについて説明する。なお、第１の実施の形態のパノラマ画像生成処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。

そして、ステップ１０６において、距離テーブルカウンタにおいて、上記ステップ１０４で算出された距離を含む距離範囲のカウントを、インクリメントする。ステップ１０８では、一連の左画像の全てについて、上記ステップ１０２〜１０６の処理を行ったか否かを判定し、一連の左画像の全てについて上記の処理を行った場合には、ステップ３００へ進む。

ステップ３００では、距離テーブルカウンタのカウンタ情報から、被写体までの距離が分散しているか否かを判定し、被写体までの距離が分散していないと判定された場合には、ステップ３０２において、距離テーブルカウンタのカウンタ情報から、最も出現頻度の高い距離範囲を特定し、特定された距離範囲に含まれる距離が計測された左画像を選択する。次のステップ１１１では、選択された左画像と、対応する右画像とについて視差量の調整量を算出し、算出される視差量の調整量を、パノラマ画像における視差量の調整量として決定する。

一方、上記ステップ３００で、被写体までの距離が分散していると判定された場合には、ステップ３０４において、クロスポイントを視差位置とした場合の予め求められた視差量の調整量を、パノラマ画像における視差量の調整量として決定する。

そして、ステップ１１２において、一連の左画像を合成して、パノラマ画像を生成すると共に、一連の右画像を合成して、パノラマ画像を生成する。次のステップ１１４では、上記ステップ１１２で生成された２つのパノラマ画像から、上記ステップ１１１又は３０４で決定された視差量の調整量に基づいて、立体視用パノラマ画像を生成して、記録メディア２９に格納して、パノラマ画像生成処理ルーチンを終了する。

以上説明したように、第３の実施の形態の複眼デジタルカメラによれば、一連の画像について、全体的に合焦位置が分散している場合、クロスポイントに基づいて求められる視差量の調整量を、全体のパノラマ画像の視差量の調整量として決定することで、違和感の少ない立体視用のパノラマ画像を閲覧することができる。

次に、第４の実施の形態について説明する。第４の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１と同一であるため、同一符号を付して説明を省略する。

第４の実施の形態では、距離テーブルカウンタにおいて、∞に対するカウント数が、所定値以上である場合に、パノラマ画像を平面画像のままとし、立体視用画像を生成しないようにした点が、第１の実施の形態と異なっている。

第３の実施の形態に係る複眼デジタルカメラでは、視差調整量算出部３３によって、パノラマ撮影モードにおいて、距離テーブルカウンタに基づいて、∞に対するカウント数が、所定値（例えば一連の撮影画像の枚数の半分）以上であるか否かを判定する。例えば、図１４に示すように、被写体までの距離として半数以上の画像において無限遠であると計測され、図１５に示すような距離テーブルカウンタが得られた場合に、∞に対するカウント数が、所定値以上であると判定する。視差調整量算出部３３は、被写体までの距離について、∞に対するカウント数が、所定値以上であると判定した場合、パノラマ画像を立体視表示する場合における視差量の調整量を決定せずに、パノラマ画像を平面画像のままとする。

また、視差調整量算出部３３は、被写体までの距離について、∞に対するカウント数が、所定値未満であると判定した場合、最も出現頻度が高い距離範囲に含まれる距離が計測された撮影画像を、一連の撮影画像から選択し、選択された撮影画像の、対応する左画像及び右画像について視差量の調整量を算出し、算出された視差量の調整量を、パノラマ画像を立体視表示する場合における視差量の調整量として決定する。

図１６を参照して、第４の実施の形態の複眼デジタルカメラにおけるパノラマ画像生成処理ルーチンについて説明する。なお、第１の実施の形態のパノラマ画像生成処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。

そして、ステップ１０６において、距離テーブルカウンタにおいて、上記ステップ１０４で算出された距離を含む距離範囲のカウントを、インクリメントする。ステップ１０８では、一連の左画像の全てについて、上記ステップ１０２〜１０６の処理を行ったか否かを判定し、一連の左画像の全てについて上記の処理を行った場合には、ステップ４００へ進む。

ステップ４００では、距離テーブルカウンタのカウンタ情報から、∞のカウント数が、所定値以上であるか否かを判定し、∞のカウント数が、所定値以上であると判定された場合には、ステップ４０２において、一連の左画像を合成して、パノラマ画像を生成し、平面画像として記録メディア２９に格納して、パノラマ画像生成処理ルーチンを終了する。

一方、上記ステップ４００で、∞のカウント数が、所定値未満であると判定された場合には、ステップ１１０において、最も出現頻度の高い距離範囲を特定して、特定された距離範囲に含まれる距離が計測された左画像を選択し、次のステップ１１１で、選択された左画像と対応する右画像とについて視差量の調整量を算出し、算出される視差量の調整量を、パノラマ画像における視差量の調整量として決定する。

上記パノラマ画像生成処理ルーチンによって、記録メディア２９に格納された平面画像としてのパノラマ画像は、再生の指示に応じて記録メディア２９から読み出され、表示制御部２８を介して液晶モニタ７に出力される。これにより、パノラマ画像が液晶モニタ７に再生され、平面画像のまま表示される。

以上説明したように、第４の実施の形態に係る複眼デジタルカメラによれば、パノラマ画像を生成するための一連の画像において、被写体までの距離が無限遠であると計測された画像が所定個以上ある場合に、立体視用の画像を生成せずに、パノラマ画像を平面画像として表示することにより、立体視に適さない画像の生成を抑制でき、ユーザに疲労感を与えることのないパノラマ画像を提供できる。

次に、第５の実施の形態について説明する。第１の実施の形態の複眼デジタルカメラ１と同様の構成となる部分については、同一符号を付して、説明を省略する。

第５の実施の形態では、一連の撮影画像の各々から、顔領域を抽出して、顔領域の個数を更に考慮して、パノラマ画像の視差量を決定している点が、第１の実施の形態と異なっている。

図１７に示すように、第５の実施の形態に係る複眼デジタルカメラ１は、２つの撮影部２１Ａ、２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、３次元処理部３０、視差算出部３１、距離測定部３２、視差調整量算出部３３、画像合成部３４、入力部３６、ＣＰＵ３７、及び顔情報抽出部５３５を備える。

顔情報抽出部５３５は、パノラマ撮影モードにおいて、単写モードの連続組み合わせ又は連写モードで撮影された、一連の左画像（又は右画像）の各々から、従来既知の画像認識処理により、顔を表わす領域を抽出する。また、顔情報抽出部５３５は、画像毎に、抽出された顔領域の個数をカウントし、図１８に示すような撮影画像毎に設けられた顔個数カウンタに、顔領域の個数を記録する。

視差調整量算出部３３は、パノラマ撮影モードにおいて、距離テーブルカウンタに基づいて、被写体までの距離が分散しているか否かを判定する。視差調整量算出部３３は、被写体までの距離が分散していると判定した場合、顔個数カウンタの値が、１以上であって、かつ、最小の値となる撮影画像を、一連の撮影画像から選択し、選択された撮影画像の、対応する左画像及び右画像について視差量の調整量を算出し、算出された視差量の調整量を、パノラマ画像を立体視表示する場合における視差量の調整量として決定する。

また、視差調整量算出部３３は、被写体までの距離の分布が集中しており、被写体までの距離が分散していないと判定した場合、距離テーブルカウンタの値が、無限遠に集中しているか否かを判定する。被写体までの距離について、∞に対するカウント数が、所定値以上であり、無限遠に集中していると判定した場合、パノラマ画像を立体視表示する場合における視差量の調整量を決定せずに、パノラマ画像を平面画像のままとする。一方、被写体までの距離について、∞に対するカウント数が、所定値未満であり、無限遠に集中していないと判定した場合、最も出現頻度が高い距離範囲に含まれる距離が計測された撮影画像を、一連の撮影画像から選択し、選択された撮影画像の、対応する左画像及び右画像について視差量の調整量を算出し、算出された視差量の調整量を、パノラマ画像を立体視表示する場合における視差量の調整量として決定する。

図１９を参照して、第５の実施の形態の複眼デジタルカメラにおけるパノラマ画像生成処理ルーチンについて説明する。なお、上述した実施の形態のパノラマ画像生成処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。

そして、ステップ５５０で、一連の左画像から、顔領域を抽出し、ステップ１０６において、距離テーブルカウンタにおいて、上記ステップ１０４で算出された距離を含む距離範囲のカウントを、インクリメントする。ステップ５５２では、上記ステップ５５０の抽出結果から、顔領域の個数をカウントし、当該画像に対する顔個数カウンタに、カウントした個数を記録する。

そして、ステップ１０８では、一連の左画像の全てについて、上記ステップ１０２、１０４、５５０、１０６、５５２の処理を行ったか否かを判定し、一連の左画像の全てについて上記の処理を行った場合には、ステップ３００へ進む。

ステップ３００では、距離テーブルカウンタのカウンタ情報から、被写体までの距離が分散しているか否かを判定し、被写体までの距離が分散していないと判定された場合には、ステップ４００において、距離テーブルカウンタのカウンタ情報から、∞のカウント数が、所定値以上であるか否かを判定する。∞のカウント数が、所定値以上であると判定された場合には、ステップ４０２において、一連の左画像を合成して、パノラマ画像を生成し、平面画像として記録メディア２９に格納して、パノラマ画像生成処理ルーチンを終了する。

一方、上記ステップ４００で、∞のカウント数が、所定値未満であると判定された場合には、ステップ３０２において、最も出現頻度の高い距離範囲を特定して、特定された距離範囲に含まれる距離が計測された左画像を選択し、次のステップ１１１で、選択された左画像と対応する右画像とについて視差量の調整量を算出し、算出される視差量の調整量を、パノラマ画像における視差量の調整量として決定する。

一方、上記ステップ３００で、被写体までの距離が分散していると判定された場合には、ステップ５５４において、顔個数カウンタに基づいて、顔個数が１以上であって、かつ、個数が最小となる左画像を選択し、次のステップ１１１で、選択された左画像と対応する右画像とについて視差量の調整量を算出し、算出される視差量の調整量を、パノラマ画像における視差量の調整量として決定する。

以上説明したように、第５の実施の形態に係る複眼デジタルカメラによれば、一連の画像について、全体的に合焦位置が分散している場合、写っている人物が少ない画像の視差量の調整量を、全体のパノラマ画像の視差量の調整量として決定することで、人物を際立たせ、より効果的に立体感のあるパノラマ画像を提供できる。

次に、第６の実施の形態について説明する。第６の実施の形態の複眼デジタルカメラは、第５の実施の形態の複眼デジタルカメラ１と同様の構成となるため、同一符号を付して、説明を省略する。

第６の実施の形態では、一連の撮影画像の各々から、顔領域を抽出して、顔領域の大きさを更に考慮して、パノラマ画像の視差量の調整量を決定している点が、第５の実施の形態と異なっている。

顔情報抽出部５３５は、パノラマ撮影モードにおいて、単写モードの連続組み合わせ又は連写モードで撮影された、一連の左画像（又は右画像）の各々から、顔を表わす領域を抽出する。また、顔情報抽出部５３５は、画像毎に、抽出された顔領域の個数をカウントし、図２０に示すような撮影画像毎に設けられた顔個数カウンタに、顔領域の個数を記録すると共に、画像毎に、抽出された顔領域の大きさを算出し、撮影画像毎に設けられた、各大きさ範囲の出現頻度を表わす顔サイズカウンタに、顔領域の出現頻度を記憶する。

視差調整量算出部３３は、パノラマ撮影モードにおいて、距離テーブルカウンタに基づいて、被写体までの距離が分散していると判定した場合、顔個数カウンタの値が、１以上であって、かつ、最小の値となる撮影画像を、一連の撮影画像から選択し、選択された撮影画像の、対応する左画像及び右画像について視差量の調整量を算出し、算出された視差量の調整量を、パノラマ画像を立体視表示する場合における視差量の調整量として決定する。

また、視差調整量算出部３３は、被写体までの距離が分散していないと判定し、かつ、被写体までの距離について、∞に対するカウント数が、所定値以上であると判定した場合、顔サイズカウンタに基づいて、所定の大きさ以上のサイズの顔領域が抽出された画像があるか否かを判定する。所定の大きさ以上のサイズの顔領域が抽出された画像がなかった場合には、パノラマ画像を立体視表示する場合における視差量の調整量を決定せずに、パノラマ画像を平面画像のままとする。一方、所定の大きさ以上のサイズの顔領域が抽出された画像があった場合には、該当する画像を、一連の撮影画像から選択し、選択された撮影画像の、対応する左画像及び右画像について視差量の調整量を算出し、算出された視差量の調整量を、パノラマ画像を立体視表示する場合における視差量の調整量として決定する。

また、視差調整量算出部３３は、被写体までの距離が分散していないと判定し、かつ、被写体までの距離について、∞に対するカウント数が、所定値未満であると判定した場合、最も出現頻度が高い距離範囲に含まれる距離が計測された撮影画像を、一連の撮影画像から選択し、選択された撮影画像の、対応する左画像及び右画像について視差量の調整量を算出し、算出された視差量の調整量を、パノラマ画像を立体視表示する場合における視差量の調整量として決定する。

図２１を参照して、第６の実施の形態の複眼デジタルカメラにおけるパノラマ画像生成処理ルーチンについて説明する。なお、上述した実施の形態のパノラマ画像生成処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。

まず、ステップ１００において、距離テーブルカウンタを初期化して、ステップ１０２で、一連の左画像（又は右画像）について、被写体領域のレンズの焦点位置を取得し、ステップ１０４で、被写体までの距離を計測すると共に、視差量を算出し、ステップ５５０で、一連の左画像から、顔領域を抽出する。

そして、ステップ１０６において、距離テーブルカウンタにおいて、上記ステップ１０４で算出された距離を含む距離範囲のカウントを、インクリメントする。ステップ６００では、上記ステップ５５０の抽出結果から、顔領域の個数をカウントし、当該画像に対する顔個数カウンタに、カウントした個数を記録すると共に、当該画像に対する顔サイズカウンタにおいて、各顔領域について、顔領域の大きさを算出し、算出された大きさを含む大きさ範囲のカウントを、インクリメントする。

そして、ステップ１０８では、一連の左画像の全てについて、上記ステップ１０２、１０４、５５０、１０６、６００の処理を行ったか否かを判定し、一連の左画像の全てについて上記の処理を行った場合には、ステップ３００へ進む。

ステップ３００では、距離テーブルカウンタのカウンタ情報から、被写体までの距離が分散しているか否かを判定し、被写体までの距離が分散していないと判定された場合には、ステップ４００において、距離テーブルカウンタのカウンタ情報から、∞のカウント数が、所定値以上であるか否かを判定する。∞のカウント数が、所定値以上であると判定された場合には、ステップ６０２において、撮影画像毎の顔サイズカウンタのカウンタ情報から、所定の大きさ以上の顔領域を有する撮影画像があるか否かを判定する。所定の大きさ以上の大きさ範囲で顔領域がカウントされている撮影画像がある場合には、ステップ６０４において、該当する左画像を選択し、次のステップ１１１で、選択された左画像と対応する右画像とについて視差量の調整量を算出し、算出される視差量の調整量を、パノラマ画像における視差量の調整量として決定する。

一方、上記ステップ６０２で、所定の大きさ以上の大きさ範囲でカウントされている撮影画像がないと判定された場合、ステップ４０２において、一連の左画像を合成して、パノラマ画像を生成し、平面画像として記録メディア２９に格納して、パノラマ画像生成処理ルーチンを終了する。

以上説明したように、第６の実施の形態に係る複眼デジタルカメラによれば、一連の画像について、全体的に無限遠にピントが合っている場合、人物の顔のサイズが比較的大きく撮影されている画像の視差量の調整量を、全体のパノラマ画像の視差量の調整量として決定するので、効果的な立体視用のパノラマ画像を提供できる。

なお、上記の第１の実施の形態〜第６の実施の形態では、ＡＦ処理部により決定された合焦位置から、被写体領域までの距離を計測する場合を例に説明したが、これに限定されるものではなく、撮影部２１Ａ、２１Ｂから得られる画像のステレオマッチングにより、被写体領域までの距離を計測するようにしてもよい。

また、選択された撮像画像についてのみ視差量の調整量を算出する場合を例に説明したが、これに限定されるものではなく、一連の撮像画像の各々について、視差量の調整量を算出してから、視差量の調整量の基準とする撮像画像を選択し、選択された撮像画像について算出された視差量の調整量を、パノラマ画像を立体視表示する場合における視差量の調整量として決定してもよい。

また、３群以上の一連の画像を取得して立体視表示用のパノラマ画像を生成するように構成してもよい。
また、一連の左画像を合成して、パノラマ画像を生成すると共に、一連の右画像を合成して、パノラマ画像を生成してから、算出された視差量の調整量に基づいて、立体視用パノラマ画像を生成する場合を例に説明したが、これに限定されるものではない。例えば、一連の撮像画像の各々について、対応する左画像と右画像とを、算出された視差量の調整量に基づいて調整してから、視差量が調整された一連の左画像を合成してパノラマ画像を生成すると共に、視差量が調整された一連の右画像を合成してパノラマ画像を生成し、立体視用パノラマ画像を生成するようにしてもよい。

また、上記第２〜第６の実施の形態における視差量の調整量の決定方法を組み合わせもよい。例えば、第４の実施の形態のように、無限遠の画像が所定個以上あるか否かを判定し、無限遠の画像が所定個以上ある場合には、立体視用画像を生成せずに平面画像のままとし、一方、無限遠の画像が所定個未満である場合には、第２の実施の形態のように、被写体までの距離が、全体的に近距離に分布しているかを判定し、近距離に分布している場合、最も近距離の画像の視差量の調整量に設定し、一方、近距離に分布していない場合、第３の実施の形態のように、被写体までの距離が分散しているか否かを判定し、判定結果に応じて、視差量の調整量の決定方法を切り替えるようにしてもよい。

また、上記第１〜第６の実施の形態の立体視用画像撮影処理ルーチンをプログラム化して、そのプログラムをＣＰＵにより実行するようにしてもよい。

１複眼デジタルカメラ
７液晶モニタ
２１Ａ、２１Ｂ撮影部
２２撮影制御部
２８表示制御部
３０３次元処理部
３１視差算出部
３２距離測定部
３３視差調整量算出部
３４画像合成部
５３５顔情報抽出部

Claims

立体視を行う立体視用画像を生成するために、異なる２以上の視点の各々から一連に撮影された２以上の群の一連の撮影画像を取得する取得手段と、
前記一連の撮影画像の各々について、被写体との距離を計測する距離計測手段と、
前記距離計測手段によって計測された前記距離の統計値に基づいて選択された、前記一連の撮影画像のうちの何れかの撮影画像について、他の視点から撮影され、かつ、該撮影画像と対応する撮影画像との間で調整した視差量の調整量を、前記２以上の群の各々について、前記一連の撮影画像を合成してパノラマ画像を生成したときの前記パノラマ画像間の視差量の調整量とする視差調整量計算手段と、
を含む画像処理装置。
前記視差調整量計算手段は、前記一連の撮影画像の各々について計測された前記距離の平均値に対応する撮影画像について、又は、前記一連の撮影画像の各々について計測された前記距離から得られる最も出現頻度が多い距離範囲に含まれる距離が計測された撮影画像について調整した前記視差量の調整量を、前記パノラマ画像間の視差量の調整量とする請求項１記載の画像処理装置。
前記視差調整量計算手段は、前記一連の撮影画像の各々について計測された前記距離のうちの最も近い距離が計測された撮影画像について調整した前記視差量の調整量を、前記パノラマ画像間の視差量の調整量とする請求項１記載の画像処理装置。
前記視差調整量計算手段は、前記一連の撮影画像の各々について計測された前記距離が分散している場合、予め定められた視差量の調整量を、前記２以上の群に対する前記パノラマ画像間の視差量の調整量とする請求項１記載の画像処理装置。
前記視差調整量計算手段は、前記一連の撮影画像の各々について計測された前記距離が分散していない場合、前記一連の撮影画像の各々について計測された前記距離から得られる最も出現頻度が多い距離範囲に含まれる距離が計測された撮影画像について調整した前記視差量の調整量を、前記パノラマ画像間の視差量の調整量とする請求項４記載の画像処理装置。
前記予め定められた視差量の調整量を、前記２以上の視点の各々からの光軸方向が交差する位置に基づいて定められる視差量の調整量とした請求項４又は５記載の画像処理装置。
前記一連の撮影画像の各々から、顔を表わす領域の個数又は大きさを示す顔情報を抽出する顔情報抽出手段を更に含み、
前記視差調整量計算手段は、前記距離計測手段によって計測された前記距離の統計値及び前記顔情報抽出手段によって抽出された前記顔情報に基づいて選択された、前記一連の撮影画像のうちの何れかの撮影画像について調整した前記視差量の調整量を、前記パノラマ画像間の視差量の調整量とする請求項１〜請求項６の何れか１項記載の画像処理装置。
前記視差調整量計算手段は、前記一連の撮影画像の各々について計測された前記距離が分散していない場合に、前記距離の統計値に基づいて前記一連の撮影画像のうちの何れかの撮影画像を選択し、前記距離が分散している場合に、前記顔情報に基づいて前記一連の撮影画像のうちの何れかの撮影画像を選択し、前記選択された撮影画像について調整した前記視差量の調整量を、前記パノラマ画像間の視差量の調整量とする請求項７記載の画像処理装置。
前記視差調整量計算手段は、前記距離が分散している場合に、前記顔を表わす領域が１個以上である撮影画像のうち、顔を表わす領域の個数が最も少ない撮影画像を選択し、前記選択された撮影画像について調整した前記視差量の調整量を、前記パノラマ画像間の視差量の調整量とする請求項８記載の画像処理装置。
前記視差調整量計算手段は、前記距離が分散していないとき、前記一連の撮影画像の各々について計測された前記距離のうち、所定個以上の距離が、無限遠である場合に、顔を表わす領域の大きさが所定値以上となる撮影画像を選択し、無限遠となる前記距離の個数が所定個未満である場合に、前記一連の撮影画像の各々について計測された前記距離から得られる最も出現頻度が多い距離範囲に含まれる距離が計測された撮影画像を選択し、前記選択された撮影画像について調整した前記視差量の調整量を、前記パノラマ画像間の視差量の調整量とする請求項８又は９記載の画像処理装置。
前記視差調整量計算手段は、前記選択された撮影画像の被写体領域における視差量が０となるように調整したときの前記視差量の調整量を算出し、前記算出した前記視差量の調整量を、前記パノラマ画像間の視差量の調整量とする請求項１〜請求項１０の何れか１項記載の画像処理装置。
前記視差調整量計算手段によって計算された視差量の調整量に基づいて、前記２以上の群に対する前記パノラマ画像を立体視表示する表示手段を更に含む請求項１〜請求項１１の何れか１項記載の画像処理装置。
前記表示手段は、前記一連の撮影画像の各々について計測された前記距離のうち、所定個以上の距離が、無限遠である場合、前記パノラマ画像を平面画像として表示する請求項１２記載の画像処理装置。
前記表示手段は、前記一連の撮影画像の各々を立体視表示する場合には、他の視点から撮影され、かつ、該撮影画像と対応する撮影画像との間の視差量の調整量に基づいて、該撮影画像を立体視表示する請求項１２又は１３記載の画像処理装置。
請求項１〜請求項１４の何れか１項記載の画像処理装置と、
異なる２以上の視点の各々から複数の画像を撮影する撮影手段と、
を含む複眼デジタルカメラ。
コンピュータを、
立体視を行う立体視用画像を生成するために、異なる２以上の視点の各々から一連に撮影された２以上の群の一連の撮影画像を取得する取得手段、
前記一連の撮影画像の各々について、被写体との距離を計測する距離計測手段、及び
前記距離計測手段によって計測された前記距離の統計値に基づいて選択された、前記一連の撮影画像のうちの何れかの撮影画像について、他の視点から撮影され、かつ、該撮影画像と対応する撮影画像との間で調整した視差量を、前記２以上の群の各々について、前記一連の撮影画像を合成してパノラマ画像を生成したときの前記パノラマ画像間の視差量の調整量とする視差調整量計算手段
として機能させるためのプログラム。