JP2011082757A - 表示モード判定装置及び方法、並びに撮像装置及び方法 - Google Patents

Abstract

【課題】画像データが、３次元表示及び２次元表示のいずれに適正であるかを判定する。
【解決手段】デジタルカメラは、異なる視点から被写体を同時に撮影する。撮影は、ストロボ撮影、非ストロボ撮影の順に行う。各撮影により視差を有する画像を２組作成する。１組の画像から、主要被写体の視差量ΔＰ１及び背景の視差量ΔＰ２を算出する。視差量差ΔＸ（＝｜ΔＰ１−ΔＰ２｜）が閾値ＴＨ１未満である場合には、ストロボ撮影及び非ストロボ撮影で得られた画像の差分をとり、被写体の影を構成する影画素数ＳＳを算出する。影画素数ＳＳが閾値ＴＨ２以上である場合には、当該画像データは３次元表示モードに適していると判定する。影画素数ＳＳが閾値ＴＨ２未満である場合には、当該画像データは２次元表示モードに適していると判定する。
【選択図】図５

Description

本発明は、３次元画像を作成するために異なる視点から撮影した複数の画像を取り扱う装置及び方法、更に詳しくは、複数の画像が３次元表示モードに適するか否かを判定する表示モード判定装置及び方法、並びにこれらを有する撮像装置及び方法に関する。

２つの撮影部によって異なる視点から同時に被写体を撮影し、立体視が可能な２つの２次元画像を作成する３次元デジタルカメラが知られている（例えば、非特許文献１参照）。３次元デジタルカメラによって作成された２つの２次元画像は視差を有する。

デジタルフォトフレームや３次元デジタルカメラに設けられたＬＣＤパネルなどの表示装置は、観察者の左右の目により別々に観察されるように、２つの２次元画像をそれぞれ表示する（以下、３次元表示モードと称する）。この３次元表示モードにより、立体視が可能となる。更に、この表示装置は、３次元デジタルカメラにより撮影された２つの２次元画像のうちいずれか一方のみを表示すれば、従来の２次元画像として表示させる（以下、２次元表示モードと称する）ことも可能である。

３次元デジタルカメラ（http://fujifilm.jp/personal/3d/camera/finepixreal3dw1/index.html）

上述した表示装置には、その画像に適した表示モードで表示する機能が求められている。こうした要望に応えるため、３次元デジタルカメラにより得られた撮影画像が３次元表示モードに適しているか否かを判定する方法（以下、表示モード判定方法と称する）の開発が進められている。

３次元表示モードの適性の指標として、遠近差が用いられる。具体的には、被写体ごとの遠近差、または、主要被写体及び背景の遠近差が大きくなるに従い、３次元表示モードの適性は高くなる。一方、被写体ごとの遠近差、または、主要被写体及び背景の遠近差が小さくなるに従い、３次元表示モードの適性は低くなる。そして、ステレオマッチング法によって得られた各視差量の差を、各遠近差とすることで、画像の３次元表示モードの適性を容易に判定することができる。

しかしながら、スタジオ撮影のように、背景が無地の場合には、背景の視差量は小さい値となってしまう。この結果、算出された視差量の差は、主要被写体及び背景における実質上の遠近差を反映しているものとはいえない。

また、マクロ撮影の場合には、主要被写体にピントをあわせることにより、背景のピントが合わなくなる。この結果得られる視差量の差が、主要被写体及び背景における実質上の遠近差よりも小さくなる場合がある。

このように、ステレオマッチング法により得られた視差量の差のみを指標として、表示モード判定方法を行うことに限界がある。

本発明はこのような課題を解決するものであり、それぞれの画像に適した表示モードを判定する表示モード判定装置及び方法、並びに、この表示モード判定装置及び方法を有する撮像装置及び方法を提供することを目的とする。

本発明の表示モード判定装置は、被写体を異なる視点から同時に撮影して得られた複数の画像データに基づいて、第１の被写体についての第１の視差量及び第２の被写体についての第２の視差量を算出する視差量算出手段と、前記第１の視差量及び前記第２の視差量の差が第１の閾値以上である場合には、前記複数の画像データを３次元表示の適正ありと判定し、前記視差量の差が前記第１の閾値未満である場合には、前記複数の画像データの判定を保留にする第１の表示モード判定手段と、前記視差量の差が前記第１の閾値未満である場合には、前記画像データを成す画素のうち前記被写体の影を成す画素の数を算出する影画素数算出手段と、前記算出された影の画素の数が第２の閾値以上の場合には、前記複数の画像データを３次元表示の適正ありと判定し、前記算出された影の画素の数が前記第２の閾値未満の場合には、前記複数の画像データを３次元表示の適正なしと判定する第２の表示モード判定手段とを有することを特徴とする。

前記影画素数算出手段は、前記被写体へ光を照射していないときの前記画像データを基準とした場合の、前記被写体へ光を照射したときの前記画像データのコントラスト差を画素ごとに算出し、前記コントラスト差が０未満である画素の総数を前記影の画素の数とすることが好ましい。また、３次元表示の適正ありと判定された前記複数の画像データに３次元表示用識別子を付与し、前記表示モード判定装置により３次元表示の適正なしと判定された前記複数の画像データに２次元表示用識別子を付与する識別子付与手段を有することが好ましい。更に、前記３次元表示用識別子を含む前記複数の画像データを３次元画像として表示し、前記２次元表示用識別子を含む前記複数の画像データを２次元画像として表示する表示装置を有することが好ましい。

前記複数の画像データに前記３次元表示用識別子が付与されている場合には、前記複数の画像データを記憶し、前記複数の画像データに前記２次元表示用識別子が付与されている場合には、前記複数の画像データのうち少なくともいずれか一方を記憶する記録手段を有することが好ましい。また、前記記録手段は、前記複数の画像データに前記２次元表示用識別子が付与されている場合にも、前記複数の画像データの両方を記憶することが好ましい。

本発明の撮影装置は、前記被写体の画像を結像する複数の光学系がデジタルカメラ本体に露呈するように設けられ、前記結合した前記画像を画像データとして取り込む撮像素子、及び上記の表示モード判定装置が前記デジタルカメラ本体に内蔵され、前記被写体へ前記光を放つ発光装置は第１の光学系とにより第２の光学系を挟む位置に配されたことを特徴とする。

本発明の表示モード判定方法は、被写体を異なる視点から同時に撮影して得られた複数の画像データに基づいて、第１の被写体についての第１の視差量及び第２の被写体についての第２の視差量を算出する視差量算出ステップと、前記第１の視差量及び前記第２の視差量の差が第１の閾値以上である場合には、前記複数の画像データを３次元表示の適正ありと判定し、前記視差量の差が前記第１の閾値未満である場合には、前記複数の画像データの判定を保留にする第１の表示モード判定ステップと、前記視差量の差が前記第１の閾値未満である場合には、前記画像データを成す画素のうち前記被写体の影を成す画素の数を算出する影画素数算出ステップと、前記算出された影の画素の数が第２の閾値以上の場合には、前記複数の画像データを３次元表示の適正ありと判定し、前記算出された影の画素の数が前記第２の閾値未満の場合には、前記複数の画像データを３次元表示の適正なしと判定する第２の表示モード判定ステップとを有することを特徴とする。

本発明の撮影方法は、上記の表示モード判定方法と、光が照射された前記被写体を異なる視点から同時に撮影して照射画像データを生成する照射撮影ステップと、前記光の照射を終えた後の前記被写体を異なる視点から同時に撮影して非照射画像データを生成する非照射撮影ステップとを有し、前記照射撮影ステップ及び前記非照射撮影ステップは前記影画素数算出ステップの前に行われ、前記影画素数算出ステップでは、前記非照射画像データを基準とした場合の前記照射画像データのコントラスト差を画素ごとに算出するコントラスト差算出ステップと、前記コントラスト差が０未満である画素の数を前記影の画素の数とする画素数ステップとを行うことを特徴とする。

本発明によれば、各被写体の視差量の差のみならず、被写体の影の大きさに基づいて、当該画像データの３次元表示モードの適性を評価するため、高精度で評価することができる。

前面側からみたときのデジタルカメラの斜視図である。 背面側からみたときのデジタルカメラの斜視図である。 デジタルカメラの構成を示すブロック図である。 表示モード判定部の構成を示すブロック図である。 デジタルカメラによる第１の撮影手順を示すフローチャートである。 第１撮像部のストロボ撮影により得られた画像の概要を示す説明図である。 第２撮像部のストロボ撮影により得られた画像の概要を示す説明図である。 第１撮像部の非ストロボ撮影により得られた画像の概要を示す説明図である。 第２撮像部の非ストロボ撮影により得られた画像の概要を示す説明図である。 ストロボ撮影の画像と非ストロボ撮影の画像との差分画像の概要を示す説明図である。 差分画像を構成する画素のコントラストのヒストグラムを示す説明図である。 画像データの表示手順を示すフローチャートである。 デジタルカメラによる第２の撮影手順を示すフローチャートである。

図１に示すように、本発明のデジタルカメラ１１は、水平方向において離れて配置された第１撮影部１２Ｌ及び第２撮影部１２Ｒによって同一の被写体を異なる視点から同時に撮像し、視差を有する２つの画像を作成するものである。デジタルカメラ本体１１ａの前面には、第１撮影部１２Ｌ、第２撮影部１２Ｒ及びストロボ１３が設けられる。

第１撮影部１２Ｌは、被写体の画像を結像する光学系１４Ｒと、結像した画像から画像データを得る撮像素子（後述する）と、各種制御部（後述する）を有する。同様に、第２撮影部１２Ｒは、光学系１４Ｌと撮像素子と各種制御部を有する。光学系１４Ｒ、１４Ｌは、デジタルカメラ本体１１ａの前面に露呈して設けられる。撮像素子及び各種制御部は、デジタルカメラ本体１１ａに内蔵される。ストロボ１３は、光学系１４Ｌとにより、光学系１４Ｒを挟む位置に設けられる。なお、ストロボ１３は、光学系１４Ｌ及び光学系１４Ｒのうち少なくとも一方よりも上方に設けられることが好ましく、光学系１４Ｌ及び光学系１４Ｒの両者よりも上方に設けられることが更に好ましい。

図２に示すように、デジタルカメラ本体１１ａの背面には、撮影時にはビューファインダとして、撮影後には画像表示用のモニタとして用いられるＬＣＤパネル２０と、デジタルカメラ１１の各種操作に用いられる操作ボタン２１、２２とが設けられる。デジタルカメラ本体１１ａの上面には、電源／モードスイッチ２７と、レリーズボタン２８とが設けられている。デジタルカメラ１１の一方の側面には、画像データ記録用のメモリカード２９が装填されるカードスロット３０が設けられている。

電源／モードスイッチ２７は、デジタルカメラ１１の電源のオン／オフの切り替え、及びデジタルカメラ１１の動作モード（再生モード及び撮影モード）を切り換える。電源／モードスイッチ２７がオンになると、デジタルカメラ１１の各部への電力の供給が開始され、所定の撮影モードの選択が可能になる。デジタルカメラ１１の各種の動作が開始される。また、電源／モードスイッチ２７がオフになると、デジタルカメラ１１の各部への電力の供給が停止される。

電源／モードスイッチ２７の操作により、デジタルカメラ１１の撮影モードを切り替えることができる。電源／モードスイッチ２７の操作により設定される撮影モードとしては、例えば、２次元の静止画を撮影する２次元静止画撮影モード、３次元の静止画を撮影する３次元静止画撮影モード等がある。

レリーズボタン２８は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。レリーズボタン２８が半押しされると、撮影準備処理（例えば、ＡＥ（Automatic Exposure：自動露出）処理、ＡＦ（Auto Focus：自動焦点合わせ）処理、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）処理）が行われる。また、レリーズボタン２８が全押しされると、静止画の撮影・記録処理が行われる。

操作ボタン２１、２２の操作により、ストロボ発光モードがオンの状態及びオフの状態を切り替えることができる。ストロボ発光モードがオンの状態で、レリーズボタン２８が全押しされると、ストロボ１３は発光する。一方、ストロボ発光モードがオフの状態で、レリーズボタン２８が全押しされても、ストロボ１３は発光しない。

ＬＣＤパネル２０は、パララックスバリア式、あるいはレンチキュラーレンズ式の３次元モニタであり、撮影時及び再生時には第１撮影部１２Ｌ及び第２撮影部１２Ｒにより作成された２つの２次元画像を用いて、３次元表示モード及び２次元表示モードから選択された表示モードに基づく画像を表示する。

図３に示すように、デジタルカメラ１１は、第１撮影部１２Ｌや第２撮影部１２Ｒ、操作部３１の他、メインＣＰＵ（以下、ＣＰＵと称する）３５等を有する。操作部３１は、ユーザが各種の操作入力を行うための手段であり、上述した電源／モードスイッチ２７、レリーズボタン２８、及び操作ボタン２１、２２等を含んでいる。

メインＣＰＵ（以下、ＣＰＵと称する）３５は、操作部３１からの入力に基づき所定の制御プログラムに従ってデジタルカメラ１１全体の動作を統括制御する。ＣＰＵ３５には、システムバス３６を介してＲＯＭ３７、ＥＥＰＲＯＭ３８及びワークメモリ３９が接続されている。ＲＯＭ３７には、ＣＰＵ３５が実行する制御プログラム及び制御に必要な各種データ等が格納される。ＥＥＰＲＯＭ３８には、ユーザ設定情報等のデジタルカメラ１１の動作に関する各種設定情報等が格納される。ワークメモリ３９は、ＣＰＵ３５の演算作業用領域及び画像データの一時記憶領域を含んでいる。

撮影モードとして２次元静止画撮影モードが設定されると、撮影モード管理フラグ４５に、２次元静止画撮影モードであることを示すフラグが設定される。また、撮影モードとして３次元静止画撮影モードが設定されると、撮影モード管理フラグ４５に、３次元静止画撮影モードであることを示すフラグが設定される。ＣＰＵ３５は、撮影モード管理フラグ４５を参照して、設定されている撮影モードを判別する。

次に、第１撮影部１２Ｌ及び第２撮影部１２Ｒの詳細について説明する。なお、図３では、各撮影部１２Ｌ及び１２Ｒ内の各部にそれぞれ符号Ｌ及びＲを付して区別しているが、各部の機能は略同様であるため、以下の説明では、符号Ｌ及びＲを省略して説明する。

撮影部１２は、光学系１４と、撮像素子５０と、その他各部品とを有する。光学系１４は、ズームレンズ、フォーカスレンズ及び絞りを備える。ズームレンズ及びフォーカスレンズは、各撮影部の光軸（図中のＬＬ及びＬＲ）に沿って前後に移動する。ＣＰＵ３５は、測距制御部５２を介して不図示のズームアクチュエータの駆動を制御することにより、ズームレンズの位置やフォーカスレンズの位置を制御する。ズームレンズの位置の制御によりズーミングが可能となり、フォーカスレンズの位置の制御によりフォーカシングが可能となる。また、ＣＰＵ３５は、測距制御部５２を介して絞り制御５３を駆動することにより、絞りの開口量（絞り値）を制御し、撮像素子５０への入射光量を制御する。

３次元静止画撮影モードで撮影する場合、ＣＰＵ３５は、各撮影部１２Ｌ及び１２Ｒの光学系１４Ｌ及び１４Ｒを同期させて駆動する。光学系１４Ｌ及び１４Ｒは、常に同じ焦点距離（ズーム倍率）及び同じ入射光量（絞り値）となるように調整される。更に、３次元静止画撮影モード時には、常に主要被写体にピントが合うように焦点調節が行われる。

ストロボ１３は、例えば、放電管（キセノン管）により構成され、暗い被写体を撮影する場合や逆光時等に必要に応じて発光される。充電／発光制御部５７は、ストロボ１３を発光させるための電流を供給するためのメインコンデンサを含んでいる。ＣＰＵ３５は、充電／発光制御部５７にフラッシュ発光指令を送信して、メインコンデンサの充電制御、ストロボ１３の放電（発光）のタイミング及び放電時間の制御等を行う。なお、ストロボ１３としては、発光ダイオードを用いてもよい。

撮影部１２は、被写体に光を照射するための距離用発光素子６１（例えば、発光ダイオード）と、上記距離用発光素子６１により光が照射された被写体の画像（測距用画像）を撮影する距離用撮像素子６２とを備えている。距離用駆動／制御回路６３は、ＣＰＵ３５からの指令に基づいて、所定のタイミングで距離用発光素子６１を発光させるとともに、距離用撮像素子６２を制御して測距用画像を撮影させる。

距離用撮像素子６２によって撮影された測距用画像は、Ａ／Ｄ変換器６６によりデジタルデータに変換されて、距離情報処理回路６７に入力される。距離情報処理回路６７は、距離用撮像素子６２から取得した測距用画像を用いて、いわゆる三角測距の原理に基づいて、撮影部１２Ｌ及び１２Ｒによって撮影された主要被写体とデジタルカメラ１１との間の距離（被写体距離）を算出する。距離情報処理回路６７によって算出された被写体距離は、距離情報記録回路６８に記録される。

なお、被写体距離の算出方法としては、距離用発光素子６１が発光してから、距離用発光素子６１によって照射された光が主要被写体によって反射され、距離用撮像素子６２に届くまでの光の飛行時間（遅れ時間）と光の速度から被写体距離を算出するＴＯＦ（Time of Flight）法を用いてもよい。

また、撮影部１５は、間隔／輻輳角駆動回路７１及び間隔／輻輳角検出回路７２を備えている。間隔／輻輳角駆動回路７１Ｌ及び７１Ｒは、それぞれ光学系１４Ｌと１４Ｒを駆動する。ＣＰＵ３５は、間隔／輻輳角制御回路７３を介して間隔／輻輳角駆動回路７１Ｌ及び７１Ｒを動作させて、光学系１４Ｌと１４Ｒとの間隔及び輻輳角を調整する。

間隔／輻輳角検出回路７２Ｌ及び７２Ｒは、例えば、電波を送受信する手段を含んでいる。ＣＰＵ３５は、間隔／輻輳角制御回路７３を介して間隔／輻輳角検出回路７２Ｌ及び７２Ｒを動作させて、電波を相互に送受信させることにより、光学系１４Ｌと１４Ｒとの間隔及び輻輳角を測定する。光学系１４Ｌと１４Ｒとの間隔及び輻輳角の測定結果は、レンズ間隔・輻輳角記憶回路７４に記憶される。

撮像素子５０は、例えば、ＣＣＤにより構成されている。撮像素子５０の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列で３原色（Ｒ、Ｇ、Ｂ）のカラーフィルタが配置されている。光学系１４によって撮像素子５０の受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ３５の指令に従ってＴＧ７７から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（Ｒ、Ｇ、Ｂ信号）として撮像素子５０から順次読み出される。撮像素子５０は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。なお、撮像素子５０としては、ＣＭＯＳセンサ等のＣＣＤ以外の撮像素子を用いることもできる。

アナログ信号処理部８０は、撮像素子５０から出力されたＲ、Ｇ、Ｂ信号に含まれるリセットノイズ（低周波）を除去するための相関２重サンプリング回路（ＣＤＳ）、Ｒ、Ｇ、Ｂ信号を増幅して一定レベルの大きさにコントロールするためのＡＧＳ回路を含んでいる。撮像素子５０から出力されるアナログのＲ、Ｇ、Ｂ信号は、アナログ信号処理部８０によって相関２重サンプリング処理されるとともに増幅される。アナログ信号処理部８０から出力されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器８１によってデジタルのＲ、Ｇ、Ｂ信号に変換されて、画像入力コントローラ（バッファメモリ）８２に入力される。

デジタル信号処理部８５は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス調整回路、階調変換処理回路（ガンマ補正回路）、輪郭補正回路、輝度・色差信号生成回路等を含んでいる。画像入力コントローラ８２に入力されたデジタルのＲ、Ｇ、Ｂ信号は、デジタル信号処理部８５によって、同時化処理、ホワイトバランス調整、階調変換及び輪郭補正等の所定の処理が施されるとともに、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹ／Ｃ信号に変換される。Ｙ／Ｃ信号は、ワークメモリ３９に記憶される。

スルー画をＬＣＤパネル２０に表示する場合、デジタル信号処理部８５において生成されたＹ／Ｃ信号がバッファメモリ８８に順次供給される。表示コントローラ８９は、バッファメモリ８８に供給されたＹ／Ｃ信号を読み出してＹＣ−ＲＧＢ変換部９０に出力する。ＹＣ−ＲＧＢ変換部９０は、表示コントローラ８９から入力されたＹ／Ｃ信号をＲ、Ｇ、Ｂ信号に変換してドライバ９１を介してＬＣＤパネル２０に出力する。これにより、ＬＣＤパネル２０にスルー画が表示される。

再生モード時には、メモリカード２９に記録されている最終の画像データ（最後に記録された画像データ）が、メモリコントローラ９４によりインターフェース部（Ｉ／Ｆ）９５を介してバッファメモリ９６に読み出され、圧縮・伸張処理部９７によって非圧縮のＹ／Ｃ信号に伸張された後、バッファメモリ８８に入力される。表示コントローラ８９は、バッファメモリ８８に供給されたＹ／Ｃ信号、及び当該画像データに含まれる表示モード識別子を読み出し、表示モード識別子に応じた表示モードに従ってＹＣ−ＲＧＢ変換部９０に出力する。ＹＣ−ＲＧＢ変換部９０は、表示コントローラ８９から入力されたＹ／Ｃ信号をＲ、Ｇ、Ｂ信号に変換してドライバ９１を介してＬＣＤパネル２０に出力する。これにより、メモリカード２９に記録されている画像データがＬＣＤパネル２０に表示される。

表示モード判定部１００は、システムバス３６を介して、ＣＰＵ３５等と接続する。図４に示すように、表示モード判定部１００は、３次元静止画撮影モードにより得られた複数の画像データが、３次元表示に適しているか否かを判定するものであり、視差量算出回路１０２と、第１判定回路１０３と、差分回路１０５と、影画素数算出回路１０６と、第２判定回路１０７とを有する。視差量算出回路１０２は、３次元静止画撮影モードにより得られた複数の画像について視差量を被写体ごとに算出する。第１判定回路１０３は得られた各視差量の差を算出する。更に、第１判定回路１０３は、得られた視差量の差が第１閾値ＴＨ１以上であるか否かを判定する。差分回路１０５は、複数の画像間のコントラスト差ΔＣを画素毎に算出する。影画素数算出回路１０６は、コントラスト差ΔＣが０未満の画素数（以下、影画素数と称する）を算出する。第２判定回路１０７は、得られた影画素数が第２閾値ＴＨ２以上であるか否かを判定する。

ＣＰＵ３５は、表示モード判定部１００による判定結果に応じて、当該画像データに所定の識別子を付与する。第１判定回路１０３により視差量が第１閾値ＴＨ１以上であると判定された場合、または第２判定回路１０７により視差量が第２閾値ＴＨ１以上であると判定された場合、ＣＰＵ３５は、当該画像データに３次元表示用識別子を付与する。一方、第１判定回路１０３により視差量が第１閾値ＴＨ１未満であると判定され、かつ、第２判定回路１０７により視差量が第２閾値ＴＨ２未満であると判定された場合、ＣＰＵ３５は、当該画像データに２次元表示用識別子を付与する。

次に、画像の撮影及び記録処理について説明する。２次元静止画撮影モード時には、所定の１つの撮影部（例えば、１２Ｌ）により記録用の画像が撮影される。２次元静止画撮影モード時に、撮影部１２Ｌによって撮影された画像は、圧縮・伸張処理部９７Ｌによって圧縮される。この圧縮画像データは、メモリコントローラ９４及びＩ／Ｆ９５を介して、所定形式の画像データとしてメモリカード２９に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）、動画についてはＭＰＥＧ２又はＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮画像データとして記録される。

次に、３次元静止画撮影モードでの画像の撮影及び記録処理について説明する。図５に示すように、レリーズボタン２８が全押しされる（Ｓ１０）と、撮影準備処理（Ｓ１２）、ストロボ撮影（Ｓ１４）、及び非ストロボ撮影（Ｓ１６）が順次行われる。なお、非ストロボ撮影の後にストロボ撮影を行ってもよいが、赤目防止の点から、ストロボ撮影の後に非ストロボ撮影を行ったほうが好ましい。

撮影準備処理（Ｓ１２）では、ズーミング、フォーカシング、撮像素子５０への入射光量の調節、ＡＥ処理及びＡＷＢ処理等を行う。

ストロボ撮影（Ｓ１４）では、ストロボ１３が発光した状態で、撮影部１２Ｌ及び１２Ｒによる撮影が同時に行われる。各撮影部１２Ｌ及び１２Ｒによって撮影された２つのストロボＯＮ画像１２０Ｌ（図６参照）、１２０Ｒ（図７参照）は、デジタル信号処理部８５による各種画像処理を経てワークメモリ３９に書き込まれる。

非ストロボ撮影（Ｓ１６）では、ストロボ１３が発光しない状態で、撮影部１２Ｌ及び１２Ｒによる撮影が同時に行われる。各撮影部１２Ｌ及び１２Ｒによって撮影された２つのストロボＯＦＦ画像１２１Ｌ（図８参照）、１２１Ｒ（図９参照）は、デジタル信号処理部８５による各種画像処理を経てワークメモリ３９に書き込まれる。

非ストロボ撮影（Ｓ１６）の後に、視差量算出回路１０２（図４参照）は、ストロボＯＦＦ画像１２１Ｌ及び１２１Ｒの視差量を算出する視差量算出処理を行う（Ｓ１８）。

視差量算出処理（Ｓ１８）では、まず、ステレオマッチング等の手法を用いて画像１２１Ｌ、１２１Ｒ間の相互に対応する対応点を抽出する。次に、画像１２１Ｌ及び１２１Ｒのいずれか一方を基準画像とし、他方を探索画像と規定する。第３に、基準画像内からエッジ等の特徴点を複数抽出し、基準画像を複数の領域（ブロック）に分割する。第４に、分割した領域をテンプレート画像として、探索画像の中からテンプレート画像に対応する領域を探索する。この対応領域の探索には、画素値の差の２乗和を求めるＳＳＤ（Sum of Squared Difference）、画素値の差の絶対値の総和を求めるＳＡＤ（Sum of Absolute Difference）等を用いることができる。第５に、見つかった探索領域内から基準画像の特徴点に対応する対応点を抽出する。第６に、特徴点と対応点との座標から視差量を算出することができる。

図８及び図９には、画像１２１Ｌを基準画像、画像１２１Ｒを探索画像として特徴点及び対応点を抽出した例を示しており、基準画像１２１Ｌの特徴点Ｐ＿Ｌ（ｘＬ，ｙ）に対し、探索画像１２１Ｒの対応点Ｐ＿Ｒ（ｘＲ，ｙ）が抽出されている。視差量測定回路１００は、特徴点Ｐ＿Ｌ（ｘＬ，ｙ）と対応点Ｐ＿Ｒ（ｘＲ，ｙ）との間の距離、例えば「ｘＬ−ｘＲ」の絶対値を視差量ΔＰとして算出する。なお、図８及び９では、図面の煩雑化を避けるため、特徴点及び対応点を１点ずつしか図示していないが、実際には多数の特徴点及び対応点が抽出され、各点の間の視差量が算出される。こうして、視差量算出処理（Ｓ１８）により、主要被写体Ｏｂの視差量ΔＰ１及び背景Ｂｇの視差量ΔＰ２が得られる。

まず、第１判定回路１０３は、視差量差ΔＸ（＝｜ΔＰ１−ΔＰ２｜）を算出する（Ｓ２０）。次に、第１判定回路１０３は、視差量差ΔＸが第１閾値ＴＨ１以上であるか否かを判定する第１判定処理を行う（Ｓ２２）。第１閾値ＴＨ１は、予めＲＯＭ３７に格納されている。視差量差ΔＸが第１閾値ＴＨ１以上である場合には、ＣＰＵ３５が画像１２１Ｌ、１２１Ｒに３次元表示用識別子を付与する（Ｓ２４）。その後、画像１２１Ｌ、１２１Ｒは、３次元表示用識別子とともに、メモリカード２９へ画像データとして記録される（Ｓ２６）。

ＲＯＭ３７に格納する第１閾値ＴＨ１は、１個のみならず、２個以上であってもよい。ＲＯＭ３７に格納する第１閾値ＴＨ１が複数の場合には、選択された第１閾値ＴＨ１に基づいて、第１判定処理が行われる。複数の第１閾値ＴＨ１のうちから一の第１閾値ＴＨ１を選択する操作は、操作部３１により可能である。したがって、操作部３１の操作により、所望の第１閾値ＴＨ１に基づいて、第１判定処理を行うことができる。

第１判定処理（Ｓ２２）において、視差量差ΔＸが第１閾値ＴＨ１未満であると判定された場合には、差分回路１０５は、画像１２０Ｒ及び１２１Ｒの間のコントラスト差ΔＣを画素毎に算出するコントラスト差算出処理を行う（Ｓ３０）。コントラスト差ΔＣは、画像１２１Ｒを構成する画素のうち座標（ｉ，ｊ）にある画素Ｇ１２１（図９参照）のコントラストＣ１と画像１２０Ｒを構成する画素のうち座標（ｉ，ｊ）にある画素Ｇ１２０（図７参照）のコントラストＣ０との差（Ｃ１−Ｃ０）である。各画素のコントラスト差ΔＣを当該画素の対応位置に並べると、図１０に示すような差分画像ΔＲが得られる。

次に、影画素数算出回路１０６は、影画素数ＳＳを算出する影画素数算出処理（Ｓ３２）を行う。図１１に示すように、影画素数ＳＳは、差分画像ΔＲを構成する画素のうち、コントラスト差ΔＣが０未満の画素の総数である。コントラスト差ΔＣが０未満の画素の数を算出することにより、ストロボ撮影に起因する影画素数ＳＳを算出することができる。

第２判定回路１０７は、得られた影画素数ＳＳが第２閾値ＴＨ２以上であるか否かを判定する第２判定処理を行う（Ｓ３４）。第２閾値ＴＨ２は、予めＲＯＭ３７に格納されている。影画素数ＳＳが第２閾値ＴＨ２以上である場合には、画像１２１Ｌ、１２１Ｒには３次元表示用識別子が付与される（Ｓ２２）。一方、影画素数ＳＳが第２閾値ＴＨ２未満である場合には、画像１２１Ｌ、１２１Ｒには２次元表示用識別子が付与される（Ｓ３６）。その後、画像１２１Ｌ、１２１Ｒは、付与された識別子とともに、メモリカード２９へ画像データとして記録される（Ｓ２６）。

ＲＯＭ３７に格納する第２閾値ＴＨ２は、１個のみならず、２個以上であってもよい。ＲＯＭ３７に格納する第２閾値ＴＨ２が複数の場合には、選択された第２閾値ＴＨ２に基づいて、第２判定処理が行われる。複数の第２閾値ＴＨ２のうちから一の第２閾値ＴＨ２を選択する操作は、操作部３１により可能である。したがって、操作部３１の操作により、所望の第２閾値ＴＨ２に基づいて、第２判定処理を行うことができる。

次に、画像データをＬＣＤパネル２０に表示する場合のフローを説明する。図１２に示すように、まず、メモリカード２９に記録されている画像データを読む（Ｓ４０）。ＣＰＵ３５は、画像データに付与される識別子が、３次元表示用識別子であるか否かを判定する（Ｓ４２）。画像データに付与される識別子が３次元表示用識別子である場合には、表示コントローラ８９は、３次元表示モードで当該画像をＬＣＤパネル２０に表示する（Ｓ４４）。一方、画像データに付与される識別子が２次元表示用識別子である場合には、表示コントローラ８９は、２次元表示モードで当該画像をＬＣＤパネル２０に表示する（Ｓ５０）。次の画像データを読み込む場合にはＳ４０へ戻る（Ｓ４６）。一方、次の画像データを読み込まない場合にはフローは終了する（Ｓ４６）。

本発明は、画像データに含まれる被写体の影の大きさに基づいて当該画像データの３次元表示モードの適性を判定するため、視差量の差のみによる方法に比べ高精度で、３次元表示モードの適性を判定することができる。例えば、スタジオ撮影のように背景が無地の場合であっても、本発明によれば、被写体の影の大きさにより被写体と背景との遠近差を評価することが可能となる結果、３次元表示モードの適性の判定を高精度で行うことができる。また、画像全体において被写体が占める割合が大きい場合には、迫力が出る点で３次元表示モードのほうが好ましいが、本発明によれば、このような場合にも３次元表示モードの適性の判定を高精度で行うことができる。

また、本発明は、この判定結果に基づいた識別子を画像データに付与するため、当該画像データを再生するときに、３次元表示に適する画像データを３次元で表示し、２次元表示に適する画像データを２次元で表示することができる。したがって、本発明によれば、画像の特性に応じて、３次元表示及び２次元表示を自動で切り替えることが可能になる。

３次元表示用識別子が付与された２つの画像データを個別に保存してよいし、１つの画像データとして合成したものを保存してもよい。３次元表示用識別子が付与された２つの画像データを１つの画像データとして合成したものを保存する場合には、元の２つの画像データをバックアップ用として保存してもよい。２次元示用識別子が付与された２つの画像データのうちいずれか一方のみを保存してよいし、両方の画像データを保存してもよい。２つの画像データのうちいずれか一方のみを保存する場合、他方をバックアップ用として保存してもよい。これにより、本発明により適性ありと判定された表示モードと異なる表示モードで当該画像を表示することが可能となる。

上記実施形態では、視差量算出処理（図５のＳ１８）にて、各被写体の視差量が全て算出される場合に限って説明したが、視差量算出処理にて各被写体の視差量が算出できない場合においても、本発明を適用することができる。この場合のフローチャートを、図１３に示す。なお、図１３のフローチャートの説明は、上記実施形態と異なる部分のみについて行い、上記実施形態と同様の部分には、同一の符号を付し、詳細の説明を省略する。

レリーズボタン２８が全押しされる（Ｓ１０）と、撮影準備処理（Ｓ１２）、ストロボ撮影（Ｓ１４）、及び非ストロボ撮影（Ｓ１６）が順次行われる。視差量算出処理（Ｓ１８）では、ストロボＯＦＦ画像１２１Ｌ及び１２１Ｒの視差量を算出する。そして、視差量算出処理にて、全ての被写体の視差量が算出できなかった場合には、両方の画像データを保存し、処理を終了する。一方、複数の被写体のうち、視差量が算出できたものと、視差量が算出できなかったものとが混在する場合には、視差量が算出できた被写体の視差量には算出値を設定し、視差量が算出できなかった被写体の視差量には、当該被写体の視差量が算出できなかった旨を表す値（例えば、負の値）を設定する。

次に、視差量算出処理で算出された各被写体の視差量のうち、視差量が算出できなかったものがあるか否かの判定をする算出値判定処理（Ｓ６０）を行う。算出値判定処理において、視差量算出処理で算出された各被写体の視差量に、視差量が算出できなかったものが含まれていないと判定された場合には、視差量差ΔＸを算出する（Ｓ２０）。一方、算出値判定処理において、視差量算出処理で算出された各被写体の視差量に、視差量が算出できなかったものが含まれていると判定された場合には、コントラスト差算出処理が行われる（Ｓ３０）。

このように、視差量算出処理（Ｓ１８）及び視差量差ΔＸの算出（Ｓ２０）の間にて算出値判定処理（Ｓ６０）を行うことにより、視差量算出処理で算出された各被写体の視差量に、視差量が算出できなかったものが含まれていないと判定された場合であっても、３次元表示モードの適性を判定することができる。

上記実施形態では、ストロボＯＦＦ画像を保存したが、本発明はこれに限られず、ストロボＯＮ画像を保存してもよい。

上記実施形態では、差分画像ΔＲの影画素数を用いて第２判定処理を行ったが、本発明はこれに限られず、第２撮影部により得られる画像の差分画像ΔＲの影画素数を用いて第２判定処理を行ってもよい。また、差分画像ΔＬ、差分画像ΔＲそれぞれの影画素数ＳＳ_Ｌ、ＳＳ_Ｒを算出した後、影画素数ＳＳ_Ｌ、ＳＳ_Ｒのうちいずれか大きいほうを用いて、第２判定処理を行ってもよい。

上記実施形態では、影画素数の算出に差分画像ΔＲを用いたが、本発明はこれに限られず、影画素数の算出にストロボＯＮ画像を用いてもよい。この場合には、非ストロボ撮影（図５のＳ１６）、及びコントラスト差ΔＣ算出（図５のＳ３０）を省略することができる。

上記実施形態では、視差量ΔＰの算出に用いる画像として２つのストロボＯＦＦ画像を用いたが、本発明はこれに限られず、視差量ΔＰの算出に用いる画像として２つのストロボＯＮ画像を用いてもよいし、差分画像ΔＬ、差分画像ΔＲ２を用いてもよい。

上記実施形態では、主要被写体及び背景を含む被写体において、視差量の差ΔＸを、主要被写体の視差量及び背景の視差量の差としたが、本発明はこれに限られず、複数の主要被写体を含む被写体において、第１の主要被写体の視差量及び第２の主要被写体の視差量の差としてもよい。

１１ デジタルカメラ
１２ デジタルフォトフレーム
１２Ｌ 第１撮影部
１２Ｒ 第２撮影部
１４Ｌ 光学系
１４Ｒ 光学系
３５ メインＣＰＵ
５０Ｒ 撮像素子
５０Ｌ 撮像素子
１００ 表示モード判定部
１０２ 視差量算出回路
１０３ 第１判定回路
１０５ 差分回路
１０６ 影画素数算出回路
１０７ 第２判定回路

Claims (9)

1. 被写体を異なる視点から同時に撮影して得られた複数の画像データに基づいて、第１の被写体についての第１の視差量及び第２の被写体についての第２の視差量を算出する視差量算出手段と、
   前記第１の視差量及び前記第２の視差量の差が第１の閾値以上である場合には、前記複数の画像データを３次元表示の適正ありと判定し、前記視差量の差が前記第１の閾値未満である場合には、前記複数の画像データの判定を保留にする第１の表示モード判定手段と、
   前記視差量の差が前記第１の閾値未満である場合には、前記画像データを成す画素のうち前記被写体の影を成す画素の数を算出する影画素数算出手段と、
   前記算出された影の画素の数が第２の閾値以上の場合には、前記複数の画像データを３次元表示の適正ありと判定し、前記算出された影の画素の数が前記第２の閾値未満の場合には、前記複数の画像データを３次元表示の適正なしと判定する第２の表示モード判定手段とを有することを特徴とする表示モード判定装置。
2. 前記影画素数算出手段は、前記被写体へ光を照射していないときの前記画像データを基準とした場合の、前記被写体へ光を照射したときの前記画像データのコントラスト差を画素ごとに算出し、前記コントラスト差が０未満である画素の総数を前記影の画素の数とすることを特徴とする請求項１記載の表示モード判定装置。
3. ３次元表示の適正ありと判定された前記複数の画像データに３次元表示用識別子を付与し、前記表示モード判定装置により３次元表示の適正なしと判定された前記複数の画像データに２次元表示用識別子を付与する識別子付与手段を有することを特徴とする請求項１または２記載の表示モード判定装置。
4. 前記３次元表示用識別子を含む前記複数の画像データを３次元画像として表示し、前記２次元表示用識別子を含む前記複数の画像データを２次元画像として表示する表示装置を有することを特徴とする請求項３記載の表示モード判定装置。
5. 前記複数の画像データに前記３次元表示用識別子が付与されている場合には、前記複数の画像データを記憶し、前記複数の画像データに前記２次元表示用識別子が付与されている場合には、前記複数の画像データのうち少なくともいずれか一方を記憶する記録手段を有することを特徴とする請求項３または４記載の表示モード判定装置。
6. 前記記録手段は、前記複数の画像データに前記２次元表示用識別子が付与されている場合にも、前記複数の画像データの両方を記憶することを特徴とする請求項５記載の表示モード判定装置。
7. 前記被写体の画像を結像する複数の光学系がデジタルカメラ本体に露呈するように設けられ、
   前記結合した前記画像を画像データとして取り込む撮像素子、及び請求項２ないし６のうちいずれか１項記載の表示モード判定装置が前記デジタルカメラ本体に内蔵され、
   前記被写体へ前記光を放つ発光装置は第１の光学系とにより第２の光学系を挟む位置に配されたことを特徴とする撮影装置。
8. 被写体を異なる視点から同時に撮影して得られた複数の画像データに基づいて、第１の被写体についての第１の視差量及び第２の被写体についての第２の視差量を算出する視差量算出ステップと、
   前記第１の視差量及び前記第２の視差量の差が第１の閾値以上である場合には、前記複数の画像データを３次元表示の適正ありと判定し、前記視差量の差が前記第１の閾値未満である場合には、前記複数の画像データの判定を保留にする第１の表示モード判定ステップと、
   前記視差量の差が前記第１の閾値未満である場合には、前記画像データを成す画素のうち前記被写体の影を成す画素の数を算出する影画素数算出ステップと、
   前記算出された影の画素の数が第２の閾値以上の場合には、前記複数の画像データを３次元表示の適正ありと判定し、前記算出された影の画素の数が前記第２の閾値未満の場合には、前記複数の画像データを３次元表示の適正なしと判定する第２の表示モード判定ステップとを有することを特徴とする表示モード判定方法。
9. 請求項８記載の表示モード判定方法と、
   光が照射された前記被写体を異なる視点から同時に撮影して照射画像データを生成する照射撮影ステップと、
   前記光の照射を終えた後の前記被写体を異なる視点から同時に撮影して非照射画像データを生成する非照射撮影ステップとを有し、
   前記照射撮影ステップ及び前記非照射撮影ステップは前記影画素数算出ステップの前に行われ、
   前記影画素数算出ステップでは、
   前記非照射画像データを基準とした場合の前記照射画像データのコントラスト差を画素ごとに算出するコントラスト差算出ステップと、
   前記コントラスト差が０未満である画素の数を前記影の画素の数とする画素数ステップとを行うことを特徴とする撮影方法。

Images