JP5751472B2 - 撮影機器 - Google Patents

Description

本発明は、３次元画像の撮影を可能にする撮影機器に関する。

近年、デジタルカメラなどの撮影機能付き携帯機器は、画像処理を駆使して、様々な苦手撮影シーンを克服している。また、近年、映画産業では、臨場感を重んじた３Ｄ（３次元）化の波があり、テレビ業界もそれに追随して３Ｄ表示機器は普及傾向にある。

デジタルカメラ等の民生用の撮影機器においても、３Ｄ撮影可能な装置が開発されている。画像を立体的情報を含んで撮影記録し、これを再生観察する方式には多種多様な提案がある。立体視を可能にするためには、右目用の右画像と左目用の左画像、即ち、左右両眼の視点に対応する視差を持った２画像を撮像する必要がある。

例えば、２Ｄ撮影用のレンズを用い、水平にずらした２回の撮影によって、立体画像を得る手法が開示されている。また、右画像を撮像する撮像装置と左画像を撮像する撮像装置の２つの撮像装置を同時に用いて３Ｄ画像を得る装置も商品化されている。

特開２００１−２２０１４号公報

ところで、右画像及び左画像中は視差を有しており、右画像と左画像の撮影範囲にはずれがある。右画像及び左画像の中央の共通の撮影範囲の部分（以下、共通撮影部分という）のみが立体的に表示される。共通撮影部分の左右両側の撮影範囲の部分（以下、単独撮影部分という）は、右画像又は左画像の一方にしか含まれず、単独撮影部分を除く共通撮影部分が３Ｄ画像として用いられることになる。

ところが、特に、被写体までの距離が近い場合には、近距離の被写体によって共通撮影部分の大部分が占められることになり、近距離の被写体の左右の背景部分が３Ｄ画像に含まれなくなり、背景と被写体との遠近関係が表現できなくなってしまう場合がある。例えば、自分撮りのように、カメラと被写体（撮影者）との距離が近い場合には、背景画像が占める割合が減少し、十分写し込めず、適切な遠近感を得ることができない。距離の他、撮影時に撮影範囲を決定する画角などによっても、背景の入り方が異なってくる。

このため、適切な遠近感を得るために、被写体までの距離を考慮する必要があり、撮影操作が煩雑になり、咄嗟の撮影が困難になる傾向があった。

なお、特許文献１においては、左右の撮影光軸に適切な輻輳角を与えて良好な立体画像の撮影を可能とするステレオカメラが開示されている。しかしながら、特許文献１の発明においては、複雑な機構が必要であるという問題がある。

本発明は、簡単な構成で、フレーミング時に距離や撮影時の画角や輻輳角や視差を意識することなく、適切な遠近感が得られる３Ｄ画像を取得することができる撮影機器を提供することを目的とする。

本発明の撮影機器は、１回又は複数回の撮像によって視差が異なる複数の画像を得る撮像部と、上記撮像部で得られた上記複数の画像の中央部における被写体の左右の背景部分の距離の変化が所定の閾値よりも小さいか否かを各背景部分毎に判定し、小さいと判定した上記背景部分を流用可能と判定する背景判定部と、上記背景判定部の判定結果によって流用可能と判定された上記背景部分を、上記中央部の画像に合成する合成部とを具備する。

本発明によれば、簡単な構成で、フレーミング時に様々な要因を意識することなく、手軽な撮影で適切な遠近感が楽しめる３Ｄ画像を取得することができるという効果を有する。

本発明の一実施の形態に係る撮影機器の回路構成を示すブロック図。 ３Ｄ撮影において得られる３Ｄ撮影範囲を説明するための説明図。 左右画像による一般的な３Ｄ画像の生成方法を説明するための説明図。 被写体の左右に追加する背景画像を説明するための説明図。 背景部分を画像欠落部に流用するか否かの判定方法の一例を示す説明図。 背景部分を画像欠落部に流用するか否かの判定方法の一例を示す説明図。 図７は撮像部２として２つの撮像素子２ａを有する場合の動作フローを示すフローチャート。 背景部分を画像欠落部分に流用可能であるか否かを判定するためのフローチャート。 図８のフローを説明するための説明図。 図８のフローを説明するための説明図。 図１１は撮像部２として１つの撮像素子２ａのみを有する場合の動作フローを示すフローチャート。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

図１は本発明の一実施の形態に係る撮影機器の回路構成を示すブロック図である。

撮影機器１は、ＣＣＤやＣＭＯＳセンサ等の撮像素子２ａによって構成された撮像部２を有している。本実施の形態においては、撮像部２として右左の光学系を構成する右撮像部２Ｒ及び左撮像部２Ｌを有する３Ｄ撮影用の撮影部を採用した例を示している。なお、撮像部２として、２回の撮影によって左右画像を得ることを前提とした、１つの光学系のみを有する２Ｄ撮影用の撮影レンズを採用してもよい。

撮影機器１の前面に設けた撮影レンズ２ｂを含む光学系からの被写体の光学像ＯＡは、左右撮像部２Ｌ，２Ｒを構成する各撮像素子２ａの撮像面に結像するようになっている。この撮像部２は、信号処理及び制御部１１によって駆動制御される。信号処理及び制御部１１は、撮像部２に撮像素子２ａの駆動信号を出力すると共に、撮像素子２ａが光学像を光電変換して得た画像信号を取り込む。

信号処理及び制御部１１は、撮像素子２ａの光電変換によって得られた画像信号に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種のデジタル処理を行う。信号処理及び制御部１１は、画像信号及び音声信号等の記録に際して、符号化処理を施して圧縮した画像情報及び音声情報等を出力することもできるようになっている。

また、撮影機器１には、操作判定部３、操作部４、時計部５、タッチパネル６も配設されている。時計部５は信号処理及び制御部１１が用いる時間情報を発生する。操作判定部３は、操作部４に対するユーザ操作に基づく操作信号を発生して、信号処理及び制御部１１に出力するようになっている。なお、操作部４は、撮影機器１に設けられた撮影開始終了ボタンや撮影モード設定等の図示しない各種スイッチによって構成される。タッチパネル６は、ユーザのタッチ操作に基づく操作信号を発生して、信号処理及び制御部１１に出力するようになっている。信号処理及び制御部１１は、操作信号に基づいて、各部を制御する。

また、撮影機器１には、記録再生制御部１１ａ及び表示制御部１１ｅが設けられている。記録再生制御部１１ａは、信号処理及び制御部１１からの画像情報及び音声情報を記録部８に与えて記録することができるようになっている。記録部８は記録再生制御部１１ａに制御されて、記録及び再生を行う。記録部８としては、例えばカードインターフェースを採用することができ、記録部８はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。また、記録部８は、記録媒体に記録された画像情報及び音声情報を読み出して信号処理及び制御部１１の記録再生制御部１１ａに供給することができる。信号処理及び制御部１１は、記録再生制御部１１ａによって再生された記録部８からの画像情報及び音声情報を復号化して、画像信号及び音声信号を得ることができるようになっている。

表示制御部１１ｅは、撮像部２からの撮像画像や記録再生制御部１１ａからの再生画像を表示部７に与えて、これらの画像を表示させるようになっている。また、表示制御部１１ｅは、撮影機器１の操作を行うためのメニュー表示等を表示部７に表示させることもできるようになっている。

表示部７は、撮影機器１の本体の背面に設けられており、撮影者は、撮影時に表示部７の表示画面を視認可能になっている。表示部７としては、視差画像である左画像及び右画像を夫々表示する左目用表示領域７Ｌ及び右目用表示領域７Ｒを有する３Ｄ表示用の表示部である。

なお、表示部７としては、３Ｄ表示が可能なパララックスバリア方式やレンチキュラ方式等の視差分割方式を採用した表示部を採用可能である。視差分割方式においては、３Ｄ表示用のメガネ等を用いることなく、３Ｄ表示が可能である。また、表示部７としては、３Ｄ表示用の眼鏡等を用いて３Ｄ観察を可能にする表示部を採用してもよく、更に、２Ｄ表示用の表示部を採用してもよい。

表示制御部１１ｅは、記録部８に記録されている３Ｄ画像である右画像及び左画像が再生されると、これらの右画像及び左画像を表示部７の対応する右目用表示領域７Ｒ及び左目用表示領域７Ｌに表示させるように、表示制御を行う。これにより、撮像した３Ｄ画像を表示部７に立体表示することができ、撮影者は、表示部７の表示画面上において立体撮影効果を確認することが可能である。なお、表示制御部１１ｅは、左右画像として同一の画像を表示部７に与えることにより、２Ｄ表示を行うこともできる。

タッチパネル６は、ユーザが指で指し示した位置に応じた操作信号を発生する。タッチパネル６は、例えば表示部７の表示画面上に設けることができる。この場合には、ユーザは、表示部７の画面上に表示された各種コマンドボタンを、タッチパネル６により指示することができる。タッチパネル６はユーザ操作に基づく操作信号を信号処理及び制御部１１に供給する。

本実施の形態においては、簡単な構成で、撮影時のフレーミングを意識することなく、適切な遠近感のある３Ｄ画像を簡単に取得するために、信号処理及び制御部１１には、主被写体判定部１１ｂ、背景判定部１１ｃ、距離判定部１１ｄ、共通撮影範囲判定部１１ｆ、補助画像生成部１１ｇ及び合成部１１ｈが設けられている。

なお、信号処理及び制御部１１内の各部は、ＣＰＵにより実行されるソフトウエアプログラムによって構成されてもよく、ハードウエア回路によって構成されてもよい。さらに、信号処理及び制御部１１は、デジタルシグナルプロセッサ（DSP）により構成されていてもよい。

次に、図２乃至図６を参照して、信号処理及び制御部１１によるカメラ制御について説明する。図２は３Ｄ撮影において得られる３Ｄ撮影範囲を説明するための説明図である。

撮影機器１の２つの撮像部２Ｒ、２Ｌは、左右方向において、互いに基線長Ｂだけ離れて配置されている。なお、図２では、各構成要素を図面上で認識可能な程度の大きさとするため、撮影機器１及びその内部の構成要素のサイズ、基線長Ｂ等は、構成要素毎に縮尺を異ならせてある。また、撮像部の撮像方向は変えないものとし、輻輳角はない例で考える。

各撮像部２Ｒ，２Ｌの画角をθとし、撮影機器１から被写体Ｓまでの距離をＬとしたとき、各撮像部の撮影範囲Ｘ１は、次の式（１）により算出された値となる。なお、以下の式において＊は乗算を示す。

Ｘ１＝２＊（Ｌ＊ｔａｎ（θ／２）） ・・・式（１）
また、３Ｄ撮影範囲ＥＤは、２つの撮像部２Ｒ，２Ｌにより撮像された２つの画像同士で重なり合うオーバーラップ領域であるので、次の式（２）により算出された値となる。

ＥＤ＝Ｘ１−Ｂ ・・・式（２）
例えば、Ｘ１＝Ｌ＊ｔａｎθに近似できるような画角θ（例えば、３５ｍｍ判換算で略５０ｍｍのレンズに相当する）で、基線長Ｂが５ｃｍで、距離Ｌが、自分撮りをする場合の距離、例えば５０ｃｍ（＝ｌ１）、の場合、２つの撮像部２Ｒ、２Ｌによる３Ｄ撮影範囲ＥＤは、次のようになる。

ＥＤ＝Ｘ１−Ｂ＝ｌ１＊ｔａｎθ−Ｂ＝５０−５＝４５ ・・・式（３）
すなわち、３Ｄ撮影範囲ＥＤは、横方向に４５ｃｍしかない。これでは、肩幅が４５ｃｍの人の場合は、被写体Ｓの顔を画面の略中央に位置させなければ、自分の３Ｄ撮影が適切にできないことになる。更にこの場合には、撮影範囲の左右方向の略全域に人物が配置され、背景が配置される領域がなく、適切な立体感が得られにくい。

一方、撮影機器１と被写体Ｓ間の距離Ｌが、ｌ１より大きいＬ２の場合は、図２に示すように、距離ｌ１の場合に比べて、３Ｄ撮影範囲ＥＤは、広くなる。すなわち、撮影機器１と被写体Ｓ間の距離Ｌが大きくなれば、３Ｄ撮影範囲ＥＤも広くなる。

図３は左右画像による一般的な３Ｄ画像の生成方法を説明するための説明図である。

図３（ａ）は撮像部２として２Ｄ撮影用の撮像部を採用し、撮像部２を水平方向に移動させながら、異なる時間に２回の撮影を行うことで右画像及び左画像を得る例を示している。図３（ｂ）は図３（ａ）の２回の撮像によって得られる画像の一例を説明するためのものであり、破線は撮像範囲２５を示している。

図３（ｂ）は天井２３ｕ、床２３ｄ、左右の壁２３ｌ，２３ｒ及び奥の壁２３ｏによって囲まれた部屋２３内に、人物２１が立ち、奥の壁２３ｏに額縁２２が飾ってある様子を示している。図３（ａ）では図面の簡略化のために、人物２１を四角の被写体２１で表し、額縁２２を丸い被写体２２で表している。

図３（ａ）に示すように、撮像部２は撮影レンズ２ｂ及び撮像素子２ａによって構成され、撮像部２から人物２１（以下、被写体２１ともいう），額縁２２（以下、被写体２２ともいう）までの距離が夫々ｌ１，ｌ２の例である。

いま、図３（ａ）において、撮像部２が左側の位置Ｌ１において被写体２１，２２を撮像するものとする。図３（ｃ１）はこの場合の撮像画像（左画像）を示しており、被写体２１に対応する画像２３Ｌ及び被写体２２に対応する画像２４Ｌが撮像されたことを示している。次に、撮像部２を右側の位置Ｒ１に移動させて、基線長ｘ１で右画像を撮像するものとする。右側の位置Ｒ１において同一の被写体２１，２２を撮像した場合の撮像画像（右画像）は図３（ｃ２）によって示される。この場合には、被写体２１に対応する画像２３Ｒ及び被写体２２に対応する画像２４Ｒが撮像される。

図３（ｃ１）に示すように、左画像の撮像範囲２５Ｌ内には、左右の壁のうち右側の壁２３ｒは含まれておらず左側の壁２３ｌの一部のみが撮影されている。逆に、図３（ｃ２）に示すように、右画像の撮像範囲２５Ｒ内には、左右の壁のうち左側の壁２３ｌは含まれておらず右側の壁２３ｒの一部のみが撮影されている。

図３（ｃ１），（ｃ２）に示す左右画像を遠距離の被写体２２の画像部分が一致するように重ねる。図３（ｄ）はこの場合の撮像画像を示している。被写体２１の画像２３Ｒ，２３Ｌの視差に応じて、額縁２２に対する人物２１の立体感が得られる。なお、近距離の被写体の方が、遠距離の背景に比べて視差の影響を受けやすく、背景は距離が遠くて広い範囲が映るので、視差の影響は小さい。

図３（ｄ）に示すように、左右画像の撮影範囲２５Ｌ，２５Ｒには、一方の画像にしか存在しない範囲（単独撮影部分）が含まれている。従って、厳密には生成される３Ｄ画像は、図３（ｅ）に示すように、撮影範囲２５Ｌ，２５Ｒの共通の範囲（共通撮影部分）２６のみである。

上述した説明から明らかなように、この共通撮影部分は、被写体までの距離や撮影画角、撮影時の輻輳角、視差などに応じてサイズが変化する。従って、このような３Ｄ画像を表示部７の表示画面全域に表示するものとすると、正しいアスペクト比が得られない。また、アスペクト比を正しく表示しようとすると、画面の上下や左右が欠けた画像が表示されてしまう。例えば、図３（ｅ）の画像を画面上に表示すると、図３（ｆ）の画像が表示されることが考えられる。図３（ｆ）では、画面の左右に画像が表示されない画像欠落部２７が生じている状態を示している。

特に、自分で撮影機器１を持って自分を撮影する、いわゆる自分撮りの場合のように、撮影機器１と被写体間の距離が小さい場合には、被写体左右の背景画像の部分が欠けやすくなり、適切な立体感が得られにくい。

そこで、本実施の形態においては、信号処理及び制御部１１は、被写体までの距離が比較的短い場合等においては、被写体の左右に背景画像を付加することで、適切な立体感が得られやすい撮像画像を得るようになっている。

図４は被写体の左右に追加する背景画像を説明するための説明図である。図４（ａ）は図３（ａ）に対応した被写体を撮影する状態を示している。図４（ｂ），（ｃ）は横軸に撮影範囲内の水平位置をとり縦軸に（１／距離（Ｌ））をとって、撮影範囲内の水平線上の各点における距離分布を示すものである。なお、図４（ｂ），（ｃ）においては、無限遠を０として表わしている。

図４（ｂ）は図４（ａ）の撮影機器１から被写体２１を含む水平線（二点鎖線）上の各点までの距離を示すものである。図４（ｂ）に示すように、撮像範囲内の被写体のうち被写体２１までの距離が最も近く、壁２３ｏの背景部分までの距離は比較的大きい。そして、被写体２１の左右の背景部分の距離は、いずれの位置においても殆ど差がない。即ち、このような背景部分については立体感を出す必要がない。

そこで、本実施の形態においては、このような距離差が十分に小さい背景部分を画像欠落部に流用することで、画像サイズを被写体までの距離に拘わらず一定にするようになっている。なお、流用する部分は、立体的に見えないが、背景であることは分かり、主被写体の飛出し感を表現するためには問題ない。しかし、図４（ｃ）のように背景に距離変化がある場合には、こうした措置は適当ではない。

信号処理及び制御部１１の距離判定部１１ｄは、撮像範囲の各部における撮影機器１からの距離を判定する。距離判定部１１ｄの判定結果は主被写体判定部１１ｂ及び背景判定部１１ｃに与えられる。主被写体判定部１１ｂは、距離判定部１１ｄの判定結果に基づいて、撮像範囲中の主被写体を判定する。例えば、主被写体判定部１１ｂは、撮影機器１からの距離が最も小さい物体を主被写体と判定する。

また、背景判定部１１ｃは、距離判定部１１ｄの判定結果に基づいて、撮像範囲中の背景部分を判定する。例えば、背景判定部１１ｃは、撮像範囲中の周囲の被写体であって、撮影機器１からの距離が比較的大きい被写体を背景部分と判定する。更に、３Ｄ効果判定部を構成する背景判定部１１ｃは、判定した背景部分において撮影機器１からの距離の変化が小さいか否かに基づいて、背景部分を画像欠落部に流用するか否かを判定する。

図５及び図６は背景部分を画像欠落部に流用するか否かの判定方法の一例を示す説明図である。

背景判定部１１ｃは、主被写体と撮像範囲端部との間の背景部分において、その両端部の距離が略一致している場合には、背景部分において撮影機器１からの距離の変化が小さく、画像欠落部分に流用できるものと判定する。図５の丸印は、判定に用いる位置を示している。

即ち、背景判定部１１ｃは、主被写体の左側の背景部分について、図５の丸印部分同士の距離の差を求める。背景判定部１１ｃは、求めた差が所定の閾値よりも小さい場合には、背景部分において撮影機器１からの距離の変化が小さく、画像欠落部分に流用できるものと判定する。背景判定部１１ｃは、主被写体の右側の背景部分についても、同様にして流用可能か否かの判定を行うことができる。

図５（ａ）は背景部分において撮影機器１からの距離の変化が小さく、画像欠落部分に流用できると判定される例を示している。また、図５（ｂ）は主被写体の左側の背景部分は、画像欠落部分に流用できると判定される例を示しているが、主被写体の右側の背景部分は、背景部分において撮影機器１からの距離の変化が比較的大きく、画像欠落部分に流用できないと判定される例を示している。

図６は距離の判定方法の一例を示すものである。図６は撮像部２が２つの撮像素子２ａを有する場合の手法の一例を示しており、３つの被写体３０〜３２の撮像素子２ａ上の結像位置間の距離によって、被写体までの距離が同一か否かを判定するものである。被写体３０，３１は撮影機器１からの距離が同一であり、左右の撮像素子２ａに結像される被写体３０，３１の像間の距離は、左右の撮像素子２ａにおいて等しい距離Ｖ１である。また、撮影機器１からの距離が異なる被写体３１，３２については、左右の撮像素子２ａに結像される被写体３１，３２の像間の距離は、左右の撮像素子２ａにおいて異なり、夫々Ｖ２，Ｖ３である。

背景判定部１１ｃは、各被写体の像間の距離を左右の撮像素子２ａ間で比較することにより、撮影機器１から２つの位置における被写体までの距離が略一致しているか否かを判定することができる。

３Ｄ効果判定部を構成する共通撮影範囲判定部１１ｆは、左右画像の共通撮影範囲を判定する。共通撮影範囲判定部１１ｆは、共通撮影範囲の判定結果に基づいて、画像欠落部分のサイズを求めて、補助画像生成部１１ｇに与える。なお、共通撮影範囲判定部１１ｆは、画像欠落部分のサイズが所定の閾値以内である場合には、補助画像の生成は不要であるものと判定して、画像欠落部分のサイズが０であることを示す情報を出力するようにしてもよい。

例えば、共通撮影範囲判定部１１ｆは、主被写体比率が画面サイズの１／３よりも小さくなると、補助画像の生成は不要であると判定してもよい。例えば、共通撮影範囲判定部１１ｆは、主被写体を顔検出などで判定し、それが占める割合が１／３以下なら、残りの２／３に背景が写って、十分に遠近感が楽しめる可能性が高いものと考えて、背景合成を行わない。例えば、図２の距離ｌ１の被写体は顔が大きく写って背景情報がなくなる可能性が高いが、距離ｌ２の被写体では十分に背景が映り込み、遠近感の情報が得られる。なお、判定閾値のサイズを画面サイズの１／３としたのは、もちろん、視差や輻輳角などに依存するもので、視差が大きい場合は左右画像に差異がなくなって、合成の効果も小さくなることから、例えば画面サイズの１／２にしてもよい。

補助画像生成部１１ｇは、背景判定部１１ｃによって画像欠落部に流用可能であると判定された背景部分に基づく補助画像を生成する。補助画像生成部１１ｇは、共通撮影範囲判定部１１ｆから画像欠落部分に流用する補助画像のサイズを求め、主被写体の左右の背景部分から必要なサイズを切り出して、補助画像を生成する。なお、補助画像生成部１１ｇは、主被写体の左右の背景部分のいずれか一方の背景部分を用いて補助画像を生成すればよい。

合成部１１ｈは、共通撮影範囲の主被写体の画像部分と補助画像とを合成する。これにより、合成部１１ｈからの３Ｄ画像は、被写体までの距離に拘わらず、同一サイズとなる。また、主被写体までの距離が近い場合でも、中央の主被写体の左右に背景が追加されるので、立体感のある画像を得ることができる。

なお、共通撮影範囲判定部１１ｆは、画像欠落部分のサイズが所定の閾値以内であるか否かによって、画像欠落部分に相当する背景画像を合成するか否か決定している。画像欠落部分のサイズは、左右画像の視差、即ち、立体感に関係する。即ち、共通撮影範囲判定部１１ｆは、十分な立体感を得られるべき画像であるか否か、即ち、３Ｄ効果を判定して画像欠落部分に相当する背景画像を合成するか否かを決定している。従って、画像欠落部分に相当する背景画像を合成するか否かを、共通撮影範囲判定部１１ｆに代えて３Ｄ効果判定を行う他の回路によって決定してもよい。

次に、このように構成された実施の形態の動作について図７乃至図１１を参照して説明する。図７は撮像部２として２つの撮像素子２ａを有する場合の動作フローを示すフローチャートであり、図８は背景部分を画像欠落部分に流用可能であるか否かを判定するためのフローチャートである。また、図１１は撮像部２として１つの撮像素子２ａのみを有する場合の動作フローを示すフローチャートである。

撮影機器１に電源が投入されると、信号処理及び制御部１１は、図７のステップＳ１１において、撮影モードであるか否かを判定する。撮影モードでない場合には、信号処理及び制御部１１は、ステップＳ１２において再生モードであるか否かを判定する。

信号処理及び制御部１１は、ステップＳ１２において再生モードが指示されたものと判定すると、ステップＳ１２から処理をステップＳ１３に移行して、記録部８によって記録されたファイルの一覧の情報を読み出し、ファイル一覧表示を表示部７に表示させる。

ファイル一覧の表示時に、ユーザがファイル選択を行うと（ステップＳ１４）、信号処理及び制御部１１は、選択されたファイルを記録再生制御部１１ａを介して読み出し、復号化処理を行って、画像信号及び音声信号を再生する（ステップＳ１５）。信号処理及び制御部１１は、再生した画像信号及び音声信号を表示部７に与えて表示させる。

なお、ファイル一覧表示時に、終了操作が行われた場合には、信号処理及び制御部１１は、処理をステップＳ１４からステップＳ１６に移行して再生モードを終了する。

信号処理及び制御部１１は、ステップＳ１１において撮影モードが指示されているものと判定した場合には、ステップＳ２１において３Ｄモードが指示されているか否かを判定する。３Ｄモードでない場合には、信号処理及び制御部１１は、ステップＳ２２において、表示部７の表示画面上にスルー画を表示する。即ち、信号処理及び制御部１１は、撮像部２からの撮像画像を取込み、所定の信号処理を施した後、表示制御部１１ｅによって表示部７に出力する。こうして、表示部７の表示画面上においてスルー画が表示される。

信号処理及び制御部１１は、ステップＳ２３において、撮影操作が行われたか否かを判定する。ここで、撮影者がレリーズボタンを押すと、処理はステップＳ２３からステップＳ２４に移行して撮影が行われる。信号処理及び制御部１１は、ステップＳ２５において、撮像部２からの撮像画像に対して所定の信号処理を施し符号化して画像ファイル化した後、記録部８に与えて記録する。

信号処理及び制御部１１は、ステップＳ２１において撮影者が３Ｄモードを指示したものと判定した場合には、ステップＳ３１において左右画像を取得する。次のステップＳ３２〜Ｓ３９は、共通撮影範囲の画像に、背景画像を補助画像として合成する処理を示している。先ず、ステップＳ３２において、背景画像の追加の要否が判定される。

共通撮影範囲判定部１１ｆは、左右画像の共通撮影範囲を判定する。共通撮影範囲判定部１１ｆは、共通撮影範囲の判定結果に基づいて、画像欠落部分のサイズを求める。例えば、共通撮影範囲判定部１１ｆは、画像欠落部分のサイズが所定の閾値以内である場合には、補助画像の生成は不要であるものと判定して、画像欠落部分のサイズが０であることを示す情報を出力する。この場合には、ステップＳ３２〜Ｓ３９の処理がスキップされる。例えば、共通撮影範囲判定部１１ｆは、主被写体比率が画面の１／３よりも小さい場合には、補助画像の生成は不要であると判定する。

共通撮影範囲判定部１１ｆによって、背景画像の追加が必要と判断されると、距離判定部１１ｄは、被写体までの距離を測距して、距離の計測結果を主被写体判定部１１ｂ及び背景判定部１１ｃに出力する。主被写体判定部１１ｂは、距離の計測結果に基づいて主被写体を判定し（ステップＳ３３）、背景判定部１１ｃは、距離の計測結果に基づいて背景部分を判定する（ステップＳ３４）。

次に、背景判定部１１ｃは、ステップＳ３５，Ｓ３６において、背景部分が画像欠落部分に流用可能であるか否かを判定する。図７の例では先ず左画像の左背景の判定が行われる。図５の説明では、主被写体の左右背景部分の距離変化が比較的小さいか否かによって、背景部分を画像欠落部分に流用可能であるか否かを判定する例について説明した。

更に、本実施の形態においては、図５の判定方法に加えて、図８のフローに従って背景部分を画像欠落部分に流用可能であるか否かを判定する例について説明する。図９及び図１０は図８のフローを説明するための説明図である。なお、図５の判定方法を採用することなく、図８のフローのみによって背景部分を画像欠落部分に流用可能であるか否かを判定するようにしてもよい。

背景判定部１１ｃは、図８のステップＳ５１において、左右画像の位置合わせを行う。この場合には、背景部分の画像を一致させる。図９は一致させる画像部分の判定方法を示している。図９は横軸に撮影範囲内の所定の水平線上の位置をとり縦軸に１／Ｌ（距離）をとって、水平線上の被写体までの距離の分布を示している。図９は実線が右画像を示し、破線が左画像を示している。実線に示す右画像は、左画像に比べて撮影範囲の右側まで撮像部分が伸び、破線に示す左画像は、右画像に比べて撮影範囲の左側まで撮像部分が伸びている。左右方向の中央が被写体存在部分であり、その左右は背景部分である。

背景判定部１１ｃは、背景部分において右画像と左画像の距離が同様に変化する部分は、同一絵柄の背景部分である可能性が高い。そこで、背景判定部１１ｃは、背景部分の距離が右画像と左画像で同様に変化する部分が一致するように、右画像と左画像との位置合わせを行う。
次に、背景判定部１１ｃは、左右画像のうち一方の画像の欠落している画像部分を、他方の画像を流用して補正する。図１０（ａ）は被写体４１〜４３の結像位置を示し、図１０（ｂ）は図１０（ａ）の各各被写体４１〜４３の距離分布を示している。図１０において実線は右画像を示し、破線は左画像を示している。

図１０（ｂ）に示すように、撮像範囲の左端部側には、右画像の画像欠落部が存在し、撮像範囲の右端部側には、左画像の画像欠落部が存在する。左右画像のうちの一方の画像の画像欠落部を他方の画像の画像端部の背景画像によって補正するためには、他方の画像の画像端部に一方の画像の画像欠落部に相当する画像が存在することが必要である。本実施の形態においては、背景部分の両端の距離の変化が比較的小さいと共に、一方の画像の画像欠落部の画素値と他方の画像の画像端部の画素値とが略等しいことによって、他方の画像端部を流用可能であると判定する。

即ち、背景判定部１１ｃは、左画像について主被写体の左側の背景部分の距離変化が比較的小さいか否かを判定した後、次に、右画像の左端部と同じ位置における左画像の画素値を求める（ステップＳ５２）。右画像の左端部の画素値と左画像の対応する位置の画素値とが略同一である場合には、右画像の左端部を延長した画像に相当する画像が左画像の左端部に存在するものと推定することができる。背景判定部１１ｃは、ステップＳ５３において、対応する画素位置の画素同士を比較し、画素値の差分が所定の閾値以内であるか否かを判定する（ステップＳ５４）。

背景判定部１１ｃは、左画像について主被写体の左側の背景部分の距離変化が比較的小さく、右画像の左端部の画素とその画素の同じ位置における左画像の画素値との差が所定の閾値以内である場合には、左画像の左背景部分を右画像の左の画像欠落部分に流用可能であると判定して、処理をステップＳ３７に移行する。

共通撮影範囲判定部１１ｆは、画像欠落部分に対応した補助画像のサイズを補助画像生成部１１ｇに出力しており、補助画像生成部１１ｇは、左画像の左側の背景部分から共通撮影範囲判定部１１ｆの出力に基づくサイズを切り出して補助画像を生成する。この補助画像が合成部１１ｈに与えられ、合成部１１ｈは、右画像の左側に補助画像を合成する（ステップＳ３７）。

背景判定部１１ｃは、ステップＳ３５において、左画像の左側の背景部分の距離変化が比較的大きいものと判定した場合、又はステップＳ５４においてＮＯの判定になった場合には、次のステップＳ３６において、右画像の右側の背景部分を左画像の右側の画像として流用可能か否かを判定する。即ち背景判定部１１ｃは、先ず、右画像の右側の背景部分における距離変化が比較的小さいか否かを判定する。距離変化が小さい場合には、背景判定部１１ｃは、図８のステップＳ５１〜Ｓ５４の処理を繰り返す。

即ち、背景判定部１１ｃは、ステップＳ５１において、左右画像の位置合わせを行った後、左画像の右端部と同じ位置における右画像の画素値を求める（ステップＳ５２）。次に、背景判定部１１ｃは、ステップＳ５３において、対応する画素位置の画素同士を比較し、画素値の差分が所定の閾値以内であるか否かを判定する（ステップＳ５４）。

背景判定部１１ｃは、右画像について主被写体の右側の背景部分の距離変化が比較的小さく、左画像の右端部の画素とその画素の同じ位置における右画像の画素値との差が所定の閾値以内である場合には、右画像の右背景部分を左画像の右の画像欠落部分に流用可能であると判定して、処理をステップＳ３８に移行する。

補助画像生成部１１ｇは、右画像の右側の背景部分から共通撮影範囲判定部１１ｆの出力に基づくサイズを切り出して補助画像を生成する。この補助画像が合成部１１ｈに与えられ、合成部１１ｈは、左画像の右側に補助画像を合成する（ステップＳ３８）。

ステップＳ３５，３６において、背景判定部１１ｃにおいて左右画像の左右の背景部分の距離変化が比較的大きいと判定された場合、又はステップＳ５４においてＮＯの判定となった場合には、補助画像の合成は行われない。この場合には、ステップＳ３９において、画像が欠落していることを示す警告表示が表示される。

また、撮像部２として１つの撮像素子２ａのみを採用した２Ｄ撮影用が用いられた場合には、図１１のフローが実施される。図１１において図７と同一の手順には同一符号を付して説明を省略する。図１１においては、３Ｄモードが指示されると、信号処理及び制御部１１は、ステップＳ４５において撮影操作が行われたか否かを判定する。撮影者によってレリーズボタンが押されると、信号処理及び制御部１１は、連続撮影を行う（ステップＳ４６）。撮影者は、撮影機器１を例えば水平に動かしながらレリーズボタンを操作する。これにより、信号処理及び制御部１１の連続撮影によって、右画像及び左画像を取得することができる。

ステップＳ３１〜Ｓ３９における補助画像の生成処理は、図７と同様である。図１１においては、補助画像が生成されている場合には、ステップＳ４７において、信号処理及び制御部１１は、補助画像を共通撮影範囲の画像に合成し３Ｄ表示を行う。ユーザは、３Ｄ表示を確認し、所望の３Ｄ撮影が行われた判断した場合に、記録操作を行う。これにより、ステップＳ４８からステップＳ２５に処理が移行して、合成部１１ｈからの合成画像が記録再生制御部１１ａによって記録部８記録される。

このように本実施の形態においては、被写体の背景部分を切り出して補助画像を生成し、共通撮影範囲の画像に補助画像を合成することで３Ｄ画像を得ており、被写体までの距離が比較的近い場合など、画面内に背景が写る部分が少ない場合でも、被写体の左右に背景の画像を追加することができ、被主写体が近距離であることを強調し適切な遠近感を得ることができる。また、補助画像とする背景部分の距離変化が比較的小さいか否かによって、背景部分を画像欠落部分に流用するか否かを決定しており、流用によって３Ｄ効果や自然さが劣化することを防止することができる。

なお、上記実施の形態においては、左右画像の一方の画像の一方端の画像欠落部に、他方の画像の一方端の背景画像を合成する例について説明したが、左右画像の一方の画像の両方の画像欠落部に、他方の画像の両方の背景画像を合成するようにしてもよい。

１…撮影機器、２…撮像部、３…操作判定部、７…表示部、８…記録部、１１…信号処理及び制御部、１１ａ…記録再生制御部、１１ｂ…主被写体判定部、１１ｃ…背景判定部、１１ｄ…距離判定部、１１ｅ…表示制御部、１１ｆ…共通撮影範囲判定部、１１ｇ…補助画像生成部、１１ｈ…合成部。

Claims (3)

1. １回又は複数回の撮像によって視差が異なる複数の画像を得る撮像部と、
   上記撮像部で得られた上記複数の画像の中央部における被写体の左右の背景部分の距離の変化が所定の閾値よりも小さいか否かを各背景部分毎に判定し、小さいと判定した上記背景部分を流用可能と判定する背景判定部と、
   上記背景判定部の判定結果によって流用可能と判定された上記背景部分を、上記中央部の画像に合成する合成部と
   を具備したことを特徴とする撮影機器。
2. 上記複数の画像の共通撮影範囲を判定し、当該共通撮影範囲の判定結果に基づいて画像欠落分のサイズを求め、当該画像欠落部分のサイズが所定の閾値以内の場合には、上記合成部の合成を否とする判定を行う共通撮影範囲判定部を具備したことを特徴とする請求項１に記載の撮影機器。
3. 上記背景判定部は、上記複数の画像中の背景部分における対応する画素位置の画素同士の比較に基づいて上記背景部分を流用可能か否かを更に判定する。
   ことを特徴とする請求項１又は２に記載の撮影機器。

Images