以下、本発明の好ましい実施形態を添付の図面に基づいて詳細に説明をする。尚、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
下記の実施形態は、望遠画像と広角画像との2つの画像を、透過させて合成することで、サブ画面が小さすぎたり大きすぎたりすることによる、望遠画像または広角画像の視認性の低下を抑制する。また、シーンに応じて透過率を設定することで、望遠画像を重視するシーンでは望遠画像を、広角画像を重視するシーンでは広角画像の視認性を優先することができる。
〔第1の実施形態〕
図1は、本発明の第1の実施形態に係る撮像装置1のブロック図である。図1において、撮像装置1は、メインカメラ部1040と、望遠撮影時にメインカメラによる撮影を支援するサブカメラ部1041と、メインカメラ部1040とサブカメラ部1041による撮影を制御する制御装置116を備える。さらに、撮像装置1は、ユーザによる操作を受付ける操作部113と各種画像を表示する表示部111とを備える。
メインカメラ部1040は、撮影指示の入力を受けて所定の露光条件で露光し、得られた撮影情報に基づくデータを記録部により記録する撮影処理を行う。メインカメラ部1040は、メインカメラ用結像光学系1010、メインカメラ用撮像素子1020、メインカメラ用A/D変換部1030を備える。
メインカメラ用結像光学系1010はレンズと絞りを備えており、撮影の際、メインカメラ用結像光学系1010はフォーカス調節および露出調節を行い、メインカメラ用撮像素子1020に光学像を結像する。また、メインカメラ用結像光学系1010はズームレンズを備えており、不図示の駆動部によりズームレンズの位置が変更されることにより、焦点距離を変更することができる。
メインカメラ用撮像素子1020は、光学像を電気信号(アナログ画像信号)に変換する光電変換機能を有し、CCDやCMOSセンサ等で構成される。
メインカメラ用A/D変換部1030はメインカメラ用撮像素子1020からのアナログ画像信号をデジタル画像信号に変換する。変換後のメイン画像データ100は後段の画像処理部104に入力される。
サブカメラ部1041は、メインカメラ部1040による望遠撮影を支援するために用いることができるカメラであり、少なくとも、メインカメラ用結像光学系1010の望遠端よりも短い焦点距離でライブビュー表示用の撮像信号を取得することができる。サブカメラ部1041は、サブカメラ用結像光学系1011、サブカメラ用撮像素子1021、サブカメラ用A/D変換部1031を備える。
サブカメラ用結像光学系1011も、メインカメラ用結像光学系1010と同様に、レンズと絞りを備える。また、本実施形態のサブカメラ用結像光学系はズームレンズを備えており、不図示の駆動部によりズームレンズの位置が変更されることにより、焦点距離を変更することができる。サブカメラ用結像光学系1011は、メインカメラ用結像光学系1010の望遠端よりも短い焦点距離をとることが可能であり、メインカメラ用結像光学系1010よりも短い焦点距離をとるときに、メインカメラ部1040による望遠撮影を支援することができる。
サブカメラ用撮像素子1021は、光学像を電気信号(アナログ画像信号)に変換する光電変換機能を有し、CCDやCMOSセンサ等で構成される。
サブカメラ用A/D変換部1031はサブカメラ用撮像素子部1021からのアナログ画像信号をデジタル画像信号に変換する。変換後のサブ画像データ101は後段の画像処理部104に入力される。
バス114は主にCPU112などから各ブロックの制御信号を伝送するためのシステムバスであり、バス115は主に画像データを転送するためのデータバスである。
CPU112は、撮像装置全体の制御を司るマイクロコンピュータ等で構成され、各機能ブロックに対して動作指示を行い、オートフォーカス制御、ズーム位置制御、表示制御等の各種の制御処理を実行する。CPU112は、バス114を介して画像処理部104、データ転送部105、メモリ制御部106、不揮発性メモリ制御部108、表示制御部110、操作部113、撮像素子101を制御する。CPU112は、ROM109に記録されたプログラムを実行することにより、本実施形態の各処理を実現する。さらに、CPU112は、ズーム制御信号1150を出力してメインカメラ用結像光学系1010のズーム制御を行う。さらに、CPU112は、ズーム制御信号1151を出力してサブカメラ用結像光学系1011のズーム制御を行う。この2つの結像光学系の焦点距離の設定は、連携して制御可能である。
データ転送部105は、データ転送を行う複数のDMAC(Direct Memory Access Controller)で構成されている。
DRAM(メモリ)107は、データを記憶するメモリで、所定枚数の静止画像や所定時間の動画像、音声等のデータやCPU112の動作用の定数、プログラム等を格納するのに十分な記憶容量を備える。メモリ制御部106は、CPU112或いはデータ転送部105からの指示に応じて、DRAM107へのデータ書き込み及びデータ読み出しを行う。
不揮発性メモリ制御部108は、CPU112からの指示に応じて、ROM(不揮発性メモリ)109にデータの書き込み及び読み出しを行う。ROM109は、電気的に消去・記録可能なメモリであり、EEPROM等が用いられる。ROM109には、CPU112の動作用の定数、プログラム等が記憶される。
画像処理部104は、各種画像処理回路、プロセッサ及びバッファメモリ等から構成されており、ノイズ低減処理やレンズの歪補正や防振処理など各種の補正処理を行っている。また、画像データのエッジ抽出を行い、被写体検出を行う被写体検出手段としても機能する。さらに、エッジが交差している箇所などの特徴量から検出した被写体が主要被写体であるかを検知し、メインカメラまたはサブカメラの撮影範囲内(以下、本明細書では撮影範囲のことを画角と呼ぶ)に主要被写体が入ったかを判定することができる。
また、画像処理部104は、メインカメラ用A/D変換部1030、サブカメラ用A/D変換部1031から各々入力されたメイン画像データ100とサブ画像データ101を重畳した合成画像データ(合成画像信号ともいう)の生成を実施する。重畳の方法としては、サブ画像の透過率を設定し、設定した透過率に基づいて、メイン画像データ100に対してサブ画像データ101を合成する。これにより、メイン画像データ100に基づくメイン画像が透過するように、サブ画像データ101に基づくサブ画像データが合成される。サブ画像の透過率は0~100%で設定することができ、操作部材113のボタン操作などをトリガとしてCPU112の制御により後述するフローが実行されることで、画像処理部104により設定される。尚、メイン画像の透過率を設定すれば、サブ画像の透過率が設定されるのと等価であるため、本願ではメイン画像の透過率を設定することもサブ画像の透過率を設定することに含む。画像処理部104は、透過率設定手段や、画像合成手段として機能することができる。
サブ画像データ101の透過率を高くすると、メイン画像データ100が視認し易くなり、サブ画像データ101が視認し難くなる。反対に、サブ画像データ101の透過率を低くすると、メイン画像データ100が視認し難くなり、サブ画像データ101が視認し易くなる。画像データ101の透過率を0%設定した場合は、画像データ101のみが表示され、透過率を100%に設定した場合には、画像データ100のみが表示される。
下記式(1)に画像処理部104の重畳処理時の演算式を示す。メイン画像データ100の画素値(R,G,B表記)を(Rin1, Gin1, Bin1)、サブ画像データ101の画素値(R,G,B表記)を(Rin2, Gin2, Bin2)とする。また、画像処理部104の出力である合成画像データの画素値を(Rout, Gout, Bout)とする。サブ画像データ101の透過率はパラメータαとなり、透過率が0%の時はα=0、透過率が30%の時はα=0.3、透過率が100%の時はα=1となる。なお、作成された合成画像データは、表示制御部110へ出力される。
Rout = Rin1 * α + Rin2 * (1 - α)
Gout = Gin1 * α + Gin2 * (1 - α)
Bout = Bin1 * α + Bin2 * (1 - α) 式(1)
表示部111は、液晶ディスプレイや電子ビューファインダーであり、表示制御部110により制御され、画像処理部104から転送された各種の画像データやメニュー画面などを表示部111に表示する。また、静止画撮影の撮影前や、動画撮影時には、メインカメラ用A/D変換部1030、サブカメラ用A/D変換部1031から各々入力された画像データをリアルタイムで処理して、表示する。
操作部113は、ユーザにより操作されるスイッチやボタン等を含み、電源のON/OFF、シャッターのON/OFF等の操作に使用される。シャッターボタン(不図示)は、半押しされると、撮影準備指示が制御装置116に入力され、AF指示をCPU112に対して出力する。CPU112はAF指示を受けると、焦点検出及び焦点位置の制御(フォーカスレンズの位置制御)を行う。また、シャッターボタンは、全押し時に、撮影指示をCPU112に対して出力する。CPU112は撮影指示を受けると、メインカメラ部1040に撮影処理を行わせる。また、マクロ撮影モードや望遠撮影モードなど撮影モードを切り替えるためのモードダイヤルなども具備される。
図2は、本実施形態に係る画像処理装置の表示部111に表示される画面の模式図である。図2(a)は、メインカメラ用結像光学系1010を通してメインカメラ用撮像素子1020に結像された光学像に基づくメイン画像データ100が示す画像の模式図である。メインカメラの撮影画角200に収まるように主要被写体201を望遠撮影している。
一方、図2(b)は、メインカメラ部1040よりも広角側で撮影を行うサブカメラ用結像光学系1011を通してサブカメラ用撮像素子1021に結像された光学像に基づくサブ画像データ101が示す画像の模式図である。サブカメラの撮影画角203はメインカメラの撮影画角201よりも広いため、図2(a)の主要被写体201がサブ画像データ中の主要被写体202は小さい。また、サブ画像データ101には、メインカメラの撮影画角を示す枠(以下、単に画角枠と呼ぶ)204が含まれており、メインカメラ側で撮影している画角をサブカメラ側で撮影している画角に表示することができる。尚、メインカメラの撮影画角を示す枠204の合成は、画像処理部104で行ってもよい。
図2(c)は、メインカメラ部1040で取得したメイン画像データ100が表示される表示部111に対して、メイン画像データが透過するようにサブカメラ部1041で取得したサブ画像データ101を重畳した合成画像データが示す画像の模式図である。図2(c)に示す画像では、サブ画像データ101の透過率を50%に設定しており、メイン画像データ100とサブ画像データ101が同程度の視認性で視認出来る状態である。尚、サブカメラ用結像光学系とメインカメラ用結像光学系との間に1画素以上の視差がある場合は、位置合わせをしてからサブ画像データ101をメイン画像データ100に重畳させることが好ましい。
図3は、本実施形態に係る撮像装置における、画角枠204の表示制御の処理フローを示す図である。
図3のフローチャートを説明する。図3に示すフローチャートは、特に記載がない限りは制御装置116のCPU112で行われる。
まず、ステップS301において、ユーザによる操作部113の操作により望遠撮影モードに移行したか否かを判定する。移行があったと判定された場合にはステップS302に遷移する(ステップS301のYES)。それ以外は待機状態となり(ステップS301のNO)、ステップS301を繰り返す。ただし、図3のフローチャートには不図示であるが、待機状態においてユーザにより他の操作が成された場合は、図3のフローチャート以外の別処理に移行する。
ステップS302において、ユーザの操作により、メインカメラ用結像光学系1010の焦点距離が移動されたか否か判定する。焦点距離の移動があったと判定された場合には、ステップS303に遷移する(ステップS302のYES)。それ以外は待機状態となる(ステップS302のNO)。
次に、ステップS303では、サブカメラの撮影画角203の大きさに対するメインカメラの撮影画角200の大きさの比が所定の比率を越えたか否かを判定する。言い換えると、サブカメラの撮影画角203とメインカメラの撮影画角200との差が所定値よりも小さくなったか否かを判定する。メインカメラ用結像光学系1010の焦点距離が広角側に移動されると、サブカメラ撮影画角203に占める、メインカメラの撮影画角200に対応する領域は大きくなっていく。これに伴い、サブカメラの撮影画角203の大きさに対するメインガメラの撮影画角200の大きさの比率も大きくなっていく。つまり、メインカメラ用結像光学系1010の焦点距離が広角側に移動し、サブカメラの撮影画角203の大きさ:メインカメラの撮影画角200に対応する領域の大きさが所定の比率より大きくなると、ステップS303で所定比率を超えたと判定される。そして、ステップS304に遷移する。本実施形態では、所定の比率を、画角枠204大きさ:サブカメラの撮影画角203の大きさ=1:2とするが、所定の比率はこれに限定されるものではない。メインカメラの撮影画角に対してより広範囲の広角撮影用のサブカメラの撮影画角を確認したい場合には、サブカメラ撮影画角の比率を2以上に設定することが好ましい。また、所定の比率は撮影条件や撮影モードに応じて変更可能でもよい。
ステップS304では、CPU112はサブカメラ用結像光学部1011に対してズーム制御信号1151を出力し、サブカメラ用結像光学部1011の焦点距離を広角側に移動させ、続くステップS305へと遷移する。
ステップS305では、サブカメラの撮影画角203に対して合成する、メインカメラの撮影画角の大きさを示す画角枠204のサイズを変更する。画角枠204の大きさは、メインカメラ部の焦点距離と、ステップS304で広角側に移動した後のサブカメラ部の焦点距離とに基づいて決定される。
ステップS306では、サブカメラ部の焦点距離が最小値(広角端)まで到達していないかを判定する。到達していない場合(ステップS306のYES)にはステップS307に遷移し、到達した場合(ステップS306のNO)にはステップS308に遷移する。
ステップS307では、メインカメラの撮影画角を示す枠204とサブカメラの撮影画角203との大きさの比が所定比率に収まったかを判定する。収まった場合(ステップS307のYES)には、ステップS308に遷移する。一方、収まらなかった場合(ステップS307のNO)にはステップS304に遷移し、再度、サブカメラ部の焦点距離を広角側に移動し、サブカメラの撮影画角203に対して画角枠204のサイズを変更する処理を繰り返す。
一方、サブカメラの撮影画角203の大きさに対する画角枠204の大きさの比が所定の比率以下であると判定された場合(ステップS303のYES)には、ステップS309に遷移する。そして、サブカメラの撮影画角203に対して合成する、画角枠204のサイズを変更する。その後、続くステップS308へと遷移する。
ステップS308では、ユーザによる操作部113の操作により望遠撮影モードから抜けたかを判定しており、抜けた場合(ステップS308のYES)には処理を終了し、抜けない場合(ステップS307のNO)には、ステップS302に遷移する。
次に、図4及び図5のフローチャートを説明する。図4及び図5は、本実施形態に係る撮像装置における、メイン画像とサブ画像との重畳処理の処理フローを示す図である。
ステップS401において、ユーザによる操作部113の操作により望遠撮影モードに移行した場合にはステップ402に遷移する(ステップS401のYES)。それ以外は待機状態となる(ステップS401のNO)。尚、望遠撮影モードは、メインカメラで望遠撮影を、サブカメラで広角撮影を行う撮影モードである。
ステップ402では、サブ画像データ101の透過率を30%として、サブ画像データ101とメイン画像データ100とを重畳させる合成を行い、得られた合成画像データに基づく画像をライブビュー表示する。望遠モードに移行した直後はまず、サブカメラによる広角側の撮影画角203を確認することがユーザの利便性を向上させるため、サブ画像データ101をメイン画像データ100よりも視認しやすくする。透過率は30%に限定されないが、50%未満であることが好ましい。
次のステップS403では、サブ画像データ101の透過率を定期的に切り替え、メインカメラ撮影画角200とサブカメラ撮影画角203とを交互に視認し易いように表示する交互切り替え表示モードが有効であるかを判定する。有効と判定された場合には、ステップS404に遷移し、無効と判定された場合には、ステップS421に遷移する。
ステップS404では、サブ画像データ101の透過率を30%として、サブ画像データ101とメイン画像データ100とを重畳させる合成を続け、ステップS405へ遷移する。
次のステップS405ではステップS404の透過率での表示状態となってから、2秒間が経過したか否かを判定し、2秒間が経過したらステップS406へ遷移する。このとき、合成するサブ画像データ101とメイン画像データ100は、1フレーム毎に更新される。つまり、フレームレートが60fpsの場合、120フレーム分、サブ画像データ101の透過率30%でサブ画像データ101とメイン画像データ100とが合成された画像がライブビュー表示される。尚、ステップS404をスキップし、S402でサブ画像データ101の透過率30%の合成画像データに基づく画像が表示されてから2秒間を計測してもよい。本ステップにより、所定の期間、ステップS404で設定した透過率が継続される。
ステップS406では、サブ画像データ101の透過率を70%として、サブ画像データ101とメイン画像データ100とを重畳させる合成を行い、得られた合成画像データに基づく画像をライブビュー表示し、ステップS407へ遷移する。サブ画像データ101の透過率を70%とすることで、メイン画像データ100を視認しやすくする。
次のステップS407では、ステップS405と同様に、ステップS406の透過率での表示状態となってから2秒間が経過したか否かを判定2秒間経過すると、ステップS408へ遷移する。
ステップ408では、ユーザによる操作部113の操作により交互切り替え表示モードが無効化されたかを判定する。無効化されていないと判定された場合(ステップS408のNO)には、ステップS404に遷移し、メインカメラ撮影画角200とサブカメラ撮影画角203を交互に視認し易いように表示することを繰り返す。無効化されたと判定された場合(ステップS408のYES)にはステップS409へと遷移する。
一方、ステップS403で交互切り替え表示モードが有効でないと判定されて遷移したステップS421では、画像処理部104の処理によりメインカメラの撮影画角200に主要被写体201が入ったかを判定する。入ったと判定された場合(ステップS421のYES)には、ステップS422に遷移し、入っていないと判定された場合(ステップS421のNO)には、ステップS431に遷移する。
ステップS422ではサブカメラの撮影画角203の透過率を70%として、サブ画像データ101とメイン画像データ100とを重畳した合成画像データを表示部111にライブビュー表示する。本ステップでは、主要被写体201がメインカメラの撮影画角200に入っているので、メインカメラの撮影画角200を視認し易いように、メイン画像データをサブ画像データよりも優先して表示する。サブ画像データ101の透過率は70%に限定されないが、50%以上であることが好ましい。
次のステップ423では、サブカメラの撮影画角内に新たな被写体が侵入したり、高輝度被写体が存在したりした場合の重畳処理を行う、処理Aを行う。図5に処理Aのフローチャートを示す。
ステップS501では、画像処理部104の処理によりサブカメラの撮影画角203に新たな被写体が入ったか否かを判定する。また同時に画像処理部104の処理によりサブカメラの撮影画角203に新たな高輝度被写体が入ったかを判定する。高輝度被写体は、輝度が閾値以上の被写体であり、例えば太陽があげられる。新たな被写体または高輝度被写体がサブカメラの撮影画角203に入ったと判定された場合にはステップS502に遷移し、入ったと判定されない場合にはステップS504へ遷移して処理Aを抜ける。
ステップS502では、サブ画像データ101の透過率を30%として合成画像データを生成し、合成画像データに基づく画像をライブビュー表示する。ステップS501から本ステップに遷移したということは、新たな被写体または高輝度被写体がサブカメラの撮影画角203に入ったと判定された場合である。よって、ユーザに対してサブカメラの撮影画角203内に撮影対象となり得る新たな被写体、または、撮影の支障となる高輝度被写体が入ったことをユーザに通知するため、サブ画像データ101の透過率を下げて、サブ画像データ101を視認しやすくする。
次のステップS503ではステップS405と同様に、ステップS502の透過率で重畳した合成画像データが表示されてから2秒間が経過したか否かを判定し、2秒間が経過するまでユーザによる視認を行う時間を確保した後、ステップS504へ遷移する。ステップS504では再度、サブカメラの撮影画角203の透過率を70%として、メインカメラの撮影画角200を視認し易い合成画像データを静止し、表示部111に表示して処理Aを終了する。ステップS423で処理Aを終えると、S424へ遷移する。
ステップS424では、画像処理部104の処理によりメインカメラの撮影画角200から主要被写体201が外れたか否かを判定する。外れたと判定された場合(ステップS424のYES)には、ステップS425に遷移し、外れたと判定さない場合(ステップS424のNO)には、ステップS422に遷移して、ステップS422へ戻り、処理を繰り返す。
ステップS425では、広角側のサブ画像データ101の透過率を30%として、サブ画像データ101が視認しやすい合成画像データを生成し、ライブビュー表示する。これは、サブ画像データ101の視認性を上げることで、ユーザが再度主要被写体201をメインカメラの撮影画角200内に捉えやすくするためである。その後、ステップS409へ遷移する。
一方、ステップS421でメインカメラの画角に主要被写体201が入っていないと判定された場合、ステップS431で、操作部113の具備するシャッターボタンが半押しされたかを判定する。半押しされたと判定された場合(ステップS431のYES)には、ステップS432に遷移し、半押しされたと判定されていない場合(ステップS431のNO)には、ステップS421に遷移し、処理を繰り返す。
ステップS432では、サブ画像データ101の透過率を70%として、メイン画像データ100が視認しやすい合成画像データを生成し、ライブビュー表示する。これは、シャッターボタンが半押しされたことから、実際に記録される画角であるメインカメラの撮影画角200を視認し易いようにするためである。
次のステップS433の処理AについてはステップS423の処理Aと同様のため説明を省略する。ステップS433の処理Aを終えた後、ステップS434へ遷移して、操作部113の具備するシャッターボタンの半押しが解除されたかを判定する。半押しが解除されたと判定された場合(ステップS434のYES)には、ステップS435に遷移し、半押しが解除されたと判定されていない場合(ステップS435のNO)にはステップS432に遷移して処理を繰り返す。
ステップS435では、主要被写体201をメインカメラの撮影画角200内に捉えやすくするために、再度、広角側のサブ画像データ101の透過率を30%として、サブ画像データ101が視認しやすい合成画像データを生成し、ライブビュー表示する。その後、ステップS409へ遷移する。
ステップS409では、ユーザによる操作部113の操作により望遠撮影モードから抜けたかを判定しており、抜けた場合(ステップS409のYES)には処理を終了する。一方、抜けない場合(ステップS409のNO)には、ステップS402に遷移して、再度、処理を繰り返す。
なお、ステップS405、407、503で2秒間を計測したが、計測時間は2秒に限定されるものではなく、適宜設定をすることができる。また、各ステップで計測する時間は異なっていてもよい。
さらに、図3に示した画角枠204の表示制御の処理フローと、図4及び図5に示した重畳処理の処理フローとは、排他的に行ってもよいし、処理を同時に並行して実施してもよい。
〔第2の実施形態〕
実施形態1では、表示部111が液晶ディスプレイや電子ビューファインダーである形態について説明をした。本実施形態では、表示部111の代わりに光学ビューファインダ123を用いてユーザが構図を確認する形態について説明をする。本実施形態では、投影部122によりサブ画像データを光学ビューファインダ123に投影することにより、第1実施形態の合成画像データの様にサブ画像データをメイン画像データに重畳する。以下、本実施形態と実施形態1との差分を中心に説明する。
図6は、本実施形態に係る撮像装置1のブロック図である。図1の図表番号と同じ番号については、第1の実施形態に係る画像処理装置と同じ処理部となるため、ここでは差分のある処理部を中心として説明する。
本実施形態におけるメインカメラ部1042は、ミラー120、プリズム121、投影機122、光学ビューファインダ123とを備える点で第1の実施形態のメインカメラ部1040と異なる。
ミラー120は、メインカメラ用結像光学系1010からメインカメラ用撮像素子1020への光学経路に配置されており、撮影時以外はミラー120がメインカメラ用撮像素子1020で結像される光学像をプリズム121へと反射させている。撮影時はミラー120が光学経路から外れ、メインカメラ用撮像素子1020で光学像が結像され、画像データ100として出力される。メインカメラの撮影画角は、第1実施形態と同様に図2(a)のようになる。
本実施形態の表示制御部110は、広角となるサブカメラ用結像光学系1011で撮影された光学像に基づくサブ画像データ101に対して、メインカメラの撮影画角200を示す画角枠204を合成した画像データを投影部122に表示するための制御を行う。
投影部122は電子ビューファインダーなどに用いられる小型の液晶ディスプレイなどで構成されており、サブカメラで撮影したサブ画像データ101をプリズム121へと投影する。サブカメラの撮影画角は、第1実施形態と同様に図2(b)のようになる。
プリズム121には、メインカメラ用結像光学系1010により結像された光学像と、投影部122により投影されたサブ画像データ101とが入力される。プリズム121は、入力された両者を、プリズム内部で光学的に重畳する。サブ画像データ101が重畳された光学像は、光学ビューファインダー123へと入力される。
光学ビューファインダーで視認されるメインカメラとサブカメラの画角が重畳された像は、第1の実施形態に係る画像処理装置の説明で示した図2(c)のようになる。
第1の実施形態では、メイン画像データ100に対してサブ画像データ101の透過率を変更することで各々の画像の視認性を変更したが、本実施形態では投影部122の発光量を変更することで視認性を制御する。光学ビューファインダー123で視認される重畳後の撮影画角の見え方は、投影部122の発光量を低くすると、メインカメラの撮影画角200が視認し易くなり、サブカメラの撮影画角203が視認し難くなる。反対に、投影部122の発光量を高くすると、メインカメラの撮影画角200が視認し難くなり、サブカメラの撮影画角203が視認し易くなる。投影部122の発光量は、0~100%で設定することができ、操作部材113のボタン操作などをトリガとしてCPU112から制御される。投影部122の発光量を0%とした場合には、メインカメラの撮影画角200のみが表示され、発光量を100%とした場合には、サブカメラの撮影画角203が最も視認し易くなる。
本実施形態に係る撮像装置1の画角枠204の表示制御の処理フローは、図3に示される第1の実施形態に係る撮像装置1処理フローにおいて、表示部111が光学ビューファインダー123に置き変わっただけであるため省略する。
図7及び図8は、本実施形態に係る撮像装置1の重畳処理の処理フローを示す図である。なお、図7及び図8の処理フローにおいて、第1の実施形態に係る撮像装置1の図4及び図5の処理フローと処理内容が重複するステップについては説明を省略し、差分のあるステップのみ説明を行う。図7のステップS701~S735は図4のステップS401~S435に対応し、図8のステップS801~S804は図5のステップS501~504に対応する。
図7の処理フローにおいて、ステップS702では、投影部の発光量を70%としてプリズム121にサブカメラの画像データ101を投影し、光学ビューファインダー123上で、サブ画像データ101を視認しやすくする。これは、図4のステップS402に対応する。同様に、ステップS704、S725、S735では、投影部122の発光量を70%としてプリズム121にサブ画像データ101を投影し、光学ビューファインダー上でサブ画像データ101を視認しやすくする。
一方、ステップS706、S722、S732では、投影部122の発光量を30%としてプリズム121にサブ画像データ101を投影し、光学ビューファインダー上でメインカメラ用結像光学系1010により結像された光学像を視認しやすくする。これは、図4のステップS406等で、透過率70%でサブ画像データ101をメイン画像データ100に重畳した合成画像を表示することに対応する。
図8の処理フローにおいて、ステップS802では、投影部122の発光量を70%としてプリズム121にサブ画像データ101を投影し、光学ビューファインダー上で、サブ画像データ101を視認しやすくする。一方、ステップS804では、投影部122の発光量を30%としてプリズムにサブ画像データ101を投影し、光学ビューファインダー上でメインカメラ用結像光学系1010により結像された光学像を視認しやすくする。
なお、第1実施形態と同様に、ステップS705、707、803での表示状態となってから次のステップに遷移するまでの待機時間は適宜設定することができ、また、また、各ステップで設定する投影部122の発光量も30%、70%に限定されない。
また、サブカメラ用結像光学系1011の光学像をプリズム121に入力し、メイン画像データ100を投影部122に投影しても、同様の効果が得られる。
また、本実施形態の撮像装置1は、第1実施形態の表示部111を備えていてもよい。y例えば、表示部111を用いたライブビュー表示を行う撮影モードの際は第1実施形態で説明した処理を、光学ビューファインダ123を用いた撮影モードの際は本実施形態で説明した処理を行う構成としてもよい。
〔第3の実施形態〕
第1、第2の実施形態では、メインカメラ部よりも広角側で撮影可能なサブカメラ部を備える撮像装置について説明をした。本実施形態では、サブカメラ部を備えず、メインカメラ部が電子ズームにより望遠撮影を行う形態について説明をする。
図9は、本実施形態に係る撮像装置1のブロック図である。図1の図表番号と同じ番号については、第1の実施形態と同じ処理部となるため、ここでは差分のある処理部を中心として説明する。
本実施形態の撮像装置1は、サブカメラ部は備えず、画像領域選択部130において、画像の領域の一部を拡大処理して、電子望遠画像データ140として出力し、画像領域全体を広角画像データ141として出力する。電子望遠画像データ140がメイン画像データ100に対応し、光学画像データ141がサブ画像データ101に対応する。レンズ制御を除く画像処理部104以降の後段の処理部については、第1の実施形態において、メイン画像データ100とサブ画像データ101が入力された際と同等の処理を実施するため、説明は省略する。
ここで図10は、本実施形態に係る撮像装置1の表示部111に表示される画面の模式図である。図10(a)は、メインカメラ用結像光学系1010により結像された光学像をメインカメラ用A/D変換部1030で光電変換した広角画像データ141に、電子望遠画像データの画角を示す画角枠604を合成した画像である。メインカメラの撮影画角603(画角603を広角撮影画角とする)に収まるように主要被写体602を撮影している。
一方、図10(b)は、画像領域選択部130の処理により、図10(a)の主要被写体602を拡大表示した、拡大主要被写体601を囲む画像領域600を切り抜いた画角を示す図である。切り抜かれた画角600(画角600を電子望遠撮影画角とする)は、拡大処理後、後段の画像処理部104に電子望遠画像データ140として入力される。
図10(c)は、電子望遠画像データ140が表示される表示部111に対して、電子望遠画像データ140が透過されるように広角画像データ141を重畳した画面の模式図である。広角画像データ141の透過率を50%に設定しており、電子望遠画像データ140、広角画像データ141ともに同程度の視認性で視認出来る状態である。
図11は、本実施形態に係る撮像装置1の画角枠604の表示制御の処理フローを示す図であり、第1の実施形態における図3に対応する処理フローである。
以下、図11のフローチャートを説明する。ステップS1101において、ユーザによる操作部113の操作により電子望遠撮影モードに移行したか否かを判定する。移行があったと判定された場合にはステップS1102に遷移する(ステップS1101のYES)。それ以外は待機状態となり(ステップS1101のNO)、ステップS1101を繰り返す。ただし、図11のフローチャートには不図示であるが、待機状態においてユーザにより他の操作が成された場合は、図11のフローチャート以外の別処理に移行する。
ステップS1102において、ユーザの操作により、表示部111に表示されている電子望遠撮影画角600のサイズが変更されたか否かを判定する。電子望遠撮影画角のサイズの変更があったと判定された場合には、ステップS1103に遷移する(ステップS1102のYES)。それ以外は待機状態となる(ステップS1102のNO)。尚、電子望遠撮影画角600のサイズの変更は、電子ズーム倍率の変更指示により行うことができる。
ステップS1103では、電子望遠撮影画角600に対応する範囲が広角撮影画角603に対して所定の規定比率を越えたか否かを判定する。言い換えると、電子望遠撮影画角600と広角撮影画角603との差が所定値よりも小さくなったか否かを判定する。
電子望遠撮影画角600のサイズを拡大していく(つまり、電子ズームの倍率を上げていく)と、広角撮影画角603に占める、電子望遠撮影画角600に対応する領域は大きくなっていく。これに伴い、広角撮影画角603に対する電子望遠撮影画角600の大きさの比率も大きくなっていき、電子望遠撮影画角600の大きさの比が上記所定の比率より大きくなると、ステップS1103で所定比率を超えたと判定され、ステップS1104に遷移する。本実施形態では、所定の比率を、電子望遠撮影画角600の大きさ:広角撮影画角603の大きさ=1:2とするが、第1の実施形態と同様に、所定の比率はこれに限定されるものではなく、撮影条件や撮影モードに応じて変更可能でもよい。
ステップS1104では、メインカメラ部の焦点距離を広角側に移動させ、広角撮影画角603の撮影範囲を拡大する。その後、続くステップS1105へと遷移する。
一方、電子望遠撮影画角600の比が上記所定の規定比率より小さい場合(ステップS1103のYES)には、ステップS1109に遷移する。ステップS1109では、広角撮影画角603で取得された広角画像データ141に合成する、電子望遠撮影画角600を示す画角枠604のサイズを変更する。その後、続くステップS1108へと遷移する。
ステップS1105では、ステップS1109と同様に、広角撮影画角603に対して合成する、電子望遠撮影画角600に対応する領域を示す画角枠604のサイズを変更し、ステップS1106に遷移する。
ステップS1106では、メインカメラの焦点距離が最小値(広角側)まで到達していないかを判定する。到達していない場合(ステップS1106のYES)にはステップS1107に遷移し、到達した場合(ステップS1106のNO)にはステップS1108に遷移する。
ステップS1107では、電子望遠撮影画角600と広角撮影画角603との大きさの比が所定の比率を収まったかを判定する。収まった場合(ステップS1107のYES)には、ステップS1108に遷移する。一方、収まらなかった場合(ステップS1107のNO)にはステップS1104に遷移し、再度、メインカメラの焦点距離を広角側に移動し、広角撮影画角603に対して電子望遠撮影画角600を示す画角枠604のサイズを変更する処理を繰り返す。
ステップS1108では、ユーザによる操作部113の操作により電子望遠撮影モードから抜けたかを判定しており、抜けた場合(ステップS1108のYES)には処理を終了する。抜けない場合(ステップS1107のNO)には、ステップS1102に遷移する。
なお、本実施形態の重畳処理の処理フローは、図4及び図5に示される第1の実施形態の処理フローにおけるメイン画像データ100を電子望遠画像データ140に、サブ画像データ101を広角画像データ141に置き換えた処理となるため、説明を省略する。
尚、本実施形態では、広角画像データは、画像領域全体に対応するものとしたが、光学画像データに対応する領域は、電子望遠画像データを含み、且つ、それよりも広い領域であれば、画像領域全体でなくてもよい。
また、本実施形態は、サブカメラ部を備えないものとして説明をしたが、サブカメラ部を備えていてもよく、第1、第2の実施形態と適宜組み合わせることができる。例えば、光学望遠撮影モードの際は第1、第2の実施形態で説明をした処理を行い、電子望遠撮影モードの際は本実施形態で説明をした処理を行う撮像装置としてもよい。
〔第4の実施形態〕
本実施形態では、被写体までの距離を測距し、測距結果に基づいてサブ画像データ101の透過率を決定する撮像装置1について説明をする。測距方法としては、2つの光学系(第1のサブカメラ用結像光学系1211、第2のサブカメラ用結像光学系1212)を用いる。
図12は、本実施形態に係る撮像装置1のブロック図である。図1の図表番号と同じ番号については、第1の実施形態と同じ処理部となるため、ここでは差分のある処理部を中心として説明する。
本実施形態に係る撮像装置1では、サブカメラはステレオカメラの構成で2台搭載となり、メインカメラに撮影画角に対して右側の画角を撮影する第1のサブカメラ用結像光学系1211と左側の画角を撮影する第2のサブカメラ用結像光学系1212とを有する。第1のサブカメラ用結像光学系1211と第2のサブカメラ用結像光学系1212は、フォーカス調節および露出調節を行い、各々、サブカメラ用撮像素子1021の左半面と右半面に光学像を形成する。サブカメラ用A/D変換部1031は、サブカメラ用撮像素子部1021からのアナログ画像信号をデジタル画像信号に変換する。変換後のサブ画像データ1350は後段の画像処理部104に入力される。
図13は、本実施形態に係る画像処理部104のブロック図である。被写体検出部1301は、画像データのエッジ抽出を行い、エッジが交差している箇所などの特徴量からメインカメラ及びサブカメラの撮影画角内の被写体の検出を行う。ただし、被写体検出部1301はメインカメラの撮影画角内に収まっている領域を優先して被写体として検出を行う。
測距部1302は、第1のサブカメラ用結像光学系1211と第2のサブカメラ用結像光学系1212で取得した光学像から、水平方向のテンプレートマッチングを行い、各画素の視差情報を検出する。後段の被写体距離判定部1303は、被写体検出部1301からの被写***置情報と、測距部1302からの距離情報に基づいて、被写体までの距離情報を取得する距離取得手段としても機能する。そして、メイン画像データ100に対してサブ画像データ1350を重畳する際の透過率を決定する。具体的な決定方法については後述する。
透過率設定部1304では前段の被写体距離判定部1303からの判定結果情報に基づいて、サブカメラの広角撮影画像を重畳する際の透過率を設定する。後段の画像合成部1305では、メイン画像データ100とサブ画像データ1350を、前段の透過率設定部1304により設定された透過率に従って重畳し、式(1)に従って画像データの合成を行う。合成により得られた合成画像データはデータ転送部105に転送され、バス115を介して表示制御部110に入力される。表示制御部110の処理により、メイン画像データ100とサブ画像データ1350が重畳された合成画像データに基づく画像が表示部111に表示される。ただし、2眼あるサブカメラの画像データの内、メイン画像100に重畳されるのは、第1のサブカメラ用結像光学系1211で結像された像のみ(つまり、サブカメラ用撮像素子1021の内、左半分で取得された画像データのみ)である。
ここで、図14(a)~(d)は、本実施形態の表示部111に表示される画面の模式図である。図14(a)は、サブカメラ部の撮影画角1412を示しており、被写体1401の車両を撮影している。メインカメラ部の撮影画角に対応する領域は1413で図示される。図14(b)はメインカメラ部の撮影画角1411を示しており、同様に被写体1402の車両を撮影している。尚、被写体1401と1402は同一であるが、被写体1401はサブカメラ部により撮影された被写体、被写体1402はメインカメラ部により撮影された被写体である。
図14(c)はサブ画像データ1350のうち、第1のサブカメラ用結像光学系で結像した光学像に対応する画像データ(以下、広角画像データ)を透過率30%でメイン画像データに重畳した表示例を示す図である。
図14(d)は広角画像データを透過率70%でメイン画像データに重畳した表示例を示す図である。
図15は、本実施形態の撮像装置1と被写体との距離関係を示す図である。図16は、本実施形態の撮像装置1の重畳処理の処理フローを示す図である。
以下、図15と図16を使用して処理フローの説明を行う。図16のステップS1601では、望遠撮影モードに移行する。このとき、図15に示される主要被写体1500は、位置1501にあるものとする。主要被写体1500が位置1501にあるときにステップS1602の処理が実行され、広角画像データの透過率を30%にしてメイン画像データに重畳した合成画像データに対応する画像(図14(c))が表示部111に表示される。このとき、広角画像が望遠画像より視認しやすくなる。
次にステップS1603では、被写体距離判定部1303で以下の演算を実施する。
焦点距離(mm)/センササイズ(mm)*α≧主要被写体までの距離(m)/主要被写体の大きさ(m) 式(2)
ここで、焦点距離(mm)は、メインカメラ用結像光学系1010の焦点距離情報を表し、センササイズ(mm)は、メインカメラ用撮像素子1020の有効画素領域の第1の方向(ここでは垂直方向)におけるサイズを表している。したがって、ユーザの操作やオートフォーカスにより、メインカメラ用結像光学系1010の焦点距離が変化する都度、式(2)の演算を実施する。主要被写体までの距離(m)は、本実施形態の撮像装置1505と被写体検出部1301により検出された主要被写体1500までの距離を表す。主要被写体までの距離は、測距部1302で算出した距離情報と被写体検出部1301からの主要被写***置情報とに基づいて取得する。被写体の大きさ(m)は、被写体検出部1301で検出した主要被写体の第1の方向(垂直方向)の大きさと主要被写体までの距離情報から算出を行う。αは0<α≦1の範囲を取り得るパラメータ値を表しており、撮影条件や、画像処理装置であるデジタルカメラ1505の具備するカメラの焦点距離に応じて設定される。αの値が大きい程、主要被写体までの距離が遠い状態でも(式2)の不等号が成立する。主要被写体1500撮像装置1505に近づいてきて位置1502に移動するまでの区間1511では、主要被写体までの距離が大きく(式2)は成立せず(ステップS1603のNO)、ステップS1602に遷移する。主要被写体1500が位置1502まで近づくと、(式2)が成立し(ステップS1603のYES)、ステップS1604へ遷移する。位置1503も、(式2)が成立する主要被写体1500までの距離となる。
ステップS1604では、図14(d)のように広角画像データの透過率を70%にして、メイン画像データと重畳した合成画像データに基づく画像を表示する。このとき、望遠画像が広角画像より視認しやすくなる。
ステップS1605ではステップS1603と同様の判定を行い、(式2)を満たしている場合は(ステップS1605のYES)ステップS1606へ遷移する。(式2)を満たさない場合は(ステップS1605のNO)、ステップS1602へと遷移し、処理を繰り返す。
ステップS1606では、ユーザによる操作部113の操作により望遠撮影モードから抜けたかを判定しており、抜けた場合(ステップS1606のYES)には処理を終了する。一方、抜けない場合(ステップS1606のNO)には、再度ステップS1604の処理に戻る。
ステップS1604→ステップS1605→ステップS1606→ステップS1604の遷移が繰り返される場合は、位置1502又は位置1502よりも撮像装置1505の近く、つまり、図15の区間1512に主要被写体1500が存在する。一方、ステップS1602→ステップS1603→ステップS1602の遷移が繰り返される場合は、位置1502よりも撮像装置1505の遠く、つまり、図15の区間1511に主要被写体1500が存在する。したがって、主要被写体1500が位置1502よりも撮像装置1505から遠いときには、サブカメラの広角撮影画像の視認性が上がる。一方、主要被写体1500が位置1502に位置するか、それよりも近くに位置すれば、メインカメラで取得されたライブビュー画像である、望遠画像の視認性が上がることになる。本制御により、被写体までの距離が遠いときにはサブカメラの画角内に被写体を捉えることが容易となり、被写体までの距離が近づいたときには、実際の撮影が行われるメインカメラ部の画角にシームレスに移行することが可能となる。
なお、広角画像データの透過率を30%、70%としたが、本実施形態における透過率もこれに限定されるものではない。また、主要被写体1500と撮像装置1505との距離に応じて段階的に透過率を変更するような制御にしてもよい。また、広角画像データの透過率を変更する際の演算式は式(2)に限定されるものではなく、メインカメラ部の撮影画角内に被写体が収まったことを判定できる式であれば、他の演算式でも本実施形態と同様の効果が実現可能である。
〔第5の実施形態〕
本実施形態では、新規被写体または高輝度被写体を検出した際に、検出した被写体との距離に応じてサブ画像データの透過率を変更する形態について説明をする。本実施形態の撮像装置1の構成は、第4の実施形態と同様であるため説明を省略する。
図17は、本実施形態のサブカメラの画角1703内に新規被写体1702又は高輝度被写体1704が入った状態を示す図である。図17において、メインカメラの撮像範囲を示す画角枠1700内に、主要被写体1701が収まっている。
図18は、本実施形態に係る重畳処理の処理フローを示す図であり、図19は、本実施形態に係る重畳処理のサブフロー(処理C)の詳細を示す図である。以下、図17~19を参照して、本実施形態における重畳処理フローについて説明をする。
図18の処理フローにおいて、第1の実施形態の図4の処理フローと処理内容が重複するステップについては説明を省略し、差分のあるステップのみ説明を行う。図18のステップS1801~S1835は図4のステップS401~S435に対応する。
図18のステップS1802、S1804、S1806、S1822、S1825、S1832、S1835で表示されるサブ画像データ101は、2つのサブカメラ用結像光学系の内、第1のサブカメラ用結像光学系1211で結像された像である。また、ステップS1823及びステップS1833において、処理Aではなく処理Cを行う点で第1の実施形態と異なる。
以下、図18のステップS1823及びS1833で行う処理Cについて、図19のフローチャートを用いて説明を行う。
ステップS1901では、画像処理部104の被写体検出部1301の処理により、メインカメラの撮影画角1700に収まっている主要被写体1701以外に、サブカメラの撮影画角1703で新規被写体1702が検出されたか否かを判定する。新規被写体1702が検出された場合、つまり、新規被写体1702が撮影画角1703内に入った場合(S1901のYES)にはステップS1902に遷移し、入ったと判定されない(S1901)場合にはステップS1903に遷移する。
次のステップS1902では、被写体距離判定部1303は、測距部1302からの測距信号と被写体検出部1301からの検出信号に基づいて、主要被写体1701までの距離及び新規被写体1702までの距離を、取得する。さらに、被写体距離判定部1303では、主要被写体1701までの距離と新規被写体1702までの距離とのを比較し、距離の差が100m以内であるかを判定する。100m以内であれば、主要被写体1701と新規被写体1702の距離が近く、新規被写体1702も主要被写体となり得る。一方、距離差が100mより大きい場合は、新規被写体1702が主要被写体となる可能性は、距離差が100m以内のときよりも低い。距離の差が100m以内であると判定された場合(S1902のYES)にはステップS1905に遷移し、判定されない場合(S1902のNO)にはステップS1903に遷移する。
ステップS1903では、画像処理部104の処理により図17(b)に示されるサブカメラの撮影画角1703で高輝度被写体1704が検出された否かを判定する。検出されたと判定された場合(S1903のYES)にはステップS1904に遷移し、判定されない場合(S1903のNO)には処理Cを終了する。
次のステップS1904では、被写体距離判定部1303により、測距部1302と被写体検出部1301との検出結果に基づいて、高輝度被写体1704の距離情報を取得し、さらに、高輝度被写体1704の距離情報が無限遠であるかを判定する。無限遠であれば、高輝度被写体1704は太陽と判断する。高輝度被写体1704の距離情報が無限遠であると判定された場合(S1904のYES)にはステップS1905に遷移し、判定されない場合(S1904のNO)には処理Cを終了する。
ステップS1905では、サブ画像データ101の透過率を30%として、サブ画像データ101を視認しやすい合成画像データを生成し、表示部111に表示する。これにより、ユーザに対してサブカメラの撮影画角1703内に撮影対象となり得る新規被写体1701が入ったこと、または、撮影の支障となる高輝度被写体1704が入ったことをユーザに通知することができる。
続くステップS1906では、S1905の表示から2秒経過したか否かを判定し、2秒経過するとステップS1907へ遷移する。ここで、サブ画像データを視認しやすい合成画像データを2秒間表示することで、ユーザによる新規被写体1701又は高輝度被写体1704の視認を行う時間を確保することができる。
ステップS1907では再度、サブ画像データ101の透過率を70%として、メイン画像データ100に重畳し、メインカメラの撮影画角1700を視認し易い合成画像を表示部111に表示する。以上で処理Cを完了する。
なお、ステップS1902では主要被写体1701までの距離と新規被写体1702までの距離との差が100m以内であるかを判定したが、閾値となる距離の差は適宜設定することができ、また撮影条件により変更してもよい。
〔第6の実施形態〕
本実施形態では、流し撮り撮影時のフレーミングを支援する形態について説明をする。流し撮り撮影の際には、被写体の動きに合わせて、メインカメラ部の撮影画角内に収まるように撮像装置1を動かす必要が有る。本実施形態では、主要被写体がメインカメラ部の撮影画角内に収まる前から、サブカメラ部で取得した画像データを重畳して表示することで、メインカメラ部の撮影画角と主要被写体との距離をユーザに示す。
本実施形態の撮像装置1の構成は、第4の実施形態と同様であるため説明を省略する。
図22は、本実施形態に係る画像処理部104のブロック図である。被写体検出部2202は、第1のサブカメラ用結像光学系1211と第2のサブカメラ用結像光学系1212による撮影画像から動体検出などの処理を実施することで、主要被写体の検出を行う。
画像領域選択部2203は、被写体検出部2202で主要被写体が検出された領域2012を第1のサブカメラ用結像光学系1211と第2のサブカメラ用結像光学系1212による撮影画像から選択する。選択された画像領域(選択領域2012と呼ぶ)は、後段の画像合成部2205においてメインカメラ部で取得したメイン画像データに重畳される。
サブ画像データ1350がメイン画像データ100に重畳されて生成された合成画像データはデータ転送部105に転送され、バス115を介して表示制御部110に入力される。
表示制御部110の処理により、表示部111にメインカメラで取得されたライブビューア像である望遠画像と、サブカメラの広角撮影画像から主要被写体が存在する領域として選択された被写体領域が重畳された画像データが表示される。
図20は、本実施形態の表示部111に表示される画面の模式図である。図20(a)は、メインカメラ部の画角2002を示している。図20(b)は、第1のサブカメラ用結像光学系1211による画角2003を示している。第1のサブカメラ用結像光学系1211の画角2003は、メインカメラ部の画角2002に対して中心が右側に偏っており、且つ、メインカメラ部の画角2002よりも広角である。なお、メインカメラ部の画角に対応する画角枠2100は中央付近に表示されている。なお、図20において、被写体2010は矢印2011の方向に移動しているものとする。画像領域選択部2203では、被写体検出部2002による被写体検出結果に基づいて、被写体2010を含む選択領域2012が選択されている。第1のサブカメラ用結像光学系の画角2003における、被写体2010とメインカメラ部の画角枠2100との距離は矢印2013で示される。
図20(c)は、第2のサブカメラ用結像光学系1212による画角2004を示している。第2のサブカメラ用結像光学系1212の画角2004は、メインカメラ部の画角2002に対して中心が左側に偏っており、且つ、メインカメラ部の画角2002よりも広角である。メインカメラの部の画角に対応する画角枠2100は中央付近に表示されている。
図20(d)は、メイン画像データ100に、サブ画像データ1350から抽出した主要被写体2010を含むが検出された領域2012を重畳して合成した画像である。本実施形態では、この画像を表示することで、流し撮り撮影時のフレーミングを支援する。
図21は、本実施形態の重畳処理の処理フローを示す図である。以下、図20と図21を用いて本実施形態における、流し撮りモード時のサブ画像データとメイン画像データの重畳処理について説明する。
ステップS2102で流し撮り撮影を行うための流し撮りモードに移行する。次のステップS2102では、主要被写体2010が第1のサブカメラ用結像光学系(以下、右側サブカメラ)の画角にフレームインしたかを判定する。フレームインしたと判定された場合には(ステップS2102のYES)ステップS2104に遷移し、判定されない場合には(ステップS2102のNO)、ステップS2103へ遷移する。図20(b)で示される例では、右側サブカメラに主要被写体2010がフレームインしたと判定され、ステップS2104に遷移する。
ステップS2104では、右側サブカメラにより取得された画像データのなかから主要被写体領域2012に対応する領域をメイン画像データに重畳する。このとき、メインカメラ部の画角を示す画角枠2100も同様にメイン画像データに重畳する。これにより、図20(d)のようにメインカメラ部の画角2002に対して、図20(b)に示される右側サブカメラによる画角内の被写体2010を含む選択領域2012と、画角枠2100を重畳した画像が表示される。これによりユーザは、主要被写体2010が望遠撮影画角2100にフレームインするまでの距離(矢印2013で示す距離)を把握することが可能となり、適切なタイミングで流し撮り撮影を開始しやすくなる。
一方、ステップS2103では、主要被写体2010が第2のサブカメラ用結像光学系(以下、左側サブカメラ)の画角にフレームインしたかを判定する。フレームインしたと判定された場合には(ステップS2103のYES)ステップS2104に遷移し、判定されない場合には(ステップS2103のNO)、ステップS2102へ遷移する。
続くステップS2105では、左側サブカメラにより取得された画像データのなかから、主要被写体領域2012に対応する領域をメイン画像データ100に重畳する。このとき、メインカメラ部の画角を示す画角枠2100も同様にメイン画像データに重畳する。
ステップS2104、S2015の処理が終了した後はステップS2106へ遷移し、流し撮り撮影モードから他のモードへ遷移するまでは、再度ステップS2102に戻り処理を繰り返す。流し撮り撮影モードから他のモードへ遷移した場合には、処理を終了する。
なお、本実施形態では2つのサブカメラを具備する構成としたが、1つのサブカメラでも名カメラ部よりも広角側のライブビュー画像を取得することができれば、同様の効果を実現することが可能である。尚、サブカメラ(サブカメラ用結像光学)を複数備える場合は、主要被写体を最も早くとらえた結像光学系により結像されたた光学像に基づく画像データを、メイン画像データと合成する画像データとして選択することが好ましい。
さらに第3の実施形態のように、メインカメラ1つの構成でも、望遠撮影相当の画角及び広角撮影相当の画角領域を設定することで同様の効果を実現することが可能である。
また、サブカメラで取得された画像データ全体をメイン画像データ100に重畳させてもよい。この場合、サブカメラとメインカメラとの間に視差がある場合は、位置合わせをして重畳させる。但し、上述の様に、サブカメラで取得された画像データ全体ではなく、主要被写体領域2012を抽出してメイン画像データ100に重畳すると、メイン画像データ100の視認性を低下させにくいため好ましい。以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。