JP7378999B2 - 撮像装置、撮像方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、フォーカス位置の異なる複数の画像を撮像する撮像装置に関するものである。

デジタルカメラなどの撮像装置からの距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、ピント位置の異なる、画角の重なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が知られている。

特開平１０―２９０３８９号公報

しかしながら、特許文献１に記載の技術を用いては、ユーザが合成に用いる画像の領域を選ぶことができないので、合成画像のピンボケの領域を調整するのは難しい。

本発明は、上記の課題を鑑みてなされたものであり、ピント位置が異なる複数の画像を用いて深度合成を行うとき、合成に用いる画像の領域を簡単かつ正確に選べる撮像装置を提供することを目的とする。

上記課題を解決するため、本願発明は、フォーカス位置を変更しながら撮像を行い、画像を取得する撮像手段と、前記撮像手段が前記撮像を行うときのフォーカス位置を取得する取得手段と、前記撮像手段がプレ撮像を行って取得したプレ撮像の画像と、前記取得手段が取得した前記プレ撮像の画像のフォーカス位置と、に関する表示を行う表示手段と、前記表示手段の前記表示に基づいて、ユーザが本撮像に用いられる前記フォーカス位置を指定する指定手段と、前記撮像手段が、前記本撮像に用いられる前記フォーカス位置において前記撮像を行って取得した複数の本撮像の画像に対して合成を行う合成手段と、を有することを特徴とする撮像装置を提供する。

本発明の構成によれば、深度合成を行うとき、合成に用いる領域を簡単に選ぶ撮像装置を提供することができる。

本発明の実施形態におけるデジタルカメラの構成例を示すブロック図である。 本発明の実施形態における撮像を説明するためのフローチャートである。 本発明の実施形態におけるプレ撮像を説明するためのフローチャートである。 本発明の実施形態における深度合成のためのパラメータの設定を説明するためのフローチャートである。 本発明の実施形態における表示部の表示の一例を示すための図である。 本発明の実施形態における本撮像を説明するためのフローチャートである。 本発明の実施形態における別装置で深度合成を行う一例を説明するための図である。 本発明の実施形態におけるピーキングの表示の一例を説明するための図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本実施形態におけるデジタルカメラ１００の構成例を示すブロック図である。

図１において、シャッター１０１は絞り機能を備えるシャッターである。バリア１０２は、デジタルカメラ１００の、撮像レンズ１０３を含む撮像系を覆うことにより、撮像レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。撮像レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群である。ストロボ９０は、撮像時に発光させることにより低照度シーンでの撮像や逆光シーンでの撮像時に照度を補うことができる。センサー２１は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。

撮像部２２は、Ａ／Ｄ変換処理機能や撮像駆動用の同期信号を発生するＳＳＧ回路、画像データに対して、前処理、輝度積分を施す回路を備えている。ＳＳＧ回路では、タイミング発生器から撮像駆動用のクロックを受け、水平及び、垂直同期信号を発生する。前処理回路では、入力画像を行単位で輝度積分回路に入力し、撮像データに必要となるチャネル間のデータ補正等の処理を行う。輝度積分回路では、ＲＧＢ信号から輝度成分を混合生成し、入力画像を複数領域に分割し、領域毎に輝度成分を生成する。

ＡＦ評価値検出部２３は、さまざまな方式があるが、ここではコンパクトデジタルカメラにおいて従来から多く採用されてきた、コントラスト検出方式を例に挙げる。予め設定された評価領域（いわゆるＡＦ枠）内に入力される画像信号の輝度成分について水平方向のフィルタ処理を施し、コントラストをあらわす所定周波数を抽出しながら最大値を選択し、垂直方向に積分演算を行うことでＡＦ評価値を算出する。撮像レンズ１０３の内、フォーカスレンズを至近から無限遠の範囲で動かしながら、このＡＦ評価値を算出し、もっともコントラストの高い位置でフォーカスレンズを停止させるように制御を行っている。

フォーカスレンズの停止位置はＡＦ枠内の被写体までの合焦位置であり、この合焦位置をもとに距離情報を取得することができる。

ＡＦ評価値は、撮像部２２からシステム制御部５０に出力され、システム制御部はこのＡＦ評価値に基づきＡＦ（オートフォーカス）処理を行う。

画像処理部２４は、撮像部２２出力となるデジタル出力を受信する回路を備え、受信した撮像部出力データに対して信号処理、顔検出、縮小、ラスタブロック変換及び、圧縮を施す回路を含む画像処理部である。信号処理回路では、撮像部２２の出力データに色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号を生成する。同時に、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号を生成し、メモリ制御部１５にＹＵＶ形式の画像データを形成する。縮小回路では、信号処理回路の出力を受けて、入力される画素データの切り出し、間引き及び、線形補間処理等を行い、水平垂直方向に画素データの縮小処理を施す。それを受けて、ラスタブロック変換回路では、縮小回路で変倍されたラスタスキャン画像データをブロックスキャン画像データに変換する。こうした一連の画像処理は、メモリ制御部１５がバッファメモリとして用いられて実現される。圧縮回路は、バッファメモリでブロックスキャンデータに変換したＹＵＶ画像データを圧縮方式に従って圧縮する。

さらに、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

撮像部２２の出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって取得およびＡ／Ｄ変換された画像データや、画像処理部２４により生成される表示部２８に表示するための画像データを格納するが、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器１３は、画像処理部２４で生成されてメモリ制御部１５に記憶された画像データを表示用画像に変換して表示部２８に転送する再生回路である。Ｄ／Ａ変換器１３では、ＹＵＶ形式の画像データを輝度成分信号Ｙと変調色差成分Ｃとに分離し、Ｄ／Ａ変換を行ったアナログ化されたＹ信号にＬＰＦを施す。また、Ｄ／Ａ変換を行ったアナログＣ信号にＢＰＦを施して変調色差成分の周波数成分のみを抽出する。こうして生成された信号成分とサブキャリア周波数に基づいて、Ｙ信号とＲＧＢ信号に変換生成して、表示部２８に出力される。このように、撮像素子からの画像データを逐次処理して表示することによってライブビュー（ＬＶ）表示が実現される。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切り替えスイッチ６０、第１シャッタースイッチ６４、第２シャッタースイッチ６２、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。

モード切り替えスイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮像モード、オートシーン判別モード、マニュアルモード、深度合成モード、その他撮像シーン別の撮像設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切り替えスイッチ６０で、静止画撮像モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ６０で静止画撮像モードに一旦切り換えた後に、静止画撮像モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮像モードにも複数のモードが含まれていてもよい。第１シャッタースイッチ６４は、デジタルカメラ１００に設けられたシャッター釦６１の操作途中、いわゆる半押し（撮像準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作を開始する。

第２シャッタースイッチ６２は、シャッター釦６１の操作完了、いわゆる全押し（撮像指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮像処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能釦として作用する。機能釦としては、例えば終了釦、戻る釦、画像送り釦、ジャンプ釦、絞込み釦、属性変更釦等がある。例えば、メニュー釦が押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向釦やＳＥＴ釦とを用いて直感的に各種設定を行うことができる。

操作部７０にはコントローラーホイール７３が含まれ、コントローラーホイール７３は回転操作可能な操作部材であり、方向釦と共に選択項目を指示する際などに使用される。コントローラーホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラーホイール７３が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラーホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラーホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラーホイール７３自体は回転せず、コントローラーホイール７３上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

電源部４０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮像された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。上述したデジタルカメラ１００では中央１点ＡＦや顔ＡＦを用いた撮像が可能である。

中央１点ＡＦとは撮像画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮像画面内の顔に対してＡＦを行うことである。また、撮像画面内から主被写体を検出し、主被写体に対してＡＦを行うこともできる。

主被写体検出機能について説明する。システム制御部５０はライブビュー表示あるいは再生表示される画像データを画像処理部２４に送る。システム制御部５０の制御下で画像処理部２４は、画像中の特徴量、例えば色情報から、隣接した画素で色情報が近いものをグルーピングして領域分割し、被写体情報としてメモリ３２に記憶する。その後、画像処理部は、グルーピングされた領域中で領域面積が大きい領域を主被写体として判定する。

以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施形態では画像中の色情報から主被写体を検出しているが、画像中のエッジ情報や距離情報から主被写体の検出を行ってもよい。

＜深度合成モードの動作＞
次に本実施形態における深度合成モードについて説明する。深度合成モードへの切り替えは、前述したモード切り替えスイッチ６０を操作することにより、行うことができる。

本実施形態における深度合成モードでは、光軸方向でのフォーカス位置を変えながら複数枚の撮像を行い、各画像から合焦領域のみを抽出して１枚の画像に合成する。

合成に必要十分な画像を取得するため、合成対象となる、最至近側のフォーカス位置、無限遠側のフォーカス位置を決める必要がある。（最至近側から順に撮像するため、最至近側のフォーカス位置を開始位置、無限遠側のフォーカス位置を終了位置とも呼ぶ）さらに各撮像間のフォーカスレンズの移動量となるフォーカスステップも重要である。フォーカスステップが適切でないと、合成画像の画質低下や、合成にかかる時間の増加にもなりうる。

本実施形態では、最適な開始位置、終了位置、フォーカスステップの各合成パラメータを求めるために、本撮像前に、プレ撮像として、フォーカスシフト動画撮像を実施する。プレ撮像で撮像された動画を参照しながら、各合成パラメータを決定した上で、本撮像を行うワークフローとなっている。そのため、プレ撮像と本撮像で画角が変わらないようにするため、三脚等で固定して撮像するのが好ましい。

図２は、本実施形態における撮像を説明するためのフローチャートである。

ステップＳ２０１で、システム制御部５０は、プレ撮像のための初期設定（たとえば、露出）を行う。次にステップＳ２０２では、撮像部２２がプレ撮像を行う。ステップＳ２０３では、表示部２８はプレ撮像で記録した動画を再生し、操作部７０や表示部２８はユーザからの指示を受け、システム制御部５０は、深度合成のパラメータを設定する。ステップＳ２０４では、撮像部が本撮像を行う。ステップＳ２０５で、画像処理部２４は深度合成を行う。以下では、ステップＳ２０２ないしＳ２０５での処理を詳細に説明する。

＜プレ撮像＞
図３は、本実施形態におけるプレ撮像を説明するためのフローチャートである。

ステップＳ３０１で、システム制御部５０は、フォーカスステップＳＴを設定する。図３のフローでは、システム制御部５０は、レンズ１０３を駆動できる最小のフォーカスステップＳＴｍｉｎを設定する。

ステップＳ３０１での設定において、フォーカスステップを極力細かく設定することが好ましい。ただし、記録媒体２００の容量などの制限により、フォーカスステップを多少荒くしてもよい。

ステップＳ３０２で、システム制御部５０は、撮像の開始のフォーカスレンズ位置を設定する。図３のフォローでは、フォーカス位置を最至近側に置かせるフォーカスレンズ位置ＦｌＰｏｓＮｅａｒをフォーカスレンズ位置として設定する。

ステップＳ３０３で、システム制御部５０は、フォーカスレンズをステップＳ３０２で設定した位置ＦｌＰｏｓＮｅａｒまで動かす。

ステップＳ３０４で、システム制御部５０は、フォーカスレンズの位置ＦｌＰｏｓと設定した無限遠側の位置ＦｌＰｏｓｆａｒと比較する。ＦｌＰｏｓがＦｌＰｏｓｆａｒより近ければステップＳ３０５に進み、ＦｌＰｏｓがＦｌＰｏｓｆａｒより遠ければステップＳ３０８に進む。

ステップＳ３０５で、撮像部２２がステップＳ３０３で設定した位置で撮像する。そして、ステップＳ３０６で、記録媒体２００がステップＳ３０５で撮像部２２が撮像した画像、および距離情報を一時記録する。ここでいう距離情報とは、ステップＳ３０３での位置ＦｌＰｏｓのことである。

ステップＳ３０７で、システム制御部５０は、ＦｌＰｏｓの値をフォーカスステップＳＴだけ増やす。そしてフローがステップＳ３０３まで戻る。

ステップＳ３０８で、システム制御部５０は、ステップＳ３０５で撮像した画像を圧縮し、記録媒体２００に動画として記録する。ステップＳ３０８での処理の目的は、記録するデータのサイズを小さくすることであり、必要でなければステップＳ３０８での処理がなくてもよい。

以上は、プレ撮像の処理についての説明であった。解像感の高い合成画像を得るために、プレ撮像の処理において、なるべくフォーカスステップを狭く、フォーカスレンジを広くとることが重要である。ただし、データ量を削減するために、フォーカスステップ、フォーカスレンジを適宜に調整してもよい。また、ステップＳ３０８で動画を作るとき、圧縮率を容量に応じて調整してもよい。

＜深度合成のためのパラメータの設定＞
次に、システム制御部５０は、深度合成のためのパラメータの設定を行う。

図４は、本実施形態における深度合成のためのパラメータの設定を説明するためのフローチャートである。

ステップＳ４０１で、システム制御部５０は、ステップＳ２０２でのプレ撮像で取得された動画を読み込む。

ステップＳ４０２で、表示部２８は、次に先頭フレームとなる画像をデコードし、表示する。ステップＳ４０３で、表示部２８は、動画再生パネルを表示する。

図５は、本実施形態における表示部の表示の一例を示すための図である。図５に示した例では、プレ撮像の後の深度合成のためのパラメータの設定のためのパネルが表示されている。図５に示したパネルは、通常動画再生時のパネルとほぼ同様であるが、深度合成のためのパラメータの設定のため、一部ボタン・アイコンなどが追加されている。

図５において、動画再生パネル５０２の背景には、再生中の動画のフレーム画像５０１（最初は先頭フレーム、その後は一時停止された時のフレーム）が表示されている。動画再生パネル５０２は画面下部に表示される、ボタン・アイコン群を含んだダイアログからなり、ボタン５１１は動画再生パネル５０２を終了時に使用する戻るボタン、ボタン５１２は動画再生開始を指示する再生ボタンである。ボタン５１２は動画再生中に押下された場合はその時点で一時停止動作となる。ボタン５１３はフレーム送りを指示するフレーム送りボタン、ボタン５１４はフレーム戻しを指示するフレーム戻しボタンである。ボタン５１５は押下している間逆方向に再生（巻き戻し）を行う巻き戻しボタン、ボタン５１６は押下している間早送りを行う早送りボタンである。ボタン５１７はフレーム送り・フレーム戻し操作時のフレームスキップ量を調節するためのフレームスキップ数変更ボタンであり増減のため上下２個のボタンから構成されている。ボタン５１８は画像の拡大指示を受け付けるための拡大ボタン、ポインタ５２０は現フレームのフォーカスレンズの合焦位置までの距離を表す距離ポインタ、ボタン５２１は表示中のフレームを開始フレームに指定するための開始フレームボタン、ボタン５２４は表示中のフレームを最終フレームに指定するための終了フレームボタンである。

ここでボタン５１２が押下されると、表示されているフレーム画像５０１の位置から動画の再生が開始され、停止指示がなければ再生開始前に表示していたフレーム画像５０１が含まれる１シーンの動画の再生が継続する。なお、動画再生パネル５０２に含まれる各ボタンの表示位置をタッチすること、あるいは各ボタンを操作部７０に含まれる４方向ボタンで選択した状態でＳＥＴボタンを押下することを、「ボタンを押下する」とも呼ぶ。

ステップＳ４０４では、システム制御部５０は、入力待ちの状態となり、何らかの入力があるとステップＳ４０５へ進み、ステップＳ４０４での入力が戻るボタン５１１の押下による終了指示かを判定する。終了指示ならばステップＳ４２９へ進み、終了指示でないならばステップＳ４０７へ進む。

ステップＳ４０７では、システム制御部５０は、ステップＳ４０４での入力がボタン５１２押下による再生開始指示であるか判定し、再生開始指示ならばステップＳ４０８へ進み、現フレームから動画の再生を開始する。

動画再生時には、画像を順次デコード・表示サイズにリサイズしたものを表示部２８に表示する。プレ撮像時に記憶した距離情報も参照し、動画再生パネル５０２内のポインタ５２０として表示する。動画再生中も入力は受け付けられるため、再生を開始したら、ステップＳ４０４へ戻り入力待ちの状態となる。

また、ステップＳ４０７で再生開始指示でないならばステップＳ４０９へ進み、システム制御部５０は、ステップＳ４０４での入力がフレーム送り指示又はフレーム戻し指示であるか判定する。そして、フレーム送り指示又はフレーム戻し指示ならばステップＳ４１０へ進み、システム制御部５０は、現在表示しているフレームの次又は前のフレームを表示する。その後、ステップＳ４０４へ戻り入力待ちの状態となる。

一方、ステップＳ４０９でフレーム送り指示又はフレーム戻し指示でないならばステップＳ４１１へ進み、システム制御部５０は、ステップＳ４０４での入力がボタン５１７押下によるフレームスキップ数変更指示であるか判定する。フレームスキップ数とはフレーム送りもしくはフレーム戻し時にスキップするフレーム数のことを指す。最小単位は１フレームでもよいが、１フレームで変化するフォーカスステップ幅は微小であるため、必ずしも画面上で確認できるわけではない。このような場合を鑑み、ボタン５１７を押下し、フレームスキップ数を大きめにした後、フレーム送り／フレーム戻しを行う方法によって、画面上での合焦位置の変化の確認がしやすい。

最終に、表示中のフレームスキップ数で、画面上での合焦位置変化が連続的であることが確認できれば、指定したフレームスキップ数、すなわちフォーカスステップ幅で本撮像を行えば良いことになる。つまりフレームスキップ数を増加しても合焦位置変化が連続的で不自然さがなければ、その分、本撮像枚数を削減することができ、データ量の削減だけのみならず、合成にかかる時間を大幅に短縮することができる。

フレームスキップ数は、Ｓ４０８での再生処理時に適用するようにしても良い。上述のような構成で深度確認時の動画再生にかかる時間を短縮することが可能である。

ステップＳ４１１において、フレームスキップ数変更があった場合には押下したボタンに応じて、ステップ４１２に進み、フレームスキップ数を増減させる。次に、ステップＳ４０４へ戻り入力待ちの状態となる。フレームスキップ数の変更時には、同時にフォーカスステップ幅も同じ値を設定する。以上の操作により、最終に設定したフレームスキップ数と同値のフォーカスステップ幅を本撮像時のパラメータとして組み込むことができる。フレームスキップ数に変更がなければ、ステップＳ４１３へ進み、システム制御部５０は、ステップＳ４０４での入力がボタン５１８押下による画像拡大指示であるか判定する。次に、画像拡大指示ならばステップＳ４１４へ進み、システム制御部５０は、再生時点でのピーク位置を中心とした画像拡大処理を行い、表示する。次に、ステップＳ４０４へ戻り入力待ちの状態となる。

ステップＳ４１３において、画像拡大指示でないならばステップＳ４１５へ進み、システム制御部５０は、ステップＳ４０４での入力がボタン５１９押下による開始フレーム指示であるか判定する。次に、開始フレーム指示ならばステップＳ４１６へ進み、システム制御部５０は、現フレームを開始フレームに指定する処理を行い、動画再生パネル５０２上の開始フレーム位置を示す開始位置マーク５２２を指定距離位置に移動する。次に、ステップＳ４０４へ戻り入力待ちの状態となる。

ステップＳ４１５において、開始フレーム指示でないならばステップＳ４１７へ進み、システム制御部５０は、ステップＳ４０４での入力がボタン５２４の押下による終了フレーム指示であるか判定する。次に、終了フレーム指示ならばステップＳ４１８へ進み、システム制御部５０は、現フレームを終了フレームに指定する処理を行い、動画再生パネル５０２上の終了フレーム位置を示す終了位置マーク５２３を指定距離位置に移動する。次に、ステップＳ４０４へ戻り入力待ちの状態となる。

ステップＳ４１７において、終了フレーム指示でないならばステップＳ４１９へ進み、システム制御部５０は、ステップＳ４０４での入力がボタン５１９押下による一時停止指示であるか判定する。次に、一時停止指示ならばＳ４２０へ進み、システム制御部５０は、動画再生中であればステップＳ４２０で一時停止処理を行う。次に、ステップＳ４０４へ戻り入力待ちの状態となる。

ステップＳ４１９において、一時停止指示でないならばステップＳ４０４へ戻り入力待ちの状態となる。

ステップＳ４２９において、システム制御部５０は、動画再生パネルを非表示にする。ステップＳ４３０において、本フロー内で指定したフォーカスステップ（ＳＴ）、開始フレームのフォーカスレンズ位置（ＦｌＰｏｓ＝ＦｌＰｏｓＮｅａｒ）、終了フレームのフォーカスレンズ位置（ＦｌＰｏｓＦａｒ）をパラメータが記録され、フローが終了する。

以上に述べたように、プレ撮像で取得した動画を参照し、パラメータを設定することができる。動画の解像度は撮像される静止画と比べて低くても、ポインタが表示されることにより、距離情報の差などを正確に確認できる。また、ユーザの操作によって拡大表示ができるという点で、フォーカス位置の変化もより明確に確認できる。また、深度合成パラメータを設定するフローは再生状態で行うため、ライブビュー表示中に比べて消費電力が少なく済むというメリットもある。

＜本撮像＞
図６は、本実施形態における本撮像を説明するためのフローチャートである。

ステップＳ６０１で、システム制御部５０は、撮像部２２や画像処理部２４、表示部２８などを制御してライブビュー表示を行わせるとともに、撮像部２２から取得した情報に基づいて、露出などの初期設定を行う。

ステップＳ６０２で、システム制御部５０は、フォーカスレンズの位置をステップＳ４３０で設定したフォーカスレンズ位置ＦｌＰｏｓ（＝ＦｌＰｏｓＮｅａｒ）に動かす。

ステップＳ６０３で、システム制御部５０は、ステップＳ６０２でのフォーカスレンズ位置ＦｌＰｏｓとステップＳ４３０で設定したフォーカスレンズ位置ＦｌＰｏｓＦａｒと比較する。ＦｌＰｏｓ＞ＦｌＰｏｓＦａｒであれば、フローが終了する。ＦｌＰｏｓ≦ＦｌＰｏｓＦａｒであれば、フローがステップＳ６０４に進む。

ステップＳ６０４で、撮像部２２が撮像を行う。

ステップＳ６０５で、フォーカスレンズ位置ＦｌＰｏｓをフォーカスステップＳＴだけ増やす。次にステップＳ６０２に戻る。

＜深度合成＞
最後に、ステップＳ２０５で、画像処理部２４は、本撮像で撮像部２２が取得した画像に対して合成を行う。

深度合成の方法の一例について説明する。まず、システム制御部５０は、合成の対象となる２つの画像の位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、システム制御部５０は、片方の画像に、複数のブロックを設定する。システム制御部５０は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、システム制御部５０は、もう片方の画像に、設定したそれぞれのブロックと同じ位置に、該ブロックよりも広い範囲を、探索範囲を設定する。最後に、システム制御部５０は、もう片方の画像のそれぞれの探索範囲に、最初に設定したブロックとの輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。システム制御部５０は、最初に設定したブロックの中心と前述した対応点から、位置のずれをベクトルとして算出する。システム制御部５０は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

次に、システム制御部５０は位置のずれ量から変換係数を算出する。システム制御部５０は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。

たとえば、システム制御部５０は、（式１）に示した式を用いて変形を行うことができる。

（式１）では、（ｘ´，ｙ´）は変形を行った後の座標を示し、（ｘ，ｙ）は変形を行う前の座標を示す。

次に、画像処理部２４は、位置合わせを行った後のそれぞれの画像に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部２４は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式２）を用いて輝度Ｙを算出する。
Ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ・・・（式２）

次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式３）ないし（式５）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。

次に、画像処理部２４は、合成マップを生成する。合成マップの生成方法としては、画像処理部２４は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の最も高い画素の合成比率を１００％とし、同じ位置にあるほかの画素の合成比率を０％とする。画像処理部２４は、こうした合成比率の設定を、画像のすべての位置に対して行う。

最後に、画像処理部２４は、合成マップに従い画素の置き換えを行い、合成画像を生成する。なお、このようにして算出した合成比率に対して、隣接画素間で合成比率が０％から１００％に変化（あるいは１００％から０％に変化）すると、合成境界での不自然さが目立つようになる。そのため、合成マップに対して所定の画素数（タップ数）を持つフィルタをかけ、隣接画素間で合成比率が急激に変化しないようにする。

なお、以上の記載では、デジタルカメラ１００がすべての処理を行うように説明したが、これに限らない。たとえば、ステップＳ２０５での深度合成の処理を別の画像処理装置で行ってもよい。

図７は、本実施形態における別装置で深度合成を行う一例を説明するための図である。図７は、デジタルカメラ１００、深度合成パラメータ指定を行うための情報機器７０２、撮像対象７０１（バスの模型）を示している。図７に示したような構造により、デジタルカメラ１００を触らずにパラメータを設定することができ、さらに遠隔操作ができれば、デジタルカメラ１００を触らずにすべての操作を情報機器７０２で行うことができる。

また、本実施形態では、表示部２８がピーキングを表示するピーキング機能を設けることもできる。ピーキング機能は、画像のコントラストなどの情報に基づいて、フォーカスが合っている部分を強調するように画像に網掛けパターンや色付きエッジ等を重畳表示するものであり、ピーキング機能が画像処理部２４にて処理される。

図８は、本実施形態におけるピーキングの表示の一例を説明するための図である。図８では、プレ撮像の後、表示部２８がピーキングの情報とプレ撮像で取得された動画とともに表示している様子を示している。領域８０１は、ピーキングが表示されている箇所を示している。システム制御部５０は、動画を再生すると、合焦位置に応じてピーキングの表示箇所もあわせて変更する。

ピーキングに関する情報はステップＳ３０６で取得された距離情報から生成し、撮像画像に付加されたものであってもよい。

一方で、ピーキングに関する情報を撮像画像とは別にデータとして保存しておくことにもメリットがある。ピーキングの色や強度を状況によって変えたい場合や、現フレームのピーキング情報だけでなく、次のフレームのピーキング情報も合わせて表示したい場合などに自由に付加することができ、深度合成パラメータの指定がしやすくなる。

なお、プレ撮像の時に記録する動画の解像度としては、前述のように静止画よりも低い解像度で記録するように説明してきた。ただし、ピーキングに関する情報の抽出をより高精度に行うために、センサー２１の駆動モードは間引きや加算のない全画素読み出しを行うように構成してもよい。

以上のような構成であれば、プレ撮像の後の動画再生時のピーキングをより正確に表示することができる。

本実施形態によれば、プレ撮像で取得された画像をユーザに表示し、パラメータを設定させることで、合成に用いる画像の領域を簡単かつ正確に選ぶことができる。

（そのほかの実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０３ 撮像レンズ
２２ 撮像部
５０ システム制御部

Claims (14)

1. フォーカス位置を変更しながら撮像を行い、画像を取得する撮像手段と、
   前記撮像手段が前記撮像を行うときのフォーカス位置を取得する取得手段と、
   前記撮像手段がプレ撮像を行って取得したプレ撮像の画像と、前記取得手段が取得した前記プレ撮像の画像のフォーカス位置と、に関する表示を行う表示手段と、
   前記表示手段の前記表示に基づいて、ユーザが本撮像に用いられる前記フォーカス位置を指定する指定手段と、
   前記撮像手段が、前記本撮像に用いられる前記フォーカス位置において前記撮像を行って取得した複数の本撮像の画像に対して合成を行う合成手段と、を有することを特徴とする撮像装置。
2. 前記複数の本撮像の画像は、少なくとも一部の画角が重なることを特徴とする請求項１
   に記載の撮像装置。
3. 前記撮像手段が、前記本撮像と前記プレ撮像とで、同じ前記フォーカス位置で前記撮像を行うとき、撮像の画角と絞りとに関する設定が同じであることを特徴とする請求項１または２に記載の撮像装置。
4. 前記指定手段が、前記本撮像の開始のフォーカス位置と終了のフォーカス位置とフォーカスステップとを指定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記指定手段は、前記表示手段が前記プレ撮像で取得した画像を表示するときのスキップ数に基づいて、前記フォーカスステップを指定することを特徴とする請求項４に記載の撮像装置。
6. 前記フォーカス位置は、光軸方向でのフォーカス位置であることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記プレ撮像に用いられる前記フォーカス位置は、前記本撮像に用いられる前記フォーカス位置を含むことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記表示手段は、前記取得手段が前記プレ撮像で取得した前記フォーカス位置に応じてピーキングに関する情報を表示することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記表示手段は、前記撮像手段が前記プレ撮像で取得した前記画像と、該画像の前記フォーカス位置に応じるピーキングに関する情報を表示することを特徴とする請求項８に記載の撮像装置。
10. 前記ピーキングに関する情報は、該画像のコントラスト値から得られることを特徴とする請求項９に記載の撮像装置。
11. 前記表示手段は、前記プレ撮像で得られる画像を、動画として再生することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. フォーカス位置を変更しながら撮像を行い、画像を取得する撮像ステップと、
    前記撮像ステップにおいて前記撮像を行うときのフォーカス位置を取得する取得ステップと、
    前記撮像ステップにおいてプレ撮像を行って取得したプレ撮像の画像と、前記取得ステップにおいて取得した前記プレ撮像の画像のフォーカス位置と、に関する表示を行う表示ステップと、
    前記表示ステップにおける前記表示に基づいて、ユーザが本撮像に用いられる前記フォーカス位置を指定する指定ステップと、
    前記撮像ステップにおいて、前記本撮像に用いられる前記フォーカス位置において前記撮像を行って取得した複数の本撮像の画像に対して合成を行う合成ステップと、を有することを特徴とする撮像方法。
13. 撮像装置をコンピュータに動作させるコンピュータのプログラムであって、
    フォーカス位置を変更しながら撮像を行い、画像を取得する撮像ステップと、
    前記撮像ステップにおいて前記撮像を行うときのフォーカス位置を取得する取得ステップと、
    前記撮像ステップにおいてプレ撮像を行って取得したプレ撮像の画像と、前記取得ステップにおいて取得した前記プレ撮像の画像のフォーカス位置と、に関する表示を行う表示ステップと、
    前記表示ステップにおける前記表示に基づいて、本撮像に用いられる前記フォーカス位置の指定をユーザから受け付ける受付ステップと、
    前記撮像ステップにおいて、前記本撮像に用いられる前記フォーカス位置において前記撮像を行って取得した複数の本撮像の画像に対して合成を行う合成ステップと、を行わせることを特徴とするプログラム。
14. 請求項１３に記載のプログラムを記録したコンピュータ読み出し可能な記録媒体。

Images