JP6700813B2 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

近年、デジタルカメラ等の撮像装置において、撮影後に任意の被写体に合焦した画像を生成する技術が提案されている（特許文献１参照）。特許文献１の撮像装置は、マイクロレンズアレイを介して撮像素子の各画素に撮像光学系の異なる瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録した動画出力データを生成する。その後、撮像装置は、動画記録データから、特定の被写体に合焦した動画を生成する。

特開２０１３−１４５３１４号公報

静止画と動画とでは、高画質な画像を得るのに適した合焦制御が異なる。静止画の場合、被写体に正確に合焦させることが、画質の向上につながる。他方、動画の場合、時間方向の連続性が画質に影響を与える。そのため、被写体が高速に移動した場合、追従速度を抑制して徐々に被写体に合焦させることが、画質の向上につながる。

しかしながら、特許文献１は、動画を生成することは開示しているが、動画記録データの各フレームから静止画を生成することは考慮していない。動画出力データの用途に応じた合焦制御を撮影後に行う技術はこれまで提案されていなかった。

本発明はこのような状況に鑑みてなされたものであり、撮像データから画像を生成する際に、画像の用途に応じた合焦制御を実行することを可能にする技術を提供することを目的とする。

上記課題を解決するために、本発明は、撮像手段により連続的に生成された複数の撮像データを取得する取得手段と、前記複数の撮像データそれぞれについて対象位置を決定する位置決定手段と、第１の合焦モード又は第２の合焦モードを選択する選択手段と、前記対象位置に基づいて、前記複数の撮像データそれぞれについて合焦距離を決定する距離決定手段と、前記複数の撮像データそれぞれについて、前記決定された合焦距離に合焦した画像を前記撮像データから生成する生成手段と、を備え、前記距離決定手段は、前記第１の合焦モードが選択された場合、前記対象位置における被写体距離を前記合焦距離として決定し、前記第２の合焦モードが選択された場合、前記複数の撮像データそれぞれの合焦距離が、前記複数の撮像データの生成順において閾値以下の速度で、前記対象位置における被写体距離に追従するように前記合焦距離の決定を行うことを特徴とする画像処理装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、撮像データから画像を生成する際に、画像の用途に応じた合焦制御を実行することが可能となる。

撮像装置１００のブロック図。 被写体の距離情報について説明する図。 撮像装置１００が実行する再生処理を示すフローチャート。 表示部１０７に表示されるサムネイル画像の模式図。 （Ａ）被写体選択画面５０１を示す図、（Ｂ）フレーム選択画面５０３を示す図。 静止画再生処理（図３のＳ３０５）の詳細を示すフローチャート。 静止画リフォーカス処理の概念図。 動画再生処理（図３のＳ３０６）の詳細を示すフローチャート。 動画リフォーカス処理の概念図。 撮影時に表示部１０７に表示される画面の概略図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

なお、以下では、再生時にリフォーカス処理を実行する画像処理装置の構成を含んだ撮像装置に基づいて、各実施形態の説明を行う。しかしながら、画像処理装置と撮像装置とは分離していてもよい。この場合、画像処理装置は、撮像装置から撮像データなどを取得し、取得した撮像データなどに基づいてリフォーカス処理などの各種画像処理を行う。

また、以下の各実施形態では、再生時のリフォーカス処理を可能にするために、撮像装置はパンフォーカスで撮影を行い、撮像データとしてＲＡＷ画像データを生成するものとする。パンフォーカスの撮像画像の各位置に対して、その位置の被写体距離と目標の合焦距離との差に基づいて画像をぼかす画像処理を行うことにより、目標の合焦距離に対するリフォーカス処理の効果を得ることができる。しかしながら、リフォーカス処理の実現方法はこれに限定されず、撮像装置が生成する撮像データはＲＡＷ画像データに限定されない。例えば、撮像装置は、特許文献１と同様に、様々な方向から入射した光を分離して記録したデータ（ライトフィールドデータ）を撮像データとして生成し、ライトフィールドデータに基づくリフォーカス処理を行ってもよい。

［第１の実施形態］
図１は、第１の実施形態に係る撮像装置１００のブロック図である。図１において、撮像光学系１０１は、ズーム、フォーカス等の操作に応じてレンズ制御できるように構成されている。撮像素子１０２は、ＣＭＯＳ等により構成される。撮像素子１０２は、撮像面の各画素の信号を分割して取り込むことにより画素単位でＡＦ（オートフォーカス）用の位相差信号を取得できるように構成されている。撮像素子１０２から出力される位相差信号を用いれば、撮影する被写体の距離情報を取得することができる。距離情報生成部１１１は、撮像素子１０２から出力される位相差信号をもとに、被写体の距離情報を算出して、メモリ１０５に書き込む。

画像処理部１０３は、撮像素子１０２から出力される画像信号をＡ／Ｄ変換することによりデジタルデータを生成し、このデジタルデータに対して所定の処理を施すことによりＲＡＷ画像データを生成する。ＲＡＷ画像データは、メモリ１０５に一時的に保持される。また、記録モード時においては、画像処理部１０３は、撮影中の映像を液晶パネル等の表示部１０７に表示するために、表示用の現像処理を行う。ＲＡＷ画像データの生成及び現像処理には、任意の既知の技術を利用可能である。また、画像処理部１０３は、ＲＡＷ画像データの再生時にリフォーカス処理を行う（詳細は後述）。

メモリ１０５は、ＤＲＡＭ等により構成され、記録処理部１０４で生成される記録データ、撮像装置１００を制御するプログラム、及び、表示部１０７に表示する文字やアイコン等のリソースデータ等を保持する。

記録処理部１０４は、メモリ１０５に保持されているＲＡＷ画像データ及び被写体の距離情報を読み出して所定の記録フォーマットに変換し、記録媒体１０８に書きこむ。表示処理部１０６は、メモリ１０５に保持されている撮影中の映像、アイコン、及び文字などを表示部１０７に表示する処理を行う。表示部１０７は、液晶パネル等から構成される。記録媒体１０８は、ＳＤメモリカード等の不揮発性半導体メモリである。

システム制御部１１０は、ＣＰＵ等から構成され、撮像装置１００全体を制御する。ＲＯＭ１０９（リードオンリーメモリ）は、制御プログラム、文字フォント、アイコンリソースデータ等を保持する。バス１１２は、撮像装置１００の各部を接続してデータ交換を行うためのバスである。システム制御部１１０からの制御信号をバス１１２を介して撮像装置１００の各部に伝達することで、撮像装置１００全体を制御することができる。操作部１１３は、ボタン及びダイヤル等を含み、記録開始及び記録停止等の動作指示や、各種設定指示のために用いられる。また、表示部１０７の液晶パネル上に装着されているタッチパネルも操作部１１３に含まれるものとする。

ここで、本実施形態に係る撮像装置１００の記録動作について説明する。システム制御部１１０は、操作部１１３の不図示のモード設定ダイヤルが記録モードに設定されたことを検出すると、記録モードの制御に移行する。記録モードにおいては、撮像装置１００は、ユーザが撮影状況を確認できるようにするために、撮影中の被写体像を表示部１０７に表示する。そのために、画像処理部１０３は、撮像光学系１０１を介して入射した被写体像から撮像素子１０２が生成したデータに対して、所定の現像処理を行い、メモリ１０５に出力する。表示処理部１０６は、メモリ１０５のデータを変換して表示部１０７に表示する。また、本実施形態では、記録媒体１０８に記録する画像はＲＡＷ画像データであるものとする。そこで、画像処理部１０３は、撮像素子１０２から出力されるデータに対して所定の処理を施すことによりＲＡＷ画像データを生成し、メモリ１０５に一時的に格納する。その後、記録処理部１０４は、ＲＡＷ画像データを所定の記録フォーマットに変換して記録媒体１０８に記録する。

また、本実施形態では、ユーザは、撮影時には動画と静止画とを区別する必要が無い。撮像装置１００は、操作部１１３を介してユーザから記録開始指示を受信すると、例えば６０ｆｐｓのフレームレートでＲＡＷ画像データを連続的に生成して記録する。撮影中、システム制御部１１０は、画像の種類（動画又は静止画）に依存しないように合焦制御を行う。例えば、システム制御部１１０は、フォーカスがパンフォーカスとなるように撮像光学系１０１の絞りを所定の設定値に絞り、更に、撮像素子１０２及び画像処理部１０３を制御しながらＲＡＷ画像データを取得する。ＲＡＷ画像データの再生時に、ユーザは、静止画再生モード（第１の合焦モード）又は動画再生モード（第２の合焦モード）を選択する。静止画再生モードは、ＲＡＷ画像データを静止画として再生する再生モードであり、動画再生モードは、ＲＡＷ画像データを動画として再生する再生モードである。撮像装置１００は、ＲＡＷ画像データに対して、選択された再生モードに応じた現像処理及びリフォーカス処理を行い、再生画像を生成する。再生時のリフォーカス処理を可能にするために、撮像装置１００は、記録するＲＡＷ画像データの各被写体の距離情報（詳細は後述）を取得し、ＲＡＷ画像データと共に記録する。

次に、図２を参照して、被写体の距離情報について説明する。図２（Ａ）は、撮像装置１００及び被写体２１０〜２１２の配置を示す概略図である。撮像装置１００から被写体２１０〜２１２までの距離は、各々距離Ｌ１〜Ｌ３である。前述の通り、撮像装置１００の撮像素子１０２は、撮像面の各画素の信号を分割して取り込むことにより画素単位でＡＦ（オートフォーカス）用の位相差信号を取得できるように構成されている。距離情報生成部１１１は、撮像素子１０２から取得した位相差信号をもとに、撮影している被写体までの距離情報を所定の分解能で生成する。なお、撮像面位相差検出による距離情報の生成については、任意の既知の技術を用いることができる。

図２（Ｂ）は、図２（Ａ）の配置で撮影を行った場合に取得される距離情報を２次元の画像情報として表した距離マップ２１５の模式図である。距離マップ２１５は、距離を示す数値を画像の濃淡で表しており、濃度が濃いほど被写体が奥（撮像装置１００から遠い位置）にあることを示している。距離データ２２０〜２２２は、図２（Ａ）の被写体２１０〜２１２までの距離を表す濃度である。濃度レベル２３０は、距離マップ２１５の濃度と被写体までの距離との関係を示すものである。

なお、距離情報の形式は距離マップ２１５に限られるものではなく、撮像装置１００からの距離を示す任意の形式を用いることが可能である。また、距離情報の分解能も、図２（Ｂ）に示されるものに限定されない。距離情報は、撮像画像の複数の位置における被写体距離を示していればよく、分解能に応じて、各位置における距離情報がカバーする範囲が適宜決定される。

距離情報生成部１１１が生成した距離マップ２１５は、メモリ１０５の所定の領域に一時的に保持される。そして、記録処理部１０４は、システム制御部１１０の制御に従い、メモリ１０５に保持されている距離マップ２１５を、メモリ１０５に保持されているＲＡＷ画像データと共に、記録媒体１０８に記録する。ＲＡＷ画像データと距離マップ２１５とは、撮像素子１０２の同じタイミングの出力信号を基に生成される。従って、撮像装置１００が複数のＲＡＷ画像データを生成する場合、距離マップ２１５も、ＲＡＷ画像データと同じ数だけ生成される。

なお、撮像装置１００が撮像データとしてライトフィールドデータを生成する場合は、ライトフィールドデータから位相差情報を取得可能である。そのため、撮像装置１００は、撮影時に距離情報を生成する必要は無い。

本実施形態では、システム制御部１１０は、記録モードにおいて操作部１１３の記録ボタン（不図示）の押下を検知すると、記録動作を開始する。記録動作が開始すると、システム制御部１１０は、所定のフォーマットのファイルを生成して、ヘッダ情報等を設定した後に、記録媒体１０８に記録する。前述の通り、本実施形態では、ユーザは、撮影時には動画と静止画とを区別する必要が無い。記録中は、撮像装置１００は、フレームレート６０ｆｐｓで逐次ＲＡＷ画像データと距離マップ２１５とを生成して一時的にメモリ１０５に格納し、記録処理部１０４が所定のタイミングでＲＡＷ画像データと距離マップ２１５とを記録媒体１０８に記録する。記録フレームに付加すべきメタ情報等があれば、記録処理部１０４は、同時に記録媒体１０８に記録する。

ここで、システム制御部１１０は、操作部１１３の記録ボタン（不図示）の押下を再度検知すると、その時点での撮像素子１０２から出力される画像信号に対応したＲＡＷ画像データ及び距離マップ２１５を記録媒体１０８に記録する。その後、システム制御部１１０は、記録動作を停止する。

次に、図３のフローチャートを参照して、撮像装置１００が実行する再生処理について説明する。本フローチャートの各ステップの処理は、特に断らない限り、システム制御部１１０が制御プログラムを実行して撮像装置１００の各部を制御することにより実現される。システム制御部１１０が操作部１１３を介してユーザから再生指示を受信すると、本フローチャートの処理が開始する。

Ｓ３０１で、システム制御部１１０は、ユーザ指示に従い、再生対象の画像ファイルを選択する。そのために、システム制御部１１０は、表示部１０７に、記録媒体１０８に記録されている画像ファイルの一覧をサムネイル画像として表示する。ここで、サムネイル画像の生成について説明する。システム制御部１１０は、記録媒体１０８に記録されている画像ファイルを読み出す。システム制御部１１０は、読み出した画像ファイル内の一連のＲＡＷ画像データの先頭のＲＡＷ画像データをメモリ１０５に保持する。次に、画像処理部１０３は、ＲＡＷ画像データを現像処理し、更に、所定のサイズに縮小したサムネイル画像をメモリ１０５に書き出す。その後、表示処理部１０６は、メモリ１０５に保持されているサムネイル画像を表示部１０７に表示する。

図４は、表示部１０７に表示されるサムネイル画像の模式図である。図４において、表示画面４０１は、タッチパネルを貼付した液晶パネルにより表示される。表示画面４０１には、サムネイル画像４０２〜４０７が表示されている。

ユーザは、表示画面４０１に表示されたサムネイル画像の中から、再生対象の画像を選択する。図４の例では、ユーザは、タッチパネルをタッチすることにより、サムネイル画像４０５を選択している。操作部１１３は、タッチパネルからの信号を受け取り、この信号を表示画面４０１上の座標情報に変換して、システム制御部１１０に出力する。システム制御部１１０は、座標情報をもとに、タッチされているサムネイル画像を検出して、そのサムネイル画像に対応する画像ファイルを特定する。この時、システム制御部１１０は、表示画面４０１において、選択されたサムネイル画像を強調表示してもよい。

次に、Ｓ３０２で、システム制御部１１０は、ユーザ指示に従い、再生モードを選択する。ユーザは、図４の表示画面４０１に表示される静止画再生ボタン４１０及び動画再生ボタン４１１のいずれかをタッチして選択する。システム制御部１１０は、ユーザがタッチした座標をもとに、静止画再生ボタン４１０及び動画再生ボタン４１１のいずれがタッチされたかを検出し、再生モードを決定する。なお、本実施形態では、再生モードとして静止画再生モード又は動画再生モードが選択されるものとして説明を行うが、選択可能な再生モードはこれに限定されない。２以上の再生モードから再生モードを選択可能であり、選択された再生モードに応じて合焦制御が異なるあらゆる構成が、本実施形態に含まれ得る。

Ｓ３０３で、システム制御部１１０は、ユーザ指示に従い、合焦対象とする被写体を選択する。図５（Ａ）は、ユーザが合焦対象の被写体を選択するための表示画面の模式図である。システム制御部１１０は、Ｓ３０１において選択した再生対象の画像ファイルから所定のフレーム間隔でＲＡＷ画像データを読み出す。そして、システム制御部１１０は、Ｓ３０１と同様の手順で現像及びサムネイル画像の生成を行い、表示部１０７に表示する。図５（Ａ）の被写体選択画面５０１には、画像ファイルから６０フレーム間隔、即ち１秒間隔で読み出したフレームから生成したサムネイル画像５１０〜５１３が配置されている。被写体選択画面５０１の中に全てのサムネイル画像が収まらない場合には、ユーザは、タッチパネル上で左右ボタン５０６をタッチすることにより、画面を左右にスクロースして他のサムネイル画像を確認することができる。ユーザは、被写体選択画面５０１に配置されているサムネイル画像内の被写体をタッチすることで、合焦対象の被写体を選択する。図５（Ａ）の例では、サムネイル画像５１０上の被写体５８０が選択されている。ユーザは、画面をスクロールしながら上記と同様の操作を繰り返すことで、フレーム毎に被写体を選択することができる。システム制御部１１０は、選択された被写体の位置情報を、フレーム番号に関連付けてメモリ１０５に保持する。ここで保持される位置情報及びフレーム番号を、以下では「リフォーカスデータ」とも呼ぶ。

なお、本実施形態では、ユーザが選択した被写体の位置がリフォーカス処理における合焦の対象位置として用いられるものとして説明を行うが、本実施形態はこれに限定されない。撮像装置１００は、リフォーカス処理における合焦の対象位置の位置決定を、任意の基準で行うことができる。

また、Ｓ３０３において、ユーザは、画像ファイルの中で再生対象とするフレームを選択することができる。ユーザは、図５（Ａ）のフレーム選択ボタン５０２を押下する。システム制御部１１０は、この押下を検出すると、図５（Ｂ）に示すフレーム選択画面５０３を表示する。フレーム選択画面５０３には、再生対象の画像ファイル内のフレームに対応するサムネイル画像が１秒間隔で表示される。ここでは、サムネイル画像５２０〜５３９が表示されている。フレーム選択画面５０３の中に全てのサムネイル画像が収まらない場合には、ユーザは、上下ボタン５０５をタッチすることにより、画面を上下にスクロースして他のサムネイル画像を表示させることができる。ユーザは、フレーム選択画面５０３において、再生対象とするフレームをタッチして選択する。図５（Ｂ）の例では、サムネイル画像５２８〜５３３が選択されている。この場合、サムネイル画像５２８〜５３３に対応する範囲のフレームが再生対象として選択される。システム制御部１１０は、選択したフレームを示す情報をメモリ１０５に格納する。また、ユーザは、フレーム選択画面５０３の被写体選択ボタン５０４を押下することで、図５（Ａ）の被写体選択画面５０１に遷移することができる。

なお、フレーム選択画面５０３における選択が行われない場合、画像ファイル内の全てのフレームが再生対象となる。また、図５（Ａ）及び図５（Ｂ）の例では、６０フレーム間隔（１秒間隔）でサムネイル画像が表示されているが、サムネイル画像の表示間隔は任意に変更することが可能である。

ユーザが被写体選択画面５０１の再生ボタン５０７をタッチすると、システム制御部１１０は処理をＳ３０４に進める。Ｓ３０４で、システム制御部１１０は、Ｓ３０２において静止画再生モードが選択されたか否かを判定する。静止画再生モードが選択された場合、システム制御部１１０は処理をＳ３０５に進め、そうでない場合、システム制御部１１０は処理をＳ３０６に進める。Ｓ３０５及びＳ３０６の詳細については後述する。

Ｓ３０７で、システム制御部１１０は、再生モードを終了するか否かを判定する。再生モードを終了する場合（例えば、ユーザが操作部１１３により再生モードの終了指示を行った場合）、システム制御部１１０は本フローチャートの処理を終了する。そうでない場合、システム制御部１１０は処理をＳ３０１に戻す。

図６を参照して、Ｓ３０５の静止画再生処理について説明する。Ｓ６０１で、システム制御部１１０は、記録媒体１０８に記録されている再生対象の画像ファイルから、現在の処理対象のフレームに対応するＲＡＷ画像データを読み出し、メモリ１０５に格納する。最初の処理対象のフレームは、画像ファイルの先頭フレーム（図５（Ｂ）のフレーム選択画面５０３において範囲の選択が行われた場合、選択範囲の先頭フレーム）である。また、システム制御部１１０は、画像処理部１０３に、静止画再生に対応した現像パラメータを設定し、画像処理部１０３に現像処理を指示する。システム制御部１１０は、現像処理により得られた静止画データをメモリ１０５に格納する。

Ｓ６０２で、システム制御部１１０は、メモリ１０５からリフォーカスデータを取得する。Ｓ６０３で、システム制御部１１０は、現在の処理対象のフレームに対応するリフォーカスデータが存在するか否かを判定する。Ｓ３０３において説明した通り、リフォーカスデータは位置情報及びフレーム番号を含む。そのため、Ｓ６０３の判定は、リフォーカスデータのフレーム番号と現在の処理対象のフレーム番号との比較に基づいて行われる。現在の処理対象のフレームに対応するリフォーカスデータが存在する場合、システム制御部１１０は処理をＳ６０４に進める。現在の処理対象のフレームに対応するリフォーカスデータが存在しない場合、システム制御部１１０は処理をＳ６０５に進める。

Ｓ６０４で、システム制御部１１０は、Ｓ６０１において生成された静止画データから、リフォーカスデータに含まれる位置情報における被写体の画像データ（被写体データ）を抽出し、メモリ１０５に格納する。この被写体データは、Ｓ６０５における被写体の追尾処理のために用いられる。

Ｓ６０５で、システム制御部１１０は、被写体の追尾処理を行う。具体的には、システム制御部１１０は、Ｓ６０４においてメモリ１０５に格納された被写体データを取得する。そして、システム制御部１１０は、処理対象のフレーム画像において被写体データに対応する被写体の画像を探索することにより、被写体の位置を検出する。また、システム制御部１１０は、検出した被写体の画像データにより、メモリ１０５内の被写体データを更新する。これにより、対応するリフォーカスデータが存在しないフレーム（リフォーカスデータが存在する撮像データ以外の撮像データ）についても、被写体を基準としたリフォーカス処理が可能になる。なお、被写体の追尾方法は上記に限られるものではなく、任意の既知の技術を利用可能である。

なお、合焦対象の被写体がフレームアウトした場合など、システム制御部１１０が被写体の位置の検出に失敗する場合がある。この場合、システム制御部１１０は、メモリ１０５に格納された最新の被写体データよりも古い被写体データ（即ち、直前のフレームよりも前のフレームの被写体データ）を用いて、被写体の位置の検出を行う。このような検出処理の再試行を可能にするために、システム制御部１１０は、Ｓ６０４において被写体データをメモリ１０５に格納したり、Ｓ６０５において被写体データを更新したりする際に、古い被写体データを削除せずに残す。また、所定のフレーム数よりも古い被写体データは削除するように撮像装置１００を構成してもよい。

Ｓ６０６で、システム制御部１１０は、静止画リフォーカス処理を行う。図７は、静止画リフォーカス処理の概念図である。撮像装置１００は、記録されているＲＡＷ画像データと、ＲＡＷ画像データに対応した距離マップをもとに、静止画リフォーカス処理を行う。システム制御部１１０は、記録媒体１０８から処理対象のフレーム番号に対応する距離マップを読み出し、メモリ１０５に格納する。合焦距離の距離決定は、メモリ１０５に格納された距離マップを用いて行われる。

図７の距離マップ７００は、図２（Ｂ）の濃度レベル２３０に示すように、各領域の濃淡レベルが距離を表している。図７の画像７０１は、距離マップ７００に対応する画像を表している。被写体領域７０２は、合焦対象の被写体の位置を示す。この位置は、リフォーカスデータに含まれる位置情報、又はＳ６０５の追尾処理によって検出された位置に対応する。画像処理部１０３は、被写体領域７０２の座標に対応する距離データを距離マップ７００から取得する。図７の距離マップ７００では、被写体領域７０２に対応する距離データは領域「Ａ」に対応するので、画像処理部１０３は、領域「Ａ」の距離データを取得する。

次に、画像処理部１０３は、取得した距離データを「ｋ」として、距離マップ７００の各領域の距離データとの差「ｄｋ」を算出する。そして、画像処理部１０３は、差「ｄｋ」に所定の係数を乗算して算出した値ｎを用いて、ｎ×ｎのサイズで係数ｐのカーネルを生成する。そして、画像処理部１０３は、距離マップ７００の各領域に対して生成したカーネルを用いて、Ｓ６０１で生成された静止画とコンボリューション演算を行い、画像をぼかす。これにより、被写体領域７０２の距離データとの差に応じて画像のぼかし量が変化したリフォーカス画像を得ることができる。なお、リフォーカス処理は上述の処理に限られるものではなく、任意の既知の技術を利用可能である。

上記のリフォーカス処理により、ユーザが選択した被写体に合焦し、奥行き方向における被写体との距離差に応じてぼかされたリフォーカス画像が生成される。生成されたリフォーカス画像は、メモリ１０５に格納される。

Ｓ６０７で、システム制御部１１０は、メモリ１０５に保持されたリフォーカス画像を、再生画像として表示部１０７に表示する。再生画像の表示は、１枚毎に行われる。ユーザが送りボタン（不図示）を押下したり、タッチパネルのスライド操作を行ったりすることにより、再生画像が次の画像に遷移する。また別の表示方法として、再生画像を縮小して複数枚毎に表示部１０７に表示することも可能である。

Ｓ６０８で、システム制御部１１０は、再生対象のフレームのうちの最終フレームに到達したか否かを判定する。最終フレームに到達した場合、システム制御部１１０は処理を図３のフローチャートに戻す。最終フレームに到達していない場合、システム制御部１１０は処理をＳ６０１に戻し、次のフレームを処理対象のフレームとして同様の処理を行う。

以上のように、静止画再生処理においては、リフォーカスデータに保持されているフレームの被写体を追尾しながら合焦したリフォーカス画像がフレーム単位で逐次生成、表示される。

次に、図８を参照して、図３のＳ３０６の動画再生処理について説明する。図８において、図６と同一又は同様の処理が行われるステップには図６と同一の符号を付し、その説明を省略する。Ｓ８０１で、システム制御部１１０は、記録媒体１０８に記録されている再生対象の画像ファイルから、現在の処理対象のフレームに対応するＲＡＷ画像データを読み出し、メモリ１０５に格納する。最初の処理対象のフレームは、画像ファイルの先頭フレーム（図５（Ｂ）のフレーム選択画面５０３において範囲の選択が行われた場合、選択範囲の先頭フレーム）である。また、システム制御部１１０は、画像処理部１０３に、動画再生に対応した現像パラメータを設定し、画像処理部１０３に現像処理を指示する。システム制御部１１０は、現像処理により得られた動画データをメモリ１０５に格納する。

Ｓ８０６で、システム制御部１１０は、動画リフォーカス処理を行う。図９を参照して、動画リフォーカス処理について説明する。図９の上段は、合焦距離の変動を模式的に示し、図９の中段は、再生対象のフレームを模式的に示す。フレーム９２０〜９２８は、生成順に並んでおり、６０ｆｐｓのフレームレートで再生される。図９の下段は、フレーム９２０及び９２５を表示部１０７に表示したときのリフォーカス画像を模式的に示す。動画再生処理においては、静止画再生処理と比較して、合焦距離の決定方法が異なる。動画ではフレーム間の画像の連続性が画質に影響を与えるため、撮像装置１００は、合焦距離の変動速度を閾値以下に制限する。

現在、フレーム９２１が処理対象であるものとする。直前のフレーム９２０の合焦距離は距離９１０であり、この時、リフォーカス画像９３０において被写体９３２に合焦しているものとする。また、フレーム９２１では、被写体９３３が合焦対象として選択されているものとする。システム制御部１１０は、記録媒体１０８から、フレーム９２１に対応する距離マップを読み出し、メモリ１０５に格納する。システム制御部１１０は、距離マップに基づき、フレーム９２１における被写体９３３の距離９１１ｂを検出する。ここで、仮にフレーム９２１の合焦距離を距離９１１ｂとした場合、距離９１０からの変化量が大きく、動画が不自然になる。そこで、システム制御部１１０は、閾値以下の速度で合焦距離が被写体９３３に追従するように、合焦距離を距離９１１ａに決定する。そして、システム制御部１１０は、距離９１１ａに合焦するように、リフォーカス画像を生成する。具体的な生成方法は、図６のＳ６０７と同様である。

フレーム９２２〜９２４についても、被写体距離は距離９１２ｂ〜９１４ｂであるが、速度を閾値以下に制限した結果、距離９１２ａ〜９１４ａを合焦距離とするリフォーカス画像が生成される。フレーム９２５〜９２８については、処理対象のフレームの被写体距離と直前のフレームの合焦距離との差が小さいため、被写体距離と一致する距離９１５〜９１８を合焦距離とするリフォーカス画像が生成される。従って、リフォーカス画像９３１においては、被写体９３３に合焦している。

上記のリフォーカス処理により、複数のフレームに亘って合焦距離がユーザが選択した被写体に閾値以下の速度で追従するリフォーカス画像が生成される。生成されたリフォーカス画像は、メモリ１０５に格納される。

なお、ユーザが閾値を決定可能なように撮像装置１００を構成してもよい。例えば、撮像装置１００は、表示部１０７に閾値決定画面を表示し、ユーザは、閾値決定画面において所望の閾値を指示する。システム制御部１１０は、閾値決定画面におけるユーザ指示に従い、閾値を決定する。

Ｓ８０７で、システム制御部１１０は、メモリ１０５に保持されたリフォーカス画像を、再生画像として表示部１０７に表示する。静止画再生処理の場合（Ｓ６０７）と異なり、再生画像は、再生フレームレート（例えば６０ｆｐｓ）に従って自動的に次の画像に遷移する。従って、システム制御部１１０は、再生画像の表示後、自動的に処理をＳ６０８に進め、再生フレームレートに従って次々と再生画像を表示する。

以上説明したように、第１の実施形態によれば、撮像装置１００は、撮像データの再生時に、リフォーカス処理を行って再生画像を生成する。撮像装置１００は、選択された再生モードに応じて、リフォーカス処理の合焦距離を決定する。これにより、画像の用途に応じた合焦制御を実行することが可能となる。

［第２の実施形態］
第１の実施形態では、再生時にリフォーカスデータを生成する構成について説明した（図３のＳ３０３参照）。これに対し、第２の実施形態では、撮影時にリフォーカスデータを生成する構成について説明する。本実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。

図１０は、撮影時に表示部１０７に表示される画面の概略図である。画像１００１は、撮像装置１００が撮影中に撮像素子１０２を介して取得した画像である。ユーザは、撮影中に合焦対象の被写体をタッチ操作で選択することが可能である。図１０の例では、ユーザは、被写体１００２にタッチしたものとする。ユーザが被写体をタッチすると、操作部１１３は、タッチパネルからの信号を受け取り、この信号を表示画面上の座標に変換してシステム制御部１１０に出力する。システム制御部１１０は、この座標を示す位置情報と、現在のフレーム番号とを、リフォーカスデータとして記録媒体１０８に記録する。次のフレーム以降については、システム制御部１１０は、被写体の追尾を行って被写体の位置を検出し、リフォーカスデータを記録媒体１０８に記録する。或いは、システム制御部１１０は、被写体の追尾を行わず、ユーザがタッチを行ったタイミングのフレームについてのみリフォーカスデータを生成してもよい。リフォーカスデータは、例えば、画像ファイルのヘッダ部に記録される。

再生処理は、図３のＳ３０３を除き、第１の実施形態と同様である。第２の実施形態では、Ｓ３０３において、システム制御部１１０は、再生対象の画像ファイルのヘッダ部にリフォーカスデータが含まれることを検出する。この検出に応じて、システム制御部１１０は、表示部１０７に、画像ファイルのリフォーカスデータを使用するか否かを確認するメッセージを表示する。ユーザは、操作部１１３を介して、画像ファイルのリフォーカスデータを使用するか否かを選択する。ユーザが画像ファイルのリフォーカスデータを使用する場合、システム制御部１１０は、画像ファイルのリフォーカスデータを使用してＳ３０４以降の処理を行う。

ところで、第１の実施形態においては、撮像装置１００は、撮像画像の各位置の被写体距離と合焦距離との差に基づいてリフォーカス処理を行うものとした。しかしながら、本実施形態の撮像装置１００は、この差に加えて、撮像光学系１０１のレンズの設計データを用いてリフォーカス処理を行う。撮像装置１００は、リフォーカス処理の際に、画像処理部１０３を用いて、合焦距離以外の距離に位置する被写体のぼけ量を、レンズの設計データをもとに算出して、リフォーカス画像を生成する。なお、レンズの設計データからぼけ量を算出する技術は、任意の既知の技術を使用可能である。

また、第２の実施形態では、撮像装置１００は、動画再生処理（図８及び図９参照）における合焦距離の変動速度の閾値を、レンズの設計データに基づいて決定する。

以上説明したように、第２の実施形態によれば、撮像装置１００は、再生時に用いるリフォーカスデータを、撮影時におけるユーザの被写体選択に応じて生成する。これにより、撮影時の状況を反映したリフォーカス画像を生成することが可能となる。また、本実施形態では、撮像装置１００はレンズの設計データを用いてリフォーカス処理を行うため、光学的なフォーカス制御により近い画質を得ることができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１０１…撮像光学系、１０２…撮像素子、１０３…画像処理部、１０４…記録処理部、１０５…メモリ、１０６…表示処理部、１０７…表示部、１０８…記録媒体、１０９…ＲＯＭ、１１０…システム制御部、１１１…距離情報生成部

Claims (10)

1. 撮像手段により連続的に生成された複数の撮像データを取得する取得手段と、
   前記複数の撮像データそれぞれについて対象位置を決定する位置決定手段と、
   第１の合焦モード又は第２の合焦モードを選択する選択手段と、
   前記対象位置に基づいて、前記複数の撮像データそれぞれについて合焦距離を決定する距離決定手段と、
   前記複数の撮像データそれぞれについて、前記決定された合焦距離に合焦した画像を前記撮像データから生成する生成手段と、
   を備え、
   前記距離決定手段は、
   前記第１の合焦モードが選択された場合、前記対象位置における被写体距離を前記合焦距離として決定し、
   前記第２の合焦モードが選択された場合、前記複数の撮像データそれぞれの合焦距離が、前記複数の撮像データの生成順において閾値以下の速度で、前記対象位置における被写体距離に追従するように前記合焦距離の決定を行う
   ことを特徴とする画像処理装置。
2. 前記複数の撮像データそれぞれは、パンフォーカスの撮像画像を示すデータであり、
   前記取得手段は、前記複数の撮像データそれぞれについて、前記撮像画像の複数の位置における被写体距離を示す距離情報を更に取得し、
   前記生成手段は、前記撮像画像の前記複数の位置それぞれについて、前記位置における被写体距離と前記決定された合焦距離との差に基づいて前記撮像画像をぼかす画像処理を行うことにより、前記決定された合焦距離に合焦した画像を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記位置決定手段は、前記複数の撮像データのうちの１以上の撮像データそれぞれについて、ユーザ指示に従って前記対象位置を決定する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記取得手段は、前記複数の撮像データのうちの１以上の撮像データそれぞれについて、特定の位置を示す位置情報を更に取得し、
   前記位置決定手段は、前記１以上の撮像データそれぞれについて、前記位置情報が示す位置を前記対象位置として決定する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記位置決定手段は、前記１以上の撮像データ以外の撮像データについては、前記複数の撮像データの生成順において直前の撮像データの前記対象位置の被写体に対応する位置を検出し、当該検出した位置を当該撮像データの前記対象位置として決定する
   ことを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記位置決定手段は、前記直前の撮像データの前記対象位置の被写体に対応する位置の前記検出に失敗した場合、前記直前の撮像データよりも前の撮像データの前記対象位置の被写体に対応する位置を検出する
   ことを特徴とする請求項５に記載の画像処理装置。
7. ユーザ指示に従って前記閾値を決定する閾値決定手段を更に備える
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 請求項１乃至７のいずれか１項に記載の画像処理装置と、
   前記撮像手段と、
   を備えることを特徴とする撮像装置。
9. 画像処理装置が実行する画像処理方法であって、
   撮像手段により連続的に生成された複数の撮像データを取得する取得工程と、
   前記複数の撮像データそれぞれについて対象位置を決定する位置決定工程と、
   第１の合焦モード又は第２の合焦モードを選択する選択工程と、
   前記対象位置に基づいて、前記複数の撮像データそれぞれについて合焦距離を決定する距離決定工程と、
   前記複数の撮像データそれぞれについて、前記決定された合焦距離に合焦した画像を前記撮像データから生成する生成工程と、
   を備え、
   前記距離決定工程では、
   前記第１の合焦モードが選択された場合、前記対象位置における被写体距離を前記合焦距離として決定し、
   前記第２の合焦モードが選択された場合、前記複数の撮像データそれぞれの合焦距離が、前記複数の撮像データの生成順において閾値以下の速度で、前記対象位置における被写体距離に追従するように前記合焦距離の決定を行う
   ことを特徴とする画像処理方法。
10. コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。