JP5181832B2 - 撮影画像合成方法およびデジタルカメラ - Google Patents

Description

本発明は、カメラ付携帯電話機等の十分な絞り機構が搭載されていないデジタルカメラによって、被写体を鮮明に、かつ背景をボカした画像等を撮影する技術に関する。

被写体にピントを合わせて写真撮影を行うと、被写体はシャープに写し出されるが、被写体の前後に位置している前景および背景は、被写体よりボケた画像となる。このとき撮影レンズからみてシャープに写し出される距離範囲を被写界深度といい、焦点距離と撮影距離を同じ条件にした場合、レンズの絞り（Ｆ値）を絞り込むほど被写界深度は深くなり、開放にするほど被写界深度は浅くなる。

例えばポートレート撮影等、特定の対象物の撮影を行う場合に、レンズを開放状態に設定して被写界深度を浅くした状態で被写体にピントを合わせて撮影することにより、主要被写体のみを鮮明に描写し、被写体の前後に位置している前景および背景を意識的にボカした写真を撮影する手法があるが、その場合、レンズとしてＦ値の明るい大口径レンズを用いて撮影しないと十分なボケ効果のある写真は得られない。

一方、最近はデジカメやカメラ付携帯電話機が普及しているが、Ｆ値の明るい大口径レンズは、レンズ自体が大型化するとともに高価であって、カメラ付携帯電話機等に搭載されたカメラ用のレンズとして採用することは殆ど不可能である。そのため、カメラ付携帯電話機等に搭載されたカメラのレンズ自体の特性によって、被写体を鮮明にして背景をボカした写真撮影を行うことは一般的には困難である。

このような問題を解決する手段として、特許文献１には、撮影レンズによって撮像素子上に結像させた光学像をデジタルデータとして記録媒体に記録するデジタルカメラにおいて、前記光学像を前記撮像素子からの距離に応じて主要被写体を含むエリアと、該主要被写体の前景及び／又は背景となるエリアとを含む複数のエリアに区分けする区分け手段と、主要被写体に対して合焦位置で撮像を行うとともに、該合焦位置に対して焦点位置をずらした複数コマの撮像を行う撮像制御手段と、撮像画像を表示する表示手段と、前記表示手段で表示された複数コマの撮像画像の中から前記各エリアを構成する画像を選択する画像選択手段と、前記画像選択手段で選択された前記各エリアの画像を前記複数コマの撮像画像の中から抽出し、これらのエリアの画像を１つに合成する画像合成手段と、を備えることにより、Ｆ値の明るい大口径レンズを使用しなくても、同等のボケ描写効果を有する画像の撮影を可能にする技術が記載されている。

特開２００３−２０９７２７号公報

特許文献１に記載のデジタルカメラによれば、主要被写体に対して合焦位置で撮像を行うとともに、該合焦位置に対して焦点位置をずらした複数コマの撮像を行い、これら複数の撮影画像を合成することによって、主要被写体の前景又は背景となる画像を好みのボケ描写画像とすることができるので、Ｆ値の明るい大口径レンズを使用しなくても、同等のボケ描写効果を有する撮影画像を取得することができる。

しかし、特許文献１に記載の発明では、撮影レンズによって撮像素子上に結像させた光学像を、先ず区分け手段によって、撮像素子からの距離に応じて主要被写体を含むエリアと、該主要被写体の前景及び／又は背景となるエリアとを含む複数のエリアに区分けし、その後、主要被写体に対して合焦位置で撮像を行うとともに、該合焦位置に対して焦点位置を前あるいは後にずらして複数コマの撮像を行い、この複数コマの撮像画像の中からユーザによって選択された各エリアの画像データを合成して１つの合成画像を生成する構成であるため、その構成が複雑であるとともに、操作も面倒である。

本発明の目的は、比較的簡単な方法で画像合成によるボケ描写効果を有する撮影画像を取得可能にする手段を提供することにある。

本発明の撮影画像合成方法は、被写体撮影時に撮影レンズを最短撮影距離位置（マクロ端）から∞位置方向又は∞位置から最短撮影距離位置方向に移動させながら、前記最短撮影距離位置及び前記被写体の合焦位置においてそれぞれ前記被写体を撮影し、該撮影した各画像のコントラスト値から、前記被写体領域と該被写体の背景領域をそれぞれ抽出するとともに、該抽出した被写体領域に対して、前記被写体の合焦位置で撮影した該当領域の画像を当て嵌め、前記抽出した背景領域に対して、前記最短撮影距離位置で撮影した該当領域の画像を当て嵌めて一つの画像に合成することを特徴とする。

また本発明の撮影画像合成方法は、被写体撮影時に撮影レンズの焦点を最短撮影距離位置（マクロ端）から∞位置方向又は∞位置から最短撮影距離位置方向に移動させながら、前記最短撮影距離位置、前記被写体の合焦位置及び前記∞位置においてそれぞれ前記被写体を撮影し、該撮影した各画像のコントラスト値から、前記被写体領域と該被写体の背景領域をそれぞれ抽出するとともに、合成方法選択指示に従って、前記抽出した被写体領域および背景領域に対して、前記最短撮影距離位置、前記被写体の合焦位置及び前記∞位置で撮影した各画像から選択された前記被写体領域および背景領域を組み合わせて一つの画像に合成することを特徴とする。

また本発明の撮影画像合成方法は、被写体撮影時に撮影レンズの焦点を最短撮影距離位置（マクロ端）から∞位置方向又は∞位置から最短撮影距離位置方向に移動させながら、前記最短撮影距離位置、前記被写体の合焦位置及び前記∞位置においてそれぞれ前記被写体を撮影し、該撮影した各画像のコントラスト値から、前記被写体領域と該被写体の背景領域および前景領域をそれぞれ抽出するとともに、合成方法選択指示に従って、前記抽出した被写体領域と背景領域および前景領域に対して、前記最短撮影距離位置、前記被写体の合焦位置及び前記∞位置で撮影した各画像から選択された前記被写体領域と背景領域および前景領域を組み合わせて一つの画像に合成することを特徴とする。

本発明のデジタルカメラは、被写体撮影時に撮影レンズを最短撮影距離位置（マクロ端）から∞位置方向又は∞位置から最短撮影距離位置方向に移動させながら、前記最短撮影距離位置及び前記被写体の合焦位置においてそれぞれ前記被写体を撮影する被写体撮影手段と、前記撮影された各画像のコントラスト値から、前記被写体領域および該被写体の背景領域をそれぞれ抽出する被写体／周囲景抽出手段と、前記抽出された被写体領域に対して、前記被写体の合焦位置で撮影された該当領域の画像を当て嵌め、前記抽出された背景領域に対して、前記最短撮影距離位置で撮影された該当領域の画像を当て嵌めて一つの画像に合成する画像合成手段と、を備えていることを特徴とする。

また本発明のデジタルカメラは、被写体撮影時に撮影レンズを最短撮影距離位置（マクロ端）から∞位置方向又は∞位置から最短撮影距離位置方向に移動させながら、前記最短撮影距離位置、前記被写体の合焦位置及び前記∞位置においてそれぞれ前記被写体を撮影する被写体撮影手段と、前記撮影された各画像のコントラスト値から、前記被写体領域および該被写体の背景領域をそれぞれ抽出する被写体／周囲景抽出手段と、合成方法選択指示に従って、前記抽出された被写体領域および背景領域に対して、前記最短撮影距離位置、前記被写体の合焦位置及び前記∞位置で撮影した各画像から選択された前記被写体領域および背景領域を組み合わせて一つの画像に合成する撮影画像合成手段と、を備えていることを特徴とする。

また本発明のデジタルカメラは、被写体撮影時に撮影レンズを最短撮影距離位置（マクロ端）から∞位置方向又は∞位置から最短撮影距離位置方向に移動させながら、前記最短撮影距離位置、前記被写体の合焦位置及び前記∞位置においてそれぞれ前記被写体を撮影する被写体撮影手段と、前記撮影された各画像のコントラスト値から、前記被写体領域と該被写体の背景領域および前景領域をそれぞれ抽出する被写体／周囲景抽出手段と、合成方法選択指示に従って、前記抽出された被写体領域と背景領域および前景領域に対して、前記最短撮影距離位置、前記被写体の合焦位置及び前記∞位置で撮影した各画像から選択された前記被写体領域と背景領域および前景領域を組み合わせて一つの画像に合成する撮影画像合成手段と、を備えていることを特徴とする。

本発明によれば、カメラ付携帯電話など十分な絞り機構が搭載されていないデジタルカメラに対して、レンズを∞位置からマクロ位置まであるいはマクロ位置から∞位置まで、一方向に移動制御している間に、マクロ位置及び被写体合焦位置において、又はマクロ位置、被写体合焦位置及び∞位置においてそれぞれ前記被写体の撮影を完了することができるので、撮影時間が短縮され、撮影中における被写体の位置ずれ等を最小限に抑えることができる。

また、合成画像として、マクロ位置と∞位置での撮影画像を用いているので、比較的簡単な構成および操作でボケ効果の大きい撮影画像を得ることができる。

また、合成処理の方法により、フルフォーカス（近/遠共に合焦）、フルピンボケ（全てがピントボケ）等の画像も容易に撮影することができる。

図１は、本発明が適用されるデジタルカメラの要部構成を示す機能ブロック図であり、図に示す機能ブロックを備えた単体のデジタルカメラ、あるいはこのデジタルカメラを搭載した携帯電話機等のカメラ機能付携帯通信端末として実現可能である。

本実施形態のデジタルカメラは、レンズ制御部１１、イメージセンサ部１２、制御部１３、メモリ部１４、画像処理部１５、表示部１６、保存部１７、操作部１８から構成される。なお、本実施形態のデジタルカメラを搭載した携帯通信端末として実現する場合には、制御部１３、メモリ部１４、画像処理部１５、表示部１６、保存部１７、操作部１８は、該携帯通信端末がこれらに対応して備えている機能ブロックと兼用させることができる。

レンズ制御部１１は、制御部１３の命令に従いレンズ移動を行い、制御部１３に指定位置への移動結果を返り値として返す。イメージセンサ部１２は、制御部１３の命令に従い、撮影画像を制御部１３へ出力する。制御部１３ではイメージセンサ部から出力された画像データをメモリ部１４に出力する。画像処理部１５ではメモリ部の画像データを用いて合成処理を行う。

表示部１６には画像処理部１５で合成処理された画像が表示され、操作部１８の操作により表示された画像が保存部１７に保存される。また、操作部１８の操作により本手法の使用可否が制御部１３に命令され、本手法を使用しない場合には通常のＡＦ（オートフォーカス）機能による１回の被写体撮影が行われ、画像処理部１５での合成処理は行わないものとする。

図２は、本発明の第１の実施形態を示すフローチャートであり、図３〜図４は、本実施形態の動作説明図である。以下、図１〜図４を参照して、本実施形態の動作について説明する。

カメラ起動中に操作部１８の操作に従って制御部１３は、本実施形態の被写体強調モードを使用するかどうかを決定する（Ｓ１）。被写体強調モードを使用しない場合は、通常の撮影モードに移行する。通常撮影モードではＡＦ機能によりレンズ位置を被写体合焦状態に設定して１回撮影する（Ｓ８）。撮影した合焦画像をそのまま表示部に出力して表示後（Ｓ９）、操作部１８からの保存指示（Ｓ１０）に従って、撮影画像を保存する（Ｓ１１）。

被写体強調モードが選択された場合は、レンズ制御部１１により撮影レンズ位置を∞位置（∞端）から最短撮影距離位置（マクロ端）方向に移動させながら、レンズ位置が被写体合焦位置となったとき及びマクロ位置となったときの２箇所において同一被写体を撮影する自動連続撮影が行われる（Ｓ２）、（Ｓ３）。次に、（Ｓ２）と（Ｓ３）で撮影した画像を合成する（Ｓ４）。

図３に示すように、コントラスト値は、被写体に合焦している場合（レンズ位置Ｂ）は大きいが、非合焦時（レンズ位置Ａ）では小さくなる。また、マクロモードのレンズ位置Ａで撮影した遠方の背景画像は被写体に合焦しているレンズ位置Ｂで撮影した遠方の背景画像よりもコントラスト値が小さく、ピンボケの度合いも大きい。（Ｓ２）と（Ｓ３）で撮影した２枚の画像のコントラスト値の差分をとると、被写体に合焦している領域の差分は、合焦していない背景領域の差分よりも大きくなる。そこで、２枚の画像のコントラスト値の差分より被写体と背景の判断を行うことで合成箇所を抽出する。

なお、図３に示すように、被写体合焦状態（レンズ位置Ｂ）に設定して撮影した画像において、被写体のコントラスト値は、背景のコントラスト値よりも大きくなるので、被写体合焦状態（レンズ位置Ｂ）に設定して撮影した画像から、コントラスト値が大きい領域を被写体と判定して抽出し、コントラスト値が小さい領域を背景と判定してそれぞれの合成箇所を抽出することもできる。

（Ｓ４）の画像合成は、図４に示すように、抽出された被写体部分には、レンズ位置を被写体合焦状態で撮影したコントラスト値の大きい部分を当て嵌め、抽出された背景部分には、マクロモード撮影状態で撮影したコントラスト値の小さい部分を当て嵌めて合成処理を行う（Ｓ５）。従って、合成された画像は、ＡＦ機能によりレンズ位置を被写体合焦状態に設定して撮影した画像（画像Ｂ）と比較して、背景のボケがより強調された画像となる。合成した画像は表示部１６に出力されて表示され（Ｓ５）、操作部１８からの保存指示（Ｓ６）に従って保存される（Ｓ７）。

図５は、本発明の第２の実施形態を示すフローチャートであり、図６〜図７は、本実施形態の動作説明図である。

本実施形態では、レンズ位置を、最短撮影距離位置（マクロ端）／被写体合焦位置／∞位置の３箇所に設定して自動連続撮影を行うモード（以下、多段ＡＦモードという）により、同一被写体を、レンズを∞合焦位置、被写体合焦位置、およびマクロ合焦位置でそれぞれ撮影し、これら３枚の撮影画像を適宜合成することにより、被写体強調画像の他に、フルフォーカス画像やフルピンボケ画像等、ユーザが好みの合成画像を得ることを可能にしている。以下、図１、図５〜図７を参照して、本実施形態の動作について説明する。

カメラ起動中に操作部１８の操作に従って、多段ＡＦモードを使用するかどうかを決定する（Ｓ２１）。多段ＡＦモードを使用しない場合は通常の撮影モードに移行する。通常撮影モードでは被写体に合焦したＡＦモードで被写体を１回撮影する（Ｓ２９）。撮影画像はそのまま表示部に出力されて表示後（Ｓ３０）、操作部１８からの保存指示（Ｓ３１）に従って保存される（Ｓ３２）。

操作部１８の操作によって多段ＡＦモードが選択された場合は多段ＡＦモードに移行する。多段ＡＦモードの撮影では、レンズ制御部１１により撮影レンズ位置を∞位置（∞端）から最短撮影距離位置（マクロ端）方向に移動させながら、レンズ位置が∞位置／被写体合焦位置／マクロ位置となったときの３箇所において同一被写体を撮影する自動連続撮影が行われる（Ｓ２１）。

この場合のレンズ移動は図６に示すように、レンズが∞側から移動開始し、∞の位置（Ｃ）で撮影後、被写体合焦位置（Ｂ）で撮影し、最後にマクロの位置（Ａ）で撮影を行う。撮影結果はメモリ部１４に保存され後の合成処理で使用される。なお実施例では、レンズ移動を∞側から動作を開始するようにしているが、この限りではなくマクロ側から動作を開始しても良い。

本実施形態では、合成方法の選択結果（Ｓ２３）により合成処理が異なる。被写体強調フォーカスを行う場合の合成処理は図６の（Ａ）と（Ｂ）で撮影した画像を合成する（Ｓ２４）。フルフォーカスを行う場合の合成処理は図６の（Ｂ）と（Ｃ）で撮影した画像を合成する（Ｓ２５）。フルピンボケを行う場合の合成処理は図６の（Ａ）と（Ｃ）で撮影した画像を合成する（Ｓ２６）。

図７に示すように、（Ａ）の位置で撮影した画像は遠方がピンボケしており、（Ｃ）の位置で撮影した画像は近距離がピンボケしている画像が常に得られる。また、（Ｂ）の位置では被写体にピントが合っている画像が得られる。この３パターンの画像を組み合わせることにより各々の場合の画像合成を実現する。画像内の合成箇所は撮影した各画像でコントラスト値を比較し、合成処理方法に応じて決定する。

コントラスト値による画像合成処理方法は図３で説明した第１の実施形態の場合と同様である。なお、図３では例として被写体強調フォーカス時の合成処理方法を述べているが、フルフォーカス時は２枚の画像のコントラスト値の大きい部分の重ね合わせであり、フルピンボケ時はコントラスト値の小さい部分を重ね合わせる。合成後は画像を表示部１６に表示し（Ｓ２７）、操作部１８からの保存指示（Ｓ２８）に従って保存する（Ｓ２９）。

本実施形態によれば、被写体強調フォーカスの他に、フルフォーカスやフルピンボケの合成画像を得ることができる。また本実施形態で説明した以外の態様として、背景のみ鮮明で被写体がピンボケした画像の合成を選択して実施させることも可能である。

また上記実施形態では、２枚の画像を合成したが、（Ａ）、（Ｂ）、（Ｃ）の各レンズ位置で撮影した３枚の画像を合成することも可能である。

例えば被写体とカメラの間に前景がある場合、（Ａ）と（Ｂ）の各レンズ位置で撮影した撮影画像を比較することによって（Ａ）の撮影画像のコントラスト値が（Ｂ）の撮影画像のコントラスト値よりも大きい領域を前景として抽出する。そして、画像合成時には、該抽出した前景領域に対して、（Ｃ）のレンズ位置で撮影した撮影画像の該当領域を嵌め込む。このようにすれば、前景及び背景を含む被写体の周囲景を効率よくボカすことができ、より被写体を強調した画像を合成することができる。

また、フルフォーカス合成が選択された場合には、前記抽出した前景領域に対して、（Ａ）のレンズ位置で撮影した撮影画像の該当領域を嵌め込むことによって、前景、被写体および背景に亘って、よりピントの合った画像の合成が可能となる。

本発明が適用されるデジタルカメラの要部構成を示す機能ブロック図である。 本発明の第１の実施形態を示すフローチャートである。 第１の実施形態の動作説明図である。 第１の実施形態の動作説明図である。 本発明の第２の実施形態を示すフローチャートである。 第２の実施形態の動作説明図である。 第２の実施形態の動作説明図である。

符号の説明

１１ レンズ制御部
１２ イメージセンサ部
１３ 制御部
１４ メモリ部
１５ 画像処理部
１６ 表示部
１７ 保存部
１８ 操作部

Claims (9)

1. 被写体撮影時に撮影レンズの焦点を最短撮影距離位置（マクロ端）から∞位置方向又は∞位置から最短撮影距離位置方向に移動させながら、前記最短撮影距離位置、前記被写体の合焦位置及び前記∞位置においてそれぞれ前記被写体を撮影し、該撮影した各画像のコントラスト値から、被写体領域と該被写体の背景領域をそれぞれ抽出するとともに、合成方法選択指示に従って、前記抽出した被写体領域および背景領域に対して、前記最短撮影距離位置、前記被写体の合焦位置及び前記∞位置で撮影した各画像から選択された前記被写体領域および背景領域を組み合わせて一つの画像に合成することを特徴とする撮影画像合成方法。
2. 被写体撮影時に撮影レンズの焦点を最短撮影距離位置（マクロ端）から∞位置方向又は∞位置から最短撮影距離位置方向に移動させながら、前記最短撮影距離位置、前記被写体の合焦位置及び前記∞位置においてそれぞれ前記被写体を撮影し、該撮影した各画像のコントラスト値から、被写体領域と該被写体の背景領域および前景領域をそれぞれ抽出するとともに、合成方法選択指示に従って、前記抽出した被写体領域と背景領域および前景領域に対して、前記最短撮影距離位置、前記被写体の合焦位置及び前記∞位置で撮影した各画像から選択された前記被写体領域と背景領域および前景領域を組み合わせて一つの画像に合成することを特徴とする撮影画像合成方法。
3. 前記最短撮影距離位置で撮影された画像と前記被写体の合焦位置で撮影された画像の間で、コントラスト値の差分が大きい領域を前記被写体領域として抽出することを特徴とする請求項１または２に記載の撮影画像合成方法。
4. 前記被写体の合焦位置で撮影された画像の中から、コントラスト値の大きい領域を前記被写体として抽出することを特徴とする請求項１または２に記載の撮影画像合成方法。
5. 被写体撮影時に撮影レンズを最短撮影距離位置（マクロ端）から∞位置方向又は∞位置から最短撮影距離位置方向に移動させながら、前記最短撮影距離位置、前記被写体の合焦位置及び前記∞位置においてそれぞれ前記被写体を撮影する被写体撮影手段と、
   前記撮影された各画像のコントラスト値から、被写体領域および該被写体の背景領域をそれぞれ抽出する被写体／周囲景抽出手段と、
   合成方法選択指示に従って、前記抽出された被写体領域および背景領域に対して、前記最短撮影距離位置、前記被写体の合焦位置及び前記∞位置で撮影した各画像から選択された前記被写体領域および背景領域を組み合わせて一つの画像に合成する撮影画像合成手段と、
   を備えていることを特徴とするデジタルカメラ。
6. 被写体撮影時に撮影レンズを最短撮影距離位置（マクロ端）から∞位置方向又は∞位置から最短撮影距離位置方向に移動させながら、前記最短撮影距離位置、前記被写体の合焦位置及び前記∞位置においてそれぞれ前記被写体を撮影する被写体撮影手段と、
   前記撮影された各画像のコントラスト値から、被写体領域と該被写体の背景領域および前景領域をそれぞれ抽出する被写体／周囲景抽出手段と、
   合成方法選択指示に従って、前記抽出された被写体領域と背景領域および前景領域に対して、前記最短撮影距離位置、前記被写体の合焦位置及び前記∞位置で撮影した各画像から選択された前記被写体領域と背景領域および前景領域を組み合わせて一つの画像に合成する撮影画像合成手段と、
   を備えていることを特徴とするデジタルカメラ。
7. 前記被写体／周囲景抽出手段は、前記最短撮影距離位置で撮影された画像と前記被写体の合焦位置で撮影された画像の間で、コントラスト値の差分が大きい領域を前記被写体領域として抽出する機能を有していることを特徴とする請求項５または６に記載のデジタルカメラ。
8. 前記被写体／周囲景抽出手段は、前記被写体の合焦位置で撮影された画像の中から、コントラスト値の大きい領域を前記被写体として抽出する機能を有していることを特徴とする請求項５または６に記載のデジタルカメラ。
9. 請求項５〜８の何れか１項に記載のデジタルカメラを搭載していることを特徴とするカメラ機能付携帯通信端末。

Images