JP2011010194A - Blurred image forming apparatus and camera provided with the same - Google Patents
Blurred image forming apparatus and camera provided with the same Download PDFInfo
- Publication number
- JP2011010194A JP2011010194A JP2009153736A JP2009153736A JP2011010194A JP 2011010194 A JP2011010194 A JP 2011010194A JP 2009153736 A JP2009153736 A JP 2009153736A JP 2009153736 A JP2009153736 A JP 2009153736A JP 2011010194 A JP2011010194 A JP 2011010194A
- Authority
- JP
- Japan
- Prior art keywords
- blur
- image
- forming apparatus
- images
- image forming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、ボカシ画像形成装置及びそれを備えたカメラに関するものである。 The present invention relates to a blur image forming apparatus and a camera including the same.
一般に、撮像素子が小さいカメラで撮影した画像では、撮像素子が大きいカメラで撮影された画像の様に被写界深度が浅い画像を撮影することが困難である。このため、撮影条件の異なる複数枚の画像から、両者を合成してデジタルボカシを付加する手法が知られている（例えば、特許文献１参照）。また、被写界深度の異なる画像の比較から主要被写体以外の領域のボケ関数を推測し、より焦点深度の浅い画像を作成する手法も知られている（例えば、特許文献２参照）。 In general, it is difficult for an image taken with a camera with a small image sensor to capture an image with a shallow depth of field like an image taken with a camera with a large image sensor. For this reason, a technique is known in which a digital blur is added by combining both images from a plurality of images having different shooting conditions (see, for example, Patent Document 1). There is also known a method of inferring a blur function of a region other than the main subject from comparison of images having different depths of field and creating an image with a shallower depth of focus (for example, see Patent Document 2).
しかし、画像合成を用いる特許文献１等の手法では、被写体に応じた領域分割が困難であり、一様なブロックで分割すると、境界部に違和感がある合成画になる。また、撮影された画像以上にぼかすことはできない。さらに焦点位置を変えることで画像の像倍率が変わってしまうため、合成したときに違和感のある画像になる場合がある。
一方、ボカシ関数を推測して１枚の画像をぼかす特許文献２の手法では、ボカシ関数を作用させる回数を変更することでぼけ量を調節するため、ぼけ量の微調整が困難である。さらに、選択した基準画像においてぼかしたい部分がほぼ合焦状態にある場合には、ボカシ関数を作用させる回数を増やしても、満足できるぼけ量を得ることができない。
However, in the technique disclosed in Patent Document 1 using image composition, it is difficult to divide the area according to the subject. Also, you cannot blur more than the captured image. Further, since the image magnification of the image is changed by changing the focal position, the image may become uncomfortable when combined.
On the other hand, in the method of Patent Document 2 in which a blur function is estimated and one image is blurred, the blur amount is adjusted by changing the number of times the blur function is applied, so that it is difficult to finely adjust the blur amount. Furthermore, when the portion to be blurred in the selected reference image is almost in focus, a satisfactory blur amount cannot be obtained even if the number of times the blur function is applied is increased.
本発明の課題は、所望のぼけ量を得ることができるボカシ画像形成装置及びそれを備えたカメラを提供することである。 An object of the present invention is to provide a blur image forming apparatus capable of obtaining a desired blur amount and a camera including the same.
本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。 The present invention solves the above problems by the following means. In addition, in order to make an understanding easy, although the code | symbol corresponding to embodiment of this invention is attached | subjected and demonstrated, it is not limited to this.
請求項１に記載の発明は、合焦に関する撮影条件を互いに異ならせて同一の撮影エリアを撮影して得られた画像である複数の画像を基に、前記撮影エリアを分割した複数領域の距離情報をそれぞれ推測する距離情報推測手段（２４）と、前記推測された前記距離情報を基に、前記複数領域に加えるボカシ量を決定するボカシ量決定手段（２５）と、前記複数領域のそれぞれに対して、前記ボカシ量に応じたボカシ処理を加えるボカシ手段（２２）と、を有すること、を特徴とするボカシ画像形成装置（１０）である。
請求項２に記載の発明は、請求項１に記載のボカシ画像形成装置（１０）であって、前記複数の画像を取得する画像取得手段（１１，１２，１５）と、取得された前記複数の画像において、前記ボカシ量の基準となる基準画像及び該基準画像とは異なる１枚以上の参照画像を選択する画像選択手段（２３）と、前記距離情報推測手段（２４）は、前記基準画像と前記参照画像と該両画像各々の撮影条件に基づいて、前記基準画像の焦点面に対する前記複数領域の前記距離情報をそれぞれ推測し、前記ボカシ量決定手段（２５）は、前記推測された前記距離情報を基に、前記基準画像における前記複数領域のそれぞれに加えるボカシ量を決定し、前記ボカシ手段（２２）は、前記基準画像における前記複数領域に対して、前記決定されたボカシ量を加えるボカシ画像処理を行うこと、を特徴とするボカシ画像形成装置（１０）である。
請求項３に記載の発明は、請求項１に記載のボカシ画像形成装置（１０）であって、前記複数の画像を取得する画像取得手段（１１，１２，１５）と、取得された前記複数の画像において、前記ボカシ量の基準となる基準画像及び該基準画像とは異なる複数の参照画像を選択する画像選択手段（２３）と、前記距離情報推測手段（２４）は、前記基準画像と前記参照画像と該両画像各々の撮影条件に基づいて、前記基準画像の焦点面に対する前記複数領域の前記距離情報をそれぞれ推測し、前記ボカシ量決定手段（２５）は、前記推測された前記距離情報を基に、前記複数の領域のうちの、前記複数の参照画像上でそれぞれ合焦状態にある互いに異なる領域それぞれに加えるボカシ量を決定し、前記ボカシ手段（２２）は、前記複数の参照画像それぞれに対して前記ボカシ量に応じたボカシ画像処理が加えられた前記複数領域を、前記基準画像上で位置的に対応する前記複数領域に置き換える合成処理を前記基準画像に対して行うことを特徴とするボカシ画像形成装置（１０）である。
請求項４に記載の発明は、請求項１から３のいずれか１項に記載のボカシ画像形成装置（１０）であって、前記合焦に関する撮影条件は、前記複数の画像を得る際に用いられた撮影レンズの焦点位置であり、前記複数領域の距離は、前記焦点位置が異なる複数の画像の中から、前記複数の領域それぞれが合焦している画像をそれぞれ求め、それら各画像を得た際の前記焦点位置から求めること、を特徴とするボカシ画像形成装置（１０）である。
請求項５に記載の発明は、請求項１から３のいずれか１項に記載のボカシ画像形成装置（１０）であって、前記合焦に関する撮影条件は被写界深度であり、前記複数領域の距離は、前記被写界深度が異なる複数の画像の中から、前記複数領域それぞれが合焦している画像をそれぞれ求め、それら各画像を得た際の前記被写界深度より求められること、を特徴とするボカシ画像形成装置（１０）である。
請求項６に記載の発明は、請求項２から５までのいずれか１項に記載のボカシ画像形成装置（１０）であって、前記基準画像は、主要被写体に合焦している画像であり、該主要被写体は、焦点検出動作時に、合焦領域を表示する領域表示が撮影画面上で重畳表示されている領域にある物体であること、を特徴とするボカシ画像形成装置（１０）である。
請求項７に記載の発明は、請求項２から５までのいずれか１項に記載のボカシ画像形成装置（１０）であって、前記基準画像は、主要被写体に合焦している画像であり、該主要被写体は、前記基準画像を取得する際の焦点検出動作時において合焦度合いが最も高い物体であること、を特徴とするボカシ画像形成装置（１０）である。
請求項８に記載の発明は、求項６または７に記載のボカシ画像形成装置（１０）であって、前記画像取得手段（１１，１２，１５）は、前記合焦に関する撮影条件を、前記主要被写体に合焦している際の撮影条件近傍から該撮影条件を一方向に変化させつつ連続撮影を行うことにより、前記複数画像を取得することを特徴とするボカシ画像形成装置（１０）である。
請求項９に記載の発明は、請求項８に記載のボカシ画像形成装置（１０）であって、前記画像取得手段（１１，１２，１５）は、前記主要被写体に合焦している撮影条件の近傍の条件であって、且つ該撮影条件を前記一方向とは逆方向に変化させた撮影条件から、該撮影条件を一方向に変化させつつ前記連続撮影を行うことを特徴とするボカシ画像形成装置（１０）である。
請求項１０に記載の発明は、請求項６または７に記載のボカシ画像形成装置（１０）であって、前記画像取得手段（１１，１２，１５）は、前記合焦に関する撮影条件を、前記主要被写体に合焦しているか否かとは無関係に決められている所定の撮影条件から、該撮影条件を一方向に変化させつつ連続撮影を行うことにより、前記複数画像を取得することを特徴とするボカシ画像形成装置（１０）である。
請求項１１に記載の発明は、請求項１〜１０に記載のボカシ画像形成装置（１０）を備えたカメラである。
なお、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。
The invention according to claim 1 is a distance between a plurality of areas obtained by dividing the shooting area based on a plurality of images obtained by shooting the same shooting area with different shooting conditions relating to focusing. Distance information estimation means (24) for estimating each information, blur amount determination means (25) for determining the amount of blur to be added to the plurality of areas based on the estimated distance information, and each of the plurality of areas On the other hand, the blur image forming apparatus (10) includes a blur means (22) for performing blur processing corresponding to the blur amount.
The invention described in claim 2 is the blur image forming apparatus (10) according to claim 1, wherein the image acquisition means (11, 12, 15) for acquiring the plurality of images, and the acquired plurality of images. The image selection means (23) for selecting a reference image serving as a reference for the blur amount and one or more reference images different from the reference image, and the distance information estimation means (24) include the reference image The distance information of the plurality of areas with respect to the focal plane of the reference image is estimated based on the reference image and the imaging conditions of each of the images, and the blur amount determination means (25) Based on the distance information, a blur amount to be added to each of the plurality of regions in the reference image is determined, and the blur means (22) performs the determined blur on the plurality of regions in the reference image. Performing the blurred image processing for adding a blurred image forming apparatus according to claim (10).
The invention described in claim 3 is the blur image forming apparatus (10) according to claim 1, wherein the image acquisition means (11, 12, 15) for acquiring the plurality of images, and the acquired plurality of images. The image selection means (23) for selecting a reference image serving as a reference for the blur amount and a plurality of reference images different from the reference image, and the distance information estimation means (24) include the reference image and the reference image The distance information of the plurality of regions with respect to the focal plane of the reference image is estimated based on the reference image and the imaging conditions of both the images, and the blur amount determination means (25) is configured to determine the estimated distance information. And determining the amount of blur to be added to each of the different regions that are in focus on the plurality of reference images of the plurality of regions, and the blur means (22) includes the plurality of reference images. A synthesis process is performed on the reference image, in which the plurality of regions, to which the blur image processing corresponding to the blur amount is added, is replaced with the plurality of regions corresponding to each other on the reference image. The blur image forming apparatus (10).
A fourth aspect of the present invention is the blur image forming apparatus (10) according to any one of the first to third aspects, wherein the photographing condition relating to the focus is used when obtaining the plurality of images. The distance between the plurality of areas is obtained from the plurality of images having different focal positions, and images obtained by focusing the plurality of areas are obtained respectively. The blur image forming apparatus (10) is characterized in that the blur image forming apparatus (10) is obtained from the focal position at the time of shooting.
A fifth aspect of the present invention is the blur image forming apparatus (10) according to any one of the first to third aspects, wherein the photographing condition relating to the focus is a depth of field, and the plurality of regions Is obtained from the depth of field when each of the plurality of regions is obtained from the plurality of images having different depths of field, and each of the images is obtained. A blur image forming apparatus (10) characterized by the above.
The invention described in claim 6 is the blur image forming apparatus (10) according to any one of claims 2 to 5, wherein the reference image is an image focused on a main subject. The blur image forming apparatus (10) is characterized in that the main subject is an object in a region where a region display for displaying a focus region is superimposed on the photographing screen during a focus detection operation. .
The invention described in
The invention described in claim 8 is the blur image forming apparatus (10) according to
A ninth aspect of the present invention is the blur image forming apparatus (10) according to the eighth aspect, wherein the image acquisition means (11, 12, 15) is in focus on the main subject. And the continuous shooting is performed while changing the shooting condition in one direction from the shooting condition in which the shooting condition is changed in the direction opposite to the one direction. Forming device (10).
The invention described in
The invention described in claim 11 is a camera provided with the blur image forming apparatus (10) described in claims 1-10.
Note that the configuration described with reference numerals may be modified as appropriate, and at least a part of the configuration may be replaced with another component.
本発明によれば、所望のぼけ量を得ることができるボカシ画像形成装置を提供することができる。 According to the present invention, it is possible to provide a blur image forming apparatus capable of obtaining a desired blur amount.
（第１実施形態）
以下、図面等を参照して、本発明の第１実施形態について説明する。
図１は、本発明の一実施形態であるボカシ画像形成装置を備えるカメラ１０の概略構成を示すブロック図である。
カメラ１０は、撮像レンズ１１と、レンズ駆動部１２と、絞り１３と、絞り駆動部１４と、撮像素子１５と、ＡＦＥ（アナログフロントエンド回路）１６と、表示部１７と、操作部１８と、画像記録部１９と、カメラ１０の動作を統括的に制御する制御部２０と、を備えている。
(First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings and the like.
FIG. 1 is a block diagram illustrating a schematic configuration of a
The
撮像レンズ１１は、合焦レンズ群を含む複数のレンズ群によって構成されている。なお、図１では撮像レンズ１１を１枚のレンズとして簡略化して示してある。この撮像レンズ１１の焦点位置は、レンズ駆動部１２による合焦レンズ群の移動操作によって、光軸ＯＡ方向に調整される。
レンズ駆動部１２は、制御部２０によって制御駆動され、合焦レンズ群の位置情報は制御情報として制御部２０に出力される。制御部２０は、合焦レンズの位置（上記位置情報）に基づいて、その状態において合焦している被写体までの距離（後述する合焦距離情報）を推測することができる。
The imaging lens 11 is composed of a plurality of lens groups including a focusing lens group. In FIG. 1, the imaging lens 11 is simplified as a single lens. The focal position of the imaging lens 11 is adjusted in the direction of the optical axis OA by an operation of moving the focusing lens group by the
The
絞り１３は、撮像素子１５に入射する単位時間当たりの光量を調節する。この絞り１３の開口量は、制御部２０（撮影制御部２１）の指示に応じて絞り駆動部１４によって調整される。
撮像素子１５は、撮像レンズ１１によって結像される被写体像を電気信号に変換して画像信号を生成する。この撮像素子１５から出力された画像信号はＡＦＥ１６に入力される。
The
The
ＡＦＥ１６は、撮像素子１５の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１６では、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。このＡＦＥ１６から出力されたデジタルの画像信号は、制御部２０に入力される。
The AFE 16 is an analog front end circuit that performs analog signal processing on the output of the
表示部１７は、電子カメラ１０の背面に設けられた液晶パネル（図示せず）を備えている。表示部１７は、制御部２０によって制御され、液晶パネルに、カメラ１０における各種機能の設定をする機能設定メニューや、使用者が操作部１８を介して入力したシャッター速度，絞り及び露光補正情報等の撮影に係る設定情報及び、撮像素子１５によって測定された測光情報等を表示する。また、撮影画像やそのヒストグラム及び撮影情報等も液晶パネルに表示する。
The display unit 17 includes a liquid crystal panel (not shown) provided on the back surface of the
操作部１８は、図示しないが、メインスイッチ、シャッターボタン及び複数の操作ボタン類等を備え、使用者によって操作され、その操作情報を制御部２０に出力する。
Although not shown, the
画像記録部１９は、着脱可能なリムーバブルメモリ等によって構成されており、制御部２０の画像処理部２２によって画像処理された撮影画像を記録する。
The image recording unit 19 includes a removable memory that can be attached and detached, and records a captured image that has been subjected to image processing by the
制御部２０は、マイクロコンピュータ等によって構成されており、図示しないメモリに予め格納保持しているプログラムに従って当該カメラ１０の各部を統合的に制御し、撮影及び画像素処理等の各処理を実行する。
また、制御部２０は、表示部１７を制御して、種々の情報及び撮影画像等を液晶パネルに表示させる。
The
Further, the
撮影制御部２１は、操作部１８のシャッターボタンの押圧（レリーズスイッチ操作）によって、オートフォーカス制御（ＡＦ制御）と、露出制御（ＡＥ制御）とを行い、撮像素子１５に結像した被写体像を電気信号に変換する撮影制御を行う。
ＡＦ制御は、撮像素子１５によって撮像された画像のデータを用いて、公知のコントラスト検出方式によるＡＦ演算処理を行い、レンズ駆動部１２によって撮像レンズ１１の合焦レンズ群を、撮影画面内の合焦させたいエリア（主要被写体が存在するエリア）に対応する撮像素子１５内の画素からの画像信号のコントラスト値が最大となるように移動操作し、撮像レンズ１１による被写体像を撮像素子１５に結像させる。
The
In the AF control, the image data captured by the
ＡＥ制御は、撮像素子１５の出力に基づいて被写体光の輝度を測定（測光）し、この測光結果に基づいて演算処理を行って、露光時間（撮像素子１５が被写体光を蓄積する時間）と、絞り１３による絞り値との組み合わせを決定する。そして、絞り駆動部１４によって絞り１３を所定の絞り値に設定すると共に、撮像素子１５を電気的に制御して所定時間の露光を行う。
In the AE control, the luminance of the subject light is measured (photometric) based on the output of the
画像処理部２２は、ＡＦＥ１６にてＡ／Ｄ変換された撮像データに対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整等の各種画像補正及び各色の画像データに対して補間処理を行う。また、画像処理部２２は、後述する背景ボカシモード時において、所定領域の画像をぼかす画像処理等を行う。
The
なお、制御部２０は、上記説明した以外に、画像選択部２３と、距離情報推測部２４と、ボカシ量設定部２５とを有している。これらの機能部は、後述する撮影モードの１つである背景ボカシモード時において、ボカシ画像を生成する際に機能する。つまり、制御部２０は、ボカシ画像形成装置としても機能する。この背景ボカシモード時における各部の作用については、後に詳述する。
In addition to the above description, the
上記のように構成されたカメラ１０は、撮影に際して、使用者（撮影者）による操作部１８の操作に基づく制御部２０の制御によって、撮像部１１が撮像素子１５に結像した被写体像を電気信号に変換して制御部２０に出力する。そして、この電気信号から制御部２０（画像処理部２１）は画像データを形成し、画像記録部１９に記録する。
The
ここで、カメラ１０は、複数の設定の異なる撮影モードを備えている。撮影モードには、撮影条件にかかるシャッター速度優先モード及び絞り優先モード等の他に、撮影後の画像に制御部２０が自動的に予め定められた画像処理を行う撮像処理モードを有する。このような撮像処理モードの一つとして、背景ボカシモードを備えている。
Here, the
背面ボカシモードでは、撮影者の意図した主要被写体に合焦した画像（以下、基準画像と称する）を撮影すると同時に、主要被写体から合焦位置をずらした画像（以下、参照画像と称する）を複数自動的に撮影する。そして、基準画像と、複数の参照画像とに基づいて、主要被写体から主要被写体以外の被写体（以下、周囲被写体と称する）までの距離を推測し、主要被写体を基準とした距離マップ（即ち、主要被写体から各周囲被写体までの距離をマップ状に示すもの）を作成し、その距離マップに基づいた（主要被写体までの距離に応じた）ボカシ量で基準画像における周辺被写体の画像をぼかした「背面ボカシ画像」を形成する。
ここで、背景ボカシモードでは、主要被写体や周囲被写体を個々に区別する必要は無い。撮像素子１５内の画素毎（画素の座標毎）に、「合焦しているとみなせるエリア(そのフレームの画像信号において、コントラスト値が最大及び最大近傍となるエリア、又はコントラスト値が合焦とみなせる値として予め決められた所定値以上となるエリア)」を特定するだけで、各画素毎に主要被写体までの距離（距離差）を当てはめることができる。これについて詳述すると、基準画像を撮影した際に、その基準画像において、既述した「合焦しているとみなせるエリア」の画素（以下、合焦画素と称す）を識別する。同様にして各参照画像においても、それぞれ合焦画素を識別する。このようにすることで、撮像素子１５内の撮影画像を出力する全ての画素に対して、どの参照画像または基準画像において合焦画素となるかを識別することができる。各参照画像を撮影したときの撮影距離と、基準画像を撮影したときの撮影距離との差は、各撮影時（基準画像と複数の参照画像それぞれの撮影時）の合焦距離情報の差分を算出することで求めることが出来るので、これに基づいて基準画像の合焦画素に対する各参照画像の合焦画素の距離差が得られる。この得られた距離差に基づいて、各画素毎の距離マップを（基準画像の合焦画素を基準とした距離マップ）を作成することが出来る。その後は上述したように、この距離マップを使って、距離差に応じたボカシ処理を画素毎に適用すれば良い。
なお、背景ボカシモードを含む撮影及び撮像処理モードの設定は、操作部１８の操作ボタンを操作することで行う。
In the back blur mode, an image focused on a main subject intended by the photographer (hereinafter referred to as a reference image) is shot, and at the same time, a plurality of images (hereinafter referred to as reference images) whose focus positions are shifted from the main subject. Shoot automatically. Based on the reference image and a plurality of reference images, a distance from the main subject to a subject other than the main subject (hereinafter referred to as a surrounding subject) is estimated, and a distance map based on the main subject (ie, the main image) Create a map that shows the distance from the subject to each surrounding subject), and blur the surrounding subject image in the reference image with a blur amount (according to the distance to the main subject) based on the distance map A blur image ”is formed.
Here, in the background blur mode, it is not necessary to individually distinguish the main subject and the surrounding subjects. For each pixel in the image sensor 15 (for each pixel coordinate), an “area that can be regarded as being in focus (the area where the contrast value is the maximum and the maximum in the image signal of the frame, or the contrast value is in focus. It is possible to apply the distance (distance difference) to the main subject for each pixel simply by specifying “an area that is equal to or greater than a predetermined value that can be considered”. More specifically, when a reference image is photographed, the pixels in the “area that can be regarded as being in focus” (hereinafter referred to as in-focus pixels) are identified in the reference image. Similarly, in each reference image, a focused pixel is identified. By doing in this way, it is possible to identify which reference image or standard image is the focused pixel for all the pixels that output the captured image in the
Note that the shooting and imaging processing mode including the background blur mode are set by operating the operation buttons of the
つぎに、前述した図１に加えて図２から図４を参照しつつ、背景ボカシモード時における、制御部２０の各部の作用を説明する。なお以下では、説明を容易にするために、画面内に存在する被写体は、主要被写体Ｍと周囲被写体Ｐ１〜Ｐ４のみであるものとして説明する。
図２は、主要被写体Ｍと周囲被写体Ｐ１〜Ｐ４の距離関係を概念的に示す説明図である。図３は、背景ボカシモード時における制御部２０の各部（撮影制御部２１、画像処理部２２、画像選択部２３、距離情報推測部２４、ボカシ量設定部２５）による処理の流れを示すフローチャートである。図４は、背面ボカシ画像の説明図であって、（Ａ）は処理前の基本画像、（Ｂ）は背面ボカシ処理後の背面ボカシ画像を概念的に示す。
Next, the operation of each unit of the
FIG. 2 is an explanatory diagram conceptually showing the distance relationship between the main subject M and the surrounding subjects P1 to P4. FIG. 3 is a flowchart showing a flow of processing performed by each unit (the
撮影制御部２１は、背景ボカシモード時において、指定されたＡＦエリアに位置する被写体（主要被写体Ｍ）に合焦させた基準画像を撮影すると略同時に（厳密にはその撮影の前、又はその後に引き続いて連続的に撮影する）、レンズ駆動部１２を制御駆動して合焦位置を高速に変化させつつ複数枚の参照画像の撮影を行う。
参照画像の撮影は、例えば、主要被写体Ｍに合焦した位置の近傍から、撮像レンズ１１の合焦レンズ群を無限遠側に高速に移動させつつ予め定められた所定の等間隔ごとに行う。これにより、主要被写体Ｍに合焦した基準画像と、この基準画像とは合焦位置がそれぞれ異なる複数の画像（参照画像）を得る。
In the background blur mode, the
For example, the reference image is photographed at predetermined equal intervals while moving the focusing lens group of the imaging lens 11 at high speed from the vicinity of the position where the main subject M is focused. As a result, a reference image focused on the main subject M and a plurality of images (reference images) having different focus positions from the reference image are obtained.
なお、参照画像の撮影方法は、この例に限定されるものではない。
例えば、主要被写体Ｍへの合焦位置の無限遠側付近から、撮像レンズ１１の合焦レンズ群を最短撮影距離側に移動させてもよい。
また、主要被写体Ｍに合焦した位置の近傍から、撮像レンズ１１の合焦レンズ群を至近側に一旦移動させた後、無限遠側に移動させつつ予め定められた所定の等間隔ごとに行ってもよい。
さらに、主要被写体Ｍに対する合焦状態（合焦位置）とは無関係に、撮像レンズ１１の合焦レンズ群を、最短撮影距離側から無限遠側に、または、無限遠側から最短撮影距離側に移動させて撮影してもよい。
また、参照画像の取得間隔及び枚数等は、撮影時点における当該カメラ１０の状態（バッテリやメモリの残量等）に応じて、制御部２０が適宜変更するようになっていてもよい。
Note that the reference image capturing method is not limited to this example.
For example, the focusing lens group of the imaging lens 11 may be moved to the shortest shooting distance side from the vicinity of the infinity side of the focusing position on the main subject M.
In addition, the focus lens group of the imaging lens 11 is once moved to the closest side from the vicinity of the position where the main subject M is focused, and then moved to the infinity side at predetermined predetermined equal intervals. May be.
Further, regardless of the focus state (focus position) with respect to the main subject M, the focusing lens group of the imaging lens 11 is moved from the shortest shooting distance side to the infinity side or from the infinity side to the shortest shooting distance side. You may move and shoot.
Further, the acquisition interval and the number of reference images may be appropriately changed by the
画像処理部２２は、通常の画像形成の際における画像処理の他に、後述するボカシ量設定部２５によって設定されたパラメータに基づいて、基準画像における周辺被写体Ｐ１〜Ｐ４の画像をぼかす画像処理を行う。画像をぼかす画像処理は、例えば、画像情報にガウス型のボカシフィルターをかけることで行う。
In addition to image processing during normal image formation, the
画像選択部２３は、基準画像と、この基準画像と比較する参照画像を選択して、距離情報推測部２４に出力する。参照画像の選択は、複数の参照画像から撮影時の合焦距離情報に沿って順番に、または、複数の参照画像の中から所定の条件で選択した参照画像を撮影時の合焦距離情報に沿って順番に行う。
The
距離情報推測部２４は、まず各参照画像における特徴量に基づいて各参照画像における合焦画素（前述）を特定する。本実施形態では上述したように特徴量としてコントラスト値を用いて合焦画素を求める。
なお本実施形態では説明を簡単にするために、周囲被写体Ｐ１〜Ｐ４はそれぞれ、一周囲被写体は同一距離に存在しているものと見做す（厳密には各被写体は光軸方向に凹凸が存在すると思われるが、ここではそこまでは考えずに、例えば周囲被写体Ｐ２の家全体が、主要被写体である人Ｍから距離Ｄ２の位置に存在しているものと見做す）。このため各周囲被写体における合焦画素は、１つの参照画像に収まるものとする（各被写体の合焦画素は、複数の参照画像間に跨らないものとする）。
既述したように、基準画像と各参照画像それぞれにおける各撮影時の合焦距離情報を用いて、主要被写体Ｍ（主要被写体の合焦画素）に対して周囲被写体Ｐ１〜Ｐ４（各周囲被写体の合焦画素）が無限遠側または最短撮影距離側のどちら側にどの程度離間しているか（主要被写体Ｍから周囲被写体Ｐ１〜Ｐ４までの距離）、を推測する。以下、この主要被写体Ｍから周囲被写体Ｐ１〜Ｐ４までの距離のことを、「対主要被写体間距離Ｄ１〜Ｄ４」と称する。
そして、上述した対主要被写体間距離Ｄ１〜Ｄ４に基づいて、周囲被写体Ｐ１〜Ｐ４の画像毎（周囲被写体Ｐ１〜Ｐ４に対応する画素毎）に距離マップ（主要被写体までの距離差を画素（周囲被写体エリア）毎に示すマップ）を作成する。
The distance information estimation unit 24 first identifies a focused pixel (described above) in each reference image based on the feature amount in each reference image. In this embodiment, as described above, a focused pixel is obtained using a contrast value as a feature amount.
In this embodiment, for the sake of simplicity of explanation, each of the surrounding subjects P1 to P4 is considered to have one surrounding subject at the same distance (strictly speaking, each subject has irregularities in the optical axis direction. Although it seems that it exists, here, without thinking so far, for example, it is assumed that the entire house of the surrounding subject P2 exists at a distance D2 from the person M who is the main subject). For this reason, it is assumed that in-focus pixels in each surrounding subject fit in one reference image (the in-focus pixels in each subject do not span between a plurality of reference images).
As described above, by using the focus distance information at the time of shooting in each of the base image and each reference image, the surrounding subjects P1 to P4 (the surrounding subject's focusing pixels) with respect to the surrounding subjects P1 to P4 It is estimated how far the focused pixel) is on the infinity side or the shortest shooting distance side (distance from the main subject M to the surrounding subjects P1 to P4). Hereinafter, the distance from the main subject M to the surrounding subjects P1 to P4 is referred to as “distance between main subjects D1 to D4”.
Then, based on the distances D1 to D4 between the main subjects described above, a distance map (a distance difference between the main subjects and the surrounding subjects P1 to P4) is determined for each image (for each pixel corresponding to the surrounding subjects P1 to P4). A map shown for each subject area) is created.
ここで、対主要被写体間距離Ｄ１〜Ｄ４を推測により求める場合は、参照画像が一枚であってもある程度は可能である。しかし、複数枚の参照画像を用いることで、対主要被写体間距離Ｄ１〜Ｄ４を高い精度で推測することが可能となる。前述した撮影制御部２１における参照画像の取得は、この距離情報推測部２４による対主要被写体間距離Ｄ１〜Ｄ４の推測に必要十分な撮影間隔及び枚数で行えばよいが、撮影制御部２１が撮影した多数の画像の中から、画像選択部２３が、必要に応じて適当なものを適宜数選択するように構成してもよい。
Here, when the distances D1 to D4 between the main subjects are estimated, it is possible to some extent even if there is only one reference image. However, by using a plurality of reference images, the distances D1 to D4 between the main subjects can be estimated with high accuracy. The above-described acquisition of the reference image in the
なお、対主要被写体間距離Ｄ１〜Ｄ４の推測は、個々の画素ごとに行った場合、処理画像は自然なものとなるが、制御部２０における処理負担が増大する。この処理負担を軽減するための、所定数の画素ごとに分割した範囲を、一画素の代わりの一単位として、上記処理を行うこともできる。この場合、分割範囲が大きくなると、境界においてぼけ具合が非連続となる可能性もあるが、制御部２０の処理負担は軽くなる。このため、画素分割の程度と処理負担の程度とのバランスより、画素分割の程度が決定される。
Note that when the estimation of the distances D1 to D4 between the main subjects is performed for each pixel, the processed image becomes natural, but the processing load on the
ボカシ量設定部２５は、上述した距離マップに基づいてボカシ量を設定する。これにより、周囲被写体Ｐ１〜Ｐ４の画像（画素）に対して、その対主要被写体間距離Ｄ１〜Ｄ４に応じたボカシ量が設定される。この際に、対主要被写体間距離が大きい程、ボカシ量が大きくなるようにボカシ量を設定する。 The blur amount setting unit 25 sets the blur amount based on the distance map described above. As a result, the blur amount corresponding to the distances D1 to D4 between the main subjects is set for the images (pixels) of the surrounding subjects P1 to P4. At this time, the blur amount is set so that the blur amount increases as the distance between the main subject and the subject increases.
このような関係となる対主要被写体間距離Ｄ１〜Ｄ４に対するボカシ量の設定は、例えば、対主要被写体間距離Ｄ１〜Ｄ４とボカシ量との対応関係（パラメータ）を定めたＬＵＴ（ｌｏｏｋ−ｕｐ Ｔａｂｌｅ）を作成して図示しないメモリに格納保持しておき、そのＬＵＴを参照することで行うことができる。ＬＵＴは、一種類に限らず、パラメータが異なる複数種類のものを用意し、それらのＬＵＴの中から撮影者が操作部１８を操作することで好みのものを選択し得るように構成すれば、より撮影者の要求に即した画像作成が可能となる。なお、操作部１８を操作してＬＵＴを選択する際には、Ｆ値を指標とすれば、解り易い。すなわち、例えば、Ｆ２．８相当のボカシ量、Ｆ４相当のボケ具合等と表示する。
The blur amount is set for the distances D1 to D4 between the main subjects having such a relationship, for example, a LUT (look-up Table) that defines a correspondence (parameter) between the distances D1 to D4 between the main subjects and the blur amount. ) And stored and held in a memory (not shown), and can be performed by referring to the LUT. If the LUT is not limited to one type, a plurality of types having different parameters are prepared, and the photographer can select a favorite one by operating the
つぎに、背景ボカシモード時における制御部２０（撮影制御部２１、画像処理部２２、画像選択部２３、距離情報推測部２４、ボカシ量設定部２５）による処理の流れを、図３に示すフローチャートに沿って説明する。なお、以下の説明においては、「ステップ」を「Ｓ」とも表記する。
Next, the flow of processing by the control unit 20 (the
背景ボカシモード時において、シャッターボタンが押圧されて撮影が指令されると、撮影制御部２１が、指定されたＡＦエリアに位置する被写体に合焦させて基準画像の撮影を行い、同時に、合焦位置を変化させて複数枚の参照画像の撮影を行う（Ｓ０１）。ここで、基準画像は、例えば、前述したように、撮影者がＡＦエリアに位置する撮影者が意図した被写体（主要被写体Ｍ）に合焦した画像である。つまり、視点を変えると合焦している被写体が主要被写体Ｍである。
When the shutter button is pressed and shooting is commanded in the background blur mode, the
ついで、画像選択部２３が、基準画像を選択すると共に、複数の参照画像を全て順番に、または、複数の参照画像の中から所定の条件で選択した参照画像を順番に、距離情報推測部２４に出力する（Ｓ０２）。
ステップ０２において画像選択部２３が選択した基準画像と参照画像が入力された距離情報推測部２４は、入力された各参照画像のコントラスト情報と、基準画像と各参照画像それぞれにおける各撮影時の合焦距離情報とを用い、主要被写体Ｍから周囲被写体Ｐ１〜Ｐ４までの距離（対主要被写体間距離Ｄ１〜Ｄ４）を推測し、各画素毎の距離マップを作成する（Ｓ０３）。
Next, the
The distance information estimation unit 24 to which the standard image and the reference image selected by the
ついで、ボカシ量設定部２５が、ステップ０３において距離情報推測部２４が推測した、対主要被写体間距離Ｄ１〜Ｄ４に応じる距離マップに基づいて、画素毎のボカシ量（周囲被写体Ｐ１〜Ｐ４に対するボカシ量）のパラメータを設定する（Ｓ０４）。 Next, the blur amount setting unit 25 estimates the blur amount for each pixel (the blur for the surrounding subjects P1 to P4) based on the distance map corresponding to the distances D1 to D4 between the main subjects, which is estimated by the distance information estimation unit 24 in step 03. Amount) parameter is set (S04).
その後、画像処理部２２が、ステップ０４においてボカシ量設定部２５が設定した各画素（周囲被写体Ｐ１〜Ｐ４）に対するボカシ量のパラメータに基づいて、基準画像の周辺被写体Ｐ１〜Ｐ４の部分の画像をぼかす画像処理を施す（Ｓ０５）。すなわち、基準画像の周囲被写体Ｐ１〜Ｐ４を描く画素の画像情報に対して、ボカシ量設定部２５によって設定されたパラメータに応じた強度のフィルターをかけ、周囲被写体Ｐ１〜Ｐ４がぼけた画像を形成する。
Thereafter, the
これにより、基準画像とは異なる、主要被写体Ｍの周囲の周囲被写体Ｐ１〜Ｐ４が距離に応じてぼけた（対主要被写体間距離Ｄ１〜Ｄ４が大きい周囲被写体Ｐ１〜Ｐ４程、ぼけ量が大きい）、背景ボカシ画像が形成される。 Accordingly, the surrounding subjects P1 to P4 around the main subject M, which are different from the reference image, are blurred according to the distance (the surrounding subjects P1 to P4 having a larger distance between the main subjects D1 to D4 have a larger blur amount). A background blur image is formed.
このように形成された背景ボカシ画像は、基準画像が例えば図４（Ａ）に示すように近景から遠景までほとんど合焦したパンフォーカスの画像であっても、図４（Ｂ）に示すように、あたかも明るい（Ｆ値の小さい）大口径レンズを用いて絞り開放付近で撮影したかのような画像となる。すなわち、被写界深度が浅く、主要被写体Ｍ以外の周囲被写体Ｐ１〜Ｐ４がぼけた画像となり、撮影者の意図する主要被写体Ｍを浮き上がらせた奥行きのある映像表現が可能となる。周囲被写体Ｐ１〜Ｐ４のボカシ量は、対主要被写体間距離Ｄ１〜Ｄ４に応じて変化するため、極めて自然なボケ具合が得られる。また、ボカシ量のパラメータを選択可能に構成することで、撮影者がその意図によってボケの程度を調整した画像を得ることができる。 As shown in FIG. 4B, the background blurred image formed in this way is a pan-focus image in which the reference image is almost in focus from the near view to the distant view as shown in FIG. 4A, for example. The image looks as if the image was taken near the full aperture using a bright (small F value) large aperture lens. That is, the depth of field is shallow, and the surrounding subjects P1 to P4 other than the main subject M become blurred, and a video expression with a depth in which the main subject M intended by the photographer is lifted is possible. Since the blur amounts of the surrounding subjects P1 to P4 change according to the distances D1 to D4 between the main subjects, an extremely natural blur condition is obtained. Further, by configuring the blur amount parameter to be selectable, it is possible to obtain an image in which the photographer has adjusted the degree of blur according to the intention.
（第２実施形態）
つぎに、背景ボカシモード時における、制御部２０による背景ボカシ処理の異なる第２実施形態を説明する。第２実施形態に係るカメラ１０及びその制御部２０の各部の構成は、前述の実施形態と同様であるため、その説明は省略する。
(Second Embodiment)
Next, a second embodiment in which background blur processing by the
第２実施形態における背面ボカシモードでは、基準画像と、複数の参照画像とを用い、参照画像の中から上述した第１実施形態と同様の手法で特定された周囲被写体Ｐ１〜Ｐ４に合焦する画素が出力する画像を、対主要被写体間距離Ｄ１〜Ｄ４に応じた量でぼかし、そのぼかした周囲被写体Ｐ１〜Ｐ４の画像を基準画像に合成することで、主要被写体Ｍからの距離に応じて周辺被写体Ｐ１〜Ｐ４をぼかした背面ボカシ画像を形成するものである。 In the back blur mode in the second embodiment, a reference image and a plurality of reference images are used to focus on surrounding subjects P1 to P4 specified by the same method as in the first embodiment described above from the reference images. The image output by the pixel is blurred by an amount corresponding to the distances D1 to D4 between the main subjects, and the images of the blurred surrounding subjects P1 to P4 are combined with the reference image, so that the image is output according to the distance from the main subject M. A back blur image in which the peripheral subjects P1 to P4 are blurred is formed.
図５は、第２実施形態における背景ボカシモード時における制御部２０の各機能部（撮影制御部２１、画像処理部２２、画像選択部２３、距離情報推測部２４、ボカシ量設定部２５）による処理の流れを示すフローチャートである。この図５に示すフローチャートに沿って、本実施形態を説明する。
FIG. 5 shows the functional units (the
背景ボカシモード時において、シャッターボタンが押圧されて撮影が指令されると、撮影制御部２１が、指定されたＡＦエリアに位置する被写体に合焦させて基準画像の撮影を行い、さらに、合焦位置を変化させて複数枚の参照画像の撮影を行う（Ｓ１１）。
ついで、画像選択部２３が、複数の参照画像を全て順番に、または、複数の参照画像の中から所定の条件で選択した参照画像を順番に、距離情報推測部２４に出力する（Ｓ１２）。
In the background blur mode, when shooting is instructed by pressing the shutter button, the
Next, the
距離情報推測部２４は、ステップ１２において画像選択部２３が選択した参照画像を用い、その各参照画像において合焦していると見做せる画素（各周囲被写体Ｐ１〜Ｐ４部分）を特定し、当該周囲被写体Ｐ１〜Ｐ４にそれぞれ合焦している画素が備える画像（周囲被写体合焦画像）を選択する。そして、その周囲被写体合焦画像の撮影時の合焦距離情報と、基準画像の合焦距離情報とに基づいて、カメラ１０から周囲被写体Ｐ１〜Ｐ４までの距離（被写体距離ｄ１〜ｄ４）を推測すると共に、主要被写体Ｍに合焦した基準画像に基づいてカメラ１０から主要被写体Ｍ間での距離ＤＭを推測し、両者から演算によって対主要被写体間距離Ｄ１〜Ｄ４を得て、これに基づいて第１実施形態と同様な距離マップを作成する（Ｓ１３）。
The distance information estimation unit 24 uses the reference image selected by the
ボカシ量設定部２５は、ステップ１３において距離情報推測部２４が推測した対主要被写体間距離Ｄ１〜Ｄ４に応じて作成した距離マップに基づいて、周囲被写体Ｐ１〜Ｐ４に合焦する画素の出力画像に対するボカシ量のパラメータを設定する（Ｓ１４）。
The blur amount setting unit 25 outputs an output image of pixels focused on the surrounding subjects P1 to P4 based on the distance map created according to the distances D1 to D4 between the main subjects estimated by the distance information estimation unit 24 in
その後、画像処理部２２が、ステップ１３において距離情報推測部２４が選択した周囲被写体合焦画像から、合焦した周囲被写体Ｐ１〜Ｐ４の画像部分を取り出し、この周囲被写体Ｐ１〜Ｐ４の画像に、ステップ１４においてボカシ量設定部２５によって設定された周囲被写体Ｐ１〜Ｐ４に対するボカシ量のパラメータに応じた強度のフィルターをかけ、ボカシ処理された周囲被写体Ｐ１〜Ｐ４の画像を形成する（Ｓ１５）。
そして、そのボカシ処理された周囲被写体Ｐ１〜Ｐ４の画像を、基本画像の対応する周囲被写体Ｐ１〜Ｐ４の画像と入れ替えて合成する（Ｓ１６）。
Thereafter, the
Then, the images of the surrounding subjects P1 to P4 subjected to the blurring process are replaced with the corresponding images of the surrounding subjects P1 to P4 of the basic image (S16).
これにより、基準画像とは異なる、主要被写体Ｍの周囲の周囲被写体Ｐ１〜Ｐ４が距離に応じてぼけた背景ボカシ画像が形成される。
このように形成された背景ボカシ画像は、前述した第１実施形態と同様に、あたかも明るい（Ｆ値の小さい）大口径レンズを用いて絞り開放付近で撮影したかのような、被写界深度が浅く、主要被写体の周囲がぼけた画像となる。
As a result, a background blurred image is formed in which surrounding subjects P1 to P4 around the main subject M, which are different from the reference image, are blurred according to the distance.
The background blurred image formed in this way is the depth of field as if it was shot near the full aperture using a bright (small F value) large aperture lens, as in the first embodiment described above. The image is shallow and the surroundings of the main subject are blurred.
第２実施形態では、合焦した周囲被写体像Ｐ１〜Ｐ４に対して、対主要被写体間距離Ｄ１〜Ｄ４（距離マップ）に応じてぼかした画像を形成し、それらを組み合わせることで主要被写体Ｍには合焦すると共に周囲被写体Ｐ１〜Ｐ４は対主要被写体間距離Ｄ１〜Ｄ４に応じてぼけた背景ボカシ画像を形成する。このため、ぼけ量を実際のレンズによるピント外れのボケに近似させた設定が容易となる。 In the second embodiment, an image blurred according to the distances D1 to D4 (distance map) between the main subjects is formed on the focused surrounding subject images P1 to P4, and these are combined to form the main subject M. And the surrounding subjects P1 to P4 form a blurred background image according to the distances D1 to D4 between the main subjects. For this reason, it is easy to set the blur amount to approximate the out-of-focus blur by the actual lens.
以上、本実施形態によると、以下の効果を有する。
（１）主要被写体に合焦した基準画像を撮影すると同時に、主要被写体から合焦位置をずらした参照画像を複数撮影し、基準画像と参照画像とに基づいて、主要被写体から周囲被写体までの距離を推測し、その距離に応じたボカシ量で基準画像における周辺被写体の画像をぼかすことで、主要被写体の周囲の周囲被写体が距離に応じてぼけた背景ボカシ画像を形成することができる。
これにより、撮像素子１５のサイズが小さく、撮像レンズ１１の焦点距離が短く暗い（開放Ｆ値の大きい）カメラ１０であっても、あたかも明るい（開放Ｆ値の小さい）大口径レンズを用いて絞り開放付近で撮影したかのような、被写界深度が浅く、主要被写体の周囲がぼけた画像を得ることができ、主要被写体Ｍを浮き上がらせた奥行きのある映像表現が可能となる。
As described above, this embodiment has the following effects.
(1) At the same time as capturing a reference image focused on the main subject, a plurality of reference images with the focus position shifted from the main subject are captured, and the distance from the main subject to the surrounding subjects based on the reference image and the reference image And blurring the surrounding subject image in the reference image with the blur amount corresponding to the distance, it is possible to form a background blur image in which the surrounding subjects around the main subject are blurred according to the distance.
As a result, even with the
（２）周囲被写体のボカシ量は、対主要被写体間距離に応じて変化するため、極めて自然なボケ具合が得られる。
（３）ボカシ量のパラメータを選択可能に構成することで、撮影者がその意図によってボケの程度を調整した画像を得ることができる。
(2) Since the blur amount of the surrounding subject changes in accordance with the distance between the main subjects, an extremely natural blur condition can be obtained.
(3) By configuring the blur amount parameter to be selectable, it is possible to obtain an image in which the photographer has adjusted the degree of blur according to the intention.
（変形形態）
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
（１）上記実施形態では、撮影制御部２１が合焦位置を変化させて撮影した複数枚の参照画像に基づいて、距離情報推測部２４が周囲被写体Ｐ１〜Ｐ４までの距離（対主要被写体間距離Ｄ１〜Ｄ４）を推測する例を説明した。しかし、参照画像の取得と、取得した参照画像に基づく対主要被写体間距離Ｄ１〜Ｄ４の推測は、この構成に限るものではなく、例えば、異なる絞り値で撮影した画像を参照画像とする構成としてもよい。すなわち、撮影制御部２１は、主要被写体Ｍに対する合焦位置は変化させずに絞り値を変化させて複数枚の参照画像を撮影し、距離情報推測部２４は、絞り値によって変化する被写界深度に基づいて、周囲被写体Ｐ１〜Ｐ４に合焦した参照画像の絞り値から、対主要被写体間距離Ｄ１〜Ｄ４を推測する構成としてもよい。
(Deformation)
The present invention is not limited to the above-described embodiment, and various modifications and changes as described below are possible, and these are also within the scope of the present invention.
(1) In the embodiment described above, the distance information estimation unit 24 determines the distances between the surrounding subjects P1 to P4 (between the main subjects) based on a plurality of reference images taken by the
（２）また、上記実施形態では、撮影制御部２１が、ＡＦエリアに位置する主要被写体Ｍに合焦させて撮影した画像を基準画像とし、この基準画像に対して画像処理部２２が画像処理（ボカシ処理）する例を説明した。しかし、基準画像は、連続して撮影した画像（実施形態における参照画像）の中から選択するように構成してもよい。例えば、連続して撮影した画像の中で、ＡＦエリア内におけるピント評価値が最も高い画像を基本画像として自動的に選択するように構成してもよく、連続して撮影した画像の中から撮影者が操作部１８を操作して基本画像をマニュアルで選択可能に構成してもよい。基本画像を撮影者がマニュアルで選択可能に構成する場合には、表示部１７に連続して撮影した画像をサムネイル形式で表示すると共に、合焦位置及び合焦領域を画面中にハイライト表示する等とすれば、解り易く操作性よく構成できる。
(2) In the above-described embodiment, the
（３）また、上記実施形態では、距離情報推測部２４が、対主要被写体間距離Ｄ１〜Ｄ４の推定に用いる特徴量として、コントラスト値を用いる例を説明したが、特徴量としては例えばエッジ量を用いる構成としてもよい。この場合、参照画像毎にピークと見做せるエッジ画素（予め決められたエッジ量以上のエッジ量が得られる画素、あるいは最大エッジ量およびその近傍のエッジ量が得られる画素）で囲まれた領域を同一被写体（上述した周囲被写体の１つ）と見做すようにして、その囲まれた画素に対して同一の距離情報を持つような距離マップを生成するように処理するのが望ましい。
（４）さらに、上記実施形態では、ボカシ量設定部２５は、予め定められたＬＵＴ（ｌｏｏｋ−ｕｐ Ｔａｂｌｅ）を参照することでボカシ量のパラメータを設定する例を説明したが、ボカシ量のパラメータの設定は、この例に限らず、例えば、予め定めた関数から演算して設定するように構成してもよいものである。
（５）なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
(3) Moreover, although the distance information estimation part 24 demonstrated the example which uses a contrast value as a feature-value used for estimation of distances D1-D4 with respect to main subjects in the said embodiment, as a feature-value, for example, edge amount It is good also as a structure using. In this case, an area surrounded by edge pixels that can be regarded as peaks for each reference image (pixels that can obtain an edge amount that is greater than or equal to a predetermined edge amount, or pixels that can obtain the maximum edge amount and the adjacent edge amount). It is desirable to process so as to generate a distance map having the same distance information with respect to the enclosed pixels so that it is regarded as the same subject (one of the above-mentioned surrounding subjects).
(4) Furthermore, in the above-described embodiment, the example in which the blur amount setting unit 25 sets the blur amount parameter by referring to a predetermined LUT (look-up table) has been described. This setting is not limited to this example. For example, the setting may be performed by calculating from a predetermined function.
(5) The embodiment and the modified embodiment can be used in appropriate combination, but detailed description thereof is omitted. Further, the present invention is not limited to the embodiment described above.
１０：カメラ１０、１１：撮像レンズ１１、１３：絞り、１５：撮像素子、１８：操作部、２０：制御部、２１：撮影制御部、２２：画像処理部、２３：画像選択部、２４：距離情報推測部、２５：ボカシ量設定部、Ｍ：主要被写体、Ｐ１〜Ｐ４：周囲被写体、Ｄ１〜Ｄ４：対主要被写体間距離
10:
Claims (11)
前記推測された前記距離情報を基に、前記複数領域に加えるボカシ量を決定するボカシ量決定手段と、
前記複数領域のそれぞれに対して、前記ボカシ量に応じたボカシ処理を加えるボカシ手段と、を有すること、
を特徴とするボカシ画像形成装置。 Distance information estimation means for estimating distance information of a plurality of areas obtained by dividing the shooting area based on a plurality of images obtained by shooting the same shooting area with different shooting conditions for focusing. When,
Based on the estimated distance information, a blur amount determination unit that determines a blur amount to be added to the plurality of regions;
A blur means for applying a blur processing according to the blur amount to each of the plurality of regions,
A blur image forming apparatus.
前記複数の画像を取得する画像取得手段と、
取得された前記複数の画像において、前記ボカシ量の基準となる基準画像及び該基準画像とは異なる１枚以上の参照画像を選択する画像選択手段と、
前記距離情報推測手段は、前記基準画像と前記参照画像と該両画像各々の撮影条件に基づいて、前記基準画像の焦点面に対する前記複数領域の前記距離情報をそれぞれ推測し、
前記ボカシ量決定手段は、前記推測された前記距離情報を基に、前記基準画像における前記複数領域のそれぞれに加えるボカシ量を決定し、
前記ボカシ手段は、前記基準画像における前記複数領域に対して、前記決定されたボカシ量を加えるボカシ画像処理を行うこと、
を特徴とするボカシ画像形成装置。 The blur image forming apparatus according to claim 1,
Image acquisition means for acquiring the plurality of images;
An image selection means for selecting a reference image as a reference for the amount of blur and one or more reference images different from the reference image in the acquired plurality of images;
The distance information estimation unit estimates the distance information of the plurality of regions with respect to the focal plane of the reference image based on the shooting conditions of the reference image, the reference image, and each of the images,
The blur amount determining means determines a blur amount to be added to each of the plurality of regions in the reference image based on the estimated distance information,
The blur means performs blur image processing for adding the determined blur amount to the plurality of regions in the reference image;
A blur image forming apparatus.
前記複数の画像を取得する画像取得手段と、
取得された前記複数の画像において、前記ボカシ量の基準となる基準画像及び該基準画像とは異なる複数の参照画像を選択する画像選択手段と、
前記距離情報推測手段は、前記基準画像と前記参照画像と該両画像各々の撮影条件に基づいて、前記基準画像の焦点面に対する前記複数領域の前記距離情報をそれぞれ推測し、
前記ボカシ量決定手段は、前記推測された前記距離情報を基に、前記複数の領域のうちの、前記複数の参照画像上でそれぞれ合焦状態にある互いに異なる領域それぞれに加えるボカシ量を決定し、
前記ボカシ手段は、前記複数の参照画像それぞれに対して前記ボカシ量に応じたボカシ画像処理が加えられた前記複数領域を、前記基準画像上で位置的に対応する前記複数領域に置き換える合成処理を前記基準画像に対して行うことを特徴とするボカシ画像形成装置。 The blur image forming apparatus according to claim 1,
Image acquisition means for acquiring the plurality of images;
An image selection means for selecting a reference image serving as a reference for the blur amount and a plurality of reference images different from the reference image in the acquired plurality of images;
The distance information estimation unit estimates the distance information of the plurality of regions with respect to the focal plane of the reference image based on the shooting conditions of the reference image, the reference image, and each of the images,
The blur amount determining means determines a blur amount to be added to each of the different regions that are in focus on the plurality of reference images among the plurality of regions, based on the estimated distance information. ,
The blur means performs a combination process of replacing the plurality of areas obtained by performing blur image processing corresponding to the blur amount for each of the plurality of reference images with the plurality of areas corresponding to each other on the reference image. A blur image forming apparatus, which is performed on the reference image.
前記合焦に関する撮影条件は、前記複数の画像を得る際に用いられた撮影レンズの焦点位置であり、
前記複数領域の距離は、前記焦点位置が異なる複数の画像の中から、前記複数の領域それぞれが合焦している画像をそれぞれ求め、それら各画像を得た際の前記焦点位置から求めること、
を特徴とするボカシ画像形成装置。 The blur image forming apparatus according to any one of claims 1 to 3,
The photographing condition related to the focus is a focal position of a photographing lens used when obtaining the plurality of images.
The distance between the plurality of areas is determined from the focus position when obtaining each of the plurality of areas, from the plurality of images having different focal positions, respectively.
A blur image forming apparatus.
前記合焦に関する撮影条件は被写界深度であり、
前記複数領域の距離は、前記被写界深度が異なる複数の画像の中から、前記複数領域それぞれが合焦している画像をそれぞれ求め、それら各画像を得た際の前記被写界深度より求められること、
を特徴とするボカシ画像形成装置。 The blur image forming apparatus according to any one of claims 1 to 3,
The shooting condition related to the in-focus is depth of field,
The distance between the plurality of areas is determined from the depth of field at the time when each of the plurality of areas is obtained from a plurality of images with different depths of field, and the respective images are obtained. What is required,
A blur image forming apparatus.
前記基準画像は、主要被写体に合焦している画像であり、
該主要被写体は、焦点検出動作時に、合焦領域を表示する領域表示が撮影画面上で重畳表示されている領域にある物体であること、
を特徴とするボカシ画像形成装置。 The blur image forming apparatus according to any one of claims 2 to 5,
The reference image is an image focused on a main subject,
The main subject is an object in a region where a region display for displaying a focus region is superimposed on the photographing screen during a focus detection operation;
A blur image forming apparatus.
前記基準画像は、主要被写体に合焦している画像であり、
該主要被写体は、前記基準画像を取得する際の焦点検出動作時において合焦度合いが最も高い物体であること、
を特徴とするボカシ画像形成装置。 The blur image forming apparatus according to any one of claims 2 to 5,
The reference image is an image focused on a main subject,
The main subject is an object with the highest degree of focus during a focus detection operation when acquiring the reference image;
A blur image forming apparatus.
前記画像取得手段は、前記合焦に関する撮影条件を、前記主要被写体に合焦している際の撮影条件近傍から該撮影条件を一方向に変化させつつ連続撮影を行うことにより、前記複数画像を取得することを特徴とするボカシ画像形成装置。 The blur image forming apparatus according to claim 6, wherein:
The image acquisition means performs the continuous shooting while changing the shooting condition in one direction from the vicinity of the shooting condition when the main subject is focused on, as the shooting condition related to the in-focus state. A blur image forming apparatus that acquires the image.
前記画像取得手段は、前記主要被写体に合焦している撮影条件の近傍の条件であって、且つ該撮影条件を前記一方向とは逆方向に変化させた撮影条件から、該撮影条件を一方向に変化させつつ前記連続撮影を行うことを特徴とするボカシ画像形成装置。 The blur image forming apparatus according to claim 8,
The image acquisition means sets the shooting condition based on a shooting condition that is in the vicinity of the shooting condition focused on the main subject and that the shooting condition is changed in a direction opposite to the one direction. A blur image forming apparatus that performs the continuous photographing while changing the direction.
前記画像取得手段は、前記合焦に関する撮影条件を、前記主要被写体に合焦しているか否かとは無関係に決められている所定の撮影条件から、該撮影条件を一方向に変化させつつ連続撮影を行うことにより、前記複数画像を取得することを特徴とするボカシ画像形成装置。 The blur image forming apparatus according to claim 6, wherein:
The image acquisition means performs continuous shooting while changing the shooting condition in one direction from a predetermined shooting condition determined regardless of whether or not the main subject is in focus. A blur image forming apparatus that acquires the plurality of images by performing
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009153736A JP2011010194A (en) | 2009-06-29 | 2009-06-29 | Blurred image forming apparatus and camera provided with the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009153736A JP2011010194A (en) | 2009-06-29 | 2009-06-29 | Blurred image forming apparatus and camera provided with the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011010194A true JP2011010194A (en) | 2011-01-13 |
Family
ID=43566306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009153736A Pending JP2011010194A (en) | 2009-06-29 | 2009-06-29 | Blurred image forming apparatus and camera provided with the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011010194A (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012132277A1 (en) * | 2011-03-28 | 2012-10-04 | パナソニック株式会社 | Imaging device and live view image display method |
| US20120301044A1 (en) * | 2011-05-27 | 2012-11-29 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
| JP2012247356A (en) * | 2011-05-30 | 2012-12-13 | Canon Inc | Imaging module, imaging apparatus, image processing apparatus, and image processing method |
| JP2012253444A (en) * | 2011-05-31 | 2012-12-20 | Canon Inc | Imaging apparatus, image processing system, and method thereof |
| JP2013135341A (en) * | 2011-12-26 | 2013-07-08 | Canon Inc | Image processing device and image processing method, program, and storage medium |
| JP2014138290A (en) * | 2013-01-17 | 2014-07-28 | Sharp Corp | Imaging device and imaging method |
| JP2014155008A (en) * | 2013-02-07 | 2014-08-25 | Canon Inc | Image pickup device, control method therefor, and program |
| JP2015043495A (en) * | 2013-08-26 | 2015-03-05 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, image processing method, and program |
| JP2015111822A (en) * | 2013-10-30 | 2015-06-18 | 株式会社モルフォ | Image processing apparatus, image processing method, and program thereof |
| US9313419B2 (en) | 2013-01-31 | 2016-04-12 | Canon Kabushiki Kaisha | Image processing apparatus and image pickup apparatus where image processing is applied using an acquired depth map |
| JP2016157481A (en) * | 2011-05-11 | 2016-09-01 | アイキューブド研究所株式会社 | Acquisition device for lookup table, generation support method for lookup table, production method for lookup table, and program |
| US9826194B2 (en) | 2011-05-11 | 2017-11-21 | I-Cubed Research Center Inc. | Image processing apparatus with a look-up table and a mapping unit, image processing method using a look-up table and a mapping unit, and storage medium in which program using a look-up table and a mapping unit is stored |
| JP2018061292A (en) * | 2013-01-31 | 2018-04-12 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
-
2009
- 2009-06-29 JP JP2009153736A patent/JP2011010194A/en active Pending
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012132277A1 (en) * | 2011-03-28 | 2012-10-04 | パナソニック株式会社 | Imaging device and live view image display method |
| JP2012203352A (en) * | 2011-03-28 | 2012-10-22 | Panasonic Corp | Photographic apparatus and live view image display method |
| US9826194B2 (en) | 2011-05-11 | 2017-11-21 | I-Cubed Research Center Inc. | Image processing apparatus with a look-up table and a mapping unit, image processing method using a look-up table and a mapping unit, and storage medium in which program using a look-up table and a mapping unit is stored |
| JP2016157481A (en) * | 2011-05-11 | 2016-09-01 | アイキューブド研究所株式会社 | Acquisition device for lookup table, generation support method for lookup table, production method for lookup table, and program |
| US20120301044A1 (en) * | 2011-05-27 | 2012-11-29 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
| JP2012248001A (en) * | 2011-05-27 | 2012-12-13 | Canon Inc | Image processing apparatus, image processing method, and program |
| US8942506B2 (en) | 2011-05-27 | 2015-01-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
| JP2012247356A (en) * | 2011-05-30 | 2012-12-13 | Canon Inc | Imaging module, imaging apparatus, image processing apparatus, and image processing method |
| JP2012253444A (en) * | 2011-05-31 | 2012-12-20 | Canon Inc | Imaging apparatus, image processing system, and method thereof |
| JP2013135341A (en) * | 2011-12-26 | 2013-07-08 | Canon Inc | Image processing device and image processing method, program, and storage medium |
| JP2014138290A (en) * | 2013-01-17 | 2014-07-28 | Sharp Corp | Imaging device and imaging method |
| US9313419B2 (en) | 2013-01-31 | 2016-04-12 | Canon Kabushiki Kaisha | Image processing apparatus and image pickup apparatus where image processing is applied using an acquired depth map |
| JP2018061292A (en) * | 2013-01-31 | 2018-04-12 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| US9998650B2 (en) | 2013-01-31 | 2018-06-12 | Canon Kabushiki Kaisha | Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map |
| JP2014155008A (en) * | 2013-02-07 | 2014-08-25 | Canon Inc | Image pickup device, control method therefor, and program |
| JP2015043495A (en) * | 2013-08-26 | 2015-03-05 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, image processing method, and program |
| JP2015111822A (en) * | 2013-10-30 | 2015-06-18 | 株式会社モルフォ | Image processing apparatus, image processing method, and program thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2011010194A (en) | Blurred image forming apparatus and camera provided with the same | |
| JP5769768B2 (en) | Imaging apparatus, imaging method, and program | |
| KR101427660B1 (en) | Apparatus and method for blurring an image background in digital image processing device | |
| JP4524717B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP5460173B2 (en) | Image processing method, image processing apparatus, image processing program, and imaging apparatus | |
| KR101817657B1 (en) | Digital photographing apparatus splay apparatus and control method thereof | |
| KR20100039430A (en) | Image processor, image processing method, digital camera, and imaging apparatus | |
| JP5262417B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2008236534A (en) | Digital camera, and information display method and information display control program | |
| KR101599872B1 (en) | Digital photographing apparatus method for controlling the same and recording medium storing program to implement the method | |
| JP2008118383A (en) | Digital camera | |
| KR20110109574A (en) | Image processing method and photographing apparatus using the same | |
| JP2008079193A (en) | Digital camera | |
| JP2015204470A (en) | Imaging apparatus, control method thereof, and program | |
| JP2008301371A (en) | Imaging apparatus and image processing program | |
| JP2006109199A (en) | Digital camera and image processing system using the same | |
| JP5117889B2 (en) | Image processing apparatus and image processing method | |
| JP2017143354A (en) | Image processing apparatus and image processing method | |
| JP2007311962A (en) | Electronic camera and image display program | |
| KR101777353B1 (en) | Digital photographing apparatus and control method thereof | |
| EP2991335B1 (en) | Image capture device and control method thereof | |
| US10634976B2 (en) | Imaging device | |
| JP2013034173A (en) | Imaging apparatus | |
| JP6675917B2 (en) | Imaging device and imaging method | |
| JP5964937B2 (en) | Image processing method, electronic device, and program |