JP5927265B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理技術に関する。

カメラの撮影技術の１つに、被写界深度の浅い画像を撮影することで、狭い距離範囲にのみにフォーカスを合わせ、その前後の被写体をぼかし、フォーカスの合った特定の被写体が際立った画像を撮影する技術がある。被写界深度はカメラの焦点距離が長いほど浅く、一眼レフカメラなどを用いて被写界深度の浅い画像が撮影されている。

一方、小型のデジタルカメラやスマートフォンに搭載されているカメラは、撮像素子が小さく焦点距離が短いため、被写界深度の浅い画像を撮影することが難しい。

そこで、被写界深度の深い画像と画像に対応する距離情報に基づいて、被写界深度の浅い画像を生成する画像処理技術が提案されている。特許文献１には、画像を複数の領域に分割し、分割領域毎に被写体までの距離を算出し、距離に応じたぼかし処理を施す技術が記載されている。

特開２００８−２９４７８５号公報

しかしながら、特許文献１に記載の画像処理方法は、以下の課題を有している。
図１５（Ａ）から図１５（Ｃ）までは、異なるフォーカス位置で撮影した３枚の画像を示している。図１５（Ａ）は近景の被写体（木）１５０１にフォーカスが合っており、遠景の被写体（ビル）１５０２はぼけている。図１５（Ｂ）は近景と遠景の中間位置にフォーカスが合っており、近景の被写体、遠景の被写体ともにややぼけている。図１５（Ｃ）は遠景の被写体にフォーカスが合っており、近景の被写体はぼけている。

特許文献１には、図１５（Ａ）から図１５（Ｃ）までに示すような、フォーカス位置の異なる複数枚の画像の高周波成分の強度から、分割した領域毎に被写体までの距離を算出する方法が記載されている。図１６（Ａ）は図１５（Ａ）と同じ画像であり、図１６（Ａ）に示す領域１６０１は、分割領域の１つである。図１６（Ｂ）、（Ｃ）、（Ｄ）は、図１５（Ａ）から図１５（Ｃ）までに示した３枚の画像上の、領域１６０１に対応する位置の拡大図である。図１６（Ｂ）、（Ｃ）、（Ｄ）を比較すると、図１６（Ｄ）の高周波成分が最も強く、遠景と判定出来る。従って、遠景をぼかして被写界深度を浅くする場合、遠景と判定された領域１６０１をぼかすことになる。しかし、領域１６０１には、遠景被写体１５０２だけでなく、近景被写体１５０１も含まれており、領域１６０１をぼかすと近景被写体までぼけてしまい、不自然なぼけとなってしまう。図１６に示すように、分割領域の中に近景被写体と遠景被写体がともに含まれる場合は、被写体までの距離を正しく算出することが難しい。図１６に示す場合では、分割領域の大きさを小さくすれば、１つの分割領域内に距離の異なる被写体が複数含まれる可能性を低減することが出来るが、分割領域の大きさが小さい場合は、以下の課題が生じる。

図１７（Ａ）は遠景被写体１７０１を撮影した画像を示しており、領域１７０２、１７０３はそれぞれ分割領域を示している。領域１７０２のように分割領域を大きく設定すると、遠景被写体１７０１のエッジから離れた位置においても、分割領域内に遠景被写体１７０１が含まれるため、遠景と判定することができ、図１７（Ｂ）に示すように、自然なぼけの拡がりを表現することが可能となる。一方、領域１７０３のように分割領域を小さく設定すると、遠景被写体１７０１のエッジから離れた位置においては、分割領域内に遠景被写体１７０１が含まれず、平坦領域であるため、遠景と判定することが困難となり、図１７（Ｃ）に示すように、遠景と判定してぼかす領域と平坦領域との境界が不自然になってしまう。つまり、分割領域毎に距離を算出して被写界深度の浅い画像を生成する場合、領域の大きさに依らず、自然なぼけを表現することが困難な場合がある。

本発明は上記の点に鑑みてなされたものであり、自然なぼけを表現した被写界深度の浅い画像を生成することができる画像処理装置を提供することを目的とする。

本発明は上記の課題を解決するためになされたものであり、被写界深度の浅い画像を生成する画像処理装置であって、複数の入力画像のうち少なくとも１つの画像に対応する距離情報を算出する距離算出部と、前記距離情報に基づいて被写界深度の浅い出力画像を生成する画像生成部を備え、前記距離算出部は、大きさの異なる複数のコントラスト算出領域から距離情報を算出し、前記画像生成部は、前記距離情報に基づいて前記入力画像の画素値を平滑化して出力画像の画素値を算出することを特徴とする。

本発明によれば、自然なぼけを表現した被写界深度の浅い画像を生成することができる。

本発明の実施形態に係る画像処理装置を含む撮像装置の一構成例を示す機能ブロック図である。 制御部の一構成例を示す機能ブロック図である。 画像処理部の一構成例を示す機能ブロック図である。 異なるフォーカス位置で撮像された複数の画像から被写界深度の浅い画像を生成する画像処理の流れを示すフローチャート図である。 画像処理部の一構成例を示す機能ブロック図である。 本実施の形態による画像生成処理の一例を示すフローチャート図である。 本発明の第２の実施の形態による画像生成処理の一例を示すフローチャート図である。 本発明の第３の実施の形態によるステップＳ４０７の処理例を示す図である。 本発明の第４の実施の形態によるステップＳ４０８の一例を示す図である。 本発明の第４の実施の形態によるステップＳ４０８の他の処理例を示す図である。 図５（Ａ）は、近景被写体と遠景被写体を撮影した画像であり、図５（Ｂ）は画像内に示す領域５０３の拡大図であり、図５（Ｃ）、（Ｄ）はそれぞれ、フォーカス位置を中景、遠景に合わせて撮影した場合の、画像内に示す領域に対応する位置の拡大図を示している。 図６（Ａ）は図５（Ａ）と同様、近景被写体と遠景被写体を撮影した画像であり、図６（Ｂ）は小さく設定された領域６０１の拡大図であり、図６（Ｃ）、（Ｄ）はそれぞれ、フォーカス位置を中景、遠景に合わせて撮影した場合の、小さく設定された領域に対応する位置の拡大図を示す図である。 図７（Ａ）は、遠景被写体にフォーカスを合わせて撮影した画像を示しており、図７（Ｂ）は第１領域のコントラストから算出した距離を示しており、図７（Ｃ）は第２領域のコントラストから算出した距離を示す図である。 図８（Ａ）は、図７（Ｂ）に示す距離に基づいて図７（Ａ）の背景をぼかした画像を示しており、図８（Ｂ）は、図７（Ｃ）に示す距離に基づいて図７（Ａ）の背景をぼかした画像を示す図である。 図９（Ａ）は近景被写体と格子で示す遠景被写体を示し、図９（Ｂ）は、図９（Ａ）に示す第２領域を拡大した図である。 図１０（Ａ）は、図９（Ａ）と同様、近景被写体と遠景被写体を示しており、図１０（Ｂ）は図１０（Ａ）に示す第３領域を拡大した図である。 図１１（Ａ）は近景被写体（人）と遠景被写体（山）を示しており、その他の領域は遠景被写体（空）を示している。図１１（Ｂ）は、図１１（Ａ）の領域１１０３の拡大図を示している。 図１２（Ａ）は遠景被写体を撮影した画像を示しており、図１２（Ｂ）は図１２（Ａ）の画像をぼかした画像を示しており、図１２（Ｃ）は、コントラスト算出領域を平滑化対象領域より小さく設定した場合のぼかし画像を示す図である。 図１３（Ａ）は、近景にフォーカスを合わせて撮影した画像を示しており、図１３（Ｂ）は第２領域に対応する領域を示す図である。 図１４（Ａ）は近景被写体（りんご）と斜線で示す遠景被写体が写った画像を示しており、図１４（Ｂ）は、図１４（Ａ）の画像に対応する背景ぼかし画像を示しており、図１４（Ｃ）は、図１４（Ａ）に対し、平滑化対象領域内の画素に対応する距離に基づいて平滑化して画素値を算出した背景ぼかし画像を示す図である。 フォーカス位置の異なる複数枚の画像の高周波成分の強度から、分割した領域毎に被写体までの距離を算出する方法を示す図である。 図１６（Ａ）は図１５（Ａ）と同じ画像であり、図１６（Ｂ）、（Ｃ）、（Ｄ）は、図１５（Ａ）から図１５（Ｃ）までに示した３枚の画像上の、領域２３０１に対応する位置の拡大図を示す図である。 図１７（Ａ）は遠景被写体を撮影した画像を示しており、図１７（Ｂ）は、分割領域を大きく設定した場合のぼけの表現を示す図であり、図１７（Ｃ）は、分割領域を小さく設定した場合のぼけの表現を示す図である。

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。図１は、本実施形態に係る画像処理装置（画像処理部１０４）を含む撮像装置１０の一構成例を示す機能ブロック図である。

撮像装置１０は、制御装置１００、撮像部１０１、画像表示部１０２を含んで構成される。

制御装置１００は、制御部１０３、画像処理部１０４、記憶装置１０５を含んで構成される。

撮像部１０１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、電荷結合素子）等の撮像デバイスやレンズ、レンズ駆動部などを含んで構成される。

画像表示部１０２は、制御装置１００から出力された出力画像信号が示す画像を表示する。画像表示部１０２は、例えば、液晶ディスプレイである。画像表示部１０２は、タッチパネル機能を備えていてもよい。タッチパネルとは、表示画面に表示された絵や領域に触れることを感知して外部へ情報信号として出力する装置である。タッチパネルには、操作した位置の電圧を感知する抵抗膜方式や、指先と導電膜の間での静電容量の変化を捉えて位置を検出する静電容量方式などがあり、操作者の画面上での位置情報や操作に対応した動作を行なう。

制御部１０３は、撮像部１０１のレンズ（図示せず）の駆動や、電源ボタンやシャッタボタンなどの入力装置（図示せず）からの入力信号の受信、画像表示部１０２への画像表示などの制御を行う。制御部１０３は、撮像装置１０に備えられたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のハードウェアがプログラムを実行することで実現される。

制御部１０３は、図２に示すように、フォーカスを制御するフォーカス制御部１０３−１と、被写体の選択を受付ける被写体選択受付部１０３−２と、撮像の制御を行う撮像制御部１０３−３とを有している。

画像処理部１０４は、図３に示すように、距離を算出する距離算出部１０４−１と、画像生成処理を行う画像生成部１０４−２と有している。距離算出部１０４−１では、入力された入力画像から被写体までの距離情報を算出し、画像生成部１０４−２では、算出した距離情報に基づいて出力画像を生成する。画像処理部１０４は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアや、ＣＰＵやＧＰＵでプログラムを実行することで実現することができる。

画像から被写体までの距離を算出する方法として、例えば、視点の異なる複数枚の画像の視差から距離情報を算出する方法がある。視差を算出する方法として、例えば、公知の技術として、ブロックマッチング法がある。ブロックマッチング法とは、画像間の類似度を評価する方法であり、一方の画像からある領域を選択し、その領域と最も類似度の高い領域を他方の画像から選択し、一方の画像から選択された領域と他方の画像から選択された最も類似度の高い領域との位置のずれが視差となる。また、画像から距離を算出する他の方法として、フォーカス位置の異なる複数枚の画像のコントラストから算出する方法がある。類似度を評価するブロックマッチング法や、コントラストを比較する方法では、いずれも、複数の画像を比較して距離情報を算出するための所定の領域（距離算出領域）を設定する必要があり、画像間の視差を算出する場合は距離算出領域として視差算出領域を設定し、画像間のコントラストを比較する場合は距離算出領域としてコントラスト算出領域を設定する。

上述のように、撮影条件の異なる複数枚の画像から被写体までの距離を算出する方法として、視差を利用する方法やコントラストを比較する方法などがあり、以下では、フォーカス位置を変えて撮影した複数枚の画像のコントラストから被写体までの距離を算出する方法を例に挙げて述べる。

また、被写界深度の浅い画像としては、近景の被写体にフォーカスが合っており背景の被写体のぼけた画像（以下、「背景ぼかし」という。）、遠景の被写体にフォーカスが合っており近景の被写体のぼけた画像、中景の被写体にフォーカスが合っており近景と遠景の被写体のぼけた画像がある。以下では、画像処理により背景ぼかしの画像を生成する方法を例に挙げて述べる。

図４Ａは、本実施形態において、異なるフォーカス位置で撮像された複数の画像から被写界深度の浅い画像を生成する画像処理の流れを示すフローチャート図である。図４Ｂは、画像処理部１０４のうち図４Ａの処理の流れに沿った一構成例を示す機能ブロック図である。図４Ｂに示すように、画像処理部１０４は、特徴点抽出部１０４-１と、対応点探索部１０４-２と、補正パラメータ算出部１０４-３と、画像補正部１０４-４と、合焦度評価部１０４-５と、距離算出部１０４-６と、画像生成部１０４−７と、を有している。

撮像部１０１で撮像されたフォーカス位置の異なる複数の画像は、画像処理部１０４に入力される（Ｓ４０１）。次に、特徴点抽出部１０４-１により、複数の画像の中から、特徴点抽出用の画像が設定され、特徴点が抽出される（Ｓ４０２）。特徴点が抽出されると、対応点探索部１０４-２が、特徴点を抽出した画像以外の画像から、Ｓ４０２で抽出された特徴点に対応する対応点を探索する（Ｓ４０３）。対応点が探索されると、補正パラメータ算出部１０４-３が、特徴点と対応点の位置関係から、複数の画像間の回転量や並進量やフォーカス位置の変化に伴う拡大縮小率を算出し、複数の画像間で対応する位置を一致させる補正パラメータを算出する（Ｓ４０４）。補正パラメータが算出されると、合成時に基準とする画像に、他の画像が一致するよう、画像補正部１０４-４が、他の画像を補正する（Ｓ４０５）。各画像の対応する位置が一致するよう補正されると、合焦度評価部１０４-５が、各画像の合焦度を評価する（Ｓ４０６）。そして、距離算出部１０４-６が、画像の各領域について、各画像の合焦度に基づいて、被写体までの距離を算出する（Ｓ４０７）。距離が算出されると、画像生成部１０４−７が、距離に基づいて画像をぼかし、被写界深度の浅い画像を生成する（Ｓ４０８）。

次に、Ｓ４０６、Ｓ４０７、Ｓ４０８の処理の詳細について述べる。
Ｓ４０６では、画像のコントラストから合焦度を評価する。コントラストは、例えば、注目画素を中心とする所定の領域内における、隣接画素間の画素値の差から算出することができる。フォーカスが合わず画像がぼけていれば、ぼけにより平滑化され隣接画素の画素値の差は小さくなりコントラストが低下する。したがって、隣接画素間の画素値の差が大きくコントラストが高いほどフォーカスが合っていると判断することができる。コントラスト算出に用いる画素値は、例えば、Ｙ値を用いることが出来る。Ｙ値を用いることで、ＲＧＢ３色を用いる場合と比較して、処理量を少なくすることが出来る。入力される画像データがＲＧＢの場合は、例えば、下記の式（１）からＹ値を計算してもよい。

Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ・・・（１）

また、Ｙ値だけでなく、ＹＵＶ値や、ＲＧＢ値など複数の値からコントラストを算出してもよい。ＹＵＶ値やＲＧＢ値を用いる場合、明るさが同じで色が異なる領域が隣接している場合に、明るさ成分では検出することが出来ない色成分のコントラストを検出することができ、距離算出精度が向上する。

図５（Ａ）は、近景被写体５０１（図では木）と遠景被写体５０２（図ではビル）を撮影した画像であり、近景被写体５０１にフォーカスを合わせて撮影されて画像を示している。また、画像内に示す領域５０３は、コントラストを算出するための領域を示しており、その中心には近景被写体５０１が写っている。図５（Ｂ）は領域５０３の拡大図であり、図５（Ｃ）、（Ｄ）はそれぞれ、フォーカス位置を中景、遠景に合わせて撮影した場合の、領域５０３に対応する位置の拡大図を示している。図５（Ｂ）（Ｃ）（Ｄ）に示すように、近景、中景、遠景にそれぞれフォーカスを合わせて撮影した画像のコントラストを算出する。

次に、Ｓ４０７では、Ｓ４０６で算出したコントラスト（合焦度）を比較することで、被写体までの距離を算出する。例えば、図５（Ｂ）、（Ｃ）、（Ｄ）の合焦度をそれぞれ、ＣＯＮＴ＿Ｎ、ＣＯＮＴ＿Ｍ、ＣＯＮＴ＿Ｆとして、
ＣＯＮＴ＿Ｎ＞ＣＯＮＴ＿Ｍ、かつ、ＣＯＮＴ＿Ｎ＞ＣＯＮＴ＿Ｆであれば、
近景にフォーカスを合わせて撮影した画像の合焦度が最も高いので、近景と推定することが出来る。

同様に、
ＣＯＮＴ＿Ｆ＞ＣＯＮＴ＿Ｎ、かつ、ＣＯＮＴ＿Ｆ＞ＣＯＮＴ＿Ｍであれば遠景、
ＣＯＮＴ＿Ｍ＞ＣＯＮＴ＿Ｎ、かつ、ＣＯＮＴ＿Ｍ＞ＣＯＮＴ＿Ｆであれば中景
と推定することが出来る。

また、
ＣＯＮＴ＿Ｎ＝ＣＯＮＴ＿Ｍ、かつ、ＣＯＮＴ＿Ｎ＞ＣＯＮＴ＿Ｆであれば、
近景と中景の中間位置であると推定することが出来る。

また、ＣＯＮＴ＿Ｎ、ＣＯＮＴ＿Ｍ、ＣＯＮＴ＿Ｆのいずれもが小さい値、またはゼロの場合は、フォーカスを合わせて撮影してもコントラストが低いことから、特徴のない平坦な領域である可能性が高い。平坦領域と判定された画素の処理については後述する。ここで、コントラスト算出領域の大きさと、算出される距離の関係について述べる。

図５に示す領域５０３は、その中心に近景被写体５０１が写っており、すなわち、背景ぼかしの画像を生成する際にぼかさない領域であり、好適な背景ぼかしを行うためには、近景と判定されることが望ましい。しかし、図５（Ｂ）、（Ｃ）、（Ｄ）に示す領域５０３に対応する部分の拡大図を比較すると、領域５０３内に主に含まれる被写体が遠景被写体５０２であるため、遠景にフォーカスを合わせた画像である図５（Ｄ）のコントラストが最も高くなっている。したがって、近景被写体と遠景被写体が隣接する領域では、コントラストを算出する領域を広く設定すると、距離を誤って算出する可能性がある。

そこで、本実施の形態では、大きさの異なる複数のコントラスト算出領域を設定することで、近景被写体と遠景被写体とが隣接する領域における距離の誤算出を低減する。本実施形態では、大きさの異なるコントラスト算出領域を２つ設定する。２つのコントラスト算出領域を区別するため、小さい方のコントラスト算出領域を第１領域、大きい方のコントラスト算出領域を第２領域とする。まず、第１領域からコントラストを算出する場合を説明する。

図６（Ａ）は図５（Ａ）と同様、近景被写体５０１（木）と遠景被写体５０２（ビル）を撮影した画像であり、近景被写体５０１にフォーカスを合わせて撮影されて画像を示している。また、画像内に示す領域６０１は、コントラスト算出領域を示しており、その中心には近景被写体５０１が写っている。領域６０１は、図５に示す領域５０３より小さく設定されている。図６（Ｂ）は領域６０１の拡大図であり、図６（Ｃ）、（Ｄ）はそれぞれ、フォーカス位置を中景、遠景に合わせて撮影した場合の、領域６０１に対応する位置の拡大図を示している。図６（Ｂ）、（Ｃ）、（Ｄ）を比較すると、近景にフォーカスを合わせた画像である図６（Ｂ）のコントラストが最も高くなっている。図６に示すように、コントラスト算出領域を小さく設定することで、距離の誤算出を低減することが出来る。ただし、極端に小さく設定すると、距離を算出するために必要コントラストが十分に得られない可能性があり、また、Ｓ４０５の画像の位置合わせの誤差が生じている可能性があるため、極端に小さくならないよう適切に設定する。例えば、画像の垂直解像度または水平解像度の１％程度に設定すればよい。

次に、第２領域からコントラストを算出する場合について説明する。図７（Ａ）は、遠景被写体７０１にフォーカスを合わせて撮影した画像を示しており、領域７０２は第１領域、領域７０３は第２領域を示している。第２領域７０３は、領域内に遠景被写体７０１を含むため、第２領域のコントラストから算出される距離が示す位置が遠景となる。一方、第１領域７０２は、領域内に遠景被写体７０１を含まず、平坦領域と判定される。図７（Ｂ）は第１領域のコントラストから算出した距離を示しており、斜線で示す部分７０１ａが遠景と判定された領域を示している。また、その他の領域は平坦領域と判定された領域を示している。同様に、図７（Ｃ）は第２領域のコントラストから算出した距離を示している。第１領域のコントラストから距離を算出した場合に比べ、第２領域のコントラストから距離を算出した方が、遠景と判定される領域が増加し、平坦領域と判定される領域が低減する。

図８（Ａ）は、図７（Ｂ）に示す距離に基づいて図７（Ａ）の背景をぼかした画像を示しており、図８（Ｂ）は、図７（Ｃ）に示す距離に基づいて図７（Ａ）の背景をぼかした画像を示している。なお、図８（Ａ）、（Ｂ）共に、平坦領域と判定された画素は元画像である図７（Ａ）の画素値をそのまま用いている。平坦領域と判定された画素の処理方法としては、図８に示すように元画像の画素をそのまま利用する方法の他、小さくぼかす、背景と同様大きくぼかす方法などがあり、詳細は後述する。

図８（Ａ）と（Ｂ）を比較すると、図８（Ｂ）はぼけが自然に拡がっているが、図８（Ａ）は、遠景と判定された領域が小さいため、ぼけが十分に拡がらず、平坦領域と遠景領域の境界に不自然なエッジが生じ、画質が劣化している。第１領域からコントラストを算出して距離を算出する場合、前述のように、近景と遠景が隣接するような領域の距離の誤算出は低減されるが、図７、図８に示すように、平坦領域と判定される領域が増加する。

そこで、本実施形態では、第１領域のコントラストからは平坦領域と判定された場合に、第２領域のコントラストから算出した距離に基づいてぼかし処理を行う。
大小２つコントラスト算出領域から算出した距離に基づいてぼかし処理を行うことで、近景と遠景が隣接するような領域の距離の誤算出を低減し、更に、ぼけが好適に拡がった背景ぼかし画像を生成することが出来る。第１領域、第２領域ともに平坦領域と判定された場合は、平坦領域の処理を適用する。

次に、Ｓ４０８の画像生成方法について述べる。Ｓ４０８では、Ｓ４０７で算出した距離に基づいて、背景ぼかし画像を生成する。背景ぼかし画像の各画素の画素値は、撮影した画像を平滑化することで算出することができる。例えば、算出した距離が遠いほど、平滑化のフィルタサイズ（平滑化の対象とする領域）を大きくすることで、距離が遠くなるに従ってぼけ度合いが大きくなり、好適な背景ぼかし画像を生成することが出来る。平滑化の対象とする領域の形状は、例えば、円形に設定する場合、ぼけが円形に拡がることになり、多角形に設定すれば、多角形にぼけが拡がることになり、所望のぼけ形状に合わせて、平滑化対象領域の形状を設定すればよい。一方、算出された距離が示す位置が近景である画素については、ぼかす必要がないため、元画像の画素値をそのまま背景ぼかし画像の画素値とすればよい。次に、平坦領域と判定された画素の処理について述べる。第１領域と第２領域ともに平坦領域と判定された画素は、第２領域内全体がほぼ平坦であり、中心画素と周辺画素の画素値は大きく異ならないため、平滑化しても、元画像の画素値から大きく変化しない。しかし、平滑化せずに元画像の画素値をそのまま用いると、元画像に含まれるノイズなどによる微小な変化が、平滑化する場合に比べ大きくなるため、遠景と判定され平滑化した領域と、平坦領域と判定され元画像の画素値をそのまま用いた領域との境界で微小変化量に差がでてしまい、不自然な画像になる可能性がある。そこで、平坦領域と判定された画素については、元画像の画素値をそのまま用いるよりも、平滑化する方が好適である。一方、平滑化すると、近景と判定され元画像の画素値をそのまま用いる領域との境界で微小変化量に差が出る可能性がある。そこで、平坦領域と遠景領域との境界、平坦領域と近景領域との境界の差がともに小さくなるよう、平坦領域と判定された画素の背景ぼかし画像の画素値を算出する際の平滑化対象領域は、３×３画素、５×５画素といった狭い範囲に設定する方が好適である。

図４Ｃは、本実施の形態による画像生成処理の一例を示すフローチャート図である。

以上説明したように、本実施の形態によれば、大きさの異なるコントラスト算出領域を設定し（ステップＳ４０８-３１）、小さな第１領域のコントラストから距離を算出する（ステップＳ４０８-３２）ことで、近景と遠景が隣接するような領域の距離の誤算出を低減し、第１領域のコントラストからは平坦領域と判定された画素について、第１領域より大きな第２領域のコントラストから算出した距離に基づいて背景側の被写体をぼかすことで（ステップＳ４０８-３３）、被写界深度の浅い好適な背景ぼかし画像を生成することができる。

また、背景ぼかし画像の画素値を算出する際、元画像の画素値を線形空間に変換してから平滑化を行い、平滑化して算出された値に対して、元画像の空間に戻すことで、より好適な背景ぼかし画像を生成することが出来る。例えば、元画像が、線形空間に対して０．４５乗されたガンマ空間の画像であり、画素値のビット数が８ビットで、最大値が２５５、最小値が０であるとする。この条件において、画素値２５５と画素値１２７の２つの画素を平滑化すると、画素値は１９１となる。一方、上記元画像の画素値を線形空間（８ビット）に変換すると、それぞれの画素値は２５５、５４となり、平滑化すると１５５となる。線形空間で平滑化した画素値１５５を元のガンマ空間（８ビット）に変換すると、その画素値は２０４となる。したがって、線形空間に変換してから平滑化した場合とガンマ空間で平滑化した場合とでは算出される画素値が異なることになる。実際に撮影してぼかす場合は、線形空間でぼけることになるため、画像処理でぼかし処理を行う場合も、上述のように線形空間に変換してから平滑化等の画像処理を行う方が、撮影時のぼけに近いより好適なぼかし処理を行うことが出来る。

また、背景ぼかし画像の画素値を算出する際に元画像に用いる画像を、近景にフォーカスの合った画像とすることで、より好適な背景ぼかし画像を生成することが出来る。上述のように、近景と遠景が隣接する領域では、距離の算出が困難な場合がある。例えば、近景と遠景が隣接する領域で、実際には遠景である画素の距離を、近景として算出した場合、ぼかすべき画素をぼかさないことになるが、元画像に用いる画像を近景にフォーカスを合わせた画像にすれば、元画像においてフォーカスの合っていない遠景被写体はぼけており、距離を誤ったことに起因する画質劣化を低減することが出来る。逆に、前景ぼかし画像を生成する場合の元画像には、遠景にフォーカスの合った画像を用いればよい。また、前景と背景をぼかした画像を生成する場合は、中景にフォーカスの合った画像を元画像に用いればよい。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態では、大きさの異なる３つ以上のコントラスト算出領域を設定し、更に好適な背景ぼかし画像を生成する。図４Ｄは、本実施の形態による画像生成処理の一例を示すフローチャート図である。

図９（Ａ）は近景被写体９０１ａ（りんご）と格子で示す遠景被写体９０１ｂを示している。また、領域９０２は第１領域、領域９０３は第２領域を示している。図９（Ａ）においては、第１領域９０２内には特徴がなく、第１領域９０２のコントラストからは平坦領域と判定されるため、第２領域９０３のコントラストから算出した距離に基づいてぼかし処理を行う。図９（Ｂ）は、図９（Ａ）に示す第２領域９０３を拡大した図である。第２領域９０３は、その中心画素が近景被写体であるから、算出される距離が示す位置が近景である方が好適である。しかし、第２領域９０３内には、近景被写体と遠景被写体が共に含まれており、近景被写体の特徴量が少なく、遠景の特徴量が多いため、算出される距離が示す位置が遠景となる可能性がある。そこで、本実施形態では、第３領域として、第１領域より大きく、第２領域より小さなコントラスト算出領域を設定して、距離の誤算出を低減する。

図１０（Ａ）は、図９（Ａ）と同様、近景被写体９０１ａと遠景被写体９０１ｂを示しており、領域１００１は、第３領域である。また、図１０（Ｂ）は図１０（Ａ）に示す第３領域１００１を拡大した図である。

第３領域１００１内には、近景被写体と遠景被写体が共に含まれているが、近景被写体の特徴量の方が遠景の特徴量より多く、第３領域１００１のコントラストから算出した距離が示す位置は近景である可能性が高い。本実施形態では、大きさの異なる３つ以上のコントラスト算出領域を設定し（ステップＳ４０８−２１）、小さい領域のコントラストから算出した距離を優先して参照してぼかし処理を行う（ステップＳ４０８−２２）。最も小さな第１領域のコントラストからは平坦領域と判定された場合は、２番目に小さい第３領域のコントラストから算出した距離に基づいてぼかし処理を行い、第３領域のコントラストからも平坦領域と判定された場合は、更に大きな第２領域のコントラストから算出した距離に基づいたぼかし処理を行う。最も大きな第２領域のコントラストからも平坦領域と判定された場合は、平坦領域の処理を適用する（ステップＳ４０８−２３）。上述のように、コントラスト算出領域を徐々に大きくすると、最初にコントラスト算出領域内に特徴点を含み距離を算出可能な大きさとなる場合に、図１０（Ｂ）に示すように、中心画素から最も近い特徴点を主に含むことになり、近景と遠景が隣接するような領域において、距離の誤算出を低減することが出来る。

ここで、本実施形態においても、距離を誤算出する可能性がある場合について説明する。図１１（Ａ）は近景被写体１１０２（人）と遠景被写体１１０１（山）を示しており、その他の領域は遠景被写体（空）１１０４を示している。領域１１０３はコントラスト算出領域を示しており、複数設定したコントラスト算出領域の中で、最初にコントラスト算出領域内に特徴点を含む大きさを示している。

また、図１１（Ｂ）は、図１１（Ａ）の領域１１０３の拡大図を示している。領域１１０３の中心画素は遠景被写体であるから、算出される距離が示す位置が遠景である方が好適である。しかし、領域１１０３内に含む特徴量は、近景被写体の特徴量であるため、算出される距離が示す位置が近景となる可能性が高い。つまり、距離を誤算出する可能性が高い。しかし、図１１（Ａ）に示すようなシーンにおいては、距離を誤算出しても大きな画質劣化は生じない。上述のように、平坦領域は、中心画素と周辺画素の画素値が大きく異ならないため、平滑化しても元画像の画素値から大きく変化しない。したがって、領域１１０３の中心画素の画素値を近景と判定して元画像の画素を用いるとしても、平滑化された所望の画素値と大きく異ならない好適な画素値が得られることになる。

以上は３つのコントラスト算出領域を設定する場合について述べたが、４つ、５つと大きさの異なるコントラスト算出領域の数を増やすことで、より好適な背景ぼかし画像を生成することが出来る。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第３の実施形態では、背景ぼかし画像のぼかし量を考慮してコントラスト算出領域の大きさを設定し、更に好適な背景ぼかし画像を生成する。図１２（Ａ）は遠景被写体１２０２を撮影した画像１２０１を示しており、遠景被写体１２０２以外の部分は平坦領域である。また、１２０３、１２０４は、背景ぼかし画像の画素値を計算する際に平滑化する領域を示している。図４Ｅは、本実施の形態によるステップＳ４０７の処理例を示す図である。ここで、図１２を用いて、平滑化によりぼかした場合のぼけの拡がりについて述べる。平滑化する方法として、中心画素を中心とする正方形の範囲内の画素を平滑化する場合を例に挙げて説明する。平滑化対象領域１２０３のように、領域内に被写体１２０２が含まれる場合、平滑化してぼかした画素値は被写体１２０２の影響を受けることになる。一方、平滑化対象領域１２０４のように、被写体１２０２が含まれない場合は、平滑化しても被写体１２０２の影響を受けない。すなわち、被写体１２０２のぼけは、平滑化対象領域１２０３の中心画素までは拡がるが、平滑化対象領域１２０４の中心画素までは拡がらない。図１２（Ｂ）は、図１２（Ａ）の画像１２０１をぼかした画像を示しており、図中の点線１２０５は、ぼけの拡がる領域を示している。図１２（Ｂ）に示すように、被写体１２０２のぼけの拡がりは、平滑化対象領域内に被写体１２０２を含む位置と含まない位置の境界まで拡がることがわかる。したがって、図１２（Ｂ）に示すようにぼかすためには、点線の位置まで遠景として背景ぼかし画像の画素を生成する必要がある。算出される距離が示す位置が遠景となるためには、画像１２０１において点線上の画素を中心画素とした場合に、コントラスト算出領域内に遠景被写体１２０２を含むようにコントラスト算出領域を設定する必要がある。つまり、ぼかし画像を生成する際に平滑化の対象とする領域と同程度か、それ以上に広い領域をコントラスト算出領域として設定する（ステップＳ４０７-１）。

一方、図１２（Ｃ）は、コントラスト算出領域を平滑化対象領域より小さく設定した場合のぼかし画像を示しており、コントラスト算出領域の方が小さい場合、ぼけが十分に拡がらず不自然な画像となる。なお、図１２（Ｂ）、（Ｃ）において、平坦領域の画素値は、元画像である画像１２０１の画素値を用いている。上述のように、本実施形態では、コントラスト算出領域の大きさを、背景ぼかし画像の画素値を算出する際の最大平滑化対象領域の大きさ以上に設定することで、平坦領域に好適にぼけが拡がった背景ぼかし画像を生成することが出来る。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。第４の実施形態では、複数のコントラスト算出領域から算出した距離に基づいて、背景ぼかし画像の画素値を計算することで、より好適な背景ぼかし画像を生成する。図４Ｆでは、ステップＳ４０８−１で距離情報の大きく異なる領域が隣接しているか否かにより、平滑化領域の設定を変えて画素値を算出する。また図４Ｇは、本実施の形態によるステップＳ４０８の処理の他の例を示す図である。ステップＳ４０８は、フォーカス位置の異なる複数の入力画像のうち、平滑化しない距離にフォーカスの合った画像を平滑化して出力画像の画素値を算出する（ステップＳ４０８−１１）。

図１３（Ａ）は、近景にフォーカスを合わせて撮影した画像を示しており、近景被写体１３０１ａと斜線で示す遠景被写体１３０１ｂが写っている。領域１３０２は、第１領域を示しており、領域１３０３は第２領域を示している。また、背景ぼかし画像の最大ぼけ量の画素値を計算する際の平滑化対象領域は第２領域１３０３とする。図１３（Ａ）においては、第１領域１３０２には特徴がなく平坦領域と判定され、第２領域１３０３には被写体の特徴量が含まれており、コントラストから算出された距離が示す位置は遠景である。また、図１３（Ｂ）は第２領域１３０３に対応しており、図１３（Ｂ）を２５分割した小領域には、第１領域のコントラストから算出した距離を示しており、「遠」と記す領域は遠景、「近」と記す領域は近景、空白の領域は平坦領域と判定された領域であることを意味している。第２領域１３０３のコントラストから算出した距離が示す位置は遠景であるが、その領域内には近景部分と遠景部分が共に含まれている。背景ぼかし画像の画素値を計算する際に、図１３（Ｂ）のように領域内に近景被写体と遠景被写体がともに存在する場合、領域内の画素全体を平滑化すると、近景被写体の影響を受けてしまう。そこで、第２領域のコントラストから算出した距離に基づいてぼかし画像の画素値を計算する場合は、第１領域のコントラストから算出した距離も考慮して平滑化することで、近景被写体の影響を低減する。例えば、図１３（Ｂ）の場合、第２領域内において、第１領域のコントラストから算出した距離が近景である部分を除いて平滑化することで、近景被写体の影響を低減することが出来る。また、第２領域のコントラストから算出した距離と、第１領域のコントラストから算出した距離の差分に基づいて重み付けをして平滑化してもよい。重み付けは、例えば、式（２）に示すように、第２領域のコントラストから算出した距離ｄ２と、第２領域内の画素ｊにおける第１領域のコントラストから算出した距離ｄ１の差の絶対値Δｄ_ｊが大きい程小さくなるように重みｗ_ｊを定める。

・・・（２）

式（２）において、Δｄ_ｍａｘは、第２領域から算出した距離と第２領域内の画素ｊの距離の差の絶対値の最大値である。式（２）により、第１領域のコントラストから算出した距離が第２領域のコントラストから算出した距離と同じ画素の重みが１となり、第２領域のコントラストから算出した距離と第１領域のコントラストから算出した距離の差の絶対値が最大となる画素の重みが０となる。このように、画像生成部は、前記複数のコントラスト算出領域から算出した複数の距離情報に基づいて画素値を加重平均して出力画像の画素値を算出する。

図１３に示す例では、第１領域のコントラストからは平坦領域と判定される場合について述べたが、第１領域のコントラストから距離を算出出来る場合は、第１領域のコントラストから算出した距離と、周辺画素の第１領域のコントラストから算出した距離の差の絶対値に基づいて重み付けしてもよい。また、距離が算出出来ていない画素の重み付けは、例えば、中間値程度の重みに設定してもよいし、中心画素との類似度を評価し、類似度が高ければ重みを大きくし、類似度が低ければ重みを低く設定すればよい。また、第１領域のコントラストから算出した距離と、第２領域のコントラストから算出した距離とを加重平均した値を距離情報としてもよい。第１領域のコントラストから算出した距離の重みを大きく設定することで、注目画素周辺の画像情報から算出した距離情報の重みを大きく設定することができ好適である。また、算出した距離情報の信頼度に基づいて距離情報を加重平均してもよい。信頼度は、例えば、コントラスト算出領域内のコントラストの大きさから算出することが出来る。コントラスト算出領域内のコントラストが大きい場合は、コントラスト算出領域内の特徴が多く、多くの特徴に基づいて算出した距離情報の信頼度は高くなる。したがって、算出した複数の距離情報を、その信頼度に基づいて加重平均することで、信頼度の高い距離情報を算出することが出来る。

また、第１領域のコントラストから算出した距離に基づいて平滑化する領域の大きさを変えることで、好適なぼかし画像を生成することが出来る。図４Ｆは、ステップＳ４０８の一例を示す図である。図１３（Ｂ）のように第２領域内に近景と遠景が共に含まれている場合（ステップＳ４０８−１）、ぼかし画像の画素値を算出する際に平滑化の対象とする領域を、領域内に近景が含まれない場合よりも狭く設定する（ステップＳ４０８−２）。平滑化の対象領域を狭く設定することで、ぼかした画像に近景が影響する可能性を低減することができ、好適なぼけを実現することが出来る。

また、第１領域のコントラストから算出された距離が示す位置が中景や遠景の場合は、第１領域のコントラストから算出された距離とともに、周辺画素における第１領域のコントラストから算出された距離に基づいて背景ぼかし画像の画素値を計算することで、より好適な背景ぼかし画像を生成することができる。上述のように、第１領域のコントラストから距離が算出された場合は、その距離に基づいて背景ぼかし画像の画素値を算出する。算出された距離が示す位置が中景や遠景の場合、周辺画素を平滑化して画素値を算出することになる。図１４（Ａ）は近景被写体１４０１ａ（りんご）と斜線で示す遠景被写体１４０１ｂが写った画像を示している。領域１４０３は第２領域を示しており、領域１４０３は平滑化対象領域を示している。第１領域１４０２内には遠景被写体が含まれるため、第１領域のコントラストから算出される距離が示す位置は遠景となる。したがって、第１領域１４０２の中心画素に対応する背景ぼかし画像の画素値は平滑化対象領域１４０３内の画素値を平滑化することで算出する。図１４（Ａ）においては、平滑化対象領域１４０３内には近景被写体１４０１ａも含まれるため、平滑化すると、近景被写体の影響が含まれた画素値が算出されることになる。

図１４（Ｂ）は、図１４（Ａ）の画像に対応する背景ぼかし画像を示しており、近景被写体１４０１ａの周囲の遠景領域に、近景被写体１４０１ａの影響が含まれるため不自然な画像となっている。そこで、第１領域のコントラストから算出した距離が示す位置が中景や近景である場合は、平滑化対象領域内の画素に対応する距離に基づいて平滑化することで、より好適な背景ぼかし画像を生成する。図１４（Ｃ）は、図１４（Ａ）に対し、平滑化対象領域内の画素に対応する距離に基づいて平滑化して画素値を算出した背景ぼかし画像を示しており、近景被写体１４０１ａの周囲の遠景領域に、近景被写体１４０１ａの影響が含まれず、好適な背景ぼかし画像となっている。平滑化対象領域内の画素に対応する距離に基づく平滑化処理は、例えば、中心画素の距離が遠景の場合、平滑化対象領域内の画素の距離が近景の場合を除外して平滑化してもよいし、中心画素の距離と平滑化対象領域内の画素の距離との差に基づいて、距離の近い画素の重みが大きくなるよう重み付け付け平滑化してもよい。平滑化対象領域内の画素において、第１領域のコントラストから平坦領域と判定された場合は、次に大きなコントラスト算出領域のコントラストから算出された距離を参照すればよい。また、平滑化対象領域内の画素において、複数のコントラスト算出領域すべてで平坦領域と判定された場合は、中心画素とその周辺画素に間に特徴がなく、中心画素と同じ距離にある被写体である可能性が高いため、平滑化すればよい。

上述の実施形態においては、主に、フォーカス位置を変えて撮影した複数枚の画像を入力画像とし、背景の被写体をぼかすことで被写界深度の浅い画像を生成する場合について述べたが、入力画像が視点の異なる複数の画像の場合でも同様の効果を得ることができ、また、背景をぼかす場合以外にも、前景をぼかす、前景と背景をぼかすといった処理にも適用可能である。

本発明の実施形態によれば、被写界深度の浅い画像を合成することができる。
処理および制御は、ＣＰＵやＧＰＵによるソフトウェア処理、ＡＳＩＣやＦＰＧＡによるハードウェア処理によって実現することができる。

また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

（付記）
（１）
複数の入力画像のうち少なくとも１つの画像に対応する距離情報を算出する距離算出部と、前記距離情報に基づいて被写界深度の浅い出力画像を生成する画像生成部と、を備え、
前記距離算出部は、大きさの異なる複数のコントラスト算出領域から距離情報を算出し、
前記画像生成部は、前記距離情報に基づいて前記入力画像の画素値を平滑化して出力画像の画素値を算出すること
を特徴とする画像処理装置。

（２）
前記画像生成部は、
前記複数のコントラスト算出領域から算出した距離情報のうち、小さなコントラスト算出領域から算出した距離情報に基づいて出力画像の画素値を算出し、
前記小さなコントラスト算出領域が平坦領域と判定された場合は、前記小さなコントラスト算出領域よりも大きなコントラスト算出領域から算出した距離情報に基づいて出力画像の画素値を算出すること
を特徴とする（１）に記載の画像処理装置。

小さな第１領域のコントラストからは平坦領域と判定された場合に、大きな第２領域のコントラストから算出した距離に基づいてぼかし処理を行う。

大小２つコントラスト算出領域から算出した距離に基づいてぼかし処理を行うことで、近景と遠景が隣接するような領域の距離の誤算出を低減し、更に、ぼけが好適に拡がった背景ぼかし画像を生成することが出来る。第１領域、第２領域ともに平坦領域と判定された場合は、平坦領域の処理を適用する。
（３）
前記画像生成部は、
出力画像の画素値を算出する際、元画像の画素値を線形空間に変換してから平滑化を行い、平滑化して算出された値に対して、元画像の空間に戻す（１）又は（２）に記載の画像処理装置。

これにより、より好適な背景ぼかし画像を生成することが出来る。

（４）
前記画像生成部は、
背景をぼかした出力画像の画素値を算出する場合に元画像に用いる画像を、近景にフォーカスの合った画像とし
前景をぼかした出力画像を生成する場合の元画像に用いる画像を、遠景にフォーカスの合った画像とし、
前景と背景をぼかした出力画像を生成する場合に元画像に用いる画像を、中景にフォーカスの合った画像を元画像とする（１）又は（２）に記載の画像処理装置。

これにより、好適なぼかし画像を生成することが出来る。

近景と遠景が隣接する領域では、距離の算出が困難な場合がある。例えば、近景と遠景が隣接する領域で、実際には遠景である画素の距離を、近景として算出した場合、ぼかすべき画素をぼかさないことになるが、元画像に用いる画像を近景にフォーカスを合わせた画像にすれば、元画像においてフォーカスの合っていない遠景被写体はぼけており、距離を誤ったことに起因する画質劣化を低減することが出来る。

（５）
前記距離算出部は、大きさの異なる少なくとも３つの前記コントラスト算出領域から距離情報を算出し、
前記画像生成部は、
前記コントラスト算出領域から算出した距離情報を、前記コントラスト算出領域の大きさが小さい順に参照して出力画像の画素値を算出することを特徴とする（１）又は（２）に記載の画像処理装置。

（６）
前記参照したコントラスト算出領域が平坦領域と判定された場合は、参照した前記コントラスト算出領域の次に大きなコントラスト算出領域から算出した距離情報に基づいて出力画像の画素値を算出すること
を特徴とする（５）に記載の画像処理装置。

（７）
前記画像生成部は、
前記複数のコントラスト算出領域から算出した複数の距離情報に基づいて画素値を加重平均して出力画像の画素値を算出すること
を特徴とする（１）から（６）までのいずれか１に記載の画像処理装置。

（８）
前記画像生成部は、
前記複数のコントラスト算出領域から算出した複数の距離情報を加重平均して算出した距離情報に基づいて出力画像の画素値を算出すること
を特徴とする（１）から（６）までのいずれか１に記載の画像処理装置。

（９）
前記画像生成部は、
前記複数のコントラスト算出領域から算出した複数の距離情報を、その信頼度に基づいて加重平均した距離情報に基づいて出力画像の画素値を算出すること
を特徴とする（１）から（６）までのいずれか１に記載の画像処理装置。

（１０）
前記距離算出部は、
前記複数のコントラスト算出領域のうち、最も大きなコントラスト算出領域の大きさを、前記画像生成部の前記平滑化において平滑化対象領域が最も大きい最大平滑化領域の大きさ以上に設定すること
を特徴とする（１）に記載の画像処理装置。

（１１）
前記画像生成部は、
前記距離情報の大きく異なる領域が隣接する場合は、平滑化領域を狭く設定して出力画像の画素値を算出すること
を特徴とする（１）に記載の画像処理装置。

（１２）
前記複数の入力画像がフォーカス位置の異なる複数の画像である場合に、
前記画像生成部は、
前記複数の入力画像のうち、平滑化しない距離にフォーカスの合った画像を平滑化して出力画像の画素値を算出すること
を特徴とする（１）に記載の画像処理装置。

（１３）
複数の入力画像のうち少なくとも１つの画像に対応する距離情報を算出する距離算出ステップと、前記距離情報に基づいて被写界深度の浅い出力画像を生成する画像生成ステップと、を有し、
前記距離算出ステップは、大きさの異なる複数のコントラスト算出領域から距離情報を算出し、
前記画像生成ステップは、前記距離情報に基づいて前記入力画像の画素値を平滑化して出力画像の画素値を算出すること
を特徴とする画像処理方法をコンピュータに実行させるためのプログラム。

本発明は、画像処理装置に利用できる。

１０…撮像装置、１００…制御装置、１０１…撮像部、１０２…画像表示部、
１０３−１…フォーカス制御部、１０３−２…被写体選択受付部、１０３−３…撮像制御部、１０４-１…特徴点抽出部、１０４-２…対応点探索部、１０４-３…補正パラメータ算出部、１０４-４…画像補正部、１０４-５…合焦度評価部、１０４-６…距離算出部、１０４−７…画像生成部。

Claims (13)

1. 複数の入力画像のうち少なくとも１つの画像の各画素に対応する距離情報を算出する距離算出部と、前記距離情報に基づいて被写界深度の浅い出力画像を生成する画像生成部と、を備え、
   前記距離算出部は、前記各画素を中心とする大きさの異なる複数のコントラスト算出領域から距離情報を算出し、
   前記画像生成部は、前記距離情報に基づいて前記入力画像の画素値を平滑化して出力画像の画素値を算出すること
   を特徴とする画像処理装置。
2. 前記画像生成部は、
   前記複数のコントラスト算出領域から算出した距離情報のうち、小さなコントラスト算出領域から算出した距離情報に基づいて出力画像の画素値を算出し、
   前記小さなコントラスト算出領域が平坦領域と判定された場合は、前記小さなコントラスト算出領域よりも大きなコントラスト算出領域から算出した距離情報に基づいて出力画像の画素値を算出すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記画像生成部は、
   出力画像の画素値を算出する際、元画像の画素値を線形空間に変換してから平滑化を行い、平滑化して算出された値に対して、元画像の空間に戻すことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像生成部は、
   背景をぼかした出力画像の画素値を算出する場合に元画像に用いる画像を、近景にフォーカスの合った画像とし
   前景をぼかした出力画像を生成する場合の元画像に用いる画像を、遠景にフォーカスの合った画像とし、
   前景と背景をぼかした出力画像を生成する場合に元画像に用いる画像を、中景にフォーカスの合った画像を元画像とする請求項１又は２に記載の画像処理装置。
5. 前記距離算出部は、大きさの異なる少なくとも３つの前記コントラスト算出領域から距離情報を算出し、
   前記画像生成部は、
   前記コントラスト算出領域から算出した距離情報を、前記コントラスト算出領域の大きさが小さい順に参照して出力画像の画素値を算出することを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記参照したコントラスト算出領域が平坦領域と判定された場合は、参照した前記コントラスト算出領域の次に大きなコントラスト算出領域から算出した距離情報に基づいて出力画像の画素値を算出すること
   を特徴とする請求項５に記載の画像処理装置。
7. 前記画像生成部は、
   前記複数のコントラスト算出領域から算出した複数の距離情報に基づいて画素値を加重平均して出力画像の画素値を算出すること
   を特徴とする請求項１から６までのいずれか１項に記載の画像処理装置。
8. 前記画像生成部は、
   前記複数のコントラスト算出領域から算出した複数の距離情報を加重平均して算出した距離情報に基づいて出力画像の画素値を算出すること
   を特徴とする請求項１から６までのいずれか１項に記載の画像処理装置。
9. 前記画像生成部は、
   前記複数のコントラスト算出領域から算出した複数の距離情報を、その信頼度に基づいて加重平均した距離情報に基づいて出力画像の画素値を算出すること
   を特徴とする請求項１から６までのいずれか１項に記載の画像処理装置。
10. 前記距離算出部は、
    前記複数のコントラスト算出領域のうち、最も大きなコントラスト算出領域の大きさを、前記画像生成部の前記平滑化において平滑化対象領域が最も大きい最大平滑化領域の大きさ以上に設定すること
    を特徴とする請求項１から６までのいずれか１項に記載の画像処理装置。
11. 前記画像生成部は、
    前記距離情報の大きく異なる領域が隣接する場合は、平滑化領域を狭く設定して出力画像の画素値を算出すること
    を特徴とする請求項１に記載の画像処理装置。
12. 前記複数の入力画像がフォーカス位置の異なる複数の画像である場合に、
    前記画像生成部は、
    前記複数の入力画像のうち、平滑化しない距離にフォーカスの合った画像を平滑化して出力画像の画素値を算出すること
    を特徴とする請求項１に記載の画像処理装置。
13. 複数の入力画像のうち少なくとも１つの画像の各画素に対応する距離情報を算出する距離算出ステップと、前記距離情報に基づいて被写界深度の浅い出力画像を生成する画像生成ステップと、を有し、
    前記距離算出ステップは、前記各画素を中心とする大きさの異なる複数のコントラスト算出領域から距離情報を算出し、
    前記画像生成ステップは、前記距離情報に基づいて前記入力画像の画素値を平滑化して出力画像の画素値を算出すること
    を特徴とする画像処理方法をコンピュータに実行させるためのプログラム。

Images