JP6198389B2

JP6198389B2 - 画像処理装置、画像処理方法、及びコンピュータプログラム

Info

Publication number: JP6198389B2
Application number: JP2012277035A
Authority: JP
Inventors: 新之介大澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-12-19
Filing date: 2012-12-19
Publication date: 2017-09-20
Anticipated expiration: 2032-12-19
Also published as: CN103888682B; CN103888682A; US9142027B2; KR20140079718A; JP2014120122A; US20140169689A1; KR101730342B1

Description

本発明は、画像処理装置、画像処理方法、及びコンピュータプログラムに関し、特に、画像信号を分割して処理するために用いて好適なものである。

従来から、デジタルスチルカメラの技術の発達と共に、撮影画像に画像処理を行うことで、撮像画像の表現力を高める技術が開発されている。特許文献１では、撮像範囲内の部分領域毎に算出された被写体までの撮像距離に基づいて、ぼかし処理を行う技術が開示されている。具体的に特許文献１では、公知のコントラストＡＦ方式の複数の測距枠を画面に配置し、画像の色等に応じて領域分割した小領域のうち、測距の結果として得られる撮影距離が相互に近い小領域を結合してオブジェクトを抽出し、オブジェクト毎にぼかし処理を行う。特許文献１では、このように被写体から撮像位置までの距離に応じた領域分割の結果を得ることにより、被写界深度の深いコンパクトデジタルカメラでの撮影においても、一眼レフカメラで撮影されたようなボケ表現の豊かな画像を生成することができるとされている。

特開２００９−１１０１３７号公報

しかしながら、特許文献１に記載された技術では、色の類似した異なる被写体でも、一つの被写体として扱われてしまう。そのため、異なる距離に置かれた異なる被写体でも、同一のボケ量が設定されてしまう。したがって、ぼかし処理の結果が、撮像距離に対して矛盾した結果となる場合があった。
また、特許文献１に記載の技術では、画像の色等に応じて分割された小領域毎の撮影距離を特定する際に、誤測距した測距枠の撮影距離を指定してしまう場合があった。そのため、撮影距離の略等しい小領域を組み合わせた、適切な領域を生成することができない場合があった。
本発明は、以上の問題点に鑑みてなされたものであり、撮像画像を撮影距離に応じて正確に分割できるようにすることを目的とする。

本発明の画像処理装置は、画像信号に含まれる信号値に基づいて、前記画像信号を複数の第１の領域に分類する第１の分類手段と、前記画像信号に含まれる被写体に対応する距離情報に基づいて、前記画像信号を複数の第２の領域に分類する第２の分類手段と、前記複数の第２の領域のうち、２つ以上の第２の領域が前記複数の第１の領域の１つに重なる場合に、前記複数の第１の領域の１つの面積に対する、前記２つ以上の第２の領域の面積のうちの最大の面積の割合が閾値より大きい場合に、前記複数の第１の領域の１つを複数の領域に分割せず、前記複数の第１の領域の１つの面積に対する、前記２つ以上の第２の領域の面積のうちの最大の面積の割合が前記閾値以下である場合に、前記複数の第１の領域の１つを、複数の領域に分割する分割手段と、を有することを特徴とする。

本発明によれば、撮像画像を撮影距離に応じて正確に分割できる。したがって、好適な領域抽出結果が得られる。

撮像装置の構成を示す図である。撮影距離を要素としたヒストグラムを示す図である。撮影シーンを示す図である。被写体領域抽出処理を説明するフローチャートである。各測距枠をグルーピングした結果を示す図である。最終的な領域抽出結果を得る過程を示す図である。最終的な領域抽出結果を示す図である。

以下に、本発明の一実施形態を、図面に基づいて詳細に説明する。
＜撮像装置の構成＞
本実施形態では、領域抽出装置を備えた撮像装置が、デジタルカメラである場合を例に挙げて説明する。
図１は、撮像装置１００の機能構成の一例を示すブロック図である。
画像信号入力部１０１は、画像情報を取得する画像取得処理を行う。具体的に説明すると、画像信号入力部１０１は、例えば、レンズ等で構成される光学部と、撮像素子であるＣＣＤ（Charge Coupled Device）部と、Ａ／Ｄ変換部と、を有する。光学部は、撮像装置に入射される光を受ける。ＣＣＤ部は、光学部で受けた光量に応じた電荷を出力する。Ａ／Ｄ変換部は、ＣＣＤ部から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、及びＡ／Ｄ変換等を実施してデジタル信号を生成する。

画像処理部１０２は、画像信号入力部１０１から入力されたデジタル画像信号に対して各種の画像処理を行い、画像処理済みのデジタル画像信号を出力する。画像処理部１０２は、例えば、デジタル画像信号をＹＵＶ画像信号に変換して出力することを含む画像処理を行う。
色領域分割部１０３は、画像処理部１０２で得られた画像を、それぞれが第２の領域の一例である複数の色領域に分割する。各色領域は、例えば、複数の画素からなるブロックを単独で構成したもの、または、複数の画素からなる複数のブロックを連結して構成したものとなる。
画像を複数の色領域に分割する方法としては、例えば、以下の方法がある。まず、画像を複数のブロックに分割する。次に、相互に隣接する複数のブロックのうち、平均色相値が類似する少なくとも２つのブロックを同一のグループにグルーピングする。そして、グルーピングされたブロックを、１つの色領域とする。このとき、各ブロックの大きさは、抽出された領域に行う画像処理を適切に行うのに十分な大きさであり、且つ、当該ブロックの平均色相値がノイズ等の影響を受けない程度の大きさであることが望ましい。より好ましくは、例えば、画面内を等間隔に縦４０ブロック、横３０ブロックに分割することが望ましい。

レンズ焦点調整部１０４は、撮像装置１００が備えるレンズのフォーカスを調整する。
距離情報取得部１０５は、撮像装置１００と画像データに対して、所定のサイズの測距枠を複数配置し、撮像装置１００の所定の位置（本実施形態では撮像素子）と被写体との間の距離である撮影距離を測距枠ごとに取得する。具体的には、例えば、以下のような方法で、距離情報の一例である撮影距離を取得する。まず、距離情報取得部１０５は、レンズ焦点調整部１０４によるレンズの焦点の調整に従って、撮像装置１００で撮像された画像の縮小画像であって、焦点距離を変えた複数の縮小画像を取得する。縮小画像を取得することで、処理速度を向上させることができる。
次に、距離情報取得部１０５は、異なる焦点の複数の縮小画像のそれぞれを測距枠ごとに分割し、分割した測距枠内のコントラスト値の合計値を算出する。

このとき、各測距枠の大きさは、抽出した領域に行う画像処理を適切に行うのに十分な大きさであり、且つ、レンズの焦点の調整中に手振れ等で被写体が測距枠内を出入りしない程度の大きさであることが望ましい。より好ましくは、画面を等間隔に縦２０ブロック、横１５ブロックに分割することが望ましい。この場合、測距枠による分割数は、前記ブロックによる分割数よりも小さくなる。
また、第１の領域の一例である測距枠同士の境界と、第３の領域の一例である前記ブロック同士の境界と、が一致するように、各ブロックと測距枠とを配置することが望ましい。

そして、距離情報取得部１０５は、複数の縮小画像の同じ位置の測距枠のコントラスト値を比較し、コントラスト値の最も大きい縮小画像を特定し、特定した縮小画像では当該測距枠に焦点が合っていると判断する。また、距離情報取得部１０５は、コントラスト値が最も大きい測距枠を、合焦している測距枠であると判断する。最後に、距離情報取得部１０５は、測距枠ごとに最もコントラスト値が大きいと判断された縮小画像の焦点位置から、測距枠ごとの撮影距離（撮像素子から被写体までの距離）を算出する。この撮影距離は、撮像装置１００の撮像素子と焦点が合っている時のレンズの位置の関係から算出できる。また、距離情報算出部１５３は、測距枠ごとに、合焦している測距枠との撮影距離の差も算出する。

第１の距離分割部１０６は、距離情報取得部１０５によって取得した測距枠ごとの撮影距離に応じて、測距枠のグルーピングを行う。具体的に本実施形態では、以下のような方法で、測距枠のグルーピングを行う。初めに、第１の距離分割部１０６は、各測距枠の撮影距離を要素としたヒストグラムを作成する。図２は、撮影距離を要素としたヒストグラムの一例と、ヒストグラムのグルーピングの結果の一例を示す図である。
第１の距離分割部１０６は、ヒストグラムの全撮影距離を走査し、最も高い頻度HighestPeak1を見つける（図２（ａ）を参照）。次に、第１の距離分割部１０６は、その頻度HighestPeak1を有する撮影距離から、左右両側の谷方向に向かってヒストグラムを走査する。そして、第１の距離分割部１０６は、ヒストグラムにおける以下の（Ａ）または（Ｂ）の区間を同一の距離グループとする。
（Ａ）頻度HighestPeak1を有する撮影距離から、頻度が初めて閾値TH＿Freq以下になるときの撮影距離までの区間。
（Ｂ）頻度HighestPeak1を有する撮影距離から、ヒストグラムにおける当該撮影距離からの距離が所定値に達するまでの区間。

第１の距離分割部１０６は、測距枠の撮影距離が前記区間に含まれる測距枠を同一の領域としてグルーピングし、当該同一の領域に対して固有の距離グループ番号を設定する。また第１の距離分割部１０６は、前記区間をグルーピング処理済みの区間として記録する。
次に、第１の距離分割部１０６は、グルーピング処理済みの区間を除いたヒストグラムの全区間を再び走査し、その中で最も高い頻度HighestPeak2を見つけ（図２（ｂ）を参照）、同様の操作を繰り返す。
ヒストグラムにおいて、最も高い頻度HighestPeak2から谷方向に向かって走査しているときに、頻度が閾値TH＿Freq以下となる撮影距離にたどり着く前に、グルーピング処理済みの区間にたどり着いた場合、そこまでの区間を同一の区間とする。これら一連の操作を、ヒストグラムの中の全ての撮影距離が何れかの距離グループに属するまで（グルーピング処理済みとされるまで）繰り返す。この処理によって、近しい距離の纏まりごとに各測距枠をグルーピングすることが可能となる。以上のような、各測距枠のグルーピング結果をもって、第１の距離分割の結果とする。

第２の距離分割部１０７は、色領域分割部１０３による色領域の分割の結果と、第１の距離分割部１０６による第１の距離分割の結果とに応じて、近しい撮影距離の纏まり毎に領域を分割し、第１の距離分割の結果より分解能の高い、第２の距離分割の結果を得る。具体的には、例えば、以下の方法を用いる。
まず、第２の距離分割の結果を出力するために、ブロックそれぞれの距離グループ番号のインデックスを格納可能な第２の距離分割プレーンを用意する。次に、第２の距離分割部１０７は、色領域分割部１０３によって分割された色領域毎に、代表距離グループ番号を求める。

代表距離グループ番号の決定は、例えば、次のようにすることができる。
まず、各色領域で、距離グループ番号が同一の測距枠の面積割合を算出する。次に、算出した面積割合のうち最大の面積割合が、色領域の大部分を占めているとみなす閾値TH＿AREA＿RATEより大きい場合には、当該最大の面積割合に対応する距離グループ番号を代表距離グループ番号とする。これによって、色領域内の測距枠に誤測距枠が含まれていても、適切な距離グループ番号を代表距離グループ番号とすることができる。

続いて、第２の距離分割部１０７は、第２の距離分割プレーンに以下の方法で値を入力する。代表距離グループ番号が決定された色領域の全体に、代表距離グループ番号を割り当てる。前記代表距離グループ番号とする条件（前記最大の面積割合が、閾値TH＿AREA＿RATEより大きいという条件）を満たす距離グループ番号が無い色領域には、第１の距離分割の結果を第２の距離分割プレーンにそのまま割り当てる。
以上の方法によって作成した第２の距離分割プレーンを、第２の距離分割の結果とする。これにより、同一の被写体内で色が異なる領域があっても、同一の被写体の領域を同じ距離グループ番号とする距離分割の結果を得ることが可能になる。また、色は類似するが、撮影距離が異なる別の被写体を切り分けた距離分割の結果を得ることが可能になる。
分割結果出力部１０８は、第２の距離分割部１０７で作成された第２の距離分割の結果を出力する。
分割結果処理部１０９は、分割結果出力部１０８から出力された第２の距離分割の結果に基づいて、第２の距離分割プレーンに割り当てられた同一の距離グループ番号の領域ごとに、撮影距離に応じた異なるボケ関数を用いてぼかし処理を行う。そして、分割結果処理部１０９は、ぼかし処理を行ったそれぞれの領域を合成して画像データを生成する。分割結果処理部１０９で生成された画像データは、撮像装置１００が備える電子ビューファインダーに表示されたり、撮像装置１００にセットされた記憶媒体に記憶されたり、外部装置に送信されたりする。

＜実施例＞
図３は、本実施例の撮影シーンの一例を示す図である。本実施例では、図３に示す撮影シーンに対する領域抽出処理を説明する。
図４は、本実施例の撮像装置１００の被写体領域抽出処理の一例を説明するフローチャートである。
（ステップＳ４０１）
距離情報取得部１０５は、レンズ焦点調整部１０４が行う「レンズを移動させてのフォーカスの調整」に応じて、撮影対象の測距枠ごとの撮影距離を取得する。図３の実線の矩形は、２０×１０個の測距枠のそれぞれを示している。

（ステップＳ４０２）
第１の距離分割部１０６は、測距枠ごとに得られた撮影距離に応じて、近しい撮影距離の纏まりごとに各測距枠のグルーピングを行う。図５は、各測距枠をグルーピングした結果（距離グループ番号）の一例を示す図である。図５の矩形内に示す数字は、異なる距離グループ番号を表す。図５において、花の内部５０１には、一部で誤測距により、異なるグルーピングの結果となっている領域（異なる距離グループ番号が付されている領域）が存在する。誤測距は、コントラストAF方式でピントの合う焦点距離を求める際に、画像のノイズ量等が多い場合や、被写体のコントラストが低い場合に、しばしば発生する。また、花の端５０２には、背景抜けによって、誤って背景の距離グループ番号が与えられた測距枠が存在する。

（ステップＳ４０３）
次に、色領域分割部１０３は、画像処理部１０２で得られた画像を４０×２０ブロックに分割し、各ブロックの平均色相値を計算する。
（ステップＳ４０４）
続いて、色領域分割部１０３は、相互に隣接するブロックのうち平均色相値が類似する（所定の範囲内である）複数のブロックを同一のグループにグルーピングする色領域分割を行う。
（ステップＳ４０５）
最後に、第２の距離分割部１０７は、ステップＳ４０４の色領域分割の結果と、ステップＳ４０２の第１の距離分割の結果と、に応じて、第２の距離分割の結果を得る。

図６は、第２の距離分割の結果（最終的な領域抽出結果）を得る過程の一例を示す図である。
具体的に、図６（ａ）は、色領域６０１の第２の距離分割の結果を得る過程を示す図である。
色領域６０１には、前述のように、誤測距によって、色領域内に誤った距離グループ番号「２」が与えられた測距枠が存在する（図５を参照）。また、色領域６０１には、背景抜けによって、誤って背景の距離グループ番号「３」が与えられた測距枠が存在する（図５を参照）。その一方で、色領域６０１の大部分を占める距離グループ番号は「０」である。ここで、距離グループ番号が「０」の測距枠の面積割合は、前記色領域の大部分を占めているとみなす面積割合の閾値TH＿AREA＿RATEよりも大きいものとする。そのため、色領域６０１の代表距離グループ番号は「０」となる。

図６（ｂ）は、色領域６０２の第２の距離分割の結果を得る過程を示す図である。図６（ｂ）のように、被写体Ａの茎葉６０３と、被写体Ｂの生垣６０４とは、撮影距離の異なる別の被写体である。このため、被写体Ａの茎葉６０３と、被写体Ｂの生垣６０４とは、それぞれ別の距離グループに分けられることが望ましい。しかし、被写体Ａの茎葉６０３と被写体Ｂの生垣６０４とは、色相が類似しているため、同じ色領域６０２に含まれてしまっている。このまま、特許文献１の手法で、色領域６０２に唯一の距離グループ番号を割り当ててしまうと、前述した望ましい距離分割の結果が得られない。

これに対し本実施例では、色領域６０２の大部分を占めているとみなす面積割合の閾値TH＿AREA＿RATEより大きい距離グループ番号が無い場合には、第１の距離分割の結果をそのまま、第２の距離分割の結果とする。これにより、色が類似した撮影距離の異なる別の被写体を切り分けた、前述した望ましい距離分割の結果を得ることが可能になる。
以上の処理を行うことによって、最終的な領域抽出結果である、第２の距離分割の結果は、図７のようになる。

以上のように本実施形態では、測距枠ごとに得られた撮影距離に応じて、近い撮影距離の纏まりごとに各測距枠のグルーピングを行い、同一のグループの測距枠に対して同一の距離グループ番号を与える。また、撮影された画像を複数のブロックに分割して各ブロックの平均色相値を計算し、相互に隣接するブロックのうち平均色相値が類似する複数のブロックを同一の（１つの）色領域として設定する。色領域毎に、同一の距離グループ番号を有する測距枠の面積割合を算出し、最大の面積割合が閾値より大きい場合には、その色領域に対する距離グループ番号を、当該最大の面積割合を有する測距枠に対応する代表距離グループ番号とする。したがって、色領域の中に誤測距した測距枠があっても、好適な領域分割の結果を得ることが可能になる。
また、各色領域において、前述した最大の面積割合が閾値より大きく無い場合、その色領域に対する距離グループ番号を、当該色領域に含まれる測距枠のそれぞれに対して与えられた距離グループ番号にする。したがって、撮影距離が近い位置に、色の類似した異なる被写体がある場合でも、好適な領域分割の結果を得ることが可能になる。
以上のように本実施形態では、撮像画像を撮影距離に応じて正確かつ精細に分割することができ、好適な領域分割の結果を得ることが可能になる。

本実施形態では、距離グループ番号が同一である測距枠の面積割合を各色領域で算出し、当該面積割合の最大値が、閾値TH＿AREA＿RATEより大きい場合に、当該面積割合に対応する距離グループ番号を代表距離グループ番号とした。しかしながら、代表距離グループを決定する方法は、この方法に限定されない。例えば、基準の位置からの距離差に応じて優先度を設定し、各色領域について、色領域に含まれる距離グループ番号の中から、より優先度の高い距離差を示す距離グループ番号を選択し、当該距離グループ番号を代表距離グループ番号としてもよい。例えば、基準の位置を撮像装置（カメラ）の位置にとり、カメラからの距離がより近い撮影距離に対応する距離グループ番号を優先するようにした場合、カメラに近い側の被写体において、被写体の一部が異なるグループに分類される誤りを防止できる。

また、本実施形態では、相互に隣接するブロックのうち平均色相値が類似する（所定の範囲内である）複数のブロックを同一のグループにグルーピングし、グルーピングした複数のブロックの領域を同一の色領域とした。色領域を作成する方法は、このような方法に限定されない。例えば、相互に隣接するブロックのうち平均輝度値が類似する（所定の範囲内である）複数のブロックを同一のグループにグルーピングし、グルーピングされた複数のブロックの領域を同一の色領域としてもよい。また、平均色相値と平均輝度値との双方が類似する（所定の範囲内である）複数のブロックを同一のグループにグルーピングしてもよい。このように、各ブロックの画素の信号値（ここでは、色相と輝度との少なくとも何れか一方）に基づいて色領域を作成することができる。

また、本実施形態では、色領域において、同一の距離グループ番号を有する測距枠の面積割合が閾値より大きいものが無い場合には、その色領域に対する距離グループ番号を、当該色領域に含まれる測距枠のそれぞれに対して与えられた距離グループ番号にした。しかしながら、色領域に対する距離グループ番号を、当該色領域に含まれる測距枠のそれぞれに対して与えられた距離グループ番号のままにする方法は、このような方法に限定されない。例えば、色領域において、同一の距離グループ番号を有する測距枠の平均彩度値の一部または全部が閾値以下である場合には、当該色領域に対する距離グループ番号を、当該色領域に含まれる測距枠の夫々に対して与えられた距離グループ番号のままにしてもよい。すなわち、本実施形態で説明した処理に加えて、彩度が閾値以下となる色領域については、当該色領域に対する距離グループ番号を、当該色領域に含まれる測距枠のそれぞれに対して与えられた距離グループ番号のままにしてもよい。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

１００撮像装置、１０３色領域分割部、１０４第１の距離分割部、１０７第２の距離分割部

Claims

画像信号に含まれる信号値に基づいて、前記画像信号を複数の第１の領域に分類する第１の分類手段と、
前記画像信号に含まれる被写体に対応する距離情報に基づいて、前記画像信号を複数の第２の領域に分類する第２の分類手段と、
前記複数の第２の領域のうち、２つ以上の第２の領域が前記複数の第１の領域の１つに重なる場合に、前記複数の第１の領域の１つの面積に対する、前記２つ以上の第２の領域の面積のうちの最大の面積の割合が閾値より大きい場合に、前記複数の第１の領域の１つを複数の領域に分割せず、前記複数の第１の領域の１つの面積に対する、前記２つ以上の第２の領域の面積のうちの最大の面積の割合が前記閾値以下である場合に、前記複数の第１の領域の１つを、複数の領域に分割する分割手段と、を有することを特徴とする画像処理装置。
前記信号値は、色相または輝度を示す信号値であることを特徴とする請求項１に記載の画像処理装置。
前記第２の分類手段は、前記画像信号を分割した複数の領域のそれぞれにおいて得られた、被写体に対応する距離情報をグルーピングすることによって、前記画像信号を前記複数の第２の領域に分類し、それぞれの第２の領域における代表距離を決定することを特徴とする請求項１または２に記載の画像処理装置。
前記分割手段は、前記２つ以上の第２の領域が前記複数の第１の領域の１つに重なり、かつ、前記複数の第１の領域の１つの面積に対する、前記２つ以上の第２の領域の面積のうちの最大の面積の割合が閾値より大きい場合に、前記最大の面積となる第２の領域に対応する代表距離を、前記複数の第１の領域の１つの距離情報として決定することを特徴とする請求項３に記載の画像処理装置。
前記分割手段は、前記複数の第１の領域の１つの彩度が閾値以下であれば、前記複数の第１の領域の１つに重なる前記２つ以上の第２の領域の面積によらずに、前記２つ以上の第２の領域に応じて、前記複数の第１の領域の１つを分割することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
画像信号に含まれる信号値に基づいて、前記画像信号を複数の第１の領域に分類する第１の分類工程と、
前記画像信号に含まれる被写体に対応する距離情報に基づいて、前記画像信号を複数の第２の領域に分類する第２の分類工程と、
前記複数の第２の領域のうち、２つ以上の第２の領域が前記複数の第１の領域の１つに重なる場合に、前記複数の第１の領域の１つの面積に対する、前記２つ以上の第２の領域の面積のうちの最大の面積の割合が閾値より大きい場合に、前記複数の第１の領域の１つを複数の領域に分割せず、前記複数の第１の領域の１つの面積に対する、前記２つ以上の第２の領域の面積のうちの最大の面積の割合が前記閾値以下である場合に、前記複数の第１の領域の１つを、複数の領域に分割する分割工程と、を有することを特徴とする画像処理方法。
請求項６に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするコンピュータプログラム。