JP6627418B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

ヒトを被写体として撮影する場合にはヒトの顔が明るく写ることが望ましいと考えられる。そこで、顔領域とその他の背景領域とで明るさの調整を異ならせる撮像装置が知られている（例えば、特許文献１参照）。

特開２０１０−２３２７１１号公報

しかしながら、上記特許文献１のように、単に顔領域及びその他の領域の明るさをそれぞれ調整しただけでは、顔領域がその他の領域に対して浮き上がって不自然な画像となってしまう虞がある。

本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、画像の一部分の領域に画像処理による不自然さを生じ難くさせることができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するための本発明の一態様は、画像処理装置であって、
画像から特定の領域を検出する検出手段と、
前記検出手段により検出された特定の領域について、所定の色空間を構成する複数の成分のうちの一の成分の値を調整する調整手段と、
前記画像を分割した分割領域のうち前記特定の領域を構成する分割領域の各々について、前記特定の領域を構成する分割領域に隣接する分割領域との前記調整手段によって調整された一の成分の値の加重平均を行うことで、前記一の成分の値を平滑化する平滑化手段と、
を備えたことを特徴としている。

本発明によれば、画像の一部分の領域に画像処理による不自然さを生じ難くさせることができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 平滑化フィルタテーブルを説明するための図である。 図１の撮像装置による明るさ調整処理に係る動作の一例を示すフローチャートである。 図３の明るさ調整処理を説明するための図である。 図３の明るさ調整処理を説明するための図である。 図３の明るさ調整処理を説明するための図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、中央制御部１と、メモリ２と、撮像部３と、信号処理部４と、画像処理部５と、表示部６と、画像記録部７と、操作入力部８とを備えている。
また、中央制御部１、メモリ２、撮像部３、信号処理部４、画像処理部５、表示部６及び画像記録部７は、バスライン９を介して接続されている。

中央制御部１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１や画像処理部５等によって処理されるデータ等を一時的に格納する。

撮像部３は、被写体を任意の撮像フレームレートで撮像してフレーム画像を生成する。具体的には、撮像部３は、レンズ部３ａと、電子撮像部３ｂと、撮像制御部３ｃとを備えている。

レンズ部３ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部３ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサ（撮像素子）から構成されている。そして、電子撮像部３ｂは、レンズ部３ａの各種レンズを通過した光学像を二次元の画像信号に変換する。

撮像制御部３ｃは、撮像部３による被写体の撮像を制御する。
すなわち、撮像制御部３ｃは、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３ｃは、タイミング発生器、ドライバにより電子撮像部３ｂを走査駆動して、レンズ部３ａを通過した光学像を電子撮像部３ｂにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部３ｂの撮像領域から１画面分のフレーム画像を読み出して信号処理部４に出力させる。
また、撮像制御部３ｃは、表示用のフレーム画像を表示のフレームレート毎に信号処理部４に逐次出力させるとともに、撮影指示に呼応して、記録用のフレーム画像を信号処理部４に出力させる。
また、撮像制御部３ｃは、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行う。

なお、撮像部３は、レンズ部３ａ、電子撮像部３ｂ及び撮像制御部３ｃに加えて、レンズ部３ａを通過する光の量を調整する絞り、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等（何れも図示略）を備えていても良い。

信号処理部４は、電子撮像部３ｂから転送されたフレーム画像のアナログ値の信号に対して各種の画像信号処理を施す。具体的には、信号処理部４は、電子撮像部３ｂから転送されたフレーム画像のアナログ値の信号に対してＲＧＢの色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
また、信号処理部４は、表示用の画像データを後述する表示部６に出力する。
また、信号処理部４は、生成された輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒをバッファメモリとして使用されるメモリ２に出力する。

画像処理部５は、画像取得部５ａと、顔領域検出部５ｂと、成分調整部５ｃと、大きさ特定部５ｄと、平滑化部５ｅと、画像生成部５ｆとを具備している。
なお、画像処理部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部５ａは、明るさ調整処理（後述）の処理対象となる画像Ｉ０（図４（ａ）参照）を取得する。
すなわち、画像取得部５ａは、画像Ｉ０として、例えば、撮像部３による被写体の撮影の際に、信号処理部４により生成された静止画像の画像データ（ＲＧＢデータやＹＵＶデータ）の複製をメモリ２から取得したり、画像記録部７に記録されている静止画像の画像データの複製を画像記録部７から取得したりする。

顔領域検出部（検出手段）５ｂは、画像Ｉ０から顔領域（特定の領域）Ａを検出する。
すなわち、顔領域検出部５ｂは、例えば、画像取得部５ａにより取得された画像Ｉ０の縦横をそれぞれ所定の数（例えば、８）で等分して複数の分割領域（例えば、縦×横：８×８の領域）Ｂ、…に分割する（図４（ｂ）参照）。また、顔領域検出部５ｂは、画像取得部５ａにより取得された画像Ｉ０に対して所定の顔検出処理を行って被写体であるヒトの顔を検出する（図４（ｃ）参照）。なお、図４（ｃ）にあっては、検出されたヒトの顔に対応する部分に破線で表された矩形枠Ｗを模式的に重畳させている。
そして、顔領域検出部５ｂは、画像Ｉ０を分割した複数の分割領域Ｂ、…の中で、検出されたヒトの顔が含まれる分割領域Ｂ、すなわち、ヒトの顔に対応する矩形枠Ｗが含まれる少なくとも一の分割領域Ｂからなる顔領域Ａ（例えば、縦×横：３×３の領域）を検出する。

なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
また、上記した画像Ｉ０の縦横の分割数は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、画像Ｉ０の縦横の分割数をそれぞれ異ならせても良いし、画像Ｉ０の縦横を各画素毎に分割しても良い。また、顔領域Ａの大きさや形状も、一例であってこれに限られるものではなく、適宜任意に変更可能である。

成分調整部（調整手段）５ｃは、顔領域Ａの輝度信号Ｙの値を調整する。
すなわち、成分調整部５ｃは、顔領域検出部５ｂにより検出された顔領域Ａについて、ＹＵＶ色空間（所定の色空間）を構成する複数の成分のうちのＹ成分（一の成分）の値を調整する。具体的には、成分調整部５ｃは、画像取得部５ａにより取得された画像Ｉ０のＹＵＶデータの輝度信号Ｙを取得する。そして、成分調整部５ｃは、例えば、顔領域検出部５ｂにより検出された顔領域Ａを構成する分割領域Ｂの輝度信号Ｙの代表値（平均値）や顔領域Ａの画像Ｉ０全体に対する相対的な大きさ等の所定条件に基づいて、顔領域Ａ全体が明るくなるように画像Ｉ０全体の輝度信号Ｙのゲイン量を算出する。
なお、成分調整部５ｃによる画像Ｉ０全体の輝度信号Ｙの調整自体は、後述するように、平滑化部５ｅによるゲイン量の平滑化後に一括して行われるが、発明の説明を分かり易くするために、図５（ａ）には、輝度信号Ｙの補正により顔領域Ａ全体が明るくされた画像Ｉ１を模式的に表している。また、図５（ａ）に示す当該画像Ｉ１を含め全ての画像Ｉ０、Ｉ２（図４（ａ）〜図６参照）にあっては、顔領域Ａの輝度（明るさ）の相違を塗り潰しの色によって模式的に表しており、塗り潰しの色が薄いほど明るいものとする。

なお、成分調整部５ｃにより調整される一の成分として、ＹＵＶ色空間のＹ成分を例示したが、一例であってこれに限られるものではなく、例えば、Ｕ成分やＶ成分（色差信号Ｃｂ，Ｃｒ）を調整するようにしても良い。また、所定の色空間として、ＹＵＶ色空間を例示したが、一例であってこれに限られるものではなく、例えば、ＲＧＢ色空間やＨＳＶ色空間やＬ^＊ａ^＊ｂ^＊色空間等に適宜任意に変更可能である。
さらに、上記した所定の色空間を構成する一の成分の値の調整内容は、一例であってこれに限られるものではなく、例えば、画像Ｉ０内の特定の領域が暗くなるようにしても調整しても良いし、また、ＨＳＶ色空間の場合には色相Ｈや彩度Ｓを調整するようにしても良い。

大きさ特定部（特定手段）５ｄは、顔領域（特定の領域）Ａの大きさを特定する。
すなわち、大きさ特定部５ｄは、顔領域検出部５ｂにより検出された顔領域Ａを構成する分割領域Ｂに応じて、当該顔領域Ａの大きさを特定する。具体的には、大きさ特定部５ｄは、顔領域検出部５ｂにより検出された顔領域Ａを構成する縦横の分割領域Ｂの数（例えば、縦：３、横：３等）のうち、例えば、小さい方（或いは、大きい方）の数を顔領域Ａの大きさとして特定する。
なお、顔領域Ａの大きさの最大値は、例えば、画像Ｉ０の縦横の分割数（例えば、「8」）の値となるが、例えば、画像Ｉ０の縦横の分割数以下の値をとっても良い。

平滑化部（平滑化手段）５ｅは、顔領域Ａにおける当該顔領域Ａ以外のその他の領域との境界部分について、輝度信号Ｙの値を平滑化する。
ここで、境界部分とは、顔領域Ａにおける当該顔領域Ａ以外のその他の領域と接する縁部分（外周部分）のことを言い、当該顔領域Ａが複数の分割領域Ｂ、…により構成されている場合には、縁部分を構成する複数の分割領域Ｂ、…からなる。例えば、縦×横：３×３の顔領域Ａの場合には（図４（ｃ）等参照）、中心の分割領域Ｂ以外の略「ロ」字状をなす８つの分割領域Ｂ、…から境界部分が構成される。

平滑化部５ｅは、顔領域（特定の領域）Ａを構成する分割領域Ｂの各々について、平滑化の対象となる分割領域Ｂ及びこの分割領域Ｂと隣接する分割領域Ｂの各々の輝度信号Ｙ（一の成分）の値の加重平均を行うことで平滑化する。具体的には、平滑化部５ｅは、大きさ特定部５ｄにより特定される顔領域Ａの大きさに応じた大きさの平滑化フィルタＦ（図５（ｂ）等参照）を用いて、当該顔領域Ａの大きさに応じた重み付けで加重平均を行う。
例えば、平滑化部５ｅは、成分調整部５ｃにより算出された画像Ｉ０全体の輝度信号Ｙのゲイン量を取得する。また、平滑化部５ｅは、所定の格納手段（例えば、メモリ２等）に格納されている平滑化フィルタテーブルＴ（図２参照）を読み出して、顔領域Ａの大きさに応じた大きさの平滑化フィルタＦを特定する。

ここで、平滑化フィルタテーブルＴについて、図２を参照して説明する。
平滑化フィルタテーブルＴは、顔領域Ａの大きさに応じたフィルタ係数の１次元の平滑化フィルタＦが複数規定されている。ここでは、分割領域が、縦×横：８×８の領域に分割されている場合に対応可能となるように、注目領域を挟んで３つずつの近傍領域からなる計７つの領域を処理対象とする大きさの平滑化フィルタテーブルＴを例示する。

平滑化フィルタＦとしては、例えば、ガウシアンフィルタが挙げられ、顔領域Ａの大きさ（例えば、「1」〜「8」等）に応じてガウス関数のパラメータσの値を調整することで、重みを表すフィルタ係数を異ならせている。また、平滑化フィルタは、注目領域（平滑化の対象となる分割領域Ｂ）を挟んで３つずつの近傍領域を処理するための１次元のフィルタである。また、各領域のフィルタ係数（重み）は、注目領域のフィルタ係数を「100」とした場合の相対値で表されている。
具体的には、図２に示すように、顔領域Ａの大きさとしての「1」と、フィルタ係数が「0,0,0,100,0,0,0」の平滑化フィルタＦ（パラメータσ=0.1）とが対応付けられている。すなわち、顔領域Ａの大きさが「1」の場合、顔領域Ａ全体が注目領域となり、近傍領域との間で加重平均（平滑化）が行われない。
また、顔領域Ａの大きさとしての「2」と、フィルタ係数が「0,0,8,100,8,0,0」の平滑化フィルタＦ（パラメータσ=0.2）とが対応付けられ、同様に、顔領域Ａの大きさとしての「3」と、フィルタ係数が「0,0,28,100,28,0,0」の平滑化フィルタＦ（パラメータσ=0.4）とが対応付けられ、同様に、顔領域Ａの大きさとしての「4」と、フィルタ係数が「0,8,53,100,53,8,0」の平滑化フィルタＦ（パラメータσ=0.8）とが対応付けられ、同様に、顔領域Ａの大きさとしての「5」と、フィルタ係数が「2,18,65,100,65,18,2」の平滑化フィルタＦ（パラメータσ=1.2）とが対応付けられ、同様に、顔領域Ａの大きさとしての「6」と、フィルタ係数が「10,36,77,100,77,36,10」の平滑化フィルタＦ（パラメータσ=2.0）とが対応付けられ、同様に、顔領域Ａの大きさとしての「7」と、フィルタ係数が「16,45,81,100,81,45,16」の平滑化フィルタＦ（パラメータσ=2.5）とが対応付けられ、同様に、顔領域Ａの大きさとしての「8」と、フィルタ係数が「22,51,84,100,84,51,22」の平滑化フィルタＦ（パラメータσ=3.0）とが対応付けられている。すなわち、顔領域Ａの大きさが「2」以上の場合、顔領域Ａを構成する分割領域Ｂの各々を注目領域として近傍領域との間で輝度信号Ｙのゲイン量の加重平均（平滑化）が行われる。
なお、ここでは、顔領域Ａを構成する分割領域Ｂの縦方向と横方向の大きさが異なる場合は、小さい方の数の平滑化フィルタＦを採用するが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

上記した全ての平滑化フィルタＦは、注目領域を挟んで３つずつの近傍領域からなる計７つの領域を処理対象とする大きさとなっているが、フィルタ係数（重み）が「0」となっている近傍領域については、実質的には如何なる処理も行われない。
すなわち、例えば、顔領域Ａの大きさが「2」や「3」の平滑化フィルタＦは、注目領域を挟んで１つずつの近傍領域からなる計３つの分割領域Ｂ、…を処理対象とする大きさの平滑化フィルタＦであると言え、同様に、顔領域Ａの大きさが「4」の平滑化フィルタＦは、注目領域を挟んで２つずつの近傍領域からなる計５つの分割領域Ｂ、…を処理対象とする大きさの平滑化フィルタＦであると言え、同様に、顔領域Ａの大きさが「5」〜「8」の平滑化フィルタＦは、注目領域を挟んで３つずつの近傍領域からなる計７つの分割領域Ｂ、…を処理対象とする大きさの平滑化フィルタＦであると言える。
つまり、平滑化フィルタテーブルＴには、顔領域Ａの大きさに応じた大きさの平滑化フィルタＦが規定されている。

なお、上記した平滑化フィルタテーブルＴの内容は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、画像Ｉ０の縦横の分割数に応じて、平滑化フィルタＦの数、平滑化フィルタＦのフィルタ係数の値や注目領域を挟んで処理する近傍領域の数を適宜任意に変更しても良い。
また、平滑化フィルタＦとして、ガウシアンフィルタを例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

そして、平滑化部５ｅは、顔領域Ａの大きさに応じて特定された平滑化フィルタＦを用いて、顔領域Ａを構成する分割領域Ｂの各々を注目領域として近傍領域との間で輝度信号Ｙのゲイン量の加重平均（平滑化）を行う（図５（ｂ）及び図５（ｃ）参照）。具体的には、例えば、図５（ｂ）に示すように、平滑化部５ｅは、先ず、１次元の平滑化フィルタＦをフィルタ係数が横方向に並んだ向きとし、顔領域Ａを構成する全ての分割領域Ｂの各々を注目領域として近傍領域との間で輝度信号Ｙのゲイン量の加重平均を行うことで、横方向に平滑化する。その後、平滑化部５ｅは、上記のようにして横方向に顔領域Ａの輝度信号Ｙのゲイン量が平滑化された画像を処理対象として、図５（ｃ）に示すように、１次元の平滑化フィルタＦをフィルタ係数が縦方向に並ぶように９０°回転させ、上記と同様に、顔領域Ａを構成する全ての分割領域Ｂの各々を注目領域として近傍領域との間で輝度信号Ｙのゲイン量の加重平均を行うことで、縦方向に平滑化する。ここで、横方向に平滑化する処理と縦方向に平滑化する処理の順序は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
その後、成分調整部５ｃは、平滑化部５ｅにより平滑化されたゲイン量に従って、画像Ｉ０全体の輝度信号Ｙを補正する。

なお、図５（ｂ）及び図５（ｃ）にあっては、発明の説明を分かり易くするために、輝度信号Ｙの補正により顔領域Ａ全体が明るくされた画像Ｉ１を模式的に表しているが、輝度信号Ｙの補正が行われる前の画像のゲイン量が平滑化の対象となる。また、顔領域Ａを構成する分割領域Ｂのうち、左上の分割領域Ｂを注目領域（図中、斜線を付した分割領域Ｂ）として、平滑化フィルタＦを適用した状態を模式的に表している。また、顔領域Ａを構成する分割領域Ｂの処理の順序は、例えば、縦×横：３×３の顔領域Ａの場合、「左上」、「上」、「右上」、「左中」、「中」、「右中」、「左下」、「下」、「右下」等が挙げられるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
なお、図５（ｂ）に示すように、注目領域の位置によっては近傍領域に対応する分割領域Ｂが存しない位置に平滑化フィルタＦが設定され、図中、１次元の平滑化フィルタＦの分割領域Ｂが存在しない部分に対応する部分を二点鎖線で仮想的に表している。この二点鎖線で仮想的に表された部分については、対応するフィルタ係数が存在したとしても、加重平均の対象とはしない。

また、顔領域検出部５ｂにより顔領域Ａが複数検出された場合、平滑化部５ｅは、検出された各顔領域Ａ毎に境界部分についての輝度信号Ｙの値を平滑化する処理をそれぞれ行う。すなわち、平滑化部５ｅは、検出されたそれぞれの顔領域Ａにおける当該顔領域Ａ以外のその他の領域との境界部分について、輝度信号Ｙの値を平滑化する処理をそれぞれ行う。

なお、平滑化部５ｅは、成分調整部５ｃにより算出された画像Ｉ０の輝度信号Ｙのゲイン量を平滑化する処理を行うようにしたが、例えば、成分調整部５ｃにより顔領域Ａ全体が明るくなるように輝度信号Ｙの値が調整された後の画像Ｉ１（図５（ａ）参照）のＹＵＶデータの輝度信号Ｙを取得し、顔領域Ａの境界部分について輝度信号Ｙの値を平滑化する処理を行うようにしても良い。

また、平滑化部５ｅによる顔領域Ａの境界部分について輝度信号Ｙの値を平滑化する処理後に、成分調整部５ｃは、顔領域Ａについて、輝度信号Ｙのゲイン量を算出して調整する処理を行っても良い。

画像生成部５ｆは、信号処理部４により生成された静止画像や動画像の画像データを所定の圧縮形式（例えば、ＪＰＥＧ形式、ＭＰＥＧ形式等）で符号化して静止画像や動画像の記録用の画像データを生成する。
また、画像生成部５ｆは、明るさ調整処理により顔領域Ａの明るさが調整された画像Ｉ２（図６参照）の画像データを生成する。具体的には、画像生成部５ｆは、画像取得部５ａにより取得された画像Ｉ０のＹＵＶデータのうちの色差信号Ｃｂ，Ｃｒ（ＵＶデータ）を取得する。また、画像生成部５ｆは、顔領域Ａについて、成分調整部５ｃにより輝度信号Ｙの値を調整する処理が施されるとともに、顔領域Ａにおけるその他の領域との境界部分について、平滑化部５ｅにより輝度信号Ｙの値を平滑化する処理が施された輝度信号Ｙを取得する。そして、画像生成部５ｆは、取得された色差信号Ｃｂ，Ｃｒと輝度信号Ｙとを所定の圧縮形式で符号化して、明るさ調整処理後の画像Ｉ２の画像データを生成する。

表示部６は、表示パネル６ａの表示画面に画像を表示する。
すなわち、表示部６は、静止画像や動画像の撮影モードにて、撮像部３による被写体の撮影により生成された複数のフレーム画像を所定の再生フレームレートで逐次更新しながらライブビュー画像を表示パネル６ａの表示画面に表示する。
なお、表示パネル６ａは、例えば、液晶表示パネルや有機ＥＬ（Electro-Luminescence）表示パネル等から構成されているが、一例であってこれらに限られるものではない。

画像記録部７は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部５により所定の圧縮形式（例えば、ＪＰＥＧ形式、ＭＰＥＧ形式等）で符号化された静止画像や動画像の記録用の画像データを記録する。
具体的には、画像記録部７は、画像処理部５の画像生成部５ｆにより生成された明るさ調整処理後の画像Ｉ２の画像データを画像処理部５から取得して記録する。すなわち、画像記録部７は、記録手段として、顔領域（特定の領域）Ａについて、成分調整部５ｃにより輝度信号Ｙの値を調整する処理が施されるとともに、顔領域Ａにおけるその他の領域との境界部分について、平滑化部５ｅにより輝度信号Ｙの値を平滑化する処理が施された画像Ｉ２を記録する。

なお、画像記録部７は、例えば、記録媒体（図示略）が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。

操作入力部８は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部８は、被写体の静止画像の撮影指示や動画像の録画開始指示及び録画終了指示に係るシャッタボタン、撮影モードや再生モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部８は、操作されたボタンに応じた操作指示を中央制御部１に出力する。中央制御部１は、操作入力部８から出力され入力された操作指示に従って所定の動作（例えば、静止画像の撮影等）を各部に実行させる。

＜明るさ調整処理＞
次に、撮像装置１００による明るさ調整処理について、図３〜図６を参照して説明する。
図３は、明るさ調整処理に係る動作の一例を示すフローチャートである。また、図４（ａ）〜図６は、明るさ調整処理を説明するための図である。

図３に示すように、先ず、撮像部３は、被写体のライブビュー画像を撮像する処理を開始して、表示部６は、信号処理部４により生成された表示用の画像データに基づいて、ライブビュー画像を表示パネル６ａに表示させる（ステップＳ１）。
その後、ユーザによる操作入力部８のシャッタボタンの所定操作に基づいて、撮像部３は、被写体を撮像した記録用のフレーム画像を信号処理部４に出力し、信号処理部４は、被写体の静止画像の画像データを生成してメモリ２に出力する（ステップＳ２）。そして、画像処理部５の画像取得部５ａは、メモリ２から静止画像の画像データの複製を明るさ調整処理の処理対象の画像Ｉ０として取得する（ステップＳ３；図４（ａ）参照）。

次に、顔領域検出部５ｂは、画像取得部５ａにより取得された画像Ｉ０の縦横をそれぞれ所定の数で等分して複数の分割領域（例えば、縦×横：８×８の領域）Ｂ、…に分割し、分割された複数の分割領域Ｂ、…の中で、ヒトの顔が含まれる分割領域Ｂからなる顔領域Ａ（例えば、縦×横：３×３の領域）を検出する（ステップＳ４；図４（ｂ）及び図４（ｃ）参照）。
続けて、成分調整部５ｃは、画像取得部５ａにより取得された画像Ｉ０のＹＵＶデータの輝度信号Ｙを取得し、例えば、顔領域Ａの輝度信号Ｙの代表値（平均値）等に基づいて、画像Ｉ０全体の輝度信号Ｙのゲイン量を算出する（ステップＳ５；図５（ａ）参照）。
そして、大きさ特定部５ｄは、顔領域Ａを構成する縦横の分割領域Ｂの数（例えば、縦：３、横：３等）のうち、例えば、小さい方の数を顔領域Ａの大きさ（例えば、「3」等）として特定する（ステップＳ６）。

次に、平滑化部５ｅは、所定の格納手段（例えば、メモリ２等）に格納されている平滑化フィルタテーブルＴ（図２参照）を読み出して、顔領域Ａの大きさに応じた大きさの１次元の平滑化フィルタＦ（例えば、顔領域Ａの大きさが「3」の場合、フィルタ係数が「0,0,28,100,28,0,0」の平滑化フィルタＦ等）を特定する（ステップＳ７；図５（ｂ）等参照）。
続けて、平滑化部５ｅは、特定された１次元の平滑化フィルタＦをフィルタ係数が横方向に並んだ向きとし、顔領域Ａを構成する全ての分割領域Ｂの各々を注目領域として、注目領域及びこの注目領域と隣接する近傍領域（分割領域Ｂ）の各々の算出されたゲイン量の加重平均を行うことで、横方向に平滑化する（ステップＳ８；図５（ｂ）参照）。その後、平滑化部５ｅは、１次元の平滑化フィルタＦをフィルタ係数が縦方向に並んだ向きとし、上記と同様に、顔領域Ａを構成する全ての分割領域Ｂの各々を注目領域として、注目領域及びこの注目領域の近傍領域の各々の算出されたゲイン量の加重平均を行うことで、縦方向に平滑化する（ステップＳ９；図５（ｃ）参照）。
そして、成分調整部５ｃは、平滑化部５ｅにより平滑化されたゲイン量に従って、画像Ｉ０全体の輝度信号Ｙを補正する（ステップＳ１０）。
これにより、顔領域Ａは、境界部分の分割領域Ｂが中心側の分割領域Ｂに対して輝度信号Ｙをより平滑化した状態、すなわち、境界部分の明るさを顔領域Ａよりも外側の領域の明るさに対してより近付けた状態となる。

なお、平滑部５ｅは、特定された１次元の平滑化フィルタＦがフィルタ係数を横方向に並んだ向きを先に平滑化する処理を行っているが、縦方向を先に処理してもよい。
また、算出されたゲイン量に平滑化処理を行った後に、平滑化処理されたゲイン量に従って、輝度調整を行うようにしているが、算出されたゲイン量に従って、輝度調整を先の行った後に、調整した輝度に平滑化処理を行うようにしてもよい。

次に、画像生成部５ｆは、画像取得部５ａにより取得された画像Ｉ０のＹＵＶデータのうちの色差信号Ｃｂ，Ｃｒと、顔領域Ａについて輝度信号Ｙの値を調整する処理が施されるとともに、顔領域Ａにおける境界部分について輝度信号Ｙの値を平滑化する処理が施された輝度信号Ｙとを所定の圧縮形式で符号化して、明るさ調整処理後の画像Ｉ２の画像データを生成する（ステップＳ１１；図６参照）。そして、画像記録部７は、画像生成部５ｆにより生成された明るさ調整処理後の画像Ｉ２の画像データを取得して記録する。

なお、上記した明るさ調整処理は、被写体の撮影の際に行われるようにしたが、一例であってこれに限られるものではなく、例えば、被写体の撮影後、画像記録部７に記録されている画像を処理対象として行われても良い。

以上のように、本実施形態の撮像装置１００によれば、画像Ｉ０から検出されたヒトの顔領域（特定の領域）Ａについて、ＹＵＶ色空間を構成する一の成分である輝度信号Ｙの値を調整しても、顔領域Ａにおける当該顔領域Ａ以外のその他の領域との境界部分について、輝度信号Ｙの値を平滑化することで、顔領域Ａの境界部分の明るさを当該顔領域Ａよりも外側のその他の領域の明るさに対してより近付けることができ、顔領域Ａがその他の領域に対して浮き上がったような不自然な画像となることを抑制することができる。すなわち、顔領域Ａと当該顔領域Ａよりも外側のその他の領域との間の明るさの変化がより自然な画像Ｉ２を生成して記録することができる。
従って、画像Ｉ０の一部分の領域（顔領域Ａ）の明るさを調整する画像処理を行っても、画像処理後の画像Ｉ２にて当該画像処理による不自然さを生じ難くさせることができる。

具体的には、顔領域Ａを構成する分割領域Ｂの各々について、平滑化の対象となる分割領域Ｂ及びこの分割領域Ｂと隣接する分割領域Ｂの各々の輝度信号Ｙの値の加重平均を行うことで、顔領域Ａの境界部分を構成する分割領域Ｂについては、顔領域Ａよりも外側のその他の領域も含めて輝度信号Ｙの値の平滑化を行うことができ、顔領域Ａの境界部分の分割領域Ｂを中心側の分割領域Ｂに対して輝度信号Ｙの値をより平滑化した状態とすることができる。
また、画像Ｉ０内における顔領域Ａの大きさに応じた大きさの平滑化フィルタＦを用いて、当該顔領域Ａの大きさに応じた重み付けで、顔領域Ａを構成する分割領域Ｂの各々について輝度信号Ｙの値の加重平均を行うので、画像Ｉ０内における顔領域Ａの大きさを考慮して、顔領域Ａの境界部分について輝度信号Ｙの値の平滑化を適正に行うことができる。さらに、画像Ｉ０内における顔領域Ａの大きさが所定の大きさ（例えば、「２」）以上の場合に、顔領域Ａを構成する分割領域Ｂの各々について輝度信号Ｙの値の加重平均を行うので、画像Ｉ０内における顔領域Ａが相対的に小さい場合には、上記した加重平均が行われないこととなり、当該顔領域Ａが暗くなってしまうことを防止することができる。

また、顔領域Ａが複数検出された場合には、各顔領域Ａ毎に境界部分についての輝度信号Ｙの値を平滑化する処理をそれぞれ行うことで、各顔領域Ａ毎に、境界部分の明るさを当該顔領域Ａよりも外側のその他の領域の明るさに対してより近付けることができ、各顔領域Ａがその他の領域に対して浮き上がったような不自然な画像となることを抑制することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、顔領域Ａを構成する分割領域Ｂの輝度信号Ｙの値の加重平均の際に、画像Ｉ０内における顔領域Ａの大きさに応じた大きさで、且つ、当該顔領域Ａの大きさに応じた重み（フィルタ係数）の平滑化フィルタＦを用いるようにしたが、一例であってこれに限られるものではない。
すなわち、画像Ｉ０内における顔領域Ａの大きさに応じて重み（フィルタ係数）を変えることなく、大きさのみを変えた平滑化フィルタを用いても良いし、その一方で、画像Ｉ０内における顔領域Ａの大きさに応じて大きさを変えることなく、重み（フィルタ係数）のみを変えた平滑化フィルタを用いても良い。
また、上記実施形態にあっては、１次元の平滑化フィルタＦを用いるようにしたが、一例であってこれに限られるものではなく、例えば、二次元の平滑化フィルタを用いても良い。

さらに、上記実施形態にあっては、平滑化部５ｅは、所定の色空間（例えば、ＹＵＶ色空間、ＲＧＢ色空間等）を構成する複数の成分（例えば、ＹＵＶ色空間の場合、Ｙ成分、Ｕ成分、Ｖ成分等）の各々について、処理対象となる成分に応じた重み付けで当該成分の値の加重平均を行っても良いし、また、処理対象となる成分に応じた大きさの平滑化フィルタを用いて当該成分の値の加重平均を行っても良い。

また、上記実施形態にあっては、例えば、大きさ特定部５ｄが、検出された顔領域（特定の領域）Ａの大きさを特定し、平滑化部５ｅが、顔領域Ａにおける当該顔領域Ａ以外のその他の領域との境界部分について、特定される顔領域Ａの大きさに応じた大きさの平滑化フィルタを用いてＹＵＶ色空間を構成する一の成分としての輝度信号Ｙの値を平滑化するようにしても良い。
これにより、上記実施形態と同様に、顔領域Ａの境界部分の明るさを当該顔領域Ａよりも外側のその他の領域の明るさに対してより近付けることができる。従って、画像Ｉ０の一部分の領域（顔領域Ａ）の明るさを調整する画像処理を行っても、画像処理後の画像Ｉ２にて当該画像処理による不自然さを生じ難くさせることができる。

さらに、上記実施形態にあっては、例えば、成分調整部５ｃが、検出された顔領域（特定の領域）Ａ全体について、ＹＵＶ色空間を構成する一の成分としての輝度信号Ｙの値を調整し、平滑化部５ｅが、顔領域Ａ全体について、輝度信号Ｙの値を平滑化するようにしても良い。
これにより、顔領域Ａ全体について輝度信号Ｙの値を平滑化する処理を行うことで、処理の高速化を図ることができるとともに、顔領域Ａにおけるその他の領域との境界部分については、顔領域Ａよりも外側のその他の領域も含めて輝度信号Ｙの値の平滑化を行うことができ、顔領域Ａの境界部分を中心側の部分に対して輝度信号Ｙの値をより平滑化した状態とすることができる。結果として、顔領域Ａの境界部分の明るさを当該顔領域Ａよりも外側のその他の領域の明るさに対してより近付けることができる。従って、上記実施形態と同様に、画像Ｉ０の一部分の領域（顔領域Ａ）の明るさを調整する画像処理を行っても、画像処理後の画像Ｉ２にて当該画像処理による不自然さを生じ難くさせることができる。

また、上記実施形態にあっては、画像Ｉ０の特定の領域として、ヒトの顔領域を例示したが、一例であってこれに限られるものではなく、例えば、植物、動物、建物等のヒト以外の物体に対応する領域であっても良い。

さらに、上記実施形態にあっては、顔領域Ａが画像Ｉ０を分割した複数の分割領域Ｂ、…のうちの一の分割領域Ｂからなる場合、すなわち、画像Ｉ０内における顔領域Ａが相対的に小さい場合には、輝度信号Ｙの値の加重平均を行わないようにしたが、例えば、顔領域Ａ（一の分割領域Ｂ）を構成する縁部分（外周部分）の所定数の画素を特定して、当該画素及びこの画素と隣接する画素の各々の輝度信号Ｙ（一の成分）の値を平滑化するようにしても良い。

また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。さらに、画像処理装置として、撮像装置１００を例示したが、これに限られるものではなく、撮像機能を具備するか否かは適宜任意に変更可能である。

さらに、上記実施形態にあっては、顔領域Ａの境界部分を平滑化するようにしているが、一例であってこれに限られるものではなく、例えば、顔領域Ａよりも外側のその他の領域の当該顔領域Ａとの境界部分を平滑化しても良いし、顔領域Ａの境界部分及び顔領域Ａよりも外側のその他の領域の当該顔領域Ａとの境界部分との両方を平滑化しても良い。

加えて、上記実施形態にあっては、検出手段、調整手段、平滑化手段としての機能を、中央制御部１の制御下にて、顔領域検出部５ｂ、成分調整部５ｃ、平滑化部５ｅが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムメモリ（図示略）に、検出処理ルーチン、調整処理ルーチン、平滑化処理ルーチンを含むプログラムを記録しておく。そして、検出処理ルーチンにより中央制御部１のＣＰＵに、画像から特定の領域を検出する機能を実現させるようにしても良い。また、調整処理ルーチンにより中央制御部１のＣＰＵに、検出された特定の領域について、所定の色空間を構成する複数の成分のうちの一の成分の値を調整する機能を実現させるようにしても良い。また、平滑化処理ルーチンにより中央制御部１のＣＰＵに、特定の領域と当該特定の領域以外のその他の領域との境界部分について、一の成分の値を平滑化する機能を実現させるようにしても良い。

同様に、特定手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
画像から特定の領域を検出する検出手段と、
前記検出手段により検出された特定の領域について、所定の色空間を構成する複数の成分のうちの一の成分の値を調整する調整手段と、
前記特定の領域と当該特定の領域以外のその他の領域との境界部分について、前記一の成分の値を平滑化する平滑化手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記平滑化手段は、前記特定の領域における前記その他の領域との境界部分について、前記一の成分の値を平滑化することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記検出手段は、前記特定の領域として、ヒトの顔領域を検出し、
前記所定の色空間を構成する複数の成分のうちの一の成分は、ＹＵＶ色空間のＹ成分を含むことを特徴とする請求項１又は２に記載の画像処理装置。
＜請求項４＞
前記平滑化手段は、前記特定の領域を構成する分割領域の各々について、平滑化の対象となる分割領域及びこの分割領域と隣接する分割領域の各々の前記一の成分の値の加重平均を行うことを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
＜請求項５＞
前記検出手段により検出された特定の領域の大きさを特定する特定手段を更に備え、
前記平滑化手段は、前記特定手段により特定される前記特定の領域の大きさに応じた重み付けで前記加重平均を行うことを特徴とする請求項４に記載の画像処理装置。
＜請求項６＞
前記平滑化手段は、所定の色空間を構成する複数の成分の各々に応じた重み付けで前記加重平均を行うことを特徴とする請求項４又は５に記載の画像処理装置。
＜請求項７＞
前記検出手段により検出された特定の領域の大きさを特定する特定手段を更に備え、
前記平滑化手段は、前記特定手段により特定される前記特定の領域の大きさに応じた大きさの平滑化フィルタを用いて前記加重平均を行うことを特徴とする請求項４〜６の何れか一項に記載の画像処理装置。
＜請求項８＞
前記平滑化手段は、所定の色空間を構成する複数の成分の各々に応じた大きさの平滑化フィルタを用いて前記加重平均を行うことを特徴とする請求項４〜７の何れか一項に記載の画像処理装置。
＜請求項９＞
前記平滑化手段は、前記特定手段により特定される前記特定の領域の大きさが所定の大きさ以上の場合に、前記加重平均を行うことを特徴とする請求項５又は７に記載の画像処理装置。
＜請求項１０＞
前記平滑化手段は、
前記検出手段により前記特定の領域が複数検出される場合に、前記検出手段により検出されたそれぞれの前記特定の領域と当該特定の領域以外のその他の領域との境界部分について、前記一の成分の値を平滑化する処理をそれぞれ行うことを特徴とする請求項１〜９の何れか一項に記載の画像処理装置。
＜請求項１１＞
前記特定の領域について、前記調整手段により前記一の成分の値を調整する処理が施されるとともに、前記特定の領域と前記その他の領域との境界部分について、前記平滑化手段により前記一の成分の値を平滑化する処理が施された画像を記録する記録手段を更に備えることを特徴とする請求項１〜１０の何れか一項に記載の画像処理装置。
＜請求項１２＞
画像から特定の領域を検出する検出手段と、
前記検出手段により検出された特定の領域の大きさを特定する特定手段と、
前記特定の領域における当該特定の領域以外のその他の領域との境界部分について、前記特定手段により特定される前記特定の領域の大きさに応じた大きさの平滑化フィルタを用いて所定の色空間を構成する複数の成分のうちの一の成分の値を平滑化する平滑化手段と、
を備えたことを特徴とする画像処理装置。
＜請求項１３＞
画像処理装置を用いた画像処理方法であって、
画像から特定の領域を検出する処理と、
検出された特定の領域について、所定の色空間を構成する複数の成分のうちの一の成分の値を調整する処理と、
前記特定の領域と当該特定の領域以外のその他の領域との境界部分について、前記一の成分の値を平滑化する処理と、
を含むことを特徴とする画像処理方法。
＜請求項１４＞
画像処理装置のコンピュータに、
画像から特定の領域を検出する機能と、
検出された特定の領域について、所定の色空間を構成する複数の成分のうちの一の成分の値を調整する機能と、
前記特定の領域と当該特定の領域以外のその他の領域との境界部分について、前記一の成分の値を平滑化する機能と、
を実現させることを特徴とするプログラム。

１００ 撮像装置
１ 中央制御部
３ 撮像部
５ 画像処理部
５ａ 画像取得部
５ｂ 顔領域検出部
５ｃ 成分調整部
５ｄ 大きさ特定部
５ｅ 平滑化部
５ｆ 画像生成部
７ 画像記録部

Claims (11)

1. 画像から特定の領域を検出する検出手段と、
   前記検出手段により検出された特定の領域について、所定の色空間を構成する複数の成分のうちの一の成分の値を調整する調整手段と、
   前記画像を分割した分割領域のうち前記特定の領域を構成する分割領域の各々について、前記特定の領域を構成する分割領域に隣接する分割領域との前記調整手段によって調整された一の成分の値の加重平均を行うことで、前記一の成分の値を平滑化する平滑化手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記検出手段は、前記特定の領域として、ヒトの顔領域を検出し、
   前記所定の色空間を構成する複数の成分のうちの一の成分は、ＹＵＶ色空間のＹ成分を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段により検出された特定の領域の大きさを特定する特定手段を更に備え、
   前記平滑化手段は、前記特定手段により特定される前記特定の領域の大きさに応じた重み付けで前記調整手段によって調整された一の成分の値の加重平均を行うことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記平滑化手段は、前記所定の色空間を構成する複数の成分の各々に応じた重み付けで前記加重平均を行うことを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記検出手段により検出された特定の領域の大きさを特定する特定手段を更に備え、
   前記平滑化手段は、前記特定手段により特定される前記特定の領域の大きさに応じた大きさの平滑化フィルタを用いて前記加重平均を行うことを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記平滑化手段は、所定の色空間を構成する複数の成分の各々に応じた大きさの平滑化フィルタを用いて前記加重平均を行うことを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
7. 前記平滑化手段は、前記特定手段により特定される前記特定の領域の大きさが所定の大きさ以上の場合に、前記加重平均を行うことを特徴とする請求項３又は５に記載の画像処理装置。
8. 前記平滑化手段は、
   前記検出手段により前記特定の領域が複数検出される場合に、前記検出手段により検出されたそれぞれの前記特定の領域と当該特定の領域以外のその他の領域との境界部分について、前記平滑化手段による平滑化する処理をそれぞれ行うことを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
9. 前記平滑化手段によって平滑化処理が施された画像を記録する記録手段を更に備えることを特徴とする請求項１〜８の何れか一項に記載の画像処理装置。
10. 画像処理装置を用いた画像処理方法であって、
    画像から特定の領域を検出する処理と、
    検出された特定の領域について、所定の色空間を構成する複数の成分のうちの一の成分の値を調整する処理と、
    前記画像を分割した分割領域のうち前記特定の領域を構成する分割領域の各々について、前記特定の領域を構成する分割領域に隣接する分割領域との前記調整する処理によって調整された一の成分の値の加重平均を行うことで、前記一の成分の値を平滑化する処理と、
    を含むことを特徴とする画像処理方法。
11. 画像処理装置のコンピュータに、
    画像から特定の領域を検出する機能と、
    検出された特定の領域について、所定の色空間を構成する複数の成分のうちの一の成分の値を調整する機能と、
    前記画像を分割した分割領域のうち前記特定の領域を構成する分割領域の各々について、前記特定の領域を構成する分割領域に隣接する分割領域との前記調整する機能によって調整された一の成分の値の加重平均を行うことで、前記一の成分の値を平滑化する機能と、
    を実現させることを特徴とするプログラム。