JP2012003576A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】より自然な画像処理を顔画像に施す。
【解決手段】撮像装置１００であって、顔画像を取得するレンズ部１、電子撮像部２及び撮像制御部３と、取得された顔画像において組をなす２つの対応する領域を特定する顔画像処理部１１の特定部１１ａと、特定された顔画像の２つの対応する領域のうち、一方の領域を基準として他方の領域を補正した顔画像を生成する顔画像処理部１１の補正部１１ｃと、を備えている。
【選択図】図８

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来より、被写体の顔を撮像した顔画像を印刷出力する自動写真撮影装置において、顔画像の一部分を拡大又は縮小させて顔画像を変形させる技術がある（例えば、特許文献１参照）。

特開２０００−２６７１５６号公報

しかしながら、上記特許文献１のように、単に顔画像の一部分を拡大又は縮小することで顔画像を変形させた場合、処理後の画像の一部分が目立ち不自然な画像になってしまうという問題があった。

そこで、本発明の課題は、より自然な画像処理を顔画像に施すことである。

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、顔画像を取得する取得手段と、この取得手段により取得された顔画像において、組をなす２つの対応する領域を特定する領域特定手段と、この領域特定手段により特定された前記顔画像の２つの対応する領域のうち、一方の領域を基準として他方の領域を補正した顔画像を生成する補正手段と、を備えたことを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記領域特定手段により特定された２つの対応する領域のうち、前記補正手段による補正の基準となる領域を、所定条件に基づいて決定する決定手段を更に備えることを特徴とする。

請求項３に記載の発明は、請求項２に記載の画像処理装置において、前記領域特定手段により特定された２つの対応する領域のうち、前記補正手段による補正の基準となる領域の指定入力を受け付ける補正基準指定受付手段を更に有し、前記決定手段は、前記補正基準指定受付手段により受け付けられた指定入力の内容に基づいて前記補正手段による補正の基準となる一方の領域を決定することを特徴とする。

請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像処理装置において、前記領域特定手段は、更に前記顔画像において組をなす２つの対応する顔構成部を特定し、
前記補正手段は、前記領域特定手段によって特定された前記顔画像の２つの対応する顔構成部のうち、一方の顔構成部を基準として他方の顔構成部を補正した顔画像を生成することを特徴とする。

請求項５に記載の発明は、請求項４に記載の画像処理装置において、前記領域特定手段は、組をなす２つの対応する顔構成部として前記顔画像に存在する両目をそれぞれ特定し、前記補正手段は、前記領域特定手段により特定された両目のうち、一方の目を基準として他方の目を補正することを特徴とする。

請求項６に記載の発明は、請求項２に記載の画像処理装置において、前記領域特定手段は、組をなす２つの対応する領域として前記顔画像に存在する両目をそれぞれ特定し、前記決定手段は、前記領域特定手段により特定された両目のうち、大きい方の目を補正の基準とする一方の目とし、前記補正手段は、前記決定手段により決定された前記一方の目の大きさに基づいて他方の目の大きさを補正することを特徴とする。

請求項７に記載の発明は、請求項４に記載の画像処理装置において、前記領域特定手段は、組をなす２つの対応する顔構成部として前記顔画像に存在する２つの口角をそれぞれ特定し、前記補正手段は、前記領域特定手段により特定された２つの口角のうち、一方の口角に基づいて他方の口角を補正することを特徴とする。

請求項８に記載の発明は、請求項４〜７の何れか一項に記載の画像処理装置において、前記領域特定手段により特定された２つ以上の組をなす２つの対応する顔構成部のうち、前記補正手段による補正を行う顔構成部の指定入力を受け付ける補正対象指定受付手段を更に有し、前記補正手段は、前記補正対象指定受付手段により受け付けられた指定入力の内容に基づいて補正すべき顔構成部を決定することを特徴とする。

請求項９に記載の発明の画像処理装置は、顔画像を取得する取得手段と、この取得手段により取得された顔画像において、組をなす２つの対応する顔構成部を特定する顔構成部特定手段と、この顔構成部特定手段により特定された前記顔画像の２つの対応する顔構成部のうち、一方の顔構成部を基準として他方の顔構成部を補正した顔画像を生成する補正手段と、を備えたことを特徴とする。

請求項１０に記載の発明の画像処理方法は、画像処理装置に、顔画像を取得する処理と、取得された顔画像において、組をなす２つの対応する領域を特定する処理と、特定された前記顔画像の２つの対応する領域のうち、一方の領域を基準として他方の領域を補正した顔画像を生成する処理と、を実行させることを特徴とする。

請求項１１に記載の発明の画像処理方法は、画像処理装置に、顔画像を取得する処理と、取得された顔画像において、組をなす２つの対応する顔構成部を特定する処理と、特定された前記顔画像の２つの対応する顔構成部のうち、一方の顔構成部を基準として他方の顔構成部を補正した顔画像を生成する処理と、を実行させることを特徴とする。

請求項１２に記載の発明のプログラムは、画像処理装置が備えるコンピュータを、顔画像を取得する取得手段、この取得手段により取得された顔画像において、組をなす２つの対応する領域を特定する領域特定手段、この領域特定手段により特定された前記顔画像の２つの対応する領域のうち、一方の領域を基準として他方の領域を補正した顔画像を生成する補正手段、として機能させることを特徴とする。

請求項１３に記載の発明のプログラムは、画像処理装置が備えるコンピュータを、顔画像を取得する取得手段、この取得手段により取得された顔画像において、組をなす２つの対応する顔構成部を特定する顔構成部特定手段、この顔構成部特定手段により特定された前記顔画像の２つの対応する顔構成部のうち、一方の顔構成部を基準として他方の顔構成部を補正した顔画像を生成する補正手段、として機能させることを特徴とする。

本発明によれば、より自然な画像処理を顔画像に施すことができる。

本発明を適用した一実施形態の画像処理装置として機能する撮像装置の一例を示す図である。 撮像処理の流れの一例を示すフローチャートである。 補正処理の流れの一例を示すフローチャートである。 領域特定処理の流れの一例を示すフローチャートである。 目の補正処理の流れの一例を示すフローチャートである。 口角の補正処理の流れの一例を示すフローチャートである。 顔画像の画像データを表示部に表示させた一例を示す図である。 補正後の顔画像の画像データの一例を示す図である。 撮像装置の変形例の一例を示す図である。 変形例における補正処理の流れの一例を示すフローチャートである。 図１０の続きを示すフローチャートである。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の画像処理装置として機能する撮像装置１００を示す図である。
画像処理装置として機能する撮像装置１００は、顔画像の画像データを取得し、取得した顔画像の略中央部を所定方向に延在する中心線を基準として２つの領域を特定し、特定された顔画像の２つの領域のうち、一方の領域を基準として他方の領域を補正する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、記録媒体６と、表示制御部７と、表示部８と、操作入力部９と、ＣＰＵ１０と、顔画像処理部１１と、を備えている。
また、撮像制御部３と、ＣＰＵ１０は、顔画像処理部１１と、例えば、カスタムＬＳＩ１Ａとして設計されている。

レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体（例えば顔Ｆ；図７参照）の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。

電子撮像部２は、被写体を撮像して画像データを生成する。例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を２次元の画像信号に変換する。

撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により２次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体Ｓの撮像条件の調整制御を行う。
ここで、レンズ部１、電子撮像部２及び撮像制御部３は、顔画像の画像データを取得する取得手段を構成している。
図７は、顔画像の画像データを表示部８に表示させた一例を示す。

画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。

画像メモリ５は、例えば、ＤＲＡＭ等により構成され、ＣＰＵ１０や、顔画像処理部１１等によって処理されるデータ等を一時記憶する。

記録媒体６は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部のＪＰＥＧ圧縮部（図示略）により符号化された撮像画像の記録用の画像データを記録する。

表示制御部７は、画像メモリ５に一時的に記憶されている表示用画像データや記録媒体６に記録された画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１０の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。

また、表示制御部７は、顔画像処理部１１の補正部１１ｃ（後述）による補正結果を表示部８に表示させる。
さらに、表示制御部７は、補正結果の表示を表示部８に行わせると共に、表示された補正結果を保存するか否かをユーザに確認するための確認処理を行う。確認処理として、例えば、表示制御部７は、表示された補正結果を顔画像に保存するか否かを選択するための保存可否選択表示を表示部８に表示させる。
そして、保存可否選択処理に対して、補正結果を保存するか否かの選択入力として、操作入力部９の決定ボタン９ｃや取消ボタン９ｄ（後述）に対する入力操作がユーザにより行われる。

表示部８は、例えば、液晶表示装置であり、表示制御部７からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面に表示する。具体的には、表示部８は、撮像モードにて、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像された顔画像を表示する。

操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮影指示に係るシャッタボタン９ａ、メニュー画面にて撮像モードや機能等の選択指示に係るモードボタン９ｂ、ズーム量の調整指示に係るズームボタン（図示略）、補正を行うか否かの決定に係る決定ボタン９ｃ及び取消ボタン９ｄ等を備え、これらのボタンの操作に応じて所定の操作信号をＣＰＵ１０に出力する。

ＣＰＵ１０は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１０は、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行うものである。

顔画像処理部１１は、特定部１１ａと、比較部１１ｂと、補正部１１ｃと、補正基準決定部１１ｄと、補正実行決定部特定部１１ｅとを具備している。

特定部１１ａは、レンズ部１、電子撮像部２及び撮像制御部３の協働により撮像、取得された画像データから顔画像を検出する。顔画像の検出は、例えば所定のテンプレートとの比較に基づく検出や顔画像の輪郭抽出に基づく検出等、種々の方法を採用することができる。

また、特定部１１ａは、レンズ部１、電子撮像部２及び撮像制御部３により取得された顔画像の略中央部を所定方向に延在する中心線を基準として２つの領域を特定する。
具体的には、特定部１１ａは、顔画像の画像フレーム内から２つの目に相当する顔構成部を検出する。また、特定部１１ａは、２つの目のそれぞれの黒目の中心の座標（例えば図８に示す座標（Ｘａ，Ｙａ）及び座標（Ｘｂ，Ｙｂ）等）を検出する。ここでいう座標とは、顔画像の画像データの所定位置を原点として、画像領域に対して互いに直行する所定の２方向（例えば図８に示すＸ方向及びＹ方向）に基づいて表される原点（例えば図８に示す原点Ｏ）に対する位置情報である。２つの目のそれぞれの黒目の中心の座標を検出すると、特定部１１ａは、検出された２つの目のそれぞれの黒目の中心の座標の中間点を通り、かつ、検出された２つの目のそれぞれの黒目の中心の座標を結ぶ線分に略直交するように延在する線分（例えば図８に示す線分Ｃ）の軌跡を算出し、当該線分を顔画像の略中央部を所定方向に延在する中心線とする。特定部１１ａは、当該線分を基準として分かたれた顔画像の２つの領域（例えば図８に示す領域Ｆ１、Ｆ２）を特定する。
ここで、特定部１１ａは、レンズ部１、電子撮像部２及び撮像制御部３により取得された顔画像において、組をなす２つの対応する領域を特定する領域特定手段を構成している。ここでいう「組」とは、共通の構成又は共通の構成を含む２つの領域をさす。例えば、２つの目（例えば図７に示す左目Ｅｌ、右目Ｅｒ）や２つの口角（例えば図７に示す左の口角Ｍｌ、右の口角Ｍｒ）等の顔構成部や、これらの構成部をそれぞれ１つ以上含む顔画像の領域が挙げられる。

また、特定部１１ａは、取得された顔画像から、組をなす２つの対応する領域として、組をなす２つの対応する顔構成部を特定する。
例えば、特定部１１ａは、顔画像において組をなす２つの対応する顔構成部として、両目（例えば図７に示す左目Ｅｌ、右目Ｅｒ）を特定する。例えば、特定部１１ａは、顔画像に存在する黒目や白目を特定することで両目（２つの目）を特定する。この場合、特定部１１ａは、黒目や白目とその周囲の顔画像の領域との画素値、明るさ等の差に基づいて目を特定する。
また、特定部１１ａは、目の大きさに関する情報を取得する。例えば、特定部１１ａは、２つの目のそれぞれの黒目のＹ方向に沿った連続する画素数を取得する。

また、特定部１１ａは、顔画像において組をなす２つの対応する顔構成部として、顔画像に存在する２つの口角（例えば図７に示す左の口角Ｍｌ、右の口角Ｍｒ）を特定する。例えば、特定部１１ａは、口角とその周囲の顔画像の領域との画素値、明るさ等の差に基づいて口角を特定する。
ここで、特定部１１ａは、顔画像において組をなす２つの対応する顔構成部をそれぞれ特定する顔構成部特定手段を構成している。

なお、便宜上、図７に示す顔画像において存在する２つの目のうち、向かって左に位置する目を左目Ｅｌとし、向かって右に存在する目を右目Ｅｒとしている。左目Ｅｌは、被写体にとっての右目であり、右目Ｅｒは、被写体にとっての左目である。
また、図７に示す顔画像において存在する２つの口角のうち、向かって左に位置する目を左の口角Ｍｌとし、向かって右に存在する口角を右の口角Ｍｒとしている。左の口角Ｍｌは、被写体にとっての右の口角であり、右の口角Ｍｒは、被写体にとっての左の口角である。

また、特定部１１ａは、２つの口角の位置に関する情報を取得する。図８に示す顔画像の場合、特定部１１ａは、２つの口角のＹ方向の座標（Ｙ１、Ｙ２）を取得する。
また、特定部１１ａは、２つの口角の位置に関する情報として、口の最下端の位置に関する情報を取得するここでいう「口の最下端」とは、顔画像の略中央部を所定方向に延在する中心線（例えば図８に示す線分Ｃ）に沿う方向側の口の端部であって、目に対して遠い方の端部である。図８に示す顔画像の場合、特定部１１ａは、図８に示す口の最下端の位置に関するＹ方向の座標（Ｙ３）を取得する。

比較部１１ｂは、特定部１１ａにより特定された、顔画像に存在する組をなす２つの対応する顔構成部どうしを比較し、予め定められた条件に基づいた判定結果を出力する。
例えば、比較部１１ｂは、特定部１１ａにより組をなす２つの対応する顔構成部として特定された、２つの目の大きさを比較する。具体的には、例えば、比較部１１ｂは、特定部１１ａにより取得された２つの目のそれぞれの黒目のＹ方向に沿った連続する画素数を比較する。そして、比較部１１ｂは、当該画素数が相対的に大きい方の目を特定する。また、比較部１１ｂは、２つの目の大きさの比率を取得する。例えば、比較部１１ｂは、２つの目のそれぞれの黒目のＹ方向に沿った連続する画素数の比率を算出し、２つの目の大きさの比率とする。

本実施形態では、目の大きさを黒目のＹ方向に沿った連続する画素数に基づいて比較、特定しているが、他の方法で目の大きさを比較してもよい。例えば、２つの目のそれぞれの白目のＸ方向に沿った連続する画素数の最大値に基づいてもよいし、黒目のＹ方向に沿った連続する画素数及び２つの目のそれぞれの白目のＸ方向に沿った連続する画素数の両方に基づいて総合的に目の大きさを比較、判定してもよいし、２つの目のそれぞれの黒目や白目を構成する画素数を比較するようにしてもよい。

また、比較部１１ｂは、特定部１１ａにより組をなす２つの対応する顔構成部として特定された、２つの口角の位置を比較する。例えば、比較部１１ｂは、口の最下端の位置に関する情報として取得されたＹ方向の座標が示す位置に対する口角の位置として取得されたＹ方向の座標の座標が示す位置を、口角の位置として、２つの口角のそれぞれについて算出する。そして、比較部１１ｂは、２つの口角のそれぞれについて算出された口角の位置を比較し、口角の位置が高い口角がどちらであるかを判定する。そして、比較部１１ｂは、口角の位置が高い口角を特定する。

補正部１１ｃは、特定部１１ａにより特定された顔画像の２つの領域のうち、一方の領域を基準として他方の領域を補正した顔画像を生成する。
図８は、補正後の顔画像の画像データの一例を示す。図８では、目の大きさの補正結果について明確にするため、図７において網掛けされた黒目の部分の網掛けを省略している。
具体的には、補正部１１ｃは、特定部１１ａにより特定された、顔画像の２つの顔構成部のうち、一方の顔構成部を基準として他方の顔構成部を補正する。例えば、補正部１１ｃは、一方の目を基準として他方の目を補正する。

図８に示す例では、一方の目（図７、図８に示す左目Ｅｌ）に基づいて他方の目（図７に示す右目Ｅｒ）の画像領域の大きさを補正しており、補正後の他方の目を右目Ｅｒ２として示している。具体的には、補正部１１ｃは、比較部１１ｂにより大きい方の目として特定された目を一方の目とし、当該一方の目より小さい他方の目の大きさを当該一方の目の大きさとほぼ同一になるように拡大補正している。ここで、補正部１１ｃは、比較部１１ｂにより算出された２つの目のそれぞれの黒目のＹ方向に沿った連続する画素数の比率に基づいて、２つの目のＹ方向に沿った幅方向の大きさがほぼ同一になるように補正する。
また、例えば、補正部１１ｃは、一方の口角を基準として他方の口角を補正する。
図８に示す例では、比較部１１ｂにより口角の位置が高い口角として特定された口角（図７、図８に示す左の口角Ｍｌ）を一方の口角とし、他方の口角（図７に示す右の口角Ｍｒ）のＹ方向の座標を一方の口角のＹ方向の座標に合わせるように補正しており、補正後の他方の口角を右の口角Ｍｒ２として示している。
ここで、補正部１１ｃは、特定部１１ａにより特定された顔画像の２つの対応する領域のうち、一方の領域を基準として他方の領域を補正した顔画像を生成する補正手段を構成している。

補正基準決定部１１ｄは、補正部１１ｃによる補正において補正の基準となる顔構成部を、所定条件に基づいて決定する。
例えば、所定条件として、「比較部１１ｂにより大きい方の目と特定された目を、補正の基準とする一方の目とする」を用いる場合、補正基準決定部１１ｄは、比較部１１ｂによる特定結果の入力を受け、補正の基準となる一方の目を決定する。
同様に、例えば、所定条件として、「比較部１１ｂにより口角の位置が高い口角として特定された口角を、補正の基準とする一方の口角とする」を用いる場合、補正基準決定部１１ｄは、比較部１１ｂによる特定結果の入力を受け、補正の基準となる一方の口角を決定する。
ここで、補正基準決定部１１ｄは、補正部１１ｃによる補正の基準となる一方の顔構成部を、所定条件に基づいて決定する補正基準決定手段を構成している。

補正実行決定部１１ｅは、操作入力部９の決定ボタン９ｃ、取消ボタン９ｄにより受け付けられた選択入力の内容に基づいて補正部１１ｃによる補正結果を保存するか否かを決定する。具体的には、表示制御部７により表示部８に表示された補正結果を保存するか否かを選択するための保存可否確認表示に対して決定ボタン９ｃが操作された場合、補正実行決定部１１ｅは、表示された補正結果に対応する画像データを画像処理部のＪＰＥＧ圧縮部に出力する。これによって、補正部１１ｃによる補正が施された顔画像の画像データが記録媒体６に記録される。一方、表示された補正結果を保存するか否かを選択するためのダイアログ表示に対して取消ボタン９ｄが操作された場合、補正実行決定部１１ｅは、表示された補正結果を破棄する。

次に、撮像装置１００による画像処理方法について、図２〜図６を参照して説明する。
図２は、撮像処理の流れの一例を示すフローチャートである。
まず、レンズ部１が被写体（例えば顔Ｆ；図７参照）にフォーカスを合わせるよう動作し、撮像制御部３の制御のもとで電子撮像部２が被写体を撮像して画像データを生成する（ステップＳ１）。その後、顔画像処理部１１の特定部１１ａは、ステップＳ１の処理により取得された画像データから顔画像を検出する（ステップＳ２）。そして、顔画像処理部１１は、顔画像に対して補正処理を行う（ステップＳ３）

ここで、補正処理について、図３のフローチャートを用いて説明する。
まず、特定部１１ａが、領域特定処理を行う（ステップＳ１１）。

ここで、領域特定処理について、図４を用いて説明する。
領域特定処理において、特定部１１ａは、顔画像の画像フレーム内から２つの目に相当する顔構成部を検出する（ステップＳ３１）。また、特定部１１ａは、２つの目のそれぞれの黒目の中心の座標を検出する（ステップＳ３２）。そして、特定部１１ａは、２つの黒目の中心の座標を結ぶ線分の中間点に略直交する線分（例えば図８に示す線分Ｃ）の軌跡を算出し、当該線分を顔画像の略中央部を所定方向に延在する中心線とする（ステップＳ３３）。特定部１１ａは、当該中心線を基準として顔画像を左右の領域（例えば図８に示す領域Ｆ１、Ｆ２）に分ける（ステップＳ３４）。以上で、領域特定処理が終了する。

領域特定処理の後、特定部１１ａは更に、左右の２つの領域の各々に共に存在する顔構成部（例えば２つの目及び２つの口角）を特定する（ステップＳ１２）。特定部１１ａは、例えば目や口とその周囲の顔画像の領域との画素値、明るさ等の差に基づいて目や口を特定する。また、特定部１１ａは、２つの目の大きさに関する情報及び２つの口角の位置に関する情報を示す座標を取得する（ステップＳ１３）。特定部１１ａは、例えば、２つの目のそれぞれの黒目のＹ方向に沿った連続する画素数を取得する。また、特定部１１ａは、例えば、２つの口角のＹ方向の座標（Ｙ１、Ｙ２）と、図８に示す口の最下端の位置に関するＹ方向の座標（Ｙ３）と、を取得する（図８を参照）。
ステップＳ１３の処理後、顔画像処理部１１は、目の補正処理を行う（ステップＳ１４）。

ここで、目の補正処理について、図５を用いて説明する。
比較部１１ｂは、ステップＳ１３の処理により取得された２つの目の大きさに関する情報に基づいて２つの目の大きさを比較する（ステップＳ４１）。そして、比較部１１ｂは、大きい方の目を特定する（ステップＳ４２）。具体的には、例えば、比較部１１ｂは、２つの目のそれぞれの黒目のＹ方向に沿った連続する画素数を比較する。そして、比較部１１ｂは、当該画素数が相対的に大きい方の目を特定する。
また、比較部１１ｂは、２つの目の大きさの比率を取得する（ステップＳ４３）。例えば、比較部１１ｂは、２つの目のそれぞれの黒目のＹ方向に沿った連続する画素数の比率を算出し、２つの目の大きさの比率とする。
ステップＳ４３の処理後、補正部１１ｃは、ステップＳ４３の処理により比較部１１ｂにより算出された２つの目の大きさの比率に基づいて、ステップＳ４２の処理により大きい方の目として特定された一方の目の幅方向の大きさと、他方の目の幅方向の大きさとがほぼ同一になるように、他方の目、即ち小さい方の目を大きくするように補正する（ステップＳ４４）（図８を参照）。以上で目の補正処理が終了する。
目の補正処理後、顔画像処理部１１は、口角の補正処理を行う（ステップＳ１５）。

ここで、口角の補正処理について、図６を用いて説明する。
比較部１１ｂは、ステップＳ１３の処理により取得された２つの口角の位置に関する情報に基づいて、２つの口角の位置をそれぞれ算出する（ステップＳ５１）。そして、比較部１１ｂは、２つの口角の位置を比較し（ステップＳ５２）、口角の位置が高い口角を特定する（ステップＳ５３）。
ステップＳ５３の処理後、補正部１１ｃは、ステップＳ５３の処理により口角の位置が高い口角として特定された口角を一方の口角とし、他方の口角の位置を一方の口角の位置に合わせるように補正する（ステップＳ５４）（図８を参照）。以上で、口角の補正処理が終了する。

口角の補正処理後、表示制御部７が補正部１１ｃによる補正結果を表示する（ステップＳ１６）。また、表示制御部７が、表示された補正結果を保存するか否かを選択するための保存可否確認表示を行う（ステップＳ１７）。その後、ＣＰＵ１０は、ステップＳ１７の処理により表示された保存可否確認表示に対して操作入力部９の決定ボタン９ｃ又は取消ボタン９ｄに対する入力操作がなされるまで待機する（ステップＳ１８；ＮＯ）。

補正実行決定部１１ｅは、ステップＳ１７の処理による保存可否確認表示に対して操作入力部９の決定ボタン９ｃ又は取消ボタン９ｄに対する入力操作がなされると（ステップＳ１８；ＹＥＳ）、補正実行決定部１１ｅは、操作入力部９の決定ボタン９ｃに対する入力操作がなされたか否か判定する（ステップＳ１９）。操作入力部９の決定ボタン９ｃに対する入力操作がなされた場合（ステップＳ１９；ＹＥＳ）、補正実行決定部１１ｅは、表示された補正結果に対応する画像データを画像処理部のＪＰＥＧ圧縮部に出力する（ステップＳ２０）。一方、ステップＳ１９の判定において、操作入力部９の決定ボタン９ｃに対する入力操作がなされていない場合（ステップＳ１９；ＮＯ）即ち取消ボタン９ｄが操作された場合、補正実行決定部１１ｅは、表示された補正結果を破棄し（ステップＳ２１）、補正前の顔画像の画像データを画像処理部のＪＰＥＧ圧縮部に出力する。ステップＳ２０又はステップＳ２１の処理後、補正処理が終了する。

補正処理の終了後、記録媒体６が、画像処理部のＪＰＥＧ圧縮部により符号化された画像データを記録する（ステップＳ４）。以上で処理が終了する。
図２のフローチャートでは、ステップＳ１の処理による顔画像の撮像により取得された顔画像に対する補正処理について記載しているが、補正処理は顔画像の撮像時に限らず行うことができる。例えば、記録媒体６に既に記憶されている顔画像の画像データに対して補正処理を施すこともできる。
また、図２のフローチャートでは、撮像された顔画像の画像データに対して自動的に補正処理が行われているが、撮像後すぐに顔画像の補正を自動的に行うか否かを予め設定することができるようにしてもよい。例えば、撮像前に、撮像後すぐに顔画像の補正を自動的に行うか否かの設定を操作入力部９の決定ボタン９ｃ又は取消ボタン９ｄに対する入力操作等に基づいて決定する等の方法が挙げられる。決定された、撮像後すぐに顔画像の補正を自動的に行うか否かの設定を、記録媒体６等の記憶装置に記録、保持させるようにしてもよい。

以上のように、本実施形態の撮像装置１００によれば、レンズ部１、電子撮像部２及び撮像制御部３が顔画像を取得し、顔画像処理部１１の特定部１１ａが組をなす２つの対応する領域を特定し、特定された顔画像の２つの領域のうち、顔画像処理部１１の補正部１１ｃが一方の領域を基準として他方の領域を補正した顔画像を生成する。
つまり、顔画像の一方の領域は、何ら補正を施していない自然な状態の顔画像であるので、一方の領域を基準として他方の領域を補正することで、補正が施された他方の領域の補正結果も自然な印象とすることができる。このように、撮像装置１００によれば、より自然な画像処理を顔画像に施すことができる。

また、特定部１１ａが、組をなす２つの対応する顔構成部（例えば目や口角等）をそれぞれ特定し、補正部１１ｃが、特定された２つの顔構成部のうち、一方の顔構成部を基準として他方の顔構成部を補正する。
これによって、顔画像の２つの領域のうち一の領域（他方の領域）全体を補正せずとも、顔構成部を補正することで顔画像に対して補正を行うことができる。このため、顔画像の一の領域を補正する場合に比して補正に係る処理負荷を軽減することができる。また、顔画像の顔構成部に補正を行うことで、顔画像に対して局所的な補正を施すことができる。
また、特定部１１ａが、２つの顔構成部として顔画像の２つの領域の各々に共に存在する目をそれぞれ特定し、補正部１１ｃが、特定された２つの目のうち、一方の目を基準として他方の目を補正する。
これによって、顔画像の目（他方の目）を、一方の目に基づいて補正することができるので、目に対する補正結果を自然な印象とすることができる。
また、補正基準決定部１１ｄが、２つの目のうち、大きい方の目を補正の基準とする一方の目とし、補正部１１ｃが、一方の目の大きさに基づいて他方の目の大きさを補正することによって、相対的に小さい他方の目の大きさを相対的に大きい一方の目に合わせることができる。一般的に、目の大きい顔画像は、表情豊かで明るい印象を与えるので、大きい方の目に基づいて小さい方の目を補正することにより、補正を施さない場合に比して顔画像を表情豊かで明るい印象とし、美しく見せることができる。
また、特定部１１ａが、２つの顔構成部として顔画像の２つの領域の各々に共に存在する口角をそれぞれ特定し、補正部１１ｃが、特定された２つの口角のうち、一方の口角に基づいて他方の口角を補正する。
これによって、顔画像の口角（他方の口角）を、一方の口角に基づいて補正することができるので、口角に対する補正結果を自然な印象とすることができる。

また、補正基準決定部１１ｄが、組をなす２つの対応する領域のうち、補正部１１ｃによる補正の基準となる一方の領域を、所定条件に基づいて決定する。
これによって、補正の基準となる一方の領域を容易に決定することができる。
例えば、上記実施形態において示した「比較部１１ｂにより大きい方の目と特定された目を、補正の基準とする一方の目とする」とする所定条件や「比較部１１ｂにより口角の位置が高い口角として特定された口角を、補正の基準とする一方の口角とする」とする所定条件を用いることにより、補正の基準となる目や口角を自動的に決定することができる。この場合、顔画像の補正処理を自動化することができるので、ユーザに煩雑な操作を行わせることなく顔画像の補正処理を行うことができる。

また、表示制御部７が、顔画像処理部１１の補正部１１ｃによる補正結果を表示部８に表示させる。そして、補正実行決定部１１ｅが、操作入力部９の決定ボタン９ｃ、取消ボタン９ｄにより受け付けられた選択入力の内容に基づいて補正部１１ｃによる補正を保存するか否かを決定する。
これによって、ユーザは、顔画像の補正結果を確認した上で、顔画像に補正を施すか否かを意思決定することができる。

なお、撮像装置１００、１００Ａの構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。

＜変形例＞
図９は、変形例の撮像装置１００Ａを示す図である。
変形例の操作入力部９は、更に、補正を行う顔構成部の指定入力に係る選択ボタン９ｅを具備する。
補正部１１ｃは、操作入力部９の選択ボタン９ｅを介して行われた指定入力の内容に基づいて補正する顔構成部を決定する。
具体的には、特定部１１ａにより特定された２つ以上の組をなす２つの対応する顔構成部、即ち２種類以上の、組をなす２つの対応する顔構成部（例えば目と口等）について、操作入力部９の選択ボタン９ｅが、補正部１１ｃによる補正を行う顔構成部の種類の指定入力を受け付ける。このとき、表示部８により補正する顔画像の表示を行い、ユーザが顔画像を確認した上で補正を行う顔構成部の種類を決定できるようにしてもよい。
ここで、操作入力部９の選択ボタン９ｅは、特定部１１ａにより特定された２つ以上の組をなす２つの対応する顔構成部のうち、補正部１１ｃによる補正を行う顔構成部の指定入力を受け付ける補正対象指定受付手段を構成している。

変形例の補正処理について、図１０、図１１のフローチャートを用いて説明する。
まず、特定部１１ａが、領域特定処理を行う（ステップＳ６１）。
領域特定処理の後、特定部１１ａは、２つの領域の各々に共に存在する顔構成部（例えば２つの目及び２つの口角）を特定する（ステップＳ６２）。特定部１１ａは、例えば目や口とその周囲の顔画像の領域との画素値、明るさ等の差に基づいて目や口を特定する。また、特定部１１ａは、２つの目の大きさに関する情報ならびに口の最下端の位置に関する情報及び２つの口角の位置に関する情報を示す座標を取得する（ステップＳ６３）。特定部１１ａは、例えば、２つの目のそれぞれの黒目のＹ方向に沿った連続する画素数を２つの目の大きさに関する情報として取得する。また、特定部１１ａは、例えば、図８に示す口の最下端の位置に関するＹ方向の座標（Ｙ３）と、２つの口角のＹ方向の座標（Ｙ１、Ｙ２）を口の最下端の位置に関する情報及び口角の位置に関する情報として取得する。

ステップＳ６３の処理後、顔画像処理部１１は、特定部１１ａにより特定された２種類の顔構成部（目と口角）について、操作入力部９の選択ボタン９ｅが、補正部１１ｃによる補正を行う顔構成部の種類の指定入力を受け付けるまで待機する（ステップＳ６４；ＮＯ）。選択ボタン９ｅが、補正部１１ｃによる補正を行う顔構成部の種類の指定入力を受け付けると（ステップＳ６４；ＹＥＳ）、ＣＰＵ１０は、目が補正対象として指定されているか否かを判定する（ステップＳ６５）。目が補正対象として指定されている場合（ステップＳ６５；ＹＥＳ）、顔画像処理部１１は、目の補正処理を行う（ステップＳ６６）。

目の補正処理後又はステップＳ６５の判定において目が補正対象として指定されていない場合（ステップＳ６５；ＮＯ）、ＣＰＵ１０は、口角が補正対象として指定されているか否かを判定する（ステップＳ６７）。口角が補正対象として指定されている場合（ステップＳ６７；ＹＥＳ）、顔画像処理部１１は、口角の補正処理を行う（ステップＳ６８）。

口角の補正処理後又はステップＳ６７の判定において口角が補正対象として指定されていない場合（ステップＳ６７；ＮＯ）、ＣＰＵ１０は、何れかの顔構成部に対して補正部１１ｃによる補正が行われているか否か判定する（ステップＳ６９）。何れの顔構成部に対しても補正部１１ｃによる補正が行われていない場合（ステップＳ６９；ＮＯ）、補正実行決定部１１ｅは、顔画像の画像データを画像処理部のＪＰＥＧ圧縮部に出力し、補正処理を終了する。

ステップＳ６９の判定において、何れかの顔構成部に対して補正部１１ｃによる補正が行われている場合（ステップＳ６９；ＹＥＳ）、表示制御部７が補正部１１ｃによる補正結果を表示する（ステップＳ７０）。また、表示制御部７が、表示された補正結果を保存するか否かを選択するための保存可否確認表示を行う（ステップＳ７１）。その後、ＣＰＵ１０は、ステップＳ７１の処理により表示された保存可否確認表示に対して操作入力部９の決定ボタン９ｃ又は取消ボタン９ｄに対する入力操作がなされるまで待機する（ステップＳ７２；ＮＯ）。

ステップＳ７１の処理による保存可否確認表示に対して、操作入力部９の決定ボタン９ｃ又は取消ボタン９ｄに対する入力操作がなされると（ステップＳ７２；ＹＥＳ）、補正実行決定部１１ｅは、操作入力部９の決定ボタン９ｃに対する入力操作がなされたか否か判定する（ステップＳ７３）。操作入力部９の決定ボタン９ｃに対する入力操作がなされた場合（ステップＳ７３；ＹＥＳ）、補正実行決定部１１ｅは、表示された補正結果に対応する画像データを画像処理部のＪＰＥＧ圧縮部に出力する（ステップＳ７４）。一方、ステップＳ７３の判定において、操作入力部９の決定ボタン９ｃに対する入力操作がなされていない場合（ステップＳ７３；ＮＯ）即ち取消ボタン９ｄが操作された場合、補正実行決定部１１ｅは、表示された補正結果を破棄し（ステップＳ７５）、補正前の顔画像の画像データを画像処理部のＪＰＥＧ圧縮部に出力する。ステップＳ７４又はステップＳ７５の処理後、補正処理が終了する。

以上、変形例によれば、特定部１１ａにより特定された２種類以上の顔構成部のうち、補正部１１ｃによる補正を行う顔構成部を選択ボタン９ｅに対するユーザの入力操作内容に応じて決定する。
これによって、ユーザの希望による顔構成部に対して補正を行うことができ、ユーザの所望する顔画像の補正結果をより容易に得られる。

他の変形例として、補正基準決定部１１ｄに、ユーザの選択結果に応じて補正の基準となる領域を決定する機能を持たせてもよい。この場合、例えば、表示制御部７が、電子撮像部２及び撮像制御部３により取得された顔画像を表示部８に表示させる。そして、表示部８に表示された顔画像の２つの領域（例えば２つの目や２つの口角等）に対して、どちらを補正の基準となる一方の領域とするかのユーザによる指定入力を、選択ボタン９ｅ等の操作入力部９に対する入力操作内容に基づいて受け付ける。補正基準決定部１１ｄは、受け付けられた指定入力内容に応じて補正の基準となる一方の領域を決定する。
補正の基準となる一方の目は、大きい方の目に限らず、小さい方の目でもよい。また、補正の基準となる一方の口角は、口角の位置が高い口角に限らず、口角の位置が低い口角でもよい。

補正基準決定部１１ｄに、ユーザの選択結果に応じて補正の基準となる領域を決定する機能を持たせる場合、ユーザにより選択された補正の基準とする一方の領域に関する情報を記録媒体６に記録させるようにしてもよい。このとき、ユーザ名と当該ユーザの選択結果とを対応付け、以後そのユーザが撮像装置１００、１００Ａを用いる場合にユーザ名を指定又は選択することによりそのユーザ名に対応付けられた選択結果を読み出せるようにしてもよい。

補正基準決定部１１ｄに、ユーザの選択結果に応じて補正の基準となる領域を決定する機能を持たせることによって、ユーザは顔画像の２つの領域や、２つの領域にそれぞれ存在する顔構成部のうち、好みの一方の顔構成部を補正の基準として指定することができる。これによって、補正された他方の顔構成部がユーザの好みの一方の顔構成部に基づいて補正されるので、補正後の顔画像はユーザの好みに一層近づく。つまり、ユーザの所望する顔画像の補正結果をより容易に得られる。

本発明の画像処理装置は、撮像装置１００、１００Ａによるものに限らない。例えば、外部機器から顔画像の画像データを取得して顔画像に補正を施すようにしてもよい。

また、上記各実施形態では、目や口角を顔構成部の一例としているが、目や口角以外の顔構成部（例えば眉等）を特定し、補正してもよい。
また、 顔画像の補正は、目の大きさの補正や口角の位置の補正に限らない。例えば、目や口等の顔構成部の形状や色、また顔画像の２つの領域の形状や色等の補正を行ってもよい。また、３つ以上の領域を組とすることを妨げない。例えば、額の領域の肌の色に基づいて顔画像の他の領域（例えば両頬等）の肌の色を補正した顔画像を生成する等が挙げられる。
また、目や口角の特定方法は、上記各実施形態の記載内容に限らない。例えば、特定する顔構成部の輪郭を抽出する方法が挙げられる。また、抽出された輪郭内の画素のみを顔構成部としてもよいし、輪郭を含む方形状の領域を顔構成部としてもよい。
また、顔画像を左右に分けて、例えば左側の顔画像を基準にして右側の顔画像を補正するようにしてもよし、左右どちらかの顔画像を反転させた画像を生成して左右対称な顔画像を生成するように補正してもよい。
また、顔画像を二分する処理を省略し、特定部１１ａが組となる２つの対応する顔構成部を特定するようにしてもよい。

また、上記各実施形態では、補正部１１ｃによる補正結果の表示を行っているが、当該表示処理を省略して自動的に補正結果を保存するようにしてもよい。

また、顔画像の補正について、補正部１１ｃが互いに異なる複数の補正結果を生成し、当該複数の補正結果の各々を表示して示すようにしてもよい。そして、複数の補正結果に対してユーザにより選択された補正結果を保存するようにしてもよい。複数の補正結果を示す例として大きい方の目に基づいて小さい方の目を拡大補正した場合の補正結果と、小さい方の目に基づいて大きい方の目を縮小補正した場合の補正結果と、の両方を示す場合等が挙げられる。
互いに異なる複数の補正結果を生成し、保存する補正結果に選択肢を設けることで、ユーザにとってより好みの補正結果を反映しやすくなり、補正後の顔画像はユーザの好みに一層近づく。つまり、ユーザの所望する顔画像の補正結果をより容易に得られる。

顔画像の傾斜に応じて補正の度合いを変化させるようにしてもよい。例えば、被写体の顔の正面に対して右方向から顔画像を撮像した場合には、顔画像の右側の領域や顔構成部の大きさが左側の領域や顔構成部に比して大きくなるので、右方向から顔画像を撮像した状態の顔画像のバランスを取る補正を行うようにしてもよい。

加えて、上記実施形態にあっては、取得手段、領域特定手段、顔構成部特定手段、補正手段、としての機能を、ＣＰＵ１０の制御下にて、顔画像処理部１１が駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵ１０によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、領域特定処理ルーチン、顔構成部特定処理ルーチン、補正処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンによりＣＰＵ１０を、顔画像を取得する取得手段として機能させるようにしてもよい。また、領域特定処理ルーチンによりＣＰＵ１０を、取得手段により取得された顔画像において、組をなす２つの対応する領域を特定する領域特定手段として機能させるようにしても良い。また、顔構成部特定処理ルーチンによりＣＰＵ１０を、取得手段により取得された顔画像において、組をなす２つの対応する顔構成部を特定する顔構成部特定手段として機能させるようにしても良い。また、補正処理ルーチンによりＣＰＵ１０を、領域特定手段により特定された顔画像の２つの対応する領域又は顔構成部特定手段により特定された顔画像の２つの対応する顔構成部のうち、一方を基準として他方を補正した顔画像を生成する補正手段として機能させるようにしても良い。

１ レンズ部
２ 電子撮像部
３ 撮像制御部
４ 画像データ生成部
５ 画像メモリ
６ 記録媒体
７ 表示制御部
８ 表示部
９ 操作入力部
１０ ＣＰＵ
１１ 顔画像処理部
１１ａ特定部
１１ｂ比較部
１１ｃ補正部
１１ｄ補正基準決定部
１１ｅ補正実行決定部
１００撮像装置

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、顔画像を取得する取得手段と、この取得手段により取得された顔画像において、組をなす複数の対応する領域を特定する領域特定手段と、この領域特定手段により特定された前記顔画像の複数の対応する領域のうち、一の領域を基準として他の領域を補正した顔画像を生成する補正手段と、を備えたことを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記領域特定手段により特定された複数の対応する領域のうち、前記補正手段による補正の基準となる領域を、所定条件に基づいて決定する決定手段を更に備えることを特徴とする。

請求項３に記載の発明は、請求項２に記載の画像処理装置において、前記領域特定手段により特定された複数の対応する領域のうち、前記補正手段による補正の基準となる領域の指定入力を受け付ける補正基準指定受付手段を更に有し、前記決定手段は、前記補正基準指定受付手段により受け付けられた指定入力の内容に基づいて前記補正手段による補正の基準となる一の領域を決定することを特徴とする。

請求項４に記載の発明は、請求項１に記載の画像処理装置において、前記領域特定手段は、更に前記顔画像において組をなす複数の対応する顔構成部を特定し、前記補正手段は、前記領域特定手段によって特定された前記顔画像の複数の対応する顔構成部のうち、一の顔構成部を基準として他の顔構成部を補正した顔画像を生成することを特徴とする。

請求項５に記載の発明は、請求項４に記載の画像処理装置において、前記領域特定手段は、組をなす複数の対応する顔構成部として前記顔画像に存在する両目をそれぞれ特定し、前記補正手段は、前記領域特定手段により特定された両目のうち、一方の目を基準として他方の目を補正することを特徴とする。

請求項６に記載の発明は、請求項２に記載の画像処理装置において、前記領域特定手段は、組をなす複数の対応する領域として前記顔画像に存在する両目をそれぞれ特定し、前記決定手段は、前記領域特定手段により特定された両目のうち、大きい方の目を補正の基準とする目とし、前記補正手段は、前記決定手段により決定された前記基準とする目の大きさに基づいて他方の目の大きさを補正することを特徴とする。

請求項７に記載の発明は、請求項４に記載の画像処理装置において、前記領域特定手段は、組をなす複数の対応する顔構成部として前記顔画像に存在する２つの口角をそれぞれ特定し、前記補正手段は、前記領域特定手段により特定された２つの口角のうち、一方の口角に基づいて他方の口角を補正することを特徴とする。

請求項８に記載の発明は、請求項４に記載の画像処理装置において、前記領域特定手段により特定された２つ以上の組をなす複数の対応する顔構成部のうち、前記補正手段による補正を行う顔構成部の指定入力を受け付ける補正対象指定受付手段を更に有し、前記補正手段は、前記補正対象指定受付手段により受け付けられた指定入力の内容に基づいて補正すべき顔構成部を決定することを特徴とする。

請求項９に記載の発明の画像処理装置は、顔画像を取得する取得手段と、この取得手段により取得された顔画像において、組をなす複数の対応する顔構成部を特定する顔構成部特定手段と、この顔構成部特定手段により特定された前記顔画像の複数の対応する顔構成部のうち、一の顔構成部を基準として他の顔構成部を補正した顔画像を生成する補正手段と、を備えたことを特徴とする。

請求項１０に記載の発明の画像処理方法は、画像処理装置に、顔画像を取得する処理と、取得された顔画像において、組をなす複数の対応する領域を特定する処理と、特定された前記顔画像の複数の対応する領域のうち、一の領域を基準として他の領域を補正した顔画像を生成する処理と、を実行させることを特徴とする。

請求項１１に記載の発明の画像処理方法は、画像処理装置に、顔画像を取得する処理と、取得された顔画像において、組をなす複数の対応する顔構成部を特定する処理と、特定された前記顔画像の複数の対応する顔構成部のうち、一の顔構成部を基準として他の顔構成部を補正した顔画像を生成する処理と、を実行させることを特徴とする。

請求項１２に記載の発明のプログラムは、画像処理装置が備えるコンピュータを、顔画像を取得する取得手段、この取得手段により取得された顔画像において、組をなす複数の対応する領域を特定する領域特定手段、この領域特定手段により特定された前記顔画像の複数の対応する領域のうち、１つの領域を基準として他の領域を補正した顔画像を生成する補正手段、として機能させることを特徴とする。

請求項１３に記載の発明のプログラムは、画像処理装置が備えるコンピュータを、顔画像を取得する取得手段、この取得手段により取得された顔画像において、組をなす複数の対応する顔構成部を特定する顔構成部特定手段、この顔構成部特定手段により特定された前記顔画像の複数の対応する顔構成部のうち、一の顔構成部を基準として他の顔構成部を補正した顔画像を生成する補正手段、として機能させることを特徴とする。

図１は、本発明を適用した一実施形態の画像処理装置として機能する撮像装置１００を示す図である。
画像処理装置として機能する撮像装置１００は、顔画像の画像データを取得し、取得した顔画像の略中央部を所定方向に延在する中心線を基準として複数の領域を特定し、特定された顔画像の複数の領域のうち、一の領域を基準として他の領域を補正する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、記録媒体６と、表示制御部７と、表示部８と、操作入力部９と、ＣＰＵ１０と、顔画像処理部１１と、を備えている。
また、撮像制御部３と、ＣＰＵ１０は、顔画像処理部１１と、例えば、カスタムＬＳＩ１Ａとして設計されている。

また、特定部１１ａは、レンズ部１、電子撮像部２及び撮像制御部３により取得された顔画像の略中央部を所定方向に延在する中心線を基準として複数の領域を特定する。
具体的には、特定部１１ａは、顔画像の画像フレーム内から２つの目に相当する顔構成部を検出する。また、特定部１１ａは、２つの目のそれぞれの瞳の中心の座標（例えば図８に示す座標（Ｘａ，Ｙａ）及び座標（Ｘｂ，Ｙｂ）等）を検出する。ここでいう座標とは、顔画像の画像データの所定位置を原点として、画像領域に対して互いに直行する所定の２方向（例えば図８に示すＸ方向及びＹ方向）に基づいて表される原点（例えば図８に示す原点Ｏ）に対する位置情報である。２つの目のそれぞれの瞳の中心の座標を検出すると、特定部１１ａは、検出された２つの目のそれぞれの瞳の中心の座標の中間点を通り、かつ、検出された２つの目のそれぞれの瞳の中心の座標を結ぶ線分に略直交するように延在する線分（例えば図８に示す線分Ｃ）の軌跡を算出し、当該線分を顔画像の略中央部を所定方向に延在する中心線とする。特定部１１ａは、当該線分を基準として分かたれた顔画像の２つの領域（例えば図８に示す領域Ｆ１、Ｆ２）を特定する。
ここでいう「組」とは、共通の構成又は共通の構成を含む２つの領域をさす。例えば、２つの目（例えば図７に示す左目Ｅｌ、右目Ｅｒ）や２つの口角（例えば図７に示す左の口角Ｍｌ、右の口角Ｍｒ）等の顔構成部や、これらの構成部をそれぞれ１つ以上含む顔画像の領域が挙げられる。

また、特定部１１ａは、取得された顔画像から、組をなす複数の対応する領域として、組をなす複数の対応する顔構成部を特定する。
例えば、特定部１１ａは、顔画像において組をなす複数の対応する顔構成部として、両目（例えば図７に示す左目Ｅｌ、右目Ｅｒ）を特定する。例えば、特定部１１ａは、顔画像に存在する瞳や白目を特定することで両目（２つの目）を特定する。この場合、特定部１１ａは、瞳や白目とその周囲の顔画像の領域との画素値、明るさ等の差に基づいて目を特定する。
また、特定部１１ａは、目の大きさに関する情報を取得する。例えば、特定部１１ａは、２つの目のそれぞれの瞳のＹ方向に沿った連続する画素数を取得する。

また、特定部１１ａは、顔画像において組をなす複数の対応する顔構成部として、顔画像に存在する２つの口角（例えば図７に示す左の口角Ｍｌ、右の口角Ｍｒ）を特定する。例えば、特定部１１ａは、顔画像の領域の画素値、明るさ等の差に基づいて口角を特定する。

比較部１１ｂは、特定部１１ａにより特定された、顔画像に存在する組をなす複数の対応する顔構成部どうしを比較し、予め定められた条件に基づいた判定結果を出力する。
例えば、比較部１１ｂは、特定部１１ａにより組をなす複数の対応する顔構成部として特定された、２つの目の大きさを比較する。具体的には、例えば、比較部１１ｂは、特定部１１ａにより取得された２つの目のそれぞれの瞳のＹ方向に沿った連続する画素数を比較する。そして、比較部１１ｂは、当該画素数が相対的に大きい方の目を特定する。また、比較部１１ｂは、２つの目の大きさの比率を取得する。例えば、比較部１１ｂは、２つの目のそれぞれの瞳のＹ方向に沿った連続する画素数の比率を算出し、２つの目の大きさの比率とする。

本実施形態では、目の大きさを瞳のＹ方向に沿った連続する画素数に基づいて比較、特定しているが、他の方法で目の大きさを比較してもよい。例えば、２つの目のそれぞれの白目のＸ方向に沿った連続する画素数の最大値に基づいてもよいし、瞳のＹ方向に沿った連続する画素数及び２つの目のそれぞれの白目のＸ方向に沿った連続する画素数の両方に基づいて総合的に目の大きさを比較、判定してもよいし、２つの目のそれぞれの瞳や白目を構成する画素数を比較するようにしてもよい。

また、比較部１１ｂは、特定部１１ａにより組をなす複数の対応する顔構成部として特定された、２つの口角の位置を比較する。例えば、比較部１１ｂは、口の最下端の位置に関する情報として取得されたＹ方向の座標が示す位置に対する口角の位置として取得されたＹ方向の座標の座標が示す位置を、口角の位置として、２つの口角のそれぞれについて算出する。そして、比較部１１ｂは、２つの口角のそれぞれについて算出された口角の位置を比較し、口角の位置が高いほうの口角がどちらであるかを判定する。そして、比較部１１ｂは、２つの口角のうち位置が高いほうの口角を特定する。

補正部１１ｃは、特定部１１ａにより特定された顔画像の複数の領域のうち、一の領域を基準として他の領域を補正した顔画像を生成する。
図８は、補正後の顔画像の画像データの一例を示す。図８では、目の大きさの補正結果について明確にするため、図７において網掛けされた瞳の部分の網掛けを省略している。
具体的には、補正部１１ｃは、特定部１１ａにより特定された、顔画像の複数の顔構成部のうち、一の顔構成部を基準として他の顔構成部を補正する。例えば、補正部１１ｃは、一方の目を基準として他方の目を補正する。

図８に示す例では、一方の目（図７、図８に示す左目Ｅｌ）に基づいて他方の目（図７に示す右目Ｅｒ）の画像領域の大きさを補正しており、補正後の他方の目を右目Ｅｒ２として示している。具体的には、補正部１１ｃは、比較部１１ｂにより大きい方の目として特定された目を一方の目とし、当該一方の目より小さい他方の目の大きさを当該一方の目の大きさとほぼ同一になるように拡大補正している。ここで、補正部１１ｃは、比較部１１ｂにより算出された２つの目のそれぞれの瞳のＹ方向に沿った連続する画素数の比率に基づいて、２つの目のＹ方向に沿った幅方向の大きさがほぼ同一になるように補正する。
また、例えば、補正部１１ｃは、一方の口角を基準として他方の口角を補正する。
図８に示す例では、比較部１１ｂにより口角の位置が高いほうの口角として特定された口角（図７、図８に示す左の口角Ｍｌ）を一方の口角とし、他方の口角（図７に示す右の口角Ｍｒ）のＹ方向の座標を一方の口角のＹ方向の座標に合わせるように補正しており、補正後の他方の口角を右の口角Ｍｒ２として示している。

ここで、領域特定処理について、図４を用いて説明する。
領域特定処理において、特定部１１ａは、顔画像の画像フレーム内から２つの目に相当する顔構成部を検出する（ステップＳ３１）。また、特定部１１ａは、２つの目のそれぞれの瞳の中心の座標を検出する（ステップＳ３２）。そして、特定部１１ａは、２つの瞳の中心の座標を結ぶ線分の中間点に略直交する線分（例えば図８に示す線分Ｃ）の軌跡を算出し、当該線分を顔画像の略中央部を所定方向に延在する中心線とする（ステップＳ３３）。特定部１１ａは、当該中心線を基準として顔画像を左右の領域（例えば図８に示す領域Ｆ１、Ｆ２）に分ける（ステップＳ３４）。以上で、領域特定処理が終了する。

領域特定処理の後、特定部１１ａは更に、左右の２つの領域の各々に共に存在する顔構成部（例えば２つの目及び２つの口角）を特定する（ステップＳ１２）。特定部１１ａは、例えば目や口とその周囲の顔画像の領域との画素値、明るさ等の差に基づいて目や口を特定する。また、特定部１１ａは、２つの目の大きさに関する情報及び２つの口角の位置に関する情報を示す座標を取得する（ステップＳ１３）。特定部１１ａは、例えば、２つの目のそれぞれの瞳のＹ方向に沿った連続する画素数を取得する。また、特定部１１ａは、例えば、２つの口角のＹ方向の座標（Ｙ１、Ｙ２）と、図８に示す口の最下端の位置に関するＹ方向の座標（Ｙ３）と、を取得する（図８を参照）。
ステップＳ１３の処理後、顔画像処理部１１は、目の補正処理を行う（ステップＳ１４）。

ここで、目の補正処理について、図５を用いて説明する。
比較部１１ｂは、ステップＳ１３の処理により取得された２つの目の大きさに関する情報に基づいて２つの目の大きさを比較する（ステップＳ４１）。そして、比較部１１ｂは、大きい方の目を特定する（ステップＳ４２）。具体的には、例えば、比較部１１ｂは、２つの目のそれぞれの瞳のＹ方向に沿った連続する画素数を比較する。そして、比較部１１ｂは、当該画素数が相対的に大きい方の目を特定する。
また、比較部１１ｂは、２つの目の大きさの比率を取得する（ステップＳ４３）。例えば、比較部１１ｂは、２つの目のそれぞれの瞳のＹ方向に沿った連続する画素数の比率を算出し、２つの目の大きさの比率とする。
ステップＳ４３の処理後、補正部１１ｃは、ステップＳ４３の処理により比較部１１ｂにより算出された２つの目の大きさの比率に基づいて、ステップＳ４２の処理により大きい方の目として特定された一方の目の幅方向の大きさと、他方の目の幅方向の大きさとがほぼ同一になるように、他方の目、即ち小さい方の目を大きくするように補正する（ステップＳ４４）（図８を参照）。以上で目の補正処理が終了する。
目の補正処理後、顔画像処理部１１は、口角の補正処理を行う（ステップＳ１５）。

以上のように、本実施形態の撮像装置１００によれば、レンズ部１、電子撮像部２及び撮像制御部３が顔画像を取得し、顔画像処理部１１の特定部１１ａが組をなす複数の対応する領域を特定し、特定された顔画像の複数の領域のうち、顔画像処理部１１の補正部１１ｃが一の領域を基準として他の領域を補正した顔画像を生成する。
つまり、顔画像の一の領域は、何ら補正を施していない自然な状態の顔画像であるので、一の領域を基準として他の領域を補正することで、補正が施された他の領域の補正結果も自然な印象とすることができる。このように、撮像装置１００によれば、より自然な画像処理を顔画像に施すことができる。

また、特定部１１ａが、組をなす複数の対応する顔構成部（例えば目や口角等）をそれぞれ特定し、補正部１１ｃが、特定された複数の顔構成部のうち、一の顔構成部を基準として他の顔構成部を補正する。
これによって、顔画像の顔画像領域全体を補正せずとも、顔構成部を補正することで顔画像に対して補正を行うことができる。このため、顔画像の一の領域を補正する場合に比して補正に係る処理負荷を軽減することができる。また、顔画像の顔構成部に補正を行うことで、顔画像に対して局所的な補正を施すことができる。
また、特定部１１ａが、複数の顔構成部として顔画像の２つの領域の各々に共に存在する目をそれぞれ特定し、補正部１１ｃが、特定された２つの目のうち、一方の目を基準として他方の目を補正する。
これによって、顔画像の目（他方の目）を、一方の目に基づいて補正することができるので、目に対する補正結果を自然な印象とすることができる。
また、補正基準決定部１１ｄが、２つの目のうち、大きい方の目を補正の基準とする一方の目とし、補正部１１ｃが、一方の目の大きさに基づいて他方の目の大きさを補正することによって、相対的に小さい他方の目の大きさを相対的に大きい一方の目に合わせることができる。一般的に、目の大きい顔画像は、表情豊かで明るい印象を与えるので、大きい方の目に基づいて小さい方の目を補正することにより、補正を施さない場合に比して顔画像を表情豊かで明るい印象とし、美しく見せることができる。
また、特定部１１ａが、２つの顔構成部として顔画像の２つの領域の各々に共に存在する口角をそれぞれ特定し、補正部１１ｃが、特定された２つの口角のうち、一方の口角に基づいて他方の口角を補正する。
これによって、顔画像の口角（他方の口角）を、一方の口角に基づいて補正することができるので、口角に対する補正結果を自然な印象とすることができる。

また、補正基準決定部１１ｄが、組をなす複数の対応する領域のうち、補正部１１ｃによる補正の基準となる一の領域を、所定条件に基づいて決定する。
これによって、補正の基準となる一の領域を容易に決定することができる。
例えば、上記実施形態において示した「比較部１１ｂにより大きい方の目と特定された目を、補正の基準とする一の目とする」とする所定条件や「比較部１１ｂにより口角の位置が高いほうの口角として特定された口角を、補正の基準とする一の口角とする」とする所定条件を用いることにより、補正の基準となる目や口角を自動的に決定することができる。この場合、顔画像の補正処理を自動化することができるので、ユーザに煩雑な操作を行わせることなく顔画像の補正処理を行うことができる。

＜変形例＞
図９は、変形例の撮像装置１００Ａを示す図である。
変形例の操作入力部９は、更に、補正を行う顔構成部の指定入力に係る選択ボタン９ｅを具備する。
補正部１１ｃは、操作入力部９の選択ボタン９ｅを介して行われた指定入力の内容に基づいて補正する顔構成部を決定する。
具体的には、特定部１１ａにより特定された２つ以上の組をなす複数の対応する顔構成部、即ち２種類以上の、組をなす複数の対応する顔構成部（例えば目と口等）について、操作入力部９の選択ボタン９ｅが、補正部１１ｃによる補正を行う顔構成部の種類の指定入力を受け付ける。このとき、表示部８により補正する顔画像の表示を行い、ユーザが顔画像を確認した上で補正を行う顔構成部の種類を決定できるようにしてもよい。

変形例の補正処理について、図１０、図１１のフローチャートを用いて説明する。
まず、特定部１１ａが、領域特定処理を行う（ステップＳ６１）。
領域特定処理の後、特定部１１ａは、２つの領域の各々に共に存在する顔構成部（例えば２つの目及び２つの口角）を特定する（ステップＳ６２）。特定部１１ａは、例えば目や口とその周囲の顔画像の領域との画素値、明るさ等の差に基づいて目や口を特定する。また、特定部１１ａは、２つの目の大きさに関する情報ならびに口の最下端の位置に関する情報及び２つの口角の位置に関する情報を示す座標を取得する（ステップＳ６３）。特定部１１ａは、例えば、２つの目のそれぞれの瞳のＹ方向に沿った連続する画素数を２つの目の大きさに関する情報として取得する。また、特定部１１ａは、例えば、図８に示す口の最下端の位置に関するＹ方向の座標（Ｙ３）と、２つの口角のＹ方向の座標（Ｙ１、Ｙ２）を口の最下端の位置に関する情報及び口角の位置に関する情報として取得する。

他の変形例として、補正基準決定部１１ｄに、ユーザの選択結果に応じて補正の基準となる領域を決定する機能を持たせてもよい。この場合、例えば、表示制御部７が、電子撮像部２及び撮像制御部３により取得された顔画像を表示部８に表示させる。そして、表示部８に表示された顔画像の２つの領域（例えば２つの目や２つの口角等）に対して、どちらを補正の基準となる一の領域とするかのユーザによる指定入力を、選択ボタン９ｅ等の操作入力部９に対する入力操作内容に基づいて受け付ける。補正基準決定部１１ｄは、受け付けられた指定入力内容に応じて補正の基準となる一の領域を決定する。
補正の基準となる一の目は、大きい方の目に限らず、小さい方の目でもよい。また、補正の基準となる一の口角は、口角の位置が高いほうの口角に限らず、口角の位置が低いほうの口角でもよい。

補正基準決定部１１ｄに、ユーザの選択結果に応じて補正の基準となる領域を決定する機能を持たせることによって、ユーザは顔画像の複数の領域や、複数の領域にそれぞれ存在する顔構成部のうち、好みの一の顔構成部を補正の基準として指定することができる。これによって、補正された他の顔構成部がユーザの好みの一の顔構成部に基づいて補正されるので、補正後の顔画像はユーザの好みに一層近づく。つまり、ユーザの所望する顔画像の補正結果をより容易に得られる。

加えて、上記実施形態にあっては、ＣＰＵ１０の制御下にて、顔画像処理部１１が駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵ１０によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、領域特定処理ルーチン、顔構成部特定処理ルーチン、補正処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンによりＣＰＵ１０を、顔画像を取得するように機能させてもよい。また、領域特定処理ルーチンによりＣＰＵ１０を、取得された顔画像において、組をなす複数の対応する領域を特定するように機能させても良い。また、顔構成部特定処理ルーチンによりＣＰＵ１０を、取得された顔画像において、組をなす複数の対応する顔構成部を特定するように機能させても良い。また、補正処理ルーチンによりＣＰＵ１０を、特定された顔画像の複数の対応する領域又は特定された顔画像の複数の対応する顔構成部のうち、一の顔講成部を基準として他を補正した顔画像を生成するように機能させても良い。

Claims (13)

1. 顔画像を取得する取得手段と、
   この取得手段により取得された顔画像において、組をなす２つの対応する領域を特定する領域特定手段と、
   この領域特定手段により特定された前記顔画像の２つの対応する領域のうち、一方の領域を基準として他方の領域を補正した顔画像を生成する補正手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記領域特定手段により特定された２つの対応する領域のうち、前記補正手段による補正の基準となる領域を、所定条件に基づいて決定する決定手段を更に備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記領域特定手段により特定された２つの対応する領域のうち、前記補正手段による補正の基準となる領域の指定入力を受け付ける補正基準指定受付手段を更に有し、
   前記決定手段は、前記補正基準指定受付手段により受け付けられた指定入力の内容に基づいて前記補正手段による補正の基準となる一方の領域を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記領域特定手段は、更に前記顔画像において組をなす２つの対応する顔構成部を特定し、
   前記補正手段は、前記領域特定手段によって特定された前記顔画像の２つの対応する顔構成部のうち、一方の顔構成部を基準として他方の顔構成部を補正した顔画像を生成することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記領域特定手段は、組をなす２つの対応する顔構成部として前記顔画像に存在する両目をそれぞれ特定し、
   前記補正手段は、前記領域特定手段により特定された両目のうち、一方の目を基準として他方の目を補正することを特徴とする請求項４に記載の画像処理装置。
6. 前記領域特定手段は、組をなす２つの対応する領域として前記顔画像に存在する両目をそれぞれ特定し、
   前記決定手段は、前記領域特定手段により特定された両目のうち、大きい方の目を補正の基準とする一方の目とし、
   前記補正手段は、前記決定手段により決定された前記一方の目の大きさに基づいて他方の目の大きさを補正することを特徴とする請求項２に記載の画像処理装置。
7. 前記領域特定手段は、組をなす２つの対応する顔構成部として前記顔画像に存在する２つの口角をそれぞれ特定し、
   前記補正手段は、前記領域特定手段により特定された２つの口角のうち、一方の口角に基づいて他方の口角を補正することを特徴とする請求項４に記載の画像処理装置。
8. 前記領域特定手段により特定された２つ以上の組をなす２つの対応する顔構成部のうち、前記補正手段による補正を行う顔構成部の指定入力を受け付ける補正対象指定受付手段を更に有し、
   前記補正手段は、前記補正対象指定受付手段により受け付けられた指定入力の内容に基づいて補正すべき顔構成部を決定することを特徴とする請求項４〜７の何れか一項に記載の画像処理装置。
9. 顔画像を取得する取得手段と、
   この取得手段により取得された顔画像において、組をなす２つの対応する顔構成部を特定する顔構成部特定手段と、
   この顔構成部特定手段により特定された前記顔画像の２つの対応する顔構成部のうち、一方の顔構成部を基準として他方の顔構成部を補正した顔画像を生成する補正手段と、
   を備えたことを特徴とする画像処理装置。
10. 画像処理装置に、
    顔画像を取得する処理と、
    取得された顔画像において、組をなす２つの対応する領域を特定する処理と、
    特定された前記顔画像の２つの対応する領域のうち、一方の領域を基準として他方の領域を補正した顔画像を生成する処理と、
    を実行させることを特徴とする画像処理方法。
11. 画像処理装置に、
    顔画像を取得する処理と、
    取得された顔画像において、組をなす２つの対応する顔構成部を特定する処理と、
    特定された前記顔画像の２つの対応する顔構成部のうち、一方の顔構成部を基準として他方の顔構成部を補正した顔画像を生成する処理と、
    を実行させることを特徴とする画像処理方法。
12. 画像処理装置が備えるコンピュータを、
    顔画像を取得する取得手段、
    この取得手段により取得された顔画像において、組をなす２つの対応する領域を特定する領域特定手段、
    この領域特定手段により特定された前記顔画像の２つの対応する領域のうち、一方の領域を基準として他方の領域を補正した顔画像を生成する補正手段、
    として機能させることを特徴とするプログラム。
13. 画像処理装置が備えるコンピュータを、
    顔画像を取得する取得手段、
    この取得手段により取得された顔画像において、組をなす２つの対応する顔構成部を特定する顔構成部特定手段、
    この顔構成部特定手段により特定された前記顔画像の２つの対応する顔構成部のうち、一方の顔構成部を基準として他方の顔構成部を補正した顔画像を生成する補正手段、
    として機能させることを特徴とするプログラム。

Images