JP2009123101A - 顔の画像の向きの推定 - Google Patents

Abstract

【課題】対象画像における顔の画像の向きを推定することを可能とする。
【解決手段】画像処理装置は、対象画像における顔の器官の画像を含む領域を器官領域として検出する器官領域検出部と、検出された器官領域に基づき対象画像における顔の画像の向きを推定する顔向き推定部とを備える。
【選択図】図６

Description

本発明は、画像における顔の画像の向きを推定する技術に関する。

デジタル画像を対象に、画像を変形するための画像処理技術が知られている（例えば特許文献１）。特許文献１には、顔の画像上の一部の領域（頬の画像を表す領域）を補正領域として設定し、補正領域を所定のパターンに従い複数の小領域に分割し、小領域毎に設定された倍率で画像を拡大または縮小することにより、顔の画像の形状を変形する画像処理が開示されている。

特開２００４−３１８２０４

上記従来の顔の画像の形状を変形する画像処理は、正面向きの顔の画像を対象とすることを想定しているため、顔の画像の向きが正面向きではなく左右振りや上下振りであった場合には、処理後の画像が不自然なものとなるおそれがある。従って、対象画像における顔の画像の向きを推定することは有用である。

なお、本明細書では、被写体の人物の顔が上を向いている画像の向きを「上振り」と呼び、被写体の人物の顔が下を向いている画像の向きを「下振り」と呼ぶ。また、被写体の人物の顔が画像の観察者側から見て右を向いている（すなわち人物が実際には左を向いている）画像の向きを「右振り」と呼び、被写体の人物の顔が画像の観察者側から見て左を向いている（すなわち人物が実際には右を向いている）画像の向きを「左振り」と呼ぶ。画像の向きが上振りまたは下振りであることを「上下振り」とも呼び、右振りまたは左振りであることを「左右振り」とも呼ぶ。

その他、例えば、対象画像における顔の画像を含む領域を設定する場合にも、対象画像における顔の画像の向きを推定することは有用である。

本発明は、上記の課題を解決するためになされたものであり、対象画像における顔の画像の向きを推定することを可能とする技術を提供することを目的とする。

上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。

［適用例１］画像処理装置であって、
対象画像における顔の器官の画像を含む領域を器官領域として検出する器官領域検出部と、
検出された前記器官領域に基づき、前記対象画像における顔の画像の向きを推定する顔向き推定部と、を備える、画像処理装置。

この画像処理装置では、対象画像における顔の器官の画像を含む領域を器官領域として検出し、検出された器官領域に基づき対象画像における顔の画像の向きを推定することができる。

［適用例２］適用例１に記載の画像処理装置であって、
前記器官領域検出部は、複数の前記器官領域を検出し、
前記顔向き推定部は、検出された前記器官領域間の位置と大きさとの少なくとも一方に関する関係に基づき、前記対象画像における顔の画像の向きを推定する、画像処理装置。

複数の器官領域間の位置関係や大きさの関係は、顔の画像の向きに応じて変化すると考えられるため、この画像処理装置では、複数の器官領域間の位置と大きさとの少なくとも一方に関する関係に基づき、対象画像における顔の画像の向きを推定することができる。

［適用例３］適用例１または適用例２に記載の画像処理装置であって、
前記顔向き推定部は、検出された前記器官領域に基づき、顔の画像の幅に相関のある指標としての参照幅と顔の画像の高さに相関のある指標としての参照高さとを算出し、前記参照幅と前記参照高さとの比に基づき、前記対象画像における顔の画像の向きを推定する、画像処理装置。

顔の画像の幅に相関のある参照幅と顔の画像の高さに相関のある参照高さとの比は、顔の画像の向きに応じて変化すると考えられるため、この画像処理装置では、参照幅と参照高さとの比に基づき、対象画像における顔の画像の向きを推定することができる。

［適用例４］適用例３に記載の画像処理装置であって、
前記顔向き推定部は、前記参照幅と前記参照高さとの比に基づき、前記対象画像における顔の画像の正面向きからの振りの程度を推定する、画像処理装置。

参照幅と参照高さとの比は、顔の画像の正面向きからの振りの程度に応じて変化すると考えられるため、この画像処理装置では、参照幅と参照高さとの比に基づき、対象画像における顔の画像の正面向きからの振りの程度を推定することができる。

［適用例５］適用例３または適用例４に記載の画像処理装置であって、
前記器官領域検出部は、少なくとも、前記顔の器官としての右目の画像を含む右目領域と、前記顔の器官としての左目の画像を含む左目領域と、前記顔の器官としての口の画像を含む口領域と、を、前記器官領域として検出する、画像処理装置。

この画像処理装置では、右目領域と左目領域と口領域とに基づき、対象画像における顔の画像の向きを推定することができる。

［適用例６］適用例５に記載の画像処理装置であって、
前記顔向き推定部は、前記右目領域と前記左目領域とに基づき前記参照幅を算出し、前記右目領域と前記左目領域との少なくとも一方と前記口領域とに基づき前記参照高さを算出する、画像処理装置。

この画像処理装置では、右目領域と左目領域とに基づき参照幅を算出することができ、右目領域と左目領域との少なくとも一方と口領域とに基づき参照高さを算出することができる。

［適用例７］適用例１ないし適用例６のいずれかに記載の画像処理装置であって、さらに、
前記対象画像における顔の画像を含む領域を検出顔領域として検出する顔領域検出部を備え、
前記顔向き推定部は、検出された前記器官領域と前記検出顔領域とに基づき、前記対象画像における顔の画像の向きを推定する、画像処理装置。

器官領域と検出顔領域との関係は、顔の画像の向きに応じて変化すると考えられるため、この画像処理装置では、器官領域と検出顔領域とに基づき、対象画像における顔の画像の向きを推定することができる。

［適用例８］適用例１ないし適用例７のいずれかに記載の画像処理装置であって、さらに、
前記対象画像における顔の画像を含む所定の領域を対象に、所定の画像処理を行う画像処理部と、
推定された前記対象画像における顔の画像の向きに基づき、前記画像処理の実行可否を判定する処理可否判定部と、を備える、画像処理装置。

この画像処理装置では、推定された対象画像における顔の画像の向きに基づき、画像処理の実行可否を判定することができるため、例えば、顔の画像の向きによっては結果が不自然なものとなる画像処理について、結果が不自然となる画像処理の実行を回避することができる。

［適用例９］適用例８に記載の画像処理装置であって、
前記所定の画像処理は、画像の変形処理を含み、
前記処理可否判定部は、推定された前記対象画像における顔の画像の向きが正面向きでない場合には、前記画像処理の実行は不可であると判定する、画像処理装置。

この画像処理装置では、顔の画像の向きが正面向きでない場合には、画像の変形処理の実行を回避することができる。

［適用例１０］適用例１ないし適用例７のいずれかに記載の画像処理装置であって、さらに、
検出された前記器官領域に基づき、推定された前記対象画像における顔の画像の向きに応じた所定の方法で、前記対象画像における顔の画像を含む顔領域を設定する顔領域設定部を備える、画像処理装置。

この画像処理装置では、推定された顔の画像の向きに応じた所定の方法で、対象画像における顔の画像を含む顔領域を設定することができるため、顔領域の設定精度の向上を図ることができる。

［適用例１１］適用例１０に記載の画像処理装置であって、
前記顔領域設定部は、推定された前記対象画像における顔の画像の向きに応じて予め定められた前記器官領域との間の関係に基づき、前記顔領域の大きさと位置と傾きとの少なくとも１つを特定し、前記特定された大きさと位置と傾きとの少なくとも１つを有する領域を、前記顔領域として設定する、画像処理装置。

この画像処理装置では、推定された顔の画像の向きに応じて予め定められた器官領域との間の関係に基づき、顔領域の大きさと位置と傾きとの少なくとも１つを特定できるため、顔領域の設定精度の向上を図ることができる。

［適用例１２］適用例１１に記載の画像処理装置であって、さらに、
前記対象画像における顔の画像を含む領域を検出顔領域として検出する顔領域検出部を備え、
前記顔領域設定部は、前記検出顔領域の大きさと位置と傾きとの少なくとも１つを前記特定された大きさと位置と傾きとの少なくとも１つに一致させた領域を、前記顔領域として設定する、画像処理装置。

この画像処理装置では、検出顔領域に基づき顔領域を設定することができ、顔領域の設定精度の向上を図ることができる。

［適用例１３］適用例３ないし適用例６のいずれかに記載の画像処理装置であって、さらに、
検出された前記器官領域に基づき、推定された前記対象画像における顔の画像の向きに応じた所定の方法で、前記対象画像における顔の画像を含む顔領域を設定する顔領域設定部を備え、
前記顔領域設定部は、前記参照幅と前記参照高さとに基づき、前記顔領域の大きさを特定する、画像処理装置。

この画像処理装置では、参照幅と参照高さとに基づき顔領域の大きさを特定することができ、顔領域の設定精度の向上を図ることができる。

［適用例１４］適用例１３に記載の画像処理装置であって、
前記顔領域設定部は、前記参照幅に所定の係数を乗じて前記顔領域の幅を特定し、
推定された前記対象画像における顔の画像の向きが右振りまたは左振りである場合に用いられる前記所定の係数の値は、正面向きである場合に用いられる前記所定の係数の値と比較して、大きい、画像処理装置。

この画像処理装置では、顔の画像の向きに応じて参照幅に乗ずる所定の係数の値を変化させることにより、顔領域の設定精度の向上を図ることができる。

［適用例１５］適用例１３に記載の画像処理装置であって、
前記顔領域設定部は、前記参照高さに所定の係数を乗じて前記顔領域の高さを特定し、
推定された前記対象画像における顔の画像の向きが上振りまたは下振りである場合に用いられる前記所定の係数の値は、正面向きである場合に用いられる前記所定の係数の値と比較して、大きい、画像処理装置。

この画像処理装置では、顔の画像の向きに応じて参照高さに乗ずる所定の係数の値を変化させることにより、顔領域の設定精度の向上を図ることができる。

［適用例１６］適用例１０ないし適用例１５のいずれかに記載の画像処理装置であって、さらに、
設定された前記顔領域に基づき処理対象領域を設定し、前記処理対象領域を対象に所定の画像処理を行う画像処理部を備える、画像処理装置。

この画像処理装置では、精度良く設定された顔領域に基づき所定の画像処理の処理対象領域を設定することができるため、より好ましい画像処理を実現することができる。

［適用例１７］適用例１ないし適用例１６のいずれかに記載の画像処理装置であって、
前記器官領域検出部は、検出された前記器官領域について、顔の器官の画像を含む領域であることの確からしさを表す信頼度指標を設定する信頼度設定部を含み、
前記顔向き推定部は、検出された前記器官領域の内、前記信頼度指標の値が所定の閾値より大きい前記器官領域のみに基づき、前記対象画像における顔の画像の向きを推定する、画像処理装置。

この画像処理装置では、対象画像における顔の画像の向きの推定精度の向上を図ることができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、画像補正方法および装置、画像印刷方法および装置、顔向き推定方法および装置、顔領域設定方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
Ａ−２．顔形状補正印刷処理：
Ａ−３．変形処理：
Ｂ．第２実施例：
Ｃ．変形例：

Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
図１は、本発明の第１実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。本実施例のプリンタ１００は、メモリカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。プリンタ１００は、プリンタ１００の各部を制御するＣＰＵ１１０と、例えばＲＯＭやＲＡＭによって構成された内部メモリ１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンタエンジン１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンタ１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピュータ）とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンタ１００の各構成要素は、バスを介して互いに接続されている。

プリンタエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリカードＭＣに画像データを含む画像ファイルが格納されている。

内部メモリ１２０には、顔形状補正印刷部２００と、表示処理部３１０と、印刷処理部３２０とが格納されている。顔形状補正印刷部２００は、所定のオペレーティングシステムの下で、後述する顔形状補正印刷処理を実行するためのコンピュータプログラムである。表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンタエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１０は、内部メモリ１２０から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。

顔形状補正印刷部２００は、プログラムモジュールとして、顔領域検出部２１０と、器官領域検出部２２０と、顔向き推定部２３０と、変形領域設定部２４０と、変形領域分割部２５０と、分割領域変形部２６０と、処理可否判定部２７０とを含んでいる。また、器官領域検出部２２０は、信頼度設定部２２２を含んでいる。これらの各部の機能については、後述の顔形状補正印刷処理の説明において詳述する。なお、後述するように、変形領域分割部２５０と分割領域変形部２６０とにより画像を変形する画像処理が行われる。そのため、変形領域分割部２５０と分割領域変形部２６０とは、併せて「画像処理部」とも呼ぶことができる。

内部メモリ１２０には、また、分割点配置パターンテーブル４１０と分割点移動テーブル４２０とが格納されている。これらの内容についても、後述の顔形状補正印刷処理の説明において詳述する。

Ａ−２．顔形状補正印刷処理：
プリンタ１００は、対象画像の顔形状補正と顔形状補正後の対象画像の印刷とを行う顔形状補正印刷処理を実行することができる。顔形状補正は、対象画像中の顔の少なくとも一部の形状（例えば顔の輪郭形状）を補正する処理である。本実施例では、顔の形状をスリムにするための顔形状補正が行われるものとしており、顔形状補正印刷処理により、顔の形状がスリムに補正された対象画像の印刷が実現可能である。カードスロット１７２（図１）にメモリカードＭＣが挿入され、ユーザによる操作部１４０を介した所定の操作が行われると、顔形状補正印刷処理が開始される。

図２は、顔形状補正印刷処理の流れを示すフローチャートである。ステップＳ１００では、顔形状補正印刷部２００（図１）が、処理の対象となる対象画像ＴＩを設定する。顔形状補正印刷部２００は、対象画像ＴＩの設定のための所定のユーザインターフェースを表示部１５０に表示するよう表示処理部３１０に指示する。図３は、対象画像ＴＩの設定のためのユーザインターフェースの一例を示す説明図である。図３に示したユーザインターフェースの画像表示欄ＩＡには、メモリカードＭＣに格納された画像データに基づき、画像が表示される。メモリカードＭＣに複数の画像が格納されている場合には、ユーザによる操作部１４０を介した操作に応じて、画像表示欄ＩＡに表示される画像が順次切り替えられる。なお、対象画像ＴＩの設定のためのユーザインターフェースに、メモリカードＭＣに格納された複数の画像データに基づき、複数の画像が一覧表示されるとしてもよい。顔形状補正印刷部２００は、対象画像ＴＩの設定のためのユーザインターフェースにおいてユーザにより選択された画像を対象画像ＴＩとして設定する。

ステップＳ２００（図２）では、顔領域検出部２１０（図１）が、対象画像ＴＩにおける顔領域ＦＡの検出を行う。ここで、顔領域ＦＡは、対象画像ＴＩにおける画像領域であって、少なくとも顔の一部の画像を含む領域である。顔領域検出部２１０は、対象画像ＴＩを解析して顔の画像を含むと想定される矩形の領域を顔領域ＦＡとして検出する。顔領域検出部２１０による顔領域ＦＡの検出は、例えばテンプレートを利用したパターンマッチングによる方法（特開２００６−２７９４６０参照）といった公知の検出方法を用いて実行される。本明細書では、ステップＳ２００で検出された顔領域ＦＡを「検出顔領域ＦＡｄ」とも呼ぶ。

図４は、検出顔領域ＦＡｄの検出結果の一例を示す説明図である。図４の例では、対象画像ＴＩに人物Ｐ１と人物Ｐ２との２人の顔の画像が含まれているため、人物Ｐ１の顔の画像を含む領域と人物Ｐ２の顔の画像を含む領域との２つの検出顔領域ＦＡｄが検出される。本実施例では、図４に示すように、検出顔領域ＦＡｄは、両目と鼻と口の画像を含む矩形の領域となっている。顔領域検出部２１０は、検出顔領域ＦＡｄを、例えば検出顔領域ＦＡｄの４つの頂点の座標により特定する。

ステップＳ２００（図２）において、検出顔領域ＦＡｄの検出に成功しなかった場合には（ステップＳ３００：Ｎｏ）、その旨が表示部１５０を通じてユーザに通知される。この場合には、ユーザに他の画像を対象画像ＴＩとして選択させるために、対象画像ＴＩの選択のためのユーザインターフェース（図３）が表示部１５０に再度表示され、対象画像ＴＩの再設定（ステップＳ１００）が行われる。なお、検出顔領域ＦＡｄの検出に成功しなかった場合には、図２のステップＳ４００からＳ７００までの処理がスキップされ、ステップＳ８００の対象画像ＴＩの印刷が行われるとしてもよい。

一方、ステップＳ２００（図２）において、検出顔領域ＦＡｄの検出に成功した場合には（ステップＳ３００：Ｙｅｓ）、次に、器官領域検出部２２０（図１）が、対象画像ＴＩにおける器官領域の検出を行う。ここで、器官領域は、対象画像ＴＩにおける画像領域であって、少なくとも顔の器官の一部の画像を含む領域である。本実施例では、顔の器官として、被写体の人物の右目と左目と口とが設定されており、器官領域として、右目の画像を含む右目領域ＥＡ（ｒ）と、左目の画像を含む左目領域ＥＡ（ｌ）と、口の画像を含む口領域ＭＡとの検出が行われる。器官領域検出２２０は、対象画像ＴＩ中の検出顔領域ＦＡｄを解析して、右目、左目、口の画像を含むと想定される３つの矩形領域を、それぞれ右目領域ＥＡ（ｒ）、左目領域ＥＡ（ｌ）、口領域ＭＡとして検出する。器官領域検出部２２０による器官領域の検出は、顔領域の検出と同様に、例えばテンプレートを利用したパターンマッチングによる方法といった公知の検出方法を用いて実行される。

図５は、器官領域の検出結果の一例を示す説明図である。図５に示すように、人物Ｐ１および人物Ｐ２のそれぞれに対応した検出顔領域ＦＡｄにおいて、右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）と口領域ＭＡとが検出される。本実施例では、図５に示すように、右目領域ＥＡ（ｒ）は、人物の右目の画像を包含する矩形の領域となっている。同様に、左目領域ＥＡ（ｌ）は、人物の左目の画像を包含する矩形の領域となっており、口領域ＭＡは、人物の口の画像を包含する矩形の領域となっている。器官領域検出部２２０は、検出された器官領域を、例えば各器官領域の４つの頂点の座標により特定する。

なお、本実施例では、信頼度設定部２２２（図１）が、検出された各器官領域について信頼度指標を設定する。信頼度指標は、検出された器官領域が、真に顔の器官の画像を含む領域であることの確からしさを表す指標である。本実施例では、信頼度指標として、テンプレートを変更しつつ複数回のパターンマッチングを行った際におけるマッチ回数を用いている。

ステップＳ４００（図２）において、器官領域の検出に成功した場合には（ステップＳ５００：Ｙｅｓ）、処理はステップＳ６００に進む。ここで、本実施例では、器官領域の検出に成功した場合とは、右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）と口領域ＭＡとの３つの器官領域がすべて検出され、かつ、すべての器官領域について信頼度指標の表す確からしさが所定の閾値より大きい場合を意味する。３つの器官領域の内のいずれか１つでも検出されなかった場合や、３つの器官領域の内のいずれか１つの信頼度指標の表す確からしさが所定の閾値より小さい場合には、器官領域の検出に成功しなかったこととなる。

ステップＳ６００（図２）では、顔向き推定部２３０（図１）が、顔向き推定を行う。顔向き推定は、対象画像ＴＩに含まれる顔の画像の向きを推定する処理である。図６は、顔向き推定の方法を示す説明図である。図６において、右目領域ＥＡ（ｒ）の中心点Ｃｅ（ｒ）と左目領域ＥＡ（ｌ）の中心点Ｃｅ（ｌ）とを結ぶ線分ＣＬの長さを参照幅Ｗｒと呼び、口領域ＭＡの中心点Ｃｍと線分ＣＬとの距離を参照高さＨｒと呼ぶものとする。図６から明らかなように、参照幅Ｗｒは顔の画像の幅に相関のある指標であり、参照高さＨｒは顔の画像の高さに相関のある指標である。

顔向き推定部２３０は、参照高さＨｒと参照幅Ｗｒとを算出すると共に参照高さＨｒと参照幅Ｗｒとの比（Ｈｒ／Ｗｒ）を判定指標ＤＩとして算出し、判定指標ＤＩに基づき顔向き推定を行う。すなわち、図６に示すように、判定指標ＤＩの値が閾値Ｔ１以上で閾値Ｔ２未満である場合には、顔の画像の向きが正面向きであると推定される。また、判定指標ＤＩの値が閾値Ｔ１未満である場合には、顔の画像の向きが上振りまたは下振りであると推定され、判定指標ＤＩの値が閾値Ｔ２以上である場合には、顔の画像の向きが右振りまたは左振りであると推定される。ここで、本明細書では、被写体の人物の顔が上を向いている画像の向きを「上振り」と呼び、被写体の人物の顔が下を向いている画像の向きを「下振り」と呼ぶ。また、被写体の人物の顔が画像の観察者側から見て右を向いている（すなわち人物が実際には左を向いている）画像の向きを「右振り」と呼び、被写体の人物の顔が画像の観察者側から見て左を向いている（すなわち人物が実際には右を向いている）画像の向きを「左振り」と呼ぶ。画像の向きが上振りまたは下振りであることを「上下振り」とも呼び、右振りまたは左振りであることを「左右振り」とも呼ぶ。

顔の画像の向きが右振りまたは左振りである場合には、正面向きである場合と比較して、参照高さＨｒはほとんど変わらない一方、参照幅Ｗｒは小さいものと考えられる。従って、顔の画像の向きが右振りまたは左振りである場合には、正面向きである場合と比較して、判定指標ＤＩ（＝Ｈｒ／Ｗｒ）の値が大きくなる。反対に、顔の画像の向きが上振りまたは下振りである場合には、正面向きである場合と比較して、参照幅Ｗｒはほとんど変わらない一方、参照高さＨｒは小さいものと考えられる。従って、顔の画像の向きが上振りまたは下振りである場合には、正面向きである場合と比較して、判定指標ＤＩ（＝Ｈｒ／Ｗｒ）の値が小さくなる。

閾値Ｔ１および閾値Ｔ２は、所定数の顔のサンプル画像の判定指標ＤＩ（参照幅Ｗｒと参照高さＨｒとの比）から統計的に定められる。予め定められた閾値Ｔ１および閾値Ｔ２は内部メモリ１２０内の所定の領域に格納されており、顔向き推定部２３０は、対象画像ＴＩの判定指標ＤＩと閾値Ｔ１および閾値Ｔ２とを用いて、顔向き推定を行う。

なお、図６から明らかなように、判定指標ＤＩは、顔の画像の向きの正面向きからの振りの程度を表す指標であると言える。例えば、右振りまたは左振りと推定された２つの顔画像の内、判定指標ＤＩの値がより大きい一方の顔画像は、他の一方の顔画像と比較して、正面向きからの振りの程度がより大きいと推定することができる。また、閾値Ｔ１および閾値Ｔ２を決定することは、顔の画像の向きが厳密な正面向き（顔と撮像装置とが正対している状態）からどの程度振りのある顔の画像までを「正面向き」であるとして推定するかを設定することに相当する。

図７は、顔向き推定において正面向きと推定された結果の一例を示す説明図である。図７に示すように、判定指標ＤＩの値が閾値Ｔ１以上で閾値Ｔ２未満である場合には、顔の画像の向きが正面向きであると推定される。

図８は、顔向き推定において右振りまたは左振りと推定された結果の一例を示す説明図である。図８に示すように、判定指標ＤＩの値が閾値Ｔ２以上である場合には、顔の画像の向きが右振りまたは左振りであると推定される。なお、顔向き推定において、右振りまたは左振りであることが推定されるだけでなく、右振りか左振りかが特定されるとしてもよい。このような特定は、例えば、右目領域ＥＡ（ｒ）の幅Ｗｅ（ｒ）と左目領域ＥＡ（ｌ）の幅Ｗｅ（ｌ）とを比較することにより実現可能である。すなわち、右目領域ＥＡ（ｒ）の幅Ｗｅ（ｒ）の方が大きければ右振りであると推定され、左目領域ＥＡ（ｌ）の幅Ｗｅ（ｌ）の方が大きければ左振りであると推定される。

図９は、顔向き推定において上振りまたは下振りと推定された結果の一例を示す説明図である。図９（ａ）および図９（ｂ）に示すように、判定指標ＤＩの値が閾値Ｔ１未満である場合には、顔の画像の向きが上振りまたは下振りであると推定される。なお、顔向き推定において、上振りまたは下振りであることが推定されるだけでなく、上振りか下振りかが特定されるとしてもよい。このような特定は、例えば、いずれか一方の目領域ＥＡの幅Ｗｅに対する口領域ＭＡの幅Ｗｍの比を算出し、その値が所定の閾値より大きければ上振りとし、所定の閾値より小さければ下振りとすることにより、実現可能である。あるいは、検出顔領域ＦＡｄの高さＨｆに対する検出顔領域ＦＡｄの下辺から口領域ＭＡの中心点Ｃｍまでの距離Ｈｍｃの比を算出し、その値が所定の閾値より大きければ上振りとし、所定の閾値より小さければ下振りとすることによっても、実現可能である。

ステップＳ４００（図２）において、器官領域の検出に成功しなかった場合には（ステップＳ５００：Ｎｏ）、上述した検出顔領域ＦＡｄの検出に成功しなかった場合と同様に、その旨が表示部１５０を通じてユーザに通知される。この場合には、ユーザに他の画像を対象画像ＴＩとして選択させるために、対象画像ＴＩの選択のためのユーザインターフェース（図３）が表示部１５０に再度表示され、対象画像ＴＩの再設定（ステップＳ１００）が行われる。なお、器官領域の検出に成功しなかった場合には、図２のステップＳ６００からＳ７００までの処理がスキップされ、ステップＳ８００の対象画像ＴＩの印刷が行われるとしてもよい。

ステップＳ６２０（図２）では、処理可否判定部２７０（図１）が、後述の変形処理（図２のステップＳ７００）の実行の可否を判定する。具体的には、処理可否判定部２７０は、顔向き推定（図２のステップＳ６００）において正面向きと推定された顔の画像が少なくとも１つあるか否かを判定する。正面向きと推定された顔の画像が少なくとも１つある場合には、変形処理実行可と判定され、正面向きと推定された顔の画像が１つも無い場合には、変形処理実行不可と判定される。

後述するように、本実施例の変形処理（図２のステップＳ７００）は、顔の画像を幅方向に縮小して顔の形状をスリムにする処理である。そのため、正面向きではない顔の画像に対してこのような変形処理が実行されると、処理後の顔の画像が不自然なものとなるおそれがある。従って、本実施例では、正面向きと推定された顔の画像が１つも無い場合には、変形処理実行不可と判定される。なお、変形処理実行可と判定された場合にも、対象画像ＴＩに含まれる顔の画像の内、正面向きと推定された顔の画像のみが変形処理の対象となり、正面向きではないと推定された顔の画像は変形処理の対象外となる。

ステップＳ７００（図２）では、変形処理が行われる。変形処理は、検出顔領域ＦＡｄに基づき変形領域を設定し、変形領域内の画像を変形する処理である。変形処理の詳細については、後述の「Ａ−３．変形処理」において説明する。図１０は、変形処理後の対象画像ＴＩの一例を示す説明図である。図１０の例では、人物Ｐ１の顔の画像は、顔向き推定において正面向きと推定されたために変形処理の対象となり、変形処理前と比較して顔の形状がスリムに補正されている。一方、人物Ｐ２の顔の画像は、顔向き推定において正面向きではないと推定されたために変形処理の対象とはなっておらず、変形処理前と変わっていない。

ステップＳ８００（図２）では、顔形状補正印刷部２００（図１）が、変形処理が行われた場合には変形処理後の対象画像ＴＩ（図１０参照）の印刷を、変形処理が行われなかった場合には当初の対象画像ＴＩの印刷を、印刷処理部３２０に指示する。印刷処理部３２０は、プリンタエンジン１６０を制御して、対象画像ＴＩの印刷を行う。印刷処理部３２０は、対象画像ＴＩの画像データに、解像度変換やハーフトーン処理などの処理を施して印刷データを生成する。生成された印刷データは、印刷処理部３２０からプリンタエンジン１６０に供給され、プリンタエンジン１６０は対象画像ＴＩの印刷を実行する。なお、対象画像ＴＩの印刷の前に、変形処理後の対象画像ＴＩの表示部１５０における表示が行われるとしてもよい。これにより、ユーザは変形処理結果を確認することができる。

以上説明したように、本実施例のプリンタ１００は、器官領域を検出すると共に、検出された器官領域に基づき、対象画像ＴＩにおける顔の画像の向きを推定することができる。具体的には、プリンタ１００は、右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）と口領域ＭＡとを器官領域として検出し、参照幅Ｗｒと参照高さＨｒとの比（判定指標ＤＩ）に基づき、対象画像ＴＩにおける顔の画像の向きを推定する。また、本実施例のプリンタ１００は、判定指標ＤＩに基づき、対象画像ＴＩにおける顔の画像の正面向きからの振りの程度を推定することもできる。

また、本実施例のプリンタ１００は、対象画像ＴＩにおける顔の画像の向きを推定することができるため、正面向きではない顔の画像を変形処理（図２のステップＳ７００）の対象から除外することにより、変形処理によって画像が不自然に補正されることを防止できる。

また、本実施例のプリンタ１００では、器官領域のそれぞれについて信頼度指標が設定され、信頼度指標の値が所定の閾値より大きい器官領域のみに基づき対象画像ＴＩにおける顔の画像の向きが推定されるため、推定精度の低下を抑制することができる。

Ａ−３．変形処理：
図１１は、変形処理（図２のステップＳ７００）の流れを示すフローチャートである。ステップＳ７１０では、変形領域設定部２４０が変形領域ＴＡを設定する。変形領域ＴＡは、対象画像ＴＩ上の領域であって顔形状補正のための変形処理の対象となる領域である。図１２は、変形領域ＴＡの設定方法の一例を示す説明図である。図１２には、検出顔領域ＦＡｄが示されている（図４参照）。図１２に示した基準線ＲＬは、検出顔領域ＦＡｄの高さ方向（上下方向）を定義すると共に、検出顔領域ＦＡｄの幅方向（左右方向）の中心を示す線である。すなわち、基準線ＲＬは、矩形の検出顔領域ＦＡｄの重心を通り、検出顔領域ＦＡｄの高さ方向（上下方向）に沿った境界線に平行な直線である。

図１２に示すように、本実施例では、変形領域ＴＡは、検出顔領域ＦＡｄを基準線ＲＬと平行な方向（高さ方向）および基準線ＲＬに直行する方向（幅方向）に伸張（または短縮）した領域として設定される。具体的には、検出顔領域ＦＡｄの高さ方向の大きさをＨｆ、幅方向の大きさをＷｆとすると、検出顔領域ＦＡｄを、上方向にｋ１・Ｈｆ、下方向にｋ２・Ｈｆだけ伸ばすと共に、左右にそれぞれｋ３・Ｗｆだけ伸ばした領域が、変形領域ＴＡとして設定される。なお、ｋ１，ｋ２，ｋ３は、所定の係数である。

このように変形領域ＴＡが設定されると、検出顔領域ＦＡｄの高さ方向の輪郭線に平行な直線である基準線ＲＬは、変形領域ＴＡの高さ方向の輪郭線にも平行な直線となる。また、基準線ＲＬは、変形領域ＴＡの幅を半分に分割する直線となる。

図１２に示すように、変形領域ＴＡは、高さ方向に関しては、概ね顎から額までの画像を含み、幅方向に関しては、左右の頬の画像を含むような領域として設定される。すなわち、本実施例では、変形領域ＴＡが概ねそのような範囲の画像を含む領域となるように、検出顔領域ＦＡｄの大きさとの関係に基づき、上述の係数ｋ１，ｋ２，ｋ３が予め設定されている。

ステップＳ７２０（図１１）では、変形領域分割部２５０（図１）が、変形領域ＴＡを複数の小領域に分割する。図１３は、変形領域ＴＡの小領域への分割方法の一例を示す説明図である。変形領域分割部２５０は、変形領域ＴＡに複数の分割点Ｄを配置し、分割点Ｄを結ぶ直線を用いて変形領域ＴＡを複数の小領域に分割する。

分割点Ｄの配置の態様（分割点Ｄの個数および位置）は、分割点配置パターンテーブル４１０（図１）により定義されている。変形領域分割部２５０は、分割点配置パターンテーブル４１０を参照して分割点Ｄを配置する。なお、本実施例では、顔の形状をスリムにするための顔形状補正が行われるものとしており、そのような顔形状補正に対応した態様で分割点Ｄの配置が行われる。

図１３に示すように、分割点Ｄは、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに配置される。ここで、水平分割線Ｌｈおよび垂直分割線Ｌｖは、変形領域ＴＡ内に分割点Ｄを配置するための基準となる線である。図１３に示すように、本実施例における分割点Ｄの配置では、基準線ＲＬと直行する２本の水平分割線Ｌｈと、基準線ＲＬに平行な４本の垂直分割線Ｌｖとが設定される。２本の水平分割線Ｌｈを、変形領域ＴＡの下方から順に、Ｌｈ１，Ｌｈ２と呼ぶ。また、４本の垂直分割線Ｌｖを、変形領域ＴＡの左から順に、Ｌｖ１，Ｌｖ２，Ｌｖ３，Ｌｖ４と呼ぶ。

水平分割線Ｌｈ１は、変形領域ＴＡにおいて、顎の画像より下方に配置され、水平分割線Ｌｈ２は、目の画像のすぐ下付近に配置される。また、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。なお、水平分割線Ｌｈおよび垂直分割線Ｌｖの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖと画像との位置関係が結果的に上述の位置関係となるように予め設定された変形領域ＴＡの大きさとの対応関係に従い実行される。

上述した水平分割線Ｌｈと垂直分割線Ｌｖとの配置に従い、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに、分割点Ｄが配置される。図１３に示すように、水平分割線Ｌｈｉ（ｉ＝１または２）上に位置する分割点Ｄを、左から順に、Ｄ０ｉ，Ｄ１ｉ，Ｄ２ｉ，Ｄ３ｉ，Ｄ４ｉ，Ｄ５ｉと呼ぶものとする。例えば、水平分割線Ｌｈ１上に位置する分割点Ｄは、Ｄ０１，Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１，Ｄ５１と呼ばれる。同様に、垂直分割線Ｌｖｊ（ｊ＝１，２，３，４のいずれか）上に位置する分割点Ｄを、下から順に、Ｄｊ０，Ｄｊ１，Ｄｊ２，Ｄｊ３と呼ぶものとする。例えば、垂直分割線Ｌｖ１上に位置する分割点Ｄは、Ｄ１０，Ｄ１１，Ｄ１２，Ｄ１３と呼ばれる。

なお、図１３に示すように、本実施例における分割点Ｄの配置は、基準線ＲＬに対して対称の配置となっている。

変形領域分割部２５０は、配置された分割点Ｄを結ぶ直線（すなわち水平分割線Ｌｈおよび垂直分割線Ｌｖ）により、変形領域ＴＡを複数の小領域に分割する。本実施例では、図１３に示すように、変形領域ＴＡが１５個の矩形の小領域に分割される。

なお本実施例では、分割点Ｄの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置により定まるため、分割点配置パターンテーブル４１０は水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置を定義していると言い換えることも可能である。

ステップＳ７３０（図１１）では、分割領域変形部２６０（図１）が、対象画像ＴＩの変形領域ＴＡを対象とした画像の変形処理を行う。分割領域変形部２６０による変形処理は、ステップＳ７２０で変形領域ＴＡ内に配置された分割点Ｄの位置を移動して、小領域を変形することにより行われる。

変形処理のための各分割点Ｄの位置の移動態様（移動方向および移動距離）は、分割点移動テーブル４２０（図１）により予め定められている。分割領域変形部２６０は、分割点移動テーブル４２０を参照して、分割点Ｄの位置を移動する。なお、本実施例では、顔の形状をスリムにするための顔形状補正が行われるものとしており、そのような顔形状補正に対応した態様で分割点Ｄの位置の移動が行われる。

図１４は、分割点移動テーブル４２０の内容の一例を示す説明図である。また図１５は、分割点移動テーブル４２０に従った分割点Ｄの位置の移動の一例を示す説明図である。図１４には、分割点移動テーブル４２０により定義された、顔の形状をスリムにするための顔形状補正に対応付けられた分割点Ｄの位置の移動態様を示している。図１４に示すように、分割点移動テーブル４２０には、各分割点Ｄについて、基準線ＲＬと直行する方向（Ｈ方向）および基準線ＲＬと平行な方向（Ｖ方向）に沿った移動量が示されている。なお、本実施例では、分割点移動テーブル４２０に示された移動量の単位は、対象画像ＴＩの画素ピッチＰＰである。また、Ｈ方向については、向かって右側への移動量が正の値として表され、向かって左側への移動量が負の値として表され、Ｖ方向については、上方への移動量が正の値として表され、下方への移動量が負の値として表される。例えば、分割点Ｄ１１は、Ｈ方向に沿って右側に画素ピッチＰＰの７倍の距離だけ移動され、Ｖ方向に沿って上方に画素ピッチＰＰの１４倍の距離だけ移動される。また、例えば分割点Ｄ２２は、Ｈ方向およびＶ方向共に移動量がゼロであるため、移動されない。

なお、本実施例では、変形領域ＴＡの内外の画像間の境界が不自然とならないように、変形領域ＴＡの外枠上に位置する分割点Ｄ（例えば図１３に示す分割点Ｄ１０等）の位置は移動されないものとしている。従って、図１４に示した分割点移動テーブル４２０には、変形領域ＴＡの外枠上に位置する分割点Ｄについての移動態様は定義されていない。

図１５では、移動前の分割点Ｄは白抜きの丸で、移動後の分割点Ｄや位置の移動の無い分割点Ｄは黒丸で示されている。また、移動後の分割点Ｄは分割点Ｄ’と呼ばれるものとする。例えば分割点Ｄ１１の位置は、図１５において右上方向に移動され、分割点Ｄ’１１となる。

なお、本実施例では、基準線ＲＬに対して対称な位置関係にある２つの分割点Ｄの組み合わせ（例えば分割点Ｄ１１とＤ４１との組み合わせ）のすべてが、分割点Ｄの移動後も、基準線ＲＬに対して対称な位置関係を維持するように、移動態様が定められている。

分割領域変形部２６０は、変形領域ＴＡを構成する各小領域について、分割点Ｄの位置移動前の状態における小領域の画像が、分割点Ｄの位置移動により新たに定義された小領域の画像となるように、画像の変形処理を行う。例えば、図１５において、分割点Ｄ１１，Ｄ２１，Ｄ２２，Ｄ１２を頂点とする小領域（ハッチングを付して示す小領域）の画像は、分割点Ｄ’１１，Ｄ’２１，Ｄ２２，Ｄ’１２を頂点とする小領域の画像に変形される。

図１６は、分割領域変形部２６０による画像の変形処理方法の概念を示す説明図である。図１６では、分割点Ｄを黒丸で示している。図１６では、説明を簡略化するために、４つの小領域について、左側に分割点Ｄの位置移動前の状態を、右側に分割点Ｄの位置移動後の状態を、それぞれ示している。図１６の例では、中央の分割点Ｄａが分割点Ｄａ’の位置に移動され、その他の分割点Ｄの位置は移動されない。これにより、例えば、分割点Ｄの移動前の分割点Ｄａ，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形前注目小領域ＢＳＡ」とも呼ぶ）の画像は、分割点Ｄａ’，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形後注目小領域ＡＳＡ」とも呼ぶ）の画像に変形される。

本実施例では、矩形の小領域を小領域の重心ＣＧを用いて４つの三角形領域に分割し、三角形領域単位で画像の変形処理を行っている。図１６の例では、変形前注目小領域ＢＳＡが、変形前注目小領域ＢＳＡの重心ＣＧを頂点の１つとする４つの三角形領域に分割される。同様に、変形後注目小領域ＡＳＡが、変形後注目小領域ＡＳＡの重心ＣＧ’を頂点の１つとする４つの三角形領域に分割される。そして、分割点Ｄａの移動前後のそれぞれの状態において対応する三角形領域毎に、画像の変形処理が行われる。例えば、変形前注目小領域ＢＳＡ中の分割点Ｄａ，Ｄｄおよび重心ＣＧを頂点とする三角形領域の画像が、変形後注目小領域ＡＳＡ中の分割点Ｄａ’，Ｄｄおよび重心ＣＧ’を頂点とする三角形領域の画像に変形される。

図１７は、三角形領域における画像の変形処理方法の概念を示す説明図である。図１７の例では、点ｓ，ｔ，ｕを頂点とする三角形領域ｓｔｕの画像が、点ｓ’，ｔ’，ｕ’を頂点とする三角形領域ｓ’ｔ’ｕ’の画像に変形される。画像の変形は、変形後の三角形領域ｓ’ｔ’ｕ’の画像中のある画素の位置が、変形前の三角形領域ｓｔｕの画像中のどの位置に相当するかを算出し、算出された位置における変形前の画像における画素値を変形後の画像の画素値とすることにより行う。

例えば、図１７において、変形後の三角形領域ｓ’ｔ’ｕ’の画像中の注目画素ｐ’の位置は、変形前の三角形領域ｓｔｕの画像中の位置ｐに相当するものとする。位置ｐの算出は、以下のように行う。まず、注目画素ｐ’の位置を、下記の式（１）のようにベクトルｓ’ｔ’とベクトルｓ’ｕ’との和で表現するための係数ｍ１およびｍ２を算出する。

次に、算出された係数ｍ１およびｍ２を用いて、下記の式（２）により、変形前の三角形領域ｓｔｕにおけるベクトルｓｔとベクトルｓｕとの和を算出することにより、位置ｐが求まる。

変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置に一致した場合には、当該画素の画素値が変形後の画像の画素値とされる。一方、変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置からはずれた位置となった場合には、位置ｐの周囲の画素の画素値を用いたバイキュービック等の補間演算により、位置ｐにおける画素値を算出し、算出された画素値が変形後の画像の画素値とされる。

変形後の三角形領域ｓ’ｔ’ｕ’の画像中の各画素について上述のように画素値を算出することにより、三角形領域ｓｔｕの画像から三角形領域ｓ’ｔ’ｕ’の画像への画像変形処理を行うことができる。分割領域変形部２６０は、図１３に示した変形領域ＴＡを構成する各小領域について、上述したように三角形領域を定義して変形処理を行い、変形領域ＴＡにおける画像変形処理を行う。

ここで、本実施例の顔形状補正の態様についてより詳細に説明する。図１８は、本実施例における顔形状補正の態様を示す説明図である。本実施例では、上述したように、顔の形状をスリムにする顔形状補正が行われる。図１８には、変形領域ＴＡを構成する各小領域の変形態様のイメージを矢印により示している。

図１８に示すように、本実施例の顔形状補正では、基準線ＲＬと平行な方向（Ｖ方向）に関し、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１）の位置は上方に移動される一方、水平分割線Ｌｈ２上に配置された分割点Ｄ（Ｄ１２，Ｄ２２，Ｄ３２，Ｄ４２）の位置は移動されない（図１４参照）。従って、水平分割線Ｌｈ１と水平分割線Ｌｈ２との間に位置する画像は、Ｖ方向に関して縮小される。上述したように、水平分割線Ｌｈ１は顎の画像より下方に配置され、水平分割線Ｌｈ２は目の画像のすぐ下付近に配置されるため、本実施例の顔形状補正では、顔の画像の内、顎から目の下にかけての部分の画像がＶ方向に縮小されることとなる。この結果、画像中の顎のラインは上方に移動する。

他方、基準線ＲＬと直行する方向（Ｈ方向）に関しては、垂直分割線Ｌｖ１上に配置された分割点Ｄ（Ｄ１１，Ｄ１２）の位置は右方向に移動され、垂直分割線Ｌｖ４上に配置された分割点Ｄ（Ｄ４１，Ｄ４２）の位置は左方向に移動される（図１４参照）。さらに、垂直分割線Ｌｖ２上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ２１）の位置は右方向に移動され、垂直分割線Ｌｖ３上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ３１）の位置は左方向に移動される（図１４参照）。従って、垂直分割線Ｌｖ１より左側に位置する画像は、Ｈ方向に関して右側に拡大され、垂直分割線Ｌｖ４より右側に位置する画像は、左側に拡大される。また、垂直分割線Ｌｖ１と垂直分割線Ｌｖ２との間に位置する画像は、Ｈ方向に関して縮小または右側に移動され、垂直分割線Ｌｖ３と垂直分割線Ｌｖ４との間に位置する画像は、Ｈ方向に関して縮小または左側に移動される。さらに、垂直分割線Ｌｖ２と垂直分割線Ｌｖ３との間に位置する画像は、水平分割線Ｌｈ１の位置を中心にＨ方向に関して縮小される。

上述したように、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。そのため、本実施例の顔形状補正では、顔の画像の内、両目尻より外側の部分の画像が全体的にＨ方向に縮小される。特に顎付近において縮小率が高くなる。この結果、画像中の顔の形状は、全体的に幅方向に細くなる。

上述したＨ方向およびＶ方向の変形態様を総合すると、本実施例の顔形状補正により、対象画像ＴＩ中の顔の形状がスリムになる。なお、顔の形状がスリムになるとは、いわゆる「小顔」になると表現することもできる。

なお、図１８に示す分割点Ｄ２２，Ｄ３２，Ｄ３３，Ｄ２３を頂点とする小領域（ハッチングを付した領域）は、上述した水平分割線Ｌｈ２や垂直分割線Ｌｖ２およびＬｖ３の配置方法によると、両目の画像を含む領域となる。図１４に示すように、分割点Ｄ２２およびＤ３２はＨ方向にもＶ方向にも移動されないため、この両目の画像を含む小領域は変形されない。このように本実施例では、両目の画像を含む小領域については変形しないこととし、顔形状補正後の画像がより自然で好ましいものとなるようにしている。

Ｂ．第２実施例：
図１９は、本発明の第２実施例における画像処理装置としてのプリンタ１００ａの構成を概略的に示す説明図である。第２実施例のプリンタ１００ａは、内部メモリ１２０に格納されたプログラムやデータが、図１に示した第１実施例のプリンタ１００とは異なっている。すなわち、第２実施例のプリンタ１００ａの内部メモリ１２０には、顔形状補正印刷部２００（図１）の代わりに顔補正印刷部２０２が格納されており、また、分割点配置パターンテーブル４１０や分割点移動テーブル４２０（図１参照）は格納されていない。第２実施例のプリンタ１００ａのその他の構成は、第１実施例のプリンタ１００と同様である。

顔補正印刷部２０２は、所定のオペレーティングシステムの下で、後述する顔補正印刷処理を実行するためのコンピュータプログラムである。顔補正印刷部２０２は、プログラムモジュールとして、顔領域検出部２１０と、器官領域検出部２２０と、顔向き推定部２３０と、顔領域設定部２８０と、補正処理部２９０とを含んでいる。顔領域検出部２１０と器官領域検出部２２０と顔向き推定部２３０の機能については、第１実施例と同様である。顔領域設定部２８０および補正処理部２９０については、後述の顔補正印刷処理の説明において詳述する。

第２実施例のプリンタ１００ａは、対象画像の顔補正と顔補正後の対象画像の印刷とを行う顔補正印刷処理を実行することができる。本実施例の顔補正は、顔の肌部分の画像の色を好ましい色に変更する肌色補正である。カードスロット１７２にメモリカードＭＣが挿入され、ユーザによる操作部１４０を介した所定の操作が行われると、顔補正印刷処理が開始される。

図２０は、顔補正印刷処理の流れを示すフローチャートである。ステップＳ１００からステップＳ６００までの処理内容は、第１実施例における顔形状補正印刷処理（図２）のステップＳ１００からステップＳ６００までの処理内容と同じである。なお、第２実施例における顔向き推定（図２０のステップＳ６００）では、顔の画像の向きが、正面向きと上振りと下振りと右振りと左振りとのいずれか１つであると推定される。

ステップＳ６６０（図２０）では、顔領域設定部２８０（図１９）が、対象画像ＴＩにおける顔の画像を含む顔領域ＦＡの設定を行う。本明細書では、ステップＳ６６０で設定される顔領域ＦＡを「決定顔領域ＦＡｓ」とも呼ぶ。顔領域設定部２８０は、検出された器官領域に基づき、ステップＳ６００（図２０）で推定された顔の画像の向きに応じた方法で、決定顔領域ＦＡｓを設定する。ステップＳ２００（図２０）の検出顔領域ＦＡｄの検出では、パターンマッチングにおいて、検出顔領域ＦＡｄの候補となる領域をその傾きや大きさや位置をずらしながら順次設定する際に、単位ずらし量（ずらし量のピッチ）を比較的大きな値に限定することによって処理の高速化を図っており、検出顔領域ＦＡｄと実際の顔の画像との間にずれが生ずる場合がある。さらに、顔の画像が正面向きではない場合には、検出顔領域ＦＡｄと実際の顔の画像との間に、顔の画像が正面向きではないことに起因するずれが生ずる場合がある。このようなずれを補正するため、本実施例では、決定顔領域ＦＡｓの設定が行われる。

図２１は、推定された顔の画像の向きが正面向きである場合の決定顔領域ＦＡｓの設定方法を示す説明図である。図２１に示すように、矩形の決定顔領域ＦＡｓの大きさ（幅および高さ）は、参照幅Ｗｒおよび参照高さＨｒに基づき決定される。すなわち、決定顔領域ＦＡｓの幅は、参照幅Ｗｒに所定の係数ｃ１を乗じた値とされ、決定顔領域ＦＡｓの高さは、参照高さＨｒに所定の係数ｃ２を乗じた値とされる。また、決定顔領域ＦＡｓの位置は、右目領域ＥＡ（ｒ）の中心点Ｃｅ（ｒ）と左目領域ＥＡ（ｌ）の中心点Ｃｅ（ｌ）とを結ぶ線分ＣＬの中点ＢＰに基づき決定される。すなわち、決定顔領域ＦＡｓの位置は、決定顔領域ＦＡｓを幅方向に沿って所定の比Ｒ１対Ｒ２で分割する直線と決定顔領域ＦＡｓを高さ方向に沿って所定の比Ｒ３対Ｒ４で分割する直線との交点ＲＰが、線分ＣＬの中点ＢＰに重なるような位置とされる。なお、本実施例では、所定の比Ｒ１対Ｒ２は、１対１である。また、決定顔領域ＦＡｓの傾きは、検出顔領域ＦＡｄと同じ傾きであるとされる。

以上のようにして決定された大きさ、位置、傾きを有する領域が、決定顔領域ＦＡｓとして設定される。推定された顔の画像の向きが正面向きである場合には、決定顔領域ＦＡｓは、検出顔領域ＦＡｄと比較して、実際の顔の画像との間のずれが抑制された領域となる。

図２２は、推定された顔の画像の向きが右振りである場合の決定顔領域ＦＡｓの設定方法を示す説明図である。図２２に示すように、矩形の決定顔領域ＦＡｓの大きさ（幅および高さ）は、参照幅Ｗｒおよび参照高さＨｒに基づき決定される。すなわち、決定顔領域ＦＡｓの高さは、図２１に示した正面向きの場合と同様に、参照高さＨｒに所定の係数ｃ２を乗じた値とされる。また、決定顔領域ＦＡｓの幅は、参照幅Ｗｒに所定の係数ｃ１を乗じ、さらに係数αを乗じた値とされる。ここで、係数αは、左目領域ＥＡ（ｌ）の幅Ｗｅ（ｌ）に対する右目領域ＥＡ（ｒ）の幅Ｗｅ（ｒ）の比である。一般に、顔の画像の向きが右振りの場合には、右目領域ＥＡ（ｒ）の幅Ｗｅ（ｒ）は、左目領域ＥＡ（ｌ）の幅Ｗｅ（ｌ）より大きいため、係数αは１より大きな値となる。従って、右振りの場合において決定顔領域ＦＡｓの幅の算出のために参照幅Ｗｒに乗じられる係数（α・ｃ１）は、正面向きの場合（図２１参照）において参照幅Ｗｒに乗じられる係数（ｃ１）と比較して、より大きい。これにより、正面向きの顔の画像と比較して参照幅Ｗｒが小さくなる傾向にある右振りの顔の画像において、適切な幅の領域を決定顔領域ＦＡｓとして設定することが可能となる。

また、決定顔領域ＦＡｓの位置は、中心点Ｃｅ（ｒ）とＣｅ（ｌ）とを結ぶ線分ＣＬの中点ＢＰに基づき決定される。すなわち、決定顔領域ＦＡｓの位置は、決定顔領域ＦＡｓを幅方向に沿って所定の比Ｒ５対Ｒ６で分割する直線と決定顔領域ＦＡｓを高さ方向に沿って所定の比Ｒ３対Ｒ４で分割する直線との交点ＲＰが、線分ＣＬの中点ＢＰに重なるような位置とされる。ここで、所定の比Ｒ５対Ｒ６は、右目領域ＥＡ（ｒ）の幅Ｗｅ（ｒ）対、左目領域ＥＡ（ｌ）の幅Ｗｅ（ｌ）と同じとされる。一般に、顔の画像の向きが右振りの場合には、右目領域ＥＡ（ｒ）の幅Ｗｅ（ｒ）は、左目領域ＥＡ（ｌ）の幅Ｗｅ（ｌ）より大きいため、Ｒ５の値はＲ６の値より大きくなる。従って、右振りの場合には、決定顔領域ＦＡｓの幅方向に沿った中心位置は、中点ＢＰの位置よりも向かって左側にずれることとなる。これにより、正面向きの顔の画像と比較して人物の顔の右側面の部分を表す領域が大きくなる傾向にある右振りの顔の画像において、適切な位置に決定顔領域ＦＡｓを設定することが可能となる。

決定顔領域ＦＡｓの傾きは、検出顔領域ＦＡｄと同じ傾きであるとされる。以上のようにして決定された大きさ、位置、傾きを有する領域が、決定顔領域ＦＡｓとして設定される。推定された顔の画像の向きが右振りである場合には、決定顔領域ＦＡｓは、検出顔領域ＦＡｄと比較して、実際の顔の画像との間のずれが抑制されると共に、顔の画像が正面向きではないことに起因するずれも抑制された領域となる。なお、推定された顔の画像の向きが左振りである場合の決定顔領域ＦＡｓの設定方法は、左右が逆になるものの、顔の画像の向きが右振りである場合の設定方法と同様である。

図２３は、推定された顔の画像の向きが上振りである場合の決定顔領域ＦＡｓの設定方法を示す説明図である。図２３に示すように、矩形の決定顔領域ＦＡｓの大きさ（幅および高さ）は、参照幅Ｗｒおよび参照高さＨｒに基づき決定される。すなわち、決定顔領域ＦＡｓの幅は、図２１に示した正面向きの場合と同様に、参照幅Ｗｒに所定の係数ｃ１を乗じた値とされる。また、決定顔領域ＦＡｓの高さは、参照高さＨｒに所定の係数ｃ２を乗じ、さらに係数βを乗じた値とされる。ここで、係数βは、判定指標ＤＩ（参照幅Ｗｒに対する参照高さＨｒの比）に対する標準判定指標ＤＩｓの比である。標準判定指標ＤＩｓは、標準的な正面向きの顔の画像の判定指標ＤＩの値として予め設定された値である。一般に、顔の画像の向きが上振りの場合には、正面向きの場合と比較して、判定指標ＤＩの値は小さいため、係数βは１より大きな値となる。従って、上振りの場合において決定顔領域ＦＡｓの高さの算出のために参照高さＨｒに乗じられる係数（β・ｃ２）は、正面向きの場合（図２１参照）において参照高さＨｒに乗じられる係数（ｃ２）と比較して、より大きい。これにより、正面向きの顔の画像と比較して参照高さＨｒが小さくなる傾向にある上振りの顔の画像において、適切な高さの領域を決定顔領域ＦＡｓとして設定することが可能となる。

また、決定顔領域ＦＡｓの位置は、中心点Ｃｅ（ｒ）とＣｅ（ｌ）とを結ぶ線分ＣＬの中点ＢＰに基づき決定される。すなわち、決定顔領域ＦＡｓの位置は、決定顔領域ＦＡｓを幅方向に沿って所定の比Ｒ１対Ｒ２で分割する直線と決定顔領域ＦＡｓを高さ方向に沿って所定の比Ｒ７対Ｒ８で分割する直線との交点ＲＰが、線分ＣＬの中点ＢＰに重なるような位置とされる。なお、本実施例では、所定の比Ｒ１対Ｒ２は、１対１である。

決定顔領域ＦＡｓの傾きは、検出顔領域ＦＡｄと同じ傾きであるとされる。以上のようにして決定された大きさ、位置、傾きを有する領域が、決定顔領域ＦＡｓとして設定される。推定された顔の画像の向きが上振りである場合にも、決定顔領域ＦＡｓは、検出顔領域ＦＡｄと比較して、実際の顔の画像との間のずれが抑制されると共に、顔の画像が正面向きではないことに起因するずれも抑制された領域となる。

図２４は、推定された顔の画像の向きが下振りである場合の決定顔領域ＦＡｓの設定方法を示す説明図である。図２４に示すように、矩形の決定顔領域ＦＡｓの大きさ（幅および高さ）は、参照幅Ｗｒおよび参照高さＨｒに基づき決定される。すなわち、決定顔領域ＦＡｓの幅は、図２１に示した正面向きの場合と同様に、参照幅Ｗｒに所定の係数ｃ１を乗じた値とされる。また、決定顔領域ＦＡｓの高さは、図２３に示した上振りの場合と同様に、参照高さＨｒに所定の係数ｃ２を乗じ、さらに係数βを乗じた値とされる。顔の画像の向きが下振りの場合にも、上振りの場合と同様に、正面向きの場合と比較して、判定指標ＤＩの値は小さいため、係数βは１より大きな値となる。そのため、決定顔領域ＦＡｓの高さの算出のために参照高さＨｒに乗じられる係数（β・ｃ２）は、正面向きの場合（図２１参照）において参照高さＨｒに乗じられる係数（ｃ２）と比較して、より大きい。これにより、正面向きの顔の画像と比較して参照高さＨｒが小さくなる傾向にある下振りの顔の画像において、適切な高さの領域を決定顔領域ＦＡｓとして設定することが可能となる。

また、決定顔領域ＦＡｓの位置は、中心点Ｃｅ（ｒ）とＣｅ（ｌ）とを結ぶ線分ＣＬの中点ＢＰに基づき決定される。すなわち、決定顔領域ＦＡｓの位置は、決定顔領域ＦＡｓを幅方向に沿って所定の比Ｒ１対Ｒ２で分割する直線と決定顔領域ＦＡｓを高さ方向に沿って所定の比Ｒ９対Ｒ１０で分割する直線との交点ＲＰが、線分ＣＬの中点ＢＰに重なるような位置とされる。なお、本実施例では、所定の比Ｒ１対Ｒ２は、１対１である。

決定顔領域ＦＡｓの傾きは、検出顔領域ＦＡｄと同じ傾きであるとされる。以上のようにして決定された大きさ、位置、傾きを有する領域が、決定顔領域ＦＡｓとして設定される。推定された顔の画像の向きが下振りである場合にも、決定顔領域ＦＡｓは、検出顔領域ＦＡｄと比較して、実際の顔の画像との間のずれが抑制されると共に、顔の画像が正面向きではないことに起因するずれも抑制された領域となる。

ステップＳ６８０（図２０）では、補正処理部２９０（図１）が、ステップＳ６６０で設定された決定顔領域ＦＡｓに基づき補正領域を設定し、補正領域を対象として顔補正を実行する。上述したように、本実施例の顔補正は、顔の肌部分の画像の色を好ましい色に変更する肌色補正である。

設定される補正領域は、決定顔領域ＦＡｓそのものであってもよいし、決定顔領域ＦＡｓを所定の倍率で拡大または縮小した領域であってもよい。決定顔領域ＦＡｓは、検出顔領域ＦＡｄと比較して、実際の顔の画像との間のずれが抑制された領域となっているため、決定顔領域ＦＡｓに基づき設定される補正領域についても、実際の顔の画像との間のずれを抑制可能である。また、顔補正は、例えば、補正領域から肌色の画素を抽出し、抽出された画素の色を調整することにより実行される。

ステップＳ８００（図２０）では、第１実施例と同様に、顔補正印刷部２０２が、補正後の対象画像ＴＩの印刷を印刷処理部３２０に指示し、印刷処理部３２０は、プリンタエンジン１６０を制御して、対象画像ＴＩの印刷を行う。

以上説明したように、第２実施例のプリンタ１００ａは、器官領域を検出すると共に、検出された器官領域に基づき、推定された顔の画像の向きに応じた方法で、対象画像ＴＩにおける顔の画像を含む決定顔領域ＦＡｓを設定することができる。そのため、第２実施例のプリンタ１００ａは、決定顔領域ＦＡｓを、実際の顔の画像との間のずれが抑制された領域として設定することができる。また、第２実施例のプリンタ１００ａは、決定顔領域ＦＡｓに基づき補正領域を設定し、設定された補正領域を対象として顔補正を実行するため、より適正な領域を対象として顔補正処理を実行することができ、補正後の画像を好ましい画像とすることができる。

Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｃ１．変形例１：
上記各実施例における顔向き推定（図２および図２０のステップＳ６００）の方法は、あくまで一例であり、他の方法により顔向き推定が行われるとしてもよい。例えば、単純に右目領域ＥＡ（ｒ）および左目領域ＥＡ（ｌ）の幅Ｗｅを比較して、右目領域ＥＡ（ｒ）の幅Ｗｅの方が所定割合以上で大きい場合には右振りであると、左目領域ＥＡ（ｌ）の幅Ｗｅの方が所定割合以上で大きい場合には左振りであると、それ以外の場合には正面向きであると、推定されるとしてもよい。

あるいは、単純に口領域ＭＡの幅Ｗｍと目領域ＥＡの幅Ｗｅとを比較して、口領域ＭＡの幅Ｗｍの方が所定割合以上で大きい場合には上振りであると、目領域ＥＡの幅Ｗｅの方が所定割合以上で大きい場合には下振りであると、それ以外の場合には正面向きであると、推定されるとしてもよい。

また、検出顔領域ＦＡｄと器官領域との関係に基づいて顔向き推定が行われるとしてもよい。例えば、検出顔領域ＦＡｄにおける目領域ＥＡの位置に基づき、右振りまたは左振りであると推定されるとしてもよいし、検出顔領域ＦＡｄにおける口領域ＭＡの位置に基づき、上振りまたは下振りであると推定されるとしてもよい。

また、上記各実施例における顔向き推定では、推定される顔の画像の向きの種類として、正面向き、左右振り、上下振りの３種類、あるいは、正面向き、右振り、左振り、上振り、下振りの５種類が採用されているが、顔の画像の向きの種類として、正面向きか正面以外向きかの２種類が採用されるとしてもよい。また、顔の画像の向きの種類として、正面向き、弱い右振り、中程度の右振り、強い右振り、弱い左振り、中程度の左振り、強い左振り・・・のように、より細分化された顔の画像の向きの種類が採用されるとしてもよい。

Ｃ２．変形例２：
上記各実施例では、顔の器官として、右目と左目と口とが設定されており、器官領域として、右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）と口領域ＭＡとの検出が行われるが、顔の器官として顔のどの器官を設定するかは変更可能である。例えば、顔の器官として、右目と左目のみが設定され、器官領域として、右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）との検出が行われるとしてもよい。また、顔の器官として、口のみが設定され、器官領域として、口領域ＭＡの検出が行われるとしてもよい。また、顔の器官として、右目と左目と口とに加えて、または右目と左目と口との少なくとも１つの代わりに、顔のその他の器官（例えば鼻や眉）が設定され、器官領域としてこのような器官の画像を含む領域が検出されるとしてもよい。

Ｃ３．変形例３：
上記第１実施例では、推定された顔の画像の向きが変形処理実行可否の判定（図２のステップＳ６２０）に用いられているが、顔の画像の向きは他の画像処理（例えば正面向きの顔の画像を対象とした他の画像処理）の実行可否の判定にも利用可能である。

また、上記第１実施例における変形処理実行可否の判定に用いられる条件はあくまで一例であり、他の条件が用いられるとしてもよい。例えば、推定された顔の画像の向きが正面向きである場合に加え、上下振りである場合にも、変形処理実行可と判定されるとしてもよい。本実施例の変形処理は、特に左右振りの画像を対象とした場合に結果が不自然なものとなると考えられるため、このように判定が行われてもよい。

また、本発明は、変形処理とは異なる所定の画像処理の実行可否判定に適用可能であり、当該画像処理の特性に応じて、画像処理実行可否判定に用いる条件は適宜設定される。すなわち、画像処理の特性によっては、推定された顔の画像の向きが正面向きである場合には処理実行不可であると判定されるような判定条件が採用される場合もある。あるいは、推定された顔の画像の向きが左右振りである場合にのみ処理実行可であると判定され、その他の場合には処理実行不可であると判定されるような判定条件が採用される場合もある。

Ｃ４．変形例４：
上記第２実施例における決定顔領域ＦＡｓの傾き、大きさ、位置の特定方法は、あくまで一例であり、決定顔領域ＦＡｓの傾き、大きさ、位置を他の方法を用いて特定してもよい。例えば、上記第２実施例では、顔の画像の向きがいずれの場合にも、決定顔領域ＦＡｓの傾きを検出顔領域ＦＡｄの傾きと同じであるとして特定しているが、決定顔領域ＦＡｓの傾きをいずれかの器官領域の傾きと同じであるとして特定するとしてもよい。

また、上記第２実施例では、決定顔領域ＦＡｓの設定の際に、器官領域に基づき特定された大きさと位置とを有する領域を決定顔領域ＦＡｓとして設定しているが、器官領域に基づき決定顔領域ＦＡｓの大きさと位置とのいずれか１つのみが特定されるとしてもよい。この場合には、特定されなかった決定顔領域ＦＡｓの大きさ、位置については、検出顔領域ＦＡｄの大きさ、位置が採用されるとしてもよいし、所定の値が採用されるとしてもよい。

また、上記第２実施例では、推定された顔の画像の向きに応じた方法で、決定顔領域ＦＡｓが設定されるとしているが、例えば、正面向きと推定された場合には、検出顔領域ＦＡｄそのものが決定顔領域ＦＡｓとして設定されるとしてもよい。

Ｃ５．変形例５：
上記各実施例において推定された顔の画像の向きは、他の用途にも利用可能である。例えば、推定された顔の画像の向きが、画像データを含む画像ファイルの付属情報として画像データと関連づけられるとしてもよい。このようにすれば、例えば、推定された顔の画像の向きを、画像の検索に利用することができる。

Ｃ６．変形例６：
上記各実施例では、検出顔領域ＦＡｄを対象として器官検出が行われているが、必ずしも器官検出を行う範囲が検出顔領域ＦＡｄに限られる必要はなく、例えば、対象画像ＴＩ全体を対象として器官検出が行われるとしてもよい。ただし、検出顔領域ＦＡｄを対象として器官検出を行えば、処理の高速化を図ることができる。

また、上記各実施例では、顔領域ＦＡ（検出顔領域ＦＡｄ）の検出が行われているが、必ずしも顔領域ＦＡの検出が行われる必要はない。顔領域ＦＡの検出が行われない場合であっても、対象画像ＴＩの所定の範囲（例えば全体）を対象として器官領域の検出を行い、検出された器官領域に基づき、顔の画像の向きの推定や決定顔領域ＦＡｓの設定を実行可能である。

Ｃ７．変形例７：
上記各実施例では、検出された各器官領域について設定される信頼度指標としてマッチ回数が用いられているが、信頼度指標として他の指標（例えばテンプレートとのマッチ率）が用いられるとしてもよい。また、器官領域の検出の際に、必ずしも信頼度指標が設定される必要はない。器官領域について信頼度指標が設定されない場合には、器官領域の検出に成功したか否かを判定する際に、信頼度指標は用いられない。ただし、器官領域について信頼度指標が設定され、信頼度指標の値が所定の閾値より大きい器官領域のみに基づき決定顔領域ＦＡｓが設定されるとした場合には、顔の画像の向きの推定精度や決定顔領域ＦＡｓの設定精度の低下を抑制することができる。

Ｃ８．変形例８：
上記各実施例では、器官領域の検出に成功したと判定される条件として、右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）と口領域ＭＡとの３つの器官領域がすべて検出されることが課せられているが、必ずしもこのような条件が課せられる必要はない。少なくとも顔の画像の向きの推定や決定顔領域ＦＡｓの設定に必要な器官領域が検出されれば、器官領域の検出に成功したと判定されるとしてもよい。

また、上記各実施例では、器官領域の検出に成功したと判定される条件として、すべての器官領域について信頼度指標の表す確からしさが所定の閾値より大きいことが課せられているが、必ずしもこのような条件が課せられる必要はない。信頼度指標が閾値より小さい器官領域があった場合であっても器官領域の検出に成功したと判定し、信頼度指標が閾値より大きい器官領域のみを用いて決定顔領域ＦＡｓを設定するとしてもよい。

Ｃ９．変形例９：
上記各実施例では、顔領域ＦＡおよび器官領域は矩形の領域であるが、顔領域ＦＡおよび器官領域は矩形以外の形状の領域であってもよい。

Ｃ１０．変形例１０：
上記各実施例では、画像処理装置としてのプリンタ１００による顔形状補正印刷処理（図２）や顔補正印刷処理（図２０）を説明したが、処理の一部（例えば図２のステップＳ１００からＳ７００まで）がパーソナルコンピュータにより実行されるものとしてもよい。また、プリンタ１００はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。また、本発明は、顔の画像の向きの推定のための画像処理一般に適用可能であり、例えば、パーソナルコンピュータによる顔の画像の向きの推定のみが行われる処理にも適用可能である。

Ｃ１１．変形例１１：
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。

本発明の第１実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。 顔形状補正印刷処理の流れを示すフローチャートである。 対象画像ＴＩの設定のためのユーザインターフェースの一例を示す説明図である。 検出顔領域ＦＡｄの検出結果の一例を示す説明図である。 器官領域の検出結果の一例を示す説明図である。 顔向き推定の方法を示す説明図である。 顔向き推定において正面向きと推定された結果の一例を示す説明図である。 顔向き推定において右振りまたは左振りと推定された結果の一例を示す説明図である。 顔向き推定において上振りまたは下振りと推定された結果の一例を示す説明図である。 変形処理後の対象画像ＴＩの一例を示す説明図である。 変形処理の流れを示すフローチャートである。 変形領域ＴＡの設定方法の一例を示す説明図である。 変形領域ＴＡの小領域への分割方法の一例を示す説明図である。 分割点移動テーブル４２０の内容の一例を示す説明図である。 分割点移動テーブル４２０に従った分割点Ｄの位置の移動の一例を示す説明図である。 分割領域変形部２６０による画像の変形処理方法の概念を示す説明図である。 三角形領域における画像の変形処理方法の概念を示す説明図である。 本実施例における顔形状補正の態様を示す説明図である。 本発明の第２実施例における画像処理装置としてのプリンタ１００ａの構成を概略的に示す説明図である。 顔補正印刷処理の流れを示すフローチャートである。 推定された顔の画像の向きが正面向きである場合の決定顔領域ＦＡｓの設定方法を示す説明図である。 推定された顔の画像の向きが右振りである場合の決定顔領域ＦＡｓの設定方法を示す説明図である。 推定された顔の画像の向きが上振りである場合の決定顔領域ＦＡｓの設定方法を示す説明図である。 推定された顔の画像の向きが下振りである場合の決定顔領域ＦＡｓの設定方法を示す説明図である。

符号の説明

１００…プリンタ
１１０…ＣＰＵ
１２０…内部メモリ
１４０…操作部
１５０…表示部
１６０…プリンタエンジン
１７０…カードインターフェース
１７２…カードスロット
２００…顔形状補正印刷部
２０２…顔補正印刷部
２１０…顔領域検出部
２２０…器官領域検出部
２２２…信頼度設定部
２３０…顔向き推定部
２４０…変形領域設定部
２５０…変形領域分割部
２６０…分割領域変形部
２７０…処理可否判定部
２８０…顔領域設定部
２９０…補正処理部
３１０…表示処理部
３２０…印刷処理部
４１０…分割点配置パターンテーブル
４２０…分割点移動テーブル

Claims (19)

1. 画像処理装置であって、
   対象画像における顔の器官の画像を含む領域を器官領域として検出する器官領域検出部と、
   検出された前記器官領域に基づき、前記対象画像における顔の画像の向きを推定する顔向き推定部と、を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記器官領域検出部は、複数の前記器官領域を検出し、
   前記顔向き推定部は、検出された前記器官領域間の位置と大きさとの少なくとも一方に関する関係に基づき、前記対象画像における顔の画像の向きを推定する、画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置であって、
   前記顔向き推定部は、検出された前記器官領域に基づき、顔の画像の幅に相関のある指標としての参照幅と顔の画像の高さに相関のある指標としての参照高さとを算出し、前記参照幅と前記参照高さとの比に基づき、前記対象画像における顔の画像の向きを推定する、画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記顔向き推定部は、前記参照幅と前記参照高さとの比に基づき、前記対象画像における顔の画像の正面向きからの振りの程度を推定する、画像処理装置。
5. 請求項３または請求項４に記載の画像処理装置であって、
   前記器官領域検出部は、少なくとも、前記顔の器官としての右目の画像を含む右目領域と、前記顔の器官としての左目の画像を含む左目領域と、前記顔の器官としての口の画像を含む口領域と、を、前記器官領域として検出する、画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記顔向き推定部は、前記右目領域と前記左目領域とに基づき前記参照幅を算出し、前記右目領域と前記左目領域との少なくとも一方と前記口領域とに基づき前記参照高さを算出する、画像処理装置。
7. 請求項１ないし請求項６のいずれかに記載の画像処理装置であって、さらに、
   前記対象画像における顔の画像を含む領域を検出顔領域として検出する顔領域検出部を備え、
   前記顔向き推定部は、検出された前記器官領域と前記検出顔領域とに基づき、前記対象画像における顔の画像の向きを推定する、画像処理装置。
8. 請求項１ないし請求項７のいずれかに記載の画像処理装置であって、さらに、
   前記対象画像における顔の画像を含む所定の領域を対象に、所定の画像処理を行う画像処理部と、
   推定された前記対象画像における顔の画像の向きに基づき、前記画像処理の実行可否を判定する処理可否判定部と、を備える、画像処理装置。
9. 請求項８に記載の画像処理装置であって、
   前記所定の画像処理は、画像の変形処理を含み、
   前記処理可否判定部は、推定された前記対象画像における顔の画像の向きが正面向きでない場合には、前記画像処理の実行は不可であると判定する、画像処理装置。
10. 請求項１ないし請求項７のいずれかに記載の画像処理装置であって、さらに、
    検出された前記器官領域に基づき、推定された前記対象画像における顔の画像の向きに応じた所定の方法で、前記対象画像における顔の画像を含む顔領域を設定する顔領域設定部を備える、画像処理装置。
11. 請求項１０に記載の画像処理装置であって、
    前記顔領域設定部は、推定された前記対象画像における顔の画像の向きに応じて予め定められた前記器官領域との間の関係に基づき、前記顔領域の大きさと位置と傾きとの少なくとも１つを特定し、前記特定された大きさと位置と傾きとの少なくとも１つを有する領域を、前記顔領域として設定する、画像処理装置。
12. 請求項１１に記載の画像処理装置であって、さらに、
    前記対象画像における顔の画像を含む領域を検出顔領域として検出する顔領域検出部を備え、
    前記顔領域設定部は、前記検出顔領域の大きさと位置と傾きとの少なくとも１つを前記特定された大きさと位置と傾きとの少なくとも１つに一致させた領域を、前記顔領域として設定する、画像処理装置。
13. 請求項３ないし請求項６のいずれかに記載の画像処理装置であって、さらに、
    検出された前記器官領域に基づき、推定された前記対象画像における顔の画像の向きに応じた所定の方法で、前記対象画像における顔の画像を含む顔領域を設定する顔領域設定部を備え、
    前記顔領域設定部は、前記参照幅と前記参照高さとに基づき、前記顔領域の大きさを特定する、画像処理装置。
14. 請求項１３に記載の画像処理装置であって、
    前記顔領域設定部は、前記参照幅に所定の係数を乗じて前記顔領域の幅を特定し、
    推定された前記対象画像における顔の画像の向きが右振りまたは左振りである場合に用いられる前記所定の係数の値は、正面向きである場合に用いられる前記所定の係数の値と比較して、大きい、画像処理装置。
15. 請求項１３に記載の画像処理装置であって、
    前記顔領域設定部は、前記参照高さに所定の係数を乗じて前記顔領域の高さを特定し、
    推定された前記対象画像における顔の画像の向きが上振りまたは下振りである場合に用いられる前記所定の係数の値は、正面向きである場合に用いられる前記所定の係数の値と比較して、大きい、画像処理装置。
16. 請求項１０ないし請求項１５のいずれかに記載の画像処理装置であって、さらに、
    設定された前記顔領域に基づき処理対象領域を設定し、前記処理対象領域を対象に所定の画像処理を行う画像処理部を備える、画像処理装置。
17. 請求項１ないし請求項１６のいずれかに記載の画像処理装置であって、
    前記器官領域検出部は、検出された前記器官領域について、顔の器官の画像を含む領域であることの確からしさを表す信頼度指標を設定する信頼度設定部を含み、
    前記顔向き推定部は、検出された前記器官領域の内、前記信頼度指標の値が所定の閾値より大きい前記器官領域のみに基づき、前記対象画像における顔の画像の向きを推定する、画像処理装置。
18. 画像処理方法であって、
    （ａ）対象画像における顔の器官の画像を含む領域を器官領域として検出する工程と、
    （ｂ）検出された前記器官領域に基づき、前記対象画像における顔の画像の向きを推定する工程と、を備える、画像処理方法。
19. 画像処理のためのコンピュータプログラムであって、
    対象画像における顔の器官の画像を含む領域を器官領域として検出する器官領域検出機能と、
    検出された前記器官領域に基づき、前記対象画像における顔の画像の向きを推定する顔向き推定機能と、を、コンピュータに実現させる、コンピュータプログラム。

Images