JP2009055305A - 画像に情報を付加する画像処理 - Google Patents

Abstract

【課題】画像ファイルを用いて画像の特徴を容易に把握することを可能とする。
【解決手段】画像処理装置は、対象画像を解析して対象画像の特徴を表す特徴情報を生成する特徴情報生成部と、対象画像を表すデータを含む画像ファイルに特徴情報を付加する特徴情報付加部と、を備える。
【選択図】図１１

Description

本発明は、画像に所定の情報を付加する画像処理技術に関する。

デジタルスチルカメラ（以下「ＤＳＣ」とも呼ぶ）により生成される画像ファイルのフォーマットとして、画像そのものを表すデータの他に種々の付加情報を含むフォーマットが知られている（例えば特許文献１）。このようなフォーマットの一例としては、Ｅｘｉｆ（Exchangeable Image File Format）が挙げられる。このようなフォーマットに従った画像ファイルには、付加情報として、例えば、撮像時の絞り・シャッタースピード・焦点距離を表す情報や撮影シーン（例えばポートレートや夜景）の情報、撮影シーンに応じた画像自動補正量の情報等が含まれる。

特開２００２−３４４８８１

上記従来の画像ファイルに含まれる付加情報は画像そのものの特徴を表すものではない。例えば撮影シーンの情報は、画像生成時にユーザにより任意に設定された撮影シーンを表す情報であり、撮影結果としての画像の特徴を表すものではない。そのため、例えば画像ファイルに撮影シーンが「ポートレート」であることを示す付加情報が含まれている場合でも、当該画像ファイル内の画像が人物の顔の画像を含む画像であるとは限らない。

このように、従来の画像ファイルでは、付加情報に基づいて画像の特徴を把握することが困難であった。なお、このような問題はＤＳＣにより生成された画像ファイルに限らず、画像ファイル一般に共通の問題であった。

本発明は、上記の課題を解決するためになされたものであり、画像ファイルを用いて画像の特徴を容易に把握することを可能とする技術を提供することを目的とする。

上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。

［適用例１］画像処理装置であって、
対象画像を解析して、前記対象画像の特徴を表す特徴情報を生成する特徴情報生成部と、
前記対象画像を表すデータを含む画像ファイルに、前記特徴情報を付加する特徴情報付加部と、を備える、画像処理装置。

この画像処理装置では、対象画像が解析されて対象画像の特徴を表す特徴情報が生成され、対象画像を表すデータを含む画像ファイルに特徴情報が付加されるため、画像ファイルを用いて画像の特徴を容易に把握することができる。

［適用例２］適用例１に記載の画像処理装置であって、
前記特徴情報は、前記対象画像のみに依存する情報である、画像処理装置。

この画像処理装置では、対象画像のみに依存する情報としての特徴情報を含む画像ファイルを生成することができる。

［適用例３］適用例１または適用例２に記載の画像処理装置であって、
前記特徴情報は、前記対象画像に含まれる特定種類の被写体の位置を表す情報と、前記対象画像の少なくとも一部の領域における画素値の分布に関する指標値と、の少なくとも一方を含む、画像処理装置。

この画像処理装置では、画像ファイルを用いて、対象画像に含まれる特定種類の被写体の位置と、対象画像の少なくとも一部の領域における画素値の分布と、の少なくとも一方を把握することができる。

［適用例４］適用例１ないし適用例３のいずれかに記載の画像処理装置であって、さらに、
前記特徴情報を用いて、前記対象画像に対する所定の画像処理を実行する画像処理部を備え、
前記画像処理部は、前記対象画像を含む画像ファイルに前記特徴情報が付加されている場合には、付加された前記特徴情報を用いて前記所定の画像処理を実行する、画像処理装置。

この画像処理装置では、対象画像を含む画像ファイルに特徴情報が付加されている場合には、特徴情報の生成を省略することができ、画像処理の高速化を図ることができる。

［適用例５］適用例１ないし適用例３のいずれかに記載の画像処理装置であって、さらに、
前記特徴情報を用いて、前記対象画像の検索を行う画像検索部を備える、画像処理装置。

この画像処理装置では、特徴情報を用いて画像の検索を行うことにより、所定の特徴を有する画像を抽出することができる。

［適用例６］画像処理装置であって、
画像を表すデータと前記画像の特徴を表す特徴情報とを含む画像ファイルを取得する画像ファイル取得部と、
前記画像ファイルに含まれる前記特徴情報を用いて、前記画像に対する所定の画像処理を実行する画像処理部と、を備える、画像処理装置。

この画像処理装置では、画像の特徴を把握するための画像分析を行うことなく、画像ファイルに含まれる特徴情報により表される画像の特徴に応じた所定の画像処理を実行することができる。

［適用例７］画像処理装置であって、
画像を表すデータと前記画像の特徴を表す特徴情報とを含む画像ファイルを取得する画像ファイル取得部と、
前記画像ファイルに含まれる前記特徴情報を用いて、前記画像の検索を行う画像検索部と、を備える、画像処理装置。

この画像処理装置では、画像の特徴を把握するための画像分析を行うことなく、画像ファイルに含まれる特徴情報により表される画像の特徴を用いて画像の検索を実行することができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、画像生成方法および装置、印刷方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．実施例：
Ａ−１．画像処理装置の構成：
Ａ−２．顔形状補正印刷処理：
Ａ−３．変形処理：
Ｂ．変形例：

Ａ．実施例：
Ａ−１．画像処理装置の構成：
図１は、本発明の実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。本実施例のプリンタ１００は、メモリカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。プリンタ１００は、プリンタ１００の各部を制御するＣＰＵ１１０と、例えばＲＯＭやＲＡＭによって構成された内部メモリ１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンタエンジン１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンタ１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピュータ）とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンタ１００の各構成要素は、バスを介して互いに接続されている。

プリンタエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリカードＭＣにＲＧＢデータとしての画像データを含む画像ファイルが格納されている。この画像ファイルは、例えばデジタルスチルカメラ等の撮像装置によりＥｘｉｆ（Exchangeable Image File Format）規格に則って生成されたファイルであり、撮像により生成された画像データの他に、撮像時の絞り・シャッタースピード・レンズの焦点距離等の付加情報を含んでいる。プリンタ１００は、カードインターフェース１７０を介してメモリカードＭＣに格納された画像ファイルの取得を行う。

内部メモリ１２０には、顔形状補正部２００と、表示処理部３１０と、印刷処理部３２０とが格納されている。顔形状補正部２００は、所定のオペレーティングシステムの下で、後述する顔形状補正処理を実行するためのコンピュータプログラムである。表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ等を表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンタエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１０は、内部メモリ１２０から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。

顔形状補正部２００は、プログラムモジュールとして、変形態様設定部２１０と、第１の顔領域設定部２２０と、第２の顔領域設定部２３０と、変形領域設定部２４０と、変形領域分割部２５０と、分割領域変形部２６０と、情報付加部２７０と、判定部２８０と、を含んでいる。また、第２の顔領域設定部２３０は、肌色値設定部２３２と、肌色画素検出部２３４と、を含んでいる。これらの各部の機能については、後述の顔形状補正印刷処理の説明において詳述する。なお、後述するように、変形領域設定部２４０と、変形領域分割部２５０と、分割領域変形部２６０と、により画像の変形処理が行われる。そのため、変形領域設定部２４０と変形領域分割部２５０と分割領域変形部２６０とは、併せて、画像の変形処理を行う「画像処理部」とも呼ぶことができる。

内部メモリ１２０には、また、分割点配置パターンテーブル４１０と分割点移動テーブル４２０とが格納されている。これらの内容についても、後述の顔形状補正印刷処理の説明において詳述する。

Ａ−２．顔形状補正印刷処理：
カードスロット１７２にメモリカードＭＣが挿入されると、表示処理部３１０により、メモリカードＭＣに格納された画像の一覧表示を含むユーザインターフェースが表示部１５０に表示される。図２は、画像の一覧表示を含むユーザインターフェースの一例を示す説明図である。図２に示すユーザインターフェースには、８つのサムネイル画像ＴＮ１〜ＴＮ８と、５つのボタンＢＮ１〜ＢＮ５が表示されている。なお、本実施例では、画像の一覧表示は、メモリカードＭＣに格納された画像ファイルに含まれるサムネイル画像を用いて実現される。

本実施例のプリンタ１００は、図２に示すユーザインターフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に通常印刷ボタンＢＮ３が選択されると、選択画像を通常通り印刷する通常印刷処理を実行する。他方、当該ユーザインターフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に顔形状補正印刷ボタンＢＮ４が選択されると、プリンタ１００は、選択画像について、選択画像中の顔の画像の形状を補正して補正後の画像を印刷する顔形状補正印刷処理を実行する。図２の例では、サムネイル画像ＴＮ１と顔形状補正印刷ボタンＢＮ４とが選択されているため、プリンタ１００は、サムネイル画像ＴＮ１に対応する画像について顔形状補正印刷処理を行う。

図３は、本実施例のプリンタ１００による顔形状補正印刷処理の流れを示すフローチャートである。ステップＳ１００では、顔形状補正部２００（図１）が、顔形状補正処理を実行する。本実施例の顔形状補正処理は、画像中の顔の少なくとも一部の形状（例えば顔の輪郭形状や目の形状）を補正する処理である。なお、目や眉、鼻や口などの顔の一部分は、一般に器官とも呼ばれる。

図４は、本実施例における顔形状補正処理（図３のステップＳ１００）の流れを示すフローチャートである。ステップＳ１１０では、顔形状補正部２００（図１）が、顔形状補正処理の対象となる対象画像ＴＩを設定する。顔形状補正部２００は、図２に示したユーザインターフェースにおいてユーザにより選択されたサムネイル画像ＴＮ１に対応する画像を対象画像ＴＩとして設定する。設定された対象画像ＴＩを表す画像データ（以下「対象画像データＴＩＤ」とも呼ぶ）を含む画像ファイル（以下「対象画像ファイルＴＩＦ」とも呼ぶ）は、メモリカードＭＣからカードインターフェース１７０を介してプリンタ１００に取得され、内部メモリ１２０の所定領域に格納される。

ステップＳ１２０（図４）では、変形態様設定部２１０（図１）が、顔形状補正のための画像変形の態様（変形のタイプおよび度合い）を設定する。変形態様設定部２１０は、画像変形のタイプおよび度合いを設定するためのユーザインターフェースを表示部１５０に表示するように表示処理部３１０に指示し、当該ユーザインターフェースを通じてユーザにより指定された画像変形のタイプおよび度合いを、処理に使用する画像変形タイプおよび度合いとして設定する。

図５は、画像変形のタイプおよび度合いを設定するためのユーザインターフェースの一例を示す説明図である。図５に示すように、このユーザインターフェースには、画像変形タイプを設定するためのインターフェースが含まれている。本実施例では、例えば、顔の形状をシャープにする変形タイプ「タイプＡ」や、目の形状を大きくする変形タイプ「タイプＢ」等が選択肢として予め設定されているものとする。ユーザは、このインターフェースを介して画像変形のタイプを指定する。変形態様設定部２１０は、ユーザにより指定された画像変形タイプを、実際の処理に使用する画像変形タイプとして設定する。

また、図５に示すユーザインターフェースには、画像変形の度合い（程度）を設定するためのインターフェースが含まれている。図５に示すように、本実施例では、画像変形の度合いとして、強（Ｓ）、中（Ｍ）、弱（Ｗ）の３段階の選択肢が予め設定されているものとする。ユーザは、このインターフェースを介して画像変形の度合いを指定する。変形態様設定部２１０は、指定された画像変形の度合いを、実際の処理に使用する画像変形の度合いとして設定する。

以降では、画像変形のタイプとして顔の形状をシャープにするための変形タイプ「タイプＡ」が設定され、画像変形の度合い（変形量）として「中程度（Ｍ）」が選択されたものとして説明を行う。

ステップＳ１３０（図４）では、第１の顔領域設定部２２０（図１）が、対象画像ＴＩにおける第１の顔領域ＦＡ１の設定を行う。ここで、第１の顔領域ＦＡ１は、対象画像ＴＩにおける画像領域であって、少なくとも顔の一部の画像を含む領域である。

図６は、第１の顔領域設定処理（図４のステップＳ１３０）の流れを示すフローチャートである。ステップＳ１３１では、第１の顔領域設定部２２０（図１）が、対象画像ファイルＴＩＦが顔領域位置情報ＰＩを有しているかを判定する。顔領域位置情報ＰＩについては後述する。

ステップＳ１３１において対象画像ファイルＴＩＦが顔領域位置情報ＰＩを有していないと判定された場合には、第１の顔領域設定部２２０が、対象画像ＴＩを解析して顔の画像を含むと想定される領域を検出する（図６のステップＳ１３２）。第１の顔領域設定部２２０による顔の画像を含むと想定される領域の検出は、例えばテンプレートを利用したパターンマッチングによる方法（特開２００６−２７９４６０参照）といった公知の検出方法を用いて実行される。このようなテンプレートを利用したパターンマッチングによる方法は、一般に、顔の器官（目、眉、鼻、口等）の画像の位置に基づいて、対象画像ＴＩ中から顔の画像が概ね含まれると考えられる領域を検出するものである。

ステップＳ１３３（図６）では、第１の顔領域設定部２２０が、ステップＳ１３２で検出された領域を、第１の顔領域ＦＡ１として設定する。図７は、第１の顔領域ＦＡ１の設定結果の一例を示す説明図である。図７の例では、対象画像ＴＩに人物Ｐ１と人物Ｐ２との２人の顔の画像が含まれているため、図７に示すように、人物Ｐ１と人物Ｐ２とのそれぞれに対応した２つの第１の顔領域ＦＡ１が設定される。この第１の顔領域ＦＡ１は、両目と鼻と口の画像を含む矩形の領域となっている。なお、対象画像ＴＩにおける第１の顔領域ＦＡ１の位置は、例えば第１の顔領域ＦＡ１の４つの頂点の座標により特定される。また、第１の顔領域ＦＡ１の向きが固定されている場合（例えば第１の顔領域ＦＡ１の縦方向および横方向の外周辺は、それぞれ対象画像ＴＩの縦方向および横方向の外周辺と平行であるものと定められている場合）には、第１の顔領域ＦＡ１の位置が、第１の顔領域ＦＡ１の対角線上の２つの頂点の座標により特定されるとしてもよい。

ステップＳ１３４（図６）では、情報付加部２７０（図１）が、対象画像ファイルＴＩＦに第１の顔領域ＦＡ１の位置を特定する顔領域位置情報ＰＩを付加する。図８は、顔領域位置情報ＰＩが付加された対象画像ファイルＴＩＦを概念的に示す説明図である。図８に示すように、対象画像ファイルＴＩＦは、対象画像ＴＩを表す対象画像データＴＩＤの他に、付加情報ＡＩ（例えば、撮像時の絞り・シャッタースピード・レンズの焦点距離等）を含んでいる。情報付加部２７０は、顔領域位置情報ＰＩを、付加情報ＡＩの１つとして対象画像ファイルＴＩＦに付加する。図８に示すように、顔領域位置情報ＰＩは、対象画像ＴＩ中の２つの第１の顔領域ＦＡ１（ＦＡ１（１）およびＦＡ１（２））の位置を、４つの頂点の座標により特定する情報となっている。

なお、顔領域位置情報ＰＩは、対象画像ＴＩ中の顔の画像を含むと想定される領域（第１の顔領域ＦＡ１）の位置を特定する情報である。すなわち、顔領域位置情報ＰＩは、対象画像ＴＩにおいて、いくつの顔画像がどの位置に存在するかを示す情報であり、対象画像ＴＩの特徴を表す特徴情報であると言える。そのため、第１の顔領域設定部２２０は、本発明における特徴情報を生成する特徴情報生成部として機能し、情報付加部２７０は、本発明における特徴情報を付加する特徴情報付加部として機能すると言える。

また、顔領域位置情報ＰＩは、特定の用途（例えば後述の変形処理（図４のステップＳ１６０））にのみ使用される情報ではなく、汎用的に使用されうる情報である。すなわち、顔領域位置情報ＰＩは、特定の用途からは独立した情報であって、対象画像ＴＩのみに依存する情報であると言える。

ステップＳ１３１（図６）において、対象画像ファイルＴＩＦが顔領域位置情報ＰＩを有していると判定された場合には、第１の顔領域設定部２２０（図１）が、顔領域位置情報ＰＩにより特定される領域を第１の顔領域ＦＡ１として設定する（ステップＳ１３５）。例えば対象画像ＴＩを対象とした顔形状補正印刷処理が過去に実行されていた場合には、対象画像ファイルＴＩＦが顔領域位置情報ＰＩを有している。従って、この場合には、あらためて顔検出処理（図６のステップＳ１３２）が実行される必要はなく、対象画像ファイルＴＩＦの有する顔領域位置情報ＰＩを用いて第１の顔領域ＦＡ１が設定される。

なお、図６のステップＳ１３２において、顔の画像を含むと想定される領域が検出されなかった場合には、その旨が表示部１５０を通じてユーザに通知される。この場合には、顔形状補正を伴わない通常印刷が行われるとしてもよいし、他の検出方法を用いた再度の検出処理が行われるとしてもよい。

ステップＳ１４０（図４）では、第２の顔領域設定部２３０（図１）が、対象画像ＴＩにおける第２の顔領域ＦＡ２の設定を行う。第２の顔領域ＦＡ２は、第１の顔領域ＦＡ１と同様に、対象画像ＴＩにおける画像領域であって、少なくとも顔の一部の画像を含む領域である。第２の顔領域ＦＡ２は、図４のステップＳ１３０で設定された第１の顔領域ＦＡ１毎に設定される。すなわち、本実施例では２つの第１の顔領域ＦＡ１が設定されているため（図７参照）、２つの第１の顔領域ＦＡ１に対応した２つの第２の顔領域ＦＡ２が設定される。

図９は、本実施例における第２の顔領域設定処理（図４のステップＳ１４０）の流れを示すフローチャートである。ステップＳ１４１では、第２の顔領域設定部２３０（図１）が、対象画像ファイルＴＩＦが顔領域画素値情報ＶＩを有しているかを判定する。顔領域画素値情報ＶＩについては後述する。

ステップＳ１４１において対象画像ファイルＴＩＦが顔領域画素値情報ＶＩを有していないと判定された場合には、第２の顔領域設定部２３０が、対象画像ＴＩの第１の顔領域ＦＡ１内の画素値の分布を分析する（図９のステップＳ１４２）。図１０は、画素値の分布の分析結果の一例を示す説明図である。第２の顔領域設定部２３０は、設定された第１の顔領域ＦＡ１毎に、第１の顔領域ＦＡ１に含まれる画素のＲ値、Ｇ値、Ｂ値毎のヒストグラムを作成し、Ｒ値、Ｇ値、Ｂ値毎の平均値（それぞれ「Ｒａ」、「Ｇａ」、「Ｂａ」と表す）や最大値、最小値を求める。

ステップＳ１４３（図９）では、情報付加部２７０（図１）が、対象画像ファイルＴＩＦに第１の顔領域ＦＡ１における画素値の分布に関する指標値である顔領域画素値情報ＶＩを付加する。図１１は、顔領域画素値情報ＶＩが付加された対象画像ファイルＴＩＦを概念的に示す説明図である。図１１に示すように、顔領域画素値情報ＶＩは、顔領域位置情報ＰＩと同様に、対象画像ファイルＴＩＦに付加情報ＡＩの１つとして付加される。図１１に示すように、顔領域画素値情報ＶＩは、対象画像ＴＩ中の２つの第１の顔領域ＦＡ１（ＦＡ１（１）およびＦＡ１（２））内の画素について、Ｒ値、Ｇ値、Ｂ値毎に、平均値（Ｒａ、Ｇａ、Ｂａ）、最大値（「Ｒｍａｘ」、「Ｇｍａｘ」、「Ｂｍａｘ」と表す）、最小値（「Ｒｍｉｎ」、「Ｇｍｉｎ」、「Ｂｍｉｎ」と表す）を示す情報となっている。

なお、顔領域画素値情報ＶＩは、対象画像ＴＩ中の第１の顔領域ＦＡ１内の画素値の分布を表す情報である。すなわち、顔領域画素値情報ＶＩは、対象画像ＴＩにおいて、第１の顔領域ＦＡ１の色の傾向を示す情報であり、対象画像ＴＩの特徴を表す特徴情報であると言える。そのため、第２の顔領域設定部２３０は、本発明における特徴情報を生成する特徴情報生成部として機能し、情報付加部２７０は、本発明における特徴情報を付加する特徴情報付加部として機能すると言える。

また、顔領域画素値情報ＶＩは、特定の用途（例えば後述の変形処理（図４のステップＳ１６０））にのみ使用される情報ではなく、汎用的に使用されうる情報である。すなわち、顔領域画素値情報ＶＩは、特定の用途からは独立した情報であって、対象画像ＴＩのみに依存する情報であると言える。

ステップＳ１４１（図９）において、対象画像ファイルＴＩＦが顔領域画素値情報ＶＩを有していると判定された場合には、図９のステップＳ１４２および１４３はスキップされる。例えば対象画像ＴＩを対象とした顔形状補正印刷処理が過去に実行されていた場合には、対象画像ファイルＴＩＦが顔領域画素値情報ＶＩを有している。従って、この場合には、あらためて画素値の分布の分析（図９のステップＳ１４２）が実行される必要はない。

ステップＳ１４４（図９）では、肌色値設定部２３２（図１）が、肌色値の範囲を設定する。肌色値の範囲は、対象画像ＴＩにおいて、肌を表すと想定される画素の画素値の範囲である。本実施例では、対象画像データＴＩＤがＲＧＢデータであるため、肌色値の範囲は、Ｒ値、Ｇ値、Ｂ値の組み合わせの範囲として設定される。また、肌色値の範囲の設定は第１の顔領域ＦＡ１毎に実行される。

本実施例では、図１０に示すように、第１の顔領域ＦＡ１に含まれる画素のＲ値、Ｇ値、Ｂ値毎のヒストグラムにおいて、平均値（Ｒａ、Ｇａ、Ｂａ）を中心とした所定の範囲（図１０のＳｒ、Ｓｇ、Ｓｂ）を肌色値の範囲として設定する。このようにして、対象画像ＴＩに含まれる人物の画像毎に、肌色値の範囲が設定される。

ステップＳ１４５（図９）では、第２の顔領域設定部２３０（図１）が、探索領域ＳＡを設定する。図１２は、探索領域ＳＡの設定結果の一例を示す説明図である。本実施例では、探索領域ＳＡは、第１の顔領域ＦＡ１と第１の顔領域ＦＡ１の周辺の領域とを含む領域として設定される。具体的には、第１の顔領域ＦＡ１を縦方向および横方向にそれぞれ例えば２倍の倍率で拡大した領域が、探索領域ＳＡとして設定される。探索領域ＳＡは、頭部のほぼ全体の画像が含まれる領域として設定されることが好ましく、探索領域ＳＡがそのように設定されるように、上記倍率が予め設定される。

ステップＳ１４６（図９）では、肌色画素検出部２３４（図１）が、探索領域ＳＡから肌色画素を検出する。肌色画素は、ステップＳ１４４で設定された肌色値の範囲に含まれる画素値（Ｒ値、Ｇ値、Ｂ値の組み合わせ）を有する画素である。肌色画素検出部２３４は、探索領域ＳＡに含まれる画素の画素値を順次調べ、画素値が肌色値の範囲に含まれる画素を肌色画素として検出する。

ステップＳ１４７（図９）では、第２の顔領域設定部２３０（図１）が、第２の顔領域ＦＡ２を設定する。図１３は、第２の顔領域ＦＡ２の設定結果の一例を示す説明図である。第２の顔領域設定部２３０は、ステップＳ１４６で検出された肌色画素のすべてを含むような矩形の領域を第２の顔領域ＦＡ２として設定する。なお、第２の顔領域ＦＡ２は、第１の顔領域ＦＡ１と同様に、人物の画像毎に設定される。

以上説明したように第２の顔領域ＦＡ２を設定すると、第２の顔領域ＦＡ２は、人物の頭部の肌色部分の画像をほぼ包含するような矩形の領域となる。そのため、本実施例では、顔全体の画像を包含する領域として、第１の顔領域ＦＡ１より精度の高い第２の顔領域ＦＡ２を設定することが可能となる。また、本実施例では、第１の顔領域ＦＡ１内の画素の画素値に基づき肌色値の範囲が設定され、当該肌色値の範囲に含まれる画素値を有する画素が肌色画素として検出される。そのため、人物の肌の色の相違に関わらず、精度の高い第２の顔領域ＦＡ２を設定することが可能となる。

ここで、図１３に示すように、ほぼ正面向きの人物（図１３のＰ１）の顔の画像については、第２の顔領域ＦＡ２は、第１の顔領域ＦＡ１を上下左右にそれぞれほぼ均等に拡大した領域となる。一方、正面向きからの向きのずれ（以下「振り」とも呼ぶ）がある程度大きい人物（図１３のＰ２）の顔の画像については、第２の顔領域ＦＡ２は、第１の顔領域ＦＡ１を上下左右にそれぞれほぼ均等に拡大した領域とはならず、第１の顔領域ＦＡ１を偏った方向に大きく拡大した領域となる。例えば図１３に示す例の場合、人物Ｐ２の顔の画像は向かって右方向への振りが大きいため、第２の顔領域ＦＡ２は、人物Ｐ２の右横顔部分の画像を含むように、第１の顔領域ＦＡ１を向かって左方向に大きく拡大した領域となっている。

ステップＳ１５０（図４）では、判定部２８０（図１）が、顔形状補正のための変形処理（図４のステップＳ１６０）の実行可否を判定する。図１４は、変形処理の実行可否の判定方法を示す説明図である。本実施例の変形処理は、後述するように、ほぼ正面向きの人物の顔の画像を対象とすることを前提としており、振りのある程度大きい人物の顔の画像に適用した場合には、処理後の画像が不自然なものとなるおそれがある。そのため、判定部２８０は、各人物の顔の画像について振りが大きいか否かを判定し、振りが大きい顔の画像については変形処理の実行は不可であると判定する。

具体的には、判定部２８０は、第１の顔領域ＦＡ１の中心Ｃ１と第２の顔領域ＦＡ２との中心Ｃ２との間の距離Ｄｃが所定の閾値Ｔｈ以下の場合には振りが小さいと判定し、距離Ｄｃが所定の閾値Ｔｈより大きい場合には振りが大きいと判定する。これは、振りが大きい顔の画像については、第２の顔領域ＦＡ２が、第１の顔領域ＦＡ１を偏った方向に大きく拡大した領域として設定されるからである。図１４の例では、人物Ｐ１の顔の画像については、振りが小さいため変形処理実行可と判定され、人物Ｐ２の顔の画像については、振りが大きいため変形処理実行不可と判定されている。このようにすれば、不自然な結果を招く変形処理の実行が回避される。

ステップＳ１６０（図４）では、変形処理が実行される。ステップＳ１６０における変形処理は、ステップＳ１５０で変形処理実行可と判定された顔の画像のみを対象に実行される。変形処理の具体的方法については、後述の「Ａ−３．変形処理」において詳述する。

顔形状補正処理（図４）が終了すると、図３のフローチャートに戻り、顔形状補正部２００（図１）が、顔形状補正後の対象画像ＴＩを表示部１５０に表示するよう表示処理部３１０に指示する（ステップＳ２００）。図１５は、顔形状補正後の対象画像ＴＩが表示された表示部１５０の状態の一例を示す説明図である。顔形状補正後の対象画像ＴＩが表示された表示部１５０により、ユーザは、補正結果を確認することができる。ユーザが補正結果に満足せず「戻る」ボタンを選択すると、例えば表示部１５０に図５に示した変形タイプおよび変形度合いを選択する画面が表示され、ユーザによる変形タイプ・変形度合いの再度の設定が実行される。

ユーザが補正結果に満足し、「印刷」ボタンを選択すると、印刷処理部３２０（図１）が、プリンタエンジン１６０を制御して、顔形状補正処理後の対象画像ＴＩの印刷を行う（図３のステップＳ３００）。印刷処理部３２０は、顔形状補正処理後の対象画像ＴＩの画像データに、解像度変換やハーフトーン処理などの処理を施して印刷データを生成する。生成された印刷データは、印刷処理部３２０からプリンタエンジン１６０に供給され、プリンタエンジン１６０は対象画像ＴＩの印刷を実行する。これにより、顔形状補正後の対象画像ＴＩの印刷が完了する。

以上説明したように、本実施例のプリンタ１００による顔形状補正処理（図４）では、第１の顔領域ＦＡ１の設定（図６）において、対象画像ファイルＴＩＦが顔領域位置情報ＰＩを有していない場合には、顔検出処理（図６のステップＳ１３２）が行われた後、対象画像ファイルＴＩＦに顔領域位置情報ＰＩが付加される。そのため、同じ対象画像ファイルＴＩＦについて顔形状補正処理が再度実行される場合には、顔領域位置情報ＰＩを利用することによって顔検出処理を省略することができる。同様に、第２の顔領域ＦＡ２の設定（図９）において、対象画像ファイルＴＩＦが顔領域画素値情報ＶＩを有していない場合には、画素値分布分析処理（図９のステップＳ１４２）が行われた後、対象画像ファイルＴＩＦに顔領域画素値情報ＶＩが付加される。そのため、同じ対象画像ファイルＴＩＦについて顔形状補正処理が再度実行される場合には、顔領域画素値情報ＶＩを利用することによって画素値分布分析処理を省略することができる。従って、本実施例のプリンタ１００では、顔形状補正処理の高速化を図ることができる。また、同じ対象画像ファイルＴＩＦについて複数回の顔形状補正処理が行われた場合に、同じ結果を得ることができる。

Ａ−３．変形処理：
図１６は、変形処理（図４のステップＳ１６０）の流れを示すフローチャートである。ステップＳ１６２では、変形領域設定部２４０が変形領域ＴＡを設定する。変形領域ＴＡは、対象画像ＴＩ上の領域であって顔形状補正のための画像変形処理の対象となる領域である。図１７は、変形領域ＴＡの設定方法の一例を示す説明図である。図１７には、変形処理を実行する対象としての人物Ｐ１の顔の画像に対応した第１の顔領域ＦＡ１が示されている（図７参照）。図１７に示した基準線ＲＬは、第１の顔領域ＦＡ１の高さ方向（上下方向）を定義すると共に、第１の顔領域ＦＡ１の幅方向（左右方向）の中心を示す線である。すなわち、基準線ＲＬは、矩形の第１の顔領域ＦＡ１の重心を通り、第１の顔領域ＦＡ１の高さ方向（上下方向）に沿った境界線に平行な直線である。

図１７に示すように、本実施例では、変形領域ＴＡは、第１の顔領域ＦＡ１を基準線ＲＬと平行な方向（高さ方向）および基準線ＲＬに直行する方向（幅方向）に伸張（または短縮）した領域として設定される。具体的には、第１の顔領域ＦＡ１の高さ方向の大きさをＨｆ、幅方向の大きさをＷｆとすると、第１の顔領域ＦＡ１を、上方向にｋ１・Ｈｆ、下方向にｋ２・Ｈｆだけ伸ばすと共に、左右にそれぞれｋ３・Ｗｆだけ伸ばした領域が、変形領域ＴＡとして設定される。なお、ｋ１，ｋ２，ｋ３は、所定の係数である。

このように変形領域ＴＡが設定されると、第１の顔領域ＦＡ１の高さ方向の輪郭線に平行な直線である基準線ＲＬは、変形領域ＴＡの高さ方向の輪郭線にも平行な直線となる。また、基準線ＲＬは、変形領域ＴＡの幅を半分に分割する直線となる。

図１７に示すように、変形領域ＴＡは、高さ方向に関しては、概ね顎から額までの画像を含み、幅方向に関しては、左右の頬の画像を含むような領域として設定される。すなわち、本実施例では、変形領域ＴＡが概ねそのような範囲の画像を含む領域となるように、第１の顔領域ＦＡ１の大きさとの関係に基づき、上述の係数ｋ１，ｋ２，ｋ３が予め設定されている。

ステップＳ１６４では、変形領域分割部２５０（図１）が、変形領域ＴＡを複数の小領域に分割する。図１８は、変形領域ＴＡの小領域への分割方法の一例を示す説明図である。変形領域分割部２５０は、変形領域ＴＡに複数の分割点Ｄを配置し、分割点Ｄを結ぶ直線を用いて変形領域ＴＡを複数の小領域に分割する。

分割点Ｄの配置の態様（分割点Ｄの個数および位置）は、分割点配置パターンテーブル４１０（図１）により、図４のステップＳ１２０において設定される変形タイプと対応付けて定義されている。変形領域分割部２５０は、分割点配置パターンテーブル４１０を参照し、ステップＳ１２０において設定された変形タイプと対応付けられた態様で分割点Ｄを配置する。本実施例では、上述したように、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定されているため、この変形タイプに対応付けられた態様で分割点Ｄが配置される。

図１８に示すように、分割点Ｄは、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに配置される。ここで、水平分割線Ｌｈおよび垂直分割線Ｌｖは、変形領域ＴＡ内に分割点Ｄを配置するための基準となる線である。図１８に示すように、顔をシャープにするための変形タイプに対応付けられた分割点Ｄの配置では、基準線ＲＬと直行する２本の水平分割線Ｌｈと、基準線ＲＬに平行な４本の垂直分割線Ｌｖとが設定される。２本の水平分割線Ｌｈを、変形領域ＴＡの下方から順に、Ｌｈ１，Ｌｈ２と呼ぶ。また、４本の垂直分割線Ｌｖを、変形領域ＴＡの左から順に、Ｌｖ１，Ｌｖ２，Ｌｖ３，Ｌｖ４と呼ぶ。

水平分割線Ｌｈ１は、変形領域ＴＡにおいて、顎の画像より下方に配置され、水平分割線Ｌｈ２は、目の画像のすぐ下付近に配置される。また、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。なお、水平分割線Ｌｈおよび垂直分割線Ｌｖの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖと画像との位置関係が結果的に上述の位置関係となるように予め設定された変形領域ＴＡの大きさとの対応関係に従い実行される。

上述した水平分割線Ｌｈと垂直分割線Ｌｖとの配置に従い、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに、分割点Ｄが配置される。図１８に示すように、水平分割線Ｌｈｉ（ｉ＝１または２）上に位置する分割点Ｄを、左から順に、Ｄ０ｉ，Ｄ１ｉ，Ｄ２ｉ，Ｄ３ｉ，Ｄ４ｉ，Ｄ５ｉと呼ぶものとする。例えば、水平分割線Ｌｈ１上に位置する分割点Ｄは、Ｄ０１，Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１，Ｄ５１と呼ばれる。同様に、垂直分割線Ｌｖｊ（ｊ＝１，２，３，４のいずれか）上に位置する分割点Ｄを、下から順に、Ｄｊ０，Ｄｊ１，Ｄｊ２，Ｄｊ３と呼ぶものとする。例えば、垂直分割線Ｌｖ１上に位置する分割点Ｄは、Ｄ１０，Ｄ１１，Ｄ１２，Ｄ１３と呼ばれる。

なお、図１８に示すように、本実施例における分割点Ｄの配置は、基準線ＲＬに対して対称の配置となっている。

変形領域分割部２５０は、配置された分割点Ｄを結ぶ直線（すなわち水平分割線Ｌｈおよび垂直分割線Ｌｖ）により、変形領域ＴＡを複数の小領域に分割する。本実施例では、図１８に示すように、変形領域ＴＡが１５個の矩形の小領域に分割される。

なお本実施例では、分割点Ｄの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置により定まるため、分割点配置パターンテーブル４１０は水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置を定義していると言い換えることも可能である。

ステップＳ１６６（図１６）では、分割領域変形部２６０（図１）が、対象画像ＴＩの変形領域ＴＡを対象とした画像の変形処理を行う。分割領域変形部２６０による変形処理は、ステップＳ１６４で変形領域ＴＡ内に配置された分割点Ｄの位置を移動して、小領域を変形することにより行われる。

変形処理のための各分割点Ｄの位置の移動態様（移動方向および移動距離）は、分割点移動テーブル４２０（図１）により、図４のステップＳ１２０において設定される変形タイプと変形の度合いとの組み合わせに対応付けて、予め定められている。分割領域変形部２６０は、分割点移動テーブル４２０を参照し、ステップＳ１２０において設定された変形タイプと変形の度合いとの組み合わせに対応付けられた移動方向および移動距離で、分割点Ｄの位置を移動する。

本実施例では、上述したように、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定され、変形度合いとして程度「中」の度合いが設定されているため、これらの変形タイプおよび変形度合いの組み合わせに対応付けられた移動方向および移動距離で、分割点Ｄの位置が移動されることとなる。

図１９は、分割点移動テーブル４２０の内容の一例を示す説明図である。また図２０は、分割点移動テーブル４２０に従った分割点Ｄの位置の移動の一例を示す説明図である。図１９には、分割点移動テーブル４２０により定義された分割点Ｄの位置の移動態様の内、顔をシャープにするための変形タイプと程度「中」の変形度合いとの組み合わせに対応付けられた移動態様を示している。図１９に示すように、分割点移動テーブル４２０には、各分割点Ｄについて、基準線ＲＬと直行する方向（Ｈ方向）および基準線ＲＬと平行な方向（Ｖ方向）に沿った移動量が示されている。なお、本実施例では、分割点移動テーブル４２０に示された移動量の単位は、対象画像ＴＩの画素ピッチＰＰである。また、Ｈ方向については、向かって右側への移動量が正の値として表され、向かって左側への移動量が負の値として表され、Ｖ方向については、上方への移動量が正の値として表され、下方への移動量が負の値として表される。例えば、分割点Ｄ１１は、Ｈ方向に沿って右側に画素ピッチＰＰの７倍の距離だけ移動され、Ｖ方向に沿って上方に画素ピッチＰＰの１４倍の距離だけ移動される。また、例えば分割点Ｄ２２は、Ｈ方向およびＶ方向共に移動量がゼロであるため、移動されない。

なお、本実施例では、変形領域ＴＡの内外の画像間の境界が不自然とならないように、変形領域ＴＡの外枠上に位置する分割点Ｄ（例えば図１８に示す分割点Ｄ１０等）の位置は移動されないものとしている。従って、図１９に示した分割点移動テーブル４２０には、変形領域ＴＡの外枠上に位置する分割点Ｄについての移動態様は定義されていない。

図２０では、移動前の分割点Ｄは白抜きの丸で、移動後の分割点Ｄや位置の移動の無い分割点Ｄは黒丸で示されている。また、移動後の分割点Ｄは分割点Ｄ’と呼ばれるものとする。例えば分割点Ｄ１１の位置は、図２０において右上方向に移動され、分割点Ｄ’１１となる。

なお、本実施例では、基準線ＲＬに対して対称な位置関係にある２つの分割点Ｄの組み合わせ（例えば分割点Ｄ１１とＤ４１との組み合わせ）のすべてが、分割点Ｄの移動後も、基準線ＲＬに対して対称な位置関係を維持するように、移動態様が定められている。

分割領域変形部２６０は、変形領域ＴＡを構成する各小領域について、分割点Ｄの位置移動前の状態における小領域の画像が、分割点Ｄの位置移動により新たに定義された小領域の画像となるように、画像の変形処理を行う。例えば、図２０において、分割点Ｄ１１，Ｄ２１，Ｄ２２，Ｄ１２を頂点とする小領域（ハッチングを付して示す小領域）の画像は、分割点Ｄ’１１，Ｄ’２１，Ｄ２２，Ｄ’１２を頂点とする小領域の画像に変形される。

図２１は、分割領域変形部２６０による画像の変形処理方法の概念を示す説明図である。図２１では、分割点Ｄを黒丸で示している。図２１では、説明を簡略化するために、４つの小領域について、左側に分割点Ｄの位置移動前の状態を、右側に分割点Ｄの位置移動後の状態を、それぞれ示している。図２１の例では、中央の分割点Ｄａが分割点Ｄａ’の位置に移動され、その他の分割点Ｄの位置は移動されない。これにより、例えば、分割点Ｄの移動前の分割点Ｄａ，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形前注目小領域ＢＳＡ」とも呼ぶ）の画像は、分割点Ｄａ’，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形後注目小領域ＡＳＡ」とも呼ぶ）の画像に変形される。

本実施例では、矩形の小領域を小領域の重心ＣＧを用いて４つの三角形領域に分割し、三角形領域単位で画像の変形処理を行っている。図２１の例では、変形前注目小領域ＢＳＡが、変形前注目小領域ＢＳＡの重心ＣＧを頂点の１つとする４つの三角形領域に分割される。同様に、変形後注目小領域ＡＳＡが、変形後注目小領域ＡＳＡの重心ＣＧ’を頂点の１つとする４つの三角形領域に分割される。そして、分割点Ｄａの移動前後のそれぞれの状態において対応する三角形領域毎に、画像の変形処理が行われる。例えば、変形前注目小領域ＢＳＡ中の分割点Ｄａ，Ｄｄおよび重心ＣＧを頂点とする三角形領域の画像が、変形後注目小領域ＡＳＡ中の分割点Ｄａ’，Ｄｄおよび重心ＣＧ’を頂点とする三角形領域の画像に変形される。

図２２は、三角形領域における画像の変形処理方法の概念を示す説明図である。図２２の例では、点ｓ，ｔ，ｕを頂点とする三角形領域ｓｔｕの画像が、点ｓ’，ｔ’，ｕ’を頂点とする三角形領域ｓ’ｔ’ｕ’の画像に変形される。画像の変形は、変形後の三角形領域ｓ’ｔ’ｕ’の画像中のある画素の位置が、変形前の三角形領域ｓｔｕの画像中のどの位置に相当するかを算出し、算出された位置における変形前の画像における画素値を変形後の画像の画素値とすることにより行う。

例えば、図２２において、変形後の三角形領域ｓ’ｔ’ｕ’の画像中の注目画素ｐ’の位置は、変形前の三角形領域ｓｔｕの画像中の位置ｐに相当するものとする。位置ｐの算出は、以下のように行う。まず、注目画素ｐ’の位置を、下記の式（１）のようにベクトルｓ’ｔ’とベクトルｓ’ｕ’との和で表現するための係数ｍ１およびｍ２を算出する。

次に、算出された係数ｍ１およびｍ２を用いて、下記の式（２）により、変形前の三角形領域ｓｔｕにおけるベクトルｓｔとベクトルｓｕとの和を算出することにより、位置ｐが求まる。

変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置に一致した場合には、当該画素の画素値が変形後の画像の画素値とされる。一方、変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置からはずれた位置となった場合には、位置ｐの周囲の画素の画素値を用いたバイキュービック等の補間演算により、位置ｐにおける画素値を算出し、算出された画素値が変形後の画像の画素値とされる。

変形後の三角形領域ｓ’ｔ’ｕ’の画像中の各画素について上述のように画素値を算出することにより、三角形領域ｓｔｕの画像から三角形領域ｓ’ｔ’ｕ’の画像への画像変形処理を行うことができる。分割領域変形部２６０は、図１８に示した変形領域ＴＡを構成する各小領域について、上述したように三角形領域を定義して変形処理を行い、変形領域ＴＡにおける画像変形処理を行う。

ここで、本実施例の顔形状補正の態様についてより詳細に説明する。図２３は、本実施例における顔形状補正の態様を示す説明図である。本実施例では、上述したように、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定され、変形度合いとして程度「中」の度合いが設定されている。図２３には、変形領域ＴＡを構成する各小領域の変形態様のイメージを矢印により示している。

図２３に示すように、本実施例の顔形状補正では、基準線ＲＬと平行な方向（Ｖ方向）に関し、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１）の位置は上方に移動される一方、水平分割線Ｌｈ２上に配置された分割点Ｄ（Ｄ１２，Ｄ２２，Ｄ３２，Ｄ４２）の位置は移動されない（図１９参照）。従って、水平分割線Ｌｈ１と水平分割線Ｌｈ２との間に位置する画像は、Ｖ方向に関して縮小される。上述したように、水平分割線Ｌｈ１は顎の画像より下方に配置され、水平分割線Ｌｈ２は目の画像のすぐ下付近に配置されるため、本実施例の顔形状補正では、顔の画像の内、顎から目の下にかけての部分の画像がＶ方向に縮小されることとなる。この結果、画像中の顎のラインは上方に移動する。

他方、基準線ＲＬと直行する方向（Ｈ方向）に関しては、垂直分割線Ｌｖ１上に配置された分割点Ｄ（Ｄ１１，Ｄ１２）の位置は右方向に移動され、垂直分割線Ｌｖ４上に配置された分割点Ｄ（Ｄ４１，Ｄ４２）の位置は左方向に移動される（図１９参照）。さらに、垂直分割線Ｌｖ２上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ２１）の位置は右方向に移動され、垂直分割線Ｌｖ３上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ３１）の位置は左方向に移動される（図１９参照）。従って、垂直分割線Ｌｖ１より左側に位置する画像は、Ｈ方向に関して右側に拡大され、垂直分割線Ｌｖ４より右側に位置する画像は、左側に拡大される。また、垂直分割線Ｌｖ１と垂直分割線Ｌｖ２との間に位置する画像は、Ｈ方向に関して縮小または右側に移動され、垂直分割線Ｌｖ３と垂直分割線Ｌｖ４との間に位置する画像は、Ｈ方向に関して縮小または左側に移動される。さらに、垂直分割線Ｌｖ２と垂直分割線Ｌｖ３との間に位置する画像は、水平分割線Ｌｈ１の位置を中心にＨ方向に関して縮小される。

上述したように、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。そのため、本実施例の顔形状補正では、顔の画像の内、両目尻より外側の部分の画像が全体的にＨ方向に縮小される。特に顎付近において縮小率が高くなる。この結果、画像中の顔の形状は、全体的に幅方向に細くなる。

上述したＨ方向およびＶ方向の変形態様を総合すると、本実施例の顔形状補正により、対象画像ＴＩ中の顔の形状がシャープになる。なお、顔の形状がシャープになるとは、いわゆる「小顔」になると表現することもできる。

なお、図２３に示す分割点Ｄ２２，Ｄ３２，Ｄ３３，Ｄ２３を頂点とする小領域（ハッチングを付した領域）は、上述した水平分割線Ｌｈ２や垂直分割線Ｌｖ２およびＬｖ３の配置方法によると、両目の画像を含む領域となる。図１９に示すように、分割点Ｄ２２およびＤ３２はＨ方向にもＶ方向にも移動されないため、この両目の画像を含む小領域は変形されない。このように本実施例では、両目の画像を含む小領域については変形しないこととし、顔形状補正後の画像がより自然で好ましいものとなるようにしている。

Ｂ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｂ１．変形例１：
上記実施例における顔領域位置情報ＰＩや顔領域画素値情報ＶＩの内容はあくまで一例であり、顔領域位置情報ＰＩや顔領域画素値情報ＶＩの内容が他の内容であるとしてもよい。例えば上記実施例では、顔領域画素値情報ＶＩに、対象画像ＴＩ中の第１の顔領域ＦＡ１内の画素についてのＲ値、Ｇ値、Ｂ値毎の平均値、最大値、最小値を表す情報が含まれているが、顔領域画素値情報ＶＩに、Ｒ値、Ｇ値、Ｂ値毎の標準偏差を示す情報や肌色値の範囲（図１０のＳｒ、Ｓｇ、Ｓｂ）を表す情報が含まれるとしてもよい。

また、対象画像ファイルＴＩＦに、顔領域位置情報ＰＩや顔領域画素値情報ＶＩ以外の対象画像ＴＩの特徴を表す情報が付加情報ＡＩとして付加されるとしてもよい。このような情報としては、例えば、対象画像ＴＩのエッジ量、各色域の代表値、各色の画素数の対象画像ＴＩ全体に占める割合、対象画像ＴＩを複数の領域に分割した際の各領域における代表値等が挙げられる。

Ｂ２．変形例２：
上記実施例では、対象画像ファイルＴＩＦに付加された顔領域位置情報ＰＩや顔領域画素値情報ＶＩが第１の顔領域ＦＡ１の設定（図６）や第２の顔領域ＦＡ２の設定（図９）に用いられているが、顔領域位置情報ＰＩや顔領域画素値情報ＶＩ等の対象画像ＴＩの特徴を表す情報は、他の用途にも利用可能である。例えば、プリンタ１００が画像の検索を行う画像検索部を有し、画像検索部が、対象画像ＴＩの特徴を表す情報を用いて画像の検索を行うとしてもよい。画像検索部は、例えば、顔領域位置情報ＰＩに２つの第１の顔領域ＦＡ１の位置を特定する情報が含まれた画像を探索することにより、２人の人物の顔の画像を含む画像を抽出することができる。また、画像検索部は、例えば、顔領域画素値情報ＶＩを参照することにより、特定の人種の人物の顔の画像を含む画像を抽出することができる。その他にも、画像検索部は、画像ファイルに付加された対象画像ＴＩの特徴を表す情報の内容に応じて、所定の特徴を有する画像を抽出することができる。

Ｂ３．変形例３：
上記実施例においてプリンタ１００により生成された特徴情報（顔領域位置情報ＰＩや顔領域画素値情報ＶＩ）が付加された画像ファイルは、プリンタ１００以外の装置により使用されるとしてもよい。例えば、パーソナルコンピュータが当該画像ファイルを取得し、当該画像ファイルに含まれる特徴情報を用いて、画像ファイルに含まれる画像データの表す画像に対する所定の画像処理を実行するとしてもよい。このようにすれば、パーソナルコンピュータにより特徴情報を用いた画像処理を行う際に、画像を分析して新たに特徴情報を生成することなく、画像ファイルに含まれる特徴情報を利用することができるため、処理の高速化を図ることができる。

また、パーソナルコンピュータが当該画像ファイルを取得し、当該画像ファイルに含まれる特徴情報を用いて、画像の検索を実行するとしてもよい。このようにすれば、パーソナルコンピュータにより特徴情報を用いた画像の検索を行う際に、画像を分析して新たに特徴情報を生成することなく、画像ファイルに含まれる特徴情報を利用することができるため、処理の高速化を図ることができる。

Ｂ４．変形例４：
上記実施例における第１の顔領域ＦＡ１、探索領域ＳＡ、第２の顔領域ＦＡ２、変形領域ＴＡの設定方法はあくまで一例であり、これらの領域を他の方法により設定することも可能である。例えば、第１の顔領域ＦＡ１は、必ずしも対象画像ＴＩの画像解析による顔の画像を含むと思われる領域検出を介して設定される必要はなく、ユーザによる位置の指定に基づき第１の顔領域ＦＡ１が設定されるとしてもよい。

また、探索領域ＳＡは、第１の顔領域ＦＡ１の周辺の画素を含む領域であればよく、第１の顔領域ＦＡ１自体を含む必要はない。この場合であっても、探索領域ＳＡにおいて肌色画素を検出し、検出された肌色画素のすべてを包含する矩形領域を第２の顔領域ＦＡ２として設定すればよい。

また、第２の顔領域ＦＡ２は、必ずしも、検出された肌色画素のすべてを包含する矩形領域である必要はなく、検出された肌色画素の一部を包含する矩形領域であってもよい。また、変形領域ＴＡは第１の顔領域ＦＡ１の代わりに第２の顔領域ＦＡ２に基づき設定されるとしてもよい。

また、第１の顔領域ＦＡ１、探索領域ＳＡ、第２の顔領域ＦＡ２、変形領域ＴＡは矩形の領域である必要はなく、矩形以外の多角形形状や円形形状の領域であってもよい。

Ｂ５．変形例５：
上記実施例では、変形処理実行可否の判定を行うために第２の顔領域ＦＡ２が設定されているが、第２の顔領域ＦＡ２は他の目的のために設定されるとしてもよい。例えば第２の顔領域ＦＡ２は、所定の画像処理を施す対象領域を決めるために設定されるとしてもよい。第２の顔領域ＦＡ２は、顔全体の画像を包含する領域として、第１の顔領域ＦＡ１より精度の高い領域である。従って、例えば第２の顔領域ＦＡ２を対象に肌色補正を行うことにより、第１の顔領域ＦＡ１を対象に肌色補正を行う場合と比較して、より好ましい肌色補正を実現することができる。このように、第２の顔領域ＦＡ２を設定することは、顔領域を再定義することであるとも言える。

Ｂ６．変形例６：
上記実施例では、画像処理装置としてのプリンタ１００による顔形状補正印刷処理（図３）を説明したが、顔形状補正印刷処理は例えば、顔形状補正と補正画像の表示（ステップＳ１００，Ｓ２００）がパーソナルコンピュータにより実行され、印刷処理（ステップＳ３００）のみがプリンタにより実行されるものとしてもよい。また、プリンタ１００はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。また、変形済画像データは、印刷に限らず、任意の用途に利用可能である。例えば、表示装置（例えば、プロジェクタ）による表示を採用してもよい。

Ｂ７．変形例７：
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、図１の変形領域分割部２５０と分割領域変形部２６０との全体の機能を、論理回路を有するハードウェア回路によって実現してもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。

本発明の実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。 画像の一覧表示を含むユーザインターフェースの一例を示す説明図である。 本実施例のプリンタ１００による顔形状補正印刷処理の流れを示すフローチャートである。 本実施例における顔形状補正処理の流れを示すフローチャートである。 画像変形のタイプおよび度合いを設定するためのユーザインターフェースの一例を示す説明図である。 第１の顔領域設定処理の流れを示すフローチャートである。 第１の顔領域ＦＡ１の設定結果の一例を示す説明図である。 顔領域位置情報ＰＩが付加された対象画像ファイルＴＩＦを概念的に示す説明図である。 本実施例における第２の顔領域設定処理の流れを示すフローチャートである。 画素値の分布の分析結果の一例を示す説明図である。 顔領域画素値情報ＶＩが付加された対象画像ファイルＴＩＦを概念的に示す説明図である。 探索領域ＳＡの設定結果の一例を示す説明図である。 第２の顔領域ＦＡ２の設定結果の一例を示す説明図である。 変形処理の実行可否の判定方法を示す説明図である。 顔形状補正後の対象画像ＴＩが表示された表示部１５０の状態の一例を示す説明図である。 変形処理の流れを示すフローチャートである。 変形領域ＴＡの設定方法の一例を示す説明図である。 変形領域ＴＡの小領域への分割方法の一例を示す説明図である。 分割点移動テーブル４２０の内容の一例を示す説明図である。 分割点移動テーブル４２０に従った分割点Ｄの位置の移動の一例を示す説明図である。 分割領域変形部２６０による画像の変形処理方法の概念を示す説明図である。 三角形領域における画像の変形処理方法の概念を示す説明図である。 本実施例における顔形状補正の態様を示す説明図である。

符号の説明

１００…プリンタ
１１０…ＣＰＵ
１２０…内部メモリ
１４０…操作部
１５０…表示部
１６０…プリンタエンジン
１７０…カードインターフェース
１７２…カードスロット
２００…顔形状補正部
２１０…変形態様設定部
２２０…第１の顔領域設定部
２３０…第２の顔領域設定部
２３２…肌色値設定部
２３４…肌色画素検出部
２４０…変形領域設定部
２５０…変形領域分割部
２６０…分割領域変形部
２７０…情報付加部
２８０…判定部
３１０…表示処理部
３２０…印刷処理部
４１０…分割点配置パターンテーブル
４２０…分割点移動テーブル

Claims (9)

1. 画像処理装置であって、
   対象画像を解析して、前記対象画像の特徴を表す特徴情報を生成する特徴情報生成部と、
   前記対象画像を表すデータを含む画像ファイルに、前記特徴情報を付加する特徴情報付加部と、を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記特徴情報は、前記対象画像のみに依存する情報である、画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置であって、
   前記特徴情報は、前記対象画像に含まれる特定種類の被写体の位置を表す情報と、前記対象画像の少なくとも一部の領域における画素値の分布に関する指標値と、の少なくとも一方を含む、画像処理装置。
4. 請求項１ないし請求項３のいずれかに記載の画像処理装置であって、さらに、
   前記特徴情報を用いて、前記対象画像に対する所定の画像処理を実行する画像処理部を備え、
   前記画像処理部は、前記対象画像を含む画像ファイルに前記特徴情報が付加されている場合には、付加された前記特徴情報を用いて前記所定の画像処理を実行する、画像処理装置。
5. 請求項１ないし請求項３のいずれかに記載の画像処理装置であって、さらに、
   前記特徴情報を用いて、前記対象画像の検索を行う画像検索部を備える、画像処理装置。
6. 画像処理装置であって、
   画像を表すデータと前記画像の特徴を表す特徴情報とを含む画像ファイルを取得する画像ファイル取得部と、
   前記画像ファイルに含まれる前記特徴情報を用いて、前記画像に対する所定の画像処理を実行する画像処理部と、を備える、画像処理装置。
7. 画像処理装置であって、
   画像を表すデータと前記画像の特徴を表す特徴情報とを含む画像ファイルを取得する画像ファイル取得部と、
   前記画像ファイルに含まれる前記特徴情報を用いて、前記画像の検索を行う画像検索部と、を備える、画像処理装置。
8. 画像処理方法であって、
   （ａ）対象画像を解析して、前記対象画像の特徴を表す特徴情報を生成する工程と、
   （ｂ）前記対象画像を表すデータを含む画像ファイルに、前記特徴情報を付加する工程と、を備える、画像処理方法。
9. 画像処理のためのコンピュータプログラムであって、
   対象画像を解析して、前記対象画像の特徴を表す特徴情報を生成する特徴情報生成機能と、
   前記対象画像を表すデータを含む画像ファイルに、前記特徴情報を付加する特徴情報付加機能と、を、コンピュータに実現させる、コンピュータプログラム。

Images