JP2004246456A - 画像編集装置および画像編集方法 - Google Patents

Abstract

【課題】被写体の人種、性別、年齢や個人の好みに応じて、各被写体に適した補正処理を行う。
【解決手段】ＣＰＵ４は、スキャナ２またはメモリカードリーダ３から処理対象の画像を取り込み、この画像中の顔画像を検出する。さらに、ＣＰＵ４は。検出した顔画像の特徴量を用いて、被写体の人種、年代、性別などを推論し、その推論結果に適合する補正パラメータを設定して、顔画像の肌色調整や逆光補正処理を行う。補正処理後の画像は、プリンタ１１に出力され、写真として印刷される。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
この発明は、所定の撮影装置で生成された画像を取り込んで補正処理を行い、その補正処理後の画像を出力する画像編集装置に関する。特に、この発明は、人物を撮像して得られた画像を入力して、その被写体の顔画像を補正する技術に関する。
【０００２】
【従来の技術】
近年、人物を被写体として撮影を行った際の画像から、被写体の顔に相当する画像領域を検出し、その領域内の特徴量に基づいて露光量などの撮影条件を調整したり、撮影後の画像を補正するようにした技術が開示されている。
たとえば、下記特許文献１〜３に開示されたような技術が存在する。
【０００３】
【特許文献１】
特開平１０−２６８４４７号公報
【特許文献２】
特開平８−６２７４１号公報
【特許文献３】
特開平１１−１４６４０５号公報
【０００４】
特許文献１では、撮像素子から取り込んだ画像データを用いて写真焼き付け処理を行う際に、前記画像データから人物の顔の領域を検出し、この領域内の側光データに基づいて露光量を定めた上で補正を行うことにより、顔画像の特徴に合わせて画像を補正するようにしている。
【０００５】
特許文献２では、カメラで撮像した画像をプリントアウトする処理において、処理対象の画像から顔画像に相当する肌色領域を検出するとともに、この画像の輝度情報に基づき、逆光の度合を判別し、人物の存在する度合や逆光の度合によって、異なる内容の階調補正を行うようにしている。
【０００６】
特許文献３では、カラービデオカメラなどの映像信号処理装置において、映像信号を取り込む過程で肌色領域を検出し、肌色領域が検出されたときの映像信号に輝度補正や色補正などを施すことにより、肌色領域のみを補正できるようにしている。
【０００７】
【発明が解決しようとする課題】
上記の先行技術をはじめとする従来の補正処理では、いずれも、顔画像の明るさや色彩などの特徴量をあらかじめ定められた基準と照合して、補正のパラメータを決定しているものと思われる。しかしながら、この補正の基準は、所定の人種の肌の色に合わせて定められるので、他の人種を被写体とした場合の補正処理に不具合が生じる虞がある。
【０００８】
たとえば、補正の基準を黄色人に合わせていると、黒人が被写体になった場合には逆光時の補正パラメータが適用される可能性がある。しかしながら、実際の黒人の顔画像と逆光時の顔画像とは大きく異なるので、適正な補正を行うのは困難である。また、白人が被写体になった場合に、黄色人と同様の補正処理を行うと、肌の色に黄味がかかり、不自然な印象の画像になる虞がある。
【０００９】
年代や性別の違いによっても、人種の場合と同様に、画一化された補正パラメータだけでは対応が困難な可能性がある。たとえば、２０代の顔画像と４０代の顔画像とでは、補正すべき箇所や基準にかなりの差異があると考えられる。また、被写体が男性である場合と女性である場合とでは、一般に、好ましいとされる顔色の基準が異なるものになると考えられる。
【００１０】
さらに、顔の色や明るさについては、人によって好みがあり、またその時々の流行や季節などによっても好みが変動する可能性がある。このような種々の要素に応じて個々の被写体の顔画像を補正するには、従来の画一的な基準による補正だけで対応するのは困難である。
【００１１】
加えて、従来の写真焼付けサービス（ＤＰＥ）では、画像全体を補正することは可能であるが、各被写体を個別に補正するまでのサービスは行われていない。
【００１２】
この発明は、上記問題に着目してなされたもので、被写体の人種、性別、年齢や個人の好みに応じて、各被写体に適した補正処理を行うことができるようにすることを、目的とする。
【００１３】
【課題を解決するための手段】
この発明にかかる第１の画像編集装置は、人物を撮像して得られた画像を入力する画像入力手段と、前記入力画像に含まれる被写体の顔画像を検出する顔画像検出手段と、前記顔画像検出手段により検出された顔画像を含む画像領域内の特徴量に基づき、前記顔画像について、少なくとも人種、年齢、性別のいずれかに対する推論処理を実行する推論手段と、前記推論手段による推論結果に基づき、前記顔画像の補正処理内容を決定する決定手段と、前記顔画像に対し、前記決定手段が決定した内容による補正処理を実行する顔画像補正手段と、前記顔画像補正手段による補正処理後の画像を出力する画像出力手段とを具備する。
【００１４】
上記の画像編集装置は、上記各手段の機能に対応するプログラムを組みこんだコンピュータを制御主体とするのが望ましい。また、画像入力手段には、外部から画像を取り込むためのインターフェース回路が含まれる。画像出力手段にも同様に、外部への画像出力に関わるハードウェアが含まれる。
【００１５】
なお、画像入力手段には、ディジタル画像データを入力するのが望ましいが、これに限らず、たとえば、アナログビデオカメラからのアナログ画像信号を入力することもできる。この場合の画像入力手段は、インターフェース回路のほか、フレーム毎のアナログ画像信号をディジタル変換するＡ／Ｄ変換回路などを含むものとなる。
【００１６】
顔画像検出手段は、たとえば、入力画像上に所定大きさの検索領域を走査し、顔を構成する器官の特徴を示す特徴点が含まれているかどうかを検索する方法により、顔画像の検出処理を行う。この検索では、下記の特許文献４に記載されたような特徴点検出処理を行うことにより、高確度で顔画像を検出することができる。ただし、これに限らず、従来の肌色領域を検出する方法や単純なパターンマッチング処理によって、顔画像を検出することも可能である。
【００１７】
【特許文献４】
特開２００１−１６５７３号公報
（段落［００６４］〜［００６９］参照。）
【００１８】
推論手段は、顔の器官を構成する特徴点を用いた演算処理により人種，年齢，性別などを高確度で判別することができる。人種の推定では、たとえば、下記の非特許文献１の手法を適用できるが、これに限らず、顔画像内の輝度分布を検出する方法を用いることができる。また、年齢や性別を推定するには、たとえば、下記の非特許文献２に開示された方法を使用することができる。
【００１９】
【非特許文献１】
グレゴリー シャナロビッチ（Ｇｒｅｇｏｒｙ Ｓｈａｋｈｎａｒｏｖｉｃｈ），ポール Ａ ヴィオラ（Ｐａｕｌ Ａ． Ｖｉｏｌａ），ババック モハダム（Ｂａｂａｃｋ Ｍｏｇｈａｄｄａｍ）；「ア ユニファイド ラーニング フレームワーク フォア リアルタイム フェイス ディテクション アンド クラシフィケーション（Ａ Ｕｎｉｆｉｅｄ Ｌｅａｒｎｉｎｇ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｒｅａｌ Ｔｉｍｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）」；プロシーディングス オブ ザ フィフス ＩＥＥＥ インターナショナル コンファレンス オン オートマティック フェイス アンド ジェスチャー レコグニッション（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｉｆｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ）； （米国） インスティチュート オブ エレクトリカル アンド エレクトロニクス エンジニアズ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ，略称 ＩＥＥＥ）；２００２年５月
【００２０】
【非特許文献２】
細井聖，瀧川えりな，川出雅人；「ガボールウェーブレット変換とサポートベクタマシンによる性別・年代推定システム」； 第８回画像センシングシンポジウム講演論文集；画像センシング技術研究会；２００２年７月
【００２１】
上記の推論処理に使用される特徴量は、主として顔画像の検出領域から導き出されるが、これに限らず、顔画像の周辺領域や、画像全体または画像の一部の特徴量も含めてもよい。特徴量としては、顔画像の色彩や明度の平均や分散、強度分布、周囲画像との色彩差や明度差などを検出することができる。また、これらの特徴量を所定の演算式にあてはめて、推論に必要な二次的な特徴量を求めることもできる。
【００２２】
この発明で実行するところの補正処理としては、たとえば、肌色調整のために各色成分（たとえば赤，緑，青の三原色）の強度や明度を補正する処理、顔面の欠陥を検出して消去する処理、肌のスムージング処理など、種々の内容の処理を設定することができる。前記推論結果に基づいて顔画像の補正処理内容を決定するには、あらかじめ、各種補正項目毎に、その補正を実行する上で必要なパラメータ（以下、これを「補正パラメータ」と呼ぶ。）の設定値を推論の対象となる各要素に対応づけた設定テーブルを作成しておき、前記推論処理の結果をこの設定テーブルと照合して、推論結果に応じた補正パラメータを導き出すようにするのが望ましい。
【００２３】
たとえば、肌色調整を例にとると、補正パラメータとして、各色成分毎の増減の比率を設定することができる。この場合の設定テーブルでは、人種、年齢、性別をそれぞれ複数のカテゴリーに分類し（たとえば、人種について「白人」「黄色人」「黒人」、年齢について「１０代」「２０代」「３０代」など）、これらカテゴリーの組み合わせ毎に、各色成分毎の補正パラメータの値の組み合わせが異なるものとなるようにするのが望ましい。
【００２４】
上記の画像編集装置によれば、少なくとも、人種、年齢、性別のいずれかにかかる複数とおりの標準設定の補正処理の中から、被写体に適合する内容の補正が選択され、この内容に基づき顔画像の補正を行うことができる。すなわち、個々の被写体の人種、年齢、性別によって補正内容を自動選択し、被写体に適した補正を行うことができる。
【００２５】
つぎに、この発明にかかる第２の画像編集装置は、前記第１の画像編集装置と同様の画像入力手段および顔画像検出手段と、所定数の被写体について、それぞれその被写体の顔画像の特徴量およびその顔画像の補正に必要な情報を前記被写体に固有の識別情報に対応づけた登録情報を保持する登録手段と、前記顔画像検出手段により検出された顔画像の特徴量を前記登録手段の登録情報と照合して、前記被写体を推定する推論手段と、前記推論手段により推定された被写体の登録情報を用いて前記検出された顔画像の補正処理を実行する顔画像補正手段と、前記顔画像補正手段による補正処理後の画像を出力する画像出力手段とを具備する。
【００２６】
上記構成の画像編集装置も、第１の画像編集装置と同様に、コンピュータを制御主体とするのが望ましい。画像入力手段、顔画像検出手段、画像出力手段は、第１の画像編集装置と同様に構成することができる。
【００２７】
登録手段は、前記コンピュータ内のメモリに設定されたデータベースとすることができる。「顔画像の補正に必要な情報」は、たとえば、顔画像の色彩を特定するパラメータ（顔色を構成するＲ，Ｇ，Ｂの階調、明度など）であって、登録対象の被写体の好みの色彩になるように調整されたものであるのが望ましい。また、被写体に固有の識別情報としては、被写体の名前（フルネームに限らず、ニックネームなどでもよい。）など、撮影者や被写体が容易に確認できる情報であるのが望ましい。
【００２８】
登録対象の顔画像の好ましい特徴量としては、顔の器官の特徴点の位置関係を示すものがよい。たとえば、前記特許文献４の（１）式に示される特徴量を、顔画像を構成する各点毎に求めて登録することができる。
【００２９】
推論手段は、検出された顔画像の特徴量を登録手段に登録された各被写体の顔画像の特徴量と照合する処理により、被写体が誰であるかを推定することができる。顔画像補正手段は、推定された被写体の登録情報に含まれる補正の内容に基づき、顔画像を補正することができる。
【００３０】
上記第２の画像編集装置によれば、被写体となり得る人物について、あらかじめ、その人物の顔画像の特徴量と、その顔画像を最適に補正するのに必要な情報を登録しておくことにより、その人物の顔画像を処理する都度、その顔画像を被写体の好みの方法で補正することができる。
【００３１】
つぎに、上記第１、第２の画像編集装置に共通に設定できる態様について説明する。まず一の態様では、前記顔画像検出手段は、前記顔画像の検出結果に対する修正操作を受け付けて、前記顔画像の検出結果を修正する手段を含むように構成される。
【００３２】
顔画像の検出結果に対する修正操作については、前記入力画像における顔画像の検出結果を表示し、この表示画面上で、顔画像の検出位置、検出した範囲の変更、所定の顔画像の削除などの操作を実行できるようにするのが望ましい。顔画像の検出結果の表示は、たとえば、画像上の顔画像の検出位置にポインタを配置することによって行うことができる。より好ましい方法としては、顔画像の位置および大きさが明確になるようなマーキング表示（たとえば、顔画像を含むような枠画像を設定する。）を行うこともできる。
【００３３】
上記の態様によれば、顔画像の検出結果の誤りにより、間違った推論処理が行われて、以後の処理に誤りが生じるのを回避することができる。また、顔画像を削除する操作によれば、たとえば、被写体とする人物以外の人物の顔画像が含まれている場合に、この被写体以外の人物にかかる顔画像の検出結果を削除するなど、以後の推論処理や補正内容の決定を行う必要のない顔画像を削除することができ、被写体に対してのみ詳細な処理を行うことができる。
【００３４】
さらに、他の態様にかかる画像編集装置では、前記推論手段は、前記推論結果に対する修正操作を受け付けて、前記推論結果を修正する手段を含むように設定される。
【００３５】
推論結果に対する修正操作については、推論結果を表示し、この表示画面上で、誤った推論情報を指定して修正したり、不要な推論情報を削除するものとするのが望ましい。さらに、推論されていない新規の情報を追加できるようにしてもよい。
【００３６】
上記の態様によれば、推論結果の誤りを修正した上で補正内容の決定処理を行うことができるから、被写体に適した補正内容を精度良く選択することが可能となる。
【００３７】
さらに、他の態様にかかる画像編集装置は、顔画像補正手段は、補正処理後にその補正内容の修正操作を受け付けて、修正された内容に基づき前記顔画像の再補正を実行する手段を含む。また、画像出力手段は、確定操作に応じて、その時点における最新の補正処理により得られた画像を出力する。
【００３８】
補正内容の修正操作については、補正処理後の画像や、実行された補正内容を示す情報（前記した補正パラメータなど）を表示し、この表示画面上で所定の補正内容を指定して修正を行うことができるようにするのが望ましい。また確定操作についても、同じ補正処理後の画像の表示画面上で行うことができる。
【００３９】
上記の態様によれば、ユーザーは、補正処理後の画像が好ましくない場合には、修正操作により画像の再補正処理を行わせることができる。そして、最終的に、好ましい補正画像を得ることができた時点で確定操作を行うことによって、最新の補正により得られた画像を出力することができる。
【００４０】
つぎに、この発明にかかる第３の画像編集装置は、人物を撮像して得られた画像を入力する画像入力手段と、前記入力画像に含まれる被写体の顔画像を検出する顔画像検出手段と、前記被写体について、その顔画像の補正処理内容を示す情報を入力するための情報入力手段と、前記顔画像検出手段により検出された顔画像に対し、前記情報入力手段より入力された情報に基づく内容による補正処理を実行する顔画像補正手段と、前記顔画像補正手段による補正処理後の画像を出力する画像出力手段とを具備する。
【００４１】
上記第３の画像編集装置も、コンピュータを制御主体とするのが望ましく、画像入力手段、顔画像検出手段、画像出力手段は、前記第１、第２の画像編集装置と同様のものとすることができる。情報入力手段は、検出された顔画像に対する具体的な補正内容を入力するための操作部（キーボード、マウスなど）、この入力処理を支援するために補正項目のメニューなどを提示するユーザーインターフェースが組みこまれたコンピュータ、および前記メニュー表示のための表示装置などにより構成することができる。
【００４２】
上記の装置によれば、ユーザーは、処理対象の画像を装置に入力した後に、被写体について、補正内容を示す情報を入力すると、補正の対象である顔画像が自動検出され、入力情報に基づく補正処理が実行されるようになる。よって、ユーザーの意図する内容の補正を簡単かつ確実に実行することが可能となる。なお、複数人が被写体となる画像を処理する場合には、各被写体の顔画像の検出結果を表示してユーザーに確認させた上で、被写体毎に補正処理内容を示す情報の入力を受け付けるようにするのが望ましい。また、補正内容の入力は、画像編集用ソフト等の機能を用いて、表示された入力画像を直接修正する操作によって行うこともできる。
【００４３】
さらに、この第３の画像編集装置でも、第１、第２の画像編集装置と同様に、顔画像の検出結果に対する修正操作を受け付けて、検出結果を修正できるようにするのが望ましい。また、画像補正手段による補正処理後の画像に対し、補正内容の修正操作に応じて再補正を行い、確定操作に応じて、その時点における最新の補正処理により得られた画像を出力することも可能である。
【００４４】
さらに、上記第１、第３の画像編集装置には、前記顔画像検出手段により検出された顔画像の特徴量を前記画像補正手段が実行した補正内容に対応づけてメモリに登録する登録処理手段を具備させることができる。この場合の顔画像検出手段は、所定の登録情報を指定する操作に応じて、この指定された登録情報に含まれる特徴量を用いた検索処理により、前記入力画像より顔画像を検出することが可能に設定される。また、前記顔画像補正手段は、前記検索処理により顔画像が検出されたとき、この検出された顔画像に対し、前記指定された登録情報に含まれる補正処理内容による補正処理を実行するように設定される。なお、前記登録処理手段による情報の登録は、この画像編集装置を構成するコンピュータのメモリ内に対して行われるものである。
【００４５】
この態様でも、登録対象の顔画像の好ましい特徴量は、顔の器官の特徴点の位置関係を示すものであるのが望ましい。なお、各登録情報は、第２の編集装置におけるのと同様に、各被写体に固有の識別情報（前記第２の画像編集装置と同様の名前情報など）により識別できるようにするのが望ましい。また登録情報の指定については、たとえば、所定の登録情報にかかる識別情報を入力することによって、その登録情報を指定することができる。
【００４６】
上記構成によれば、過去に補正処理を行った被写体については、顔画像の特徴量とその補正内容とが対応づけて登録されるので、以後に同じ被写体が含まれる画像を入力した際には、その被写体にかかる登録情報を指定することにより、その被写体に対応する顔画像を検出した上で、前回と同じ内容の補正を行うことが可能となる。よって、処理を高速化することができ、また、過去の処理内容に沿って、ユーザーの意図する補正を確実に実行することができる。
【００４７】
なお、前記メモリには、必ずしも、過去に処理したすべての被写体の情報を登録する必要はなく、たとえば、補正処理後に登録を行うかどうかの選択操作を受け付け、登録すべき旨の選択が行われたときに、登録処理を行うようにしてもよい。
【００４８】
さらに、第１〜３の各画像編集装置において、前記画像検出手段は、前記画像入力手段より被写体の顔画像の位置を示す情報をリンクさせた画像が入力されたとき、そのリンク情報に基づき顔画像を検出するように構成することができる。
【００４９】
前記顔画像の位置を示す情報をリンクさせた画像は、この発明の顔画像検出手段と同様の手段が設定された撮影装置により生成することができる。なお、リンク情報には、顔画像の位置を示す情報のほか、顔画像の大きさ、向きまでを含むことができる。このような構成によれば、入力された画像のリンク情報に基づき、顔画像を簡単に検出することができる。
【００５０】
なお、前記した撮影装置に、この発明にかかる推論手段と同じ機能が付与されている場合には、顔画像の検出位置に加えて、被写体の人種、年齢、性別にかかる推論結果までがリンクした画像を生成することが可能である。このような画像を入力すれば、顔画像の検出処理を簡単に行うことができる上に、推論処理をスキップして、速やかに顔画像の補正処理を行うことができる。
【００５１】
さらに、第１〜３の画像編集装置にかかる他の態様では、前記画像出力手段を、補正処理後の画像を印刷する手段とすることができる。この構成によれば、ユーザーが写真として焼き付けを行いたい画像を装置に入力すると、被写体に適した補正処理が行われた後、その補正処理後の画像が印刷されるようになり、被写体の顔の特徴を明瞭に捉えた写真を提供することができる。
【００５２】
上記第１〜３の各画像編集装置（各種実施態様を含む。）は、ディジタルカメラ、スキャナ、またはメモリカードなどの記憶媒体から、ディジタル量の静止画像データを入力して補正し、補正処理後の画像を印刷したり、記憶媒体などに保存する装置として構成することができる。
【００５３】
さらに、第１〜３の各画像編集装置は、前記画像入力手段を、コンピュータネットワークを介して処理対象の画像の送信を受ける手段として構成することができる。この場合、前記画像出力手段は、補正後の画像を印刷する手段、または、前記コンピュータネットワークを介して画像の送信元もしくはこの送信元から指定された配信先に補正後の画像を送信する手段として構成することができる。
【００５４】
なお、このようにネットワーク対応型の装置とした場合、前記顔検出結果や推論結果に対する修正操作や、補正後の画像に対する修正操作、確定操作を受け付けるには、前記コンピュータネットワークを介してユーザの端末装置と通信を行う必要がある。また，第２の画像編集装置における情報入力手段も同様に、コンピュータネットワークを介した通信により、情報入力を受け付けるように構成する必要がある。
【００５５】
上記構成によれば、コンピュータネットワークを介して、ユーザーから画像の補正依頼を受け付け、補正後の画像を、印刷してユーザーに送付する処理を行うことができる。また、前記コンピュータネットワークを介して、補正後の画像をユーザーまたはユーザーの指定した配信先に送信することもできる。この場合、前記コンピュータネットワークを、インターネットのような汎用のネットワークとすれば、不特定多数のユーザーからの画像送信を受け付けることができる。ただし、これに限らず、会員登録を行ったユーザーからの画像送信のみを受け付けるようにしてもよい。
【００５６】
さらに、上記の第１〜３の画像編集装置において、画像入力手段を動画像データを取り込むように構成した場合、補正後の画像を出力する出力手段は、ＤＶＤ（ディジタル・ビデオ・ディスク）のような画像記憶媒体に画像を格納する手段として構成することができる。または、所定の表示装置に、補正後の画像を順に出力する動画像表示手段として構成することもできる。
【００５７】
上記構成の画像編集装置によれば、動画像を構成する各フレーム毎の画像に、それぞれ適正な顔画像の補正処理を行うことができる。なお、この場合の画像検出処理において、前のフレームで検出した顔画像の特徴量を用いて被写体の顔画像を追跡するようにすれば、同じ被写体には同様の内容による補正処理を行うことが可能となるから、被写体が動いても、顔画像の状態が変化するような不具合が生じず、高品質の動画像を得ることができる。
【００５８】
この発明にかかる第１の画像編集方法は、人物を撮像して得られた画像を入力するステップ、前記入力画像に含まれる被写体の顔画像を検出するステップ、前記検出された顔画像を含む画像領域内の特徴量に基づき、前記顔画像について、少なくとも人種、年齢、性別のいずれかに対する推論処理を実行するステップ、前記推論処理における推論結果に基づき、前記顔画像の補正処理内容を決定するステップ、前記決定した内容による補正処理を前記顔画像に対して実行するステップ、前記補正処理後の顔画像を出力するステップ、の各ステップを実行することを特徴とする。
【００５９】
また、この発明にかかる第２の画像編集方法は、人物を撮像して得られた画像を入力するステップ、前記入力画像に含まれる被写体の顔画像を検出するステップ、所定数の被写体について、それぞれその被写体の顔画像の特徴量および顔画像の補正に必要な情報が登録されたデータベースを、前記検出された顔画像の特徴量により照合して、前記入力画像に含まれる被写体を推定するステップ、前記推定された被写体について、前記データベースに登録された補正に必要な情報を用いて、前記顔画像を補正するステップ、前記補正処理後の顔画像を出力するステップ、の各ステップを実行することを特徴とする。
【００６０】
さらに、この発明にかかる第３の画像編集方法は、人物を撮像して得られた画像を入力するステップ、前記入力画像に含まれる被写体の顔画像を検出するステップ、前記被写体について、その顔画像の補正処理内容を示す情報の入力を受け付けるステップ、前記検出された顔画像に対し、前記入力された情報に基づく内容による補正処理を実行するステップ、前記補正処理後の顔画像を出力するステップ、の各ステップを実行することを特徴とする。
【００６１】
上記第１〜３の画像編集方法は、いずれも、各ステップを実行するためのプログラムをコンピュータに組みこむことにより実施することができる。いずれの方法も、画像編集を目的とする専用の装置のほか、パーソナルコンピュータのような汎用の装置において実行することができる。さらに、インターネットのようなコンピュータネットワークにおいて、各端末からの画像の送信を受け付けて編集処理を行うサーバシステムでも、各方法を実行することができる。
【００６２】
【発明の実施の形態】
図１は、この発明が適用された画像編集装置の構成を示す。
この画像編集装置１００は、写真印刷のサービスを行う業者の店内に設置されるもので、顧客のディジタルカメラにより得た画像、または印刷された写真から読み取った画像に補正処理を施し、その補正処理後の画像を印刷する処理を行うものである。なお、画像編集装置１００は、業者の係員が操作する装置としても良いが、これに限らず、顧客自身が操作を行うセルフサービス式の機械として構成することもできる（以下の説明では、装置の操作を行う者のことを、「ユーザー」という。）。
【００６３】
前記画像編集装置１００は、コンピュータから成る本体部１に、イメージスキャナ２（以下、単に「スキャナ２」という。）、メモリカードリーダー３、入力部９、モニタ１０、プリンタ１１などの周辺機器を接続して成る。なお、前記スキャナ２は、印刷された写真を読み取るタイプのものに限らず、フィルムからの読み取りを専用に行うフィルム・スキャナとすることもできる。
【００６４】
前記本体部１は、ＣＰＵ４、メモリ５のほか、画像入力インターフェース６、ＵＳＢインターフェース７、および、入出力インターフェース８を具備する。なお、図示のメモリ５は、ハードディスクのような大容量メモリであり、ＲＯＭやＲＡＭはＣＰＵ４に含まれるものとする。メモリ５には、ウィンドウズ（登録商標）のようなオペレーティングシステムや、図２に示す各処理部に対応するプログラム、ユーザーデータベース４７、補正内容を導き出すための設定テーブルなどが格納される。さらに、このメモリ５には、処理対象の画像を一時保存するための作業領域も設定される。
【００６５】
画像入力インターフェース６は、前記スキャナ２をＣＰＵ４に接続するためのものである。ＵＳＢインターフェース７は、ユニバーサル・シリアル・バス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）の規格に準拠するインターフェースであって、前記メモリカードリーダー３をＣＰＵ４に接続するのに用いられる。なお、このＵＳＢインターフェース７には、メモリカードリーダー３に代えて、ディジタルカメラを接続することもできる。
【００６６】
入出力インターフェース８は、前記入力部９、モニタ１０、プリンタ１１の接続に使用される。モニタ１０やプリンタ１１は、カラー画像に対応する規格のものであり、また、入力部９は、キーボードやマウスにより構成される。
【００６７】
ＣＰＵ４は、前記スキャナ２またはメモリカードリーダー３のいずれかを入力先として選択し、この選択した装置からディジタル画像データを取り込んで、後記する補正処理を実行する。補正後の画像は、モニタ１０に表示された後、入力部１１による印刷指定操作に応じてプリンタ１１に出力され、印刷処理が実行される。
【００６８】
上記構成において、ＣＰＵ４には、メモリ５に保存されたプログラムにより、図２に示すような機能が設定されている。これらの機能により、この実施例の画像編集装置１００では、人物の顔画像を含む画像を取り込んだ場合には、この顔画像の位置や大きさなどを特定するとともに、被写体である人物の人種、年齢、性別を推定し、その推定結果に適合する補正パラメータを決定した上で、被写体の顔画像を補正するようにしている。
【００６９】
図２において、画像取得部４１は、前記スキャナ２またはメモリカードリーダー３からのディジタル画像を処理対象の画像として取り込んで、前記作業領域に格納するためのものである。顔検出処理部４２は、処理対象の画像から被写体の顔画像を検出する。顔領域設定部４３は、この検出結果に応じて、前記顔画像を含む所定大きさの領域を設定する。なお、この領域は、以後の推論処理や補正処理の対象領域となるもので、以下、「顔領域」と呼ぶ。
【００７０】
推論処理部４４は、設定された顔領域につき、その領域内の特徴量に基づき、被写体の人種、年代、性別などを推論する。画像補正処理部４５は、前記推論処理の結果に適合する補正内容を決定し、その決定した内容に基づく補正処理を実行する。補正画像出力部４６は、補正処理後の画像をモニタ１０やプリンタ１１に出力するためのものである。
【００７１】
なお、この実施例では、標準的な補正として、肌色調整および逆光時の明るさ補正のためにＲ，Ｇ，Ｂの各階調を補正する処理を行うようにしている。この処理のために、この実施例では、あらかじめ、人種、年代をそれぞれ複数のカテゴリーに分類し、これらのカテゴリー、性別、および逆光の有無の組み合わせ毎に補正項目を設定する（たとえば、「２０代の白人女性の逆光なし時の補正」、「３０代の黄色人男性の逆光時の補正」など）。そして各項目毎に、補正パラメータとして、各階調の増減量または増減率を設定した設定テーブルを作成して、メモリ５内に保存している。画像補正処理部４５は、前記推論処理部４４の推論結果をこの設定テーブルと照合することにより、推論結果に応じた補正パラメータを読み出すことができる。
【００７２】
ユーザーデータベース４７は、この画像編集装置１００が過去に処理した顔画像について、補正前の顔画像の特徴量と実行された補正内容とを対応づけて蓄積するためのものである。このユーザーデータベース４７内の登録情報は、後記するように、顔検出処理や画像補正処理に用いられるもので、各登録情報には、それぞれインデックス情報として、顔画像に対応する個人の名前と識別コードとが付与されている。
【００７３】
ユーザーインターフェース制御部４８は、前記顔領域の設定結果、推論結果、画像補正結果を確認して、その誤りを修正したり、追加の情報を入力するほか、補正画像に対する確定操作を行う際に、前記入力部９およびモニタ１０を用いて前記操作を支援する。さらに、このユーザーインターフェース制御部４８は、処理を終了した顔画像にかかる情報をユーザーデータベース４７に登録する操作や、新たな処理対象の画像を処理する際に、ユーザーデータベース４７から使用可能な登録情報を呼び出す操作を支援する。さらに、この実施例では、前記した標準の補正以外のオプションの補正項目を指定し、その補正パラメータを設定する作業を、ユーザーインターフェース制御部４８により支援するようにしている。
【００７４】
図３は、顔検出処理の結果の表示例であって、画像２０中の各人物の顔画像上に、それぞれ顔領域の境界線に応じた枠画像２１，２２が表示されている。
ユーザーインターフェース制御部４８は、このような表示とともに、顔領域の設定を修正する操作や新規の顔領域を設定する操作を行うための操作画面を設定して、各種操作を受け付け、その操作の内容を顔領域設定部４３に出力する。顔領域設定部４３は、この操作の内容に応じて、設定した顔領域の場所や大きさを修正したり、不要な顔領域を削除したり、新規の顔領域を設定したりする。
【００７５】
推論結果や補正パラメータの修正などについても、同様に、画像を表示した上で修正操作を行うようにしている。なお、この実施例では、推論結果とともに、この推論結果から導き出した補正パラメータについても、修正を受け付けるようにしている。
【００７６】
以下、上記画像編集装置における画像編集処理の詳細な流れを説明する。
図４は、前記図２の各処理部の機能を用いて画像を印刷するまでの一連の手順を示す。なお、以下の説明では、各ステップを「ＳＴ」として示す。
【００７７】
まず、ＳＴ１で、処理対象の画像を入力して前記メモリの作業領域に格納した後、つぎにＳＴ２に進んで、顔検出処理を実行する。
この顔検出処理では、入力画像に所定大きさの検索領域を走査して、顔画像の特徴点を検索する処理を行う。なお、画像上における顔画像の大きさは、撮影時の被写体までの距離やレンズ 倍率によって変わってくるので、前記検索処理では、検索領域の大きさを段階的に変更しながら、入力画像を繰り返し検索するのが望ましい。
【００７８】
つぎのＳＴ３では、検出された顔画像について、以後の処理対象領域となる顔領域を設定する。
図５は、前記顔領域の設定例、およびこの設定に使用する各パラメータの具体例を示す。図示例では、顔画像中の各特徴点の中から、鼻の最も高い位置に対応する特徴点Ｐを検出し、この点Ｐの座標（ｘ_Ｐ，ｙ_Ｐ）を顔の検出位置としている。また、この点Ｐを起点にして、各種方向毎に額と髪との境界を検索し、この境界に相当する特徴点の中から点Ｐとの距離が最短になる点Ｑを求め、この点Ｑと前記点Ｐとの間の距離を、顔の大きさｒとする。さらに、点Ｐから点Ｑの方向を向くベクトルＣを設定し、画像の水平方向（ｘ軸方向）に対する前記ベクトルＣのなす角度を、顔の傾きθとして計測する。
【００７９】
この実施例では、前記点Ｐの座標（ｘ_Ｐ，ｙ_Ｐ）、顔の大きさｒ、および顔の傾きθを、顔領域設定用のパラメータとしている。図５のＵは、各パラメータにより設定された顔領域の一例である。この顔領域Ｕの大きさは、前記顔の大きさｒに基づいて決められたものであり、その中心が点Ｐに対応し、また主軸がｘ軸に対して前記角度θだけ傾いた状態になるように、設定されている。
【００８０】
図４に戻って、このようにして顔領域を設定すると、つぎのＳＴ４では、前記モニタ１０に、顔領域の設定結果を、前記枠画像として表示する。この表示に対し、修正操作がなされると、その操作に応じて、顔領域設定用のパラメータの修正処理を行う（ＳＴ５，６）。
なお、ＳＴ５の修正操作は、設定された顔領域の位置や大きさを変更する操作のほか、顔領域を削除する操作、新たな顔領域を設定する操作も含む。これに対応して、ＳＴ６では、顔領域設定用のパラメータの値を変更する処理のほか、パラメータを削除する処理、新規のパラメータを設定する処理を実行する。
【００８１】
顔領域の修正処理が行われた後に確定操作が行われると、ＳＴ７に進み、確定した顔領域について、種々の推論処理を実行する。なお、ＳＴ４での枠画像の表示に対し、修正操作が行われずにすぐに確定操作が行われた場合には、ＳＴ５が「ＮＯ」となってＳＴ７に進み、ＳＴ３で設定した顔領域に対する推論処理を実行する。
【００８２】
ＳＴ７では、設定された顔領域につき、人種、年代、性別、および逆光の有無を推定するようにしている。人種の推定処理は、前記した非特許文献１に基づいて行うことも可能であるが、この実施例では、処理時間の短縮のために、顔領域内の輝度分布を用いて、人種および逆光の有無を同時に推定するようにしている。
【００８３】
図６は、被写体や照明環境が異なる３つの事例について、顔領域内におけるＲ，Ｇ，Ｂの各色データおよび明度Ｌ（Ｒ，Ｇ，Ｂの総和平均）毎に検出したヒストグラムの例を示す。なお、ヒストグラムのスケールは、階調であって、図中、紙面の右方向にいくほど明るい状態を示す。
【００８４】
図６（１）は、適正な照明環境で黄色人を撮影した場合のヒストグラムである。この場合のヒストグラムは、各色データとも、比較的に明るい方への分布が優勢となっており、とりわけ赤色成分の強度が強調された状態となる。
【００８５】
図６（２）は、図６（１）と同じ黄色人を逆光状態で撮影した場合のヒストグラムである。この場合のヒストグラムでは、各色データの出現率は、図６（１）に比べて大幅に低下し、また暗い側に集中した分布状態となる。
【００８６】
図６（３）は、適正な照明環境で黒人を撮影した場合のヒストグラムである。この場合のヒストグラムでは、暗い側と明るい側の両方にピークを持つ分布状態が得られる（暗い側は皮膚に対応し、明るい側は目や歯に対応すると考えられる。）
【００８７】
この実施例では、あらかじめ、各人種毎に、それぞれ照明状態などが異なる複数種の撮影環境について輝度ヒストグラムのテンプレートを用意しており、処理対象の顔領域について検出したヒストグラムを各テンプレートと照合することにより、人種および逆光の有無を推定するようにしている。なお、前記ヒストグラムを、顔領域全体に限らず、目の部分や口の部分など、局所的な領域の輝度分布も検出して判別処理に利用するようにすれば、推定結果をより確かなものとすることができる。
【００８８】
なお、年代，性別の推定は、非特許文献２に示すように、各器官にかかる特徴点の持つ特徴量を、サポートベクタマシンと称される推定システムに与える方法により実行するが、必ずしもこの方法に限定されるものではない。
【００８９】
図４に戻って、一連の推論処理が終了すると、ＳＴ８では、この推論結果に基づきメモリ５内の設定テーブルを照合して、補正パラメータを決定する。
【００９０】
つぎのＳＴ９では、前記推論結果および補正パラメータの内容を示す情報を、入力画像とともに表示する。この表示画面上で、所定の推論結果または補正パラメータを指定して修正する操作が行われると、ＳＴ１０が「ＹＥＳ」となり、ＳＴ１１において、前記修正に応じて、補正パラメータを修正する。
【００９１】
ＳＴ１１では、たとえば、表示画面上の顔画像にマウスカーソルを近づけると、その顔画像に対応する推論結果や補正パラメータを示す情報が表示され、修正を受け付けるようにすることができる。なお、ここで表示する補正パラメータは、具体的な数値ではなく、たとえば、「色白にする」「普通の肌色にする」「色黒にする」といった具体的な補正内容に置き換えて示すのが望ましい。
【００９２】
さらに、オプションの補正を指定する操作が行われた場合は、ＳＴ１２が「ＹＥＳ」となってＳＴ１３に進み、ユーザーの操作に応じて、オプションの補正項目および補正パラメータを設定する処理を実行する。
なお、このＳＴ１３でも、「シミ除去処理」「肌のスムージング補正」というように、具体的な補正内容をメニュー表示し、さらに選択操作に応じて細かい補正の内容を指定するメニューを提示すれば、ユーザーの要望に応じた補正項目と補正パラメータとを簡単に設定することができる。
【００９３】
前記推論結果および補正パラメータに対する修正操作や、オプション補正の設定は、繰り返し実行することが可能である。所定の時点で、ユーザーが確定操作を行うと、ＳＴ１４が「ＹＥＳ」となり、ＳＴ１５において、その時点で設定されている補正項目および補正パラメータに基づき、画像補正処理を実行する。
【００９４】
この後は、ＳＴ１６において、補正処理後の画像（以下、「補正画像」という。）を表示する。なお、この実施例では、補正画像がユーザーの意図するものでない場合には、補正項目や補正パラメータを変更して再補正を実行できるように、印刷指定操作および再設定操作のいずれかを受け付けるようにしている。ここで、再設定操作があると、ＳＴ１７が「ＮＯ」、ＳＴ１８が「ＹＥＳ」となって、ＳＴ１０に戻り、再度、推論結果や補正項目を修正したり、オプションの補正を追加することが可能となる。そして、再度の確定操作に応じてＳＴ１５を実行することにより、前記入力画像の再補正処理が行われる。
【００９５】
所定の時点での補正画像の表示に対して、印刷指定操作が行われると、ＳＴ１７が「ＹＥＳ」となり、ＳＴ１９に進む。ＳＴ１９では、この時点で得ている補正画像をプリンタ１１に出力し、印刷処理を行わせる。
【００９６】
上記図４の手順によれば、標準設定された補正内容の中から被写体の人種、年代、性別に適合するものを自動的に選択して、写真として印刷することができる。また、推論結果に誤りがあったり、標準的な補正処理がユーザーの意図するものでない場合には、適宜、ユーザーインターフェースを用いて簡単に修正を行うことができるから、精度の高い補正処理を簡単に行うことができる。
【００９７】
つぎに、前記したユーザーデータベース４７内の登録情報を利用することにより、過去に処理対象とした顔画像に同じ内容の補正処理を実行する手順について説明する。
【００９８】
図７の手順は、顔画像を検出した後に、この検出した顔画像に対応する登録情報を検索し、登録情報があれば、その情報に含まれる補正項目、補正パラメータを用いた補正を行うようにしたものである。
【００９９】
まず、ＳＴ２１〜２３において、前記図４のＳＴ１〜３と同様の処理により、入力画像中の顔画像を検出して顔領域を設定する。つぎのＳＴ２４では、検出した顔画像の特徴量を用いてユーザーデータベース４７を検索する。この結果、前記顔画像の特徴量に類似する特徴量を含む登録情報が見つかると、ＳＴ２５からＳＴ２６に進み、この登録情報に含まれる補正項目および補正パラメータに基づき、前記顔領域内の画像を補正する。なお、この補正処理を行う前には、ヒットした登録情報のインデックス情報（前記した個人名など）を表示し、ユーザーに確認させるようにするのが望ましい。
【０１００】
つぎのＳＴ２７では、前記補正処理により得た補正画像を表示する。この実施例でも、この補正画像がユーザーの意図するものでなかった場合には、再補正ができるように、修正指定を受け付けるようにしている。修正指定操作があると、ＳＴ２８が「ＮＯ」、ＳＴ３０が「ＹＥＳ」となって、ＳＴ３１に進み、前記補正処理に使用した補正項目および補正パラメータを表示する。この表示に対し、修正操作が行われると、ＳＴ３２からＳＴ３３に進み、前記修正操作に応じて補正項目や補正パラメータを修正する。そして、つぎのＳＴ３４では、修正後の補正項目および補正パラメータに基づき、前記入力画像を再補正し、しかる後にＳＴ２７に戻る。
【０１０１】
このようにして、所定の時点での補正画像の表示に対し、印刷指定操作が行われると、ＳＴ２８が「ＹＥＳ」となってＳＴ２９に進み、前記補正画像の印刷処理が実行される。
【０１０２】
なお、前記ＳＴ２４の検索処理において、検出した顔画像に対応する登録情報が見つからなかった場合には、ＳＴ２５が「ＮＯ」となるが、この場合には、前記図４のＳＴ４以降の処理が行われる。
【０１０３】
つぎに、図８の手順では、前記ユーザーデータベース４７に補正処理の対象となる人物の情報が登録されていることを前提として、その人物を特定する識別データを入力することにより、補正処理対象の人物を指定するようにしている。さらに、この手順では、複数の画像を順に入力し、この中から前記指定した人物を含む画像を検出し、その画像に登録情報に沿った補正処理を行うようにしている。
【０１０４】
なお、識別データは、ユーザーデータベースのインデックス情報に対応するものであり、画像入力に先立ち、最初のＳＴ４１で入力される。図８には示していないが、ＣＰＵ４は、この識別データの入力があると、ユーザーデータベース４７を検索し、該当する登録情報を特定する。
【０１０５】
この後、ＳＴ４２において、処理対象の画像を入力すると、つぎのＳＴ４３では、前記識別データに対応する登録情報に含まれる特徴量により前記入力画像を検索する。この検索処理により、登録情報に類似する特徴量を持つ画像領域が見つかると、この領域を前記顔画像として特定する。これによりＳＴ４４が「ＹＥＳ」となってＳＴ４５に進み、前記登録情報に含まれる補正項目および補正パラメータによる補正処理を実行する。
【０１０６】
この後は、ＳＴ４６からＳＴ４２に戻る。よって、以下、処理対象の画像を順に取り込みながら、顔検出処理および補正処理を実行することになる。なお、ＳＴ４３の検索処理において前記登録情報に類似する特徴量を持つ画像領域が見つからなかった場合には、ＳＴ４４が「ＮＯ」となり、ＳＴ４５の補正処理はスキップされる。
【０１０７】
このようにしてすべての画像に対する処理が終了すると、ＳＴ４６が「ＹＥＳ」となってＳＴ４７に進み、補正画像を表示する。なお、この実施例でも、前記図７の実施例と同様に、修正指定操作があれば、使用した補正項目および補正パラメータを表示して修正操作を受け付け、修正操作に応じて補正項目、補正パラメータを修正し、画像の再補正処理を行う（ＳＴ５０〜５４）。そして、所定の時点で印刷指定操作があると、ＳＴ４８が「ＹＥＳ」となってＳＴ４９に進み、補正画像の印刷処理を実行する。
【０１０８】
なお、ＳＴ４８以降の手順は、説明を簡単にするために、図７のＳＴ２８以降と同様の流れにしてあるが、実際の処理においては、補正処理が行われた画像１枚１枚を順に表示して、印刷や再補正を個別に行うようにするのが望ましい。
【０１０９】
上記図７，８の実施例によれば、既に補正処理の対象となり、ユーザーデータベース４７に登録された人物であれば、過去に実行した補正内容を呼び出して、同様の補正処理を実行することが可能となるので、一度、詳細に補正の内容を設定して登録しておけば、以後は、同じ内容の補正処理を速やかに実行することができる。また図８の実施例によれば、複数枚の画像の中から処理対象の人物が含まれる画像を自動的に選択して、補正処理を施すことができる。
【０１１０】
なお、図７，８において、登録された補正内容による補正処理を行った後に、補正項目や補正パラメータを修正した場合には、その修正された補正項目や補正パラメータにより登録情報を書き換えることができる。また、いずれの実施例では、最終的には印刷指定操作によって、必ず画像印刷処理を行わせるようにしているが、これに限らず、キャンセル操作によって、印刷処理を中止できるようにしてもよい。
【０１１１】
また、このように、各人の顔画像の特徴量と固有の補正内容とを登録する場合には、最初の登録時の画像に対しては、顔画像の検出処理のみを実行し、具体的な補正項目や補正パラメータは、ユーザーに入力させるようにしてもよい。この場合、前記したメニュー表示による設定に代えて、画像補正用ソフトの機能等を用いて、入力画像をユーザーに補正させ、その補正内容に該当する補正項目や補正パラメータを登録するようにしてもよい。
【０１１２】
ところで、ここまでに示した実施例は、図１に示した構成の画像編集装置１００で実行されるものであるが、この種の画像処理は単体の装置に限らず、インターネットのようなコンピュータネットワーク上で展開することもできる。
【０１１３】
図９は、インターネットを利用した画像編集システムの例を示す。図中、ユーザーＰＣ１０３，ユーザー携帯１０４は、任意のユーザーが使用する端末装置であり、インターネット１０２を介して画像編集サーバー１０１との通信が可能に設定される。なお、「ＰＣ」はパーソナルコンピュータを、「携帯」は携帯電話を、それぞれ意味する。
【０１１４】
画像編集サーバー１０１は、前記図２に示した各機能を具備するもので、各ユーザーの端末装置１０３，１０４から送信される画像を受け付け、前記図７，８，９の各実施例と同様の処理を実行することができる。なお、この装置における画像取得部４１は、インターネット１０２からの画像送信を受け付けるように設定される。また、ユーザーインターフェース制御部４８は、画像や各種操作用のメニュー画面等を提示したＷｅｂページを、インターネット１０２を介して端末装置１０３，１０４に配信するように設定される。
【０１１５】
また補正画像出力部４６は、補正処理後の画像を端末装置１０３，１０４に送信するものとすることができる。また、このシステムの利用を会員登録制として、画像編集サーバー１０１、またはこのサーバーに接続される事務管理用サーバー（図示せず。）に、各会員の住所データベースを持たせたり、各ユーザーに住所等の情報を送信させるようにすれば、図１の画像編集装置１００と同様に、補正画像出力部４６により補正処理後の画像を印刷し、得られた写真をユーザーの元に送付することもできる。なお、画像の送信先、送付先は、ユーザーの元に限らず、ユーザーにより指定された第３者とすることもできる。
【０１１６】
上記画像編集システムによれば、パーソナルコンピュータを使用するユーザーは、このコンピュータにディジタルカメラやメモリカードを接続して画像データの読み込みを行い、画像編集サーバー１０１に送信して、編集サービスを受けることができる。また、カメラ機能が組みこまれた携帯電話を使用するユーザーであれば、撮影を行った後、その撮影によって得た画像をそのまま画像編集サーバー１０１に送信して、編集サービスを受けることができる。このように、ユーザーは、インターネット１０２を介した通信により、自身の撮影により得た画像の補正を簡単に依頼できる上、顔画像が適正に補正された補正画像を簡単に得ることができ、利便性を大いに高めることができる。
【０１１７】
なお、前記図１の画像編集装置１００や図９の画像編集サーバー１０１には、あらかじめ顔画像の検出処理や推論処理を経て、これらの処理結果を示す情報がリンクした画像を入力することもできる。このような画像によれば、リンク情報を用いて、顔画像の検出処理を簡単に実行した後、推論情報に基づき補正内容を速やかに決定することができ、処理を高速化できる。
【０１１８】
【発明の効果】
この発明によれば、被写体の顔画像を検出し、この顔画像に適切な補正内容を決定した上で画像補正処理を行うことができるので、個々の被写体について、鮮明かつ実物のイメージに近くなるように、顔画像を補正することが可能となる。また、適宜、推論結果や補正内容を修正できるようにすることによって、各人の要望に応じた詳細な補正を簡単に行うことができる。
【図面の簡単な説明】
【図１】この発明が適用された画像編集装置の構成を示すブロック図である。
【図２】図１の画像編集装置のＣＰＵに設定される機能を示す図である。
【図３】顔領域の検出結果の表示例を示す図である。
【図４】画像編集処理の一連の手順を示すフローチャートである。
【図５】顔領域設定用のパラメータの例を示す図である。
【図６】顔領域内の輝度分布を人種や照明状態の違い毎に示すヒストグラムである。
【図７】登録情報を用いて画像補正を行う場合の手順を示すフローチャートである。
【図８】登録情報を用いて画像補正を行う場合の手順を示すフローチャートである。
【図９】この発明が適用された画像編集システムの構成を示すブロック図である。
【符号の説明】
１００ 画像編集装置
１０１ 画像編集サーバー
１ 本体部
２ スキャナ
３ メモリカードリーダー
４ ＣＰＵ
５ メモリ
９ 入力部
１１ プリンタ
４１ 画像取得部
４２ 顔検出処理部
４３ 顔領域設定部
４４ 推論処理部
４５ 画像補正処理部
４６ 補正画像出力部
４７ ユーザーデータベース
４８ ユーザーインターフェース制御部

Claims (13)

1. 人物を撮像して得られた画像を入力する画像入力手段と、
   前記入力画像に含まれる被写体の顔画像を検出する顔画像検出手段と、
   前記顔画像検出手段により検出された顔画像を含む画像領域内の特徴量に基づき、前記顔画像について、少なくとも人種、年齢、性別のいずれかに対する推論処理を実行する推論手段と、
   前記推論手段による推論結果に基づき、前記顔画像の補正処理内容を決定する決定手段と、
   前記顔画像に対し、前記決定手段が決定した内容による補正処理を実行する顔画像補正手段と、
   前記顔画像補正手段による補正処理後の画像を出力する画像出力手段とを具備して成る画像編集装置。
2. 人物を撮像して得られた画像を入力する画像入力手段と、
   前記入力画像に含まれる被写体の顔画像を検出する顔画像検出手段と、
   所定数の被写体について、それぞれその被写体の顔画像の特徴量およびその顔画像の補正に必要な情報を前記被写体に固有の識別情報に対応づけた登録情報を保持する登録手段と、
   前記顔画像検出手段により検出された顔画像の特徴量を前記登録手段の登録情報と照合して前記被写体を推定する推論手段と、
   前記推論手段により推定された被写体の登録情報を用いて前記検出された顔画像の補正処理を実行する顔画像補正手段と、
   前記顔画像補正手段による補正処理後の画像を出力する画像出力手段とを具備して成る画像編集装置。
3. 請求項１または２に記載された画像編集装置において、
   前記顔画像検出手段は、前記顔画像の検出結果に対する修正操作を受け付けて、前記顔画像の検出結果を修正する手段を含んで成る画像編集装置。
4. 請求項１〜３のいずれかに記載された画像編集装置において、
   前記推論手段は、前記推論結果に対する修正操作を受け付けて、前記推論結果を修正する手段を含んで成る画像編集装置。
5. 請求項１〜４のいずれかに記載された画像編集装置において、前記顔画像補正手段は、補正処理後にその補正内容の修正操作を受け付けて、修正された内容に基づき前記顔画像の再補正を実行する手段を含み、
   前記画像出力手段は、確定操作に応じて、その時点における最新の補正処理画像を出力する画像編集装置。
6. 人物を撮像して得られた画像を入力する画像入力手段と、
   前記入力画像に含まれる被写体の顔画像を検出する顔画像検出手段と、
   前記被写体について、その顔画像の補正処理内容を示す情報を入力するための情報入力手段と、
   前記顔画像検出手段により検出された顔画像に対し、前記情報入力手段より入力された情報に基づく内容による補正処理を実行する顔画像補正手段と、
   前記顔画像補正手段による補正処理後の画像を出力する画像出力手段とを具備して成る画像編集装置。
7. 請求項１または６に記載された画像編集装置において、
   前記顔画像検出手段により検出された顔画像の特徴量と顔画像補正手段が実行した補正処理内容とを対応づけた登録情報をメモリに登録する登録処理手段を具備し、
   前記顔画像検出手段は、所定の登録情報を指定する操作に応じて、この指定された登録情報に含まれる特徴量を用いた検索処理により、前記入力画像から顔画像を検出することが可能に設定され、
   前記顔画像補正手段は、前記検索処理により顔画像が検出されたとき、この検出された顔画像に対し、前記指定された登録情報に含まれる補正処理内容による補正処理を実行する画像編集装置。
8. 請求項１〜７のいずれかに記載された画像編集装置において、前記顔画像検出手段は、前記画像入力手段より、被写体の顔画像の位置を示す情報をリンクさせた画像が入力されたとき、そのリンク情報に基づき顔画像を検出する画像編集装置。
9. 請求項１〜８のいずれかに記載された画像編集装置において、前記画像出力手段は、前記補正処理後の画像を印刷する手段である画像編集装置。
10. 請求項１〜８のいずれかに記載された画像編集装置において、前記画像入力手段は、コンピュータネットワークを介して処理対象の画像の送信を受ける手段であり、
    前記画像出力手段は、補正後の画像を印刷する手段、または、前記コンピュータネットワークを介して前記画像の送信元もしくはこの送信元から指定された配信先に前記補正後の画像を送信する手段である画像編集装置。
11. 人物を撮像して得られた画像を入力するステップ、
    前記入力画像に含まれる被写体の顔画像を検出するステップ、
    前記検出された顔画像を含む画像領域内の特徴量に基づき、前記顔画像について、少なくとも人種、年齢、性別のいずれかに対する推論処理を実行するステップ、
    前記推論処理における推論結果に基づき、前記顔画像の補正処理内容を決定するステップ、
    前記決定した内容による補正処理を前記顔画像に対して実行するステップ、
    前記補正処理後の顔画像を出力するステップ、
    の各ステップを実行することを特徴とする画像編集方法。
12. 人物を撮像して得られた画像を入力するステップ、
    前記入力画像に含まれる被写体の顔画像を検出するステップ、
    所定数の被写体について、顔画像の特徴量および顔画像の補正に必要な情報が登録されたデータベースを、前記検出された顔画像の特徴量により照合して、前記入力画像に含まれる被写体を推定するステップ、
    前記推定された被写体について、前記データベースに登録された補正に必要な情報を用いて、前記顔画像を補正するステップ、
    前記補正処理後の顔画像を出力するステップ、
    の各ステップを実行することを特徴とする画像編集方法。
13. 人物を撮像して得られた画像を入力するステップ、
    前記入力画像に含まれる被写体の顔画像を検出するステップ、
    前記被写体について、その顔画像の補正処理内容を示す情報の入力を受け付けるステップ、
    前記検出された顔画像に対し、前記入力された情報に基づく内容による補正処理を実行するステップ、
    前記補正処理後の顔画像を出力するステップ、
    の各ステップを実行することを特徴とする画像編集方法。

Images