JP4344925B2 - 画像処理装置、画像処理方法およびプリントシステム - Google Patents

Description

本発明は画像処理装置、画像処理方法およびプリントシステムに係り、特に、証明写真、アミューズメントシール、携帯電話で撮影した画像の写真プリント、一般的な写真プリント等の各種用途の画像に画像処理を施す画像処理装置、画像処理方法およびプリントシステムに関する。

カメラで撮影して得られる画像の用途は様々である。画像の用途としては、一般的な写真プリント以外に、例えば、人物を識別するための証明写真の作成や、プリント倶楽部（登録商標）に代表されるように主として娯楽用に人物の画像をシール紙にプリントしたアミューズメントシールの作成がある。

また、近年のカメラ付き携帯電話の普及にともなって、このカメラ付き携帯電話で撮影する機会が多くなってきている。カメラ付き携帯電話で撮影した画像は、その携帯電話の画面に表示したり、電子メールに添付して他人の携帯電話に送るといった用途の他に、一般の写真プリントと同様に用紙にプリントするという用途があり、このようなプリント（携帯プリント）の需要が高くなってきた。

従来、デジタルカメラで撮影された人物画像に補正を施す際に、特に顔部分が重要視されることに着目して、デジタルカメラから取得した人物画像から顔部分を抽出し、肌色が予め定められた目標色度値となるように色変換処理を施すようにしたものが知られている（例えば特許文献１を参照）。

顔部分の抽出方法としては、原画像中の顔領域をポインティングデバイスで人に指定させて顔領域を認識し抽出する方法や、原画像中で特定の色合いの肌色の領域を検出して顔領域を認識し抽出するなどの方法もあるが、特別な操作を必要とせず、かつ、特定の色合いの肌色を前提としない方法として、原画像中で同一または類似の色領域を求め、求められた色領域から顔の形状に該当する領域を顔の部分と判定して抽出するという優れた方法が提案されている（特許文献２を参照）。
特開２０００−１８２０４３号公報 特開平５−１６５１１９号公報

しかし、従来の画像処理装置では、画像の用途によって重要な要素が異なってくるにも関わらず、どのような用途の画像であっても略均一の処理内容が施されていた。

人物の証明写真は、一般に、証明書等に貼付して人物を目で識別可能にするためのものであるから、基本的に顔の部分が実際の顔と対比可能にプリントされている必要がある。また、作成された証明写真の出来具合、特に顔の部分の出来具合によって、その人物の他人に与える印象が左右されてしまう。例えば、顔の画面位置やサイズが規定内であること、顔にストロボの影が強くでないことなどが、求められる。

一方で、プリント倶楽部（登録商標）に代表されるような主として娯楽用のアミューズメントシールは、友達と一緒になって作成して、友達同士で好みの物に貼り付けて友好を深めたり、貼らないでミニアルバムにして保管して後で自分で見て楽しんだり、そのミニアルバムを第３者に見せたり、その第３者の気に入ったシールをその第３者にあげる等の多用性を有し、単なる流行に留まらず広く普及してきた。このような写真シールも、人物が撮影されるから、当然、顔の部分の出来具合が重要である。さらに、遊びとして用いられているから、人物を再現する点では一致していても、人物識別用の証明写真と比較して、よりユーザの嗜好に合うように作成されることが重要である。また、アミューズメントシールは男性よりも女性に人気があり、しかも、女性の方が男性よりも顔の部分を気にする傾向にあるから、顔の部分の出来具合が気に入らなければ、せっかく楽しむ目的で作成しても、全く楽しめないばかりか、逆に嫌な気分を味わうことになる。

また、銀塩カメラやデジタルカメラで撮影された画像の写真プリントの作成では、風景のみを撮影した写真のように顔が撮影されていない写真もあることが前提であるし、撮影された顔の配置や大きさ、撮影された複数の顔の互いの遠近にも差があるのが前提であり、このような画像からの顔抽出や画像補正を、自動で行い、かつ、顔の検出率やプリントの品質をさらに向上させようとすれば、画像処理時間がどうしても長くなってしまう。さらに、装置コストの低減を図る等の理由により、画像処理に高速処理可能なプロセッサを用いることができない場合もある。逆に、高速性を重視して、顔抽出の処理を単純に簡素化すれば顔抽出の精度が落ち、画像補正の処理を単純に簡素化すればプリント品質が低下することになる。

本発明はこのような事情に鑑みてなされたもので、各種の用途の画像処理に共通に使用することができ、かつ、該当する画像の用途に適した画像補正を施すことができる画像処理装置、画像処理方法およびプリントシステムを提供することを目的とする。

前記目的を達成するために、請求項１に記載の発明は、被写体が撮影された画像を取得する画像取得手段と、前記画像取得手段で取得する画像の用途を示す用途情報が設定される用途情報設定手段と、前記用途情報に基づいて、顔の最大数、顔部分の色、および、顔部分の明るさのうちで少なくともひとつを限定して、前記取得した画像から顔部分を抽出する顔抽出手段と、前記抽出した顔部分の補正を行う画像補正手段と、を備えたことを特徴とする画像処理装置を提供する。

この構成によって、設定された用途情報に基づいて原画像から顔部分が抽出され、かつ、設定された用途情報に基づいて原画像に対して顔部分の補正が施されるので、各種の用途の画像処理に共通に使用することができ、かつ、該当する画像の用途に最適の画像補正を施すことができる。さらに、用途別に最適の顔抽出処理を行うことができるから、各用途での顔抽出の精度を向上させることができる。

請求項２に記載の発明は、請求項１に記載の発明において、前記画像補正手段は、前記用途情報に基づいて、前記抽出した顔部分の色、明るさ、および、縦横比率の少なくとも１つを補正する構成となっている。

請求項３に記載の発明は、被写体が撮影された画像を取得する画像取得手段と、前記画像取得手段で取得する画像の用途を示す用途情報が設定される用途情報設定手段と、前記用途情報に基づいて、顔の最大数、顔部分の大きさ、顔部分の色、および、顔部分の明るさのうちで少なくともひとつを限定して、前記取得した画像から顔部分を抽出する顔抽出手段と、前記抽出した顔部分の画像データに基づいて、前記顔部分が適正な画像となるように前記画像全体の補正を行う画像補正手段と、を備えたことを特徴とする画像処理装置を提供する。

この構成によって、設定された用途情報に基づいて原画像から顔部分が抽出され、かつ、抽出した顔部分に関する情報に基づいて、画像全体の補正量を決定し、該補正量で画像全体の補正が施されるので、各種の用途の画像処理に共通に使用することができ、かつ、該当する画像の用途に最適の画像補正を施すことができる。

前記画像補正手段によって、前記画像の用途情報に基づいて、前記抽出した顔部分を基準とする画像のトリミングが必要か否かの判定、および／または、最適なトリミング位置の算出を行って、該トリミングを行ってもよい。

請求項４に記載の発明は、請求項３に記載の発明において、前記画像補正手段は、前記抽出した顔部分の画像データに基づいて、前記画像全体の色、明るさ、および、縦横比率の少なくとも１つを補正する構成となっている。

本発明は、前記顔抽出手段を備えたことにより、一般写真の用途を除き他の用途では画像処理時間を向上させることができ、結果として平均の画像処理時間を大幅に向上させることができる。

前記用途情報は、例えば、一人物の証明写真を作成するか否か、一または複数の人物が写されたアミューズメントシールを作成するか否か、または、携帯電話で撮影した画像で写真を作成するか否かを示す。

なお、用途情報の設定は、画像処理装置内で設定するようにしてもよく、画像処理装置の外部から設定するようにしてもよい。また、用途情報を外部から設定するようにした場合、用途情報は画像と一体で取得してもよいし画像とは別に取得するようにしてもよい。

また、本発明は、前記画像処理装置と、該画像処理装置で画像処理された画像を所定の用紙にプリントするプリンタを備えたことを特徴とするプリントシステムを提供する。

また、前記プリントシステムにおいて、人物を撮影するカメラをさらに備え、該カメラで得られた画像に対して前記画像処理装置が補正を行ってもよい。
また、本発明は、被写体が撮影された画像、および、前記画像の用途を示す用途情報を取得する工程と、前記用途情報に基づいて、顔の最大数、顔部分の色、および、顔部分の明るさのうちで少なくともひとつを限定して、前記取得した画像から顔部分を抽出する工程と、前記抽出した顔部分の補正を行う工程と、を含むことを特徴とする画像処理方法を提供する。
また、本発明は、被写体が撮影された画像、および、前記画像の用途を示す用途情報を取得する工程と、前記用途情報に基づいて、顔の最大数、顔部分の色、および、顔部分の明るさのうちで少なくともひとつを限定して、前記取得した画像から顔部分を抽出する工程と、前記抽出した顔部分の画像データに基づいて、前記顔部分が適正な画像となるように前記画像全体の補正を行う工程と、を含むことを特徴とする画像処理方法を提供する。

本発明によれば、各種の用途の画像処理に共通に使用することができ、かつ、該当する画像の用途に最適の画像補正を施すことができる。

以下、添付図面に従って本発明を実施するための最良の形態について、詳細に説明する。

図１は、本発明に係る一実施形態の画像処理装置の概略構成を示したブロック図である。図１において、画像処理装置１０は、各種用途の画像の画像処理に共通に使用される装置であって、主として、画像取得手段１０ａ、用途情報設定手段１０ｂ、補助情報取得手段１０ｃ、顔抽出パラメータ記憶手段１０ｄ、画像補正パラメータ記憶手段１０ｅ、顔抽出手段１０ｆ、画像補正手段１０ｇ、および、画像出力手段１０ｈによって構成される。

画像取得手段１０ａは、被写体が撮影された画像を取得するものである。この画像取得手段１０ａによる画像の取得形態は各種あり、例えば、カメラと直接的に通信して画像を直接的に取得する形態、カメラ付き携帯電話やデジタルスチールカメラ等によって画像が記録されたメモリカード等の記録メディアから画像を読み込む形態、インターネット等のネットワークを介して画像を受信する形態、銀塩カメラによって画像が記録されたフイルムから画像を読み込む形態がある。このような画像の取得形態は、特に限定されない。また、画像のデータ形式についても、特に限定されないが、以下では、画像をＲ（赤）、Ｇ（緑）、Ｂ（青）の各色で表すデジタルデータで取得したものとして説明する。

用途情報設定手段１０ｂは、用途情報が設定されるものである。ここで、用途情報は、画像処理を施す画像すなわち画像取得手段１０ａで取得する画像の用途を示す情報である。以下では、任意の一人物の証明写真（以下単に「証明写真」と称する）の作成、「プリントクラブ」（登録商標）等で代表されるように主として娯楽用に任意の一または複数の人物の画像がシール用紙に印刷されたアミューズメントシール（以下「写真シール」と称する）の作成、カメラ付き携帯電話で撮影した画像を原画像とする写真の作成（以下「携帯プリント」と称する）、および、デジタルスチールカメラや銀塩カメラ等の一般のカメラで撮影した画像を原画像とする写真の作成（以下「一般写真プリント」と称する）のいずれであるかを示す場合について説明する。

補助情報取得手段１０ｃは、画像取得手段１０ａで取得する画像に関する補助情報を取得するものである。補助情報には、ストロボ発光の有無、ストロボ光の種類、ストロボのメーカといった画像の撮影条件と、被写体である顧客の性別、年齢、国籍、嗜好といった顧客情報等が含まれる。この補助情報の取得形態には、画像に付加されている補助情報を抽出する形態と、画像とは別にして取得する形態がある。例えば、画像がＥｘｉｆ（Exchangeable Image Format）で形成されており、補助情報がタグ情報として画像に付加されている場合、画像とともに取得して抽出する。また、例えば、カメラから直接的に撮影条件を取得するとともに、顧客が操作するタッチパネル等の操作パネルを介して顧客情報を取得する。

顔抽出パラメータ記憶手段１０ｄは、画像の用途別に、後述の顔抽出手段１０ｆによる顔抽出に必要なパラメータ（「顔抽出パラメータ」と称する）を記憶するものである。各種の補助情報に関連付けてさらに詳細なパラメータを記憶してもよい。顔抽出パラメータは、例えば、原画像に含まれるべき顔の最大数（例えば、証明写真は「１」、写真シールは「１〜５」、一般写真プリント等は不特定数とする）、原画像に含まれるべき顔の部分の大きさの許容範囲、原画像上での顔の色（色相値、色彩値）および明るさ（明度値）の範囲、顔の輪郭や内部構造に関するデータ、撮影条件（例えば、ストロボ発光の有無、ストロボの種類、ストロボのメーカ）や顧客情報（例えば、性別、年齢、国籍、嗜好）に基づき各パラメータに対して演算する係数がある。

画像補正パラメータ記憶手段１０ｅは、画像の用途別に、後述の画像補正手段１０ｇによる画像補正に必要なパラメータ（「画像補正パラメータ」と称する）を記憶するものである。各種の補助情報に関連付けてさらに詳細なパラメータを記憶してもよい。画像補正パラメータは、例えば、顔部分を基準とする原画像のトリミングに必要なパラメータ、顔の部分の色（色相、色彩）および明るさ（明度）の補正に必要なパラメータ、画像全体の色（色相、色彩）および明るさ（明度）の補正に必要なパラメータ、顔の部分を細くする等の縦横比率の補正に必要なパラメータ、画像全体の縦横比率の補正に必要なパラメータ、撮影条件や顧客情報に基づき各パラメータに対して演算する係数がある。

顔抽出手段１０ｆは、用途情報に基づいて、取得画像に対して適当な顔抽出パラメータを顔抽出パラメータ記憶手段１０ｄから読み出して、この顔抽出パラメータを用いて原画像から顔部分を抽出するものである。なお、用途情報に加えて補助情報にも基づいて顔抽出パラメータを選択し顔抽出を行うようにしてもよい。

例えば、用途情報に基づいて、顔の最大数および顔の大きさを限定して、顔部分の抽出を行う。顔の最大数については、例えば、証明写真であれば顔が１つ、写真シールであれば顔が１つから５つまで、その他は不特定数、と限定して顔抽出を行う。顔の大きさについては、例えば、証明写真、写真シール、携帯プリントおよび一般写真プリントごとに、取得した原画像全体に対する顔画像の大きさの比率を限定して顔抽出を行う。特に、証明写真、および、写真シールでは、その順に、原画像全体に占める顔の部分の割合が大きいものとして、顔の大きさを限定し、予め設定された範囲と比較して小さな物体や大きな物体は顔ではないものとして顔抽出の対象から除外する。

画像補正手段１０ｇは、用途情報に基づいて、取得画像に対して適当な画像補正パラメータを画像補正パラメータ記憶手段１０ｅから読み出して、この画像補正パラメータを用いて原画像の補正を行うものである。なお、用途情報に加えて補助情報にも基づいて画像補正を行うようにしてもよい。

例えば、用途情報に基づいて、顔部分を基準とする画像のトリミングが必要か否かを判定するとともに、最適なトリミング位置の算出を行って、トリミングを行うようになっており、特に証明写真では顔部分を基準として画像の周辺部を切除する。写真シールでも一または複数の顔部分を基準としてトリミングを行うようにしてもよい。

また、画像の用途情報に基づいて、顔部分の色、明るさおよび縦横比率の各補正が必要か否かを判定して、これらの補正を画像に対して施すようになっている。色の補正では、画像を構成する各画素について、色相や彩度を調節する。また、明るさの補正では、画像を構成する各画素について、明度（あるいは濃度、輝度）を調節する。また、縦横比率の補正では、顔が細くなるように顔の部分の縦対横の比率を変更する。顔のうち頬の部分を特定して頬の部分のみ細くなるように補正してもよい。

また、抽出された顔部分の画像データに基づいて、画像全体の色、明るさおよび縦横比率を補正するようになっている。例えば、無補正の場合、逆光撮影だと顔が暗くなり、近接ストロボ撮影だと顔が白く飛ぶ傾向になる。そこで、抽出した顔の濃度（明るさを示す）に応じて、顔に最適な濃度補正量を算出し、その画像全体に対して補正を行い、より適切な仕上がりを実現する。

また、異種光源（蛍光灯、タングステン）で撮影された場合、カラーバランスも崩れているので、抽出した顔の領域が、最適な肌色になるようなＣ（シアン），Ｍ（マゼンタ），Ｙ（イエロー）の色補正量を算出し、その画像全体に対して補正を行い、より適切な仕上がりを実現する。

画像出力手段１０ｈは、画像補正手段１０ｇで補正された画像を出力するものである。この画像出力手段１０ｈによる画像の出力形態は各種あり、例えば、プリンタに画像を送信してプリンタで画像を所定の用紙にプリントする形態、所定の用紙に画像を直接プリントする形態、メモリカードやＣＤ―ＲＯＭ等の記録メディアに画像を記録する形態、ネットワークに送出する形態、画像を表示する形態がある。このような画像の出力形態は特に限定されない。

以上説明した画像処理装置１０における画像処理の流れについて説明する。

図２は、画像処理装置１０における画像処理全体の流れを示す。図２において、まず、画像取得手段１０ａによる画像の取得、用途情報設定手段１０ｂの用途情報の取得、および、補助情報取得手段１０ｃによる補助情報の取得を行う（Ｓ１）。次に、用途情報および補助情報に基づいて、取得画像に対して適当な顔抽出パラメータを顔抽出パラメータ記憶手段１０ｄから読み出して、この顔抽出パラメータを用いて取得画像から顔の部分の抽出を行う（Ｓ２）。また、用途情報および補助情報に基づいて、取得画像に対して適当な画像補正パラメータを画像補正パラメータ記憶手段１０ｅから読み出して、この画像補正パラメータを用いて取得画像の補正を行う（Ｓ３）。そして、補正した画像を出力する（Ｓ４）。

まず、画像の用途情報が一般写真プリントを示す場合の顔抽出について説明する。

図３は、図２の顔抽出処理（Ｓ２）の具体的な内容を示すものであり、まず、ステップＳ１０２では、Ｒ、Ｇ、Ｂの各色で表される画像をＨ（色相値）、Ｌ（明度値）、Ｓ（彩度値）で表される画像に変換する。ステップＳ１０４では、図４（ａ）に示すように、互いに直交する色相値軸、彩度値軸および画素数軸から成る座標系を用いて、色相値および彩度値についての２次元ヒストグラムを求め、次のステップＳ１０６において、求めた２次元ヒストグラムを山毎に分割する、すなわち２次元ヒストグラムのクラスタリングを行なう。次のステップＳ１０８では、クラスタリングされた２次元ヒストグラムの山に基づいて多数の画素のクラスタリングを行ない、このクラスタリングに基づいて画面を分割し、分割された領域から人物の顔の候補となる領域を抽出する。次のステップＳ１１０では、顔の候補として抽出された色領域を円または長円の領域に更に分割し、この分割された領域に基づいて顔の領域を推定する。

図４（ａ）は、図３のステップＳ１０４において求められた２次元ヒストグラムと、図３のステップＳ１０６において切り出された山を示す。図４（ａ）の例では、Ｘ軸と直交する方向から見ると１、２の符号を付した山が重なって見えるため、Ｘ軸のヒストグラム（１次元ヒストグラム）は、符号３を付した山、符号１、２を付した山、符号４を付した山の３つの山が現れ、Ｙ軸と直交する方向から見ると１〜４の符号を付した山が重なって見えるため、Ｙ軸のヒストグラム（１次元ヒストグラム）には、１つの山が現れている。Ｘ軸のヒストグラムおよびＹ軸のヒストグラムにおいてそれぞれ山を切り出して、山が重なる領域を求める。図４（ａ）のＥ１はこのようにして切り出した山の領域の一例を示すものである。切り出された山が単峰であるか否かが判定され、領域Ｅ１は単峰ではないから、単峰になるまで２次元ヒストグラムを求めて山を切り出す。図４（ｃ）の領域Ｅ２は、このようにして切り出された単峰の山の領域の一例を示すものである。

図５は、図３のステップＳ１０８の詳細を示すもので、ステップＳ１４０では、単峰の山のＸ軸方向の範囲ＸＲ（図４（ｃ））およびＹ軸方向の範囲ＹＲ（図４（ｃ））を単峰の山毎に各々求め、原画像の各画素について色相値および彩度値がこれらの範囲に属しているかを判断して画素のクラスタリングを行なうとともに、範囲ＸＲ、ＹＲで囲まれた範囲に属している画素を集め、集めた画素が原画像上で１つの領域となるように原画像を分割する。また、分割された領域にナンバリングする。図４（ｂ）は、原画像を分割した例を示すもので符号１〜４を付した各領域の画素は、図４（ａ）の、符号１〜４を付した単峰の山に含まれる画素に対応している。図４（ａ）で同じ単峰の山に属している画素が図４（ｂ）では異なる領域に分割されているが、これは図４（ａ）では単峰の山の色相値範囲および彩度値範囲を持つ画素であるが、図４（ｂ）では領域が分かれているからである。次のステップＳ１４２では、分割された領域の面積を判断することにより微小領域を除去し、ナンバリングをし直す。次のステップＳ１４４では、領域の境界画素をすべて削除してひと皮分取り除く収縮処理と、収縮処理とは逆に境界画素を背景画素方向へ増殖させてひと皮分太らせる膨張処理とを行なって大領域と繁がっている小領域を大領域から分離する。次のステップＳ１４６ではステップＳ１４２と同様に微小領域を除去してリナンバリングを行ない、ステップＳ１４８で弱い結合をしている領域同士を分離するために、上記と同様の収縮、膨張処理を行ない、ステップＳ１５０において上記と同様に微小領域の除去とリナンバリングを行なう。

図６は、図３のステップＳ１１０の詳細を示すものである。また、以下、ステップＳ１１０の説明を詳細に行なうために、図８（ａ）に示した顔と同色または類似色の色領域が広範囲に渡る場合の画像を用いて説明する。なお、図８（ａ）に示した顔と同色または類似色の色領域は、証明写真や写真シールの場合は、他の用途より狭く設定することができる。なぜなら、固定の照明条件で撮影するからである。狭く設定することにより、顔抽出の精度が高くなり、抽出処理時間も短くて済む。

先ず、ステップＳ１６２において、ステップＳ１０８、すなわち図５のルーチンで抽出された領域の中から１つの領域を注目領域として選択する（図８（ａ）参照）。次に、選択した注目領域の収縮処理を行なって注目領域を分解するための核を求める。すなわち、注目領域の境界画素を削除していく収縮処理を繰り返し行なって、最終的に残った１つの点状または線状領域を核とする。この線状領域とは、図８（ｂ）に示したように、複数の連続した点（画素または複数画素の集合）すなわち線Ｌ₁ になるものをいう。対象とする画像は予め量子化されたデジタルデータの原画像に基づくため、連続系ではなく、離散系であるので、上記核はある面積をもつことになる。また、対象とする画像の形状によっては最終的に残る核が複数になることがある。この場合には、最小面積の領域を核とする。また、同面積の領域が残存した場合には任意の１つを選択するものとする。次のステップＳ１６４では、上記のようにして求めた核を中心として注目領域に内接する面積が最大の円または長円を求める。すなわち、上記のように核を求めるために収縮処理を行った回数だけ核を中心に膨張処理を行うことによって、核が点状の場合には内接円として、核が線状の場合には内接長円として求めることができる。注目領域に内接する面積が最大の円または長円を求めた後にはステップＳ１６６へ進み、ステップＳ１６６では、求めた面積最大の円（またはこの円による長円）を識別するためのラベルを付ける処理（ラベリング）を行なう。次のステップＳ１６８では、ラベリングされた円または長円の領域ＢＬ１をマスクしてステップＳ１７０へ進む。次のステップＳ１７０では、抽出された全領域について円または長円の領域によっての分割が終了したか否か判断し、終了していないときにはステップＳ１６２〜ステップＳ１６８を繰り返す。これによって、図８（ｂ）〜（ｆ）に示したように、面積の大きな円による領域ＢＬ１〜ＢＬ１０の順に分割が行なわれる。注目領域の分割が終了するとステップＳ１７２へ進む。ステップＳ１７２では、詳細は後述するが、分割された円または長円の内少なくとも１つを選択して顔の領域を推定する。

図７は、図６のステップＳ１７２の詳細を示すもので、ステップＳ３０２において、上記のように円または長円に分割された領域の中から１つの領域を特徴領域として選択し、特徴領域の水平フィレ径および垂直フィレ径が所定値になるように特徴領域の拡大縮小処理を行って特徴領域のサイズの規格化を行うと共に、明度値（あるいは濃度値、輝度値）の規格化を行う。ステップＳ３０４では、予め記憶された複数種（本実施形態では１０種類）の標準的な顔画像（正面から見た顔画像、横から見た顔画像（左右）、下向き顔画像、上向き顔画像等）に対する特徴領域の相関係数を演算し、この相関係数を特徴量とする。この標準的な顔画像は、顔の輪郭のみのデータであっても、顔の輪郭のデータに顔の内部構造（眼、鼻、口等）データを加えたデータであってもよい。そして、ステップＳ３０６において上記特徴量を変量とした線形判別分析により特徴領域が人物の顔であるか否かを判断する。ステップＳ３０８では分割された全領域について顔か否かの判定が終了したか否か判断し、終了していないときにはステップＳ３０２〜ステップＳ３０８を繰り返す。なお、ここでは人物の顔か否かの判定を行うために用いる特徴量として相関係数を使用したが、重心回りの正規化されたセントラル・モーメントから導出される不変量、自己相関関数または幾何学的不変量を用いてもよい。

上述の図３〜８を用いて説明した顔抽出によれば、原画像中の顔領域を人が指定する必要もなく、かつ、原画像中に特定の色合いの肌色が存在することを前提とすることなく顔抽出をすることができ、しかも、複数の顔が原画像に含まれている場合にも、検出率よく顔抽出することができる。しかし、装置の設計上、顔の検出数を増やそうとして改良を加えると、逆に、誤検出により過補正の領域が増えてしまうことがある。また、検出精度がよくても、速度が遅いのでは実用的でない。また、高性能のプロセッサを用いることができる場合はよいが、装置の低コスト化などの理由により高性能のプロセッサを用いて画像処理をすることができない場合にも、速度があまり遅くならないようにする必要がある。

ここで、平均の画像処理時間を向上させれば実質的に大幅な速度アップとなる点に着目する。また、画像の用途に着目する。例えば、図９（ａ）に例を示す証明写真では、顔はひとつ（Ａ１のみ）であり、図９（ｂ）に例を示す写真シールでは、顔は２つ（Ｂ１およびＢ２）であり、図９（ｃ）に例を示す一般写真プリントでは、顔は６つ（Ｃ１〜Ｃ６）である。一般には、証明写真は顔が１つ、写真シールでは顔が１つから５つ、一般写真では顔が多数の場合もあれば風景のみの写真のように顔が全く無い場合もある。ここで、証明写真および写真シールでは、顔の最大数を限定して顔抽出しても差し支えない。また、証明写真および写真シールでは、顔の大きさを限定して顔抽出しても差し支えない。また、携帯プリントでは、携帯電話で撮影した多数の画像を調査した結果により、顔画像を含む可能性が一般写真の場合と比較して高く、また、顔の大きさも一般写真の場合と比較して大きいことが判っている。そこで、具体的には、図３〜８を用いて説明した顔抽出処理において、用途情報に基づいて、証明写真、写真シール、および、携帯プリントの場合には、顔の最大数および顔の大きさを限定して顔抽出を行う。具体的には、顔抽出処理の中で、用途別に予め決められた顔の大きさの最小値から最大値までの範囲と各ステップでの処理対象の領域の大きさとを比較し、範囲外の大きさの領域については顔抽出の対象から順次除外していく。また、用途別に予め決められた顔の最大数と抽出済の顔の数とを比較し、該当する最大数となったら顔抽出を中止して該当する最大数を超えて顔抽出を行わないようにする。ここで、用途別の顔の最大数や顔の大きさの範囲は、顔抽出パラメータとして顔抽出パラメータ記憶手段１０ｄに予め記憶させておく。

用途別に顔の最大数および顔の大きさを限定して顔抽出する点について説明したが、これに限るものではない。例えば、用途別に固定的に撮影条件（例えば、ストロボ発行の有無、ストロボの種類、ストロボのメーカ）が決まっている場合には、この用途別の撮影条件に基づくパラメータを用いて顔抽出を行ってもよい。さらに、補助情報取得手段１０ｃによって取得される補助情報、例えばＥｘｉｆのデータ形式で形成された画像から抽出された補助情報や、カメラから直接的に取得した補助情報、顧客が操作パネルから入力した補助情報に基づいて、顔抽出を行ってもよい。

次に、画像の用途別の画像補正について説明する。

図２のステップＳ３では、画像の用途別に、顔部分を基準とする画像のトリミングが必要か否かを判定するとともに、最適なトリミング位置の算出を行って、トリミングを行う。具体的には、証明写真では顔部分を基準として画像の周辺部を切除する。図１０（ａ）は、証明写真を撮影する際の様子を示しており、背の高い人は図１０（ｂ）に示すように顔が画像の上側に片寄って撮影される傾向にあり、背の低い人は図１０（ｃ）に示すように顔が画像の下側に片寄って撮影される傾向にある。たとえ人が座る椅子の高さが調節可能であっても、顔の高低が出てくることが多い。また、椅子の高低の調節は煩雑であるから、予め撮影範囲を広めにとって撮影後に顔を中心にトリミングする方がユーザにとって利便性がよい。本実施形態では、用途情報が証明写真である場合、顔部分を基準とした画像のトリミングが必要であると判定して顔抽出手段１０ｆで抽出された顔部分を基準として原画像の周辺部を切除する。写真シールでも、一または複数の顔部分を基準としてトリミングを行うようにしてもよい。

また、図２のステップＳ３では、画像の用途別に、顔部分の色、明るさおよび縦横比率の各補正が必要か否かを判定して、これらの補正を画像に対して施すようになっている。色の補正では、画像を構成する各画素について、色相や彩度を調節する。また、明るさの補正では、画像を構成する各画素について、明度（あるいは濃度、輝度）を調節する。また、縦横比率の補正では、顔が細くなるように顔の部分の縦対横の比率を変更する。顔のうち頬の部分を特定して頬の部分のみ細くなるように補正してもよい。

また、抽出された顔部分の画像データに基づいて、画像全体の色、明るさおよび縦横比が補正される。

さらに、補助情報取得手段１０ｃによって取得される補助情報、例えばＥｘｉｆのデータ形式で形成された画像から抽出された補助情報や、カメラから直接的に取得した補助情報、顧客が操作パネルから入力した補助情報に基づいて、画像補正を行ってもよい。

なお、写真は、第３者の目から見れば正しく再現されていると感じるような場合であっても、被写体であるユーザ本人の嗜好に合わず、本人が過補正ぎみの画像補正を希望する場合もあるので、画像の用途によっては、例えば証明写真以外の用途が設定されている場合には、ユーザが操作パネルで指示した通りに画像補正を行うようにしてもよい。例えば、ユーザが明るさ補正のレベルを指定し、ユーザが指定したレベルに対応して画像全体または顔部分の明るさを補正する。また、例えば、証明写真以外の用途では、ユーザが縦横比率の補正のレベルを指定し、ユーザが指定したレベルに対応して顔、または顔の頬の部分のみ、あるいは身体全体を、ユーザ本人自身の感覚において正しくかつ好ましくプリントされていると実感する範囲内で、第３者にとっては実物と若干だけ異なって見えるとしても、過補正ぎみに補正してもよい。一方で、用途別に画像補正パラメータの切り替えを行い、証明写真の用途では、このような過補正の処理は行わないように制限を加えるようにするとよい。

なお、本実施形態において、画像の用途別に顔の最大数や大きさを限定して顔抽出を行う場合等を例に説明したが、本発明は前述の例に限定されるものではなく、その他顔抽出パラメータを画像の用途別に切り替えるようにしてもよいことはいうまでもない。

また、本実施形態において、画像の用途に応じて画像のトリミングを行う場合や、画像の用途に応じて色、明るさ、および、縦横比率を補正する場合等を例に説明したが、本発明は前述の例に限定されるものではなく、その他画像補正パラメータを画像の用途別に切り替えるようにしてもよいこともいうまでもない。

また、画像の用途は、証明写真、写真シール、携帯プリント、一般写真プリントに限定されるものではない。

図１１は、証明写真の作成、携帯プリントおよび一般写真プリントの全てを実施可能なプリントシステムに本発明を適用した例を示す。

図１１のプリントシステムは、主として、証明写真撮影装置２０１、写真プリント受付装置４０１、証明写真撮影装置２０１および写真プリント受付装置４０１からＬＡＮ（Local Area Network）９０を介して取得した画像に対して画像処理を施す実施例１の画像処理装置１０１、および、画像処理装置１０１で処理された画像を所定の用紙にプリントするプリンタ５０によって構成されている。

証明写真撮影装置２０１には、主として、証明写真の対象の人物を被写体として撮影するカメラ２１、被写体の人物に閃光を照射するストロボ２２、および、操作を行うための操作パネル２３が設けられている。

写真プリント受付装置４０１は、ユーザがカメラ付き携帯電話やデジタルスチールカメラ、銀塩カメラ等で撮影した画像の写真プリントを受け付けるものであり、メモリカード等の記録メディアから画像を読み込む記録メディアインタフェース４１、インターネット８０を介してユーザの画像を受信するネットワークインタフェース４２、銀塩カメラのフイルムからユーザの画像を読み込むスキャナ４３、および、操作を行うための操作パネル４４が設けられている。

画像処理装置１０１は、証明写真の作成、携帯プリントおよび一般写真プリントの各用途で共通に使用されるものであり、主として、証明写真撮影装置２０１および写真プリント受付装置４０１から画像を受信する通信回路１１１、画像処理装置１０１の各部を統括して制御するとともに顔抽出処理を行うＣＰＵ（Central Processing Unit）１２、画像補正処理等を行う画像処理回路１３、プリンタ５０に補正後の画像を送信するプリンタインタフェース１４、各種設定情報を記憶するＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１５、ＣＰＵ１２によって実行されるプログラム等を記憶するＲＯＭ（Read Only Memory）１６、プログラム実行時のワークメモリとして使用されるＲＡＭ（Random Access memory）１７、および、操作を行うための操作パネル１８によって構成されている。

実施例１では、用途情報は、証明写真撮影装置２０１および写真プリント受付装置４０１からＬＡＮ９０を介して設定されるようになっている。すなわち、ＣＰＵ１２の制御により、通信回路１１１によって証明写真撮影装置２０１または写真プリント受付装置４０１から受信した用途情報は、ＲＡＭ１７に記憶され、このＲＡＭ１７に記憶された用途情報に基づいて、顔抽出および画像補正が行われる。

図１１の実施例１の画像処理装置１０１の構成要素と、図１に概念的に示した画像処理装置１０の構成要素との対応関係を簡単に説明すると、図１の画像取得手段１０ａおよび補助情報取得手段１０ｃは主に通信回路１１１で構成され、図１の用途情報設定手段１０ｂは主に通信回路１１１、ＣＰＵ１２およびＲＡＭ１７で構成され、図１の顔抽出パラメータ記憶手段１０ｄおよび画像補正パラメータ記憶手段１０ｅは主にＥＥＰＲＯＭ１５で構成され、図１の顔抽出手段１０ｆは主にＣＰＵ１２で構成され、図１の画像補正手段１０ｇは主にＣＰＵ１２および画像処理回路１３で構成され、図１の画像出力手段１０ｈは主にプリンタインタフェース１４で構成される。

図１２（ａ）は証明写真用のプリントシステム、図１２（ｂ）は写真シール用のプリントシステム、図１２（ｃ）は携帯プリントおよび一般写真プリント用のプリントシステムに、それぞれ本発明を適用した例を示す。

図１２（ａ）の証明写真用のプリントシステムは、証明写真の作成のみ行う専用機であり、主として、証明写真の対象の人物を被写体として撮影するカメラ２１、被写体の人物に閃光を照射するストロボ２２、操作を行うための操作パネル２３、および、画像を所定の用紙にプリントするプリンタ５０を収容した証明写真撮影装置２０２に、証明写真撮影装置２０２から入力された画像に画像処理を施す画像処理装置１０２が接続されている。この画像処理装置１０２は、証明写真撮影装置２０２に内蔵されていてもよい。

図１２（ｂ）の写真シール用のプリントシステムは、写真シールの作成のみ行う専用機であり、主として、写真シールの対象の人物を被写体として撮影するカメラ３１、被写体の人物に閃光を照射するストロボ３２、指示の入力や画像を確認するための操作パネル３３、落書き画像をペン入力するための入力ペン３４、カメラ３１で得られた原画像に落書き画像やテンプレート画像等の修飾画像を合成する画像合成回路３５、テンプレート画像を記憶するデータベース３６、および、画像を所定の用紙にプリントするプリンタ５０を収容した写真シール作成装置３０２に、この写真シール作成装置３０２から入力された画像に画像処理を施す画像処理装置１０２が接続されている。この画像処理装置１０２は、写真シール作成装置３０２に内蔵されていてもよい。

図１２（ｃ）の携帯プリントおよび一般写真プリント用のプリントシステムは、携帯プリントおよび一般写真プリントを行う専用機であり、主として、メモリカード等の記録メディアから画像を読み込む記録メディアインタフェース１４、インターネット８０を介してユーザの画像を受信するネットワークインタフェース４２、銀塩カメラのフイルムからユーザの画像を読み込むスキャナ４３、操作を行うための操作パネル４４、および、ユーザの画像を用紙にプリントするプリンタ５０を収容した写真プリント受付装置４０２に、本実施形態の画像処理装置１０２が接続されている。この画像処理装置１０２は、写真プリント受付装置４０２に内蔵されていてもよい。

画像処理装置１０２は、図１２の（ａ）、（ｂ）、（ｃ）において共通に使用される。すなわち、画像処理装置１０２は、証明写真の作成、写真シールの作成、携帯プリントおよび一般写真プリントで共通に使用されるものである。この画像処理装置１０２は、主として、原画像の入力および補正後の画像の出力を行う入出力回路１１２、画像処理装置１０２の各部を統括して制御するとともに顔抽出処理を行うＣＰＵ１２、画像補正処理等を行う画像処理回路１３、用途情報等が設定されるＥＥＰＲＯＭ１５、ＣＰＵ１２によって実行されるプログラム等を記憶するＲＯＭ１６、および、プログラム実行時のワークメモリとして使用されるＲＡＭ１７によって構成されている。

実施例２では、用途情報は、ＥＥＰＲＯＭ１５に予め設定されているか、証明写真撮影装置２０２、写真シール作成装置３０２、または、写真プリント受付装置４０２から設定されるようになっている。具体的には、証明写真撮影装置２０２、写真シール作成装置３０２、または、写真プリント装置４０２から通信回路１１１によって受信した用途情報は、ＥＥＰＲＯＭ１５に記憶され、このＥＥＰＲＯＭ１５に記憶された用途情報に基づいて、顔抽出および画像補正が行われる。画像処理装置１０２に図示しない保守パネル（あるは保守用のコンピュータ装置）を接続して設定するようにしてもよい。

図１２の（ａ）、（ｂ）および（ｃ）の各プリントシステムで共通に使用される実施例２の画像処理装置１０２の構成要素と、図１に概念的に示した画像処理装置１０の構成要素との対応関係を簡単に説明すると、図１の画像取得手段１０ａおよび補助情報取得手段１０ｃは主に入出力回路１１２で構成され、図１の用途情報設定手段１０ｂは主にＥＥＰＲＯＭ１５で構成され、図１の顔抽出パラメータ記憶手段１０ｄおよび画像補正パラメータ記憶手段１０ｅは主にＥＥＰＲＯＭ１５で構成され、図１の顔抽出手段１０ｆは主にＣＰＵ１２で構成され、図１の画像補正手段１０ｇは主にＣＰＵ１２および画像処理回路１３で構成され、図１の画像出力手段１０ｈは主に入出力回路１１２で構成される。

本発明に係る一実施形態の画像処理装置の概略構成を示すブロック図 本発明に係る一実施形態の画像処理装置における画像処理全体の流れを示すフローチャート 顔抽出処理の例を示すフローチャート （ａ）は色相値および彩度値についての２次元ヒストグラムを示す図、（ｂ）は原画像を分割した状態を示す図、（ｃ）は２次元ヒストグラムから単峰の山を切り出した状態を示す図 図３のステップＳ１０８の詳細を示すフローチャート 図３のステップＳ１１０の詳細を示すフローチャート 図６のステップＳ１７２の詳細を示すフローチャート 色領域を分割する過程を示す図 （ａ）人物の証明写真の例、（ｂ）人物の写真シールの例、（ｃ）一般写真プリントの例をそれぞれ示す説明図 画像のトリミングを説明するために用いる説明図 本発明に係る画像処理装置を適用したプリントシステムの具体的な実施例１を示すブロック図 本発明に係る画像処理装置を適用したプリントシステムの具体的な実施例２を示すブロック図

符号の説明

１０、１０１、１０２…画像処理装置、１０ａ…画像取得手段、１０ｂ…用途情報設定手段、１０ｃ…補助情報取得手段、１０ｄ…顔抽出パラメータ記憶手段、１０ｅ…画像補正パラメータ記憶手段、１０ｆ…顔抽出手段、１０ｇ…画像補正手段、１０ｈ…画像出力手段、１２…ＣＰＵ、１３…画像処理回路、１４…プリンタインタフェース、１５…ＥＥＰＲＯＭ、１６…ＲＯＭ、１７…ＲＡＭ、１８…操作パネル、５０…プリンタ、１１１…通信回路、１１２…入出力回路、２０１、２０２…証明写真撮影装置、３０２…写真シール作成装置、４０１、４０２…写真プリント受付装置

Claims (10)

1. 被写体が撮影された画像を取得する画像取得手段と、
   前記画像取得手段で取得する画像の用途を示す用途情報が設定される用途情報設定手段と、
   前記用途情報に基づいて、顔の最大数、顔部分の色、および、顔部分の明るさのうちで少なくともひとつを限定して、前記取得した画像から顔部分を抽出する顔抽出手段と、
   前記抽出した顔部分の補正を行う画像補正手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記画像補正手段は、前記用途情報に基づいて、前記抽出した顔部分の色、明るさ、および、縦横比率の少なくとも１つを補正することを特徴とする請求項１に記載の画像処理装置。
3. 被写体が撮影された画像を取得する画像取得手段と、
   前記画像取得手段で取得する画像の用途を示す用途情報が設定される用途情報設定手段と、
   前記用途情報に基づいて、顔の最大数、顔部分の色、および、顔部分の明るさのうちで少なくともひとつを限定して、前記取得した画像から顔部分を抽出する顔抽出手段と、
   前記抽出した顔部分の画像データに基づいて、前記顔部分が適正な画像となるように前記画像全体の補正を行う画像補正手段と、
   を備えたことを特徴とする画像処理装置。
4. 前記画像補正手段は、前記抽出した顔部分の画像データに基づいて、前記画像全体の色、明るさ、および、縦横比率の少なくとも１つを補正することを特徴とする請求項３に記載の画像処理装置。
5. 前記画像補正手段は、前記画像の用途情報に基づいて、前記抽出した顔部分を基準とする画像のトリミングが必要か否かの判定、および／または、最適なトリミング位置の算出を行って、該トリミングを行うことを特徴とする請求項１ないし４のいずれかに記載の画像処理装置。
6. 前記用途情報は、一人物の証明写真を作成するか否か、一または複数の人物が写されたアミューズメントシールを作成するか否か、または、携帯電話で撮影した画像で写真を作成するか否かを示すことを特徴とする請求項１ないし５のいずれかに記載の画像処置装置。
7. 請求項１ないし６のいずれかに記載の画像処理装置と、
   該画像処理装置で画像処理された画像を所定の用紙にプリントするプリンタと、
   を備えたことを特徴とするプリントシステム。
8. 人物を撮影するカメラをさらに備え、
   該カメラで得られた画像に対して前記画像処理装置が補正を行うことを特徴とする請求項７に記載のプリントシステム。
9. 被写体が撮影された画像、および、前記画像の用途を示す用途情報を取得する工程と、
   前記用途情報に基づいて、顔の最大数、顔部分の色、および、顔部分の明るさのうちで少なくともひとつを限定して、前記取得した画像から顔部分を抽出する工程と、
   前記抽出した顔部分の補正を行う工程と、
   を含むことを特徴とする画像処理方法。
10. 被写体が撮影された画像、および、前記画像の用途を示す用途情報を取得する工程と、
    前記用途情報に基づいて、顔の最大数、顔部分の色、および、顔部分の明るさのうちで少なくともひとつを限定して、前記取得した画像から顔部分を抽出する工程と、
    前記抽出した顔部分の画像データに基づいて、前記顔部分が適正な画像となるように前記画像全体の補正を行う工程と、
    を含むことを特徴とする画像処理方法。

Images