JP2008293062A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】画像データを予め選別することにより、表示または印刷の対象となる画像データの選択を容易化することが可能な画像処理装置を提供すること。
【解決手段】画像データから所定のオブジェクトを含む領域を特定する特定手段（顔認識処理部２０ｉ）と、特定手段が特定した領域の画素データが所定の条件を満たすか否かを判定する判定手段（撮影状態判定部２０ｊ）と、判定手段が所定の条件を満たさないと判定した画像データを、処理対象から除外する除外手段（制御部２０ｃ）と、除外手段によって除外されていない画像データに対して所定の処理を施す処理手段（制御部２０ｃ、情報出力部４０、プリント機構５０）と、を有する。
【選択図】図２

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、記憶媒体の大容量化に伴って、例えば、ディジタルカメラのフラッシュメモリに記憶可能な画像データの数が飛躍的に増加している。

このような多数の画像データが格納されたフラッシュメモリに記憶されている画像データをプリンタによって印刷する方法としては、例えば、特許文献１に記載されている方法がある。すなわち、特許文献１には、多機能プリンタにて印刷用インデックスシートを印刷し、画像を印刷用インデックスシートで指定してスキャナで読み込むことにより、所望の画像を簡易に印刷することが可能な技術が開示されている。

特開２００４−２５５７２９号公報（要約書、請求項）

ところで、特許文献１に開示される技術では、フラッシュメモリに記憶されている全ての画像データが印刷用インデックスシートに印刷されてしまうため、印刷に時間を要するという問題点がある。

また、印刷用インデックスシートに印刷せずに、画像データをＬＣＤ等の表示装置に表示させ、目視によって確認した後に印刷する場合であっても、画像データの数が多い場合には選択に時間を要するという問題点がある。

本発明は、上記の事情に基づきなされたもので、その目的とするところは、画像データを予め選別することにより、表示または印刷の対象となる画像データの選択を容易化することが可能な画像処理装置および画像処理方法を提供しよう、とするものである。

上述の目的を達成するため、本発明の画像処理装置は、画像データから所定のオブジェクトを含む領域を特定する特定手段と、特定手段が特定した領域の画素データが所定の条件を満たすか否かを判定する判定手段と、判定手段が所定の条件を満たさないと判定した画像データを、処理対象から除外する除外手段と、除外手段によって除外されていない画像データに対して所定の処理を施す処理手段と、を有する。これにより、画像データを予め選別することにより、表示または印刷の対象となる画像データの選択を容易化することが可能な画像処理装置を提供することができる。

また、他の発明の画像処理装置は、前述の発明に加えて、特定手段が、画像データから顔を含む領域を特定し、判定手段が、特定手段が特定した顔を含む領域の画素データが所定の条件を満たすか否かを判定し、処理手段が、判定手段が所定の条件を満たすと判定した画像データを、表示処理、印刷処理、および／または、補正処理の対象とするようにしている。これにより、画像データの一部に含まれる顔を対象として判定処理を実行することにより、処理を迅速に実行することができる。

また、他の発明の画像処理装置は、前述の発明に加えて、補正処理が、顔に関する補正処理である。これにより、補正可能な画像については、顔の見え方が最適になるように、補正を行うことができる。

また、他の発明の画像処理装置は、前述の発明に加えて、判定手段が、特定手段によって顔を含む領域が特定できない場合には、全領域の画素データを対象として所定の条件を満たすか否かを判定するようにしている。これにより、顔が含まれていない場合であっても、例えば、撮影状態の良否について判断することができる。

また、他の発明の画像処理装置は、前述の発明に加えて、判定処理が、ピント、露光、色かぶりの順番で、画素データが所定の条件を満たすか否かを判定し、除外手段が、これらのいずれかが所定の条件を満足しない場合には、当該画像データについては処理対象から除外するようにしている。これにより、補正による対応が困難な順番に判定を行うことにより、補正が困難な画像データに対しては、効率良く判定を行うことができる。

また、他の発明の画像処理装置は、前述の発明に加えて、顔に関する補正処理が、顔の領域に含まれる画素データが、予め定められた肌色の色域に属するように補正する処理である。これにより、顔の肌色がユーザが好ましいと思う色になるように補正をすることができる。

また、他の発明の画像処理装置は、前述の発明に加えて、特定手段、判定手段、除外手段、および、処理手段が、画像データが記録されている記録媒体に対してアクセス可能になった場合に、それぞれの処理を実行するようにしている。これにより、記録媒体に対してアクセス可能になった場合には自動的に処理が開始されるので、ユーザが手動で指示を行う場合に比較して、操作を簡略化することができる。

また、本発明の画像処理方法は、画像データに含まれている所定のオブジェクトを含む領域を特定し、特定した領域の画像データが所定の条件を満たすか否かを判定し、所定の条件を満たさないと判定した画像データを、処理対象から除外し、除外されていない画像データに対して所定の処理を施す。これにより、画像データを予め選別することにより、表示または印刷の対象となる画像データの選択を容易化することが可能な画像処理方法を提供することができる。

以下、本発明の一実施の形態について、「１．実施の形態の構成例」、「２．実施の形態の動作の概要」、「３．実施の形態の動作の詳細」、「４．変形実施の形態」の順に説明する。

１．実施の形態の構成例

図１は、本発明の実施の形態に係る印刷装置の構成例を示す外観図である。この図１に示すように、印刷装置１０は、スキャナ装置、印刷装置、および、コピー装置が一体となったいわゆる複合型の印刷装置である。ここで、印刷装置１０は、装置全体を覆うケース１１と、印刷用紙を供給する給紙装置（不図示）と、原稿が載置される透明なコンタクトガラス１３およびキャリッジ１４等を有するスキャナ装置と、印刷用紙に対して印刷を行う印刷部（不図示）とを備える。なお、本発明の画像処理装置は、印刷装置１０を例に挙げて説明し、また、本発明の画像処理方法については、印刷装置１０の動作として説明する。

ケース１１は、略四角形状の箱体であり、その上部には開閉自在の蓋１２が設けられている。蓋１２を開けると、原稿が載置されるコンタクトガラス１３が現れる。コンタクトガラス１３の内側には、後述するイメージセンサが設けられたキャリッジ１４が存在する。キャリッジ１４を副走査方向（図中矢印で示す方向）に移動させることにより、原稿に印刷されている情報を画像データとして読み取る。なお、スキャナ装置は、イメージセンサが副走査方向に移動しながら固定された原稿を読み取る、いわゆるフラットベットタイプ（原稿固定型）のスキャナである。

ケース１１の前面中央部には、ＬＣＤ（Liquid Crystal Display）４０ａが配置され、その上に重畳するようにタッチパネル３０ｂが配置されている。また、その周辺には各種操作ボタン３０ａが配置されている。ＬＣＤ４０ａには、印刷装置１０のメニュー、動作内容、動作状況、エラー内容などが表示され、操作ボタン３０ａは、印刷装置１０のメニュー選択等を行う時に押されるようになっている。

ケース１１は、前面下部に、排出口１７を備え、印刷された印刷用紙が排出されるようになっている。また、ケース１１の前面右側中央部には、カードスロット１８が設けられており、例えば、図示せぬディジタルカメラなどによって撮影された画像データを記録するメモリカード７０が、取り外し自在に収納されるようになっている。なお、この例では、カードスロット１８には蓋部１８ａが設けられており、メモリカード７０を挿入する場合には、当該蓋部１８ａを開閉する。メモリカード７０には、例えば、非可逆圧縮方式としてのＪＰＥＧ形式または可逆圧縮方式としてのＴＩＦＦ形式によって圧縮された画像データが格納されている。

図示せぬ給紙装置は、ケース１１の背面側に設けられており、印刷用紙をストックするとともに、必要に応じて印刷装置１０の内部に一枚ずつ供給する。

図２は、印刷装置１０の電気的な構成例を示すブロック図である。この図に示すように、印刷装置１０は、メイン制御部２０、情報入力部３０、情報出力部４０、プリント機構５０、および、スキャン機構６０を主要な構成要素としている。

ここで、メイン制御部２０は、入出力制御部２０ａ、カードＩ／Ｆ（Interface）２０ｂ、制御部２０ｃ、メモリ２０ｄ、画像処理部２０ｅ、プリンタ制御部２０ｆ、バッファ２０ｇ、スキャナ制御部２０ｈ、顔認識処理部２０ｉ、および、撮影状態判定部２０ｊを主要な構成要素としており、情報入力部３０から入力された情報に基づいて、情報出力部４０、プリント機構５０、および、スキャン機構６０等を制御する。

入出力制御部２０ａは、情報入力部３０および情報出力部４０との間で情報を授受する際にデータの表現形式を適宜変換するインタフェースである。カードＩ／Ｆ２０ｂは、メモリカード７０が挿入された場合には、メモリカード７０から画像データを読み出したり、画像データを書き込んだりする処理を実行する。メモリカード７０は、例えば、フラッシュメモリ等によって構成され、例えば、図示せぬディジタルカメラによって撮影された画像データを記憶する。

除外手段および処理手段としての制御部２０ｃは、例えば、ＣＰＵ（Central Processing Unit）によって構成され、メモリ２０ｄに記憶されているプログラム２０ｄ１に基づいて装置の各部を制御する。また、画像データに対して所定の補正処理を施す。画像処理部２０ｅは、制御部２０ｃから供給された画像データに対して、復号処理等を施す。プリンタ制御部２０ｆは、プリント機構５０を制御し、画像データ等を印刷用紙に印刷する。バッファ２０ｇは、プリンタ制御部２０ｆに供給する画像データを一時的に格納するとともに、スキャナ制御部２０ｈから供給される画像データを一時的に格納する。スキャナ制御部２０ｈは、スキャン機構６０を制御し、印刷用紙に印刷された画像データを光学的に読み込む処理を実行する。

特定手段としての顔認識処理部２０ｉは、画像データに含まれている人物の顔の画像（以下、「顔画像」と称する）を認識して特定する処理を実行する。判定手段としての撮影状態判定部２０ｊは、画像データに含まれている顔画像の特徴量を算出する。

入力手段としての情報入力部３０は、操作ボタン３０ａおよびタッチパネル３０ｂを主要な構成要素とし、ユーザの操作に基づく情報を生成して出力する。ここで、操作ボタン３０ａは、操作パネル等に配置されたボタンであり、ユーザの操作に応じた情報を生成して出力する。タッチパネル３０ｂは、ＬＣＤ４０ａに重畳するように配置され、ＬＣＤ４０ａに表示された情報に基づいて、タッチパネル３０ｂを操作することにより、操作された位置に対応する位置情報が出力される。

処理手段としての情報出力部４０は、ＬＣＤ４０ａおよびランプ４０ｂを主要な構成要素とし、ユーザに提示する情報を出力する。ここで、ＬＣＤ４０ａは、前述したようにタッチパネル３０ｂと重畳されており、制御部２０ｃから供給された画像データを表示する。ランプ４０ｂは、操作パネル等に配置されており、制御部２０ｃの制御に応じて点灯／消灯することにより、所定の情報をユーザに示す。

処理手段としてのプリント機構５０は、記録ヘッド５０ａ、走査部５０ｂ、および、用紙搬送部５０ｃを主要な構成要素としており、制御部２０ｃから供給された画像データを、印刷用紙に印刷する。ここで、記録ヘッド５０ａは、例えば、ＣＭＹＫに対応する各色のインクを複数のノズルから適宜吐出し、印刷用紙に対応する画像を印刷する。走査部５０ｂは、記録ヘッド５０ａを主走査方向（記録ヘッド５０ａに設けられた各色のインク列に直交する方向）に移動させる。用紙搬送部５０ｃは、印刷用紙を副走査方向（主走査方向に直交する方向）に移動させる。

スキャン機構６０は、光源６０ａ、受光部６０ｂ、および、走査部６０ｃを主要な構成要素としており、印刷用紙に印刷された画像を光学的に読み取って、対応する画像データを生成して出力する。ここで、光源６０ａは、例えば、冷陰極管によって構成され、印刷用紙の読み取ろうとする領域に対して白色光を照射する。受光部６０ｂは、光源６０ａによって照射され、印刷用紙によって反射された光を受光して対応する電気信号に変換するＣＣＤ（Charge Coupled Device）等によって構成される。走査部６０ｃは、受光部６０ｂを副走査方向（走査部６０ｃの長手方向に直交する方向）に移動させる。

つぎに、本発明の実施の形態の動作について説明する。以下では、まず、実施の形態の動作の概要を説明した後、詳細な動作について説明する。

２．実施の形態の動作の概要

図３は、本発明の実施の形態の動作の概要を説明するための図である。この図に示すように、本発明の実施の形態では、例えば、メモリカード７０に格納されている複数の画像データ９０のそれぞれに対して、顔認識処理（Ｐ１）を実行する。

そして、顔画像が含まれている画像データに対しては、第１の撮影状態判定処理Ｐ２を実行し、撮影状態の良否を判定する。より詳細には、第１の撮影状態判定処理Ｐ２では、画像データに含まれている所定のオブジェクトとしての顔の領域を抽出し、この領域に含まれている画素データに基づいて、ピント、露光、および、色かぶりの良否についてこの順番で判定する。そして、これらのいずれか一つが適当でないと判定された場合には、それ以降の判定をキャンセルして、撮影状態が良好でないと判定する。人物を含む画像データの場合には、主たる被写体である当該人物の顔の領域のピント、露光、および、色かぶりが適正であれば、良好な画像であると判定できるからである。

すなわち、第１の撮影状態判定処理Ｐ２では、顔の領域に含まれる画素データの空間周波数成分を参照し、高周波成分が所定量以上含まれている場合にはピントが良好であると判定する。また、第１の撮影状態判定処理Ｐ２では、顔の領域に含まれている画素データのヒストグラムを生成し、ヒストグラムの重心が適正な範囲内にあり、かつ、ヒストグラムの分散が所定の値以上である場合には、露光が良好であると判定する。さらに、第１の撮影状態判定処理Ｐ２では、顔の領域に含まれている画素データの色域を求め、この色域が適正な肌色の色域の範囲内に収まっているか否かを判定し、肌色の色域内に収まっている場合には色かぶりが生じていないと判定する。

一方、顔認識処理Ｐ１によって、顔画像が存在しないと判定された画像データに対しては、第２の撮影状態判定処理Ｐ３が実行され、撮影状態の良否が判定される。より詳細には、第２の撮影状態判定処理Ｐ３では、画像データの全域に含まれている画素データに基づいて、ピント、露光、および、色かぶりの良否についてこの順番で判定する。そして、これらのいずれか一つが適当でないと判定された場合には、それ以降の判定をキャンセルして、撮影状態が良好でないと判定する。

すなわち、第２の撮影状態判定処理Ｐ３では、画像データ全体に含まれる画素データの空間周波数成分を参照し、高周波成分が所定量以上含まれている場合にはピントが良好であると判定する。また、第２の撮影状態判定処理Ｐ３では、画像データ全体に含まれる画素データのヒストグラムを生成し、ヒストグラムの重心が適正な範囲内にあり、かつ、ヒストグラムの分散が所定の値以上である場合には、露光が良好であると判定する。さらに、第２の撮影状態判定処理Ｐ３では、Ｒ，Ｇ，Ｂ（Red Green Blue）のそれぞれのヒストグラムを生成し、これらのヒストグラム間の差分値を算出し、差分値が所定の範囲内に収まっている場合には色かぶりが生じていないと判定する。

そして、第１の撮影状態判定処理Ｐ２によって良好であると判定された画像データ９２については、補正、表示、および／または、印刷の対象とされ、良好でないと判定された画像データ９１は補正、表示、および／または、印刷の対象から除外される。同様に、第２の撮影状態判定処理Ｐ３によって良好であると判定された画像データ９２については、補正、表示、および／または、印刷の対象とされ、良好でないと判定された画像データ９３は表示または印刷の対象から除外される。このように、撮影状態が良好でない画像データを予め除外することにより、補正、表示、および／または、印刷の対象となる候補を減らし、ユーザの選択の手間および装置の処理の手間を省略することができる。

また、画像データに対して顔認識処理を実行し、顔が含まれている画像データについては、画像データの一部である顔の領域に基づいて判定する第１の撮影状態判定処理Ｐ２を実行し、撮影状態の良否を判定するようにしたので、判定に必要な時間を短縮することができる。

また、撮影状態の判定においては、補正処理による撮影状態の改善が困難な順である、ピント、露光、色かぶりの順に判定処理を実行し、いずれか１つにおいて良好でないと判定された場合には、それ以降の判定処理をキャンセルして、当該画像データを対象から除外するようにしたので、撮影状態の良否を効率良く判定することができる。

３．実施の形態の動作の詳細

つぎに、本発明の実施の形態の詳細な動作について説明する。

図４は、本発明の実施の形態において、メモリカード７０がカードＩ／Ｆ２０ｂに接続された場合、または、メモリカード７０がカードＩ／Ｆ２０ｂに接続された後に、ユーザによって情報入力部３０が操作されて、印刷対象または画像処理対象の選択開始の指示がなされた場合に実行される処理の一例を説明するフローチャートである。この処理が実行されると、以下のステップが実行される。

ステップＳ１０：制御部２０ｃは、所定の画像データに対して顔認識処理を施す。具体的には、制御部２０ｃは、メモリカード７０から対象となる画像データを読み出して画像処理部２０ｅに供給する。画像処理部２０ｅは、ＪＰＥＧ圧縮等が施された画像データに対して復号処理を実行する。より詳細には、画像処理部２０ｅは、ＪＰＥＧ圧縮が施されている画像データに対して、ハフマン解凍、逆量子化処理、逆ＤＣＴ処理、および、色変換処理等を施して復号する。復号処理が施された画像データは、メモリ２０ｄに格納される。

そして、制御部２０ｃは、メモリ２０ｄに格納されている画像データを、顔認識処理部２０ｉに供給し、顔認識処理を実行させる。具体的には、顔認識処理部２０ｉは、顔画像のテンプレートを多数有しており、各テンプレートとステップＳ１０で取得した画像データの任意の領域との相関を計算する。ここで、顔のテンプレートは、図５（Ａ）に示すように、顔の特徴点（目、鼻、口等）を含む画像であり、複数の大きさのテンプレートが存在する。図５（Ａ）の例では、第１〜第５の順でそのサイズが小さくなっている。なお、テンプレートの画像の解像度が高い場合には、各個人の顔の特徴に影響を受けてマッチング処理の精度が低下するので、図５（Ｂ）に示すように、テンプレートにモザイク処理を施すことにより、各個人の特徴に影響を受けにくくしている。

そして、相関が高い場合には画像データ中に顔が含まれていると判定し、例えば、当該領域の中心座標とその範囲を指定するパラメータを制御部２０ｃに受け渡す。なお、画像データに含まれている顔の大きさは様々であり、また、顔の方向も様々であるので、顔認識処理部２０ｉは、大きさおよび方向（例えば、上向、下向、左向、右向等）が異なる複数のテンプレートを有しており、これらのそれぞれを利用して顔認識処理を実行する。また、１枚の画像データに複数の顔が含まれている場合があるので、顔認識処理部２０ｉは、画像データに含まれている全ての顔が検出されるまで、同様の処理を繰り返す。その結果、ステップＳ１０の処理では、画像データに含まれている全ての人物の様々なサイズおよび方向の顔が認識された後、位置、範囲、サイズ、方向を示すパラメータが制御部２０ｃに供給されることになる。

図６（Ａ）は、顔認識処理によって特定された顔画像の様子を示している。また、図６（Ｂ）は、顔認識処理によって特定された顔画像の領域を示している。この例では、画像の中央付近に含まれている人物の顔が顔認識処理によって特定されている。

ステップＳ１１：制御部２０ｃは、ステップＳ１０における顔認識処理によって画像データ中に顔画像が存在するか否かを判定し、存在する場合にはステップＳ１２に進み、それ以外の場合にはステップＳ１３に進む。

ステップＳ１２：制御部２０ｃは、画像データに含まれている顔画像に基づいて、画像データの撮影状態の良否を判定する第１の撮影状態判定処理を実行する。この処理の詳細は、図７を参照して後述する。なお、この処理では、画像データの一部である顔の領域に基づいて撮影状態の良否が判定されるので、短時間で判定を行うことができる。

ステップＳ１３：制御部２０ｃは、画像データの全体に基づいて、画像データの撮影状態の良否を判定する第２の撮影状態判定処理を実行する。この処理の詳細は、図９を参照して後述する。なお、この処理では、ステップＳ１２の場合と異なり、画像データの全体の領域に基づいて撮影状態の良否が判定される。

ステップＳ１４：制御部２０ｃは、第１の撮影状態評価処理または第２の撮影状態評価処理により、対象とする画像データの撮影状態が良好であることから、表示（または印刷）対象とすると判定された場合にはステップＳ１５に進み、それ以外の場合にはステップＳ２０に進む。例えば、画像データのピント、露光、および、色かぶりの各状態が適正範囲内である場合にはステップＳ１５に進み、それ以外の場合にはステップＳ２０に進む。

ステップＳ１５：制御部２０ｃは、補正処理が必要か否かを判定し、補正が必要と判定した場合にはステップＳ１６に進み、それ以外の場合にはステップＳ１７に進む。例えば、自動的に補正することが指定されている場合や、ユーザによって補正が指示された場合にはステップＳ１６に進み、それ以外の場合にはステップＳ１７に進む。

ステップＳ１６：制御部２０ｃは、画像データに対して補正処理を施す。具体的には、ピントに関しては、高い空間周波数成分を強調する処理を実行する。すなわち、２次元のハイパスフィルタを用いて処理することにより、高い空間周波数成分を強調し、ピントぼけを解消することができる。また、露光に関しては、画素データのヒストグラムの重心が適正になるようにヒストグラム上において重心位置をシフトさせる補正を行うとともに、分散が適切になるようにヒストグラム上において拡散または集中させる処理を実行する。また、色かぶりについては、Ｒ，Ｇ，Ｂのヒストグラムのそれぞれの差分を検出し、差分が適正な範囲になるようにそれぞれの色の画素データに対してバランスを更正する処理を実行する。さらに、顔認識処理によって顔が存在することが検出された場合には、当該顔の領域に含まれている画素データが適正な肌色の色空間内に属しているか否かを判定し、属していない場合には色補正処理を実行する。また、顔領域内において、瞳を検出し、検出された瞳が赤目現象を生じている場合には、赤目補正処理を実行する。すなわち、顔が存在することが検出された場合には、顔画像に関する補正、例えば肌色補正および赤目軽減処理を実行する。

ステップＳ１７：制御部２０ｃは、表示対象とすると判定された画像データを、入出力制御部２０ａを介してＬＣＤ４０ａに供給し、ＬＣＤ４０ａの表示部に表示させる。これにより、画像データに対応する画像がＬＣＤ４０ａに表示される。すなわち、撮影状態が良好であると判定された画像データがＬＣＤ４０４ａに表示される。なお、ステップＳ１６において補正処理が実行されている場合には、補正処理後の画像が表示される。また、複数の画像データがある場合、複数の画像が表示対象となっている場合がある。その際は、サムネイルで表示するようにしてもよい。

ステップＳ１８：制御部２０ｃは、ＬＣＤ４０ａに表示されている画像データを印刷するか否かを判定し、印刷すると判定した場合にはステップＳ１９に進み、それ以外の場合にはステップＳ２０に進む。なお、ここでは、制御部２０ｃが印刷するか否かを判定したが、ユーザがステップＳ１７において表示された画像を参照して、印刷するか否かを判定するようにしてもよい。

ステップＳ１９：制御部２０ｃは、ＬＣＤ４０ａに表示されている画像データを印刷用紙に印刷する処理を実行する。すなわち、制御部２０ｃは、対象となる画像データを画像処理部２０ｅに供給し、画像復号処理、および、マイクロウィーブ処理等を実行した後、バッファ２０ｇを経由して、プリンタ制御部２０ｆに供給する。プリンタ制御部２０ｆは、プリント機構５０の記録ヘッド５０ａ、走査部５０ｂ、および、用紙搬送部５０ｃを制御して、画像データを印刷用紙に印刷する。この結果、撮影状態が良好と判定され、かつ、ユーザによって撮影の指示がなされた画像データが印刷用紙に印刷される。なお、ステップＳ１６において補正処理が実行されている場合には、補正処理後の画像が印刷される。

ステップＳ２０：制御部２０ｃは、メモリカード７０に格納されている全ての画像データに対する処理が終了したか否かを判定し、終了していない場合にはステップＳ１０に戻って他の画像データについて同様の処理を繰り返し、それ以外の場合には処理を終了する。これにより、メモリカード７０に格納されている全ての画像データに対して、撮影状態の判定処理が実行され、撮影状態が良好であると判定された画像データについては、ＬＣＤ４０ａに表示されるとともに、必要に応じて補正処理および印刷処理が実行される。

つぎに、図７を参照して、図４に示すステップＳ１２の「第１の撮影状態判定処理」の詳細について説明する。この処理が開始されると、以下のステップが実行される。

ステップＳ３０：制御部２０ｃは、顔認識処理部２０ｉによって検出された顔の領域を特定する。なお、検出された顔の領域が複数存在する場合には、全ての顔の領域が対象として特定される。

ステップＳ３１：制御部２０ｃは、ステップＳ１０で取得した顔の領域に含まれている画素のブロック（ＪＰＥＧの８×８の画素のブロック）を取得する。

ステップＳ３２：制御部２０ｃは、ステップＳ３１において取得したブロックから所定の空間周波数よりも高い周波数を有する成分を抽出する。すなわち、ＪＰＥＧ圧縮が施された画像データでは、画素のブロックはＤＣＴ（Discrete Cosine Transform）によって空間周波数領域に変換されているので、当該空間周波数領域に変換されたデータに含まれている所定の空間周波数よりも高い成分を抽出する。

ステップＳ３３：制御部２０ｃは、ステップＳ３２において取得した周波数成分の値を累積加算する。

ステップＳ３４：制御部２０ｃは、顔領域の全てのブロックに対する処理が完了したか否かを判定し、終了した場合にはステップＳ３５に進み、それ以外の場合にはステップＳ３１に戻って同様の処理を繰り返す。なお、複数の顔が存在する場合には、全ての顔に対して同様の処理を繰り返す。以上のステップＳ３１〜Ｓ３４の繰り返しにより、顔の領域に含まれているブロックの所定の周波数以上の成分についての累積加算値が得られる。

ステップＳ３５：制御部２０ｃは、ステップＳ３１〜Ｓ３３の処理において得られた顔の領域に属するブロックの所定の周波数以上の成分の累積値の平均値（累積値をブロック数で除して得られた値）が所定の閾値以上であるか否かを判定し、閾値以上である場合にはピントが適正であるのでステップＳ３６に進み、それ以外の場合には適正でないと判定してステップＳ４２に進む。なお、ステップＳ４２では、後述するように当該画像データが対象から除外される。

ここで、ピントがずれた画像データの場合には、画像データに含まれている高周波成分が、ピントが適正な画像データに比較して少なくなる。したがって、以上に示す処理では、顔の領域に含まれているブロックの高周波成分が少ない場合には、ピントがずれていると判定して当該画像データを対象から除外する。

ステップＳ３６：制御部２０ｃは、ステップＳ３０において特定された顔領域に含まれている画素データのヒストグラムを生成する。なお、ヒストグラムとは、画像の濃度値の出現分布を示したグラフである。図８（Ａ）は、このときに生成されるヒストグラムの一例を示している。この例は、横軸が画素データの濃度値を示し、縦軸が個数を示す。

ステップＳ３７：制御部２０ｃは、ステップＳ３６において生成されたヒストグラムの重心Ｃと、分散Ｖとを求める。ここで、重心Ｃとは、ヒストグラムを構成する各グラフの高さを重さに見立てた場合の重さの中心をいう。また、分散Ｖとは、ヒストグラムの分布の広がりを示す指標である。この分散Ｖの値が大きいほど、ヒストグラムの広がりが大きく、小さいほど広がりが小さい。なお、分散の値は、統計学で用いられる一般的な方法によって求めることができ、例えば、以下の式によって得ることができる。ここで、Ｎはヒストグラムを構成する棒グラフの個数を示し、ｘ_ｉは各棒グラフの値を示し、ｘ_ｍは棒グラフの平均値を示している。

ステップＳ３８：制御部２０ｃは、ステップＳ３７において求めた重心Ｃが所定の範囲内に収まっており、かつ、分散Ｖが所定の閾値以上であるか否かを判定する。より具体的には、重心Ｃがヒストグラムの中心付近の所定の範囲内に収まっており、かつ、分散Ｖが所定の値以上である場合（ヒストグラムが全体的に広く分布している場合）には、露出が適正であると判定することができるので、ステップＳ３９に進み、それ以外の場合には露出が適正でないと判定してステップＳ４２に進む。

ステップＳ３９：制御部２０ｃは、ステップＳ３０において特定された顔の領域に含まれている画素データを取得する。具体的には、制御部２０ｃは、顔の領域に含まれているＲ，Ｇ，Ｂの画素データを取得する。

ステップＳ４０：制御部２０ｃは、ステップＳ３９において取得した画素データによって表現される肌色が適正な範囲に属しているか否かを判定し、適正である場合には色かぶりが生じていないと判定し、ステップＳ４１に進み、それ以外の場合にはステップＳ４２に進む。具体的には、Ｒ，Ｇ，Ｂのそれぞれを、例えば、Ｘ，Ｙ，Ｚ軸とする色空間内において、個々の画素データによって示される座標が、当該色空間内の適正な範囲（領域）内に収まっているか否かを判定することにより、肌色が適正か否かを判定する。そして、適正な範囲内に収まっている場合には色かぶりが生じていないと判定することができる。なお、ＲＧＢ色空間ではなく、例えば、Ｌ^＊ａ^＊ｂ色空間等の他の色空間において判定を行うようにしてもよい。また、人種等によっても多少のずれが生ずるので、人種毎に範囲を定めておき、これらのいずれにも属しない場合には、適切でないと判定するようにしてもよい。

ステップＳ４１：制御部２０ｃは、対象となっている画像データを処理の対象に含める。これにより、図４のステップＳ１４では、ＹＥＳと判定される。処理が終了すると、元の処理に復帰（リターン）する。

ステップＳ４２：制御部２０ｃは、画像データを処理の対象から除外する。これにより、図４のステップＳ１４では、ＮＯと判定される。処理が終了すると、元の処理に復帰（リターン）する。

つぎに、図９を参照して、図４に示すステップＳ１３の「第２の撮影状態判定処理」の詳細について説明する。この処理が開始されると、以下のステップが実行される。

ステップＳ６０：制御部２０ｃは、画像データに含まれている所定のブロック（ＪＰＥＧの８×８の画素のブロック）を取得する。

ステップＳ６１：制御部２０ｃは、ステップＳ６０において取得したブロックから所定の空間周波数よりも高い周波数を有する成分を抽出する。なお、空間周波数については、前述したとおりである。

ステップＳ６２：制御部２０ｃは、ステップＳ６１において取得した周波数成分の値を累積加算する。

ステップＳ６３：制御部２０ｃは、画像データの全てのブロックに対する処理が完了したか否かを判定し、終了した場合にはステップＳ６４に進み、それ以外の場合にはステップＳ６０に戻って同様の処理を繰り返す。以上のステップＳ６０〜Ｓ６３の繰り返しにより、画像データに含まれている全てのブロックの所定の周波数以上の成分についての累積加算値が得られる。

ステップＳ６４：制御部２０ｃは、ステップＳ６０〜Ｓ６３の処理において得られた画像データの全ブロックの所定の周波数以上の成分の累積値の平均値（累積値をブロック数で除して得られた値）が所定の閾値以上であるか否かを判定し、閾値以上である場合にはピントが適正であるのでステップＳ６５に進み、それ以外の場合には適正でないと判定してステップＳ７２に進む。なお、ステップＳ７２では、後述するように当該画像データが対象から除外される。

ステップＳ６５：制御部２０ｃは、画像データ全体に含まれる画素データのヒストグラムを生成する。なお、ヒストグラムについては、前述したとおりである。

ステップＳ６６：制御部２０ｃは、ステップＳ６５において生成されたヒストグラムの重心Ｃと、分散Ｖとを求める。なお、重心Ｃおよび分散Ｖは前述したとおりである。

ステップＳ６７：制御部２０ｃは、ステップＳ６６において求めた重心Ｃが所定の範囲内に収まっており、かつ、分散Ｖが所定の閾値以上であるか否かを判定する。より具体的には、重心Ｃがヒストグラムの中心付近の所定の範囲内に収まっており、かつ、分散Ｖが所定の値以上である場合（ヒストグラムが全体的に広く分布している場合）には、露出が適正であると判定することができるので、ステップＳ６８に進み、それ以外の場合には露出が適正でないと判定してステップＳ７２に進む。

ステップＳ６８：制御部２０ｃは、画像データに含まれる全画素データを取得する。具体的には、制御部２０ｃは、画像データに含まれているＲ，Ｇ，Ｂの画素データを取得する。

ステップＳ６９：制御部２０ｃは、ステップＳ６８において取得したＲ，Ｇ，Ｂの画素データのそれぞれのヒストグラムを生成する。図１０（Ａ）〜（Ｃ）は、このとき生成されるヒストグラムの一例である。ステップＳ６９の処理では、図１０（Ａ）〜（Ｃ）に示すようなＲ，Ｇ，Ｂそれぞれの画素データのヒストグラムが生成される。

ステップＳ７０：制御部２０ｃは、ヒストグラムの差分を検出する。具体的には、制御部２０ｃは、ＲとＧ、ＲとＢ、および、ＢとＧのそれぞれのヒストグラムの差分を求める。すなわち、図１０（Ｄ）に示すように、Ｒ，Ｇ，Ｂのヒストグラムは、通常は形状が異なるので、ＲとＧ、ＲとＢ、および、ＢとＧのそれぞれのヒストグラムの差分を求め、得られたそれぞれの値を累積加算する。これにより、Ｒ，Ｇ，Ｂデータのそれぞれの乖離の度合いを求めることができる。

ステップＳ７１：制御部２０ｃは、ステップＳ７０において求めた差分の値が所定の範囲内に収まっている場合には、色かぶりが生じていないと判定し、ステップＳ７３に進み、それ以外の場合にはステップＳ７２に進む。

ステップＳ７２：制御部２０ｃは、画像データを処理の対象に含める。これにより、図４のステップＳ１４では、ＹＥＳと判定される。そして、処理が終了すると元の処理に復帰（リターン）する。

ステップＳ７３：制御部２０ｃは、画像データを処理の対象から除外する。これにより、図４のステップＳ１４では、ＮＯと判定される。そして、処理が終了すると元の処理に復帰（リターン）する。

以上の処理によれば、画像データに含まれる画素データに基づいて、ピント、露出、および、色かぶりの状態を判定し、撮影状態が良好でない画像データについては、表示および印刷の対象から除外されるので、画像データが多数存在する場合であっても、表示および印刷に適さない画像データを予め除外することにより、ユーザが画像を選択する手間を省略することができる。

また、以上の実施の形態では、画像データに顔が含まれている場合には、当該顔の領域に含まれている画素データのみを対象として、撮影状態の良否を判定するようにした。これにより、ピント、露出、および、色かぶりの判定を行う対象となる画素データを減らすことにより、処理速度を向上させることができる。

また、以上の実施の形態では、画像処理による補正が困難なピント、露出、および、色かぶりの順に判定処理を実行し、いずれかの判定において適切でないと判定された場合には、当該画像データを対象から直ちに除外して、それ以降の判定処理をキャンセルするようにしたので、不適切な画像データの判定を効率良く実行することができる。

４．変形実施の形態

なお、以上の実施の形態は、一例であって、これ以外にも種々の変形実施態様が存在する。例えば、以上の実施の形態では、メモリカード７０をカードＩ／Ｆ２０ｂに挿入して画像データを読み出すようにしたが、例えば、図示せぬディジタルカメラを、同じく図示せぬケーブルによって入出力制御部２０ａに接続し、当該ケーブルを介して画像データを読み出すようにしてもよい。

また、以上の実施の形態では、撮影状態の判定結果については、保存しない状態としたが、例えば、各画像データのファイル名と、撮影状態の良否を示す情報とを対応付けしたテーブルを生成し、当該テーブルをメモリ２０ｄに格納し、当該テーブルが存在する場合には図４に示す処理を実行しないで、当該テーブルを参照して、表示および印刷の対象となる画像データを選択するようにしてもよい。また、撮影状態の良否を示す情報を画像データのヘッダに格納し、当該ヘッダに格納された情報を参照して、表示および印刷の対象とするか否かを判定するようにしてもよい。

また、以上の実施の形態では、撮影状態の良否を判定し、所定の基準に満たない画像データについては、表示および印刷の対象から自動的に除外するようにしたが、例えば、ピントの良否、露出の良否、および、色かぶりの良否を数値化し、それぞれの値と、画像データのファイル名とをテーブル形式にして格納しておき、画像データを表示または印刷する際には、これらの数値に基づいて画像データをフィルタリングし、フィルタリングによって残った画像データのみを表示または印刷するようにしてもよい。なお、それぞれの値を別々に格納するのではなく、これらに対して所定の重み付けをして加算し、加算によって得られた単一の値によって撮影状態の良否を判定するようにしてもよい。具体的には、ピントの良否、露出の良否、および、色かぶりの良否をそれぞれ０〜１の間の値で表現するとともに、重み付け値として補正の困難な度合いに応じた値を設定し（例えば、ピント、露出、および、色かぶりをそれぞれ０．５、０．３、０．２に設定し）、これらを互いに乗算して得られた値を撮影状態の良否を表す値として利用してもよい。

また、以上の実施の形態では、図４、図７、および、図９に示す処理は、メモリカード７０がカードＩ／Ｆ２０ｂに挿入された場合あるいは、ユーザによって指示がなされた場合に実行されるようにしたが、例えば、メモリカード７０がカードＩ／Ｆ２０ｂに挿入された場合であって、制御部２０ｃ等のハードウエアの稼働率に応じて実行するようにしてもよい。例えば、ハードウエアの稼働率が低い場合（例えば、印刷処理または表示処理が実行されていない場合等）には、図４、図７、および、図９の処理を実行し、稼働率が上昇した場合にはこれらの処理を中断して、印刷処理等を優先的に実行するようにしてもよい。あるいは、印刷処理等と図４、図７、および、図９の処理を並行して実行するようにしてもよい。さらに、これらの処理の優先順位を設定できるようにしておき、高い優先順位が設定された場合には、印刷処理等が要求された場合でも図４、図７、および、図９の処理を優先して実行し、中間の優先順位が設定された場合には印刷処理等と図４、図７、および、図９の処理を並行して実行し、低い優先順位が設定された場合には印刷処理等を優先して実行し、印刷処理が終了してから図４、図７、および、図９の処理を実行するようにしてもよい。

また、以上の実施の形態では、メモリカード７０に格納されている全ての画像データに対して図４、図７、および、図９の処理を実行するようにしたが、例えば、ユーザによって指定された画像データ（例えば、ある所定の日時の範囲に撮影された画像データ）に対してのみ処理を行うようにしてもよい。そのような実施の形態によれば、ハードウエアにかかる負担を軽減することができる。

また、以上の実施の形態では、図４のステップＳ１５において、補正処理をするか否かを判定し、判定結果に基づいて補正処理を行い、補正処理が施された画像データに基づいて表示処理および印刷処理をするようにした。しかしながら、ステップＳ１５の処理については省略し、選択された画像データに対しては一律に補正処理を実行するようにしてもよい。また、補正後の画像データを、表示処理には使用せずに、印刷処理にだけ利用するようにしてもよい。例えば、サムネイル画像データを表示する場合は、そのような処理の流れとなる。

また、以上の実施の形態では、複合型の印刷装置を例に挙げて説明を行ったが通常の印刷装置（パーソナルコンピュータと接続して使用するタイプの印刷装置）に対して本発明を適用することができる。また、複合型ではない通常のスタンドアロン型の印刷装置に対して本発明を適用することも可能である。さらに、パーソナルコンピュータに対して本発明を適用することも可能である。

また、以上の実施の形態では、図４のステップＳ１０では、画像データに対して顔認識処理を施して顔の有無を判断するようにしたが、例えば、Ｅｘｉｆ（Exchangeable Image File Format）形式の画像データの場合には、ヘッダ情報にシーン情報として、人物画像であるか否かが格納されている場合があるので、そのような場合には当該情報を利用して顔の有無を判定するようにしてもよい。

また、以上の実施の形態では、画像データを格納する記録媒体として、メモリカード７０を例に挙げて説明したが、これ以外にも、例えば、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ−Ｒ（Digital Versatile Disk Recordable）、または、外付けのハードディスク装置等に画像データを記録して、印刷装置１０に対して接続するようにしてもよい。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、印刷装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disk）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。

本発明の実施の形態の外観を示す外観図である。 本発明の実施の形態に係る印刷装置の構成例を示す図である。 本発明の動作の概要を説明する図である。 本実施の形態において実行される処理を示すフローチャートである。 フェーステーブルの一例を示す図である。 顔認識および特徴抽出処理の流れを示す図である。 図３に示すステップＳ１２の処理の詳細を示すフローチャートである。 ヒストグラムに対する処理の一例を示す図である。 図３に示すステップＳ１２の処理の詳細を示すフローチャートである。 ヒストグラムに対する処理の一例を示す図である。

符号の説明

１０ 印刷装置、２０ｃ 制御部（除外手段、処理手段）、２０ｉ 顔認識処理部（特定手段）、２０ｊ 撮影状態判定部（判定手段）、３０ 情報入力部（入力手段）、４０ 情報出力部（処理手段）、５０ プリント機構（処理手段）、７０ メモリカード（記録媒体）

Claims (8)

1. 画像データから所定のオブジェクトを含む領域を特定する特定手段と、
   上記特定手段が特定した上記領域の画素データが所定の条件を満たすか否かを判定する判定手段と、
   上記判定手段が所定の条件を満たさないと判定した画像データを、処理対象から除外する除外手段と、
   上記除外手段によって除外されていない画像データに対して所定の処理を施す処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記特定手段は、前記画像データから顔を含む領域を特定し、
   前記判定手段は、前記特定手段が特定した顔を含む領域の画素データが所定の条件を満たすか否かを判定し、
   前記処理手段は、前記判定手段が所定の条件を満たすと判定した画像データを、表示処理、印刷処理、および／または、補正処理の対象とする、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記補正処理は、顔に関する補正処理であることを特徴とする請求項２記載の画像処理装置。
4. 前記判定手段は、前記特定手段によって前記顔を含む領域が特定できない場合には、全領域の画素データを対象として所定の条件を満たすか否かを判定することを特徴とする請求項２記載の画像処理装置。
5. 前記判定処理は、ピント、露光、色かぶりの順番で、前記画素データが所定の条件を満たすか否かを判定し、
   前記除外手段は、これらのいずれかが所定の条件を満足しない場合には、当該画像データについては処理対象から除外する、
   ことを特徴とする請求項３または４に記載の画像処理装置。
6. 前記顔に関する補正処理は、前記顔の領域に含まれる画素データが、予め定められた肌色の色域に属するように補正する処理であることを特徴とする請求項３記載の画像処理装置。
7. 前記特定手段、前記判定手段、前記除外手段、および、前記処理手段は、前記画像データが記録されている記録媒体に対してアクセス可能になった場合に、それぞれの処理を実行することを特徴とする請求項１から６のいずれか１項記載の画像処理装置。
8. 画像データに含まれている所定のオブジェクトを含む領域を特定し、
   特定した上記領域の画像データが所定の条件を満たすか否かを判定し、
   所定の条件を満たさないと判定した画像データを、処理対象から除外し、
   除外されていない画像データに対して所定の処理を施す、
   ことを特徴とする画像処理方法。

Images