JP2008061209A

JP2008061209A - 画像処理方法

Info

Publication number: JP2008061209A
Application number: JP2006239111A
Authority: JP
Inventors: Shigeru Mizoguchi; 茂溝口
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-09-04
Filing date: 2006-09-04
Publication date: 2008-03-13

Abstract

【課題】画像データから所望の特徴領域を、画像補正に使用するために、効率よく検出すること。
【解決手段】所望の特徴領域に関連付けて予め設定された色度に関する範囲に基づいて、圧縮ブロック単位ごとに予め定めた色度と比較して、予め定めた色度を有するとされた候補領域を決定し、互いに隣接する複数の候補ブロックから構成される１つあるいは複数の候補画像領域のサイズを求め、候補画像領域内の各圧縮ブロックに対して、画像サイズ情報と候補領域サイズにより予め定められる空間周波数に関する範囲に基づいて、特徴領域内の圧縮ブロック単位ごとの空間周波数成分の分布あるいは量を検査して、予め定めた空間周波数の分布あるいは量を有すると見なされるブロックを決定し、決定した圧縮ブロックから構成される領域を所望の特徴領域とした領域データを作成する。さらに最終的な領域データのサイズに基づく空間周波数範囲からの絞り込みを、実行可能である。
【選択図】図６

Description

本発明は画像認識方法に関し、より詳細には、画像圧縮単位による空間周波数成分と色度を利用した画像データ中における所望の特徴領域を抽出する画像処理方法に関する。

写真撮影における一般的な問題として、シャッター速度やピント調節の問題を別にしても、と、色露出の問題、コントラスト（ラチェード）の問題、色温度の問題、色かぶりの問題が存在する。このような問題は、近年普及してきたデジタル・カメラなどでも同様に存在する。

そこで、従来のフィルム・カメラでは困難であったこれらの問題を、近年普及してきたデジタル・カメラにおいては、その特徴を生かして、良い画像の定義を行い、その定義に沿った、処理も可能になっている。たとえば、色温度対策としてのホワイト・バランス補正や、露出／コントラスト補正を自動で行うアプリケーションも一般的になってきている。また、従来のフィルム写真では不可能であったが、デジタル・カメラでは、これらの問題は後処理の問題としても存在し、さらに輪郭補正やガンマ補正等の問題も存在する。

但し、このようなホワイト・バランス補正や、露出／コントラスト補正が撮影時に自動的に行われるデジタル・カメラであっても、撮影される環境は千差万別であり、必ずしもユーザにとっては適正に補正されていると言えない撮影画像は存在してしまう。その理由としては、良い画像というものは、画像全体の上記のようなバランスとは別に、画像の中の観察者が着目する被写体が、ユーザがイメージするような画像でなっているか？に応じて判断されるからである。このような判断処理は、撮像画像ごとに異なるのが普通であり、このような複雑な処理をデジタル・カメラでは実行することができない。可能なのは全てに通用する処理のみである。しかしながら、デジタル・カメラではユーザのこのような好みに合わせるように色々な撮影モードが設けられているが、そのような操作を撮影の度に行うことは煩雑であり、一挙動作で設定することができないのが通常である。したがって、そのような適切な撮影モードで撮像されることが少なく、またそのような撮影モードを良好な撮影画像とすることができるが、撮影したもの全てを良好な画像とすることはできない。

また、良い画像の条件の１つとして、画像中にはユーザが着目する重要な領域が存在する場合があり、その領域の状態が良く絵作りされていることが挙げられる。反対にそのような領域の状態が良く絵作りされていないと不満の残る画像となってしまう。このような一般的に、ユーザが着目する重要な領域としては、たとえば、人の顔や肌の部分などがある。

従来においても、たとえば、放送局が使用するようなテレビジョン・カメラ（スタジオカメラ）においては、撮像した信号中の人の肌色部分を検出して、その部分の輪郭補正を弱めることが行われている。これは、肌色部分の僅かのレベル変化が輪郭補正（あるいはアパーチャー補正）で強調されないようにするためである。

また、テレビジョン受信装置においても、受信した映像信号の色差信号から、１フレーム中の肌色部分の面積を検出して、その領域を人物肌領域として、輝度補正の目標設定値として利用し、ガンマ補正回路制御信号を作成することで、視聴者が映像の状態に応じた最適な映像信号補正状態でのテレビジョンの視聴を可能とすることも行われている（たとえば、特許文献１を参照）。

また、撮像済みの画像を後処理するにあたり、圧縮記録された画像データから所定のブロックごとに空間周波数情報と色度情報とを取得して、これを画像データ中の注目画像の検索のために利用することも行われている（たとえば特許文献２を参照）。この場合、まず、まず交流周波数成分から特徴部分が検出され、次に検出した特徴部分に対して色度の特徴部分が検出されている。

特許第３２０３９４６号明細書特開２００４−３８４８０号明細書

本発明は、デジタル・カメラなどの入力機器で撮影した画像（Ｊｐｅｇ画像など）を、たとえば、パーソナル・コンピュータを介して、あるいはダイレクトに（たとえば、インクジェット方式の）プリンタ等でプリントしようとする場合に、対処する。従来の銀塩写真では、現像されたネガフィルムに対して手操作が加えられた露光量を使用して印画紙に焼き付けられて、いわゆるプリントが作成されていた。すなわち、撮像した状態そのままでなく、少なくとも明るさ（輝度）（場合によっては色温度）に対する変更が、人手により適切に加えられてプリントが作成されていた。言い換えれば、撮像時のバラツキなどが、適切に補正されていた。しかしながら、デジタル・カメラなどの場合、撮像したデータを処理せずにプリントすることが可能である。この場合、撮像時のバラツキなどが適切に補正されないまま、プリントすることになり、同じようなシーンを撮像した場合でも、プリントされた結果は、銀塩写真とデジタル・カメラなどで異なることになる。この場合、適切に補正された銀塩写真のプリントと比較すると、デジタル・カメラなどプリント結果は適切な補正がされない分、よいプリントとは評価されないことになる。

したがって、銀塩写真のプリントのように、デジタル・カメラなどの入力機器で撮影した画像中の人物などの注目画像が、より良くプリントできるように必要に応じて補正を行うことを可能にする必要がある。銀塩写真の場合には、印画紙への露光量を調節することで明るさを、また光源に適切な色温度変換フィルタを入れることで色温度を調節することが可能である。しかし、デジタル・カメラなどの入力機器で撮影した画像の場合は、この補正は、画像データそのものを、その画像データに応じて加工することで実現される。したがって、補正を行うためには、画像中の注目画像を見つけ出し、その注目画像部分のデータに基づいて補正処理を実行することが求められる。

また、デジタル・カメラからプリンタへ直接プリントを行うダイレクト・プリントなどのデータ処理能力の低いシステム構成でも使用できるように、この注目画像の検出処理は、できるだけその処理負荷が軽く済む方法が求められる。

この時に撮影データの中に人物など注目画像の有無の検出として人物の肌領域の検出を行う場合において、領域検出プロセスの中に、色度もしくは色度比率などの色成分による判定を加えている場合がある。また、その色度判定を行う場合、検出の対象として定義した色度は人の肌の色度分布より定義されたものである。また、検出対象の撮影データにおける被写体そのものの色度には差があり、さらに、撮影時の光源状態により、その被写体を撮像した結果としての画像の色度が影響を受けることとがわかっている。

この場合、画一の色度代表によるグループ検出処理だと、抽出領域が色度判定の結果により完全には検出できない、もしくは、同じ色相の対象外の領域を含んでしまい、抽出対象の検出が、不完全になる問題があった。

本発明は、上記問題点を、比較的、データ処理能力に制限があるような装置に置いて、注目画像の領域を効率よく、比較的正確に検出する方法を提供することを目的とする。言い換えれば、注目画像の領域を検出することによってし、その部分に対して適切な補正ができるようにする画像処理方法を提供することを目的とする。

本発明は、このような目的を達成するために、請求項１に記載の発明は、空間周波数成分、色度、および画像サイズ情報を有する圧縮画像データを入力して、当該画像データの中に、所望の特徴領域が存在するか否かと存在する場合に当該特徴領域を検出する画像処理方法であって、前記所望の特徴領域に関連付けて予め設定された色度に関する範囲に基づいて、前記圧縮画像データを圧縮ブロック単位ごとに検査し、圧縮ブロック単位ごとに予め定めた色度を有するか否かを判定して、予め定めた色度を有すると見なされる候補ブロックから構成される候補領域を決定する第１のステップと、互いに隣接する複数の前記候補ブロックから構成される１つあるいは複数の候補画像領域のサイズを求める第２のステップと、前記候補画像領域内の圧縮ブロックそれぞれに対して、前記画像サイズ情報と前記候補画像領域サイズにより予め定められる空間周波数に関する範囲に基づいて、前記候補画像領域内の圧縮ブロック単位ごとの空間周波数成分の分布あるいは量を検査して、予め定めた空間周波数の分布あるいは量を有すると見なされる圧縮ブロックを決定する第３のステップと、前記第３のステップで決定した圧縮ブロックから構成される領域を所望の特徴領域とした領域データを作成するステップとを備えることを特徴とする。

また、請求項２に記載の発明は、請求項１に記載の画像処理方法であって、互いに隣接する複数の前記候補ブロックから構成される１つあるいは複数の候補画像領域のサイズを求める第２のステップは、前記複数の候補画像領域のうちの最大の領域のサイズを求めることを含み、前記第３のステップは、前記画像サイズと前記最大の領域のサイズにより予め定められる空間周波数に関する範囲に基づくことを特徴とする。

また、請求項３に記載の発明は、請求項１又は２に記載の画像処理方法であって、前記第３のステップによって決定された領域のサイズを検出して、当該サイズと前記画像サイズにより予め定められる空間周波数に関する範囲に基づいて、前記候補画像領域内の圧縮ブロックそれぞれの空間周波数成分の分布あるいは量を検査して、予め定めた空間周波数の分布あるいは量を有すると見なされる圧縮ブロックを決定する第４のステップをさらに備え、前記所望の特徴領域とした領域データを作成するステップは、前記第４のステップで決定した圧縮ブロックから構成される領域を所望の特徴領域とした領域データを作成することを特徴とする。

また、請求項４に記載の発明は、請求項１又は２に記載の画像処理方法であって、前記第３のステップによって決定された領域内の空間周波数の頻度分布を調べて、当該頻度分布の上限と下限とが延長された範囲を新たな空間周波数適合値とする領域で、内部に前記ステップ３で決定された領域を含む領域を設定する第５のステップと、前記第５のステップで設定された領域について、前記所望の特徴領域に関連付けて予め設定された色度に関する範囲よりも拡大された範囲に基づいて、前記圧縮画像データを圧縮ブロック単位ごとに検査し、圧縮ブロック単位ごとに前記拡大され範囲の色度を有するか否かを判定して、有すると見なされる候補領域を決定する第６のステップと、前記第６のステップで決定された互いに隣接する複数の前記候補ブロックから構成される１つあるいは複数の候補画像領域のサイズを求める第７のステップと、前記前記第６のステップで決定された候補画像領域内の圧縮ブロックそれぞれに対して、前記画像サイズ情報と前記候補画像領域サイズにより予め定められる空間周波数に関する情報に基づいて、前記特徴領域内の圧縮ブロック単位ごとの空間周波数成分の分布あるいは量を検査して、予め定めた空間周波数の分布あるいは量を有すると見なされるブロックを決定する第８のステップとをさらに備え、前記所望の特徴領域とした領域データを作成するステップは、前記第８のステップで決定した圧縮ブロックから構成される領域を所望の特徴領域とした領域データを作成することを特徴とする。

また、請求項５に記載の発明は、請求項１に記載の画像処理方法であって、前記第１のステップは、予め定めた色度を有して特徴領域と見なされる候補ブロックを検出しない場合、および予め定めた色度を有して特徴領域と見なされる候補ブロックの互いに隣接ブロックから構成される１つあるいは複数の領域の最大のサイズが、予め定めたサイズよりも小さい場合、検出不成功を表すデータを出力し、前記第３のステップは、予め定めた空間周波数の分布あるいは量を有すると見なされるブロックを検出しない場合、および予め定めた空間周波数の分布あるいは量を有すると見なされる候補ブロックの互いに隣接ブロックから構成される１つあるいは複数の領域の最大のサイズが、予め定めたサイズよりも小さい場合、検出不成功を表すデータを出力し、前記領域データを作成するステップは、前記何れかの検出不成功を表すデータを入力した場合に、ヌル値を出力することを特徴とする。

また、請求項６に記載の発明は、請求項１に記載の画像処理方法であって、前記第３のステップは、前記圧縮画像データの前記画像サイズ情報とファイル・サイズおよび前記候補画像領域サイズにより予め定められる空間周波数に関する範囲に基づくことを特徴とする。

また、請求項７に記載の発明は、請求項１〜５の何れかに記載の画像処理方法であって、前記所望の特徴領域は、少なくとも人物の肌領域を含むことを特徴とする。

請求項８に記載の発明は、プログラムであって、空間周波数成分、色度、および画像サイズ情報を有する圧縮画像データを入力して、当該画像データの中に、所望の特徴領域が存在するか否かと存在する場合に当該特徴領域を検出するために、コンピュータに、前記所望の特徴領域に関連付けて予め設定された色度に関する範囲に基づいて、前記圧縮画像データを圧縮ブロック単位ごとに検査し、圧縮ブロック単位ごとに予め定めた色度を有するか否かを判定して、予め定めた色度を有すると見なされる候補ブロックから構成される候補領域を決定する第１のステップと、互いに隣接する複数の前記候補ブロックから構成される１つあるいは複数の候補画像領域のサイズを求める第２のステップと、前記候補画像領域内の圧縮ブロックそれぞれに対して、前記画像サイズ情報と前記候補領域サイズにより予め定められる空間周波数に関する範囲に基づいて、前記候補画像領域内の圧縮ブロック単位ごとの空間周波数成分の分布あるいは量を検査して、予め定めた空間周波数の分布あるいは量を有すると見なされる圧縮ブロックを決定する第３のステップと、前記第３のステップで決定した圧縮ブロックから構成される領域を所望の特徴領域とした領域データを作成するステップとを実行させることを特徴とする。

また、請求項９に記載の発明は、コンピュータ読み取り可能記録媒体であって、請求項８に記載のプログラムを記録したことを特徴とする。

上記構成を有する本発明は、画像全体をみての画像補正では画質を良好に補正できない撮影画像データに対して、補正のために、所望の特徴領域を表すデータを作成することができ、その検出した特徴領域結果を補正に反映させることを可能にする。この補正にあたり、個別に必要に応じた特徴領域の抽出を、その撮影画像データに関連付けて精度良く行う判定手段を提供することを可能とするので、画像中の特徴領域の特性把握を正確に行うことできるようになる。また、その検出した特徴領域結果を補正処理に反映させることで、最終的に、撮影画像データに対して個別に良好な画像補正を実現することを可能とする。特に、抽出した対象領域に限定したフィルタ処理を実施する場合は、領域検出の精度が高い程効果があり、本発明の方法は、この高精度の領域検出に使用することができる。

（第１の実施形態）
以下、図面を参照して本発明の実施形態について説明する。

通常、デジタル・カメラやデジタル・ビデオなどでは、静止画をＪｐｅｇファイルにて保存することが一般的になっている。したがって、まず、現在、最も一般的な画像圧縮ファイルの“Ｊｐｅｇｆｉｌｅ”における情報省略と符号化・復号化について、説明する。

（圧縮符号化の説明）
デジタル・カメラやデジタル・ビデオなどでは、撮像対象の画像は、ＲＧＢもしくはＣＭＹフィルタを介して、入力機器の受光素子であるＣＣＤなどに入る。入射した光信号を、電気信号として読み出してＡ／Ｄ変換し、フレーム・メモリに取り込む。次にこの情報を輝度と色度情報の２次元データ（ビットマップ）に変換する。その後、各２次元データ（ビットマップ）を８＊８（６４個）の画素からなる複数の正方画素ブロックに分割する。

図１は、符号化の例を示しており、(1)で示す表は、輝度データのビットマップを、複数の８＊８ブロックに分割したうちの１ブロックのデータ例を示している。各マス目内の数値は、８ビットで表された輝度値の１０進表現の例を示している。(2)に示す表は、(1)に示す表の０〜２５５の画素値をレベル・シフトして−１２８〜１２７の信号に変換した後の値を示している。さらに、(3)に示す表は、(2)に示す表をＤＣＴ（離散コサイン変換）した結果のＤＣＴ係数の各係数値を示している。また、(4)に示す表は、視覚特性を考慮した量子化テーブルの例であり、高周波成分の省略を大きくした量子化テーブルの例を示している。この量子化テーブルを用いて、上記(3)に示すＤＣＴ係数に対して量子化を行うことになる。また、(5)に示す表は、量子化を行った結果の例を示している。この値をエントロピー符号化してハフマン符号で表すことにより符号化信号である圧縮データを生成する。

次に、復号化においては、符号化の逆の工程を行う。圧縮データに対してエントロピー符号化の逆を実行して、量子化ＤＣＴ係数の値を得る。次に、逆量子化を行うために量子化テーブルを乗ずることでＤＣＴ係数を得る。その後、逆ＤＣＴを行うことでレベル・シフトした画像が復元され、さらに逆レベル・シフトの値１２８を加算することで１ブロックの画像に復号される。この復号されたデータは、図１の(1)で示すようなデータである。

図２は、図１の(3)に示すＤＣＴ変換後の係数データ配置のイメージを表したものである。“０”で示す部分は、直流（ＤＣ）成分のデータであり、“１〜６３”で示す部分は、交流（ＡＣ）成分のデータであり、若い番号は空間周波数成分の低い部分を表している。この順序付けは、通常、ジグザグスキャンと呼ばれる、係数のスキャン順序を示している。他の順序付けの方法も使用することができるけれども、以後においては、係数値の周波数分布を表現する場合、この係数順を使用するものとする。

（システムの構成）
図３は、本発明の第１の実施形態による画像処理方法を、実装したり、あるいは実施したりすることができるシステムの構成を示す概略ブロック図である。図３に示すように、本実施形態の方法を実装するシステムは、限定されないが、いわゆるパーソナル・コンピュータの構成を有することができる。具体的には、このシステムは、データが入出力される入出力ポート５１と、ポインティング・デバイスであるマウス５２と、数値や文字等を入力するキーボード５３と、種々の表示を行うためのモニタ５４とを備える。また、装置全体の動作を制御する制御部５５と、メモリ・カードに記録された画像データを読み出すメモリ・カード・ドライブ５６と、データやプログラムを記憶するハードディスク５７と、各部を接続するバス５８とを備える。

モニタ５４としては、たとえば液晶モニタ、ＣＲＴモニタ、ＥＬディスプレイ、プラズマ・ディスプレイ、テレビジョン受像機を用いることができる。さらに、マウス５２、キーボード５３およびモニタ５４の各機能を備えた、いわゆるタッチ・パネルを用いてもよい。

制御部５５は、マウス５２やキーボード５３からの入力に基づいて、入出力ポート５１もしくは、メモリ・カード・ドライブ５６において読み出された画像データに対する各種処理を行う。

本実施形態においては、本発明の画像処理をパーソナル・コンピュータ（ＰＣ）に実装するとして説明を行う。しかし、画像を扱うものであれば、画像を扱うマルチ・ファンクション・プリンタやフォト・ダイレクト・プリンタなどノンＰＣの組み込み機器や携帯電話など画像を扱う機器においても同様に実装することができる。

（全体的な処理）
図４は、たとえばＰＣ上で行われる、本発明を適用した補正処理を実行する場合の、全体の処理の流れを示している。この処理には、たとえば撮影データの中に人物など注目画像の有無の検出として人物の肌領域の検出を行い、検出した人物の肌領域とそれ以外の部分に分けた輪郭補正や、また、検出した人物の肌領域の着目した明るさ補正やガンマ補正などを含むことができる。

まず、Ｓ４０１ステップにおいては、入出力ポート５１もしくは、メモリ・カード・ドライブ５６において読み出された撮像後の画像データ、及びハードディスク５７に保存している画像データをマウス５２やキーボード５３からの入力に基づいて読み込む。

次のＳ４０２ステップは、本発明による特徴領域抽出処理を実行するステップであり、ここでは、予め設定されている特徴を有する特徴領域、すなわち注目画像の領域を抽出する処理を実行する。

次のＳ４０３ステップにおいては、Ｓ４０２ステップにおける特徴領域が検出されたか否か、あるいは注目画像領域が存在したか否かが判定される。特徴領域が検出された場合、あるいは注目画像領域が存在する場合、たとえば、特徴領域が有意量存在するとした場合、その有意量が存在する領域に対して、Ｓ４０４ステップで、その画像の補正目標値を決定する。たとえば、輝度補正の場合、その特徴領域の最終的な輝度を決定する。補正目標値の決定後、その補正目標値を使用して、Ｓ４０５ステップで画像補正処理、たとえば輝度補正を実行することになる。Ｓ４０３ステップで、有意量の特徴領域が検出できなかったと判定した場合は、Ｓ４０６ステップで、通常の画像補正処理を実行することになる。

Ｓ４０５ステップでは、たとえば、輝度補正の場合、通常の補正処理における特徴領域の輝度補正値が、補正目標値となるように補正値の置き換えを行った後に、画像補正を実行する。言い換えれば、通常の補正処理は、たとえば全体または中央部を重点的にみて補正量を設定するが、本発明においては、特徴領域の補正値が補正目標値となるように、画像全体を補正することになる。また、Ｓ４０５の補正処理が輪郭補正のような場合で、しかも特徴領域が人物の肌領域の場合は、特徴領域に対しては輪郭補正をせず、あるいは弱めた輪郭補正を実行し、その他の領域に対しては、通常のあるいは設定した輪郭補正をすることになる。

（特徴領域抽出処理）
本発明のキーとなる、特徴領域抽出処理の実施形態として、注目画像が、たとえば人物画像で、特徴領域の定義として画像中の主要な人物の肌領域である場合についてフローチャートを基に説明する。図５は、本願発明に係わる、画像データからの特徴領域の抽出処理の概要を説明するフローチャートである。この抽出処理は、図４では、Ｓ４０２ステップの処理を表している。

図５のＳ５０１ステップで、図４のＳ４０１ステップから入力した画像データに対して、Ｊｐｅｇ画像の圧縮単位である８＊８画素ブロックを単位とした、設定された色度比率（たとえば、ＲＧＢの各比率）に基づく抽出を、まず実行する。この色度判定処理について詳細に説明する。

（色度判定処理）
本実施形態における色度判定は、Ｊｐｅｇ画像の画像圧縮単位である８＊８画素のそれぞれに対して行われる。ここで、本発明の実施形態を説明するにあたり、最も利用が考えられる特徴領域として人物で、しかも人物の肌部分として説明する。したがって、色度判定の実施形態として、人物肌の色度判定処理となる。

人物の肌部分の色度の検索方法としては、複数の方法、たとえば、以下の１）および２）がある。
１）Ｂ（青）／Ｇ（緑）の比率が０．７〜０．８の範囲に収まり、Ｒ（赤）／Ｇ（緑）の比率が１．４〜１．８の範囲に収まる色度を持つもの。
２）図１０の概念図に示すように、肌色を確率楕円にて表すことができる。求める式としては下記の（１）〜（３）になる。

ここで、

であり、ｒ，ｇは肌色色度の平均値、σ_ｒ ^２やσ_ｇ ^２は分散であり、ηは、確率を表す係数である。η＝２．０、η＝１．５、η＝１．０でそれぞれ確率楕円９５％、８４％、６８％に対応する。

本実施例においては、処理の簡便さを考慮に入れて、下記式（４）で示される色度分布範囲を肌色の色度範囲とした。この範囲を表したのが図１１である。

色度判定の結果として得られる最小単位は、８＊８ブロック（８＊８のピクセルから構成されるブロック）であるが、色度判定そのものは８＊８ブロック内の画素が使用される。

図１２は、本実施形態で用いている、８＊８ブロックの色度判定に使用する、８＊８ブロック内の画素の位置と、判定された結果のブロックとの関係を図示したものである。また、これによると８＊８画素単位ブロックの四隅の画素の色度の全てが、所定の色度範囲に入っているかを確認し、全てが範囲に入っている場合に、その８＊８ブロックが適合範囲内の色度であると判定している。図１２においては上段の左から２つ目と下段の左から１つ目、２つ目、３つ目のブロックが、適合範囲内の色度を有するブロックに該当する。上段の一番左のブロックは４ポイントのうち左上の色度は非肌色ピクセルと判定されるので、これを含むブロックは肌色の範囲外（適合範囲外）と判定される。同じように上段の右側１，２ブロックと下段の一番右のブロックが範囲外となる。

（配置等による候補領域の存在の決定）
次に、抽出した８＊８画素ブロックの配置組合せ（たとえば、隣接する複数の８＊８画素ブロックから構成される領域の位置や大きさ、形状等）により、主要な人物の肌領域と見なされる、１つまたは複数の候補グループの検出処理を実行する。たとえば、３人の人物の顔を含む被写体を撮像した画像の場合、通常であれば、少なくとも３つの顔領域とこれに隣接した肌の露出部分が検出されることになる。これらの各部分は、通常、隣接した複数のブロックからなる固まりとして検出されることになる。この部分には、一般的には、肌の色と誤検出した部分も含まれることになる。したがって、この段階で検出される部分は、色度のみに基づいているので、単に人肌画像と見なすことが可能な領域の候補であるに過ぎない。

候補とされた部分とそれ以外の部分との関係において、それ以外の部分内に候補とされた部分で且つ周囲から孤立した部分が存在するか否かが検出されて、存在する場合に、候補となるグループを検出したとすることができる。この存在／不存在については、候補とされた部分の領域の大きさ（たとえば、面積や形を含む）や、その領域の画像データ中の位置（中央部分か、端部か等）を含むことができる。たとえば、候補領域の大きさが小さすぎたり、画像全体の端部のみに存在したりする場合は、検出に失敗したとすることができる。反対に、候補領域の大きさが小さすぎず、端部にも存在するが中央部にも存在する場合は、少なくともこの段階では候補グループを検出したとすることができる。

図５に戻り、次のＳ５０２ステップでは、Ｓ５０１ステップにおいて候補となるグループを検出したか否かを判定する。

検出に失敗した場合は、Ｓ５０６ステップへ移行して主要人物肌領域の検出に失敗したことをセットする［ＨＭ＝“００００”］。検出に成功した場合は、Ｓ５０３ステップへ移行する。

Ｓ５０３ステップでは、画像圧縮単位である８＊８ブロックの圧縮特性である空間周波数成分データをブロックごとに取得する。取得後、そのブロック単位の集合として構成する所望の特徴領域である主要人物肌領域候補のグループに対して、空間周波数特性の代表値（後述する）を算出し、その結果と、予め設定して保存してある空間周波数特性の範囲に適合するか比較する。このステップは、主要な人物肌領域を空間周波数の面から検出可能であるか否かを確認するためのものである。人物の肌領域を空間周波数の面から検出した場合、次のステップでより細部に亘って空間周波数の面から検出することになる。このステップでは、比較結果に対して、上述したＳ５０２ステップと同様の処理（領域の大きさや配置に関する判定）を実行することになる。このステップの判定に使用する空間周波数範囲については、入力した画像サイズとファイル・サイズとから決定された範囲とすることができる。

次に、Ｓ５０４ステップにおいては、Ｓ５０３ステップにおいて候補となるグループを検出したか判定する。検出に失敗した場合は、Ｓ５０６ステップへ移行して主要人物肌領域の検出に失敗したことをセットする［ＨＭ＝“００００”］。また、検出した場合は、Ｓ５０７ステップへ移行する。

以上の処理は、主要な人物肌領域の存在を色度と空間周波数の面から独立に検出可能か否かを判定することにその主目的がある。共に検出可能である場合にのみ、以下に説明するさらに詳細な検出処理、いわゆる絞り込み処理を実行することになる。

Ｓ５０７ステップにおいては、図６と図７を使用して後述する処理を実行する。

Ｓ５０７ステップの処理を完了すると、Ｓ５０８ステップで、所望の特徴領域である主要人物肌領域候補のグループが、所望の特徴領域である主要人物肌とすべきかが判定する。判定の結果、主要人物肌とすべき領域が存在しない（検出されない）とされた場合は、Ｓ５０６ステップへ移行して主要人物肌領域の検出に失敗したことをセットする［ＨＭ＝“００００”］。また、存在する（検出された）と判定された場合は、Ｓ５０５ステップへ移行して主要人物肌領域の検出に成功したことをセットする［ＨＭ＝“１１１１”］。さらにに、検出した主要人物肌領域のデータを保存する。主要人物肌領域の検出に失敗した場合は、この主要人物肌領域のデータには、ヌル値がセットされ、領域を表すデータが存在しないことが示される。

（候補領域の空間周波数を使用した絞り込み）
Ｓ５０７ステップの詳細の動作フローについて、図６と図７を用いてさらに詳細に説明する。この処理概要は、色度比率により検出して候補領域とした部分について、さらにその候補領域に関連付けた空間周波数の適合範囲を使用して、候補領域をさらに絞り込み、所望する特徴を備えた領域を決定する処理である。

まず、図６のＳ６０１ステップにおいては、上述した図５のＳ５０１ステップの処理の結果得られた候補領域を表すデータ（Ｊｐｅｇファイルにおける画像圧縮単位の８＊８ブロックを適合色度比率によりグループ化して検出した候補領域）を取得する。

Ｓ６０２ステップにおいては、取得した候補領域を表すデータを使用して、１つの候補グループ（隣接する８＊８ブロックからなる固まり）内の各８＊８ブロックのデータを取得する。また、これに換えて、候補領域とした際に使用した候補領域の代表値としての特徴量の判定処理に使用したデータを使用することもできる。

次に、空間周波数を使用して候補領域をさらに絞り込むために、Ｓ６０３ステップでは、判定基準を設定することになる。この判定基準は候補領域のサイズによって変わる。たとえば、注目画像が人物肌として顔画像である場合、その顔画像の大きさによっても、その顔部分の空間周波数が変化することになる。また、この空間周波数の基準は、ＶＧＡサイズの画像（図８）や、ＵＸＧＡサイズの画像（図９）のように、画像サイズによっても変化する。したがって、空間周波数から、顔画像、すなわち人物肌領域と判断するには、画像全体のサイズと、候補領域の大きさ（たとえば、１つの候補グループとされた固まりの横幅、高さ等）によって変化させる必要がある。

図８は、本発明において使用したもので、ＶＧＡ（６４０＊４８０）のサイズの画像データにおける、候補画像の横幅をパラメータとした注目画像である人物肌の空間周波数特性の範囲の例を表したものである。

図８の最上段の数値は、図２に示した係数の番号付けを表している。たとえば、１〜１０は、係数１〜係数１０を表している。１つの候補グループを構成する複数の互いに隣接する連続ブロック値を２〜８個のグループ（〜Ｌ８）と９〜２０個のグループ（Ｌ９〜２０）と２１個以上のグループ（Ｌ２１〜）の３グループにまとめて、グループごとに周波数の適正範囲を設定したものである。また、連続ブロック値を２〜８個の場合、注目画像である人物肌の空間周波数特性の範囲は、係数１〜係数１０の係数の和が５０以上で３００以下であることを示している。

このような周波数や連続ブロック数の分類は処理の簡略化と検出精度のバランスで行ったもので、これに縛られる必要は無い。

図９は、ＵＸＧＡ画像用判定テーブルである。この構成は、図８のＶＧＡ画像用判定テーブルと同じであり、図８と異なる部分は、画像サイズの違いによる空間周波数範囲の違いのみである。

ここで、空間周波数特性の代表値を説明する。これは、図８や図９に示した範囲を表すデータと比較するために、複数の係数値を１つの数値に纏めたデータである。８＊８ブロックの代表値とは、各周波数の低い順に、図８や図９に示すように複数個単位（実施形態の場合Ｍ１０個単位で、最後は３個）のグループごとの係数値の積算値を求めたものである。実施形態の場合では、６３個の計数値データを７個の数値で代表させるように構成されることになる。

図６に戻り、Ｓ６０３ステップでは、空間周波数判定基準（適合範囲）を算出する。ここで算出するのは、Ｓ６０１ステップで取得した候補領域に関するものである。すなわち、図６では、詳細を示していないが、候補領域として複数のグループ（互いに隣接する８＊８ブロックの固まり）がある場合、最初に取得した１つの候補領域のグループに関するものである。候補領域として複数のグループのある場合、それぞれについてＳ６０４〜Ｓ６０５の各ステップを実行することになる。

（空間周波数判定基準）
ここで、空間周波数判定基準（適合範囲）の算出について、図７のフローを用いて説明を行う。

まず、Ｓ７０１ステップにおいては、以下のそれぞれを取得する。
（１）入力画像ファイルのファイル・サイズ（ファイルを構成するバイト数）。
（２）画像の画素数を確認するための画像サイズ（たとえば、ＶＧＡ、ＵＸＧＡ等）。
（３）Ｓ５０１ステップにおいて主要人物肌領域候補のグループであるとした候補領域の画像サイズ（たとえば、最初に処理する１つの候補領域（塊）のサイズ、たとえば８＊８ブロック単位の数値で、横幅、縦幅）。

Ｓ７０２ステップにおいては、（１）入力画像ファイルのファイル・サイズと、（２）画像の画素数を確認するための画像サイズより、画像圧縮単位である８＊８ブロックの空間周波数適合値を設定する。たとえば、図８に示した表を設定する。ここで、Jｐｅｇファイル・サイズは、同じ画像サイズでも空間周波数成分が高いほど大きくなるので、たとえば、図８や図９に示した範囲を表す数値を、Jｐｅｇファイル・サイズに応じて変更することになる。

次に、Ｓ７０３ステップにおいて、現在、対象としている複数の互いに隣接する８＊８ブロックから構成される候補領域グループの大きさから、たとえば、図８に示した表のうちの〜Ｌ８、Ｌ９〜２０、Ｌ２１〜のうちの何れを使用するかを設定する。

（空間周波数判定基準（適合範囲）を使用した検出）
図６に戻り、Ｓ６０４ステップにおいては、Ｓ６０３ステップで求めた空間周波数判定基準と、対応する候補領域を構成している各８＊８ブロックごとの空間周波数成分（上述した各８＊８ブロックブロックの代表値）を比較する。この比較によって、８＊８ブロックごとにその空間周波数が判定基準に適合しているか（空間周波数が適合範囲に入っているか）判定が行われる。たとえば、ファイル・サイズと画像サイズから、図８に示された表が設定される。さらに処理の対象とする候補領域のサイズが、Ｌ２１〜（２１個以上の連続ブロックのサイズ）の場合、図４の最下段に示すような範囲にそのブロックの空間周波数の代表値が入っているか否かを判定する。これを、対象とする候補領域の全ての８＊８ブロックに対して実行する。

Ｓ６０５ステップにおいては、Ｓ６０４ステップにおいて、判定基準に対して不適合と判定された８＊８ブロックを、処理対象の候補領域から除外して絞り込んだ候補領域を確定する。

残りの候補領域のグループに対して、以上のＳ７０３、Ｓ６０４、Ｓ６０５の各ステップを繰り返す。残りの候補グループが無い場合、終了する。

（絞り込まれた候補領域に対するサイズ適応空間周波数適合判定）
上述した処理において、たとえば、Ｓ５０１ステップで検出した候補領域が、Ｓ６０５ステップで、さらに絞り込まれた領域となり、これらの領域のサイズの変更が無視できない大きさである場合がある。この場合、この変更の程度を検出して、所定以上の場合に、絞り込まれた領域のサイズに基づいて、再度Ｓ７０３、Ｓ６０４、６０５ステップの処理をやり直すことが、正確な検出に役立つ。この再度の処理は、最初の処理の結果得られた（絞り込まれた）領域をさらに絞り込むのではなく、最初の処理と入れ替わる処理である。この場合、高い周波数成分に対する許容量が増加する可能性があるので、最初のステップで絞り込まれた領域よりも、再度のステップで絞り込まれた領域の方が、若干拡大された領域となる可能性がある。

また、上述では、候補領域の各グループに対して、Ｓ７０３、Ｓ６０４、Ｓ６０５の各ステップを繰り返すとしたが、複数の候補領域のうちの最大の候補領域のサイズにより空間周波数の設定値（適合値）を決定し、これを候補領域の全てに適用することもできる。

以上の再度の処理をＳ６０６ステップで実行する。このＳ６０６ステップの処理の結果、色度が適合範囲に入り、さらに空間周波数を使用した２回の処理を行うことで、所望する特徴領域を検出することが可能になる。

図５に戻り、Ｓ５０８ステップにおいては、所望の特徴領域である主要人物肌領域候補のグループが所望の特徴領域である主要人物肌と判定されたかを判定することになる。たとえば、Ｓ５０７ステップ後の、絞り込まれた所望の特徴領域である主要人物肌領域候補の各グループのどれもが、画像サイズに対して所定の面積比を有していない場合は、検出不成功とされる。また、所定の面積比を有しているグループが１つ存在する場合は、検出成功とされる。検出成功とされた場合、その判定の基になった絞り込まれた候補グループそれぞれの領域データ（たとえば、１ビットの２次元データや、境界をなだらかにした複数ビットからなる２次元データ）を保存する。

なお、この領域データは、画像データに関連付けられることが望ましい。たとえば、輝度補正した後、数日経過してから輪郭補正をする場合に、最初の輝度補正時に検出した領域データが再利用できることが望ましい。

上述の場合、前述した図４のＳ４０４ステップにおいては、Ｓ４０２ステップにおける検出結果“ＨＭ”が“１１１１”と判定されていることになり、画像より抽出した特徴領域を利用した画像補正目標値を設定する必要があると判定することになる。たとえば、輝度補正をする場合、特徴領域の状況を踏まえて、その特徴領域をどの輝度レベルまで補正するか、言い替えれば、その特徴領域の特性やレベルを最終目標値に近付けるかを設定することになる。次に、この設定した、目標値を使用して補正用テーブルを作成することになる。また、輪郭補正の場合は、検出した特徴領域とその他の領域を分離して、独立にユーザ設定されるようにしたり、あるいは特徴領域に対して補正量をゼロにしたりすることになる。

また、上述したＳ４０２ステップにおける検出結果“ＨＭ”が“００００”と判定されている時には、Ｓ４０６ステップにて通常の画像補正を実行することになる。つまり、画像全体に均一な補正量を設定し、補正を実行することになる。

Ｓ４０５ステップにおいては、共通の定義に基づく画像補正に対して、作成した補正用テーブルを利用できるように共通の定義に基づく画像補正に対して置き換えを行った後に、画像補正を実行することになる。

（第１の実施形態が適用可能な画像例）
図１３は、本発明に関わる第１の実施形態を適用することが望ましい画像例を示す図である。
１）に示す図は、入力した画像の例である。
２）に示す図は、候補領域検出の工程で、図６のＳ６０１ステップで取得したデータ、すなわち、Ｓ５０１ステップの色度判定において、式（４）で示される範囲に入っているか否かの結果を示す図である。この図では、セーターの部分は、肌色に近い（適合色度比率の閾値に合致する）ために色度比率では肌の候補領域として検出されている。
３）に示す図は、図５のＳ５０３ステップにて各８＊８ブロックの単位で、空間周波数特性の判定を実施した判定結果である。明色部分は、空間周波数特性において、候補領域には不適当と判定された部分である。

上記結果より、本実施例においては、２）における暗部部分が候補領域であり、この暗部部分と、３）における暗部部分とのＡＮＤが取られる形になって、さらに絞り込まれることになる。

その後、この絞り込まれた領域（顔画像部分）のサイズを検出して、検出したサイズに応じた空間周波数の適合範囲が設定され、これ基づいて再度空間周波数の適合性が判定されることになる。この最後の判定処理を実施することで、本来検出したい候補領域をより正確に検出できる。

なお、本実施例では、特徴領域を人物の肌領域として説明したが、空間周波数を利用して、検出領域の境界をより正確に検出するための技術であるので、検出対象は人物の肌でなくても良いことは明らかである。色度と空間周波数を使用して、周囲の画像から識別可能な対象物を含む画像であれば、本発明を使用して対象物の領域を検出することができる。

（第２の実施形態）
上述した第１の実施形態においては、色度比率により検出対象の領域の全てが検出され、さらに、空間周波数を使用してさらに絞り込むことによって、より正確な、特徴領域の検出を目指す方法である。しかし、最初に色度比率を利用する場合、検出対象の色かぶりや、色度の個別ばらつきにより、所望する候補領域を完全には検出できない場合がある。この場合の特徴領域の検出精度を上げることを目的とし、画像全体に対する空間周波数を利用した検出結果を利用して、最初に色度比率を使用した検出では完全に検出できない部分をも検出するようにした第２の実施形態を示す。

基本的な構成は、第１の実施形態と同一であり、差異部分のみ詳細に説明を行う。

この方法は、第１の実施形態における検出処理のうちで、図５のＳ５０７ステップ部分についての検出及び判定処理にのみ違いがある。

図１４は、上述した図５のＳ５０７ステップ部分の第２の実施形態における処理フローを示すである。また、この図１４の処理は、図６に示す処理と一部類似する。ただし、ここでは、説明を簡単にするため、候補領域としては１つの候補グループしかない場合で、かつ、第１の実施形態で、図５のＳ５０８ステップで検出成功とされる場合における、Ｓ５０７ステップの部分を説明する。

Ｓ１４０１ステップは、図６のＳ６０１ステップと同様であり、Ｊｐｅｇファイルにおける画像圧縮単位の８＊８ブロックを適合色度比率によりグループ化して検出した第１の候補領域を、取得する。

Ｓ１４０２ステップは、図６のＳ６０２ステップと同様であり、Ｊｐｅｇファイルにおける画像圧縮単位の８＊８ブロックのＤＣＴ変換による交流成分を利用した候補領域の代表値としての特徴量を判定処理、及びその結果を取得する。

Ｓ１４０３ステップにおいては、図６のＳ６０３ステップと同様であり、前述した画像圧縮単位である８＊８ブロックに対する空間周波数判定基準を算出する。

Ｓ１４０４ステップは、図６のＳ６０３ステップと同様である。ここでは、Ｓ１４０３ステップで求めた画像圧縮単位の８＊８ブロックに対する境界領域検出用の空間周波数特性による閾値と、候補領域を構成している各８＊８ブロックごとの空間周波数成分を比較し、適合範囲に入っているか判定を行う。

以降のステップは、第２の実施形態に特有な処理である。

第１の実施形態においては、図６のＳ６０５ステップの処理において、絞り込まれた候補領域を、たとえば、入力された画像と重畳して表示した場合、ほぼ正確に人物肌領域を検出していると判断されることになると思われる。しかし、明らかに絞り込まれた候補領域に不足があると判断される場合も想定される。この想定に基づいて、既に絞り込まれた候補領域に関連する領域の検出を実行する。

まず、Ｓ１４０５ステップにおいては、Ｓ１４０１ステップにて検出した第１の候補領域に隣接するＪｐｅｇ８＊８ブロックで、新たに設定した適合値に合致するブロックで構成する第２の候補領域を検出する。ここで、新たに設定した適合値の範囲が最初の適合値の範囲を含む場合、この第２の候補領域は、第１の候補領域を含むことになる。

ここで、適合値としては、空間周波数との範囲とする。このステップにおける各ブロックの空間周波数における新たな適合値の決定は、以下の方法から得ることができる。まず、各８＊８ブロック単位のＤＣＴ係数の総和（８＊８ブロック単位の空間周波数の代表値）を算出し、算出値から全画像に対する総和値の分布を作成する（不図示）。次に、同様に、絞り込まれた候補領域についても分布を作成する。この分布は、たとえば、輝度ヒストグラムのような分布となる。例として図１５に全画像領域データの輝度ヒストグラムと、絞り込まれた候補領域の輝度ヒストグラムを提示する。この図１５は、空間周波数分布ではないが、このような分布において、絞り込まれた候補領域の周波数頻度分布の上限と下限を設定し、この上限の上部５％と下限の下５％程度の範囲を含む範囲を、新たな適合範囲として設定する。これ以外の方法で同様の範囲を設定する場合であっても、それまでに絞り込まれた候補領域の８＊８ブロックのデータを元にした新たな適合領域の設定であれば、指定方法が違う分散など統計的手法を用いても考えとしては一緒である。

ここで、上述したような新たに設定された空間周波数の範囲に適合し、その内部にそれまでに絞り困れた領域を有する領域が、Ｓ１４０５で設定される。

Ｓ１４０６ステップにおいては、上述した第２の候補領域の８＊８ブロックに対して、先の式４で設定した色度比率より適合範囲が広い第２の色度比率による第３の候補領域を検出する。

Ｓ１４０７ステップにおいては、第３の候補領域のサイズに応じた空間周波数適合範囲を使用して、第３の候補領域内の空間周波数算出及び判定を、実施する。このような処理の結果、少なくと、第１の実施形態よって最終的に検出した領域よりも広い領域で、しかも所望する特徴領域を備えた領域を検出することが可能になる。

（第２の実施形態が適用可能な画像例）
図１６は、本発明に関わる第２の実施形態を適用することが望ましい画像例を示す図である。
１）に示す図は、入力した画像の例である。
２）に示す図は、候補領域検出の工程で、図１４のＳ１４０１ステップで取得したデータ、すなわち、Ｓ５０１ステップの色度判定において、式（４）で示される範囲に入っているか否かの結果を示す図である。この図からは、式４で設定した適合色度比率による肌色設定範囲に入らない肌色領域が存在し、元画像における肌領域の全てを検出することができていない、ことがわかる。従来の検出の場合、この候補領域に対して空間周波数代表値の特徴量を算出し、判定に持ち込むため、判定値に入った場合は、実際の肌色領域より少ない状態でしか候補領域を検出することができない。また、判定値に入らなかった場合は、人物の顔部分が検出領域に含まれているにもかかわらず候補領域は検出不能と判断されてしまうことになる。
３）に示す図は、図１４のＳ１４０４ステップにて各８＊８ブロックの単位で、空間周波数特性の判定を実施した判定結果である。明色部分は、空間周波数特性において、候補領域には不適当と判定された部分である。この図からは、所望の特徴領域については、少なくとも、その前の色度判定よりも正確に検出していることがわかる。

上記結果より、本発明の第２の実施形態においては、２）において、検出した領域（暗部部分）を主にその領域を含み、その領域から、３）における不適当とされた部分までの領域を含めるような領域を求める処理を実行する。この拡大された領域に対して、先の式４で設定した色度比率より適合範囲が広い第２の色度比率を使用して第３の候補領域を検出するものである。言い換えれば、そのような処理を実行するために、まず、第一の実施形態の処理を実行して、得られた領域が有する空間周波数範囲よりも広い範囲の領域に対して、範囲が拡大された色度判定処理と、領域のサイズに応じた空間周波数の適合性判定することにある。

上述した第１の実施形態あるいは、第２の実施形態は、最終的に検出した特徴領域を、画像全体に重畳する形で表示し、ユーザが、その両者の関係を視認することもできる。このようにした場合に、各パラメータや、各実施形態の選択などをユーザあるいはオペレータが指示することにより、最終的に得られた特徴領域を所望する領域と実質的に一致させることが可能になる。

また、同じような条件で撮像された複数の画像に対して補正を実施する場合に、上述した方法の各種の設定を最初の画像に対してユーザが設定するだけで、残りの画像に対しては、追加のユーザ設定を実質的に必要とせずに、所望の処理を実施させることができる。

なお、本実施例では、候補領域を人物の肌領域として説明したが、本発明は、空間周波数を利用して、検出領域の境界をより正確に検出するための技術でもあるので、検出対象は人物の肌でなくても良いことは明らかである。

また、上述した図１３や図１６のＤＣＴ／ＡＣ成分による分割の図から、空間周波数を利用して、検出領域の境界を比較的正確に検出できることが理解されよう。上述した第２の実施形態は、空間周波数を利用すると検出領域の境界を比較的正確に検出することができることを前提に構成されている。

ただし、検出できるのは境界であるので、上述した実施形態では、まず実施形態１を使用して、不満足ながらも少なくとも所望の領域からなる限定された領域を求める。そしてこの求めた領域の圧縮ブロックのＤＣＴ係数に基づいて、この領域を含む拡大された領域を設定し、再度この領域に対して色度と空間周波数成分の判定を実行させている。

本発明は、デジタル・カメラ等からの撮像データを入力し、従来の銀塩フィルムのＤＰＥのようなスタイルでプリントを作成する場合に利用することが可能である。また、そのような場合に、撮像条件等に余り影響されない、良好なプリント結果を得る処理の実行を容易にする。

本発明は、上記で例示した画像補正のための人物肌領域検出だけでなく、画像中からの人物の顔検出、個人顔承認などにおける検出にも対しても使用することができる。

Ｊｐｅｇの画像圧縮単位である８＊８Ｂｌｏｃｋを例にしたＪｐｅｇ形式へ変換する処理過程を示す図である。Ｊｐｅｇ画像ファイル形式における８＊８Ｂｌｏｃｋの係数番号の例を示す図である。本発明を適用可能な、コンピュータのハード構成を示す図である。本発明を使用した画像補正処理の全体の流れを表すフローチャートである。本発明の実施形態に関わる主要人物肌領域検出処理の概要フローチャートである。本発明の実施形態に関わる色度比率と空間周波数特徴データより候補領域の検出処理を行うフローチャートである。本発明の実施形態に関わる空間周波数適合値算出フローチャートである。入力画像サイズがＶＧＡの場合の、Ｊｐｅｇｆｉｌｅ画像圧縮単位である８＊８ＢｌｏｃｋのＡＣ成分特性を利用した判別テーブルの例を示す図である。入力画像サイズがＵＸＧＡの場合の、Ｊｐｅｇｆｉｌｅ画像圧縮単位である８＊８ＢｌｏｃｋのＡＣ成分特性を利用した判別テーブルの例を示す図である。肌色のＲＧ色度分布を示す確率楕円範囲の例を示す図である。本発明の実施形態で使用した肌色のＲＧ色度分布を示す図である。本発明の実施形態における、Ｊｐｅｇｆｉｌｅ画像圧縮単位である８＊８Ｂｌｏｃｋを、適合範囲の色度を有すると決定する例を示す図である。本発明の第１の実施形態にふさわしい画像例を示す図であり。１）は元画像、２）は色度を利用して検出した結果であり、色度による特徴領域の候補領域、３）は、入力画像のＤＣＴのＡＣ成分が、８＊８Ｂｌｏｃｋ単位で、所定の範囲内か否かの判定結果、を示す。第１の実施形態の図６の代わりに、本発明の第２の実施形態に関わる図であり、色度比率と空間周波数特徴データより候補領域の検出処理を行うフローチャートである。本発明の第２の実施形態に関わる図であり、画像全領域と、第１の実施形態の結果得られた特徴領域と、における８＊８ブロック単位の輝度ヒストグラムを示す図である。本発明の第２の実施形態にふさわしい画像例を示す図である。１）は、元画像、２）は色度を利用して検出した結果であり、色度による特徴領域の候補領域、３）は入力画像のＤＣＴのＡＣ成分が、８＊８Ｂｌｏｃｋ単位で、所定の範囲内か否かの判定結果、を示す。

符号の説明

５１入出力ポート
５２マウス
５３キーボード
５４モニタ
５５制御部（コントローラ）
５６メモリ・カード・ドライブ
５７ハードディスク

Claims

空間周波数成分、色度、および画像サイズ情報を有する圧縮画像データを入力して、当該画像データの中に、所望の特徴領域が存在するか否かと存在する場合に当該特徴領域を検出する画像処理方法であって、
前記所望の特徴領域に関連付けて予め設定された色度に関する範囲に基づいて、前記圧縮画像データを圧縮ブロック単位ごとに検査し、圧縮ブロック単位ごとに予め定めた色度を有するか否かを判定して、予め定めた色度を有すると見なされる候補ブロックから構成される候補領域を決定する第１のステップと、
互いに隣接する複数の前記候補ブロックから構成される１つあるいは複数の候補画像領域のサイズを求める第２のステップと、
前記候補画像領域内の圧縮ブロックそれぞれに対して、前記画像サイズ情報と前記候補画像領域サイズにより予め定められる空間周波数に関する範囲に基づいて、前記候補画像領域内の圧縮ブロック単位ごとの空間周波数成分の分布あるいは量を検査して、予め定めた空間周波数の分布あるいは量を有すると見なされる圧縮ブロックを決定する第３のステップと、
前記第３のステップで決定した圧縮ブロックから構成される領域を所望の特徴領域とした領域データを作成するステップと
を備えることを特徴とする画像処理方法。
互いに隣接する複数の前記候補ブロックから構成される１つあるいは複数の候補画像領域のサイズを求める第２のステップは、前記複数の候補画像領域のうちの最大の領域のサイズを求めることを含み、
前記第３のステップは、前記画像サイズと前記最大の領域のサイズにより予め定められる空間周波数に関する範囲に基づく
ことを特徴とする請求項１に記載の画像処理方法。
前記第３のステップによって決定された領域のサイズを検出して、当該サイズと前記画像サイズにより予め定められる空間周波数に関する範囲に基づいて、前記候補画像領域内の圧縮ブロックそれぞれの空間周波数成分の分布あるいは量を検査して、予め定めた空間周波数の分布あるいは量を有すると見なされる圧縮ブロックを決定する第４のステップをさらに備え、
前記所望の特徴領域とした領域データを作成するステップは、前記第４のステップで決定した圧縮ブロックから構成される領域を所望の特徴領域とした領域データを作成する
ことを特徴とする請求項１又は２に記載の画像処理方法。
前記第３のステップによって決定された領域内の空間周波数の頻度分布を調べて、当該頻度分布の上限と下限とが延長された範囲を新たな空間周波数適合値とする領域で、内部に前記ステップ３で決定された領域を含む領域を設定する第５のステップと、
前記第５のステップで設定された領域について、前記所望の特徴領域に関連付けて予め設定された色度に関する範囲よりも拡大された範囲に基づいて、前記圧縮画像データを圧縮ブロック単位ごとに検査し、圧縮ブロック単位ごとに前記拡大され範囲の色度を有するか否かを判定して、有すると見なされる候補領域を決定する第６のステップと、
前記第６のステップで決定された互いに隣接する複数の前記候補ブロックから構成される１つあるいは複数の候補画像領域のサイズを求める第７のステップと、
前記前記第６のステップで決定された候補画像領域内の圧縮ブロックそれぞれに対して、前記画像サイズ情報と前記候補画像領域サイズにより予め定められる空間周波数に関する情報に基づいて、前記特徴領域内の圧縮ブロック単位ごとの空間周波数成分の分布あるいは量を検査して、予め定めた空間周波数の分布あるいは量を有すると見なされるブロックを決定する第８のステップと
をさらに備え、
前記所望の特徴領域とした領域データを作成するステップは、前記第８のステップで決定した圧縮ブロックから構成される領域を所望の特徴領域とした領域データを作成する
ことを特徴とする請求項１又は２に記載の画像処理方法。
前記第１のステップは、予め定めた色度を有して特徴領域と見なされる候補ブロックを検出しない場合、および予め定めた色度を有して特徴領域と見なされる候補ブロックの互いに隣接ブロックから構成される１つあるいは複数の領域の最大のサイズが、予め定めたサイズよりも小さい場合、検出不成功を表すデータを出力し、
前記第３のステップは、予め定めた空間周波数の分布あるいは量を有すると見なされるブロックを検出しない場合、および予め定めた空間周波数の分布あるいは量を有すると見なされる候補ブロックの互いに隣接ブロックから構成される１つあるいは複数の領域の最大のサイズが、予め定めたサイズよりも小さい場合、検出不成功を表すデータを出力し、
前記領域データを作成するステップは、前記何れかの検出不成功を表すデータを入力した場合に、ヌル値を出力する
ことを特徴とする請求項１に記載の画像処理方法。
前記第３のステップは、前記圧縮画像データの前記画像サイズ情報とファイル・サイズおよび前記候補画像領域サイズにより予め定められる空間周波数に関する範囲に基づくことを特徴とする請求項１に記載の画像処理方法。
前記所望の特徴領域は、少なくとも人物の肌領域を含むことを特徴とする請求項１〜５の何れかに記載の画像処理方法。
空間周波数成分、色度、および画像サイズ情報を有する圧縮画像データを入力して、当該画像データの中に、所望の特徴領域が存在するか否かと存在する場合に当該特徴領域を検出するために、コンピュータに、
前記所望の特徴領域に関連付けて予め設定された色度に関する範囲に基づいて、前記圧縮画像データを圧縮ブロック単位ごとに検査し、圧縮ブロック単位ごとに予め定めた色度を有するか否かを判定して、予め定めた色度を有すると見なされる候補ブロックから構成される候補領域を決定する第１のステップと、
互いに隣接する複数の前記候補ブロックから構成される１つあるいは複数の候補画像領域のサイズを求める第２のステップと、
前記候補画像領域内の圧縮ブロックそれぞれに対して、前記画像サイズ情報と前記候補画像領域サイズにより予め定められる空間周波数に関する範囲に基づいて、前記候補画像領域内の圧縮ブロック単位ごとの空間周波数成分の分布あるいは量を検査して、予め定めた空間周波数の分布あるいは量を有すると見なされる圧縮ブロックを決定する第３のステップと、
前記第３のステップで決定した圧縮ブロックから構成される領域を所望の特徴領域とした領域データを作成するステップと
を実行させるためのプログラム。
請求項８に記載のプログラムを記録したコンピュータ読み取り可能記録媒体。