JP2002279416A - 色補正方法および色補正装置 - Google Patents

色補正方法および色補正装置

Info

Publication number
JP2002279416A
JP2002279416A JP2002034678A JP2002034678A JP2002279416A JP 2002279416 A JP2002279416 A JP 2002279416A JP 2002034678 A JP2002034678 A JP 2002034678A JP 2002034678 A JP2002034678 A JP 2002034678A JP 2002279416 A JP2002279416 A JP 2002279416A
Authority
JP
Japan
Prior art keywords
color
image
pattern
value
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002034678A
Other languages
English (en)
Inventor
Markus Naef
ネーフ マルクス
Andreas Held
ヘルド アンドレアス
Michael Schroeder
シュレーダー ミカエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gretag Imaging Trading AG
Original Assignee
Gretag Imaging Trading AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gretag Imaging Trading AG filed Critical Gretag Imaging Trading AG
Publication of JP2002279416A publication Critical patent/JP2002279416A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628—Memory colours, e.g. skin or sky

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

(57)【要約】 【課題】 予想可能な周知の色または記憶色を有するパ
ターン領域または画像パターンを含むディジタル写真画
像の色を補正するための方法および装置を提供するこ
と。 【解決手段】 第１のステップでは、少なくとも１つの
パターン領域または画像パターンの存在と位置と、好ま
しくは寸法とを検出する。第２のステップでは、検出さ
れたパターン領域または画像パターンに存在する色を測
定する。第３のステップでは、少なくとも１つの置換色
の値（記憶色）を上記パターン領域または画像パターン
に割り当てる。第４のステップでは、測定した既存色を
上記置換色で置き換え、画像パターンまたは画像領域の
色を補正する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、少なくとも一つの
パターン領域を含む写真画像の色を補正する方法に関す
るものであり、特に、予想可能な周知の色を有するディ
ジタル表現の顔画像に最適である。さらに、本発明は、
上記方法を用いた画像処理装置に関するものである。
【０００２】
【従来の技術】写真画像は、カメラ（スチルカメラ、動
画カメラ、ビデオカメラ、ディジタルカメラ、フィルム
カメラなど）等の写真画像記録装置により記録される。
光によって伝えられる写真情報の画像データはこれらの
カメラで撮像され、半導体メモリまたは写真フィルム上
の光化学物質の反応によって記録される。これらのアナ
ログ記録画像情報は、アナログ・ディジタル（Ａ／Ｄ）
変換器を用いて、あるいはフィルムを走査することによ
って、ディジタル化され、ディジタル画像データが得ら
れる。得られたディジタル画像データは変換されて、出
力手段（たとえば、プリンタと印刷媒体、または、画
面）により表示される。
【０００３】写真画像を記録するときから、表示するま
での間、または後に表示するために画像データを格納す
るまでの間、に生じる誤差の原因は多く、これらの誤差
が画像データに影響を及ぼし、ユーザに最終的に表示さ
れる写真画像の色が写真の対象物の本来の外観とは異な
るという問題があった。本発明はこのような色のずれに
関するものである。
【０００４】このような誤差や色ずれの要因には技術的
な要因と、人間による色や画像の知覚の仕方に依存する
要因がある。技術的な要因には、たとえば、レンズ系の
色収差、ディジタルカメラのカラーバランスアルゴリズ
ム、ＣＣＤチップまたはフィルムのスペクトル感度、そ
して特に、不適当な色補正アルゴリズムなどによるもの
がある。カメラで撮影する写真の対象物の色は、照明の
スペクトルによって変化する。逆に、人間の色補正機能
には、いわゆる「色の恒常性」という特徴がある。
【０００５】通常の人間は、複数の異なる照明条件下に
ある、色値がそれぞれ異なるカラーサンプルを、色値に
関する記憶を頼りに識別することができる（内川恵二ら
による報告「カラーメモリマッチングによる色の恒常性
の測定」："Measurement ofColor Constancy by Color
Memory Matching", Optical Review, Vol. 5, No. 1(19
98), p. 59〜63、または http://annex.jsap.or.jp/OSJ
/opticalreview/TOC-Lists/vol05/5a059tx.htm参照）。
人間に色覚があるのも色の恒常性という知覚機構がある
からである。色覚は光源となる照明の内容とは相対的に
無関係である。逆に、カメラ等によって記録された色値
は照明光（タングステン光、フラッシュ光源、日光な
ど）のスペクトルのみに依存する。
【０００６】さらに、人間は日常生活において馴染みが
ある色、たとえば、人肌、葉群、青空、中間色またはグ
レー（たとえば、道路の色）などを記憶している。ＣＭ
ＹＫ（シアン、マゼンタ、黄、および黒）色空間におい
て、白色人種の肌の色調は13C-40M-45Y-0Kである。これ
らは、少なくとも白色人種の若い女性および子供の肌の
色に一般的に当てはまる値であり、通常、マゼンタと黄
の値はほぼ同等であり、シアンはマゼンタと黄の値の約
1/5〜1/3である。マゼンタの値が黄よりも多い場合は、
肌の色相が赤味を帯び、黄の値がマゼンタよりも顕著に
多い場合には黄色を帯びる。黒は肌の影の部分、または
肌の色が濃い場合にのみ含まれる（http:www.colorbala
nce.com/html/memory.html）。
【０００７】このような記憶色が存在する写真画像で
は、写真画像の特徴的色を代表する記憶色を、色補正の
参照色として用いることができる。
【０００８】しかし、対象がどのようなディジタル画像
であっても、その画像の色データ全てを補正するため
に、そこから複数の参照色を検索することは非常に困難
であり、また大きなメモリスペースを必要とする上、コ
ンピュータ操作に時間がかかってしまうという問題があ
る。
【０００９】画像パターン自動検出技術の分野では、記
憶色を有する写真から検索対象である画像パターンを識
別することは従来からの課題であった。このような自動
検出は、たとえば、画像データに修正または変更を加え
て記録プロセスで生じた欠陥を補正する必要がある場合
に好適である。たとえば、撮影対象物の実際の色とは異
なる色を有する可能性が高いフラッシュ撮影写真などに
も好適である。
【００１０】その他にも補正が必要となる写真の色調不
良が発生する状況はあるが、以下では、人間の記憶色か
らなる肌の識別を適用した顔画像の自動検出について詳
細に述べることにする。
【００１１】
【発明が解決しようとする課題】人物写真像から肌色お
よび顔を検索するために、まず肌色を検出することが従
来から知られている。肌色を検出した後、その肌色領域
に人間の顔の画像パターンが存在するかどうかを確認す
る。その結果顔が検出されれば、その色を記憶色に基づ
いて補正する。しかし、このようなプロセスは、たとえ
ば、肌の色が緑色、オレンジ色、あるいは灰色に写って
いる、つまり記録された肌の色が人間の肌として認識さ
れないような色を有する、といったような画像の色調不
良には適用できないといった問題があった。
【００１２】本発明は、特定の画像パターンの記憶色を
記録画像の色データ補正の参照色として用いる色補正方
法を提供することを目的とする。特に本発明は、人肌の
記憶色に基づいて画像の色を補正することを目的とす
る。
【００１３】
【課題を解決するための手段】上記目的は独立形式請求
項の内容により少なくとも部分的に達成することができ
る。また、従属形式請求項は本発明の好適な実施例を説
明するものである。
【００１４】本発明の目的は、予想可能な周知の色（記
憶色）、を有するパターン領域または画像パターンを一
つ以上含む、ディジタル表現に変換された写真画像の、
少なくとも一つの色を補正する方法により達成されるも
のである。上記方法によれば、特に人間の顔などの、少
なくとも一つのパターン領域または画像パターンの存
在、位置、および、たとえば、少なくとも近似的な寸法
を検出する。上記パターン領域または画像パターンの色
が測定され、少なくとも一つの置換色の値（記憶色）が
そのパターン領域または画像パターンに関連づけられ
る。
【００１５】この置換色の値は、いわゆる記憶色に相当
し、測定された既存の色に取って代わることで上記パタ
ーン領域または画像パターンの色を補正する。本発明に
従って、人間が記憶に保つある特定の想像色とは異な
る、画像パターンまたはパターン領域の色調不良を、人
間の記憶色を基準として再構成または補正することがで
きる。本発明の方法によれば、特に人間の顔などのパタ
ーン領域またはパターン画像のそれぞれについて、少な
くとも一つの置換色または記憶色を登録しておく必要が
ある。
【００１６】複数の記録画像から、たとえば、顔、道
路、または緑の芝生などの異なる種類の画像パターンを
検索する可能性もあるため、これらの画像パターンのそ
れぞれについて少なくとも一つの置換色、すなわち人間
の記憶色、を登録しておく必要がある。そのため、複数
のパターン領域または画像パターンを１枚の写真、つま
りその写真のディジタル表現から検出し、これらの画像
パターンの欠陥色を、登録しておいた置換色、すなわち
その画像パターンに対して人間が記憶に保つ記憶色で置
き換えることが可能となる。
【００１７】本発明の一つの好適な実施例によれば、少
なくとも一つの置換色の値と、識別および位置確認を行
ったパターン領域または画像パターンの既存色との間の
偏差を求めることも可能である。この偏差に基づいて、
検出されたパターン領域または画像パターンの既存の色
値を修正することができる。従って、検出された画像パ
ターンの色は、置換色または記憶色１色のみによって置
換されるのではなく、偏差の分だけ修正される。つま
り、画像パターンは色補正後も、複数の色を有し、より
自然な外観を有することになる。さらに、この偏差を用
いて、画像の全ての既存色を修正または補正することも
可能である。
【００１８】さらに、上記の少なくとも一つの検出され
たパターン領域または画像パターンの色値の平均値を求
め、その後の全ての色補正処理においてこの平均値を既
存色として用いることができる。
【００１９】もちろん、パターン領域または画像パター
ンに関連づけられた一つまたは複数の記憶色に関連す
る、色値の分布を用いることも可能である。この場合、
測定した既存色に対応する置換色の値を割り当てる。
【００２０】さらに、上記既存色と割り当てられた置換
色の値または記憶色とが互いに異なる色値、たとえば、
それぞれ特定の赤、緑、青の値を有する場合、あるい
は、HSV色空間などの特定の色空間において互いに異な
る色値から構成される場合があるため、ディジタル表現
の原画像の色値を補正するためには変換処理が必要とな
る場合もある。適切な変換処理により、ある色に関して
あらゆる色値を考慮して補正を適切に行うことが可能と
なる。
【００２１】本発明の別の実施例は、人間の顔、または
道路などの、一つまたは複数の画像パターンの認識を基
本とするものである。これらの画像パターンは、人間が
記憶する、ある特定の色を含む。また、この実施例によ
り、比較的短時間で記録画像のディジタル表現からこれ
らの画像パターンを検出することができる。人間の顔な
どの、比較的容易に検出される画像パターンには、肌の
色などの記憶色が含まれる。ある特定の画像パターンの
認識および検出された画像パターンのある特定の色の認
識をもとに、写真画像の色を補正することが可能であ
る。これは、検出した画像パターンから検出した色と、
たとえば、顔、道路等の検出された画像パターンから人
間が知覚すると予測される記憶色との間の偏差を考慮し
て、画像の全ての色を補正することで実現できる。
【００２２】本発明には、いずれの既存の画像パターン
検出方法を用いても良い。実際の顔の検出には、以下に
適度に合致するシステムであれば何を用いてもよい。た
とえば、Henry Rowleyの論文「ニュートラルネットワー
クによる顔検出」（"NeutralNetwork-Based Face Detec
tion", PhD Thesis CMU-CS-99-117, Carnegie Mellon U
niversity, Pittsburgh 1999）に記載されるニュートラ
ルネットワーク手法、またはSchneidermanらの論文「顔
および車などの３次元物体検出に用いられる統計的手
法」（"A Statistical Method for 3D Object Detectio
n Applied to Faces and Cars", Proc. CVPR 2000, Vo
l. I, p. 746〜752, Hilton Head Island2000）に記載
されるウェーブレット手法などを用いることができる。
【００２３】ここで重要なのは、顔の検出が完全に自動
的に行われること、検出速度が適度に速いこと、および
偽陽性率、つまり顔がないのに顔があると検出される確
率、が低いことである。ここでいう「適度」とは、実施
の形態の状況によって異なるものである。本発明の実施
例にはRowleyおよびSchneidermanらによる上記文献に記
載される内容を組み込むものとする。
【００２４】ほとんどの顔検出器の検出能力は回転に対
して不変ではないため、顔が取り得る全ての回転方向に
ついて検出が確実に行えるように工夫する必要がある。
その方法は、顔検出器によって回転不変性が異なるため
使用する検出器によって異なる。たとえば、Rowleyの手
法では、約±１５°、Schneidermanの手法では、約±４
５°の範囲で回転不変性が得られる。従って、検出器以
外の手段によって回転不変性を確保する必要がある。こ
れはたとえば、画像を予備回転してから、後処理および
通常の顔検出を行うことで達成できる。
【００２５】たとえば、Schneidermanの顔検出器を用い
たシステムには４つの段階が必要である。言い換える
と、上記顔検出器の場合は画像をそれぞれ０°、９０
°、１８０°、および２７０°回転させて測定する必要
がある。
【００２６】顔が検出されれば、肌色を検索する範囲が
著しく限定されることになる。上述の検出方法によれ
ば、顔を境界づける枠と顔のおおまかな方向を検出する
ことができる。上述のとおり、顔検出器の検出能力は一
般的に回転不変性ではない。したがって、顔の方向は顔
検出器の回転不変性によって限定される範囲内で求める
ことができる。Schneiderman検出器の場合、この範囲は
±４５°以内となる。
【００２７】顔、または道路などの画像パターンの位置
確認を終えると、本発明による方法の、つぎのステップ
に従って、写真画像の色を補正することができる。位置
確認した画像パターンには、ある特定の色の存在が予測
され、また、本発明による方法に従って動作する画像処
理装置には、検出および位置確認されるあらゆる画像パ
ターンにそれぞれ対応する色の色分布が予め登録されて
いるため、画像パターンから検出された色が該当する可
能性が最も高い色分布の範囲内にあるかどうかを確認す
ることができる。上述のように、これらの色分布は人間
が記憶し、かつ、位置確認および検出された画像パター
ンから人間が知覚すると予測される記憶色に対応する。
【００２８】つまり、本発明による方法は、記録した画
像のディジタル表現を対象とし、最初に、人間の顔など
の一つのパターン領域または画像パターンを識別し、写
真画像、すなわちディジタル表現上の上記パターン領域
または画像パターンの位置を検出する。そして、位置を
検出したたとえば、顔などの上記パターン領域または画
像パターンの予想可能な周知の色を決定する。
【００２９】つぎに、上記パターン領域または画像パタ
ーンについて決定した色に対応する、ある色空間におけ
る色値の分布を、少なくとも一つ選定する。上記少なく
とも一つの色値の分布から、決定した色に対応する一つ
の色値が決定され、上記パターン領域の色に割り当てら
れる。割り当てられた色値は、人間によって予想可能な
色に相当する。つまり、そのパターン領域、たとえば、
顔、がその色を有することが人間の記憶に存在する必要
がある。そして、上記パターン領域の色と、割り当てら
れた上記分布の色値との間の偏差が求められ、写真画像
の色を変換するための変換処理をこの偏差から決定す
る。この変換処理により、上記画像のディジタル表現の
色データが補正される。
【００３０】上記分布から該当する色値を用いて、請求
項１記載のステップ（ｂ）〜（ｄ）を繰り返し実行して
もよい。その場合、請求項１のステップ（ｂ）において
必ず、割り当てる値として決定した色値が、パターン領
域または画像パターン上の既存色または最後に置き換え
た色値を置き換える。この繰り返しは、識別および検出
されたパターン領域または画像パターンの、最後に補正
した色値が、許容範囲内にあると判断されると停止され
る。この許容範囲とは、色補正の対象となるパターン領
域または画像パターンから検出された色に最も一致する
可能性が高い、所定の色空間における色値の分布として
選択された、少なくとも一つの分布の最も可能性が高い
部分に相当する。
【００３１】もちろん、所定の時間内に好ましい結果、
つまり、許容範囲内の色値を得ることができないために
請求項１による方法を終了することができない場合に
は、前回使用した色空間の色値分布に近い、同色空間に
おける別の色値分布などを選択し、この別の色分布をも
とに許容範囲内の色値を得ることも可能である。
【００３２】たとえば、識別および位置確認したパター
ン領域または画像パターンから検出した平均色が、選択
したある色分布内の最も一致する可能性の高い色値の範
囲とは異なる、HSV色空間の色スペクトルおよび／また
はHSV値を含むと判断した場合には、この偏差を計算す
ることが可能である。たとえば、赤、緑、青の色値、お
よび色相に偏差がある場合がある。
【００３３】計算したこれらの偏差から写真画像中、す
なわち、写真画像のディジタル表現中の全色を補正する
ことができる。補正後、識別および位置確認したパター
ン領域または画像パターンの色値が、選択した色分布の
最も一致する可能性の高い部分の範囲内にあるかどうか
をこの補正したディジタル表現について再度検出するこ
とができる。この色分布は、人間が色の記憶に基づいて
予測すると考えられる色値の分布に相当する。
【００３４】従って、本発明によれば、顔などのある一
つの特定のパターン領域または画像パターンのみの色か
ら記録画像全体の色を自動的に補正することが可能であ
る。
【００３５】本発明の方法に従って、ディジタル写真画
像の色補正を実行し、記憶色を最適に再現することがで
きる。本発明は、特に、写真用ＤＭＤプリンタ、写真用
インクジェットプリンタ、写真用ＣＲＴプリンタ、写真
の現像プリントシステム、特に「ミニラボ」とも呼ばれ
る小型の現像プリントシステムなどに適用できる。
【００３６】上記プリンタまたは現像プリントシステム
は供給された写真画像情報を処理する。写真画像情報
は、従来どおりフィルム上の写真画像情報として供給さ
れても良いが、ネットワーク（インターネット、ＬＡＮ
など）または記憶媒体（ＣＤ−ＲＯＭ、ディスク、メモ
リチップなど）を介してディジタル方式で供給されても
よい。
【００３７】本発明による色補正の参照として用いる色
は「参照色」と呼ばれる。これらの参照色は一般的に記
憶色に相当し、ほとんどの写真画像において画像の主要
な部分の特徴的な色を代表するものである。従って、こ
のような特徴的な色（記憶色）を、たとえば、統計的
に、または写真専門家によって、選択された複数の写真
から導き出しても良い。上記複数の写真画像から、特徴
的な色（記憶色）のモデルを導き出して、このモデルか
ら特徴的な色（記憶色）が通常有すると考えられる色値
が得られる。上記色値は、特定の色値の尤度を表す色値
分布の形で用いることができる。
【００３８】本発明の発明者は、一つの記憶色が一つの
色値ではなく、実際には複数の色値によって表されるも
のであると考えた。本発明により、特定の記憶色（特徴
的な色）を表す複数の色値を少なくとも一つの分布を用
いて表現することができる。この分布は特定の色空間に
おける複数の色値の分布を示すものである。上記分布
は、特に、色空間における２次元または３次元の範囲ま
たは部分を表す。上記分布は色値、すなわち色空間にお
ける位置、のみに関連するわけではなく、上記分布によ
って表現される複数の色値の一つ以上のパラメータにも
関連している。
【００３９】たとえば、このパラメータは、ある色値が
特定の記憶色を表す確率に関するパラメータである。た
とえば、この確率は複数の写真画像におけるその色値の
統計的存在度から推定することができる。本実施例で
は、上記分布は確率分布を意味する。別の実施例によれ
ば、上記パラメータは、補正処理に用いられる重み係数
を表すパラメータである。この重み係数は、ある記憶色
の表現に用いられる各色値の重要度を示す。通常、色値
の重要度は上記統計的存在度または上記確率が高いほど
高い。
【００４０】また、撮像条件に関する付加的情報がある
場合には、複数の異なる分布を同一の記憶色に対してさ
らに用いることも可能である。たとえば、フラッシュを
用いて画像が撮影されたという情報がディジタルカメラ
に登録されていれば、フラッシュ撮影条件に適応する分
布、または複数のフラッシュ撮影写真画像から得られた
分布を、標準の分布の代わりに用いることが可能であ
る。標準の分布とは、あらゆる撮像条件（日光、フラッ
シュ光源、屋内など）に適応する分布のことである。
【００４１】しかし、このような付加的情報は以下に説
明するように、いわゆる「事前情報」の決定において用
いることが好ましく、従って、付加的情報がない場合に
は、一つの記憶色に対して一つの分布のみを割り当てる
ことが好ましい。本発明によれば、記憶色は参照色とし
て用いられる。好ましくは、参照色群および、従ってそ
れらに対応する複数の分布が供給される。これらの分布
に関する既定のデータはメモリ部に登録され、および／
または、必要に応じてネットワークを介してアクセスで
きるようになっていてもよく、また、たとえば、新しい
統計データを基に更新することも可能である。
【００４２】本発明による色補正方法または色補正装置
は、写真画像を表す画像データを受信して補正する。画
像データは好ましくは、たとえば、記憶媒体またはネッ
トワークを介してディジタル方式で受信する。代わり
に、または、さらに、本発明による色補正装置は、ディ
ジタル写真画像データを生成するために、写真フィルム
を走査する走査手段を備えていてもよい。
【００４３】記録画像の色値は通常ディジタル化され、
たとえば、整数（たとえば、0 ...255)の成分から成る
３次元のベクトルによって表現することができる。画像
のディジタル表現を得るために、たとえば、ＲＧＢ、ｓ
ＲＧＢ、ＣＭＹＫ、Ｌａｂ，ＣＩＥＬａｂ等の色空間を
用いて色値を表すことが可能である。
【００４４】本発明によれば、参照色および／またはそ
れに対応する分布（または選択された分布）が検出およ
び位置確認されたパターン領域または画像パターンに割
り当てられる。割り当てられる分布は既存の分布群から
選択される。
【００４５】画像に割り当てられた分布、すなわち、画
像パターンに割り当てられた参照色（記憶色）に基づい
て、変換処理を決定する。変換は補正を目的とした画像
データの操作を意味し、画像パターンに存在する色値に
基づいて決定される。既存の色値は、変換の起点を表
し、割り当てられた分布が、変換の終点を定義する。画
像パターンの色値を、割り当てられた分布が表す色値、
つまり人間がそこにあると予測する色値に一致させるこ
とが目的である。
【００４６】決定した変換処理を用いて、画像データの
色値、好ましくは全ての画像データの色値を変換して補
正画像を取得する。この補正は写真画像に存在する典型
的な記憶色に関する情報を表す分布に基づいて行われ
る。記憶色は厳密な色値ではなく、分布によって表され
るため、本発明の色補正の原理には「ファジー度」が得
られる。この「ファジー度」により柔軟かつ滑らかな補
正が可能となる最適化処理を行うことができる。
【００４７】そして、以下の場合に、上述した、請求項
１の複数の「一致」ステップが達成されたことになる。
これは、参照部分の変換された色値が、上記割り当てら
れた分布によって占有される色空間の部分空間に近似す
る場合、変換された色値が変換前よりも、選択された分
布の最も可能性が高い部分に近似する場合、変換された
色値の少なくとも１部が上記色空間の上記部分空間の範
囲内にある場合、または、変換された画像パターンの色
値のほとんど、または全てが上記色空間の上記部分空間
の範囲内にある場合である。「一致度」は、変換前の色
値と比べた、重なりまたは近似の程度に相当する。確率
を考慮に入れたさらに好ましい方法では、最適化処理を
行うことで一致度の評価を行える。この方法については
以下に詳細に説明する。
【００４８】記憶色には好ましくは確率モデルが適用さ
れる。すなわち、色値の分布は確率、さらに好ましく
は、条件付き確率によって定義される。条件付き確率
は、ある特定の記憶色（参照色）の条件下における色値
の尤度を定義する。各記憶色モデル、すなわち、各記憶
色の確率分布は、写真専門家により提供された訓練デー
タ群から導き出されるか、あるいは、複数の写真画像の
統計解析により得られたものであってもよい。さらに、
変換された色値と、上記確率分布により定義される色値
との間の一致の質を、上記確率分布を用いて評価するこ
ともできる。一致の質のことを「一致度」と呼ぶことが
できる。たとえば、変換された色値が記憶色に相当する
確率が高いほど一致度は高くなると考えてよい。この確
率は確率分布から計算することができる。
【００４９】つまり、本発明による最適化処理は、変換
された色値と、割り当てられた分布の色値との間の一致
度の評価を好ましくは用いるものである。この一致度
は、上述のとおり、確率分布を用いて計算することがで
きる。上記確率分布が色空間の部分空間を規定する場
合、たとえば、参照部分の色値によって規定される部分
空間と、上記確率分布により規定される部分空間との間
の重なり度合いを最適化処理における一致度として用い
ることができる。最適化処理は、この「一致度」ができ
るだけ大きくなるように行われる。
【００５０】画像パターンが二つ以上、および／また
は、割り当てられた分布が二つ以上存在する場合は、全
ての画像パターンと割り当てられた記憶色との間の総合
的な一致の質を表す「全一致度」を、好ましくは複数の
個別の一致度から求める。これらの個別の一致度は、そ
れぞれ、一つの画像パターンの色値とその画像パターン
に割り当てられた分布の色値との間の一致度に相当す
る。上記全一致度は、好ましくは複数の個別の一致度か
ら成る関数である。さらに好ましくは、上記関数は上記
個別の一致度を数学的に統合したものである。
【００５１】確率分布を適用する場合、各画像パターン
に対して条件付き確率を計算する。条件付き確率は、た
とえば、顔などの画像パターンの色値がそのパターンに
割り当てられた記憶色に属する確率を表す。「全一致
度」の評価は好ましくは、選択した複数の画像パターン
に対応する複数の条件付き確率の積、つまり本例では上
述の関数を意味する積、に基づいて行われる。
【００５２】また、確率分布を適用する場合、「一致
度」は確率に基づくため、「一致確率」と呼ぶこともで
きる。一致確率は、変換した色値が、その画像パターン
に割り当てられた分布または参照色に属する確率を表
す。
【００５３】一致確率は画像パターンの色値が参照色を
表す確率を定義する分布に基づいて好ましくは求められ
る。代わりに、または、さらに、一致確率を画像データ
の色値に対する（系統的）影響に基づいて求めてもよ
い。この影響とは、写真画像を撮影した時点で発生した
もの（たとえば、フラッシュ光源などの、撮影対象物の
ための照明のスペクトルによるもの）から、本発明によ
る色補正方法または色補正装置により画像データが受信
されるまでの間に発生したものを含む。系統的影響に関
するこのような情報は、「事前情報」とも呼ばれる。
「事前情報」については後にさらに詳細に説明する。
【００５４】色補正を彩度および色相に関する情報のみ
に基づいて行うことも可能である。色値をLabベクトル
として表す場合、aとbのベクトル値のみに基づいて補正
を行うこともできる。このような自動的な、選択、割り
当て、および補正の主な利点は、色の歪みが有意に存在
する画像についても確実に補正できることにある。これ
は、画像部分の選択と分布（または対応する参照色）の
割り当てが、色相と彩度に関する情報に依存しないで行
われるからである。
【００５５】顔に加えて、または、顔の代わりに、その
他の対象物を画像パターンとして検出および選択するこ
とももちろん可能である。たとえば、道路を画像パター
ンとする場合には参照色はグレーになる。
【００５６】補正した画像データがある出力手段（たと
えば、プリンタまたはミニラボなど）へと送られること
が予めわかっていて、国際色彩委員会（International
Color Consortium, http://www.color.org）規定のＩＣ
Ｃプロファイルなどのカラーマネジメントプロファイル
が既知である場合は、これを変換処理を決定するステッ
プ、特に対応する最適化処理に用いることができる。こ
の場合、変換処理が出力手段のカラーマネジメントプロ
ファイルに対応するカラーマネジメント変換を含むよう
に、変換処理を決定する。
【００５７】さらに、または代わりに、人間による画像
の色覚の観点から補正を行ってもよい。このために、Ma
rk Fairchildの文献「色の見えモデル作成とCIECAM97
s」（"Color Apperance Modeling and CIECAM97s", Tut
orial Notes (CIC99), 1999,Armin Kndig）にあるCIECA
M97sのような色の見えモデルを使用してもよい。色の見
えモデルは、変換処理、すなわち色の見え変換処理によ
って表すことができる。本発明による補正に用いられる
変換処理を、このような色の見え変換処理を含むように
決定する。
【００５８】本発明は方法のみならず、プログラム、お
よびそのプログラムを備えたコンピュータ記憶媒体に関
するものである。さらに、本発明は、上述の補正処理を
行う写真画像処理装置に関するものである。このような
写真画像処理装置は、分布を記憶するためのメモリ手
段、ディジタル画像データを受信するための入力手段、
参照部分を選択するための選択手段、これら参照部分の
分布を割り当てるための割り当て手段、上述の一致度を
考慮して変換処理を決定するための決定手段、および補
正変換を実行するための変換手段を備える。
【００５９】このような写真画像処理装置は、ASIC製
品、ハード接続された電子部品、および／または、本発
明に従ってプログラムされたコンピュータまたはチップ
により実現されてもよい。さらに、本発明は、上述の写
真画像処理装置を構成する上述の方法を用いた、写真プ
リンタ、または写真現像プリントシステム、特にミニラ
ボに関するものである。各装置はたとえば、上述のプロ
グラムが実行される、または組み込まれたコンピュータ
などのデータ処理手段を備えていてもよい。
【００６０】
【発明の実施の形態】本発明による方法の原理につい
て、人間の顔検出および顔の肌検出に関連して以下に詳
細に説明する。当然ながら、その他の記憶色が存在する
別の画像パターンの検出を行ってもよい。
【００６１】実際の顔検出には、以下に適度に合致する
システムであれば何を用いてもよい。たとえば、Henry
Rowleyの論文「ニュートラルネットワークによる顔検
出」（"Neutral Network-Based Face Detection", PhD
Thesis CMU-CS-99-117, Carnegie Mellon University,
Pittsburgh 1999）に記載のニュートラルネットワーク
手法、またはSchneidermanらの論文「顔および車などの
３次元物体検出に用いる統計的手法」（"A Statistical
Method for 3D Object Detection Applied to Faces a
nd Cars", Proc. CVPR 2000, Vol. I, p. 746〜752, Hi
lton Head Island2000）に記載のウェーブレット手法な
どを用いることができる。
【００６２】ここで重要なのは、顔の検出が完全に自動
的に行われること、検出速度が適度に速いこと、および
偽陽性率、つまり顔がないのに顔があると検出される確
率、が低いことである。ここでいう「適度」とは、実施
の形態の状況によって異なるものである。本発明の実施
例にはRowleyおよびSchneidermanらによる文献に記載さ
れる内容を取り入れる。
【００６３】ほとんどの顔検出器の検出能力は回転に対
して不変ではないため、顔が取り得る全ての回転方向に
ついて検出が確実に行えるように工夫する必要がある。
その方法は、顔検出器によって回転不変性が異なるため
使用する検出器によって異なる。たとえば、Rowleyの手
法では、約±１５°、Schneidermanの手法では、約±４
５°の範囲で回転不変性が得られる。従って、検出器以
外の手段によって回転不変性を確保する必要がある。こ
れはたとえば、画像を予備回転してから、後処理および
通常の顔検出を行うことで達成できる。図１はこのよう
な顔検出を説明するフローチャートである。
【００６４】たとえば、Schneidermanの顔検出器を用い
たシステムには４つの段階が必要である。言い換える
と、上記顔検出器の場合は画像をそれぞれ０°、９０
°、１８０°、および２７０°回転させて測定する必要
がある。
【００６５】顔が検出されれば、肌色を検索する範囲が
著しく限定されることになる。上述の検出方法によれ
ば、顔を境界づける枠と顔のおおまかな方向を検出する
ことができる。上述のとおり、顔検出器の検出能力は一
般的に回転不変性ではない。したがって、顔の方向は顔
検出器の回転不変性によって限定される範囲内で求める
ことができる。Schneiderman検出器の場合、この範囲は
±４５°以内となる。
【００６６】図２、３は、検索対象の画像パターンの識
別および／または位置確認に用いる大まかなピクトグラ
ムである。もちろんこれらを回転、傾斜、または移動し
て記憶色を識別してもよい。ここでは、記憶色は人肌の
色に相当する。
【００６７】画像パターンを識別するために、顔の特徴
を強調させる処理を行っても構わない。たとえば、ヒス
トグラム正規化、局所コントラスト増強、などを使用し
てもよい。
【００６８】つぎに、本発明の一つの側面により、パタ
ーン領域または画像パターンが識別および位置確認され
ると、この領域内の色を検出することが可能になる。検
出された色に応じて、少なくとも検出された画像パター
ンに用いられる置換色として使用される記憶色が選択さ
れる。
【００６９】一致の可能性が最も高い記憶色と、補正の
対象となる画像から認識および位置確認された画像パタ
ーンにおいて測定された色との間の偏差を決定すること
も可能である。この偏差から、画像パターンの色補正の
みならず、その画像の残りの部分の色を全て補正するこ
とができる。既存の色値として、検出された画像パター
ンの推定中心の１色を検出して、または、検出された画
像パターンの色の平均値を求めて、HSV色空間またはRGB
色空間等の特定の色空間においてこの既存の色値に近い
記憶色と、既存の色値との偏差を求めることにより一致
の可能性が最も高い記憶色を決定することができる。
【００７０】より複雑な処理を適用することも可能であ
るが、この場合には、一方ではより良い色補正結果が得
られるが、他方では、補正処理に必要な時間が長くなっ
てしまう。
【００７１】本発明のさらに別の側面による色補正方法
または色補正装置について以下に説明する。
【００７２】記憶色は正規化された色空間によって定義
される。さらに、上述のように、および以下により詳細
に述べるように、カラーマネジメントモデルおよび／ま
たは色の見えモデルを色補正処理と組み合わせることも
可能である。
【００７３】本方法の入力データとして、（たとえば、
ディジタルカメラまたは走査手段を使用して得られた）
ディジタル画像および記憶色Aiが割り当てられた、画像
上の少なくとも一つの画像パターンi（i = 1 ... N)を
使用する。パターン領域または画像パターンはその位
置、たとえば、デカルト座標 xi/yiによって識別するこ
とができる。参照部分である画像パターンは一つ以上の
ピクセル（画素）から構成される。使用する画像パター
ンの数はNである。各画像パターンにおける画像データ
は特徴的な色値によって特徴付けられる。
【００７４】画像パターンが二つ以上のピクセルから成
る場合、この画像パターンに割り当てられた色値は、そ
の画像パターンの複数のピクセルの複数の色値から成る
関数であってもよい。この関数は、たとえば、これらの
ピクセルの色値の中央値であってもよいが、画像パター
ンの周縁部にあるピクセルの色値と比べて中心部の色値
への重み付けを大きくしてもよい。画像パターンの色値
（たとえば、画像パターンの複数のピクセルの複数の色
値から成る関数）をたとえば、ＲＧＢなどの色空間を用
いて表してもよい。その場合には、画像パターンiの色
値はri、gi、biである。
【００７５】画像上の点を指定して画像パターンを識別
する場合には、その画像パターンは、その点のピクセル
のみに相当してもよい。この画像パターンはその点を中
心とする固定サイズの領域の平均値に対応づけられても
よい。この領域は、本発明のパターン認識方法に従って
ユーザが指定したシードを領域成長させて得られたもの
であってもよい。
【００７６】入力データ、すなわち、画像パターン、画
像パターンの既存の色値、および画像パターンの目標色
値に相当する置換色が揃えば、色補正用の変換Tを決定
することができる。最初は変換Tは未知であるが、次式
のように定義することができる。
【００７７】
【数１】
【００７８】式（１）では色値をr、g、bとして表して
いるが、これは一例であり、その他の表示、たとえば、
Lab表色系を選択してもよい。式（１）の変換Tにより
r、g、bの値は新しいピクセル値r'、g'、b'に変換され
る。また必要に応じてより複雑な変換を用いてもよい。
変換の例がG. WyszeckiおよびW. Stiles著書の「色科
学：概念と方法、定量的データおよび公式」（Color Sc
ience: "Concepts and Methods, Quantitative Data an
d Formulae", Wiley, 1982）に記載されている。たとえ
ば、以下の変換処理を行ってもよい。
【００７９】上記r、 g、 b値に単純に倍率をかける。
このような補正はディジタルカメラに適用されることが
多い。この場合、変換Tは行列の成分が増倍率に相当す
る対角行列である。
【００８０】色値をある色空間から別の色空間へと変換
する。たとえば、r、g、b値をXYZ表色の値に変換してか
ら、X、Y、Z値に倍率をかける。画像パターンの色値
は、好ましくは一つの次元が輝度または明度を表し、そ
の次元とは独立したその他の次元が色相および色調を表
す色空間へと変換される。
【００８１】変換により、r、g、b値またはその他の色
値をLMS錐体応答値に変換し、得られた値に倍率をかけ
る。
【００８２】上述の色空間のいずれかにおいて一般的な
３ｘ３の行列変換処理を行う。行列は色空間における回
転、変形、または変位を表す。特に、その色空間の一つ
の次元が輝度または明度を表す場合、輝度の値を一定に
して変換を行ってもよい。たとえば、変換は輝度または
明度の軸を中心とする回転を表す行列であってもよい。
【００８３】記憶色に対応する色値の分布に関連する記
憶色のモデルは確率モデルである。各記憶色Ak（A1＝中
間色またはグレー、A2＝青空、A3＝人肌、A4＝葉群）は
その尤度によって定義される。
【００８４】p(a，b｜Ak) ・・・（2）
【００８５】式（２）はパラメータa、bで表された色値
が記憶色に属する可能性を表す。以下に説明する例では
このパラメータa、bがLabベクトルの成分a、bに相当す
ると仮定する。式（２）は条件付き確率であり、記憶色
Akの条件下での色値a、bの確率を表す。
【００８６】式（２）は、たとえば、複数の写真画像に
おける記憶色の統計解析結果などの訓練データを表すの
に必要な程度に複雑な形のものにすることができる。確
率分布を２次元の多変量ガウス曲線により表すと好まし
い結果が得られる。図４は「中間色」（実線）、「青
空」（破線）、「人肌」（点線）、「葉群」（１点破
線）の記憶色モデル（確率分布）の例を示す。図４にお
いてガウス曲線は各記憶色の最高確率が50%となる線を
示す。すなわち図４の実線上にある全ての色値(a, b)に
対してp(a, b｜ A1) = 0.5となっている。
【００８７】以下では、画像パターンの変換した色値と
画像パターンに割り当てられた置換色の確率分布の色値
との一致が最高となるような変換処理を求める最適化方
法またはアルゴリズムについて説明する。
【００８８】変換Tは３ｘ３行列の対角成分を表す所定
数のパラメータ（たとえば、倍率rf、gf、bf）により特
徴付けられる。画像パターンとその色値が検出される
と、変換されたピクセルr'i、g'i、b'iが、対応する記
憶色Aiを最適に再現するように、検出および位置確認を
行った画像パターンiの入力色値ri、gi、biからこれらの
パラメータを決定する。
【００８９】ここでいう「最適」の程度は、Lab色空間
のa-b色平面を用いて定義してもよい。Lab色空間の成分
はL*、a*、b*（図４参照）として表すこともできる。こ
れらの成分はCIELab表色系に関連するものである。K. T
oepferおよびR. Cookinghamによる心理学研究論文「記
憶色演色の定量性」（"The Quantitative Aspects ofCo
lor Rendering for Memory Colors", in IST PICS2000
Conference, p. 94〜98, 2000, MS)には、Lab色空間が
記憶色、従って置換色、を定義するのに適していること
が記載されている。
【００９０】ある変換Tθ（θはその変換処理のパラメ
ータを表す）を用いて、画像パターンiのa、b値を次式
により計算することができる。
【００９１】 ａ'i＝ｆa（ｒ'i，ｇ'i，ｂ'i）＝ｆa（Ｔθ（ｒi，ｇi，ｂi）） ・・・(3)
【００９２】 ｂ'i＝ｆb（ｒ'i，ｇ'i，ｂ'i）＝ｆb（Ｔθ（ｒi，ｇi，ｂi）） ・・・(4)
【００９３】式（３）、（４）において、fa、fbは使用
するRGB（たとえば、sRGBまたはAdobe RGB）色空間にお
けるa、b値を計算するための関数を表す。
【００９４】a'i、b'iと記憶色モデル、すなわち式
（２）により定義される確率分布を用いて、全確率を必
要に応じて計算することができる。個々の確率の積とし
て得られる全確率は、全ての画像パターンを考慮するこ
とができる。
【００９５】
【数２】
【００９６】全確率p(D ｜θ)は全ての画像パターンの
変換された色値が画像パターンにそれぞれ割り当てられ
た記憶色を表す確率を全体的に表す。パラメータDは入
力データ、すなわち、画像パターン、画像パターンの色
値、および画像パターンに割り当てられた置換色を示
す。従って全確率p(D ｜θ)は変換パラメータθの条件
下における入力データDの条件付き事前確率を示す。
【００９７】Bayesの式によれば、条件付き事後確率は
次式により得られる。 p(θ｜D) ∝ p(D｜θ) ・p(θ) ・・・(6)
【００９８】事後確率p(θ｜D) は、入力データDの条件
下における変換パラメータθの確率を表す。つまり、変
換パラメータθが正しい変換処理を表す見込みを示す。
このため、p(θ｜D) は上述の「一致度」の尺度とな
る。この事後確率に基づいて、色補正を最適化すること
ができる。最適化は式（６）の最大値を求めることで実
行できる。記憶色モデルおよび事前モデルが多変量ガウ
ス曲線である場合、この確率は凸状であり、その最大値
は勾配降下法により効率的に求めることができる。勾配
降下法は非線形関数に用いる最適化方法（数値計算法）
であり、検索空間において逐次より低い（本例ではより
高い）点へと移動して最小値（本例では最大値）を求め
る方法である。
【００９９】画像データの色補正に関する上記事前情報
p(θ)とは、一般的情報、または画像に依存した情報で
あってもよい。「一般的」事前情報の例を以下に示す。
【０１００】撮像プロセスに使用する装置のスペクトル
または色の特徴、たとえば、ディジタルカメラのスペク
トルまたは色の特徴およびディジタル画像データを得る
ために走査する特定の種類のフィルムなどの情報であ
る。たとえば、ディジタルカメラは色感度に特徴的な系
統的偏りを有する場合がある。
【０１０１】撮像プロセスに使用する装置に必要な補正
の程度に関する情報である。たとえば、他のディジタル
カメラと比べて色補正の必要性が高いといったような情
報である。
【０１０２】上述の「一般的」事前情報のほかに、その
他の情報、たとえば、「画像に依存した」事前情報を用
いることも可能である。この「画像に依存した」事前情
報の例を以下に示す。
【０１０３】画像データの色補正を行う前に得られる、
画像データ処理に必要なアルゴリズムの特徴および／ま
たは欠点に関する情報である。たとえば、自動色補正ア
ルゴリズムまたは色の恒常性のアルゴリズムに基づいて
処理を行う場合には、これらのアルゴリズムの精度は既
知であり、事前情報に相当する。これらのアルゴリズム
の精度が既知である場合には、p(θ)を決定する、本発
明による色補正の程度の上限を推定することができる。
【０１０４】画像データから推定した付加的情報であ
る。たとえば、画像を類別し、ある特定の類に属する画
像の色の見えには、所定の系統的偏りがあるため、この
偏りを用いてp(θ)を決めることができる。たとえば、
夕焼けの画像、人物画像、などに類別してもよい。
【０１０５】色補正の事前情報は常に確率分布p(θ)と
して表され、また式（６）による推定に用いることがで
きる。
【０１０６】本発明の色補正方法は好ましくは、カラー
マネジメント方法、または、好ましくはカラーマネジメ
ント手段を備えた本発明の色補正装置と併用される。上
述の、変換の最適化処理は原則として、順方向モデルを
用いた最適化である。つまり、色変換Tは変更（変換）
色値が、理想的な記憶色のモデル、すなわち置換色に対
応する色分布の色値、に最適に一致するまで変更され
る。
【０１０７】基本的な作業の流れでは、この一致は標準
化された色空間（たとえば、L*a*b*色空間のa*b*平面）
において行われる。しかしICCプロファイルなどの既知
のカラーマネジメントプロファイルを有する所定の出力
手段（たとえば、ミニラボ）にその画像が後で送られる
という情報が既知である場合には、好ましくはこの情報
が最適化処理に用いられる。
【０１０８】ここで、カラープロファイルとは、出力手
段に入力される入力データの色値と出力手段（出力装
置）により出力される色値とを関連づけるものである。
たとえば、出力手段に入力された画像データが色値をRG
B値として表し、出力手段の出力信号により表されるこ
れらの色値がLab値である場合には、このカラープロフ
ァイルは入力RGB値と予想される出力Lab値との対応関係
に関する情報を有する。このLab値はたとえば、出力手
段であるプリンタの印刷出力を光学的に分析して測定さ
れるLab値に相当する。この最適化のステップにより出
力手段から出力される記憶色（印刷出力上の記憶色）の
再現が最適化される。
【０１０９】図６（ａ）は本発明による基本的な最適化
ループを示す図である。本発明の色補正においてデータ
r、g、bは入力されると、色補正変換Tにより補正され色
値r'、g'、b'値が得られる。これらの色値を色空間変換
し、L*a*b*色値が得られる。置換色または理想のa*b*値
に関する情報を表す記憶色モデル（色分布）から、図６
（ａ）に示すように、色空間変換後に得られたa*b*値が
理想のa*b*値と一致するかどうかが確認される。色補正
変換Tはこの一致が最適になるまで変更される。これは
たとえば、図７が示す最適化ループのように反復して行
われてもよい。
【０１１０】色補正変換Tおよび色空間変換は、色補正
変換Tおよび色空間変換の両者から成る変換T'により表
すことができる。そして、最適化ループにおいて（全体
的な）変換T'が最適化される。
【０１１１】図６（ｂ）も順方向モデル化による最適化
を表す。図６（ａ）の基本的な最適化処理に既知の出力
手段のカラーマネジメントを併用したものである。ここ
では全体的な変換T'は、色空間変換ではなく、カラーマ
ネジメント変換である。もちろん、別の実施例におい
て、全体的な変換T'はカラーマネジメント変換と、色空
間変換の両者から成ってもよい。さらに、色補正変換
と、カラーマネジメント変換または色空間変換との順序
を変えてもよい。たとえば、色空間変換またはカラーマ
ネジメント変換を、色補正変換の後に行ってもよい。
【０１１２】カラーマネジメント変換は、出力手段から
の予想出力値を得るために、r'g'b'色値にカラープロフ
ァイルを適用する操作に相当する。たとえば、出力手段
がプリンタである場合には、カラーマネジメント変換に
よりプリンタによりプリント上に出力されると予想され
るL*a*b*色値が得られる。そして図６（ａ）のように、
変換された色値と記憶色モデルから得られる色値（理想
的a*b*）との間の一致度が確認される。
【０１１３】カラーマネジメント変換に加えて、または
その代わりに、色の見え変換を図６（ａ）または（ｂ）
に示す最適化ループに組み込むことも可能である。この
場合には、全体的な変換T'は、色補正変換Tのみなら
ず、少なくとも色の見え変換からさらに成ることにな
る。色の見え変換は色の見えモデルを表す。図６（ｂ）
において色の見え変換がカラーマネジメント変換を置き
換える場合には、理論色（基本的最適化）または紙上の
色（基本的最適化とカラーマネジメントモデル）の代わ
りに、MCPCCにより知覚色が最適化される。
【０１１４】図６（ｂ）のカラーマネジメントエンジン
をMark Fairchildの著書「色の見えモデルとCIECAM97
s」に記載されているCIECAM97s（"Color Appearance Mo
delingand CIECAM97s", Tutorial Notes (CIC99), 199
9,Armin Kndig）などの色の見えモデルで置き換えるこ
とで色の見え変換を容易に組み込むことができる。色の
見えモデルを表す色の見え変換は、色補正によって出力
される色値を、人間が色を知覚する際の典型的条件に好
ましくは合わせる。
【０１１５】たとえば、色値を、典型的な照明の種類
（たとえば、ＡまたはＤ６５）や、写真アルバムの背景
色などの、画像を見る際の典型的な背景色に応じて調整
してもよい。また、印刷媒体の種類に応じて色値を調整
してもよい。たとえば、光沢の有無などの媒体の種類は
色の知覚に影響を与える場合がある。さらに、照明の強
度（明るさ）が人間の色覚を左右する場合もあり、たと
えば、画像を見るときの典型的照明強度に色補正を適応
させてもよい。
【０１１６】本発明による色補正は、人間がその画像パ
ターンに見えると予測する記憶色を通常有する画像パタ
ーンを少なくとも一つ検出することで実現される。
【０１１７】図７は、本発明の一つの側面に従って補正
を行う写真画像処理装置、または本発明に従って動作す
る色補正装置の構造を概略的に示す。受信手段１００は
画像データを受信し、選択手段２００へと送る。受信手
段１００は、たとえば、モデムまたはネットワークであ
ってもよい。選択手段２００はたとえば、少なくとも一
つの画像パターンを選択する処理部を備えていてもよ
く、画像パターンを割り当て手段３００へと送る。割り
当て手段３００はメモリまたは記憶手段などの供給手段
４００にアクセスする。供給手段４００は要求に応じて
対応する上記画像パターンの記憶色、または記憶色の色
分布を割り当て手段３００に供給する。
【０１１８】割り当て手段３００は、適切な記憶色また
は色分布を対応する上記画像パターンに割り当てる。上
記画像パターンと割り当てられた記憶色または記憶色分
布は割り当て手段３００から決定手段５００へと送られ
る。決定手段５００は、たとえば、上述の最適化ループ
を介して変換を決定する。決定された変換が変換手段５
００へと送られる。変換手段６００は受信手段１００か
ら画像データを受信し、画像データを上記変換に従って
変換して補正画像データを得る。補正画像データは本発
明の写真画像処理装置または色補正装置から出力され
る。
【０１１９】本発明に３次元対象物検出用の統計的手法
を用いることも可能である。ヒストグラムの積を用いた
画像パターンの外観、および「非画像パターン」の外観
に関する統計量を使用してもよい。各ヒストグラムは、
ウェーブレット係数の部分集合と画像パターンにおける
それらの位置との同時統計量を表す。この方法は多種の
視覚属性を表すヒストグラムを多数用いるものであり、
面外回転により人間の顔を確実に検出することができ
る。
【０１２０】この手法の主な課題は視覚的外観の変動で
ある。たとえば、人によって顔の形状、大きさ、色相、
およびその他の特徴は異なる。視覚的外観は周りの環境
によっても変化する。光源の、強度、色、および画像パ
ターンに対する位置も異なる。近接する画像パターンが
対象画像パターンに影を落としたり、余分な光を反射し
たりする場合もある。画像パターンの外観は、その配
置、つまりカメラに対する位置と方向にもよる。たとえ
ば、人間の横顔は正面から見たときとは大きく異なる。
従って、これら全ての変動に十分適応し、かつ対象とな
る画像パターンを視覚世界に存在し得るいずれの画像パ
ターンからも区別することができる画像パターン検出方
法が必要となる。
【０１２１】このような画像パターン検出方法では、２
段階の画像パターン検出を行う。配置の変動に対応する
ために、それぞれが画像パターンの特定の方向に対応す
る複数の検出器を用いた、方向ベースの方法を用いる。
その他の変動には、これらの検出器のそれぞれにおいて
統計的モデル化を行うことで対応する。
【０１２２】たとえば、一方の検出器は右または左の横
顔専用で、もう一方は正面の顔専用であってもよい。こ
れらの方向ベースの複数の検出器は並行して用いられ、
それらの結果が統合される。人間の顔にはたとえば、正
面用と右横顔用などの、方向ベースの検出器が二つ用い
られる。左横顔を検出するためには、右横顔検出器を、
鏡像化した入力画像に使用すればよい。各検出器は所定
の方向の画像パターンのみを検出するように構成されて
いてもよいが、さらに、四角形の画像ウィンドウ範囲内
の所定の大きさを有する画像パターンを検出するように
してもよい。
【０１２３】従って、画像パターンまたは顔が画像のど
こに位置していても検出することができるように、四角
形のウィンドウが取り得る全ての位置で検出器を繰り返
し適用する。そして、画像パターンの大きさに関わらず
検出ができるように入力画像の大きさを反復して変更
し、大きさを変更した画像に検出器を繰り返し適用す
る。
【０１２４】各検出器に用いる統計的決定則の基本的な
形は同一である。これらの検出器は、互いに異なる画像
群から収集した統計量を使用している点のみにおいて相
違する。
【０１２５】方向ベースの検出器に対してそれぞれ二つ
の統計分布モデルを作成することができる。これらは、
所定の画像パターンの統計量P(image ｜ object)のモデ
ル、および、「非画像パターン」類と呼ばれる、画像パ
ターン以外の視覚世界の統計量P(image ｜ non-object)
のモデルである。そして、尤度比検定により検出結果が
出る。
【０１２６】
【数３】
【０１２７】尤度比（左辺）が右辺よりも大きい場合に
は、画像パターンが存在すると判断する。
【０１２８】この尤度比検定はBayesの決定則（MAP決定
則）と同等であり、P(image ｜ object)およびP(image
｜ non-object)の表現が正確であれば最適となる。以下
にはこれらのモデルに用いる関数の形について詳細に説
明する。
【０１２９】各式において、画像パターンと、非画像パ
ターンをそれぞれ対象物（object）または非対象物（no
n-object）という用語で表す。
【０１３０】P(image ｜ object)およびP(image ｜ non
-object)のモデル作成は、画像パターン、またはそれ以
外の世界の見えに関する統計的特徴が未知であるため難
しい。たとえば、実際の分布が、ガウス（Gaussian）分
布なのか、ポアソン（Poisson)分布なのか、それとも多
モード分布なのかは未知である。これらの特徴が未知な
のは、多数のピクセルについて同時分布を解析すること
が困難であるからである。
【０１３１】ここで、あらゆる構造に適応する柔軟なモ
デルを選択することが重要である。ヒストグラムは、メ
モリベースの方法とほぼ同等に順応性があるが、表検索
により確率を求める、よりコンパクトな表現を用いるも
のである。ヒストグラムの推定には単純に訓練データ中
に各属性値が出現する頻度を計測すればよい。得られた
推定は、統計的に最適であり、偏りがなく、無矛盾であ
り、またCramer-Raoの下界を満足させる。
【０１３２】ヒストグラムの主な欠点は、画像の外観を
表すために使用できる計測値が比較的少ないことにあ
る。この限界を解決するために、多数のヒストグラムを
用いる。ここで各ヒストグラムPk(image｜ object)
は、ある所定の視覚属性patternkに属する外観の確率を
表す。なお、patternkは低周波数成分などのある選択さ
れた視覚的特徴を表す確率変数である。外観を複数の視
覚属性に分割する必要があるが、その場合には、異なる
複数の属性の確率を統合する必要がある。
【０１３３】異なる複数の属性の確率を統合するために
は、以下の積を求める必要がある。ここでは類条件付き
確率関数をそれぞれをヒストグラムの積として近似す
る。
【０１３４】
【数４】
【０１３５】
【数５】
【０１３６】P(image ｜ object)およびP(image ｜ non
-object)の表現を構成する際には、画像パターンまたは
対象物、および非画像パターンまたは非対象物のいずれ
についても、属性（patternk）が統計的に独立している
と絶対的に仮定する。
【０１３７】視覚的外観を異なる属性に分解するために
は、画像のどの測定値で統合モデルを作成し、またどの
測定値で独立モデルを作成するかを決定する必要があ
る。二つの変数の統合関係により対象物または画像パタ
ーンをそれ以外の世界から識別できるようであれば、統
合モデルを作成するのが好ましい。効果が不明な場合に
は、モデルを全く作成しないよりは、それらの変数を独
立させてモデルを作成するのが恐らくよい。
【０１３８】顔およびその他の画像パターンについては
空間、周波数および方向に局在する視覚的情報の統合モ
デルを作成する必要がある。従って、これらの次元へと
視覚的外観を分解する必要がある。対象物またはパター
ン領域の外観の各視覚属性が、空間的に局所化した対象
物上の領域を表すように外観を分解する必要がある。こ
れにより、各ヒストグラムの限られたモデル化能力が、
より少量の視覚的情報に集中する。
【０１３９】顔および車を検出する重要な手がかりには
多種の大きさがあるため、スケールの異なる複数の属性
が必要となる。このような属性は空間および周波数の両
者に同時に分解をすることで規定される。低周波数は広
い領域を占有し、高周波数は狭い領域を占有するため、
広い空間範囲の属性は低周波数を表すように定義され、
狭い空間範囲の属性は高周波数を表すように定義され
る。
【０１４０】狭い空間範囲を対象とする属性は高解像で
あり、目、鼻、および口などの顔の狭い特有の領域を捕
えることができる。低い解像度でより広い領域として定
義される属性はその他の重要な手がかりを捕えることが
できる。たとえば、顔でいえば、眼窩よりも明るい額等
などの手がかりである。
【０１４１】さらに、方向別に分解される属性もある。
たとえば、水平な特徴に特殊化された属性を用いれば、
垂直な特徴についても表す場合と比べて、水平な特徴に
対する表現能力がより大きくなる。
【０１４２】さて、対象物または画像パターンを空間的
に分解するからといって、分解部分同士の関係を全て無
視するわけではない。分解部分同士の空間的関係は検出
の重要な手がかりとなる。たとえば、人間の顔では、
目、鼻、および口などの属性サンプルは決まった幾何学
的配置を有する。これらの幾何学的特徴をモデル化する
ためには、対象物に固定された座標フレームに対する各
属性サンプルの位置を表現する必要がある。
【０１４３】この表現により各サンプルの、その他全て
のサンプルに対する位置を知ることができる。この表現
では、各モデルのヒストグラムが属性と属性位置の同時
分布Pk(patternk(x,y), x,y｜ object) およびPk(patte
rnk(x,y), x,y｜ non-object) となる。属性位置x、 y
は四角い画像ウィンドウごとに測定する。ただし、モデ
ル化のコストを下げ、また分解部分の幾何学的配置の小
さな変動に絶対的に対応できるように、属性位置は画像
の初期解像度ではなく、より粗い解像度で表現すること
も可能である。
【０１４４】空間、周波数および方向に局所化した視覚
属性を作成するためには、これらの次元に局所化した情
報を、容易に選択できるようにする必要がある。そのた
め、画像を空間、周波数、および方向に同時に局所化さ
れた表現に変換するのが好ましい。従って、画像のウェ
ーブレット変換を行うのが好ましい。
【０１４５】空間、周波数および方向への分解に使用可
能なのはウェーブレット変換だけではない。短期フーリ
エ変換やピラミッドアルゴリズムでもこのような表現を
作成することができる。ただし、これらの変換に比べ
て、ウェーブレット変換では、変換係数の数が画像の初
期ピクセル数に一致するため、変換によって画像を完全
に再構成することができるため、冗長性がない。
【０１４６】ウェーブレット変換は画像を方向および周
波数において局在化するサブバンドに編成する。各サブ
バンドの範囲内では、係数がそれぞれ空間的に局在化し
ている。ウェーブレット変換ではG. StrangおよびT. Ng
uyen著書の「ウェーブレットとフィルタバンク」（Wave
let and Filter Banks, Wellesley-Cambridge Press,19
97)に記載されるように、５／３線形位相フィルタバン
クを使用した３階層分解により１０個のサブバンドを図
８に示すように作成する。
【０１４７】変換において一つ高い階層は１オクターブ
高い周波数を表す。階層１の係数は、階層２の係数の領
域の４倍を表し、階層２の係数は階層３の係数の領域の
４倍を表す。LHは、水平方向の低域フィルタ処理と垂直
方向の高域フィルタ処理、すなわち水平の特徴を示す。
同様に、HLは垂直の特徴を示す。
【０１４８】視覚属性は、この表現に基づいて特定され
る。各属性は変換係数の移動ウィンドウをサンプリング
するように定義される。たとえば、ある属性を階層３の
LHバンドの係数の３ｘ３ウィンドウを表すように定義し
てもよい。この属性は原画像の小さな範囲を占める高周
波数の水平パターンを表す。別のパターン群が２番目の
階層のLHおよびHLバンド内の空間的に登録された２ｘ２
ブロックを表してもよい。これは、画像のより大きい空
間範囲を占める中間周波バンドを表す。
【０１４９】各属性は有限数の値のみを受け入れること
かできるため、サンプリングしたウェーブレット係数の
ベクトル量子化の計算を行う必要がある。ヒストグラム
のビンの数をたとえば、１００万個未満にするために
は、x、y（位置）に対して併せて約１００個の計数値が
得られるため、各属性を、１万個以下の計数値を用いて
表す必要がある。そのためには、各視覚属性は１度に８
個のウェーブレット係数をサンプリングするように定義
され、また各係数を３階層へと量子化する。この量子化
により38 = 6,561個の計数値が各視覚属性について得ら
れる。
【０１５０】全体的には、以下のいずれか一つの方法に
よりウェーブレット変換を８個の係数から成る複数のグ
ループへとサンプリングする１７個の属性をたとえば、
使用する。
【０１５１】Ａ：サブバンド内 全ての係数が同一のサブバンドに属する。周波数および
方向において最も局在化している視覚属性がこれらであ
る。このような属性が７個（つまり階層1LL、階層1LH、
階層1HL、階層2LH、階層2HL、階層3LH、階層3HL）のサ
ブバンドによって定義される。
【０１５２】Ｂ：周波数間 同一の方向に属するが、複数の周波数バンドに属する係
数である。これらの属性はエッジなどの、複数の周波数
を張る視覚的手がかりを表す。このような属性が６つ、
サブバンド対（すなわち、階層1LL−階層 1HL、階層1LL
-階層1LH、階層1LH−階層2LH、階層1HL−階層2HL、階層
2LH−階層3LH、階層2HL−階層3HL）を用いて定義され
る。
【０１５３】Ｃ：方向間 同一の周波数バンドに属するが、複数の方向バンドに属
する。これらの属性は、たとえば、隅などの、水平成分
と垂直成分とを有する手がかりを表す。このような属性
がサブバンド対（すなわち、階層1LH−階層1HL、階層2L
H−階層2HL、階層3LH−階層3HL）を用いて３個決定され
る。
【０１５４】Ｄ：周波数間／方向間 この組み合わせは複数の周波数および方向を張る手がか
りを表す。複数の係数を統合するこのような属性は、階
層1LL、階層1LH、階層1HL、階層2LH、および階層2HLの
サブバンドによって定義される。
【０１５５】空間−周波数分解では、階層１の係数を用
いる属性は、狭い低周波数範囲に対応する広い空間範囲
を表す。階層２の係数を用いる属性は中間の周波数範囲
に対応する中型の空間範囲を表し、解層３の係数を用い
る属性は広い高周波数範囲に対応する狭い空間範囲を表
す。
【０１５６】そして、対象物の全範囲にわたって、サン
プル同士が部分的に重なり合うように各属性が一定間隔
でサンプリングされる。これは検出の決定に最大限の情
報を用いることができるように行う。たとえば、目や鼻
などの顕著な特徴は顔検出には非常に重要であるが、頬
や顎などのその他の領域も前者ほどではないにせよ、役
には立つ。
【０１５７】従って、検出器の最終的な形は次式によっ
て定義される。
【０１５８】
【数６】
【０１５９】式（１０）で、「region」は類別される画
像ウィンドウを示す。
【０１６０】つぎに、Pk(patternk(x,y),x,y ｜ objec
t)およびPk(patternk(x,y),x,y ｜ non-object) の実際
のヒストグラムを展開させる必要がある。統計量を収集
する際にまず問題となるのは「非対象物」（non-objec
t）または非画像パターンの類の学習例の選択である。
概念的にこの類は、対象物以外の、実在する全てのもの
の視覚的外観を表す。類別を正確に行うためには、対象
物と間違われる可能性が最も高そうな非対象物サンプル
を使用することが重要である。
【０１６１】この概念は、V.N. Vapnik著書の「統計的
学習理論」（The Nature of Statistical Theory, Spri
nger, 1995）に記載されるように、判断境界付近のサン
プルを選択するサポートベクトルマシンに似ている。こ
のようにして選択したサンプルにブートストラッピング
という方法を適用することができる。ブートストラッピ
ングでは、非対象物画像群からランダムに選択した複数
のサンプルを使用してPk(patternk(x,y),x,y ｜ non-ob
ject) を推定することで予備検出器を学習させることが
できる。そして、この予備検出器を用いて、対象物を含
まない約２０００個の画像群を測定して、応答が高かっ
た領域をサンプルとしてさらに選択する。
【０１６２】統計量Pk(patternk(x,y),x,y ｜ object)
を対象物の画像から収集する。顔を見る視点のそれぞれ
について２０００個の原画像を用いる。さらに各原画像
に対して、背景景色の変更と、アスペクト比、方向、周
波数、および位置に小さな変更を加えて４００個程度の
変形画像を合成する。
【０１６３】これらの学習例に使用する統計量は複数の
手法により収集することができる。本実施例の顔検出器
では、Y. FreundおよびR. E. Shapireの論文「オンライ
ン学習の決定理論一般化およびブースティングへの適
用」（"A Decision-TheoreticGeneralization of On-Li
ne Learning and an Application to Boosting", Journ
al of Computer and System Sciences, 55:1, p. 119〜
139, 1997）と、R.E. Shapireおよび Y. Singerの論文
「信頼格付けされた予測を用いたブースティングアルゴ
リズムの改良」（"Improving Boosting Algorithms Usi
ng Confidence-rated Predictions", Machine Learning
37:3, p. 297, 336, December, 1999）に記載されるAd
aBoostアルゴリズムを用いて学習群の類別誤差を最小に
する。
【０１６４】AdaBoostアルゴリズムは反復処理を伴う。
まず検出器は全ての学習例に同じ重みを割り当てて学習
する。つぎに検出器は反復により学習しなおす。各反復
において、前回学習した際に誤って類別した学習例に対
して重みが付けられる。このプロセスにより、類別誤差
が減少していく。
【０１６５】この手法は、粗段階から精段階への発見的
解決法である。最初に可能性のある対象物の位置のそれ
ぞれの尤度比が低解像の視覚属性、すなわち階層１の係
数を用いる属性、を用いて部分的に計算される。続い
て、有望な、つまり、上記の部分的な評価の最低閾値を
超える画像パターン候補について、より高解像な評価が
行われる。
【０１６６】色値の補正を行うための変換は、好ましく
は少なくとも一つの画像特性に依存して、色値に可変的
に適用される。補正は、好ましくは局所的に重み付けら
れている。重み付けにはマスクを用いることができる。
マスクの要素は画像の局所部分、たとえば、１ピクセル
または複数の隣接ピクセルに対応し、それら要素は局所
部分の画像特性（たとえば、明度）を好ましくは表現す
る。重み付けは少なくとも一つの画像特性に対して行わ
れる。この画像特性は好ましくは輝度（明度）である。
代わりに、またはさらに、画像特性は（局所）コントラ
スト、色相、色飽和度、カラーコントラスト、鮮鋭度な
どであってもよい。発明者は特に輝度に依存する重み付
けにより明るい領域に生じるカラーキャストを防ぐこと
を見出した。
【０１６７】重み付けは好ましくは、低または高輝度の
領域よりも中間または平均の輝度の領域において補正が
行われる（補正の程度がより高くなる）ように実行され
る。上述の重み係数が0〜1の間の値を取る場合、重み係
数は低輝度においてはゼロまたはゼロに近い。重み係数
は中間の輝度に近づくにつれて大きくなり、中間から高
輝度にかけては低下するのが好ましい。最高または最高
可能輝度において補正率は好ましくは約ゼロまたはゼロ
である。輝度に基づいて重み係数を計算するために使用
する関数としては、中間輝度の周辺に最大値を有する逆
放物関数であってもよい。
【図面の簡単な説明】
【図１】本発明による顔検出の精検出段階を説明するフ
ローチャートである。
【図２】ディジタル画像から識別される顔のピクトグラ
ムの一例を示す図である。
【図３】ディジタル画像から識別される顔のピクトグラ
ムの別の一例を示す図である。
【図４】「中間色」（実線）、「青空」（破線）、「人
肌」（点線）および「葉群」（一点破線）の記憶色モデ
ルを示す図である。
【図５】一般的なディジタルカメラ（上部）と、特定の
機種（Kodak DC 210 zoomディジタルカメラ、下部）の
事前情報分布p（log(rf), log(gf)）を示す図である。
【図６】（ａ）は、本発明の基本的実施例による、順方
向モデル化を介した最適化を説明する図である。（ｂ）
は、上記基本的実施例に既知の出力手段用のカラーマネ
ジメントを適用した、順方向モデル化を介した最適化を
説明する図である。
【図７】本発明の別の実施例による色補正装置に相当す
る写真画像処理装置の構造を概略的に示す図である。
【図８】３階層・１０サブバンド分割のウェーブレット
変換による画像表現を示す図である。
【符号の説明】
１００ 受信手段 ２００ 選択手段 ３００ 割り当て手段 ４００ 供給手段 ５００ 決定手段 ６００ 変換手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ミカエル シュレーダー スイス国，8038 チューリッヒ，レンゲル ストラーセ 17 Ｆターム(参考） 5B057 BA11 CC03 CE17 DA07 DA08 DB06 DB09 DC23 DC25 5C077 MP08 PP32 PP36 PP37 PP46 PP55 PP58 PQ18 PQ19 5C079 HB01 HB08 LA02 LB01 NA06 5L096 AA02 CA02 FA64 FA69 JA11

Claims (18)

    【特許請求の範囲】
  1. 【請求項１】 予想可能な周知の色（記憶色）を有する
    少なくとも一つのパターン領域または画像パターンを含
    む、ディジタル表現に変換された写真画像、の色を補正
    する方法において、 （ａ）前記少なくとも一つのパターン領域または画像パ
    ターンの存在と位置、および好ましくは寸法を検出する
    ステップと、 （ｂ）検出された前記少なくとも一つのパターン領域ま
    たは画像パターンに存在する既存色を測定するステップ
    と、 （ｃ）前記少なくとも一つのパターン領域または画像パ
    ターンに関連する、少なくとも一つの置換色の値（記憶
    色）を供給するステップと、 （ｄ）測定した前記既存色を前記少なくとも一つの置換
    色の値により置換して、前記画像パターンまたは画像領
    域の色を補正するステップと、 を含むことを特徴とする方法。
  2. 【請求項２】 前記少なくとも一つの置換色の値（記憶
    色）および前記既存色との間の偏差を測定し、前記偏差
    に基づいて、検出されたパターン領域または画像パター
    ンの既存色の値を修正することを特徴とする請求項１に
    記載の方法。
  3. 【請求項３】 画像に存在する全ての既存色を前記偏差
    に基づいて修正することを特徴とする請求項２に記載の
    方法。
  4. 【請求項４】 検出された前記少なくとも一つのパター
    ン領域または画像パターンの色値の平均値を測定して、
    前記平均値を前記既存色として使用することを特徴とす
    る請求項１に記載の方法。
  5. 【請求項５】 少なくとも一つの、前記パターン領域ま
    たは画像パターンに関連する色値（記憶色）の分布に基
    づいて、前記置換色の値（記憶色）を決定し、測定した
    前記既存色に割り当てることを特徴とする請求項１に記
    載の方法。
  6. 【請求項６】 既存の色値を、対応する前記置換色の値
    に基づいて変換するための変換処理を決定することを特
    徴とする請求項１に記載の方法。
  7. 【請求項７】 置換後の色の値を既存色の値として使用
    して、繰り返し前記パターン領域の既存色を補正するこ
    とを特徴とする請求項１に記載の方法。
  8. 【請求項８】 記録対象物の基本パターンを予め登録
    し、前記写真画像から前記基本パターンを検出すること
    により、前記パターン領域または画像パターンの位置を
    検出することを特徴とする請求項１に記載の方法。
  9. 【請求項９】 前記パターン領域または画像パターンが
    人間の顔であり、前記基本パターンがピクトグラムなど
    の形態で表された人間の顔であることを特徴とする請求
    項８に記載の方法。
  10. 【請求項１０】 記憶色に相当する、予想可能な周知の
    色および／または予想可能な周知の色の分布、を有する
    前記パターン領域から得られた色分布を用いることを特
    徴とする請求項５に記載の方法。
  11. 【請求項１１】 複数の分布の中から、前記既存色に対
    応する置換色の値（記憶色）に一致すると判断される分
    布を一つ選択することを特徴とする請求項５に記載の方
    法。
  12. 【請求項１２】 色補正に用いる追加のデータとして照
    明条件、距離条件等の記録に関する付加的情報を用いる
    ことを特徴とする請求項５に記載の方法。
  13. 【請求項１３】 （ａ）所定の色空間における色値（記
    憶色）の分布群を少なくとも一つ供給するステップと、 （ｂ）前記分布群の中から一つの分布を前記少なくとも
    一つの画像パターンにそれぞれ割り当てるステップと、 （ｃ）前記少なくとも一つの画像パターンの色値が、割
    り当てられた前記分布に一致するように変換を行うため
    の変換処理を決定するステップと、 を、さらに含むことを特徴とする請求項６に記載の方
    法。
  14. 【請求項１４】 最後に色補正を行ったディジタル写真
    画像に対して前記方法が反復して行われることを特徴と
    する請求項６に記載の方法。
  15. 【請求項１５】 前記既存色に対応する置換色の値を最
    適化処理に従って決定し、前記最適化処理は、各パター
    ン領域における、変換された色値と割り当てられた分布
    の色値との一致度を算出し、また、各パターン領域につ
    いて算出した前記一致度の全てを数学的に統合する関数
    を最適化するように変換処理を決定することを特徴とす
    る請求項６に記載の方法。
  16. 【請求項１６】 前記分布は、変換された色値が前記置
    換色を表す確率を定義し、前記一致度が前記確率に基づ
    いて算出されることを特徴とする請求項１５に記載の方
    法。
  17. 【請求項１７】 補正した画像データを見る人間による
    前記画像データの色値の見えをモデル化する色の見え変
    換、を含むように前記変換処理を決定することを特徴と
    する請求項６に記載の方法。
  18. 【請求項１８】 画像データを処理するための画像処理
    装置において、 （ａ）画像データ入力部と、 （ｂ）画像データ処理部と、 （ｃ）画像データを記録するための画像データ記録部
    と、 を備え、 前記画像データ処理部が請求項１に記載の方法を実行す
    ることを特徴とする装置。
JP2002034678A 2001-02-09 2002-02-12 色補正方法および色補正装置 Pending JP2002279416A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01103070A EP1231565A1 (en) 2001-02-09 2001-02-09 Image colour correction based on image pattern recognition, the image pattern including a reference colour
EP01103070.7 2001-02-09

Publications (1)

Publication Number Publication Date
JP2002279416A true JP2002279416A (ja) 2002-09-27

Family

ID=8176443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002034678A Pending JP2002279416A (ja) 2001-02-09 2002-02-12 色補正方法および色補正装置

Country Status (4)

Country Link
US (1) US20020150291A1 (ja)
EP (1) EP1231565A1 (ja)
JP (1) JP2002279416A (ja)
CA (1) CA2368322A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005027277A (ja) * 2003-04-21 2005-01-27 Hewlett-Packard Development Co Lp 画像のホワイトバランス調整方法
JP2005115525A (ja) * 2003-10-06 2005-04-28 Fuji Photo Film Co Ltd 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置
JP2005295490A (ja) * 2004-03-08 2005-10-20 Seiko Epson Corp 主要被写体に応じた画質の向上
JP2006201975A (ja) * 2005-01-19 2006-08-03 Nippon Hoso Kyokai <Nhk> 色識別装置及び色識別プログラム
JP2006238416A (ja) * 2005-01-28 2006-09-07 Fuji Photo Film Co Ltd 画像補正装置および方法，ならびに画像補正プログラム
JP2006344199A (ja) * 2005-05-13 2006-12-21 Sony Computer Entertainment Inc 画像表示装置、画像表示装置の制御方法及びプログラム
JP2007080014A (ja) * 2005-09-15 2007-03-29 Fujifilm Corp 画像評価装置および方法並びにプログラム
US7580169B2 (en) 2004-07-15 2009-08-25 Canon Kabushiki Kaisha Image processing apparatus and its method
JP2010003117A (ja) * 2008-06-20 2010-01-07 Toyota Central R&D Labs Inc 対象物判定装置及びプログラム
JP2010003116A (ja) * 2008-06-20 2010-01-07 Toyota Central R&D Labs Inc 対象物判定装置及びプログラム
US7668365B2 (en) 2004-03-08 2010-02-23 Seiko Epson Corporation Determination of main object on image and improvement of image quality according to main object
JP2010233236A (ja) * 2004-03-08 2010-10-14 Seiko Epson Corp 主要被写体に応じた画質の向上
US7936919B2 (en) 2005-01-18 2011-05-03 Fujifilm Corporation Correction of color balance of face images depending upon whether image is color or monochrome

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6894262B2 (en) * 2002-01-15 2005-05-17 Hewlett-Packard Development Company L.P. Cluster-weighted modeling for media classification
US20040056965A1 (en) * 2002-09-20 2004-03-25 Bevans Michael L. Method for color correction of digital images
US20040151376A1 (en) * 2003-02-05 2004-08-05 Konica Minolta Holdings, Inc. Image processing method, image processing apparatus and image processing program
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7471846B2 (en) * 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
CN100378795C (zh) * 2003-07-18 2008-04-02 明基电通股份有限公司 具有影像保持功能的显示装置及其影像保持方法
US7333240B2 (en) * 2003-10-01 2008-02-19 Hewlett-Packard Development Company, L.P. Color image processor
WO2005071614A1 (ja) * 2004-01-27 2005-08-04 Seiko Epson Corporation 人物顔の検出位置ずれ補正方法及び補正システム並びに補正プログラム
US7724949B2 (en) 2004-06-10 2010-05-25 Qualcomm Incorporated Advanced chroma enhancement
US20060077487A1 (en) * 2004-08-12 2006-04-13 Tribeca Imaging Laboratories Digital color fidelity
CN101061704B (zh) * 2004-12-02 2010-09-01 松下电器产业株式会社 色彩调整装置及方法
JP4628882B2 (ja) * 2005-06-16 2011-02-09 富士フイルム株式会社 判別器の学習方法、顔判別方法および装置並びにプログラム
US7715620B2 (en) * 2006-01-27 2010-05-11 Lockheed Martin Corporation Color form dropout using dynamic geometric solid thresholding
DE602007012246D1 (de) 2006-06-12 2011-03-10 Tessera Tech Ireland Ltd Fortschritte bei der erweiterung der aam-techniken aus grauskalen- zu farbbildern
US20080107341A1 (en) * 2006-11-02 2008-05-08 Juwei Lu Method And Apparatus For Detecting Faces In Digital Images
US8055067B2 (en) * 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
WO2008129540A2 (en) * 2007-04-19 2008-10-30 Eyecue Vision Technologies Ltd. Device and method for identification of objects using color coding
US8031961B2 (en) 2007-05-29 2011-10-04 Hewlett-Packard Development Company, L.P. Face and skin sensitive image enhancement
US9639740B2 (en) * 2007-12-31 2017-05-02 Applied Recognition Inc. Face detection and recognition
US7855737B2 (en) 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
US9396539B2 (en) * 2010-04-02 2016-07-19 Nokia Technologies Oy Methods and apparatuses for face detection
CN102184405B (zh) * 2011-04-19 2012-12-26 清华大学 图像采集分析方法
US9002109B2 (en) 2012-10-09 2015-04-07 Google Inc. Color correction based on multiple images
JP5867737B2 (ja) * 2013-01-17 2016-02-24 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US9251567B1 (en) * 2014-03-13 2016-02-02 Google Inc. Providing color corrections to photos
US10558849B2 (en) * 2017-12-11 2020-02-11 Adobe Inc. Depicted skin selection
US10950007B2 (en) 2018-02-08 2021-03-16 Hasbro, Inc. Color-based toy identification system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5130935A (en) * 1986-03-31 1992-07-14 Canon Kabushiki Kaisha Color image processing apparatus for extracting image data having predetermined color information from among inputted image data and for correcting inputted image data in response to the extracted image data
US5296945A (en) * 1991-03-13 1994-03-22 Olympus Optical Co., Ltd. Video ID photo printing apparatus and complexion converting apparatus
US5544258A (en) * 1991-03-14 1996-08-06 Levien; Raphael L. Automatic tone correction of images using non-linear histogram processing
JPH0678320A (ja) * 1992-08-25 1994-03-18 Matsushita Electric Ind Co Ltd 色調整装置
DE19754909C2 (de) * 1997-12-10 2001-06-28 Max Planck Gesellschaft Verfahren und Vorrichtung zur Erfassung und Bearbeitung von Abbildungen biologischen Gewebes
DE69721790D1 (de) * 1997-12-30 2003-06-12 St Microelectronics Srl Gerät zur Farbkorrektur von digitaler Bilder mit Fuzzy-Logik
JP2923894B1 (ja) * 1998-03-31 1999-07-26 日本電気株式会社 光源判定方法、肌色補正方法、カラー画像補正方法、光源判定装置、肌色補正装置、カラー画像補正装置及びコンピュータ読み取り可能な記録媒体
US6396599B1 (en) * 1998-12-21 2002-05-28 Eastman Kodak Company Method and apparatus for modifying a portion of an image in accordance with colorimetric parameters
WO2001026050A2 (en) * 1999-10-04 2001-04-12 A.F.A. Products Group, Inc. Improved image segmentation processing by user-guided image processing techniques

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005027277A (ja) * 2003-04-21 2005-01-27 Hewlett-Packard Development Co Lp 画像のホワイトバランス調整方法
JP2005115525A (ja) * 2003-10-06 2005-04-28 Fuji Photo Film Co Ltd 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置
JP2010233236A (ja) * 2004-03-08 2010-10-14 Seiko Epson Corp 主要被写体に応じた画質の向上
JP2005295490A (ja) * 2004-03-08 2005-10-20 Seiko Epson Corp 主要被写体に応じた画質の向上
US8355574B2 (en) 2004-03-08 2013-01-15 Seiko Epson Corporation Determination of main object on image and improvement of image quality according to main object
JP4608961B2 (ja) * 2004-03-08 2011-01-12 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理プログラム
US7668365B2 (en) 2004-03-08 2010-02-23 Seiko Epson Corporation Determination of main object on image and improvement of image quality according to main object
US7580169B2 (en) 2004-07-15 2009-08-25 Canon Kabushiki Kaisha Image processing apparatus and its method
US8135215B2 (en) 2005-01-18 2012-03-13 Fujifilm Corporation Correction of color balance of face images
US7936919B2 (en) 2005-01-18 2011-05-03 Fujifilm Corporation Correction of color balance of face images depending upon whether image is color or monochrome
JP2006201975A (ja) * 2005-01-19 2006-08-03 Nippon Hoso Kyokai <Nhk> 色識別装置及び色識別プログラム
JP4495606B2 (ja) * 2005-01-19 2010-07-07 日本放送協会 色識別装置及び色識別プログラム
JP2006238416A (ja) * 2005-01-28 2006-09-07 Fuji Photo Film Co Ltd 画像補正装置および方法，ならびに画像補正プログラム
JP4578398B2 (ja) * 2005-01-28 2010-11-10 富士フイルム株式会社 画像補正装置および方法，ならびに画像補正プログラム
JP2006344199A (ja) * 2005-05-13 2006-12-21 Sony Computer Entertainment Inc 画像表示装置、画像表示装置の制御方法及びプログラム
JP2007080014A (ja) * 2005-09-15 2007-03-29 Fujifilm Corp 画像評価装置および方法並びにプログラム
JP2010003116A (ja) * 2008-06-20 2010-01-07 Toyota Central R&D Labs Inc 対象物判定装置及びプログラム
JP2010003117A (ja) * 2008-06-20 2010-01-07 Toyota Central R&D Labs Inc 対象物判定装置及びプログラム
US8705850B2 (en) 2008-06-20 2014-04-22 Aisin Seiki Kabushiki Kaisha Object determining device and program thereof

Also Published As

Publication number Publication date
CA2368322A1 (en) 2002-08-09
EP1231565A1 (en) 2002-08-14
US20020150291A1 (en) 2002-10-17

Similar Documents

Publication Publication Date Title
JP2002279416A (ja) 色補正方法および色補正装置
US10666873B2 (en) Exposure-related intensity transformation
JP4856086B2 (ja) 取得したデジタル画像での赤目検出方法及び装置
US7953251B1 (en) Method and apparatus for detection and correction of flash-induced eye defects within digital images using preview or other reference images
EP1918872B1 (en) Image segmentation method and system
US8861845B2 (en) Detecting and correcting redeye in an image
KR101194481B1 (ko) 디지털 카메라의 노출 조정 방법, 디지털 이미지의 노출 및톤 스케일 조정 방법 및 필터링 방법
JP4903854B2 (ja) デジタル画像におけるオブジェクト検出方法
US8170350B2 (en) Foreground/background segmentation in digital images
US8548257B2 (en) Distinguishing between faces and non-faces
JP4153108B2 (ja) 画像処理方法、画像処理装置及び記録媒体
EP1223550A2 (en) Method for detecting skin color in a digital image
US8446494B2 (en) Automatic redeye detection based on redeye and facial metric values
JP2002305667A (ja) 色調不良を自動的に補正する方法および装置
US7907786B2 (en) Red-eye detection and correction
EP1347417A2 (en) Face detection computer program product for redeye correction
JP2004357277A (ja) デジタル画像処理方法
US20070121094A1 (en) Detecting objects of interest in digital images
JP2001309225A (ja) 顔を検出するためのカメラ及び方法
JP2004348733A (ja) デジタル画像における赤目領域の検出方法及び装置
JP2007504719A (ja) 組み込みアプリケーションに適した、画像における赤目の検出と補正を行うシステム及び方法
JP4789526B2 (ja) 画像処理装置、画像処理方法
JP2007025901A (ja) 画像処理装置、画像処理方法
JP2006511900A (ja) 分離色の解像度差の低減