JP3991196B2 - 画像処理システム及び画像処理サーバ - Google Patents
画像処理システム及び画像処理サーバ Download PDFInfo
- Publication number
- JP3991196B2 JP3991196B2 JP2001384786A JP2001384786A JP3991196B2 JP 3991196 B2 JP3991196 B2 JP 3991196B2 JP 2001384786 A JP2001384786 A JP 2001384786A JP 2001384786 A JP2001384786 A JP 2001384786A JP 3991196 B2 JP3991196 B2 JP 3991196B2
- Authority
- JP
- Japan
- Prior art keywords
- correction
- image
- processing
- user
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像に対して補正処理を行う画像処理システム、および、そのような画像に対する補正処理の依頼をインターネットに接続された情報処理端末から受け付ける画像処理装置サーバに関するものである。
【０００２】
【従来の技術】
従来のフイルムカメラからプリントを得るシステムでは、フィルムへの露光条件がカメラの測光システムにより決定されるのが一般的である。露光条件は被写体がごく平均的な条件であることを前提として決められるため、被写体撮影時の照明条件や、被写体への光の当たり具合、逆光条件など平均的な条件とは異なる条件下では、フィルム上での撮影画像データに露出の偏りなど不具合が生じている場合がある。例えば、逆光条件のため、主要被写体の人物の顔が暗く写ってしまうということがある。また、被写体を照らす光源の違い（太陽光、蛍光灯など）や、屋外での太陽の条件（夕焼け、曇りなど）により、カラーフィルム上で著しくカラーバランスがシフトして写りこんでしまう不具合が生じる場合があった。
【０００３】
これらの不具合は、一般的にネガフィルムからカラープリントに焼き付ける際に補正される場合が多い。通常のプリント条件で焼き付けて条件に不具合がある場合には、焼き付け条件（露光時間や、カラーバランスフィルターなど）を変更し、プリント補正を行って仕上げるのである。また近年は、ネガフィルム上の撮影画像データを解析し、露出条件、カラーバランス条件などの補正は、デジタル画像処理により行われる場合が多い。
【０００４】
一方、スライドフィルム撮影（ポジフィルム）においては、撮影時の状態がそのままフィルム上に撮影されるため、撮影画像に不具合があった場合にはスライドそのものに不具合が残ってしまうことになる。スライドフィルムからカラープリントに焼き付けることも可能であり、その際にある程度の補正を行うことができるが、一般的にはネガフィルムからのプリントの方が補正のラティチュードは広く、一般的なカメラ撮影を行う場合は、ネガフィルムを用いることが通例となっている。
【０００５】
近年、パーソナルコンピュータやカラープリンタ、フィルムスキャナ、反射型スキャナ等の普及や性能の向上により、画像データをデジタル画像データとして取り扱うことが増加している。また、従来のフィルムカメラのシステムから、デジタルスチルカメラと呼ばれるカメラシステムが一般的になってきている。これは、従来のように撮影画像をフィルムに露光させるのではなく、ＣＣＤなどの光電変換素子によって光信号を電気信号に変換するなどして、撮影画像をモニタなどでそのまま表示可能なＲＧＢデジタル信号を画像データとして蓄積するシステムである。デジタルスチルカメラ本体では、撮影された画像データを、メモリカードや光ディスクといった記録メディアに画像ファイルとして蓄積するのが現在一般的である。ユーザは、記録メディアに蓄積された画像を、通信手段を用いてユーザのパソコンに取り込む、あるいは記録メディアそのものを取り出してパソコン側の記録メディア読取手段などから画像データを取り込んで、パソコンなどのモニタ上で画像を鑑賞することが可能になっている。また、画像の鑑賞は、前記ユーザのパソコンのモニタに表示することや、カラープリンタなどに出力してユーザ自身でプリントすることが可能である。
【０００６】
しかしながら撮影された画像データは、デジタルの画像ファイルとしてユーザが手軽に撮影画像を鑑賞することが可能になっているものの、デジタルスチルカメラの撮影データは、上述のフィルムカメラシステムでいうスライドフィルム撮影の場合に相当し、撮影時の状況に不具合があるとそのまま記録メディアに記録されてしまう。そのため、鑑賞時に上述のような不具合が多く発生しているという問題があった。つまり、ユーザがデジタルスチルカメラで撮影した画像を鑑賞する場合、従来のネガフィルムシステムで補正されて得られたプリント画像とは異なり、カメラ撮影時の露出条件や、被写体の状態や、逆光条件などが補正されていない、いわゆる失敗作品が多くなっている状況にある。
【０００７】
このため、撮影された画像をユーザの鑑賞に堪えうるようにパソコン上で補正するアプリケーションや、カラープリント時に補正する機構（プリンタドライバなど）の必要性が高まってきている。補正を行う場合、記録されたデジタル画像はフィルムカメラシステムのスライドフィルム撮影のように、ラティチュードが狭い範囲で効果的に画像を補正する技術、さらには、補正方法に関しても従来のフィルムカメラシステムにはない補正方法（デジタルカメラの特性や補正情報に関するもの、画像サイズによる調整、任意の出力先に対する色補正、一般ユーザが簡単に行える調整方法）に対応する必要が生じてきている。
【０００８】
このように狭いラティチュードの原画像データから、自動的に効果的な補正方法、補正パラメータを作成するには、画像から撮影された状況や、シーン（風景や人物等）などの特徴量を解析し、解析結果に応じた統計的な補正方法や、個人の好みを反映する補正パラメータを用いることが必要である。しかし、従来のアプリケーション等では、実験的に限られた条件で算出された補正パラメータ等を使用するしかなく、様々なデータや個人の好みの特性などを考慮に入れた補正方法はなかった。
【０００９】
一方、ユーザが画像データを取り扱う際の不具合もある。つまり、上述のように画像データの補正をパソコンのアプリケーションや、プリンタドライバでの補正機構で実施することは可能であるが、デジタルスチルカメラのユーザにとって、アプリケーションがインストールされたパソコンでしか処理ができなかったり、補正機能をもつプリンタでしか処理できないという不具合があった。
【００１０】
また、補正画像はユーザが望む出力装置（モニタやカラープリンタ等）の特性によって、処理方法やパラメータを変更しないと最適な出力が得られない。そのため、ユーザが一度補正した画像を次に別の出力デバイスで利用する場合には、そのままの補正画像を使用するのではなく、該補正情報をもとにして別の出力装置用に再補正することが必要となる。しかし、従来はそのような画像データと補正情報と出力情報を効果的に管理する方法がなかった。
【００１１】
さらに、デジタルスチルカメラの場合、ＲＧＢの画像データを作成するところまではカメラ側で処理することが一般的である。標準的な規格としてＲＧＢ画像データをｓＲＧＢ（ｓｔａｎｄａｒｄ ＲＧＢ）というＲＧＢ信号規格で蓄積することなどは推奨されているが、被写体の撮影からＲＧＢ信号を作成するまでには複雑な条件やカメラメーカーの測光システム、画像再現方針等が絡み合っているため、異なるカメラシステムからの出力が一様でないという問題もあった。
【００１２】
【発明が解決しようとする課題】
本発明は、上述した事情に鑑みてなされたもので、様々な撮影条件とともにユーザの好みの特性などを考慮に入れ、ユーザにとって好ましい画像に補正することができる画像処理システムを提供することを目的とするものである。また、そのようなユーザにとって好ましい画像へ補正するサービスを、インターネットなどのネットワークを介して提供する画像処理サーバを実現することを目的とするものである。
【００１３】
【課題を解決するための手段】
本発明は、画像に対して補正処理を行う画像処理システムにおいて、処理対象の画像から複数の特徴量を求め、求めた特徴量を利用して過去の補正処理に関する情報を保持しているデータベースを参照し、処理対象の画像に対して行う補正処理のための補正方法や補正パラメータを決定するものであって、データベースは、共用と個人ユーザ用の２種類のデータベースによって構成され、前記共用のデータベースは、画像の特徴量を含む複数の分類キーに対応して前記補正方法及び前記補正パラメータを格納しており、また個人ユーザ用のデータベースは前記決定手段による補正方法及び補正パラメータの決定結果を過去の補正処理に関する情報として蓄積し、前記個人ユーザ用のデータベースから共用データベースへ補正処理に関する情報を反映させることを特徴としている。そして、決定された補正方法及び補正パラメータによって、処理対象の画像に対して補正処理を施せば、当該画像の特徴に対するユーザの好みを補正処理に反映した、ユーザにとって好ましい画質に補正される。
【００１４】
また本発明の画像処理サーバでは、インターネットに接続された情報処理端末からの画像のアップロードを受け付け、アップロードされた画像を処理対象の画像として、上述のように画像から複数の特徴量を求め、求めた特徴量を利用して過去の補正処理に関する情報を保持しているデータベースを参照し、処理対象の画像に対して行う補正処理のための補正方法や補正パラメータを決定し、決定した補正方法及び補正パラメータによってアップロードされた画像に対して補正処理を施す構成であって、データベースは、共用と個人ユーザ用の２種類のデータベースによって構成され、前記共用のデータベースは、画像の特徴量を含む複数の分類キーに対応して前記補正方法及び前記補正パラメータを格納しており、また個人ユーザ用のデータベースは前記決定手段による補正方法及び補正パラメータの決定結果を過去の補正処理に関する情報として蓄積し、前記個人ユーザ用のデータベースから共用データベースへ補正処理に関する情報を反映させることを特徴としている。これによって、画像の特徴とともにユーザの好みの特性に応じた補正処理が行われる。
【００１５】
データベースには、画像の特徴量を含む複数の分類キーに対応して、補正方法及び補正パラメータを格納しており、画像の特徴に応じたユーザの好みを反映することができる。また、データベースを共用と個人ユーザ用の２種類のデータベースで構成しており、各ユーザ毎の細かな対応が可能となる。また共用のデータベースを利用すれば、一般的な補正処理も可能である。さらに、個人用のデータベースの内容を共用のデータベースに反映させている。これによって、その時々の一般的な好みの変化に対応することが可能になる。
【００１６】
また、ユーザに対して補正方法及び補正パラメータの候補に関する情報を提供したり、いくつかの補正画像を提示し、ユーザによる決定指示あるいは選択指示を受けるように構成することができる。これによってユーザの好みが分かるので、これをデータベースに反映するように構成することができる。
【００１７】
なお、処理対象の画像に、その画像の特徴量を示す情報や、その画像に対して補正処理が既になされている旨を示す情報が存在する場合、それらの情報を考慮して特徴量を抽出することができる。それらの情報は、例えばタグによって付加されていたり、あるいは画像中に埋め込まれていることが考えられ、それらを取得すればよい。また、画像に対して補正処理を行った場合には、その旨を示す情報を例えばタグに付加したり、あるいは画像中に埋め込んでおくことができる。
【００１８】
さらに、補正後の画像を出力する出力デバイスが特定される場合には、その出力デバイスに合わせた補正方法及び補正パラメータを決定して画像変換を行ったり、あるいは出力デバイスの特性を示すプロファイルとともに補正後の画像を出力するように構成することができる。
【００１９】
【発明の実施の形態】
図１は、本発明の画像処理システムの実施の一形態を示すブロック構成図である。図中、１１は内包情報解析・補正部、１２は特徴量抽出・解析部、１３は補正方法・補正量決定部、１４はユーザ環境補正量算出部、１５はデータベース、１６は補正処理部、２１はガンマ補正・色空間変換処理部、２２はハイライト・シャドー補正部、２３は明暗コントラスト補正部、２４は色相・カラーバランス補正部、２５は彩度補正部、２６は記憶色補正部、２７はシャープネス・強調処理部である。
【００２０】
この例では、特徴量抽出手段として、内包情報解析・補正部１１及び特徴量抽出・解析部１２を有している。内包情報解析・補正部１１では、入力された補正対象の画像データの解析を行う前に、当該画像データに付加されている情報が存在しているか否かを判断し、存在しているのであれば、その情報を本画像データを補正する際の基準データへの補正パラメータとして、あるいは特徴量として利用することを可能とするものである。そのような情報は、例えば入力画像データを含む画像ファイルにタグとして付加されていたり、あるいは、画像データそのものに埋め込まれている場合などが考えられる。
【００２１】
具体例としては、デジタルカメラ関連各社で制定した規格であるＥＸＩＦ情報があり、このＥＸＩＦ情報は圧縮画像フォーマットであるＪＦＩＦフォーマットに内包することが可能である。この規格をサポートしているデジタルカメラで撮影した場合、撮影した画像をＪＦＩＦフォーマットで記録する際に、いくらかの情報がＥＸＩＦ規格にそって記録される。たとえば、撮影されたカメラの種類や、撮影日付、フラッシュの有無などの情報が格納されている場合がある。これらの情報に関して利用可能な情報があれば、その情報を特徴量として認識しておくことができる。また、ＩＣＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｌｏｒ Ｃｏｎｓｏｒｔｉｕｍ）プロファイルのように、画像の色の特性を表す情報が内包されていれば、後工程の解析のためにこれらの情報を取得し、ガンマ特性や標準解析空間（例えばｓＲＧＢなど）への補正等を行っておく。
【００２２】
このように画像データに付加されている情報から関連づけが可能な画像の特徴量属性としては、カメラの機種情報からあらかじめ取得しておいた当該カメラの特性を利用して特定色（例えば肌色）データの分布を持たせておいたり、階調特性（明るめ、暗めなど）の傾向などを特徴量化しておき、利用することも考えられる。また、機種に特有なカメラ撮影モード、画像サイズ、フラッシュの有無などを元に、画像補正方法や補正パラメータを設定することが考えられる。たとえば、撮影モードとして人物、風景などを記録している場合は、画像データのシーン属性を特定することが可能であるし、画像サイズからシャープネス特性の補正方法を選択することが可能である。
【００２３】
特徴量抽出・解析部１２では、画像データ自体を解析して、該画像における複数の特徴量を抽出する。特徴量の例としては、ＲＧＢヒストグラムや、画像データのＨＳＬ（Ｈｕｅ：色相，Ｓａｔｕｒａｔｉｏｎ：彩度，Ｌｉｇｈｔｎｅｓｓ：明度）ヒストグラムなどから画像内の明度分布、彩度分布、カラーバランスを特徴づけたり、画像サイズ、画像データのエッジ量やエッジ強さなどから、画像シャープネスのエッジ度を特徴量として算出することができる。また、さらに詳細には、画像内部の肌色分布や、顔らしさの形状抽出などを組み合わせ、人物らしさの特徴量を抽出したり、該シーンが人物主体のシーンであるか否かなどのシーン分類特徴量の算出や、主要被写体の顔の大きさの算出、人物人数の算出などを行うことができる。さらには、画像内部の局所的な明るさの分布状態などからシーンの撮影状況（主要被写体の逆光状況、人物の大きさ等）などの特徴量を抽出すると共に、逆光状態特徴量の算出を行うことができる。
【００２４】
図２は、特徴量抽出・解析部１２で抽出される特徴量の分類キーの一例の説明図である。特徴量抽出・解析部１２で抽出される特徴量は、例えば図２に示すように大分類キー、中分類キー、そして図示しない小分類キーに特徴量を対応づけることができる。この例では大分類キーとして入力デバイス、画像ファイル、シーン・被写体、全体画質、出力デバイスなどのキーを設けている。また、各大分類キーについて、図２に示すような中分類キーを設けている。さらに、大分類キーと中分類キーの組み合わせに対して１ないし複数の小分類キーが設けられている。例えば大分類キーが「全体画質」、中分類キーが「彩度」の組み合わせに対して、小分類キーとして上述の「彩度ヒストグラム」あるいは「彩度ヒストグラム中央値」などを設けておくことができる。また、例えば大分類キーが「シーン・被写体」、中分類キーが「画像シーンタイプ」のとき、「人物」、「風景」、「物品」、「文字」などの小分類キーを設けておくことができる。特徴量抽出・解析部１２では、大分類キー、中分類キー、小分類キーで表されるすべての特徴量について取得できるとは限らないが、取得した特徴量については大分類キー、中分類キー、小分類キーなどと対応づけておくことができる。
【００２５】
図１に戻り、補正方法・補正量決定部１３では、特徴量抽出・解析部１２で抽出した特徴量を利用して、後述するデータベース１５を検索し、画像データに対して行う補正処理のための補正方法及び補正パラメータを決定する。データベース１５の検索は、上述の大分類キー、中分類キー、小分類キー、及び特徴量を用いて行うことができる。探索結果からは、場合により同じ補正方法であるにもかかわらず、異なる補正パラメータが抽出される場合も考えられる。あるいは補正方法自体が複数抽出される場合も考えられる。その場合は、特徴量の優先順位を決めておいたり、平均的な補正パラメータを使用するなど、調停処理を実施すればよい。図３は、調停処理の一例の説明図である。図３（Ａ）に示すように複数の補正方法及び補正パラメータ検索された場合には、図３（Ｂ）においてこれらの補正方法を合成して最適化し、また補正パラメータを連結して最適化する。そして、その最適化された補正方法及び補正パラメータを、使用する補正方法及び補正パラメータとして決定すればよい。あるいは、検索された複数の補正方法及び補正パラメータを図示しない表示手段に表示し、同じく図示しない選択手段によってユーザに選択してもらうように構成することもできる。さらに、補正方法及び補正パラメータを決定する際には、検索された補正方法及び補正パラメータを図示しない表示手段に表示してユーザによる修正などを受け付けるように構成してもよい。
【００２６】
図１に戻り、ユーザ環境補正量算出部１４は、補正処理後の画像を出力する出力デバイスの特性に応じた補正方法及び補正パラメータの決定を行うための情報を補正方法・補正量決定部１３に渡す。あるいは、補正後の画像を出力する出力デバイスの特性を示すプロファイルを、補正後の画像に付加する。
【００２７】
ユーザにとって好ましい画像変換を行う場合、ユーザがどのような出力デバイスで補正後の画像を鑑賞するかによって補正方法、あるいは補正パラメータが変わってくる場合がある。例えば、ユーザが自分のパソコンに付属しているモニタで見る場合、あるいは２５６色など限定された発色のモバイル端末で鑑賞する場合、さらにはプロジェクタを使用して表示する場合、Ａ社のインクジェットカラープリンタで出力する場合、Ｂ社のカラーレーザープリンタで出力する場合、など様々なケースが考えられ、それぞれの場合についてそれぞれの出力デバイスの特性によって画質や発色が変わってしまうことがある。
【００２８】
デジタルカメラの画像は、一般的にはｓＲＧＢと呼ばれる標準的なＲＧＢ色空間の特性によって扱われている。従って、画像の変換もｓＲＧＢの特性に基づいて解析、変換することが一般的である。しかしながら、前述したように、ユーザが最終的に得たい画像出力が、例えばユーザの持っているプリンタであれば、そのプリンタの特性を考慮しないで画質の補正を行うことは、色再現の点やシャープネス再現の点で異なる補正パラメータが選ばれてしまう場合がある。
【００２９】
従って、ユーザのカラープリンタなどの出力デバイスの機種特性（解像度、スクリーンなど）、あるいはＩＣＣプロファイル（色再現特性）をユーザ環境補正量算出部１４において取得し、そのような特性を加味した上で補正方法・補正量決定部１３において補正方法、補正パラメータを選択・決定するように構成している。
【００３０】
データベース１５は、過去の補正処理に関する情報を保持している。特に、上述の図２に示したような大分類キー、中分類キー、それに小分類キー及び特徴量に対応づけて補正方法及び補正パラメータを格納しておくことができる。図４は、データベース１５に格納されている補正処理に関する情報の一例の説明図である。図４（Ａ）に示す例では、図２に示す分類キーにおける大分類が「全体画質」中分類キーが「彩度」、小分類キーが「彩度ヒストグラム中央値」の場合の補正方法及び補正パラメータの一例を示している。この例では、画像全体の彩度に関するヒストグラムの中央値により、彩度補正処理を行うか否かの選択、および彩度補正処理のパラメータ（強調量）を決定する。例えば彩度ヒストグラム中央値Ｘが所定の値Ｃ１とＣ２の間の値である（Ｃ１＜Ｘ＜Ｃ２）場合には、彩度補正を行うこと、及び、そのときの補正パラメータとして「＋２」が保持されている。
【００３１】
図４（Ｂ）に示す例では、図２に示す分類キーにおける大分類キーが「全体画質」、中分類キーが「シャープネス」、小分類キーが「エッジ度」の場合の補正方法及び補正パラメータの一例を示している。この例では、画像全体のエッジ度（例えば微分フィルタによる強調量のヒストグラムを用いて算出する）により、平滑処理、シャープネス処理を行うか否かの選択、および補正処理のパラメータ（平滑量、強調量）を決定する。例えばエッジ度Ｙが所定の値Ｅ１よりも小さいときには、シャープネス補正処理を行うこと、及びそのときの補正パラメータとして「＋４」とすることが保持されている。また、エッジ度Ｙが所定の値Ｅ２とＥ３の間の値である（Ｅ２＜Ｙ＜Ｅ３）の場合には、平滑化処理を行うこと、及びそのときの補正パラメータとして「＋１」とすることが保持されている。さらにエッジ度Ｙが所定の値Ｅ３よりも大きいときには、平滑化処理とシャープネス補正処理の両方を行うこと、及び平滑化処理のときの補正パラメータとして「＋２」、シャープネス補正処理のときの補正パラメータとして「−２」とすることが保持されている。このように特徴量に応じて、補正方法のパラメータを変更するだけでなく、補正方法を変えて適用するような補正処理に関する情報を保持することもできる。
【００３２】
図４（Ｃ）に示す例では、図２に示す分類キーにおける大分類キーが「シーン・被写体」、中分類キーが「画像シーンタイプ」、小分類キーが「人物」、「風景」、「物品」、「文字」のときの補正方法及び補正パラメータの一例を示している。この例では、画像シーンタイプのそれぞれの値により、明度調整やコントラスト調整、シャープネス処理、肌色補正処理、黒文字補正処理などを行うか否か、及び明度調整やコントラスト調整、シャープネス処理についてはパラメータ調整量が保持されている。このときのパラメータ調整量は相対的な調整量を示しており、他の種々の特徴量から決定された調整量に対しての相対的なレベルを調整することを示している。例えば画像シーンタイプが「人物」である場合には、明度調整を行うとともに、そのときのパラメータ調整量として「＋２」が設定されている。これによって他の種々の特徴量から決定された明度調整のパラメータを２レベル明るめに設定することを示している。同時にシャープネス補正処理を行うとともに、そのときのパラメータ調整量として「−１」が設定されており、他の種々の特徴量から決定されたシャープネス補正処理のパラメータを１レベル低く設定することを示している。さらに画像シーンタイプが「人物」である場合に特有の肌色補正処理を実施することが設定されている。他の画像シーンタイプについても同様である。
【００３３】
データベース１５では、このように分類キーに補正方法及び補正パラメータを対応づけた補正処理に関する情報を保持しており、補正方法・補正量決定部１３からの分類キー及び特徴量を用いた検索によって補正処理に関する情報が取り出される。このデータベース１５に保持されている補正処理に関する情報は、ユーザによって過去に行われた補正処理において用いた補正方法及び補正パラメータに基づいて生成されるものである。例えば上述のように補正方法・補正量決定部１３によってデータベース１５から複数の補正方法及び補正パラメータが検索されたとき、補正方法・補正量決定部１３が自動的に決定した補正方法及び補正パラメータ、あるいは、ユーザに提示して選択あるいは修正された補正方法及び補正パラメータに基づいて、データベース１５に保持されている補正処理に関する情報を更新してゆくことができる。更新は、補正処理が行われる毎に行ってもよいし、あるいはある程度の期間や回数毎に行ってもよい。このように、過去に行われた補正処理の履歴を補正処理に関する情報に反映することによって、ユーザの好みの特性などを考慮した、ユーザにとって好ましい画像に補正することが可能となる。なお、データベース１５の具体的な構成方法については任意であり、種々の公知のデータベース技術を用いることができる。
【００３４】
またデータベース１５として、共用のデータベースと、それぞれのユーザ毎の個人ユーザ用のデータベースの２種類を備えておくことができる。そして、上述の補正処理の履歴によって補正処理に関する情報を更新する際には個人ユーザ用のデータベースを更新するように構成することができる。これによって、それぞれのユーザ毎に、ユーザの好みやユーザの環境などを反映した補正処理を行うことが可能になる。また、適宜、個人ユーザ用のデータベースから共用データベースへ補正処理に関する情報を反映させることもできる。これによって、その時々の一般的な好みの変化に対応することが可能になる。なお、共用のデータベースと個人ユーザ用のデータベースは、基本的には同様のものでよい。
【００３５】
図１に戻り、補正処理部１６は補正方法・補正量決定部１３によって決定された補正方法及び補正パラメータに従って、入力された画像データに対して実際に補正処理を行う。図１に示した例では、補正処理部１６は、ガンマ補正・色空間変換処理部２１，ハイライト・シャドー補正部２２、明暗コントラスト補正部２３、色相・カラーバランス補正部２４、彩度補正部２５、記憶色補正部２６、シャープネス・強調処理部２７などを有している。各処理部は、それぞれ公知の方法によってそれぞれの補正処理を行うように構成することができる。例えば彩度補正部２５においては、ＲＧＢの画像データをＨＳＬ変換したときの彩度の値に対して所定係数を乗算し、増加・減少の処理を施すといった手法や、明度の値に応じて割合を変える手法など種々の補正方法が考えられる。各処理部は、常にすべての処理が行われるわけではなく、補正方法・補正量決定部１３によって補正を行うと決定された処理だけが行われる。またその補正処理の内容も、補正方法・補正量決定部１３から渡される補正パラメータによって変更される。なお、補正処理後の画像データに対して、当該補正後の画像を出力する出力デバイスの特性を示すプロファイルをユーザ環境補正量算出部１４が付加する場合もある。
【００３６】
上述の本発明の画像処理システムの実施の一形態における動作について簡単に説明しておく。処理対象の画像データが入力されると、内包情報解析・補正部１１において当該画像データに付加されている情報が存在していれば、その付加されている情報を解析して、取得可能な特徴量についてはここで取得しておく。さらに特徴量抽出・解析部１２において、入力された画像データから特徴量を抽出する。内包情報解析・補正部１１及び特徴量抽出・解析部１２において抽出した特徴量は、例えば図２に示したような分類キーに対応づけ、補正方法・補正量決定部１３に渡される。
【００３７】
補正方法・補正量決定部１３では、特徴量抽出・解析部１２から渡される分類キー及び抽出した特徴量をもとにデータベース１５を検索し、１ないし複数の補正方法及び補正パラメータを取得する。さらに場合によっては、ユーザ環境補正量算出部１４からの出力デバイスに応じた補正情報なども取得する。そして、これらの情報から自動的に、あるいはユーザによる選択や修正などを経て、補正方法及び補正パラメータを決定し、補正処理部１６の各処理部のうち、補正処理を行うと決定した処理部に対して補正パラメータを渡して補正処理を指示する。これを受けて、補正処理部１６のうち補正処理を行うと決定した処理部は、入力された画像データに対して補正処理を実行し、出力する。
【００３８】
また、実際に行った補正方法及び補正パラメータについてはデータベース１５にフィードバックされ、データベース１５（個人ユーザ用のデータベースが存在する場合には個人ユーザ用データベース）の更新を行う。
【００３９】
上述の処理の具体例について、画像の状況を文章で定性的に記述して説明してみる。例えば、「一人の被写体を近景で撮影した画像であるが、逆光状態でフラッシュの使用もないことから、被写体人物の顔部の肌色が暗く写っている」という画像データが入力されたとする。この文章のような特徴量を内包情報解析・補正部１１及び特徴量抽出・解析部１２で抽出してデータベース１５を検索する。この場合、人物シーンに適した処理と逆光補正として、被写体人物の顔部分が明るく補正されるような補正方法及び補正パラメータを自動選択あるいはユーザによる選択修正によって決定する。また、例えば「空や海が主体の風景画像であるが、明度コントラストや彩度、シャープネス特徴量が弱い」画像データが入力された場合には、内包情報解析・補正部１１及び特徴量抽出・解析部１２による解析結果に基づく特徴量によりデータベース１５が検索され、該画像データに対して、明度コントラスト、彩度、シャープネスを強調する補正方法及び補正パラメータを自動選択あるいはユーザによる選択修正によって決定する。そして、決定された補正方法及び補正パラメータに基づいて、補正処理部１６において補正処理を行う。データベース１５には、過去の補正処理に関する情報が格納されているので、過去にユーザが行った補正処理に基づいて補正方法及び補正パラメータが決定されるため、ユーザの好みなどを反映した、ユーザに最適な補正処理を行うことができる。
【００４０】
図５は、本発明の画像処理システムの実施の一形態を画像処理サーバとして利用した場合の一例を示す構成図である。図中、３１は画像処理サーバ、３２，３３は情報処理端末、３４はネットワークである。ネットワーク３４は、インターネットやイントラネット、ＬＡＮなどで構成される通信路である。以下の説明ではネットワーク３４はインターネットであるものとして説明するが、これに限られるものではない。
【００４１】
画像処理サーバ３１は、例えば図１に示す画像処理システムを含むものである。画像処理サーバ３１はネットワーク３４に接続され、Ｗｅｂなどで作成された各クライアント（例えば情報処理端末３２，３３など）からのサービス要求を受け付け、またサービスを提供する機構を持つ。そのために図示しないアップロード手段やダウンロード手段などを有している。なおデータベース１５は、図５では画像処理サーバ３１とは別に図示しているが、画像処理サーバ３１内に含まれていてよい。あるいは、データベース１５はネットワーク３４に接続された別のデータベースサーバとして構成してもよい。
【００４２】
情報処理端末３２，３３は、少なくともネットワーク３４を通じて画像処理サーバ３１と通信可能な端末である。情報処理装置３２，３３としては、ユーザのパソコンであるのが一般的であるが、デジタルカメラ機能やインターネット通信機能を内蔵したモバイル端末などであってもかまわない。また、図示したようにスキャナやデジタルカメラなどの画像入力装置から画像を取り込める構成を有していてよい。もちろん、画像入力装置などは任意であり、例えば他のコンピュータやサーバなどから画像を取得してもよい。
【００４３】
図６は、本発明の画像処理システムの実施の一形態を画像処理サーバとして利用した場合の一例における動作例を示すフローチャートである。上述のような構成において、ここでは情報処理端末３２から画像処理サーバ３１へ画像データの補正処理を依頼し、補正処理結果を受け取るものとして説明する。もちろん、情報処理端末３３から画像処理サーバ３１へ依頼する場合も同様である。
【００４４】
情報処理端末３２から画像処理サーバ３１へ画像データの補正処理を依頼する際には、まずＳ６１において、ユーザは情報処理端末３２から、画像処理サーバ３１が提供するサービスにログインする。このとき、ユーザを識別するための識別情報を送信しておくとよい。また、例えば暗証などによってユーザの認証を行う場合もある。
【００４５】
画像処理サーバ３１にログインしたら、ユーザはＳ６２において所望のサービスメニューを選択する。説明のため、一例として“画像の自動補正”、“画像の自動補正（複数選択）”のサービスメニューから選択するものとして説明する。もちろん本発明のサービスメニューの例としてはこれに限ったものではない。
【００４６】
まず、ユーザがサービスメニューから“画像の自動補正”を選択したものとする。メニューの選択後、Ｓ６３において、ユーザは、ユーザが使用している情報処理端末３２内の補正対象となる画像データを含む画像ファイルを、画像処理サーバ３１へアップロードする操作を行う。もちろん、画像ファイルはユーザがアップロードの操作を行うことができる場所にあれば、操作を行っている情報処理端末３２内に存在していなくてもよい。画像ファイルのアップロード操作によって、処理対象の画像ファイルが画像処理サーバ３１によって管理可能となる。
【００４７】
アップロードされた画像ファイルは、Ｓ６４において、自動補正を行うジョブによって上述のような補正処理が実行される。すなわち自動補正ジョブでは、画像データを解析して各種の特徴量を抽出し、抽出した特徴量を用いてデータベース１５を検索して１ないし複数の補正方法及び補正パラメータを取得し、その中の１つを用いて画像ファイル内の画像データに対して補正処理を行う。データベース１５には、上述のように、ユーザが過去に行った補正処理に基づいて設定された補正方法及び補正パラメータが格納されている。そのため、過去の補正処理から考えてユーザにとっての好ましいと思われる補正方法や補正パラメータを選択あるいは算出し、その補正方法及び補正パラメータで補正処理を行うことができる。
【００４８】
補正処理を行ったら、補正後の画像データをユーザの情報処理端末３２にダウンロードし、Ｓ６５において、補正後の結果画像を表示する。このとき、補正前の元画像のサムネールを作成し、ユーザの情報処理端末３２に元画像のサムネールと共に結果画像を表示することも可能である。これによって補正前後の画像を比較して補正処理の適否をユーザが判断しやすくなる。
【００４９】
Ｓ６５において表示された結果画像をユーザが参照し、Ｓ６６においてユーザは補正処理の適否を判断して入力し、判断結果が画像処理サーバ３１に伝えられる。もしユーザが補正画像に納得しない場合は、Ｓ６４へ戻り、他の補正方法およびパラメータ候補から他の１つを選択して再度の補正処理を行い、ユーザの情報処理端末３２に元画像のサムネールと共に表示して、ユーザの判断を伺う。このような処理を、ユーザが満足するか、あるいは候補が無くなるまで繰り返す。
【００５０】
なお、ユーザが補正画像に納得しない場合に、いくつかの特徴量やパラメータを情報処理端末３２に表示し、ユーザの気に入らなかった特徴量を元に次候補を選択するなどの処理を行うと、効率的に次候補を選択することができる。例えば、“全体の明るさ”という特徴量に対し、“明るい”，“暗い”といった補正パラメータを指示することなどが挙げられる。
【００５１】
ユーザが納得した補正画像が得られたら、その旨を入力することで画像処理サーバ３１に伝えられる。補正画像は既に情報処理端末３２にダウンロードされているので、ユーザは補正後の画像データを利用可能である。ユーザが納得した旨を受けた画像処理サーバ３１では、Ｓ６７において、ユーザが納得した補正処理時に使用した補正方法及び補正パラメータをデータベース１５に追加記録あるいはデータベース１５を更新する。また、当該補正前後の画像を保存しておくこともできる。このようにして、一連の画像データに対する補正処理を終える。
【００５２】
上述の動作例では、ユーザが納得しない場合でも補正後の画像をいちいち情報処理端末３２にダウンロードしているが、速度向上のため、例えばＳ６５においてユーザに提示する画像は補正後の画像のサムネールとし、ユーザの納得が得られた後にＳ６７において実際の補正後の画像を情報処理端末３２にダウンロードするように構成することができる。またこの場合、サムネールを提示する際には最初に画像データからサムネール画像を生成し、そのサムネール画像に対して補正処理を施すことによって、さらに高速化が可能である。
【００５３】
また、検索によって複数の補正方法及び補正パラメータが得られている場合に、それらについて補正処理を行って補正後の画像を用意しておくことができる。図７は、補正画像を複数用意しておく場合の一例の説明図である。図７に示すように、検索によって得られたそれぞれの補正方法及び補正パラメータを用いて、入力された画像データの補正処理を行い、補正画像を得ておく。そして、ユーザに提供する際に、例えばサムネールを作成して情報処理端末３２へ元画像のサムネールとともに表示させることができる。例えばある１つの補正方法及び補正パラメータを用いて補正処理を行い、ユーザに提示している間に、他の補正方法及び補正パラメータを用いた補正処理を行っておくことができる。これによって、ユーザが提示している補正画像に納得しなかった場合に、次の補正画像を提示するまでの時間（ターンアラウンドタイム）を短縮し、操作性のよいシステムを構築することが可能である。
【００５４】
Ｓ６２において、ユーザがサービスメニューから“画像の自動補正（複数選択）”を選択したものとする。メニューの選択後、Ｓ７１において、上述のＳ６３と同様にユーザは補正対象となる画像データを含む画像ファイルを画像処理サーバ３１へアップロードする操作を行う。アップロードされた画像ファイルは、上述の“画像の自動補正”を選択した場合と同様に、画像データが解析されて各種の特徴量が抽出され、抽出された特徴量を用いてデータベース１５の検索が行われて１ないし複数の補正方法及び補正パラメータが取得される。この“画像の自動補正（複数選択）”では、Ｓ７２において、取得された複数の補正方法及び補正パラメータの中から１ないし複数個を一度に決定あるいは選択し、それぞれの補正方法及び補正パラメータによって補正処理を行い、１ないし複数の補正後の画像データを得る。この１ないし複数の補正後の画像データを情報処理端末３２にダウンロードし、Ｓ７３において１ないし複数の補正結果を表示させる。
【００５５】
図８は、複数の補正画像の候補を複数同時に表示させた表示画面の一例の説明図である。この例では、元画像と補正画像とを比較できるように、元画像の周囲に補正画像を配置している。ユーザはそれぞれの補正画像と元画像とを比較し、好みにあった補正画像の選択が可能である。もちろん、表示方法は任意であり、図８に示す例に限られるものではないが、元画像と比較できるように配置することで、補正効果が比較できるようにすることが望ましい。このように複数の中から選択可能にすることは、ユーザにとって好ましい画像候補を一度に判別し、比較しながら選択できることになり、ユーザにとってより良好なサービスとなる。
【００５６】
このように“画像の自動補正（複数選択）”では、補正画像が複数表示されるので、Ｓ７４において、ユーザは表示されている１ないし複数の補正結果から所望の画像を選択すればよい。あるいは、表示された補正結果では納得しない旨を入力することができる。このユーザの意向は画像処理サーバ３１に伝えられる。
【００５７】
もし、ユーザが複数の補正結果に納得しない場合には、Ｓ７２に戻って、検索結果中に他の補正方法及び補正パラメータが存在していれば、その中から１ないし複数個を選択して上述のように補正処理を行い、ユーザに提示すればよい。また、ユーザが納得しない旨を入力する際に、上述のようにいくつかの特徴量やパラメータを情報処理端末３２に表示し、ユーザの気に入らなかった特徴量を元に次候補を選択するなどの処理を行うように構成することもできる。
【００５８】
ユーザが納得した補正画像が選択されたら、画像処理サーバ３１はＳ７５において、ユーザが納得した補正画像に対して使用した補正方法及び補正パラメータをデータベース１５に追加記録あるいはデータベース１５を更新する。また、当該補正前後の画像を保存しておくこともできる。このようにして、一連の画像データに対する補正処理を終える。
【００５９】
上述の動作例では、１ないし複数の補正後の画像データをダウンロードして表示させることとしたが、速度向上のため、例えばＳ７３においてユーザに提示する１ないし複数の補正後の画像をサムネール画像に変換してダウンロードし、ユーザが選択した後に、その選択された補正後の画像をＳ７５において情報処理端末３２にダウンロードするように構成してもよい。またこの場合、最初に入力された画像データからサムネール画像を生成し、そのサムネール画像に対してそれぞれの補正処理を施すことによって、さらに高速化が可能である。
【００６０】
図９は、データベースに対する補正結果の登録更新処理の概要の説明図である。データベース１５は、初期状態では、例えば図４に示したような特徴量の分類にしたがって、あらかじめ設定された補正方法や補正パラメータが格納されている。上述の動作例で説明したように、補正後の画像あるいはそのサムネールをユーザに提示して、所望する補正画像であると了承あるいは選択された場合には、その補正画像を生成する際に用いた補正方法及び補正パラメータ、それに当該補正前の画像データの特徴量とともにデータベース１５に履歴として追加・更新される。また、原画像と補正画像等もデータベース１５に記録してもよい。
【００６１】
このとき、図９に示すようにデータベース１５が共用のデータベースと、それぞれのユーザ毎の個人ユーザ用のデータベースによって構成されている場合には、このような履歴や原画像、補正画像などは個人ユーザ用のデータベースに記録することができる。原画像や補正画像などについてもデータベース１５で管理することによって、例えば内包情報解析・補正部１１や特徴量抽出・解析部１２で解析した特徴量と対応づけて原画像や補正画像の管理をユーザが行うことができるという利便性も提供できる。
【００６２】
上述のようにして補正処理の履歴をデータベース１５に追加してゆくだけでは、ユーザ個人の好みや、ユーザの選択による学習効果が反映されず、補正方法や補正パラメータが画一化されてしまう。したがって、最終的にユーザが選択した画像の補正方法、補正パラメータをデータベース１５にフィードバックすることが必要である。
【００６３】
図１０は、ユーザにより選択された補正方法及び補正パラメータのデータベースへ反映した場合の補正方法及び補正パラメータの具体例の説明図である。図１０には、大分類キーが「全体画質に関する分類」、中分類キーが「彩度」の例を示している。この例では、特徴量の小分類に対して、実際にユーザが選択した彩度調整量の平均値（彩度補正履歴ａｖｅ）が格納されている。例えば、彩度ヒストグラム中央値Ｘが所定の値Ｃ３より大きい（Ｃ３＜Ｘ）場合、予め設定されている彩度補正のパラメータは「−１」であるが、これまでの履歴の平均値は「−０．２」となっており、補正レベルを０としたパラメータの方が良さそうであることを示している。これによって、例えば当該ユーザについては彩度補正処理を行う場合の補正パラメータを「０」（あるいは彩度補正処理を行わない）とすることができる。このようにして、ユーザの好みに応じた補正処理を行うことができる。
【００６４】
このような補正処理の履歴に応じた補正方法及び補正パラメータの更新は、例えばユーザが画像の補正を実行するたびに行ったり、あるいは、ある程度履歴を蓄積しておいて、所定のタイミングで更新を行うことができる。所定のタイミングとしては、所定の時間の経過や、所定回数の補正処理の実行などとすることができる。また、更新の際に参照する履歴については、それまで設定されているユーザ毎の補正方法及び補正パラメータとそれまでに記録されている履歴すべてを反映させるほか、例えば所定期間の履歴のみによってユーザ毎の補正方法及び補正パラメータの更新を行うことができる。例えば好みの変化が激しい場合には、過去の履歴に引きずられるよりも、最近の履歴によって補正方法及び補正パラメータの更新を行った方が、現在のユーザの好みをよりよく反映することができる。
【００６５】
上述のようなユーザによって過去に行われた補正処理に関する情報は、図９に示す共用のデータベースに記録しておくことも可能であるが、それぞれのユーザ毎の好みを反映するため、個人ユーザ用のデータベースに記録させることが望ましい。これによって、それぞれのユーザの好みを反映した補正情報を参照し、補正方法や補正パラメータを決定することが可能である。そして、個人ユーザ用のデータベースに履歴に基づいた補正方法及び補正パラメータが存在しない特徴量に関しては共用のデータベースを参照するように構成すればよい。また、例えば個人ユーザ用のデータベースからの検索結果による補正方法及び補正パラメータではユーザが了解しない場合にも、共用のデータベースを検索して一般的な補正方法及び補正パラメータを取得するように構成してもよい。あるいは、両方のデータベースから検索結果を取得しておいて、これらの検索結果から所定の優先順位などに従って、利用する補正方法及び補正パラメータを選択、決定すればよい。
【００６６】
また、それぞれのユーザ毎に蓄積している履歴や補正方法及び補正パラメータを、共用のデータベースに反映することも可能である。多くのユーザにより利用されているシステムでは、ユーザ全体の好みの傾向を把握することが可能であり、その全体の好みの傾向を共用のデータベースに反映することができる。これによって、時流にあった補正処理を行うことが可能になる。
【００６７】
図１１は、ユーザ毎の補正方法及び補正パラメータの選択を行う具体例の説明図である。図１１（Ａ）には、補正対象となる画像が示されている。この画像データの特徴量解析から、１人の人物を中心にして写したシーンであるが、逆光状態であるため、主要被写体がアンダーに写ってしまっている状態であるという特徴量が取得される。具体的には、図２に示した分類キーに従っていえば、例えば大分類キーがシーン・被写体について、中分類キーが画像シーンタイプでは小分類キーが「人物」、同様に、「主要被写体有無」では「あり」、「主要被写体大きさ」では「中」、「主要被写体光条件」では「逆光」、「人物人数」では「１人」、…となる。
【００６８】
このような画像データに対しては、一般的な補正方法では、人物を中心として逆光状態によりアンダーになっている人物部を明るめに補正する。従って共用のデータベースからは、そのような補正を行う補正方法、およびパラメータが選択・決定される。このような一般的な補正方法及び補正パラメータにより補正した結果を図１１（Ｂ）に示している。
【００６９】
しかしながら、このような一般的な補正方法及び補正パラメータを用いて補正処理を行うと、人物の顔は明るくなるが、背景が飛びすぎる傾向になる。このような背景の飛びを嫌うユーザは、例えば図１１（Ｃ）に示すように若干弱めの補正をかけた画像を好む。このような場合、個人ユーザ用のデータベースにこのような補正処理に関する情報が登録されていなければ、まず図１１（Ｂ）に示す補正画像が提示され、了解せずに再補正を指示し、図１１（Ｃ）に示す補正画像が提示された時点で了解する指示を行えばよい。このような補正の履歴がデータベース１５に蓄積され、個人ユーザ用のデータベースに反映される。
【００７０】
個人ユーザ用のデータベースに過去の補正情報が反映された後、再び同様の画像（例えば図１１（Ａ）に示す画像）が入力された場合、抽出した特徴量によるデータベースの検索によって、個人ユーザ用のデータベースから得られた検索結果を優先して選択・決定することができる。これによって、最初から図１１（Ｃ）に示す補正画像をユーザに提示することができる。
【００７１】
このように、図１１に示した例では、共用のデータベース中の補正方法及び補正パラメータでは、画像全体の明度・コントラストを変更するために、人物の顔の明るさを補正すると相対的に背景などの風景のディテールが失われてしまうことになり、シーンの雰囲気が生かせないことが多い。このユーザは、人物よりむしろ背景をバランス良く補正する傾向があると理解し、図１１（Ｃ）に示すように人物の顔はやや暗いものの、背景の飛びを抑えた補正画像を第１候補としてユーザに提示することができる。このようにして、ユーザの好みを反映した補正処理が可能になる。
【００７２】
以上、本発明の画像処理システム及び本発明の画像処理システムを含む画像処理サーバについて説明した。以下、これらの変形例についていくつか示す。図１２は、補正処理済みの画像に対する扱いの一例の説明図である。上述のような画像補正処理を実行すると、元画像に対して何らかの画像変換が加えられことになる。既に画像解析、画像変換を施された変換画像であるにかかわらず、後で補正後の画像データが再度入力される事態も想定される。この場合、上述のような補正処理において、画像データに対し、補正処理を行ったことを示す情報を補正後の画像データに付加しておき、再入力されたときに内包情報解析・補正部１１あるいは特徴量抽出・解析部１２においてこの情報を取得することが考えられる。
【００７３】
例えば図１２（Ａ）に示すように、補正処理を行ったことを示す情報を、画像の蓄積フォーマットに内包するタグ情報の形式で付加することができる。あるいは、図１２（Ｂ）に示すように例えばＷａｔｅｒ Ｍａｒｋｉｎｇと呼ばれる画像データ自身に情報を埋め込む方式でもかまわない。この場合、例えば特徴量抽出・解析部１２などにおいて、埋め込まれた情報を復元する処理を行えばよい。
【００７４】
入力された画像データから、既に補正処理済みである旨の情報が取得された場合には、ユーザに対して補正済である旨を通知して、再度の補正を行うか否かを判断してもらうように構成することができる。このような通知を行うか否かや、再度の補正を許可するか拒否するかなどを設定可能に構成しておいてもよい。
【００７５】
また別の変形例を説明する。上述の説明ではユーザに提示する画像とダウンロードする画像とは、サムネールか否かの違いはあるものの実質的には同じ画像であったが、例えばプリンタなどによって出力する画像に補正しようとする場合、上述のように出力デバイス毎に発色などが異なるため、画面上で選択した補正画像とプリントアウトされた画像とでは見えが異なる場合がある。
【００７６】
従来から、特定の環境で利用できるものとして、異なるデバイス間での色の違いの問題を解決する方法にＣｏｌｏｒ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ（以降ＣＭＳとよぶ）が存在している。アップル社のＭａｃｉｎｔｏｓｈ（登録商標）システムではＣｏｌｏｒＳｙｎｃ，マイクロソフト社のＷｉｎｄｏｗｓ（登録商標）システムではＩＣＭといわれるシステムが知られている。これらは、画像を表示、プリントする場合に、入力側のデバイスのプロファイル（ソースプロファイル）と出力側のデバイスのプロファイル（ターゲットプロファイル）をそれぞれ入力、あるいは準備し、それらを用いて色変換することで、色の一致性を保証しようというシステムである。
【００７７】
本システム（あるいは本サーバ）では、例えば色の一致性に関しては、上述のＣＭＳを利用して、補正処理時に、ユーザが出力したいデバイスのプロファイルを用いて、ユーザが一時的に確認する際には表示画面上で出力デバイスにおける色再現（ソフトプルーフィング）を行って、ユーザに出力時の見えを提示することが可能である。また、シャープネスなどのモニタ画像とプリント画像との見え方の違いに関しては、データベースに機種データを有しておき、ユーザによる選択時とダウンロード時とでシャープネス補正量などを加減することによって、できるだけ見えを似せることも可能である。
【００７８】
また、ユーザがプリンタのプロファイルを持たない場合は、ユーザの指定するカラープリンタ等のデバイスのＩＣＣプロファイル等をインターネット上から検索し、入手して処理することができる。あるいは、あらかじめデータベースとしてプロファイルを保持しておいて処理し、必要に応じてユーザに送付することも可能である。
【００７９】
【発明の効果】
以上の説明から明らかなように、本発明によれば、ユーザがデジタルカメラ等で撮影した画像など、さまざまな入力画像データに対して、自動解析して好ましい画像に補正処理を行うことができるとともに、補正処理の際にユーザの好みを反映した補正効果を得ることができるという効果がある。また、ユーザ毎に補正方法及び補正パラメータを保持することによって、より特定ユーザの好みを反映した補正効果を得ることもできる。さらに、インターネットを介して、ユーザの画像の蓄積、管理についても、補正処理と併用した環境としてユーザに提供することができるという効果もある。
【図面の簡単な説明】
【図１】 本発明の画像処理システムの実施の一形態を示すブロック構成図である。
【図２】 特徴量抽出・解析部１２で抽出される特徴量の分類キーの一例の説明図である。
【図３】 調停処理の一例の説明図である。
【図４】 データベース１５に格納されている補正処理に関する情報の一例の説明図である。
【図５】 本発明の画像処理システムの実施の一形態を画像処理サーバとして利用した場合の一例を示す構成図である。
【図６】 本発明の画像処理システムの実施の一形態を画像処理サーバとして利用した場合の一例における動作例を示すフローチャートである。
【図７】 補正画像を複数用意しておく場合の一例の説明図である。
【図８】 複数の補正画像の候補を複数同時に表示させた表示画面の一例の説明図である。
【図９】 データベースに対する補正結果の登録更新処理の概要の説明図である。
【図１０】 ユーザにより選択された補正方法及び補正パラメータのデータベースへ反映した場合の補正方法及び補正パラメータの具体例の説明図である。
【図１１】 ユーザ毎の補正方法及び補正パラメータの選択を行う具体例の説明図である。
【図１２】 補正処理済みの画像に対する扱いの一例の説明図である。
【符号の説明】
１１…内包情報解析・補正部、１２…特徴量抽出・解析部、１３…補正方法・補正量決定部、１４…ユーザ環境補正量算出部、１５…データベース、１６…補正処理部、２１…ガンマ補正・色空間変換処理部、２２…ハイライト・シャドー補正部、２３…明暗コントラスト補正部、２４…色相・カラーバランス補正部、２５…彩度補正部、２６…記憶色補正部、２７…シャープネス・強調処理部、３１…画像処理サーバ、３２，３３…情報処理端末、３４…ネットワーク。
【発明の属する技術分野】
本発明は、画像に対して補正処理を行う画像処理システム、および、そのような画像に対する補正処理の依頼をインターネットに接続された情報処理端末から受け付ける画像処理装置サーバに関するものである。
【０００２】
【従来の技術】
従来のフイルムカメラからプリントを得るシステムでは、フィルムへの露光条件がカメラの測光システムにより決定されるのが一般的である。露光条件は被写体がごく平均的な条件であることを前提として決められるため、被写体撮影時の照明条件や、被写体への光の当たり具合、逆光条件など平均的な条件とは異なる条件下では、フィルム上での撮影画像データに露出の偏りなど不具合が生じている場合がある。例えば、逆光条件のため、主要被写体の人物の顔が暗く写ってしまうということがある。また、被写体を照らす光源の違い（太陽光、蛍光灯など）や、屋外での太陽の条件（夕焼け、曇りなど）により、カラーフィルム上で著しくカラーバランスがシフトして写りこんでしまう不具合が生じる場合があった。
【０００３】
これらの不具合は、一般的にネガフィルムからカラープリントに焼き付ける際に補正される場合が多い。通常のプリント条件で焼き付けて条件に不具合がある場合には、焼き付け条件（露光時間や、カラーバランスフィルターなど）を変更し、プリント補正を行って仕上げるのである。また近年は、ネガフィルム上の撮影画像データを解析し、露出条件、カラーバランス条件などの補正は、デジタル画像処理により行われる場合が多い。
【０００４】
一方、スライドフィルム撮影（ポジフィルム）においては、撮影時の状態がそのままフィルム上に撮影されるため、撮影画像に不具合があった場合にはスライドそのものに不具合が残ってしまうことになる。スライドフィルムからカラープリントに焼き付けることも可能であり、その際にある程度の補正を行うことができるが、一般的にはネガフィルムからのプリントの方が補正のラティチュードは広く、一般的なカメラ撮影を行う場合は、ネガフィルムを用いることが通例となっている。
【０００５】
近年、パーソナルコンピュータやカラープリンタ、フィルムスキャナ、反射型スキャナ等の普及や性能の向上により、画像データをデジタル画像データとして取り扱うことが増加している。また、従来のフィルムカメラのシステムから、デジタルスチルカメラと呼ばれるカメラシステムが一般的になってきている。これは、従来のように撮影画像をフィルムに露光させるのではなく、ＣＣＤなどの光電変換素子によって光信号を電気信号に変換するなどして、撮影画像をモニタなどでそのまま表示可能なＲＧＢデジタル信号を画像データとして蓄積するシステムである。デジタルスチルカメラ本体では、撮影された画像データを、メモリカードや光ディスクといった記録メディアに画像ファイルとして蓄積するのが現在一般的である。ユーザは、記録メディアに蓄積された画像を、通信手段を用いてユーザのパソコンに取り込む、あるいは記録メディアそのものを取り出してパソコン側の記録メディア読取手段などから画像データを取り込んで、パソコンなどのモニタ上で画像を鑑賞することが可能になっている。また、画像の鑑賞は、前記ユーザのパソコンのモニタに表示することや、カラープリンタなどに出力してユーザ自身でプリントすることが可能である。
【０００６】
しかしながら撮影された画像データは、デジタルの画像ファイルとしてユーザが手軽に撮影画像を鑑賞することが可能になっているものの、デジタルスチルカメラの撮影データは、上述のフィルムカメラシステムでいうスライドフィルム撮影の場合に相当し、撮影時の状況に不具合があるとそのまま記録メディアに記録されてしまう。そのため、鑑賞時に上述のような不具合が多く発生しているという問題があった。つまり、ユーザがデジタルスチルカメラで撮影した画像を鑑賞する場合、従来のネガフィルムシステムで補正されて得られたプリント画像とは異なり、カメラ撮影時の露出条件や、被写体の状態や、逆光条件などが補正されていない、いわゆる失敗作品が多くなっている状況にある。
【０００７】
このため、撮影された画像をユーザの鑑賞に堪えうるようにパソコン上で補正するアプリケーションや、カラープリント時に補正する機構（プリンタドライバなど）の必要性が高まってきている。補正を行う場合、記録されたデジタル画像はフィルムカメラシステムのスライドフィルム撮影のように、ラティチュードが狭い範囲で効果的に画像を補正する技術、さらには、補正方法に関しても従来のフィルムカメラシステムにはない補正方法（デジタルカメラの特性や補正情報に関するもの、画像サイズによる調整、任意の出力先に対する色補正、一般ユーザが簡単に行える調整方法）に対応する必要が生じてきている。
【０００８】
このように狭いラティチュードの原画像データから、自動的に効果的な補正方法、補正パラメータを作成するには、画像から撮影された状況や、シーン（風景や人物等）などの特徴量を解析し、解析結果に応じた統計的な補正方法や、個人の好みを反映する補正パラメータを用いることが必要である。しかし、従来のアプリケーション等では、実験的に限られた条件で算出された補正パラメータ等を使用するしかなく、様々なデータや個人の好みの特性などを考慮に入れた補正方法はなかった。
【０００９】
一方、ユーザが画像データを取り扱う際の不具合もある。つまり、上述のように画像データの補正をパソコンのアプリケーションや、プリンタドライバでの補正機構で実施することは可能であるが、デジタルスチルカメラのユーザにとって、アプリケーションがインストールされたパソコンでしか処理ができなかったり、補正機能をもつプリンタでしか処理できないという不具合があった。
【００１０】
また、補正画像はユーザが望む出力装置（モニタやカラープリンタ等）の特性によって、処理方法やパラメータを変更しないと最適な出力が得られない。そのため、ユーザが一度補正した画像を次に別の出力デバイスで利用する場合には、そのままの補正画像を使用するのではなく、該補正情報をもとにして別の出力装置用に再補正することが必要となる。しかし、従来はそのような画像データと補正情報と出力情報を効果的に管理する方法がなかった。
【００１１】
さらに、デジタルスチルカメラの場合、ＲＧＢの画像データを作成するところまではカメラ側で処理することが一般的である。標準的な規格としてＲＧＢ画像データをｓＲＧＢ（ｓｔａｎｄａｒｄ ＲＧＢ）というＲＧＢ信号規格で蓄積することなどは推奨されているが、被写体の撮影からＲＧＢ信号を作成するまでには複雑な条件やカメラメーカーの測光システム、画像再現方針等が絡み合っているため、異なるカメラシステムからの出力が一様でないという問題もあった。
【００１２】
【発明が解決しようとする課題】
本発明は、上述した事情に鑑みてなされたもので、様々な撮影条件とともにユーザの好みの特性などを考慮に入れ、ユーザにとって好ましい画像に補正することができる画像処理システムを提供することを目的とするものである。また、そのようなユーザにとって好ましい画像へ補正するサービスを、インターネットなどのネットワークを介して提供する画像処理サーバを実現することを目的とするものである。
【００１３】
【課題を解決するための手段】
本発明は、画像に対して補正処理を行う画像処理システムにおいて、処理対象の画像から複数の特徴量を求め、求めた特徴量を利用して過去の補正処理に関する情報を保持しているデータベースを参照し、処理対象の画像に対して行う補正処理のための補正方法や補正パラメータを決定するものであって、データベースは、共用と個人ユーザ用の２種類のデータベースによって構成され、前記共用のデータベースは、画像の特徴量を含む複数の分類キーに対応して前記補正方法及び前記補正パラメータを格納しており、また個人ユーザ用のデータベースは前記決定手段による補正方法及び補正パラメータの決定結果を過去の補正処理に関する情報として蓄積し、前記個人ユーザ用のデータベースから共用データベースへ補正処理に関する情報を反映させることを特徴としている。そして、決定された補正方法及び補正パラメータによって、処理対象の画像に対して補正処理を施せば、当該画像の特徴に対するユーザの好みを補正処理に反映した、ユーザにとって好ましい画質に補正される。
【００１４】
また本発明の画像処理サーバでは、インターネットに接続された情報処理端末からの画像のアップロードを受け付け、アップロードされた画像を処理対象の画像として、上述のように画像から複数の特徴量を求め、求めた特徴量を利用して過去の補正処理に関する情報を保持しているデータベースを参照し、処理対象の画像に対して行う補正処理のための補正方法や補正パラメータを決定し、決定した補正方法及び補正パラメータによってアップロードされた画像に対して補正処理を施す構成であって、データベースは、共用と個人ユーザ用の２種類のデータベースによって構成され、前記共用のデータベースは、画像の特徴量を含む複数の分類キーに対応して前記補正方法及び前記補正パラメータを格納しており、また個人ユーザ用のデータベースは前記決定手段による補正方法及び補正パラメータの決定結果を過去の補正処理に関する情報として蓄積し、前記個人ユーザ用のデータベースから共用データベースへ補正処理に関する情報を反映させることを特徴としている。これによって、画像の特徴とともにユーザの好みの特性に応じた補正処理が行われる。
【００１５】
データベースには、画像の特徴量を含む複数の分類キーに対応して、補正方法及び補正パラメータを格納しており、画像の特徴に応じたユーザの好みを反映することができる。また、データベースを共用と個人ユーザ用の２種類のデータベースで構成しており、各ユーザ毎の細かな対応が可能となる。また共用のデータベースを利用すれば、一般的な補正処理も可能である。さらに、個人用のデータベースの内容を共用のデータベースに反映させている。これによって、その時々の一般的な好みの変化に対応することが可能になる。
【００１６】
また、ユーザに対して補正方法及び補正パラメータの候補に関する情報を提供したり、いくつかの補正画像を提示し、ユーザによる決定指示あるいは選択指示を受けるように構成することができる。これによってユーザの好みが分かるので、これをデータベースに反映するように構成することができる。
【００１７】
なお、処理対象の画像に、その画像の特徴量を示す情報や、その画像に対して補正処理が既になされている旨を示す情報が存在する場合、それらの情報を考慮して特徴量を抽出することができる。それらの情報は、例えばタグによって付加されていたり、あるいは画像中に埋め込まれていることが考えられ、それらを取得すればよい。また、画像に対して補正処理を行った場合には、その旨を示す情報を例えばタグに付加したり、あるいは画像中に埋め込んでおくことができる。
【００１８】
さらに、補正後の画像を出力する出力デバイスが特定される場合には、その出力デバイスに合わせた補正方法及び補正パラメータを決定して画像変換を行ったり、あるいは出力デバイスの特性を示すプロファイルとともに補正後の画像を出力するように構成することができる。
【００１９】
【発明の実施の形態】
図１は、本発明の画像処理システムの実施の一形態を示すブロック構成図である。図中、１１は内包情報解析・補正部、１２は特徴量抽出・解析部、１３は補正方法・補正量決定部、１４はユーザ環境補正量算出部、１５はデータベース、１６は補正処理部、２１はガンマ補正・色空間変換処理部、２２はハイライト・シャドー補正部、２３は明暗コントラスト補正部、２４は色相・カラーバランス補正部、２５は彩度補正部、２６は記憶色補正部、２７はシャープネス・強調処理部である。
【００２０】
この例では、特徴量抽出手段として、内包情報解析・補正部１１及び特徴量抽出・解析部１２を有している。内包情報解析・補正部１１では、入力された補正対象の画像データの解析を行う前に、当該画像データに付加されている情報が存在しているか否かを判断し、存在しているのであれば、その情報を本画像データを補正する際の基準データへの補正パラメータとして、あるいは特徴量として利用することを可能とするものである。そのような情報は、例えば入力画像データを含む画像ファイルにタグとして付加されていたり、あるいは、画像データそのものに埋め込まれている場合などが考えられる。
【００２１】
具体例としては、デジタルカメラ関連各社で制定した規格であるＥＸＩＦ情報があり、このＥＸＩＦ情報は圧縮画像フォーマットであるＪＦＩＦフォーマットに内包することが可能である。この規格をサポートしているデジタルカメラで撮影した場合、撮影した画像をＪＦＩＦフォーマットで記録する際に、いくらかの情報がＥＸＩＦ規格にそって記録される。たとえば、撮影されたカメラの種類や、撮影日付、フラッシュの有無などの情報が格納されている場合がある。これらの情報に関して利用可能な情報があれば、その情報を特徴量として認識しておくことができる。また、ＩＣＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｌｏｒ Ｃｏｎｓｏｒｔｉｕｍ）プロファイルのように、画像の色の特性を表す情報が内包されていれば、後工程の解析のためにこれらの情報を取得し、ガンマ特性や標準解析空間（例えばｓＲＧＢなど）への補正等を行っておく。
【００２２】
このように画像データに付加されている情報から関連づけが可能な画像の特徴量属性としては、カメラの機種情報からあらかじめ取得しておいた当該カメラの特性を利用して特定色（例えば肌色）データの分布を持たせておいたり、階調特性（明るめ、暗めなど）の傾向などを特徴量化しておき、利用することも考えられる。また、機種に特有なカメラ撮影モード、画像サイズ、フラッシュの有無などを元に、画像補正方法や補正パラメータを設定することが考えられる。たとえば、撮影モードとして人物、風景などを記録している場合は、画像データのシーン属性を特定することが可能であるし、画像サイズからシャープネス特性の補正方法を選択することが可能である。
【００２３】
特徴量抽出・解析部１２では、画像データ自体を解析して、該画像における複数の特徴量を抽出する。特徴量の例としては、ＲＧＢヒストグラムや、画像データのＨＳＬ（Ｈｕｅ：色相，Ｓａｔｕｒａｔｉｏｎ：彩度，Ｌｉｇｈｔｎｅｓｓ：明度）ヒストグラムなどから画像内の明度分布、彩度分布、カラーバランスを特徴づけたり、画像サイズ、画像データのエッジ量やエッジ強さなどから、画像シャープネスのエッジ度を特徴量として算出することができる。また、さらに詳細には、画像内部の肌色分布や、顔らしさの形状抽出などを組み合わせ、人物らしさの特徴量を抽出したり、該シーンが人物主体のシーンであるか否かなどのシーン分類特徴量の算出や、主要被写体の顔の大きさの算出、人物人数の算出などを行うことができる。さらには、画像内部の局所的な明るさの分布状態などからシーンの撮影状況（主要被写体の逆光状況、人物の大きさ等）などの特徴量を抽出すると共に、逆光状態特徴量の算出を行うことができる。
【００２４】
図２は、特徴量抽出・解析部１２で抽出される特徴量の分類キーの一例の説明図である。特徴量抽出・解析部１２で抽出される特徴量は、例えば図２に示すように大分類キー、中分類キー、そして図示しない小分類キーに特徴量を対応づけることができる。この例では大分類キーとして入力デバイス、画像ファイル、シーン・被写体、全体画質、出力デバイスなどのキーを設けている。また、各大分類キーについて、図２に示すような中分類キーを設けている。さらに、大分類キーと中分類キーの組み合わせに対して１ないし複数の小分類キーが設けられている。例えば大分類キーが「全体画質」、中分類キーが「彩度」の組み合わせに対して、小分類キーとして上述の「彩度ヒストグラム」あるいは「彩度ヒストグラム中央値」などを設けておくことができる。また、例えば大分類キーが「シーン・被写体」、中分類キーが「画像シーンタイプ」のとき、「人物」、「風景」、「物品」、「文字」などの小分類キーを設けておくことができる。特徴量抽出・解析部１２では、大分類キー、中分類キー、小分類キーで表されるすべての特徴量について取得できるとは限らないが、取得した特徴量については大分類キー、中分類キー、小分類キーなどと対応づけておくことができる。
【００２５】
図１に戻り、補正方法・補正量決定部１３では、特徴量抽出・解析部１２で抽出した特徴量を利用して、後述するデータベース１５を検索し、画像データに対して行う補正処理のための補正方法及び補正パラメータを決定する。データベース１５の検索は、上述の大分類キー、中分類キー、小分類キー、及び特徴量を用いて行うことができる。探索結果からは、場合により同じ補正方法であるにもかかわらず、異なる補正パラメータが抽出される場合も考えられる。あるいは補正方法自体が複数抽出される場合も考えられる。その場合は、特徴量の優先順位を決めておいたり、平均的な補正パラメータを使用するなど、調停処理を実施すればよい。図３は、調停処理の一例の説明図である。図３（Ａ）に示すように複数の補正方法及び補正パラメータ検索された場合には、図３（Ｂ）においてこれらの補正方法を合成して最適化し、また補正パラメータを連結して最適化する。そして、その最適化された補正方法及び補正パラメータを、使用する補正方法及び補正パラメータとして決定すればよい。あるいは、検索された複数の補正方法及び補正パラメータを図示しない表示手段に表示し、同じく図示しない選択手段によってユーザに選択してもらうように構成することもできる。さらに、補正方法及び補正パラメータを決定する際には、検索された補正方法及び補正パラメータを図示しない表示手段に表示してユーザによる修正などを受け付けるように構成してもよい。
【００２６】
図１に戻り、ユーザ環境補正量算出部１４は、補正処理後の画像を出力する出力デバイスの特性に応じた補正方法及び補正パラメータの決定を行うための情報を補正方法・補正量決定部１３に渡す。あるいは、補正後の画像を出力する出力デバイスの特性を示すプロファイルを、補正後の画像に付加する。
【００２７】
ユーザにとって好ましい画像変換を行う場合、ユーザがどのような出力デバイスで補正後の画像を鑑賞するかによって補正方法、あるいは補正パラメータが変わってくる場合がある。例えば、ユーザが自分のパソコンに付属しているモニタで見る場合、あるいは２５６色など限定された発色のモバイル端末で鑑賞する場合、さらにはプロジェクタを使用して表示する場合、Ａ社のインクジェットカラープリンタで出力する場合、Ｂ社のカラーレーザープリンタで出力する場合、など様々なケースが考えられ、それぞれの場合についてそれぞれの出力デバイスの特性によって画質や発色が変わってしまうことがある。
【００２８】
デジタルカメラの画像は、一般的にはｓＲＧＢと呼ばれる標準的なＲＧＢ色空間の特性によって扱われている。従って、画像の変換もｓＲＧＢの特性に基づいて解析、変換することが一般的である。しかしながら、前述したように、ユーザが最終的に得たい画像出力が、例えばユーザの持っているプリンタであれば、そのプリンタの特性を考慮しないで画質の補正を行うことは、色再現の点やシャープネス再現の点で異なる補正パラメータが選ばれてしまう場合がある。
【００２９】
従って、ユーザのカラープリンタなどの出力デバイスの機種特性（解像度、スクリーンなど）、あるいはＩＣＣプロファイル（色再現特性）をユーザ環境補正量算出部１４において取得し、そのような特性を加味した上で補正方法・補正量決定部１３において補正方法、補正パラメータを選択・決定するように構成している。
【００３０】
データベース１５は、過去の補正処理に関する情報を保持している。特に、上述の図２に示したような大分類キー、中分類キー、それに小分類キー及び特徴量に対応づけて補正方法及び補正パラメータを格納しておくことができる。図４は、データベース１５に格納されている補正処理に関する情報の一例の説明図である。図４（Ａ）に示す例では、図２に示す分類キーにおける大分類が「全体画質」中分類キーが「彩度」、小分類キーが「彩度ヒストグラム中央値」の場合の補正方法及び補正パラメータの一例を示している。この例では、画像全体の彩度に関するヒストグラムの中央値により、彩度補正処理を行うか否かの選択、および彩度補正処理のパラメータ（強調量）を決定する。例えば彩度ヒストグラム中央値Ｘが所定の値Ｃ１とＣ２の間の値である（Ｃ１＜Ｘ＜Ｃ２）場合には、彩度補正を行うこと、及び、そのときの補正パラメータとして「＋２」が保持されている。
【００３１】
図４（Ｂ）に示す例では、図２に示す分類キーにおける大分類キーが「全体画質」、中分類キーが「シャープネス」、小分類キーが「エッジ度」の場合の補正方法及び補正パラメータの一例を示している。この例では、画像全体のエッジ度（例えば微分フィルタによる強調量のヒストグラムを用いて算出する）により、平滑処理、シャープネス処理を行うか否かの選択、および補正処理のパラメータ（平滑量、強調量）を決定する。例えばエッジ度Ｙが所定の値Ｅ１よりも小さいときには、シャープネス補正処理を行うこと、及びそのときの補正パラメータとして「＋４」とすることが保持されている。また、エッジ度Ｙが所定の値Ｅ２とＥ３の間の値である（Ｅ２＜Ｙ＜Ｅ３）の場合には、平滑化処理を行うこと、及びそのときの補正パラメータとして「＋１」とすることが保持されている。さらにエッジ度Ｙが所定の値Ｅ３よりも大きいときには、平滑化処理とシャープネス補正処理の両方を行うこと、及び平滑化処理のときの補正パラメータとして「＋２」、シャープネス補正処理のときの補正パラメータとして「−２」とすることが保持されている。このように特徴量に応じて、補正方法のパラメータを変更するだけでなく、補正方法を変えて適用するような補正処理に関する情報を保持することもできる。
【００３２】
図４（Ｃ）に示す例では、図２に示す分類キーにおける大分類キーが「シーン・被写体」、中分類キーが「画像シーンタイプ」、小分類キーが「人物」、「風景」、「物品」、「文字」のときの補正方法及び補正パラメータの一例を示している。この例では、画像シーンタイプのそれぞれの値により、明度調整やコントラスト調整、シャープネス処理、肌色補正処理、黒文字補正処理などを行うか否か、及び明度調整やコントラスト調整、シャープネス処理についてはパラメータ調整量が保持されている。このときのパラメータ調整量は相対的な調整量を示しており、他の種々の特徴量から決定された調整量に対しての相対的なレベルを調整することを示している。例えば画像シーンタイプが「人物」である場合には、明度調整を行うとともに、そのときのパラメータ調整量として「＋２」が設定されている。これによって他の種々の特徴量から決定された明度調整のパラメータを２レベル明るめに設定することを示している。同時にシャープネス補正処理を行うとともに、そのときのパラメータ調整量として「−１」が設定されており、他の種々の特徴量から決定されたシャープネス補正処理のパラメータを１レベル低く設定することを示している。さらに画像シーンタイプが「人物」である場合に特有の肌色補正処理を実施することが設定されている。他の画像シーンタイプについても同様である。
【００３３】
データベース１５では、このように分類キーに補正方法及び補正パラメータを対応づけた補正処理に関する情報を保持しており、補正方法・補正量決定部１３からの分類キー及び特徴量を用いた検索によって補正処理に関する情報が取り出される。このデータベース１５に保持されている補正処理に関する情報は、ユーザによって過去に行われた補正処理において用いた補正方法及び補正パラメータに基づいて生成されるものである。例えば上述のように補正方法・補正量決定部１３によってデータベース１５から複数の補正方法及び補正パラメータが検索されたとき、補正方法・補正量決定部１３が自動的に決定した補正方法及び補正パラメータ、あるいは、ユーザに提示して選択あるいは修正された補正方法及び補正パラメータに基づいて、データベース１５に保持されている補正処理に関する情報を更新してゆくことができる。更新は、補正処理が行われる毎に行ってもよいし、あるいはある程度の期間や回数毎に行ってもよい。このように、過去に行われた補正処理の履歴を補正処理に関する情報に反映することによって、ユーザの好みの特性などを考慮した、ユーザにとって好ましい画像に補正することが可能となる。なお、データベース１５の具体的な構成方法については任意であり、種々の公知のデータベース技術を用いることができる。
【００３４】
またデータベース１５として、共用のデータベースと、それぞれのユーザ毎の個人ユーザ用のデータベースの２種類を備えておくことができる。そして、上述の補正処理の履歴によって補正処理に関する情報を更新する際には個人ユーザ用のデータベースを更新するように構成することができる。これによって、それぞれのユーザ毎に、ユーザの好みやユーザの環境などを反映した補正処理を行うことが可能になる。また、適宜、個人ユーザ用のデータベースから共用データベースへ補正処理に関する情報を反映させることもできる。これによって、その時々の一般的な好みの変化に対応することが可能になる。なお、共用のデータベースと個人ユーザ用のデータベースは、基本的には同様のものでよい。
【００３５】
図１に戻り、補正処理部１６は補正方法・補正量決定部１３によって決定された補正方法及び補正パラメータに従って、入力された画像データに対して実際に補正処理を行う。図１に示した例では、補正処理部１６は、ガンマ補正・色空間変換処理部２１，ハイライト・シャドー補正部２２、明暗コントラスト補正部２３、色相・カラーバランス補正部２４、彩度補正部２５、記憶色補正部２６、シャープネス・強調処理部２７などを有している。各処理部は、それぞれ公知の方法によってそれぞれの補正処理を行うように構成することができる。例えば彩度補正部２５においては、ＲＧＢの画像データをＨＳＬ変換したときの彩度の値に対して所定係数を乗算し、増加・減少の処理を施すといった手法や、明度の値に応じて割合を変える手法など種々の補正方法が考えられる。各処理部は、常にすべての処理が行われるわけではなく、補正方法・補正量決定部１３によって補正を行うと決定された処理だけが行われる。またその補正処理の内容も、補正方法・補正量決定部１３から渡される補正パラメータによって変更される。なお、補正処理後の画像データに対して、当該補正後の画像を出力する出力デバイスの特性を示すプロファイルをユーザ環境補正量算出部１４が付加する場合もある。
【００３６】
上述の本発明の画像処理システムの実施の一形態における動作について簡単に説明しておく。処理対象の画像データが入力されると、内包情報解析・補正部１１において当該画像データに付加されている情報が存在していれば、その付加されている情報を解析して、取得可能な特徴量についてはここで取得しておく。さらに特徴量抽出・解析部１２において、入力された画像データから特徴量を抽出する。内包情報解析・補正部１１及び特徴量抽出・解析部１２において抽出した特徴量は、例えば図２に示したような分類キーに対応づけ、補正方法・補正量決定部１３に渡される。
【００３７】
補正方法・補正量決定部１３では、特徴量抽出・解析部１２から渡される分類キー及び抽出した特徴量をもとにデータベース１５を検索し、１ないし複数の補正方法及び補正パラメータを取得する。さらに場合によっては、ユーザ環境補正量算出部１４からの出力デバイスに応じた補正情報なども取得する。そして、これらの情報から自動的に、あるいはユーザによる選択や修正などを経て、補正方法及び補正パラメータを決定し、補正処理部１６の各処理部のうち、補正処理を行うと決定した処理部に対して補正パラメータを渡して補正処理を指示する。これを受けて、補正処理部１６のうち補正処理を行うと決定した処理部は、入力された画像データに対して補正処理を実行し、出力する。
【００３８】
また、実際に行った補正方法及び補正パラメータについてはデータベース１５にフィードバックされ、データベース１５（個人ユーザ用のデータベースが存在する場合には個人ユーザ用データベース）の更新を行う。
【００３９】
上述の処理の具体例について、画像の状況を文章で定性的に記述して説明してみる。例えば、「一人の被写体を近景で撮影した画像であるが、逆光状態でフラッシュの使用もないことから、被写体人物の顔部の肌色が暗く写っている」という画像データが入力されたとする。この文章のような特徴量を内包情報解析・補正部１１及び特徴量抽出・解析部１２で抽出してデータベース１５を検索する。この場合、人物シーンに適した処理と逆光補正として、被写体人物の顔部分が明るく補正されるような補正方法及び補正パラメータを自動選択あるいはユーザによる選択修正によって決定する。また、例えば「空や海が主体の風景画像であるが、明度コントラストや彩度、シャープネス特徴量が弱い」画像データが入力された場合には、内包情報解析・補正部１１及び特徴量抽出・解析部１２による解析結果に基づく特徴量によりデータベース１５が検索され、該画像データに対して、明度コントラスト、彩度、シャープネスを強調する補正方法及び補正パラメータを自動選択あるいはユーザによる選択修正によって決定する。そして、決定された補正方法及び補正パラメータに基づいて、補正処理部１６において補正処理を行う。データベース１５には、過去の補正処理に関する情報が格納されているので、過去にユーザが行った補正処理に基づいて補正方法及び補正パラメータが決定されるため、ユーザの好みなどを反映した、ユーザに最適な補正処理を行うことができる。
【００４０】
図５は、本発明の画像処理システムの実施の一形態を画像処理サーバとして利用した場合の一例を示す構成図である。図中、３１は画像処理サーバ、３２，３３は情報処理端末、３４はネットワークである。ネットワーク３４は、インターネットやイントラネット、ＬＡＮなどで構成される通信路である。以下の説明ではネットワーク３４はインターネットであるものとして説明するが、これに限られるものではない。
【００４１】
画像処理サーバ３１は、例えば図１に示す画像処理システムを含むものである。画像処理サーバ３１はネットワーク３４に接続され、Ｗｅｂなどで作成された各クライアント（例えば情報処理端末３２，３３など）からのサービス要求を受け付け、またサービスを提供する機構を持つ。そのために図示しないアップロード手段やダウンロード手段などを有している。なおデータベース１５は、図５では画像処理サーバ３１とは別に図示しているが、画像処理サーバ３１内に含まれていてよい。あるいは、データベース１５はネットワーク３４に接続された別のデータベースサーバとして構成してもよい。
【００４２】
情報処理端末３２，３３は、少なくともネットワーク３４を通じて画像処理サーバ３１と通信可能な端末である。情報処理装置３２，３３としては、ユーザのパソコンであるのが一般的であるが、デジタルカメラ機能やインターネット通信機能を内蔵したモバイル端末などであってもかまわない。また、図示したようにスキャナやデジタルカメラなどの画像入力装置から画像を取り込める構成を有していてよい。もちろん、画像入力装置などは任意であり、例えば他のコンピュータやサーバなどから画像を取得してもよい。
【００４３】
図６は、本発明の画像処理システムの実施の一形態を画像処理サーバとして利用した場合の一例における動作例を示すフローチャートである。上述のような構成において、ここでは情報処理端末３２から画像処理サーバ３１へ画像データの補正処理を依頼し、補正処理結果を受け取るものとして説明する。もちろん、情報処理端末３３から画像処理サーバ３１へ依頼する場合も同様である。
【００４４】
情報処理端末３２から画像処理サーバ３１へ画像データの補正処理を依頼する際には、まずＳ６１において、ユーザは情報処理端末３２から、画像処理サーバ３１が提供するサービスにログインする。このとき、ユーザを識別するための識別情報を送信しておくとよい。また、例えば暗証などによってユーザの認証を行う場合もある。
【００４５】
画像処理サーバ３１にログインしたら、ユーザはＳ６２において所望のサービスメニューを選択する。説明のため、一例として“画像の自動補正”、“画像の自動補正（複数選択）”のサービスメニューから選択するものとして説明する。もちろん本発明のサービスメニューの例としてはこれに限ったものではない。
【００４６】
まず、ユーザがサービスメニューから“画像の自動補正”を選択したものとする。メニューの選択後、Ｓ６３において、ユーザは、ユーザが使用している情報処理端末３２内の補正対象となる画像データを含む画像ファイルを、画像処理サーバ３１へアップロードする操作を行う。もちろん、画像ファイルはユーザがアップロードの操作を行うことができる場所にあれば、操作を行っている情報処理端末３２内に存在していなくてもよい。画像ファイルのアップロード操作によって、処理対象の画像ファイルが画像処理サーバ３１によって管理可能となる。
【００４７】
アップロードされた画像ファイルは、Ｓ６４において、自動補正を行うジョブによって上述のような補正処理が実行される。すなわち自動補正ジョブでは、画像データを解析して各種の特徴量を抽出し、抽出した特徴量を用いてデータベース１５を検索して１ないし複数の補正方法及び補正パラメータを取得し、その中の１つを用いて画像ファイル内の画像データに対して補正処理を行う。データベース１５には、上述のように、ユーザが過去に行った補正処理に基づいて設定された補正方法及び補正パラメータが格納されている。そのため、過去の補正処理から考えてユーザにとっての好ましいと思われる補正方法や補正パラメータを選択あるいは算出し、その補正方法及び補正パラメータで補正処理を行うことができる。
【００４８】
補正処理を行ったら、補正後の画像データをユーザの情報処理端末３２にダウンロードし、Ｓ６５において、補正後の結果画像を表示する。このとき、補正前の元画像のサムネールを作成し、ユーザの情報処理端末３２に元画像のサムネールと共に結果画像を表示することも可能である。これによって補正前後の画像を比較して補正処理の適否をユーザが判断しやすくなる。
【００４９】
Ｓ６５において表示された結果画像をユーザが参照し、Ｓ６６においてユーザは補正処理の適否を判断して入力し、判断結果が画像処理サーバ３１に伝えられる。もしユーザが補正画像に納得しない場合は、Ｓ６４へ戻り、他の補正方法およびパラメータ候補から他の１つを選択して再度の補正処理を行い、ユーザの情報処理端末３２に元画像のサムネールと共に表示して、ユーザの判断を伺う。このような処理を、ユーザが満足するか、あるいは候補が無くなるまで繰り返す。
【００５０】
なお、ユーザが補正画像に納得しない場合に、いくつかの特徴量やパラメータを情報処理端末３２に表示し、ユーザの気に入らなかった特徴量を元に次候補を選択するなどの処理を行うと、効率的に次候補を選択することができる。例えば、“全体の明るさ”という特徴量に対し、“明るい”，“暗い”といった補正パラメータを指示することなどが挙げられる。
【００５１】
ユーザが納得した補正画像が得られたら、その旨を入力することで画像処理サーバ３１に伝えられる。補正画像は既に情報処理端末３２にダウンロードされているので、ユーザは補正後の画像データを利用可能である。ユーザが納得した旨を受けた画像処理サーバ３１では、Ｓ６７において、ユーザが納得した補正処理時に使用した補正方法及び補正パラメータをデータベース１５に追加記録あるいはデータベース１５を更新する。また、当該補正前後の画像を保存しておくこともできる。このようにして、一連の画像データに対する補正処理を終える。
【００５２】
上述の動作例では、ユーザが納得しない場合でも補正後の画像をいちいち情報処理端末３２にダウンロードしているが、速度向上のため、例えばＳ６５においてユーザに提示する画像は補正後の画像のサムネールとし、ユーザの納得が得られた後にＳ６７において実際の補正後の画像を情報処理端末３２にダウンロードするように構成することができる。またこの場合、サムネールを提示する際には最初に画像データからサムネール画像を生成し、そのサムネール画像に対して補正処理を施すことによって、さらに高速化が可能である。
【００５３】
また、検索によって複数の補正方法及び補正パラメータが得られている場合に、それらについて補正処理を行って補正後の画像を用意しておくことができる。図７は、補正画像を複数用意しておく場合の一例の説明図である。図７に示すように、検索によって得られたそれぞれの補正方法及び補正パラメータを用いて、入力された画像データの補正処理を行い、補正画像を得ておく。そして、ユーザに提供する際に、例えばサムネールを作成して情報処理端末３２へ元画像のサムネールとともに表示させることができる。例えばある１つの補正方法及び補正パラメータを用いて補正処理を行い、ユーザに提示している間に、他の補正方法及び補正パラメータを用いた補正処理を行っておくことができる。これによって、ユーザが提示している補正画像に納得しなかった場合に、次の補正画像を提示するまでの時間（ターンアラウンドタイム）を短縮し、操作性のよいシステムを構築することが可能である。
【００５４】
Ｓ６２において、ユーザがサービスメニューから“画像の自動補正（複数選択）”を選択したものとする。メニューの選択後、Ｓ７１において、上述のＳ６３と同様にユーザは補正対象となる画像データを含む画像ファイルを画像処理サーバ３１へアップロードする操作を行う。アップロードされた画像ファイルは、上述の“画像の自動補正”を選択した場合と同様に、画像データが解析されて各種の特徴量が抽出され、抽出された特徴量を用いてデータベース１５の検索が行われて１ないし複数の補正方法及び補正パラメータが取得される。この“画像の自動補正（複数選択）”では、Ｓ７２において、取得された複数の補正方法及び補正パラメータの中から１ないし複数個を一度に決定あるいは選択し、それぞれの補正方法及び補正パラメータによって補正処理を行い、１ないし複数の補正後の画像データを得る。この１ないし複数の補正後の画像データを情報処理端末３２にダウンロードし、Ｓ７３において１ないし複数の補正結果を表示させる。
【００５５】
図８は、複数の補正画像の候補を複数同時に表示させた表示画面の一例の説明図である。この例では、元画像と補正画像とを比較できるように、元画像の周囲に補正画像を配置している。ユーザはそれぞれの補正画像と元画像とを比較し、好みにあった補正画像の選択が可能である。もちろん、表示方法は任意であり、図８に示す例に限られるものではないが、元画像と比較できるように配置することで、補正効果が比較できるようにすることが望ましい。このように複数の中から選択可能にすることは、ユーザにとって好ましい画像候補を一度に判別し、比較しながら選択できることになり、ユーザにとってより良好なサービスとなる。
【００５６】
このように“画像の自動補正（複数選択）”では、補正画像が複数表示されるので、Ｓ７４において、ユーザは表示されている１ないし複数の補正結果から所望の画像を選択すればよい。あるいは、表示された補正結果では納得しない旨を入力することができる。このユーザの意向は画像処理サーバ３１に伝えられる。
【００５７】
もし、ユーザが複数の補正結果に納得しない場合には、Ｓ７２に戻って、検索結果中に他の補正方法及び補正パラメータが存在していれば、その中から１ないし複数個を選択して上述のように補正処理を行い、ユーザに提示すればよい。また、ユーザが納得しない旨を入力する際に、上述のようにいくつかの特徴量やパラメータを情報処理端末３２に表示し、ユーザの気に入らなかった特徴量を元に次候補を選択するなどの処理を行うように構成することもできる。
【００５８】
ユーザが納得した補正画像が選択されたら、画像処理サーバ３１はＳ７５において、ユーザが納得した補正画像に対して使用した補正方法及び補正パラメータをデータベース１５に追加記録あるいはデータベース１５を更新する。また、当該補正前後の画像を保存しておくこともできる。このようにして、一連の画像データに対する補正処理を終える。
【００５９】
上述の動作例では、１ないし複数の補正後の画像データをダウンロードして表示させることとしたが、速度向上のため、例えばＳ７３においてユーザに提示する１ないし複数の補正後の画像をサムネール画像に変換してダウンロードし、ユーザが選択した後に、その選択された補正後の画像をＳ７５において情報処理端末３２にダウンロードするように構成してもよい。またこの場合、最初に入力された画像データからサムネール画像を生成し、そのサムネール画像に対してそれぞれの補正処理を施すことによって、さらに高速化が可能である。
【００６０】
図９は、データベースに対する補正結果の登録更新処理の概要の説明図である。データベース１５は、初期状態では、例えば図４に示したような特徴量の分類にしたがって、あらかじめ設定された補正方法や補正パラメータが格納されている。上述の動作例で説明したように、補正後の画像あるいはそのサムネールをユーザに提示して、所望する補正画像であると了承あるいは選択された場合には、その補正画像を生成する際に用いた補正方法及び補正パラメータ、それに当該補正前の画像データの特徴量とともにデータベース１５に履歴として追加・更新される。また、原画像と補正画像等もデータベース１５に記録してもよい。
【００６１】
このとき、図９に示すようにデータベース１５が共用のデータベースと、それぞれのユーザ毎の個人ユーザ用のデータベースによって構成されている場合には、このような履歴や原画像、補正画像などは個人ユーザ用のデータベースに記録することができる。原画像や補正画像などについてもデータベース１５で管理することによって、例えば内包情報解析・補正部１１や特徴量抽出・解析部１２で解析した特徴量と対応づけて原画像や補正画像の管理をユーザが行うことができるという利便性も提供できる。
【００６２】
上述のようにして補正処理の履歴をデータベース１５に追加してゆくだけでは、ユーザ個人の好みや、ユーザの選択による学習効果が反映されず、補正方法や補正パラメータが画一化されてしまう。したがって、最終的にユーザが選択した画像の補正方法、補正パラメータをデータベース１５にフィードバックすることが必要である。
【００６３】
図１０は、ユーザにより選択された補正方法及び補正パラメータのデータベースへ反映した場合の補正方法及び補正パラメータの具体例の説明図である。図１０には、大分類キーが「全体画質に関する分類」、中分類キーが「彩度」の例を示している。この例では、特徴量の小分類に対して、実際にユーザが選択した彩度調整量の平均値（彩度補正履歴ａｖｅ）が格納されている。例えば、彩度ヒストグラム中央値Ｘが所定の値Ｃ３より大きい（Ｃ３＜Ｘ）場合、予め設定されている彩度補正のパラメータは「−１」であるが、これまでの履歴の平均値は「−０．２」となっており、補正レベルを０としたパラメータの方が良さそうであることを示している。これによって、例えば当該ユーザについては彩度補正処理を行う場合の補正パラメータを「０」（あるいは彩度補正処理を行わない）とすることができる。このようにして、ユーザの好みに応じた補正処理を行うことができる。
【００６４】
このような補正処理の履歴に応じた補正方法及び補正パラメータの更新は、例えばユーザが画像の補正を実行するたびに行ったり、あるいは、ある程度履歴を蓄積しておいて、所定のタイミングで更新を行うことができる。所定のタイミングとしては、所定の時間の経過や、所定回数の補正処理の実行などとすることができる。また、更新の際に参照する履歴については、それまで設定されているユーザ毎の補正方法及び補正パラメータとそれまでに記録されている履歴すべてを反映させるほか、例えば所定期間の履歴のみによってユーザ毎の補正方法及び補正パラメータの更新を行うことができる。例えば好みの変化が激しい場合には、過去の履歴に引きずられるよりも、最近の履歴によって補正方法及び補正パラメータの更新を行った方が、現在のユーザの好みをよりよく反映することができる。
【００６５】
上述のようなユーザによって過去に行われた補正処理に関する情報は、図９に示す共用のデータベースに記録しておくことも可能であるが、それぞれのユーザ毎の好みを反映するため、個人ユーザ用のデータベースに記録させることが望ましい。これによって、それぞれのユーザの好みを反映した補正情報を参照し、補正方法や補正パラメータを決定することが可能である。そして、個人ユーザ用のデータベースに履歴に基づいた補正方法及び補正パラメータが存在しない特徴量に関しては共用のデータベースを参照するように構成すればよい。また、例えば個人ユーザ用のデータベースからの検索結果による補正方法及び補正パラメータではユーザが了解しない場合にも、共用のデータベースを検索して一般的な補正方法及び補正パラメータを取得するように構成してもよい。あるいは、両方のデータベースから検索結果を取得しておいて、これらの検索結果から所定の優先順位などに従って、利用する補正方法及び補正パラメータを選択、決定すればよい。
【００６６】
また、それぞれのユーザ毎に蓄積している履歴や補正方法及び補正パラメータを、共用のデータベースに反映することも可能である。多くのユーザにより利用されているシステムでは、ユーザ全体の好みの傾向を把握することが可能であり、その全体の好みの傾向を共用のデータベースに反映することができる。これによって、時流にあった補正処理を行うことが可能になる。
【００６７】
図１１は、ユーザ毎の補正方法及び補正パラメータの選択を行う具体例の説明図である。図１１（Ａ）には、補正対象となる画像が示されている。この画像データの特徴量解析から、１人の人物を中心にして写したシーンであるが、逆光状態であるため、主要被写体がアンダーに写ってしまっている状態であるという特徴量が取得される。具体的には、図２に示した分類キーに従っていえば、例えば大分類キーがシーン・被写体について、中分類キーが画像シーンタイプでは小分類キーが「人物」、同様に、「主要被写体有無」では「あり」、「主要被写体大きさ」では「中」、「主要被写体光条件」では「逆光」、「人物人数」では「１人」、…となる。
【００６８】
このような画像データに対しては、一般的な補正方法では、人物を中心として逆光状態によりアンダーになっている人物部を明るめに補正する。従って共用のデータベースからは、そのような補正を行う補正方法、およびパラメータが選択・決定される。このような一般的な補正方法及び補正パラメータにより補正した結果を図１１（Ｂ）に示している。
【００６９】
しかしながら、このような一般的な補正方法及び補正パラメータを用いて補正処理を行うと、人物の顔は明るくなるが、背景が飛びすぎる傾向になる。このような背景の飛びを嫌うユーザは、例えば図１１（Ｃ）に示すように若干弱めの補正をかけた画像を好む。このような場合、個人ユーザ用のデータベースにこのような補正処理に関する情報が登録されていなければ、まず図１１（Ｂ）に示す補正画像が提示され、了解せずに再補正を指示し、図１１（Ｃ）に示す補正画像が提示された時点で了解する指示を行えばよい。このような補正の履歴がデータベース１５に蓄積され、個人ユーザ用のデータベースに反映される。
【００７０】
個人ユーザ用のデータベースに過去の補正情報が反映された後、再び同様の画像（例えば図１１（Ａ）に示す画像）が入力された場合、抽出した特徴量によるデータベースの検索によって、個人ユーザ用のデータベースから得られた検索結果を優先して選択・決定することができる。これによって、最初から図１１（Ｃ）に示す補正画像をユーザに提示することができる。
【００７１】
このように、図１１に示した例では、共用のデータベース中の補正方法及び補正パラメータでは、画像全体の明度・コントラストを変更するために、人物の顔の明るさを補正すると相対的に背景などの風景のディテールが失われてしまうことになり、シーンの雰囲気が生かせないことが多い。このユーザは、人物よりむしろ背景をバランス良く補正する傾向があると理解し、図１１（Ｃ）に示すように人物の顔はやや暗いものの、背景の飛びを抑えた補正画像を第１候補としてユーザに提示することができる。このようにして、ユーザの好みを反映した補正処理が可能になる。
【００７２】
以上、本発明の画像処理システム及び本発明の画像処理システムを含む画像処理サーバについて説明した。以下、これらの変形例についていくつか示す。図１２は、補正処理済みの画像に対する扱いの一例の説明図である。上述のような画像補正処理を実行すると、元画像に対して何らかの画像変換が加えられことになる。既に画像解析、画像変換を施された変換画像であるにかかわらず、後で補正後の画像データが再度入力される事態も想定される。この場合、上述のような補正処理において、画像データに対し、補正処理を行ったことを示す情報を補正後の画像データに付加しておき、再入力されたときに内包情報解析・補正部１１あるいは特徴量抽出・解析部１２においてこの情報を取得することが考えられる。
【００７３】
例えば図１２（Ａ）に示すように、補正処理を行ったことを示す情報を、画像の蓄積フォーマットに内包するタグ情報の形式で付加することができる。あるいは、図１２（Ｂ）に示すように例えばＷａｔｅｒ Ｍａｒｋｉｎｇと呼ばれる画像データ自身に情報を埋め込む方式でもかまわない。この場合、例えば特徴量抽出・解析部１２などにおいて、埋め込まれた情報を復元する処理を行えばよい。
【００７４】
入力された画像データから、既に補正処理済みである旨の情報が取得された場合には、ユーザに対して補正済である旨を通知して、再度の補正を行うか否かを判断してもらうように構成することができる。このような通知を行うか否かや、再度の補正を許可するか拒否するかなどを設定可能に構成しておいてもよい。
【００７５】
また別の変形例を説明する。上述の説明ではユーザに提示する画像とダウンロードする画像とは、サムネールか否かの違いはあるものの実質的には同じ画像であったが、例えばプリンタなどによって出力する画像に補正しようとする場合、上述のように出力デバイス毎に発色などが異なるため、画面上で選択した補正画像とプリントアウトされた画像とでは見えが異なる場合がある。
【００７６】
従来から、特定の環境で利用できるものとして、異なるデバイス間での色の違いの問題を解決する方法にＣｏｌｏｒ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ（以降ＣＭＳとよぶ）が存在している。アップル社のＭａｃｉｎｔｏｓｈ（登録商標）システムではＣｏｌｏｒＳｙｎｃ，マイクロソフト社のＷｉｎｄｏｗｓ（登録商標）システムではＩＣＭといわれるシステムが知られている。これらは、画像を表示、プリントする場合に、入力側のデバイスのプロファイル（ソースプロファイル）と出力側のデバイスのプロファイル（ターゲットプロファイル）をそれぞれ入力、あるいは準備し、それらを用いて色変換することで、色の一致性を保証しようというシステムである。
【００７７】
本システム（あるいは本サーバ）では、例えば色の一致性に関しては、上述のＣＭＳを利用して、補正処理時に、ユーザが出力したいデバイスのプロファイルを用いて、ユーザが一時的に確認する際には表示画面上で出力デバイスにおける色再現（ソフトプルーフィング）を行って、ユーザに出力時の見えを提示することが可能である。また、シャープネスなどのモニタ画像とプリント画像との見え方の違いに関しては、データベースに機種データを有しておき、ユーザによる選択時とダウンロード時とでシャープネス補正量などを加減することによって、できるだけ見えを似せることも可能である。
【００７８】
また、ユーザがプリンタのプロファイルを持たない場合は、ユーザの指定するカラープリンタ等のデバイスのＩＣＣプロファイル等をインターネット上から検索し、入手して処理することができる。あるいは、あらかじめデータベースとしてプロファイルを保持しておいて処理し、必要に応じてユーザに送付することも可能である。
【００７９】
【発明の効果】
以上の説明から明らかなように、本発明によれば、ユーザがデジタルカメラ等で撮影した画像など、さまざまな入力画像データに対して、自動解析して好ましい画像に補正処理を行うことができるとともに、補正処理の際にユーザの好みを反映した補正効果を得ることができるという効果がある。また、ユーザ毎に補正方法及び補正パラメータを保持することによって、より特定ユーザの好みを反映した補正効果を得ることもできる。さらに、インターネットを介して、ユーザの画像の蓄積、管理についても、補正処理と併用した環境としてユーザに提供することができるという効果もある。
【図面の簡単な説明】
【図１】 本発明の画像処理システムの実施の一形態を示すブロック構成図である。
【図２】 特徴量抽出・解析部１２で抽出される特徴量の分類キーの一例の説明図である。
【図３】 調停処理の一例の説明図である。
【図４】 データベース１５に格納されている補正処理に関する情報の一例の説明図である。
【図５】 本発明の画像処理システムの実施の一形態を画像処理サーバとして利用した場合の一例を示す構成図である。
【図６】 本発明の画像処理システムの実施の一形態を画像処理サーバとして利用した場合の一例における動作例を示すフローチャートである。
【図７】 補正画像を複数用意しておく場合の一例の説明図である。
【図８】 複数の補正画像の候補を複数同時に表示させた表示画面の一例の説明図である。
【図９】 データベースに対する補正結果の登録更新処理の概要の説明図である。
【図１０】 ユーザにより選択された補正方法及び補正パラメータのデータベースへ反映した場合の補正方法及び補正パラメータの具体例の説明図である。
【図１１】 ユーザ毎の補正方法及び補正パラメータの選択を行う具体例の説明図である。
【図１２】 補正処理済みの画像に対する扱いの一例の説明図である。
【符号の説明】
１１…内包情報解析・補正部、１２…特徴量抽出・解析部、１３…補正方法・補正量決定部、１４…ユーザ環境補正量算出部、１５…データベース、１６…補正処理部、２１…ガンマ補正・色空間変換処理部、２２…ハイライト・シャドー補正部、２３…明暗コントラスト補正部、２４…色相・カラーバランス補正部、２５…彩度補正部、２６…記憶色補正部、２７…シャープネス・強調処理部、３１…画像処理サーバ、３２，３３…情報処理端末、３４…ネットワーク。
Claims (17)
- 画像に対して補正処理を行う画像処理システムにおいて、過去の補正処理に関する情報を保持するデータベースと、処理対象の画像から複数の特徴量を求める特徴量抽出手段と、該特徴量抽出手段で抽出した特徴量を利用して前記データベースを参照し前記画像に対して行う補正処理のための補正方法及び補正パラメータを決定する決定手段を有し、前記データベースは、共用と個人ユーザ用の２種類のデータベースによって構成され、前記共用のデータベースは、画像の特徴量を含む複数の分類キーに対応して前記補正方法及び前記補正パラメータを格納しており、また個人ユーザ用のデータベースは前記決定手段による補正方法及び補正パラメータの決定結果を過去の補正処理に関する情報として蓄積し、前記個人ユーザ用のデータベースから共用データベースへ補正処理に関する情報を反映させることを特徴とする画像処理システム。
- 前記決定手段は、補正方法及び補正パラメータの候補に関する情報をユーザに提供するとともにユーザによる補正方法及び補正パラメータの決定指示あるいは選択指示を受けて利用する補正方法及び補正パラメータを決定することを特徴とする請求項１に記載の画像処理システム。
- 前記特徴量抽出手段は、前記画像の特徴を解析する際に、前記画像に該画像の特徴量を示すタグが付加されているか否かを判定し、該判定結果によって処理を異ならせることを特徴とする請求項１または請求項２に記載の画像処理システム。
- 前記特徴量抽出手段は、前記画像の特徴を解析する際に、前記画像に対して補正処理がなされていることを示すタグの付加、あるいは画像に埋め込まれた情報の存在の有無を判定し、該判定結果によって処理を異ならせることを特徴とする請求項１ないし請求項３のいずれか１項に記載の画像処理システム。
- さらに、前記決定手段で決定された補正方法及び補正パラメータを用いて前記画像に対して補正処理を行う処理手段を有することを特徴とする請求項１ないし請求項４のいずれか１項に記載の画像処理システム。
- 前記決定手段は、前記補正方法及び前記補正パラメータとして複数を決定し、前記処理手段は、前記決定手段で決定されたそれぞれの補正方法及び補正パラメータに従って前記画像をそれぞれ変換して複数の変換画像を生成することを特徴とする請求項５に記載の画像処理システム。
- 前記処理手段で生成された複数の前記変換画像をユーザから選択可能に表示する表示手段と、表示された前記変換画像のうちからユーザが選択可能な選択手段を有し、前記データベースは、前記選択手段によってユーザが選択した変換画像に対応する過去の補正処理に関する情報を更新することを特徴とする請求項６に記載の画像処理システム。
- 前記決定手段は、補正後の画像を出力する出力デバイスの特性にあわせた補正方法及び補正パラメータを決定することを特徴とする請求項１ないし請求項７のいずれか１項に記載の画像処理システム。
- 前記処理手段は、補正後の画像を出力する出力デバイスの特性を示すプロファイルを前記補正後の画像とともに出力することを特徴とする請求項５ないし請求項７のいずれか１項に記載の画像処理システム。
- インターネットに接続された情報処理端末から画像に対する処理の依頼を受け付ける画像処理装置サーバにおいて、前記情報処理端末からの画像のアップロードを受け付けるアップロード手段と、過去の補正処理に関する情報を保持するデータベースと、アップロードされた画像から複数の特徴量を求める特徴量抽出手段と、該特徴量抽出手段で抽出した特徴量を利用して前記データベースを参照し前記画像に対して行う補正処理のための補正方法及び補正パラメータを決定する決定手段と、前記決定手段で決定された補正方法及び補正パラメータに従って前記画像に対して処理を行う処理手段を有し、前記データベースは、共用と個人ユーザ用の２種類のデータベースによって構成され、前記共用のデータベースは、画像の特徴量を含む複数の分類キーに対応して前記補正方法及び前記補正パラメータを格納しており、また個人ユーザ用のデータベースは前記決定手段による補正方法及び補正パラメータの決定結果を過去の補正処理に関する情報として蓄積し、前記個人ユーザ用のデータベースから共用データベースへ補正処理に関する情報を反映させることを特徴とする画像処理サーバ。
- 前記特徴量抽出手段は、前記画像の特徴を解析する際に、アップロードされた画像に該画像の特徴量を示すタグが付加されているか否かを判定し、該判定結果によって処理を異ならせることを特徴とする請求項１０に記載の画像処理サーバ。
- 前記特徴量抽出手段は、前記画像の特徴を解析する際に、前記画像に対して補正処理がなされていることを示すタグの付加、あるいは画像に埋め込まれた情報の存在の有無を判定し、該判定結果によって処理を異ならせることを特徴とする請求項１０または請求項１１に記載の画像処理サーバ。
- 前記決定手段は、前記補正方法及び前記補正パラメータとして複数を決定し、前記処理手段は、前記決定手段で決定されたそれぞれの補正方法及び補正パラメータに従って前記画像をそれぞれ変換して複数の変換画像を生成することを特徴とする請求項１０ないし請求項１２のいずれか１項に記載の画像処理サーバ。
- 前記処理手段で生成された複数の前記変換画像を前記情報処理端末へダウンロードさせるダウンロード手段と、ダウンロードした前記変換画像のうちからユーザが選択した変換画像に関する情報を取得する取得手段を有し、前記データベースは、前記取得手段によって取得した前記ユーザが選択した変換画像に関する情報に従って過去の補正処理に関する情報を更新することを特徴とする請求項１３に記載の画像処理サーバ。
- 前記複数の変換画像はサムネイル画像であり、前記決定手段は、前記取得手段により取得したユーザが選択した変換画像に関する情報に従って最終の補正方法及び補正パラメータを決定し、前記処理手段は前記決定手段で決定した最終の補正方法及び補正パラメータに従って補正処理を行って最終補正画像を生成し、前記ダウンロード手段は前記最終補正画像をダウンロードすることを特徴とする請求項１３または請求項１４に記載の画像処理サーバ。
- 前記決定手段は、補正後の画像を出力する出力デバイスの特性にあわせた補正方法及び補正パラメータを決定することを特徴とする請求項１０ないし請求項１５のいずれか１項に記載の画像処理サーバ。
- 前記処理手段は、補正後の画像を出力する出力デバイスの特性を示すプロファイルを前記補正後の画像とともに出力することを特徴とする請求項１０ないし請求項１５のいずれか１項に記載の画像処理サーバ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001384786A JP3991196B2 (ja) | 2001-12-18 | 2001-12-18 | 画像処理システム及び画像処理サーバ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001384786A JP3991196B2 (ja) | 2001-12-18 | 2001-12-18 | 画像処理システム及び画像処理サーバ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003187215A JP2003187215A (ja) | 2003-07-04 |
| JP3991196B2 true JP3991196B2 (ja) | 2007-10-17 |
Family
ID=27594436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001384786A Expired - Fee Related JP3991196B2 (ja) | 2001-12-18 | 2001-12-18 | 画像処理システム及び画像処理サーバ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3991196B2 (ja) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4517788B2 (ja) * | 2003-11-12 | 2010-08-04 | セイコーエプソン株式会社 | 画像分類装置、画像分類方法、画像選択装置、画像選択方法および記録媒体 |
| JP2005190435A (ja) * | 2003-12-26 | 2005-07-14 | Konica Minolta Photo Imaging Inc | 画像処理方法、画像処理装置及び画像記録装置 |
| JP2005202469A (ja) * | 2004-01-13 | 2005-07-28 | Fuji Xerox Co Ltd | 画像処理装置、画像処理方法、およびプログラム |
| JP2005234839A (ja) * | 2004-02-19 | 2005-09-02 | Ricoh Co Ltd | デジタル画像処理方法およびプログラム |
| JP2006033646A (ja) * | 2004-07-20 | 2006-02-02 | Sony Corp | 情報処理システム及び情報処理方法、並びにコンピュータプログラム |
| US20060256392A1 (en) * | 2005-05-13 | 2006-11-16 | Microsoft Corporation | Scanning systems and methods |
| JP4839952B2 (ja) | 2006-05-01 | 2011-12-21 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| US8107728B2 (en) | 2006-09-19 | 2012-01-31 | Sharp Kabushiki Kaisha | Image processing apparatus, image forming apparatus, image processing system, computer program and recording medium |
| JP4543067B2 (ja) * | 2006-09-19 | 2010-09-15 | シャープ株式会社 | 画像処理装置、画像形成装置、画像読取装置、画像処理システム、画像処理方法、コンピュータプログラム、及び記録媒体 |
| JP5022979B2 (ja) * | 2007-07-12 | 2012-09-12 | 株式会社リコー | 画像処理装置、画像処理方法およびプログラム |
| US8050505B2 (en) | 2007-08-01 | 2011-11-01 | Sharp Kabushiki Kaisha | Image processing apparatus, image processing system, image processing method, and image forming apparatus |
| US8159716B2 (en) | 2007-08-31 | 2012-04-17 | Brother Kogyo Kabushiki Kaisha | Image processing device performing image correction by using a plurality of sample images |
| JP4442664B2 (ja) | 2007-08-31 | 2010-03-31 | ブラザー工業株式会社 | 画像処理装置、画像処理方法、画像処理プログラム |
| US8174731B2 (en) | 2007-08-31 | 2012-05-08 | Brother Kogyo Kabushiki Kaisha | Image processing device outputting image for selecting sample image for image correction |
| JP4831020B2 (ja) * | 2007-08-31 | 2011-12-07 | ブラザー工業株式会社 | 画像処理装置、画像処理方法、画像処理プログラム |
| JP4433017B2 (ja) | 2007-08-31 | 2010-03-17 | ブラザー工業株式会社 | 画像処理装置及び画像処理プログラム |
| US8094343B2 (en) | 2007-08-31 | 2012-01-10 | Brother Kogyo Kabushiki Kaisha | Image processor |
| JP4793356B2 (ja) | 2007-08-31 | 2011-10-12 | ブラザー工業株式会社 | 画像処理装置及び画像処理プログラム |
| JP4399486B2 (ja) | 2007-09-27 | 2010-01-13 | シャープ株式会社 | 画像処理装置、外部記憶装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、プログラムおよびその記録媒体 |
| JP5264155B2 (ja) * | 2007-11-29 | 2013-08-14 | キヤノン株式会社 | プログラム、ファイル管理装置及びファイル管理方法 |
| JP5412038B2 (ja) * | 2008-01-29 | 2014-02-12 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置および画像情報保存方法 |
| US8264585B2 (en) | 2008-01-31 | 2012-09-11 | Panasonic Corporation | Imaging apparatus capable of readily specifying undesirable photographing parameters form auto photographing parameters |
| JP5096194B2 (ja) * | 2008-03-17 | 2012-12-12 | 株式会社リコー | データ処理装置、プログラムおよびデータ処理方法 |
| JP4974968B2 (ja) * | 2008-05-28 | 2012-07-11 | 株式会社リコー | 画像処理システム、画像処理方法、画像処理プログラムおよび記録媒体 |
| JP5117982B2 (ja) * | 2008-10-07 | 2013-01-16 | 株式会社リコー | 情報抽出装置、情報抽出方法、プログラムおよび記録媒体 |
| JP4839389B2 (ja) * | 2009-03-31 | 2011-12-21 | 富士フイルム株式会社 | デジタルカメラ及び画像処理装置 |
| JP2010251817A (ja) * | 2009-04-10 | 2010-11-04 | Sony Corp | 撮影装置および方法、並びにプログラム |
| JP5531646B2 (ja) * | 2010-01-28 | 2014-06-25 | 日本電気株式会社 | 携帯端末画像自動補正システム、その方法及びそのプログラム |
| JP5849976B2 (ja) * | 2012-03-30 | 2016-02-03 | カシオ計算機株式会社 | ソーシャル・ネットワーク・サービスシステム及び画像表示方法 |
| JP6103826B2 (ja) * | 2012-06-08 | 2017-03-29 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP2016067040A (ja) * | 2015-12-21 | 2016-04-28 | セイコーエプソン株式会社 | 画像データ出力調整装置、画像データ出力調整方法、画像データ出力調整プログラムおよび撮像装置 |
| WO2017134751A1 (ja) * | 2016-02-02 | 2017-08-10 | オリンパス株式会社 | 撮像装置、画像処理装置、画像処理方法および画像処理プログラム |
| KR20180006691A (ko) * | 2016-07-11 | 2018-01-19 | 주식회사 스토어카메라 | 온라인몰 업로드용 이미지 획득방법 및 획득프로그램 |
| JP7414564B2 (ja) | 2020-02-04 | 2024-01-16 | キヤノン株式会社 | 情報処理装置及び方法 |
| JP7496935B2 (ja) | 2021-06-07 | 2024-06-07 | 三菱電機株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63228874A (ja) * | 1987-03-17 | 1988-09-22 | Nec Corp | 画像フアイル方式とその装置 |
| JPH04117069A (ja) * | 1990-09-03 | 1992-04-17 | Hitachi Ltd | 画像処理装置における画像合成方法 |
| JP3869910B2 (ja) * | 1997-07-14 | 2007-01-17 | キヤノン株式会社 | 画像処理方法及び装置及び記憶媒体 |
| JP4010722B2 (ja) * | 1998-11-25 | 2007-11-21 | 富士フイルム株式会社 | 検索システムおよび画像処理装置 |
| JP3853107B2 (ja) * | 1999-06-03 | 2006-12-06 | 富士写真フイルム株式会社 | 画像処理装置 |
| JP2001325601A (ja) * | 2000-05-17 | 2001-11-22 | Konica Corp | 画像編集システム及び画像編集装置 |
-
2001
- 2001-12-18 JP JP2001384786A patent/JP3991196B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003187215A (ja) | 2003-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3991196B2 (ja) | 画像処理システム及び画像処理サーバ | |
| US7522770B2 (en) | Methods and apparatus for automated image correction for digital image acquisition | |
| US6839064B2 (en) | Image file generation | |
| US6011547A (en) | Method and apparatus for reproducing image from data obtained by digital camera and digital camera used therefor | |
| JP4854748B2 (ja) | 現像サーバおよび現像方法 | |
| US7483168B2 (en) | Apparatus, method, signal and computer program product configured to provide output image adjustment of an image file | |
| US7924472B2 (en) | Update control of image processing control data | |
| US20040169873A1 (en) | Automatic determination of custom parameters based on scanned image data | |
| US20020140693A1 (en) | Output image adjustment method, apparatus and computer program product for graphics files | |
| WO2000011606A1 (en) | Image data processor, medium on which set of image data is recorded, medium on which image data processing program is recorded, and image data processing method | |
| US20010005427A1 (en) | Method, apparatus and recording medium for image processing | |
| US7372595B1 (en) | Flexible image rendering system utilizing intermediate device-independent unrendered image data | |
| KR100668267B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 | |
| JP5156423B2 (ja) | 色処理装置および色処理方法 | |
| US20040135887A1 (en) | Manipulating digital images based on a user profile | |
| JP2003085556A (ja) | 画像処理装置およびプログラム | |
| JP2003052002A (ja) | 画像ファイルの出力画像調整 | |
| JP2002314724A (ja) | ユーザの嗜好に応じた画像ファイルの生成 | |
| US20040057617A1 (en) | Image data supply method, recording apparatus and program | |
| JP2005202749A (ja) | 画像処理方法、画像処理装置及び画像記録装置 | |
| JP2024047232A (ja) | 画像処理方法、及び画像処理装置 | |
| Walker et al. | Complete Guide to Digital Color Correction | |
| JP2004357001A (ja) | 画像処理方法、画像処理装置及び画像記録装置 | |
| AU2002309533A1 (en) | Method and apparatus for automated image correction for digital image acquisition | |
| JP2004336516A (ja) | 画像処理方法、画像処理装置及び画像記録装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040924 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070214 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070413 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070627 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070710 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120803 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130803 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |