JP2005202469A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】 複数の画像をまとめて出力する場合に、ユーザが欲しいと思った印象の画像で補正量を決定して各画像を自動的に修正し、見栄えの良いレイアウト出力を提供する。
【解決手段】 複数の画像データをリスト化してユーザ端末に対して表示出力させる見本画像提供部２１と、表示出力された複数の画像データの中から選択画像データが選択されたことを認識する選択画像特定部２２と、認識された選択画像データから選択画像データの有する特徴量を抽出する特徴量抽出部２３と、認識された特徴量を解析する基準特徴量解析部２４と、解析された特徴量を、画像処理を施すべき画像データに対する画像補正処理の目標値の１つとして設定・格納する目標値設定・格納部２５とを有する。
【選択図】 図２

Description

本発明は、例えば撮影された画像などを処理する画像処理装置等に係り、より詳しくは、複数画像に対して修正を施す画像処理装置等に関する。

例えば商品チラシや広告、雑誌記事への利用等の印刷市場において、また、展示会やセミナー資料、現場記録写真、不動産や製品等の商品スナップ作成等のビジネス市場において、例えばデジタルカメラ(デジタルスチールカメラ：ＤＳＣ)で撮影された画像(画像データ、デジタル画像)やスキャナで読み込まれた画像などの複数の画像を所定の領域に配置し、編集されたレイアウト画像を視覚化して出力する作業が広く行われている。従来では、例えば、レイアウトされる画像は専門のカメラマンにより撮影され、また、画像処理の専門家であるユーザにより個々の画像状態を観察しながら個々に調整が加えられ、編集されている。その一方で、近年、デジタルカメラや携帯電話などに代表される撮影装置の急速な発達と普及、インターネット等のネットワーク技術の進展に伴い、一般ユーザによる分散され異なった撮影条件下にて得られた複数の画像がデータベース化される機会が多くなっている。

公報記載の従来技術として、複数の画像について、各々余白付き付加画像に外接する矩形領域が生成され、所定の配置ルールに従って配置することで、複数の画像を指定領域内にレイアウトする技術が存在する(例えば、特許文献１参照。)。また、画面上に複数の不特定画像サイズの画像データを見やすく多画面表示するために、読み込まれた画像の縦と横の比率を、表示領域の縦寸法(または横寸法)と画像データの縦寸法(または横寸法)の比をもとに拡大縮小する技術が開示されている(例えば、特許文献２参照。)。更に、画像の濃度、色、コントラスト等の要素であるトーンが最適となっている目標画像データを取得し、補正対象となる入力階調に対応する目標画像データの各階調が出力階調とされるパラメータを設定する技術について提案がなされている(例えば、特許文献３参照。)。

特開２００３−１０１７４９号公報(第３−５頁、図１) 特開２０００−４０１４２号公報(第４−５頁、図１) 特開２００３−１３４３４１号公報(第６−７頁、図１)

ここで、複数の画像について、全ての画像が撮影条件等を一定にして撮影されていれば、見やすくレイアウト表示することが可能となる。しかしながら、異なった環境下、異なった撮影者により異なった撮影条件にて撮影された複数の画像は、上記した特許文献１や特許文献２などの技術を利用してそのままレイアウト表示を施しても、見易いものとはならない。これら複数の画像にて、撮影のための各種条件(撮影場所、時間、被写***置、被写体角度、照明、カメラ等)が異なる場合には、これらの商品の大きさ、位置、傾き等の微妙なズレによって、レイアウト表示された複数画像は、非常に見苦しいものとなる。また、これらの幾何的な特徴量の違いの他に、各画像の明るさ、色、グレーバランス、階調表現などの画質に対する特徴量(画質特徴量)の違いも、レイアウト表示された場合に見苦しい画像となる原因となる。更に、背景の有無の違いも、複数画像を比較参照する際の妨げになる。従来では、これらの画質の修正は、人の手作業によって個々に実施されていた。しかし、特に、レイアウトされた画像のプリント出力の高速化が要求され、Ｗｅｂへの掲載等の機会が増しているビジネス市場や印刷市場において、人為的な作業だけに画像修正を頼っている現状は好ましいものとは言えない。

また、引用文献３では、トーンが目標状態となっている目標デジタル画像データを取得し、これを見本にして画像処理を施しているが、最適化の感覚には個人差が大きく、必ずしもユーザ(使用者)の求めるものとはならない。特に、複数画像がまとめて表示され、出力される場合には、予め定められている目標デジタル画像データで全ての画像のトーン目標値を定めることは、全体のバランスからも好ましいものとは言えなくなる場合がある。更に、この引用文献３では、「明るさ」「コントラスト」「カラーバランス」「トーンカーブ」「レベル補正」を調整できるものとしているが、複数画像がまとめてレイアウト表示される場合には、このトーンの調整だけでは見易い画像を得ることができない。

また更に、引用文献３を含む従来の画像処理では、補正目標が装置によって予め決定され、各種パラメータの目標値が予めプリセットされている。そのために、ユーザ毎の好み等、装置にとって未知の目的に応じた補正処理、未知の処理基準に基づく画質補正を行うことが困難である。このとき、処理基準をユーザが任意に設定することも考えられるが、数値で彩度量、明るさ量といったものをプリセットすることは経験が必要となる作業であり、印象と数値を結びつけることには困難が伴う。また、熟練者により行われたとしても、その処理結果が不正確となり易い。

本発明は、以上のような技術的課題を解決するためになされたものであって、その目的とするところは、複数の画像(画像データ)をまとめて出力する場合に、各画像を自動的に修正し、見栄えの良いレイアウト出力などを提供することにある。
また他の目的は、装置にて、予め目標値が定められていない未知の処理基準に基づいて画像処理を行うことにある。
更に他の目的は、ユーザが欲しいと思った印象の画像(選択画像データ)で補正量を決定することにある。
また更に他の目的は、複数の画像から処理基準を決定することを可能にし、より正確な基準に基づいて補正結果を得ることにある。

かかる目的のもと、本発明が適用される画像処理装置は、ユーザにより選択された選択画像データから選択画像データの有する特徴量を特徴量認識手段により認識し、この特徴量認識手段により認識された選択画像データの特徴量を目標値の一つとして、複数の画像データに対して、画像処理手段により各々画像処理を施している。尚、「画像データ」と「画像」とはほぼ同義に用いている。以下同様である。

ここで、この選択画像データは、１または複数のメモリに格納された複数の画像データの中の１または複数の画像データであることを特徴としている。また、この特徴量認識手段は、ユーザ端末に対して見本画像を提供し、ユーザ端末を用いた見本画像に対する入力により選択画像データが選択されることを特徴としている。更に、この特徴量認識手段は、１または複数からなる選択画像データの有する幾何的な特徴量、選択画像データの有する明るさ、コントラスト、彩度、色相、および精細度の少なくとも何れか１つを含む画質特徴量を特徴量として認識することを特徴とすることができる。
尚、ユーザ端末とは、ネットワークを介して接続されるコンピュータ装置である場合の他、画像処理装置単体として機能するコンピュータ装置そのものを指す場合もある。以下同様である。

他の観点から把えると、本発明が適用される画像処理装置は、複数の画像データをリスト化して表示出力手段により表示出力し、表示出力された複数の画像データの中から１または複数の画像データを選択画像データとして認識手段により認識する。そして、この認識手段により認識された選択画像データから、選択画像データの有する特徴量を特徴量認識手段により認識し、認識された特徴量を、画像処理を施すべき画像データに対する画像補正処理の目標値の１つとして設定手段により設定する。

ここで、この特徴量認識手段により認識される特徴量は、主要被写体のレイアウトに関する特徴量とすることができる。また、この特徴量認識手段は、主要被写体の外接矩形を算出し、設定手段は、算出された外接矩形に基づく画像余白量を目標値の１つとして設定することを特徴としている。更に、この認識手段は、特徴量ごとに別々の画像データを選択画像データとして認識することを特徴とし、また、この特徴量ごとに、異なった数の画像データを選択画像データの画像セットとして認識することを特徴とすることができる。また更に、この認識手段は、表示出力された複数の画像データの中から、ユーザにより仕上げたいイメージに近い画像として入力装置を用いて選択された画像データを選択画像データとして認識することを特徴とすることができる。

一方、本発明を方法のカテゴリから捉えると、本発明が適用される画像処理方法は、記憶手段から複数の画像データを読み出してユーザ端末に表示させるステップと、表示された複数の画像データから画像処理の目標となる画像データとしてユーザ端末からの選択を認識するステップと、ユーザ端末からの選択が認識された画像データの有する特徴量を抽出するステップと、抽出された特徴量に基づいて、他の画像データに対して施される画像処理のための目標値を設定しメモリに格納するステップとを含む。

ここで、この複数の画像データを表示させるステップは、ユーザ端末にて目標となる画像データを選択するためのガイド情報を複数の画像データと同時に表示させることを特徴としている。また、このユーザ端末からの選択を認識するステップは、抽出される特徴量ごとに１または複数からなる画像データの選択を認識することを特徴とすることができる。更に、抽出される特徴量は、主要被写体の幾何特徴量および/または画質特徴量であることを特徴とすることができる。この幾何特徴量は、例えば、主要被写体のレイアウトに関する特徴量である。

更に本発明は、コンピュータに実行させるプログラムとして把握することができる。即ち、本発明が適用されるプログラムは、コンピュータに、記憶手段から複数の画像データを読み出してユーザ端末に表示させる機能と、表示された複数の画像データから画像処理の目標となる画像データとしてユーザ端末からの選択を認識する機能と、ユーザ端末からの選択が認識された画像データの有する特徴量を抽出する機能と、抽出された特徴量に基づいて、他の画像データに対して施される画像処理のための目標値を設定しメモリに格納する機能と、設定されメモリに格納された目標値にて、所定の画像データに対して画像処理を施す機能とを実現させる。

ここで、設定されメモリに格納された目標値は、選択された画像データから算出される補正パラメータであり、画像処理を施す機能は、算出されメモリに格納された補正パラメータを用いて所定の画像データに対して画像処理を施すことを特徴とすることができる。

本発明によれば、ユーザが欲しいと思った印象の画像(画像データ)で補正量を決定することが可能となる。特に、複数画像を表示し、またはプリント出力する際に、選択された画像に基づき、統一化された複数画像を得ることができる。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本実施の形態が適用される画像処理システムの全体構成例を示した図である。ここでは、インターネットなどのネットワーク９を介して各機能が接続されている。図１に示す画像処理システムは、分散撮影される画像の統合レイアウト処理を行う画像処理サーバ１、分散撮影された画像を取得すると共に統合レイアウト処理を行う画像を選定する画像データベースサーバ２、画像データベースサーバ２に接続され、分散撮影された画像を格納する１または複数の画像データベース(画像ＤＢ)３を備えている。また、撮影手段であるデジタルカメラ４にて撮影された画像を読み取り、ネットワーク９を介して画像データベースサーバ２に画像を転送する画像転送装置５、画像処理サーバ１で統合レイアウト処理がなされた画像を表示出力する表示装置６、画像処理サーバ１で統合レイアウト処理がなされた画像を画像プリント出力手段であるプリンタ７に出力するための各種画像処理を行う印刷用画像処理装置８等の各種ユーザ端末を備えている。画像転送装置５、表示装置６、および印刷用画像処理装置８は、ノートブック型コンピュータ装置(ノートＰＣ)やデスクトップ型ＰＣなどのコンピュータ装置で構成することができる。また、画像処理サーバ１や画像データベースサーバ２もＰＣなどの各種コンピュータ装置として把握することができる。本実施の形態では、異なる撮影場所、異なる撮影条件で分散撮影された複数画像を統合させる点に特徴がある。その点で、複数のデジタルカメラ４とこれに接続される複数の画像転送装置５がネットワーク９に接続されて配置されている。

画像処理サーバ１や画像データベースサーバ２、ＰＣ等で構成される画像転送装置５、表示装置６および印刷用画像処理装置８は、例えば、システム全体の制御や演算処理を行うＣＰＵ(Central Processing Unit：中央処理装置)、システムを動作させるためのプログラムが格納されたＲＯＭ、ＣＰＵの作業用のメモリとしてＤＲＡＭ(Dynamic Random Access Memory)等からなる内部記憶装置としてのＲＡＭ、キーボードやマウス等を用いたユーザからの入力を受け付ける入力装置、プリンタやモニタ等の出力装置に接続され、これらの周辺機器との入出力を管理するＩ/Ｏ回路を備えている。また、例えば出力装置にモニタ出力するための、例えば見本画像等を書き込む作業用メモリとして用いられるＶＲＡＭ(Video RAM)等を備えている。更に、ＨＤＤ(Hard Disk Drive)や、ＤＶＤ(Digital Versatile Disc) 、ＣＤ(Compact Disc)等の各種ディスク等からなる外部記憶装置を備えている。画像ＤＢ３は、これらの外部記憶装置にて構成することができる。

ここで、理解の容易のために、従来のレイアウト処理と、本実施の形態による統合レイアウト処理とを比較して説明する。
図１５(ａ),(ｂ)は、後述する本実施の形態の統合レイアウト処理が施されていない場合の例を示した図である。図１５(ａ)において、撮影Ａ、撮影Ｂ、撮影Ｃは、異なった環境下において撮影され、画像転送装置５から画像データベースサーバ２に送出されて、１または複数のメモリとしての画像ＤＢ３に格納される画像例を示している。例えば撮影Ａのドキュメントでは、主要被写体であるオブジェクトが比較的大きく撮影されており、また十分な明るさのもとで撮影され、画像の明るさも比較的良好である。撮影Ｂのドキュメントでは、オブジェクトが小さく撮影されており、画像も十分に明るいとは言えない。また、被写体の配置も中心から大きくずれており、主要被写体のレイアウトが好ましいものではない。撮影Ｃのドキュメントは、オブジェクトの大きさは適度であるが、照度が非常に低く暗い画像となっている。このような複数の撮影条件下で撮影された画像を、処理を施さずに配置すると、例えば図１５(ｂ)に示すようになる。各被写体の大きさがバラバラであり、個々の画像における各被写体の位置も一定していない。また、画像の画質、即ち明るさや色再現などもバラバラであり、結果として作成されるドキュメント品質が非常に悪いものとなっている。

図１６(ａ),(ｂ)は、本実施の形態における統合レイアウト処理が施された場合の例を示した図である。図１５(ａ)と同様に、異なった環境下で撮影され、異なった画像の品質、被写体の幾何学的特徴を持った画像を統合レイアウトすると、ユーザが欲しいと思った印象の画像を選択することにより、自動的に、図１６(ｂ)に示すような統合ドキュメントを得ることができる。この統合ドキュメントでは、図１６(ａ)に示す各画像から、統合するときに参照したいと思う画像(ターゲット画像、選択画像)をユーザに指定させる。この指定は、１つであっても複数であっても構わない。指定された画像から、被写体であるオブジェクトの幾何学的な特徴量、画像処理の特徴量が抽出され、抽出された特徴量に基づいて基準が設定される。複数の画像が選択されている場合には、これらの複数画像が有する各々の特徴量を例えば統計処理し、基準が設定される。設定された基準に基づいて、各画像に対して修正が施される。ここでは、主要被写体としてのオブジェクトの明るさだけではなく、被写体の背景も、画像間で統一されるように、各画像について修正が施されている。より詳しくは、まず、選択された画像から、大きさ、位置等の幾何学的な特徴量を抽出し、また、画像の明るさや色再現等の画質についての特徴量を抽出する。そして、これらの特徴量から一定の条件に基づいて基準を設定し、この基準に合致するように各画像を修正して統合レイアウトを生成している。これによって、例えば図１６(ｂ)における商品カタログのような、大きさや位置、背景、明るさ等が統一化された見栄えの良いレイアウト画像を得ることが可能となる。

図２は、図１６の例に示す本実施の形態における統合レイアウト処理を実行するための機能ブロック図である。統合レイアウト処理を主として実行する画像処理サーバ１は、画像ＤＢ３に格納された画像データ(デジタル画像)を画像データベースサーバ２より取得する画像入力部１１、画像入力部１１によって入力された複数画像に対して、画像番号(Ｇｎ)の付与と総数カウント等の前処理を実行する番号付与・総数カウント処理部１２、画像処理が施された個別画像を個々に、またはレイアウト配置された状態でネットワーク９に送出する画像出力部１３を備えている。また、番号付与・総数カウント処理部１２を経由した複数画像の中から処理基準を算出する処理基準決定機能２０、画像入力部１１から入力され、番号付与・総数カウント処理部１２によって画像番号(Ｇｎ)の付与と総数カウント等の前処理が実行された個別画像の特徴量を解析し、処理基準決定機能２０からの出力に基づいて画像補正量を算出する補正量算出機能３０、補正量算出機能３０にて算出された個別画像の補正量に基づいて各種画像処理を実行する画像処理機能４０を備えている。

この補正量算出機能３０の存在によって、実際に画像処理が施される個々の画像状態を解析することが可能となり、決定された処理基準との差分を個々に補正することが可能となる。この補正量算出機能３０を設けない構成も考えられる。かかる場合には、個々の画像状態によらず、処理基準決定機能２０によって決定された処理基準に基づき、一律に決められた処理を行うことになる。また、処理の内容によっては、これらの処理を切り替えるように構成することも可能である。例えば、背景を同一な画像に揃えるような処理では、例えば、選択された複数画像から、多数決や平均等によって処理基準が決定され、個々の画像状態によらず、一律に決められた処理が施される。一方、明るさレベルを画像群の平均で揃えるような場合には、補正量算出機能３０によって個々の画像状態を解析してから、処理基準との差分を補正することが好ましい。

各機能を更に説明すると、処理基準決定機能２０は、ネットワーク９を介して表示装置６等のユーザに対し、仕上げたいイメージに近い画像(画像データ)を選択させるための見本画像を提供する見本画像提供部２１、見本画像提供部２１によって提供された複数の見本画像の中から目標となる画像(ターゲット画像、選択画像)のユーザ選択を受け付ける選択画像特定部２２を備えている。また、ターゲット画像の特徴量を抽出する特徴量抽出部２３、抽出された特徴量を解析する基準特徴量解析部２４、特定された画像から処理基準を算出し、算出された処理基準から目標値を設定してメモリ(図示せず)に設定値を格納する目標値設定・格納部２５を備えている。

補正量算出機能３０は、補正処理が施される画像(補正対象画像)の、幾何特徴量や画質特徴量などの特徴量を抽出する画像特徴量抽出部３１、画像特徴量抽出部３１によって特徴量が抽出された画像の特徴量を解析する画像特徴量解析部３２、画像特徴量解析部３２によって解析された特徴量と、目標値設定・格納部２５によって算出された目標値とに基づいて画像の補正量を算出する画像補正量算出部３３を備えている。更に、画像処理機能４０は、主要被写体として認識されたオブジェクトの位置、大きさ、傾き等の幾何的な特徴量を補正する幾何特徴量補正部４１、明るさ、色、グレーバランス、階調補正などの画質を補正する画質補正部４２、背景の除去や背景の統一等、背景を補正する背景処理部４３を備えている。

画質補正部４２は、例えば、ノイズ抑制処理を行う平滑化処理、画像の分布で明るい方に寄っているか暗い方に寄っているか等によって基準のポイントを移動させる明度補正、画像分布の明るい部分、シャドー部分の分布特性を調整するハイライトシャドー補正、明暗の分布ヒストグラムから分布状態を得て明暗のコントラストを補正する明暗コントラスト補正を機能として備えている。また、例えば、１番明るいと考えられる白領域部を基準として、白い部分の色ずれを補正する色相・カラーバランス補正、例えばやや彩度が低めの画像に対しては鮮やかになるように、グレーに近い画像には、彩度を抑え目にする等の処理を施す彩度補正、例えば肌色を基準として肌色を近づけるように補正する等、特定の記憶色を補正する記憶色補正等の各機能を有している。更に、全体のエッジ度からエッジの強さを判断し、例えばシャキシャキとした画像(シャープな画像)に補正するシャープネス強調処理の機能を備えることができる。

次に、図２に示す各機能ブロックにて実行される処理について説明する。
図３は、画像処理サーバ１の主に処理基準決定機能２０にて実行される処理を示したフローチャートである。画像入力部１１は、まず、例えばネットワーク９を介して画像データベースサーバ２から画像(画像データ、デジタル画像)を入力する(ステップ１０１)。そして、入力した画像について、画像番号Ｇｎを付与し、画像総数Ｎをカウントする(ステップ１０２)。ここで入力され、番号付与等がなされる画像は、例えばユーザである表示装置６や印刷用画像処理装置８等の各種ユーザ端末から、補正したいと欲する画像群として指定されたものとすることができる。

その後、処理基準決定機能２０の見本画像提供部２１は、表示装置６や印刷用画像処理装置８等のユーザ端末に対して見本画像を提供する(ステップ１０３)。提供の形式としては、後述するような各種表示形式を採用し、ユーザ端末では、例えばブラウザを用いて表示出力する。この見本画像の提供方法としては、ユーザが比較して選択できるように、複数画像を例えば縮小し、配列して表示することが好ましい。また、ユーザ端末にて目標となる画像データを選択するためのガイド情報を付加することもできる。ガイド情報の例としては、テキスト表示や強調表示、選択ボタン等が挙げられる。そして、選択画像特定部２２は、ユーザ端末からの選択画像の特定を受ける(ステップ１０４)。この選択画像の特定は、単数の画像に対する選択の他、複数の画像が選択画像として特定される場合がある。

選択画像が特定された後、その選択画像に基づく処理基準の算出が、幾何変更に関するものであるか否かが判断される(ステップ１０５)。この判断は、例えばユーザ端末からの指定の有無等によってなされる。幾何変更例としては、レイアウト変更、また、レイアウト変更の一例として、余白量の調整、拡大縮小等のサイズ調整等が挙げられる。この幾何変更がない場合にはステップ１０９へ移行する。幾何変更の処理基準を算出する場合には、選択画像から幾何特徴量が抽出される(ステップ１０６)。そして、抽出された幾何特徴量の解析がなされ(ステップ１０７)、幾何特徴量の補正目標値が設定され、ＤＲＡＭ等のメモリに格納される(ステップ１０８)。尚、複数の選択画像が特定されている場合には、算出された幾何特徴量の平均等によって補正目標値が設定される。

その後、画質補正があるか否かが判断される(ステップ１０９)。この判断は、例えばユーザ端末からの指定の有無等によってなされる。画質補正としては、選択画像を参照して、明るさ、鮮やかさ、コントラスト、シャープネス、色あい等を補正するものがある。画質補正が必要ない場合には、処理基準算出工程が終了する。画質補正が必要である場合には、ステップ１０４にて特定された選択画像から画質に関する特性が抽出され(ステップ１１０)、画質に関する特性が解析される(ステップ１１１)。その後、画質の補正目標値が設定され、ＤＲＡＭ等のメモリに格納されて(ステップ１１２)、処理が終了する。尚、複数の選択画像が特定されている場合には、抽出された画質に関する特性の平均等によって補正目標値が設定される。

次に、図４〜図６を用いて、上述したステップ１０３およびステップ１０４にて提供される見本画像の例と選択画像の特定例について説明する。尚、図５、図６では、選択画像と同義で「参照画像」の文言を用いている。
図４は、複数の見本画像を提示しユーザに選択させる第１のユーザインタフェース例を示した図である。図４に示すような画像情報は、図１に示す表示装置６や印刷用画像処理装置８等のコンピュータ装置(ユーザ端末)におけるディスプレイに表示される。ここでは、選択させる見本画像として、９個の画像が表示されている。また、この９個からなる実際の画像と共に、「仕上げたいイメージに近い画像を表示してください。」といったメッセージや、「夕焼け」、「夏の海」、「雪景色」、「家族写真」等の各画像の説明などのガイド情報が付加される。ユーザの選択肢を広げるためには、各々の特徴が大きく異なった画像を見本画像として選択することが好ましい。ユーザが、このガイド情報を頼りとして、例えばマウス等の入力装置を用いてイメージに近い画像を選択すると、図４に示すような例えば太枠で囲む等の強調表示がなされる。そして、選択ボタンを押下することにより、選択が実行される。選択された画像の情報は、ネットワーク９を介して画像処理サーバ１の選択画像特定部２２に入力される。

図４が見本画像を提示し選択させるのに対して、図５は、見本画像をユーザが登録指示する第２のユーザインタフェース例を示している。ここでは、「参照画像をここにドロップしてください」とのメッセージのある箇所に、１つ以上の画像、例えばＤＳＣ００４、ＤＳＣ００２、ＤＳＣ００１をドロップし、補正項目として例えば「明るさ参照」を選択すると、３枚の画像を平均した明るさを参照する選択となる。同様に、平均の鮮やかさ、平均のレイアウト参照として選択される。参照画像の選択と参照項目の選択を受けた後、「補正実行」キーが押下されると、その結果はネットワーク９を介して画像処理サーバ１の選択画像特定部２２に出力される。この例では、補正したい(対象)画像と参照画像が同じ画像群より指示される例を示しているが、参照画像は必ずしも補正したい(対象)画像でなく別の画像を見本としても良い。

その後、図２に示す処理基準決定機能２０では、特定された各々の選択画像に基づき、各々の参照項目に基づく特徴量の抽出が実行され、目標値が設定される。補正量算出機能３０では、ＤＳＣ００１〜ＤＳＣ００４の各画像における特徴量が抽出され、処理基準決定機能２０によって設定された目標値に基づき、画像補正量が算出される。そして、画像処理機能４０にて、明るさ、鮮やかさに関しては画質補正部４２、レイアウトに関しては幾何特徴量補正部４１によって各々の画像(ＤＳＣ００１〜ＤＳＣ００４)に画像処理が施され、画像出力部１３からネットワーク９を介して、例えば表示装置６や印刷用画像処理装置８に出力される。出力される補正結果は、例えば図５の右下に示すようになる。例えば、ＤＳＣ００２やＤＳＣ００３では、全体に明るくなるように補正され、また、主要被写体のレイアウト位置も中心に補正されている。「保存」キーが押下されることによって、例えばＨＤＤ等の記憶手段に補正画像が格納される。「印刷」キーが押下されることによって、例えばプリンタ７に補正された画像が印刷出力される。

図６は、複数の見本画像を提示しユーザに選択させる第３のユーザインタフェース例を示した図である。図５と同様に、見本画像提供部２１によって、例えば表示装置６のディスプレイ上に、「補正したい画像をドロップ」との指示のもと、ＤＳＣ００１〜ＤＳＣ００４の４枚の見本画像が表示出力されている。図６に示す例では、特徴量ごとに別々の画像セットが参照画像として用いられる点に特徴がある。この画像セットでは、複数の参照画像を選択することができる。例えば、図６には紙面の制約上、示されていないが、図５に示すような「参照画像をここにドロップしてください」とのメッセージのある箇所に、補正したい画像として例えば参照画像ＤＳＣ００４とＤＳＣ００１とをドロップし、補正項目として例えば「明るさ参照」を選択すると、明るさ参照として参照画像ＤＳＣ００４とＤＳＣ００１とが選択される。同様に、鮮やかさ参照画像、コントラスト参照画像、シャープネス参照画像、およびレイアウト参照画像が選択される。特徴量ごとに参照画像の画像セットが選択された後、「補正実行」キーが押下されると、その結果はネットワーク９を介して画像処理サーバ１の選択画像特定部２２に出力される。

その後、図２に示す処理基準決定機能２０では、各々の特徴量に対して特定された複数の選択画像に対し、それらの参照項目に基づく特徴量の抽出が実行され、目標値が設定される。抽出された各々の選択画像の特徴量について、基準特徴量解析部２４では、特徴量の平均値等が算出され、目標値設定・格納部２５にて、各特徴量について目標値が設定される。設定された目標値を用いて、補正量算出機能３０にて各々の画像(ＤＳＣ００１〜ＤＳＣ００４)に対する画像補正量が算出され、画像処理機能４０にて各々の画像(ＤＳＣ００１〜ＤＳＣ００４)に対して画像処理が施される。その結果は、画像出力部１３からネットワークを介し、例えば表示装置６や印刷用画像処理装置８に出力される。出力される補正結果は、例えば図６の右下に示すようになる。「保存」キーが押下されることによって、例えばＨＤＤ等の記憶手段に補正画像が格納される。「印刷」キーが押下されることによって、例えばプリンタ７に補正された画像が印刷出力される。

次に、図３に示すステップ１０６〜ステップ１０８、ステップ１１０〜ステップ１１２に示す、選択画像(ターゲット画像)からの特徴量の抽出と目標値の設定について、幾何特徴量と画質特徴量とに分けて更に詳述する。
図７は、ステップ１０６〜ステップ１０８に示す幾何特徴量の処理基準算出工程を示したフローチャートである。画像処理サーバ１の特徴量抽出部２３では、まず選択画像(選択画像データ)が読み出され(ステップ２０１)、主要被写体が認識される(ステップ２０２)。そして、認識された主要被写体(被写体)の輪郭が抽出された後(ステップ２０３)、被写体の外接矩形が抽出される(ステップ２０４)。このようにして、幾何特徴量が抽出された後、幾何特徴量の解析がなされる。即ち、被写体の外接開始位置が算出され(ステップ２０５)、被写体のサイズが算出される(ステップ２０６)。そして、被写体の重心位置が算出される(ステップ２０７)。

図８(ａ)〜(ｃ)は、上述したステップ２０１からステップ２０７(図３のステップ１０６およびステップ１０７)までの処理を説明するための図である。ここでは、処理基準の算出課程について、画像パターン１〜３の３つの選択画像が特定された場合を例に挙げて説明している。図８(ａ)は被写体の認識、図８(ｂ)は輪郭抽出、図８(ｃ)は被写体外接矩形の抽出と矩形情報算出の例を示している。図８(ａ)に示すように、まず主要被写体を背景から分離し、被写体が認識される。そして各画像パターンについて輪郭が抽出され、図８(ｂ)に示すような例えば白抜きの画像が得られる。そして、抽出された輪郭から、図８(ｃ)に示すような被写体の外接矩形が抽出され、抽出された外接矩形から、被写体の外接開始位置(例えば(Ｘs1,Ｙs1)、(Ｘs2,Ｙs2)、(Ｘs3,Ｙs3))、被写体のサイズ(例えば(Ｘd1,Ｙd1)、(Ｘd2,Ｙd2)、(Ｘd3,Ｙd3))、被写体の重心座標(例えば(Ｘg1,Ｙg1)、(Ｘg2,Ｙg2)、(Ｘg3,Ｙg3))が各々の画像について算出される。

図７のフローチャートに戻って説明を続けると、以上のようにしてステップ２０７までの処理が終了した後、選択画像が複数あるか否かが判断される(ステップ２０８)。複数でない場合には、ステップ２０９へ移行し、図８に示すように複数の選択画像がある場合には、ステップ２１２へ移行する。選択画像が複数ではない場合には、図３に示したステップ１０８の目標値の設定と格納処理へ移行する。即ち、外接開始位置の目標値が設定され(ステップ２０９)、サイズの目標値が設定される(ステップ２１０)。その後、重心位置の目標値の設定がなされる(ステップ２１１)。設定された各目標値は、所定のメモリに格納されて、幾何特徴量の処理基準算出工程が終了する。

ステップ２０８にて選択画像が複数ある場合には、全ての選択画像についての抽出と解析、即ちステップ２０７までの処理が実行されたか否かが判断され(ステップ２１２)、全ての重心位置が算出されていない場合にはステップ２０１へ戻って処理が繰り返され、算出されている場合にはステップ２１３〜ステップ２１５の平均値算出処理が実行される。図８(ａ)〜(ｃ)の例を挙げて説明すると、ステップ２１３では、外接開始位置の平均値(ＸsM,ＹsM)が、ＸsM＝平均(Ｘs1,Ｘs2,Ｘs3)、ＹsM＝平均(Ｙs1,Ｙs2,Ｙs3)として算出される。また、ステップ２１４では、サイズ(大きさ)の平均値が、ＸdM＝平均(Ｘd1,Ｘd2,Ｘd3)、ＹdM＝平均(Ｙd1,Ｙd2,Ｙd3)として算出される。更に、ステップ２１５では、重心位置の平均値が、ＸgM＝平均(Ｘg1,Ｘg2,Ｘg3)、ＹgM＝平均(Ｙg1,Ｙg2,Ｙg3)として算出される。以上のようにして複数の選択画像が特定された場合の処理基準が算出された後、前述したステップ２０９〜ステップ２１１の処理が実行されて、幾何特徴量の処理基準算出工程が終了する。

この幾何特徴量については、ユーザの指定に基づいてその目標値を決定することも可能である。例えば、
被写体重心を中央に揃える。
最も大きな被写体で揃える。
最も小さな被写体で揃える。
平均で大きさ、位置を揃える。
等を例えばディスプレイ表示し、ユーザに指定させることで目標値を決定することも可能である。図７に示した目標値の設定では、複数の選択画像が存在する場合に、自動的に平均値を目標値として算出した例が示されている。ユーザに指定させる場合には、目標値設定・格納部２５では、このユーザの指定に基づいて目標値の設定方法を変え、メモリに格納することが可能である。また、目標値の設定は、実際の補正処理工程に際して実行するように構成することも可能である。

次に、図３のステップ１１０〜ステップ１１２に示す画質特徴量の処理基準算出について説明する。
図９は、画質特徴量の処理基準算出工程を示したフローチャートである。画像処理サーバ１の特徴量抽出部２３では、まず選択画像が読み出される(ステップ３０１)。その後、輝度、Ｒ(赤),Ｇ(緑),Ｂ(青)、彩度について、それぞれ、目標値設定処理が実行される。まず、例えばＬ^＊ａ^＊ｂ^＊に変換されて輝度変換が行われ(ステップ３０２)、輝度ヒストグラムが採取される(ステップ３０３)。その後、分布平均値L_aveが算出され(ステップ３０４)、算出されたL_aveを加算してL_targetが求められる(ステップ３０５)。この輝度変換は、例えば、ハイライトシャドー補正や明暗コントラスト補正に用いられる。例えば、明暗コントラスト補正では、基準画像から、明暗の分布(例えばヒストグラム)をとり、例えば、レンジを５段程度として、ほぼ同じような分布グラフが得られるような値が目標値となる。

一方、例えば色相・カラーバランス補正を行うために、ＲＧＢ変換がなされる(ステップ３０６)。まず、背景と分離された主要被写体について、ＲＧＢヒストグラムが採取され(ステップ３０７)、Ｒ分布の最大値(Ｍａｘ値)であるr_maxの算出(ステップ３０８)、Ｇ分布の最大値であるg_maxの算出(ステップ３０９)、Ｂ分布の最大値であるb_maxの算出(ステップ３１０)がなされる。そして、算出されたr_maxを加算してRmax_targetを求め(ステップ３１１)、また、算出されたg_maxを加算してGmax_targetを求め(ステップ３１２)、同様に、算出されたb_maxを加算してBmax_targetを求める(ステップ３１３)。色相・カラーバランス補正を行うに際して、このように、ヒストグラムでＲＧＢが別々に採取され、例えば、最も明るいＲＧＢのヒストグラムのポイントは白であるものと判断し、この部分について黄色や緑等のかぶりがある場合には、白い部分がずれているものとして、ホワイトバランスが調整される。

更に、彩度補正を行うために、彩度変換がなされる(ステップ３１４)。まず、背景と分離された主要被写体について、彩度ヒストグラムが採取され(ステップ３１５)、分布平均値S_aveが算出される(ステップ３１６)。そして、算出されたS_aveを加算してS_targetを算出する(ステップ３１７)。ここでは、Ｌ^＊ａ^＊ｂ^＊のａ^＊ｂ^＊の２平面で彩度を表すことができる。ａ^＊ｂ^＊が００でグレーとなる。基準として、グレーに近い方はグレーに縮め、即ち、少々色付く程度の場合には、彩度を抑え目にし、補正によってグレーになる方向に補正する。また、彩度が中高程度の分布では、鮮やかさを強調するように彩度補正がなされる。ステップ３１４からステップ３１７では、選択画像についての分布平均値から、彩度補正のためのターゲットが決定されている。

以上のようにしてステップ３１７までの処理が終了した後、選択画像が複数か否かが判断される(ステップ３１８)。選択画像が複数ではない場合には、ステップ３２５以降の目標値設定・格納部２５による目標値設定処理に移行する。即ち、算出されたL_targetを明度補正目標値(ステップ３２５)、S_targetを彩度補正目標値(ステップ３２６)、Rmax_targetをカラーバランス(ＣＢ)補正目標値(ステップ３２７)、Gmax_targetをＣＢ補正目標値(ステップ３２８)、およびBmax_targetをＣＢ補正目標値(ステップ３２９)に各々設定して、所定のメモリ(図示せず)に格納し、画質に対する処理基準の算出工程が終了する。

ステップ３１８で選択画像が複数である場合には、全ての選択画像について解析されたか否かが判断され(ステップ３１９)、全ての解析が終了していない場合には、ステップ３０１に戻って処理が繰り返される。全ての選択画像についての解析が終了した場合には、基準特徴量解析部２４では、複数(Ｎ個)の選択画像の算出結果が加算された値をＮで割ることで、平均値が算出される。即ち、Ｎで割ることで各画像で加算して算出されたL_targetに対する平均値が算出される(ステップ３２０)。同様に、Ｎで割ることで、加算して算出されたS_targetに対する平均値が算出され(ステップ３２１)、Rmax_targetの平均値(ステップ３２２)、Gmax_targetの平均値(ステップ３２３)、Bmax_targetの平均値(ステップ３２４)が算出される。目標値設定・格納部２５では、このようにして平均化して算出されたL_targetを明度補正目標値(ステップ３２５)、平均化して得られたS_targetを彩度補正目標値(ステップ３２６)、平均化して得られたRmax_targetをカラーバランス(ＣＢ)補正目標値(ステップ３２７)、平均化して得られたGmax_targetをＣＢ補正目標値(ステップ３２８)、および平均化して得られたBmax_targetをＣＢ補正目標値(ステップ３２９)に各々設定して、所定のメモリ(図示せず)に格納し、画質に対する処理基準の算出工程が終了する。

以上のように、図２に示す処理基準決定機能２０では、図３に示すような処理工程によって、選択画像からの目標値が設定され、メモリに格納される。
次に、補正量算出機能３０および画像処理機能４０にて実行される補正処理工程について、幾何特徴量と画質特徴量とに分けて説明する。

まず、幾何特徴量の補正処理について説明する。
図１０は、幾何特徴量の補正処理工程を示したフローチャートである。
幾何特徴量の補正処理工程では、図７に示す工程によって取得した各種処理基準の目標値に基づいて、実際の補正処理が行われる。幾何特徴量の補正処理工程では、図２に示す画像処理サーバ１は、まず、画像入力部１１より処理すべき画像(画像データ、デジタル画像)を入力し(ステップ４０１)、番号付与・総数カウント処理部１２にて、入力された画像に画像番号Ｇｎを付与し(ステップ４０２)、処理すべき画像の画像総数Ｎがカウントされる(ステップ４０３)。補正したい画像については、例えば図１に示す表示装置６等のユーザ端末から任意に取り出させる(指定させる)ことも可能である。かかる場合には、ユーザ端末により指定された画像の全体が画像総数Ｎとなる。次に、補正量算出機能３０の画像特徴量抽出部３１では、画像総数Ｎの中から、画像Ｇｎ番(最初は１番目)が読み出される(ステップ４０４)。そして、処理すべき主要被写体が認識され(ステップ４０５)、認識された主要被写体(被写体)の輪郭が抽出された後(ステップ４０６)、被写体の外接矩形が抽出される(ステップ４０７)。その後、画像特徴量解析部３２によって、処理すべき画像の特徴量が解析される。具体的には、被写体の外接開始位置が算出され(ステップ４０８)、被写体のサイズが算出される(ステップ４０９)。そして、被写体の重心位置が算出される(ステップ４１０)。画像の補正処理の方法によっては、これらの解析が全て行われない場合もある。

その後、画像補正量算出部３３では、目標値設定・格納部２５によって設定され格納された選択画像からの目標値が読み出され(ステップ４１１)、画像特徴量解析部３２によって解析された特徴量と読み出された目標値との差分から補正量が算出される(ステップ４１２)。算出された補正量は、画像処理機能４０に出力される。画像処理機能４０の幾何特徴量補正部４１は、必要に応じ、外接開始位置の補正(ステップ４１３)、サイズの補正(ステップ４１４)、重心位置の補正(ステップ４１５)を施す。これらの補正を画像総数Ｎまで実行したか否か、即ちＧｎ＜Ｎか否かが判断される(ステップ４１６)。画像総数Ｎを超えていない場合には、ステップ４０４へ戻って処理が繰り返され、次の処理すべき画像についての補正処理が実行される。画像総数Ｎを超えている場合には、幾何特徴量の補正処理が終了する。

例えば、以上の処理を図８に示すパターン例を用いて説明すると、例えば画像パターン２を、複数選択画像における外接開始位置の平均値(ＸsM,ＹsM)およびサイズの平均値ＸdMとＹdMとを用いて補正するとすると、
画像シフト：(ＸsM−Ｘs2, ＹsM−Ｙs2)画素シフト
画像拡大：(ＹdM/Ｙd2)倍…(縦の縮尺に合わす)
等とすることができる。このような補正を加えることで、幾何特徴量が統一された、見やすいレイアウト出力を提供することが可能となる。

次に、画質特徴量の補正処理について説明する。
図１１は、画質特徴量(画質)の補正処理工程を示したフローチャートである。画像処理サーバ１では、まず画像入力部１１より処理すべき複数画像が入力され(ステップ５０１)、番号付与・総数カウント処理部１２にて、処理すべき画像に順に画像番号Ｇｎが付与され(ステップ５０２)、画像総数Ｎがカウントされる(ステップ５０３)。次に、画像特徴量抽出部３１では、例えば、１番目の画像であるＧ１番目から順番に画像Ｇｎ番が読み出され(ステップ５０４)、背景と分離された主要被写体について、まずＲＧＢ変換が施される(ステップ５０５)。その後、ＲＧＢヒストグラムが採取され(ステップ５０６)、Ｒ分布の最大値(Ｍａｘ値)であるr_maxの算出(ステップ５０７)、Ｇ分布の最大値であるg_maxの算出(ステップ５０８)、Ｂ分布の最大値であるb_maxの算出(ステップ５０９)がなされる。そして、図９に示すフローチャートにて、選択画像から目標値設定・格納部２５により設定された目標値である、Rmax_target、Gmax_target、Bmax_targetを用いて、カラーバランス(ＣＢ)補正ＬＵＴ(ルックアップテーブル)が生成され(ステップ５１０)、ＲＧＢ変換が施された画像に対してカラーバランス補正が実行される(ステップ５１１)。

そして、例えばＬ^＊ａ^＊ｂ^＊に変換後、処理すべき画像の主要被写体に対して、ステップ５１２以降の輝度変換、ステップ５１７以降の彩度変換が施される。ステップ５１２以降の輝度変換では、例えばＬ^＊による輝度ヒストグラムが採取される(ステップ５１３)。その後、分布平均値L_aveが算出される(ステップ５１４)。そして、図９に示す処理にて選択画像から目標値設定・格納部２５により設定されたL_targetを用いて、明度補正ＬＵＴが生成される(ステップ５１５)。その後、この明度補正ＬＵＴを用いて、画質補正部４２により明度補正が実行される(ステップ５１６)。ステップ５１７以降の彩度変換では、例えばａ^＊ｂ^＊を用いて彩度ヒストグラムが採取され(ステップ５１８)、分布平均値としてS_aveが算出される(ステップ５１９)。そして、選択画像から目標値設定・格納部２５により設定されたS_targetを用いて、彩度補正係数が算出される(ステップ５２０)。そして、この彩度補正係数を用いて画質補正部４２により彩度補正が実行される(ステップ５２１)。このようにして、明度および彩度についての補正が施された後、画像出力の形式に合わせてＲＧＢ変換が行われ(ステップ５２２)、画像が出力される(ステップ５２３)。そして、処理した画像が画像総数Ｎを超えたか否か、即ちＧｎ＜Ｎか否かが判断される(ステップ５２４)。画像総数Ｎを超えていない場合には、ステップ５０４へ戻って処理が繰り返される。画像総数Ｎを超えている場合には、補正処理が終了する。
以上のようにして画質に補正が加えられることで、選択画像と同様に、対象物の明るさを揃えたり、色を揃えたり、また鮮やかさを揃えたりすることが可能となる。

尚、例えば選択画像に対して背景領域色を同じにするような指示がなされた場合には、以下に示すような処理によって背景の補正処理が実行される。
図１２は、選択画像の背景から得られる処理基準の算出と、補正される複数の画像に対する補正処理の流れを示したフローチャートである。画像処理サーバ１の処理基準決定機能２０では、まず選択画像特定部２２にて選択画像が読み出される(ステップ６０１)。そして、特徴量抽出部２３にて背景領域が認識され(ステップ６０２)、背景領域色のサンプリングが行われる(ステップ６０３)。サンプリングされる背景領域色は、基本的には、輝度、明度、彩度である。その後、全ての選択画像からのサンプリングが終了したか否かが判断される(ステップ６０４)。選択画像が１つのときや複数画像の全てについて背景領域色のサンプリングが終了した場合には、目標値設定・格納部２５による背景領域色の設定・格納が行われ(ステップ６０５)、背景の処理基準の算出が終了する。選択画像が複数あり、全てについて背景領域色のサンプリングが終了していない場合には、ステップ６０１に戻って処理が繰り返される。尚、格納される目標値は、例えば、予め基準が設定されていれば、その基準に沿ったものであり、実際の処理のときに決定されるものであれば、例えば、全ての選択画像の背景画像情報が格納される場合もある。また、例えば、平均で選択画像の背景色を揃えるような場合には、基準特徴量解析部２４にて平均化処理等が実行される。

背景色については、ユーザの指定に基づいてその目標値を決定することも可能である。例えば、複数の画像がターゲット画像として選択された場合に、この選択画像の中で、
最も明るい背景色で揃える。
最も暗い背景色で揃える。
最も鮮やかな背景色で揃える。
平均で背景色を揃える。
等を表示し、ユーザに指定させることで目標値を決定することも可能である。

次に、処理すべき複数の画像に対して背景の補正処理が実行される。画像処理サーバ１では、まず画像入力部１１より処理すべき画像が入力され(ステップ６０６)、番号付与・総数カウント処理部１２にて、入力された各画像に画像番号Ｇｎが付与されて(ステップ６０７)、画像総数Ｎがカウントされる(ステップ６０８)。次に、背景処理部４３では、例えば、1番目の画像であるＧ１番目から順番に画像Ｇｎ番の処理すべき画像が読み出され(ステップ６０９)、背景領域が認識される(ステップ６１０)。ここで、背景処理部４３は、決定されている背景目標値を画像補正量算出部３３から取得し(ステップ６１１)、処理すべき画像の背景領域に目標値を適用する(ステップ６１２)。その後、補正を施した画像が画像総数Ｎを超えたか否か、即ちＧｎ＜Ｎか否かが判断される(ステップ６１３)。画像総数Ｎを超えていない場合には、ステップ６０９へ戻って処理が繰り返される。画像総数Ｎを超えている場合には、補正処理は終了する。以上のようにして、選択されたターゲット画像(見本画像)からの背景処理を行うことが可能となる。

最後にこれらをまとめて、選択画像(ターゲット画像)から幾何特徴量および画質特徴量の目標値を設定し、補正対象画像に対して適用する一連の処理例について、図１３および図１４を用いて説明する。
図１３(ａ)〜(ｄ)は、選択画像の有する特徴量の抽出工程を説明するための図である。図１３(ａ)には、例えば、ユーザ端末である表示装置６のディスプレイに表示され、目標画像としてユーザ端末にて指定された選択画像が表示されている。幾何特徴量の抽出に際して、図１３(ｂ)に示すように、まず２値化が行われる。そして、２値化された画像に対して、図１３(ｃ)に示すようにラベリング処理が施される。ここでは、Ｌ１〜Ｌ３の３つの画像要素に対してラベリングがなされている。その後、図１３(ｄ)に示すように、最大外接矩形が算出される。算出される最大外接矩形としては、例えば座標軸を左上からとるとすると、トップの最小、レフトの最小、ボトムの最大、ライトの最大により、縦および横について各々算出される。

図１４(ａ),(ｂ)は、図１３のようにして算出された選択画像の特徴量を用い、補正対象画像に対して施される処理を示している。ここでは、図１４(ａ)に示す選択画像について、トップ、レフト、ボトム、ライトの４方向につき、幾何特徴量の目標値の１つとして、画像余白量が算出されている。また、図１４(ａ)に示す選択画像における画質特徴量の目標値の１つとして、明るさ量および彩度量が算出されている。一方、図１４(ｂ)に示す補正対象画像については、まず２値化が施され、最大外接矩形が算出される。そして、算出された最大外接矩形に対して、選択画像から算出された画像余白量が適用され、切り抜きの範囲が決定される。その後、決定された範囲によって切り抜きが行われ、切り抜かれた画像に対して、選択画像から算出された明るさ量および彩度量に基づく明るさ、彩度量の補正が行われる。このようにして、選択画像を目標値とする画像処理が可能となる。

以上、詳述したように、本実施の形態では、ユーザ端末により選択された選択画像(選択画像データ)から、目標となる処理基準を決定し、複数の画像における各々の画像(画像データ)へ適用させるように構成した。即ち、複数の見本画像を提示した上で見本画像処理を可能としており、この見本画像処理は、ユーザが選択した画像を基準として補正パラメータを算出し、処理する点に特徴がある。個々の画像状態によらず、選択された画像に基づいて処理を行うことで、画像処理装置では、予定されていない未知の目的に応じた補正処理が実行される。処理基準をユーザが任意に設定することも考えられるが、数値で彩度量や明るさ量等をプリセットすることは経験がいる作業であり、印象と数値を結びつけることができなかった。しかしながら、本実施の形態によれば、ユーザが欲しいと思った印象の画像をユーザ端末が認識することで、そのユーザの印象に基づく補正量が自動的に決定でき、簡単にかつ正確な補正が可能となる。更に、複数の選択画像から処理基準を決定すれば、より正確な基準に基づく補正結果を得ることができる。

尚、本実施の形態は、アプリケーションタイプ、プリンタドライバタイプ、およびデジタルカメラとの連携タイプ等の各タイプにて、使用されることが想定できる。アプリケーションタイプでは、例えば、デジタルスチールカメラ(ＤＳＣ)画像をアルバム化、あるいは管理するソフトのプラグイン等として、ユーザの採取画像を自動調整する機能に用いることができる。また、プリンタドライバタイプでは、ドライバ設定において、オプション機能として選択可能とする、あるいは、モード設定自体に組み込む機能とすることができる。更に、デジタルカメラとの連携タイプでは、ファイルフォーマットにタグ(Tag)情報を埋め込み、プリント段階での調整指示を可能とする機能として、本実施の形態を適用することが可能である。

また、本実施の形態が適用されるコンピュータプログラムは、画像処理サーバ１、画像転送装置５、表示装置６、および印刷用画像処理装置８等の各コンピュータ(ユーザ端末)に対して提供される際に、例えばコンピュータ装置にインストールされた状態にて提供される場合の他、コンピュータに実行させるプログラムをコンピュータが読取可能に記憶した記憶媒体にて提供される形態が考えられる。この記憶媒体としては、例えば各種ＤＶＤやＣＤ−ＲＯＭ媒体、カード型記憶媒体等が該当し、上記の各コンピュータ機器に設けられたＤＶＤやＣＤ−ＲＯＭ読取装置、カード読み取り装置等によってプログラムが読み取られる。そして、各コンピュータ機器に設けられたＨＤＤやフラッシュＲＯＭ等の各種メモリにこのプログラムが格納され、ＣＰＵにて実行される。また、これらのプログラムは、例えば、プログラム伝送装置からネットワークを介して提供される形態もある。

本発明の活用例としては、例えばプリンタ等の画像形成装置に接続されるコンピュータ装置、インターネット等を介して情報を提供するサーバ、デジタルカメラ、また、これらの各種コンピュータ機器にて実行されるプログラム等への活用がある。

本実施の形態が適用される画像処理システムの全体構成例を示した図である。 本実施の形態における統合レイアウト処理を実行するための機能ブロック図である。 画像処理サーバの主に処理基準決定機能にて実行される処理を示したフローチャートである。 複数の見本画像を提示しユーザに選択させる第１のユーザインタフェース例を示した図である。 複数の見本画像を提示しユーザに選択させる第２のユーザインタフェース例を示した図である。 複数の見本画像を提示しユーザに選択させる第３のユーザインタフェース例を示した図である。 幾何特徴量の処理基準算出工程を示したフローチャートである。 (ａ)〜(ｃ)は、処理基準の算出例を説明するための図である。 画質特徴量の処理基準算出工程を示したフローチャートである。 幾何特徴量の補正処理工程を示したフローチャートである。 画質特徴量(画質)の補正処理工程を示したフローチャートである。 選択画像の背景から得られる処理基準の算出と、補正される複数の画像に対する補正処理の流れを示したフローチャートである。 (ａ)〜(ｄ)は、選択画像の有する特徴量の抽出工程を説明するための図である。 (ａ),(ｂ)は、図１３のようにして算出された選択画像の特徴量を用い、補正対象画像に対して施される処理を示した図である。 (ａ),(ｂ)は、本実施の形態における統合レイアウト処理が施されていない場合の例を示した図である。 (ａ),(ｂ)は、本実施の形態における統合レイアウト処理が施された場合の例を示した図である。

符号の説明

１…画像処理サーバ、２…画像データベースサーバ、３…画像データベース(画像ＤＢ)、４…デジタルカメラ、５…画像転送装置、６…表示装置、７…プリンタ、８…印刷用画像処理装置、９…ネットワーク、１１…画像入力部、１２…番号付与・総数カウント処理部、１３…画像出力部、２０…処理基準決定機能、２１…見本画像提供部、２２…選択画像特定部、２３…特徴量抽出部、２４…基準特徴量解析部、２５…目標値設定・格納部、３０…補正量算出機能、３１…画像特徴量抽出部、３２…画像特徴量解析部、３３…画像補正量算出部、４０…画像処理機能、４１…幾何特徴量補正部、４２…画質補正部、４３…背景処理部

Claims (19)

1. ユーザにより選択された選択画像データから当該選択画像データの有する特徴量を認識する特徴量認識手段と、
   前記特徴量認識手段により認識された前記選択画像データの前記特徴量を目標値の一つとして、複数の画像データに対して各々画像処理を施す画像処理手段とを含む画像処理装置。
2. 前記選択画像データは、１または複数のメモリに格納された前記複数の画像データの中の１または複数の画像データであることを特徴とする請求項１記載の画像処理装置。
3. 前記特徴量認識手段は、ユーザ端末に対して見本画像を提供し、当該ユーザ端末を用いた当該見本画像に対する入力により前記選択画像データが選択されることを特徴とする請求項１記載の画像処理装置。
4. 前記特徴量認識手段は、１または複数からなる前記選択画像データの有する幾何的な特徴量を認識することを特徴とする請求項１記載の画像処理装置。
5. 前記特徴量認識手段は、１または複数からなる前記選択画像データの有する明るさ、コントラスト、彩度、色相、および精細度の少なくとも何れか１つを含む画質特徴量を前記特徴量として認識することを特徴とする請求項１記載の画像処理装置。
6. 複数の画像データをリスト化して表示出力する表示出力手段と、
   前記表示出力手段により表示出力された前記複数の画像データの中から１または複数の画像データを選択画像データとして認識する認識手段と、
   前記認識手段により認識された前記選択画像データから、当該選択画像データの有する特徴量を認識する特徴量認識手段と、
   前記特徴量認識手段により認識された前記特徴量を、画像処理を施すべき画像データに対する画像補正処理の目標値の１つとして設定する設定手段とを含む画像処理装置。
7. 前記特徴量認識手段により認識される特徴量は、主要被写体のレイアウトに関する特徴量であることを特徴とする請求項６記載の画像処理装置。
8. 前記特徴量認識手段は、前記主要被写体の外接矩形を算出し、
   前記設定手段は、算出された前記外接矩形に基づく画像余白量を前記目標値の１つとして設定することを特徴とする請求項７記載の画像処理装置。
9. 前記認識手段は、前記特徴量ごとに別々の画像データを前記選択画像データとして認識することを特徴とする請求項６記載の画像処理装置。
10. 前記認識手段は、前記特徴量ごとに、異なった数の画像データを前記選択画像データの画像セットとして認識することを特徴とする請求項９記載の画像処理装置。
11. 前記認識手段は、表示出力された前記複数の画像データの中から、ユーザにより仕上げたいイメージに近い画像として入力装置を用いて選択された画像データを前記選択画像データとして認識することを特徴とする請求項６記載の画像処理装置。
12. 記憶手段から複数の画像データを読み出してユーザ端末に表示させるステップと、
    表示された前記複数の画像データから画像処理の目標となる画像データとして前記ユーザ端末からの選択を認識するステップと、
    前記ユーザ端末からの選択が認識された前記画像データの有する特徴量を抽出するステップと、
    抽出された前記特徴量に基づいて、他の画像データに対して施される画像処理のための目標値を設定しメモリに格納するステップとを含む画像処理方法。
13. 前記複数の画像データを表示させるステップは、前記ユーザ端末にて目標となる画像データを選択するためのガイド情報を当該複数の画像データと同時に表示させることを特徴とする請求項１２記載の画像処理方法。
14. 前記ユーザ端末からの選択を認識するステップは、抽出される特徴量ごとに１または複数からなる画像データの選択を認識することを特徴とする請求項１２記載の画像処理方法。
15. 抽出される前記特徴量は、主要被写体の幾何特徴量および/または画質特徴量であることを特徴とする請求項１２記載の画像処理方法。
16. 前記幾何特徴量は、前記主要被写体のレイアウトに関する特徴量であることを特徴とする請求項１５記載の画像処理方法。
17. コンピュータに、
    記憶手段から複数の画像データを読み出してユーザ端末に表示させる機能と、
    表示された前記複数の画像データから画像処理の目標となる画像データとして前記ユーザ端末からの選択を認識する機能と、
    前記ユーザ端末からの選択が認識された前記画像データの有する特徴量を抽出する機能と、
    抽出された前記特徴量に基づいて、他の画像データに対して施される画像処理のための目標値を設定しメモリに格納する機能と
    を実現させるプログラム。
18. 設定され前記メモリに格納された目標値にて、所定の画像データに対して画像処理を施す機能を前記コンピュータに更に実現させることを特徴とする請求項１７記載のプログラム。
19. 設定され前記メモリに格納された目標値は、選択された前記画像データから算出される補正パラメータであり、
    前記画像処理を施す機能は、算出されメモリに格納された当該補正パラメータを用いて前記所定の画像データに対して画像処理を施すことを特徴とする請求項１８記載のプログラム。

Images