JP6750094B2 - 画像評価装置,画像評価方法および画像評価プログラム - Google Patents

画像評価装置,画像評価方法および画像評価プログラム Download PDF

Info

Publication number
JP6750094B2
JP6750094B2 JP2019505786A JP2019505786A JP6750094B2 JP 6750094 B2 JP6750094 B2 JP 6750094B2 JP 2019505786 A JP2019505786 A JP 2019505786A JP 2019505786 A JP2019505786 A JP 2019505786A JP 6750094 B2 JP6750094 B2 JP 6750094B2
Authority
JP
Japan
Prior art keywords
image
value
impression
images
representative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019505786A
Other languages
English (en)
Other versions
JPWO2018168303A1 (ja
Inventor
拓也 蔦岡
拓也 蔦岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018168303A1 publication Critical patent/JPWO2018168303A1/ja
Application granted granted Critical
Publication of JP6750094B2 publication Critical patent/JP6750094B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

この発明は,画像評価装置,画像評価方法および画像評価プログラムに関する。
ポストカード,電子アルバム,フォトブックなどのようにテンプレートなどの台紙画像にユーザが画像を貼り付け,ユーザの所望の合成画像を生成するものが実現されている。台紙画像に貼り付ける画像をユーザが選択することも考えられるが,多数の画像の中から,貼り付ける画像を指定することは面倒なために,多数の画像の中から台紙画像に貼り付ける画像を自動で見つけることがある。このように多数の画像の中から画像を見つけるものには,たとえば,画像の特徴となる箇所を表す見た目印象要素にもとづいて画像を見つけるものがある(特許文献1)。また,画像などのオブジェクトの内容に適する雰囲気をもつテンプレートを選択するものもある(特許文献2)。さらに,目的の画像データに関する印象にもとづいて,複数の画像データの中から目的の画像データを検索できるもの(特許文献3),人間の類似感覚と一致した類似画像を得るもの(特許文献4),顔位置,被写体像の明るさ,被写体像の手振れ量等の特徴量を参考にして,アルバム貼付対象となる被写体像が決定されるもの(特許文献5)などもある。
特開2016-194857号公報 特開2012-164000号公報 特開2006-99267号公報 特開2004-5303号公報 特開2015-118522号公報
しかしながら,特許文献1に記載のものでは,見た目印象箇所は画像の一部についてのものであるから,画像全体から得られる印象とは異なる画像について評価できないことがある。特許文献2に記載のものでは,テンプレートを選択するものにすぎない。また,特許文献3に記載のものでは,視覚的特徴を利用して目的の画像データを検索しているから,視覚的特徴から表現できない画像については評価できない。特許文献4に記載のものにおいても視覚的特徴を利用しているから,視覚的特徴から表現できない画像については評価できない。特許文献5に記載のものにおいては,顔位置などにより被写体像が決定されるにすぎないから,所望の印象をもつ画像を高く評価できない。
この発明は,ユーザの好みの印象をもつ画像を高く評価できるようにすることを目的とする。また,ユーザの好みだけでなく,画像評価の客観性も担保できるようにすることを目的とする。
この発明による画像評価装置は,第1の画像グループに含まれる複数の画像を入力する第1の画像入力手段,代表画像を選択する代表画像選択手段,および代表画像選択手段によって選択された代表画像の印象値と第1の画像入力手段に入力した複数の画像のそれぞれの画像の印象値との差異と,第1の画像グループに含まれる複数の画像のそれぞれの画像の画質と,から画像評価値を算出する第1の画像評価値算出手段を備えていることを特徴とする。
この発明は,画像評価装置に適した画像評価方法も提供している。すなわち,この方法は,第1の画像入力手段が,第1の画像グループに含まれる複数の画像を入力し,代表画像選択手段が,代表画像を選択し,第1の画像評価値算出手段が,代表画像選択手段によって選択された代表画像の印象値と第1の画像入力手段に入力した複数の画像のそれぞれの画像の印象値との差異と,第1の画像グループに含まれる複数の画像のそれぞれの画像の画質と,から画像評価値を算出するものである。
プロセッサが,第1の画像グループに含まれる複数の画像を入力させ,代表画像を選択させ,選択された代表画像の印象値と第1の画像入力手段に入力した複数の画像のそれぞれの画像の印象値との差異と,第1の画像グループに含まれる複数の画像のそれぞれの画像の画質と,から画像評価値を算出する画像評価装置を提供するようにしてもよい。
また,この発明は,画像評価装置のコンピュータを制御するプログラムおよびそのプログラムを格納した記録媒体も提供している。
第1の画像入力手段に入力した複数の画像のうち,画質がしきい値以上の画像を,代表画像候補として表示させる代表画像候補表示制御手段をさらに備えてもよい。この場合,代表画像選択手段は,たとえば,代表画像候補表示制御手段の制御のもとに表示させられた代表画像候補の中から少なくとも1つの代表画像候補を代表画像として選択する。
第1の画像入力手段に入力した複数の画像のうち,印象値のばらつきが大きい複数の画像を,代表画像候補として表示させる代表画像候補表示制御手段をさらに備えてもよい。この場合,代表画像選択手段は,たとえば,代表画像候補表示制御手段の制御のもとに表示させられた代表画像候補の中から少なくとも1つの代表画像候補を代表画像として選択する。
第1の画像入力手段に入力した複数の画像のうち,複数の印象軸の印象値についてのそれぞれの印象値の最大値または最小値を有する複数の画像を,代表画像候補として表示させる代表画像候補表示制御手段をさらに備えてもよい。この場合,代表画像選択手段は,たとえば,代表画像候補表示制御手段の制御のもとに表示させられた代表画像候補の中から少なくとも1つの代表画像候補を代表画像として選択する。
第2の画像グループに含まれる複数の画像を入力する第2の画像入力手段,第2の画像グループに含まれる複数の画像のそれぞれの画像の印象値にもとづいて,第2の画像グループに含まれる複数の画像を複数のクラスタに分類する画像分類手段,画像分類手段によって分類された複数のクラスタに含まれる複数の画像の印象値の中心値とクラスタに含まれる画像の印象値との差異と,クラスタに含まれる画像の画質と,にもとづいて,クラスタに含まれる複数の画像のそれぞれの画像評価値を算出する第2の画像評価値算出手段,第2の画像評価値算出手段よって算出された画像評価値にもとづいて,クラスタごとに代表画像候補を決定する代表画像候補決定手段,および代表画像候補決定手段によって決定された代表画像候補を表示させる代表画像候補表示制御手段をさらに備えてもよい。この場合,代表画像選択手段は,代表画像候補表示制御手段の制御のもとに表示させられた代表画像候補の中から少なくとも1つの代表画像候補を代表画像として選択し,第1の画像評価値算出手段は,複数のクラスタのうち,代表画像選択手段によって選択された代表画像が属するクラスタに含まれる複数の画像の印象値の中心値と第1の画像入力手段から入力した第1の画像グループに含まれる複数の画像のそれぞれの画像の印象値との差異と,第1の画像グループに含まれる複数の画像のそれぞれの画像の画質と,にもとづいて画像評価値を算出することが好ましい。
第1の画像グループに含まれる複数の画像と第2の画像グループに含まれる複数の画像とは,たとえば,同一の記憶装置に記憶されている。
また,第1の画像グループに含まれる複数の画像と第2の画像グループに含まれる複数の画像とが同一であってもよい。
第1の画像評価値算出手段は,たとえば,代表画像が属するクラスタに含まれる複数の画像の印象の中心値と第1の画像グループに含まれる複数の画像のそれぞれの画像の印象値との差異が大きいほど差異が小さい場合と比べて画像評価値を低く算出し,かつ第1の画像グループに含まれる複数の画像のそれぞれの画像の画質が悪いほど画質が良い場合と比べて画像評価値を低く算出する。第2の画像評価値算出手段は,たとえば,クラスタに含まれる複数の画像の印象値の中心値とクラスタに含まれる画像の印象値との差異が大きいほど差異が小さい場合と比べて画像評価値を低く算出し,かつクラスタに含まれる画像の画質が悪いほど画質が良い場合と比べて画像評価値を低く算出する。
画像分類手段は,たとえば,第2の画像グループに含まれる複数の画像のうち,画質がしきい値以上の複数の画像について,それぞれの画像の印象値にもとづいて,複数の画像を複数のクラスタに分類し,第2の画像評価値算出手段は,たとえば,複数のクラスタのうち,代表画像選択手段によって選択された代表画像が属するクラスタに含まれる複数の画像の印象値の中心値と第2の画像グループに含まれる複数の画像のうち画質がしきい値以上の画像の印象値との差異と,第2の画像グループに含まれる複数の画像のそれぞれの画像の画質と,にもとづいて,画像評価値を算出する。
代表画像表示制御手段の制御のもとに表示された代表画像候補に,代表画像候補の印象を表す言葉を併記して表示させる言葉表示制御手段をさらに備えてもよい。
この発明によると,第1の画像グループに含まれる複数の画像が画像評価装置に入力する。また,代表画像が選択される。選択された代表画像の印象値と入力した複数の画像のそれぞれの画像の印象値との差異と,入力した複数の画像のそれぞれの画像の画質と,から画像評価値が算出される。
ユーザは,好みの代表画像を選択することにより,その選択した代表画像の印象値に近い印象値をもつ画像が高評価となるようにできるので,ユーザの好みの印象をもつ画像を評価できるようになる。また,印象値だけでなく画質も考慮しているので,ユーザの好みだけでなく,高画質の画像が高評価となり画像評価の客観性も担保できる。
画像評価装置の電気的構成を示すブロック図である。 画像評価装置の処理手順を示すフローチャートである。 代表画像候補の一例である。 印象領域の一例である。 画像評価装置の処理手順の一部を示すフローチャートである。 画像評価装置の処理手順の一部を示すフローチャートである。 画像評価装置の処理手順の一部を示すフローチャートである。 画像評価装置の処理手順を示すフローチャートである。 画像評価装置の処理手順を示すフローチャートである。 印象領域の一例である。 印象領域の一例である。 代表画像候補の一例である。 印象領域の一例である。 印象領域の一例である。 画像評価装置の処理手順を示すフローチャートである。 画像評価装置の処理手順を示すフローチャートである。
[第1実施例]
図1は,この発明の実施例を示すもので,画像評価装置1の電気的構成を示すブロック図である。
画像評価装置1の全体の動作は,CPU(Central Processing Unit)7によって統括される。
画像評価装置1には,表示制御装置3によって制御される表示装置2,データを一時的に記憶するメモリ4,コンパクト・ディスク5にアクセスするためのCD(コンパクト・ディスク)ドライブ6,ユーザが画像評価装置1に指令を与えるためのキーボード8およびマウス9が含まれている。また,画像評価装置1には,HD(ハードディスク)12にアクセスするためのHD(ハードディスク)ドライブ11およびサーバ(図示略)等と通信するための通信装置10も含まれている。さらに,画像評価装置1には,メモリ・カード14に格納されている画像ファイル等を読み取るメモリ・カード・インターフェイス13も含まれている。
後述する動作を制御する,コンピュータが読み取り可能なプログラムが格納されているコンパクト・ディスク5が画像評価装置1に装填され,CDドライブ6によってコンパクト・ディスク5に格納されているプログラムが読み取られる。読み取られたプログラムが画像評価装置1にインストールされることにより,画像評価装置1は,後述する動作を行う。画像評価装置1を制御するプログラムは,コンパクト・ディスク5のような記録媒体から読み取られるのではなく,インターネットを介して送信されたものを受信するようにしてもよい。
図2は,画像評価装置1の処理手順を示すフローチャートである。
ユーザは,複数の画像(を表すファイル)が格納されているメモリ・カード14を画像評価装置1に装填し,メモリ・カード・インターフェイス13(第1の画像入力手段)を介して第1の画像グループに含まれる複数の画像を画像評価装置1に入力する(ステップ21)。メモリ・カード14に格納されているすべての画像を第1の画像グループと捉えてもよいし,メモリ・カード14に複数のフォルダが形成されている場合には,複数のフォルダの中からいずれかのフォルダを指定し,指定されたフォルダに格納されている複数の画像を第1の画像グループと捉えてもよい。もちろん,メモリ・カード14に格納されている画像に限らず,コンパクト・ディスク5に格納されている画像を第1の画像グループ,HD12に格納されている複数の画像を第1の画像グループとしてもよい。
第1の画像グループに含まれる複数の画像が画像評価装置1に入力すると(指定されると),表示制御装置3の制御により複数の代表画像候補が表示装置2の表示画面に表示させられる(ステップ22)。
図3は,表示装置2の表示画面に表示されるウインドウ30の一例である。
ウインドウ30には,8つの代表画像候補IR1からIR8が表示されている。これらの代表画像候補IR1からIR8は,HD12にあらかじめ記憶されている。代表画像候補IR1からIR8は,メモリ・カード14から読み取られた複数の画像とは異なるが,メモリ・カード14から読み取られた複数の画像の中から代表画像候補が決定されてもよい。また,メモリ・カード14から読み取られた複数の画像ではなく,ユーザが所有しているいずれかの画像を画像評価装置1において読み取り,読み取られた画像を代表画像候補としてもよい。図3においては,8つの代表画像候補IR1からIR8が表示されているが,8つに限らず,複数であれば7つ以下の代表画像候補でもよいし,9つ以上の代表画像候補でもよい。
代表画像候補IR1からIR8の下には,「OK」の文字が付されているOKボタン31および「クリア」の文字が付されているクリア・ボタン32が形成されている。
ウインドウ30に表示されている8つの代表画像候補IR1からIR8のうち,ユーザの好みの印象をもつ1または複数の代表画像をユーザが選択する(図2ステップ23)。たとえば,代表画像候補IR1からIR8のうち,所望の代表画像候補上にマウス9(代表画像選択手段)を用いてカーソルを位置決めし,かつクリックし,マウス9を用いてOKボタン31がクリックされることにより,クリックされた代表画像候補が代表画像として選択されることとなる。OKボタン31がクリックされる前にクリア・ボタン32がマウス9を用いてクリックされると,クリックされた代表画像候補がクリアされる。
つづいて,選択された代表画像の印象値と画像評価装置1に入力した複数の画像のそれぞれの画像の印象値との差異がCPU7によって算出される(ステップ24)。
図4は,印象軸によって表される印象領域の一例である。
横軸は,「ウォーム」の印象と「クール」の印象とにより規定される印象軸であり,縦軸は,「ソフト」の印象と「ハード」の印象とにより規定される印象軸である。
この実施例においては,第1の画像グループに含まれる複数の画像として画像I1からI10までの10個の画像が画像評価装置1に入力したものとする。これらの画像I1からI10までの印象領域における印象値がS1からS10によって示されている。画像I1からI10の印象値S1からS10は,画像I1からI10のそれぞれの画像を表す画像ファイルのヘッダに格納されている場合には,画像ファイルから印象値を読み取ればよい。画像ファイルのヘッダに印象値が格納されていない場合には,たとえば,画像I1からI10のそれぞれの画像の色分布から代表色が決定され,その決定された代表色について,「ウォーム」と「クール」に対応する印象値および「ソフト」と「ハード」とに対応する印象値が決定する。色ごとに,あらかじめ「ウォーム」と「クール」に対応する印象値および「ソフト」と「ハード」とに対応する印象値が定められているのはいうまでもない。代表色は,画像の中の頻度の最も高い色,画像の中の主要被写体の平均的な色などにより決めることができる。また,代表色を第1代表色,第2代表色のように,複数決定して,代表色の組み合わせにより印象値を求めるようにしてもよい。
図4には,ユーザによって選択された代表画像の印象値S0も図示されている。この実施例においては,1つの代表画像が選択されたものとするが複数の代表画像が選択されてもよい。代表画像を表す代表画像ファイルのヘッダには,印象軸についての印象値が格納されおり,そのヘッダから印象値が読み出されるのはいうまでもない。
図4においては,2つの印象軸についての印象値が利用されているが1つの印象軸についての印象値,3つ以上の印象軸についての印象値が利用されていてもよい。
代表画像の印象値S0および画像評価装置1に入力した画像I1からI10の印象値S1からS10が分かると,代表画像の印象値と画像評価装置1に入力した画像I1からI10のそれぞれの画像の印象値S0からS10との差異がCPU7によって算出される(図2ステップ24)。この差異は,図4における印象領域での印象値の距離として表される。画像I1の印象値S1と代表画像の印象値S0との距離はΔS1であり,その距離が差異とされる。同様に,画像I2の印象値S2,画像I3の印象値S3,画像I4の印象値S4,画像I5の印象値S5,画像I6の印象値S6,画像I7の印象値S7,画像I8の印象値S8,画像I9の印象値S9および画像I10の印象値S10のそれぞれと,代表画像の印象値S0との差異は,それぞれΔS2,ΔS3,ΔS4,ΔS5,ΔS6,ΔS7,ΔS8,ΔS9およびΔS10となる。
つづいて,画像評価装置1に入力した複数の画像のそれぞれの画像の画質が画質評価値としてCPU7によって決定される(図2ステップ25)。画質とは主観によらずに定義され,大きいほど良い,あるいは小さいほど良い,という画像のもつ属性をいう。たとえば,画像のボケの程度,ぶれの程度,コントラスト,画素数,解像度,明るさなどが含まれるが,これらに限られない。画質評価値は,画像を表す画像ファイルのヘッダに格納されている場合には,ヘッダから読み取られる。画質評価値が画像ファイルのヘッダに格納されていない場合には,CPU7によって決定される。
印象値の差異および画像の画質が決定されると,これらの印象値の差異と,画像の画質と,から画像評価値がCPU7(第1の画像評価値算出手段)によって算出される(ステップ26)。画像評価値は,印象値の差異を画像の画質で除すことにより得られる。印象値の差異および画像の画質は,いずれも規格化されているのはいうまでもない。画質が高いほど画像評価値が高くなる。また,印象値の差異はユーザが選択した好みの代表画像の印象に近いほど小さくなるから,印象値の差異が小さいほど画像評価値が高くなる。
表1は,画質評価値,代表画像の印象値S0から画像評価装置1に入力した複数の画像のそれぞれの画像の印象値までの距離(印象値との差異)および画像評価値を画像ごとに格納している画像評価値テーブルの一例である。
Figure 0006750094
たとえば,画像I1であれば,画質評価値はQ1,代表画像の印象値S0から画像I1の印象値S1までの距離はΔS1であるから,画像評価値はQ1/ΔS1となる。その他の画像I2からI10についても同様にして画像評価値がCPU7によって算出される。
このようにして画像評価値が得られると,高い画像評価値をもつ画像を用いてポストカード,フォトブックなどを作成することにより,高画質かつユーザの好みの印象をもつポストカード,フォトブックなどを作成できるようになる。
図5は,変形例を示すもので,画像評価装置1の処理手順の一部を示すフローチャートである。図5は,図2に対応している。
メモリ・カード14から第1の画像グループに含まれる複数の画像がメモリ・カード・インターフェイス13(第1の画像入力手段)を介して画像評価装置1に入力する(ステップ41)。たとえば,図4に入力した画像I1からI10の印象値S1からS10を示したように,画像I1から画像I10が画像評価装置1に入力したものとする。画像評価装置1に入力した複数の画像I1からI10の画質がCPU7によって決定される(ステップ42)。画像評価装置1に入力した複数の画像I1からI10のうち,画質がしきい値以上の画像がCPU7によって見つけられ,見つけられた画像が代表画像候補としてCPU7によって決定される(ステップ43)。画質がしきい値以上の画像とは,画質が良好であることを表す画質評価値がしきい値以上の画像をいい,一定以上の画質を有している画像をいう。
画像評価装置1に入力した第1の画像グループに含まれる複数の画像I1からI10のうち,画質がしきい値以上の画像が代表画像候補として,表示制御装置3(代表画像候補表示制御手段)によって図3に示すように表示装置2の表示画面に表示させられる(ステップ44)。
表示制御装置3によって,表示装置2の表示画面に代表画像候補として表示された画質がしきい値以上の画像の中から,マウス9(代表画像選択手段)によって少なくとも1つの代表画像候補が代表画像として選択されることとなる。
画質の良い代表画像候補の中から代表画像を選択することができるようになる。
図6は,変形例を示すもので,画像評価装置1の処理手順の一部を示すフローチャートである。図6も,図2に対応している。
メモリ・カード14から第1の画像グループに含まれる複数の画像がメモリ・カード・インターフェイス13(第1の画像入力手段)を介して画像評価装置1に入力する(ステップ51)。たとえば,図4に入力した画像I1からI10の印象値S1からS10を示したように,画像I1から画像I10が画像評価装置1に入力したものとする。画像評価装置1に入力した複数の画像I1からI10のうち,印象値のばらつきがCPU7によって決定される(ステップ52)。印象値のばらつきとは,画像評価装置1に入力した複数の画像I1からI10のうち任意の2つの画像の組合せを考えた場合に,それらの2つの画像のそれぞれの印象値の差異(印象領域における距離)をいう。たとえば,画像I1とI2との印象値のばらつきは,画像I1の印象値S1と画像I2の印象値S2との差異(印象領域での距離ΔS12)である。他の画像についても同様である。
印象値のばらつきが決定されると,印象値のばらつきが大きい複数の画像が代表画像候補としてCPU7によって決定される(ステップ53)。印象値のばらつきが大きい複数の画像とは,画像評価装置1に入力した複数の画像のうち,印象値のばらつきがしきい値以上の複数の画像,画像評価装置1に入力した複数の画像うち,印象値のばらつきが大きい順に所定数または所定の割合の複数の画像などをいう。
画像評価装置1に入力した第1の画像グループに含まれる複数の画像のうち,印象値のばらつきが大きい複数の画像が代表画像候補として,表示制御装置3(代表画像候補表示制御手段)によって図3に示すように表示装置2の表示画面に表示させられる(ステップ54)。たとえば,印象値S3とS9,S2とS8,S1とS4のばらつきが大きいと考えられると,これらの印象値S1−S4,S8およびS9に対応する画像I1−I4,I8およびI9が代表画像候補となる。
表示制御装置3によって,表示装置2の表示画面に代表画像候補として表示された画像の画質がしきい値以上の画像の中から,マウス9(代表画像選択手段)によって少なくとも1つの代表画像候補が代表画像として選択されることとなる。
印象値のばらつきの大きい複数の画像は,様々な印象をもつ画像であるから,そのような画像が代表画像候補として表示されることにより,ユーザは自分が望むような印象を持つ画像が表示される可能性が高くなる。ユーザは,自分の感性に合致した画像を代表画像として選択でき,自分の感性に合致した画像の評価値を高くできる。
図7は,変形例を示すもので,画像評価装置1の処理手順の一部を示すフローチャートである。図7も,図2に対応している。
メモリ・カード14から第1の画像グループに含まれる複数の画像がメモリ・カード・インターフェイス13(第1の画像入力手段)を介して画像評価装置1に入力する(ステップ61)。この場合も,図4に入力した画像I1からI10の印象値S1からS10を示したように,画像I1から画像I10が画像評価装置1に入力したものとする。画像評価装置1に入力した複数の画像I1からI10のうち,複数の印象軸(1つの印象軸でもよい)について,最大の印象値,最小の印象値を有する画像がCPU7によって見つけられる(ステップ62)。見つけられた画像が代表画像候補としてCPU7によって決定される。図4を参照して,「ウォーム」と「クール」とによって規定される横軸の印象軸の最大の印象値はS6であり,最小の印象値はS2である。また,「ソフト」と「ハード」とによって規定される縦軸の印象値の最大の印象値はS9であり,最小の印象値はS3である。これらの印象値S2,S3,S6およびS9に対応する画像I2,I3,I6およびI9が代表画像候補と決定されることとなる。
画像評価装置1に入力した第1の画像グループに含まれる複数の画像のうち,複数の印象軸について最大の印象値および最小の印象値を有する画像が代表画像候補として,表示制御装置3(代表画像候補表示制御手段)によって図3に示すように表示装置2の表示画面に表示させられる(ステップ64)。
表示制御装置3によって表示装置2の表示画面に代表画像候補として表示された画質がしきい値以上の画像の中から,ユーザは,マウス9(代表画像選択手段)を用いて少なくとも1つの代表画像候補を代表画像として選択することとなる。
最大の印象値を有する画像,最小の印象値を有する画像は,入力した画像のうちで際立った印象を示しているから,そのような画像が代表画像候補として表示されることにより,ユーザは自分が持つ画像から,際立った印象を示す画像を容易に選択でき,自分の感性に合致した画像の評価値を高くできる。
上述の実施例では,最大の印象値を有する画像,最小の印象値を有する画像が代表画像候補とされているが,所定数または画像評価装置1に入力した画像のうち所定の割合の数となるまで,複数の印象軸について印象値の大きい順および小さい順に複数の画像を見つけ,見つけられた画像を代表画像候補としてもよい。また,最大の印象値と最小の印象値との中間の印象値に近い印象値を有する画像も代表画像候補に含めるようにしてもよい。
この場合,様々な印象を有する画像が代表画像候補となるので,ユーザは,自分の望む印象を有する画像を代表画像として選択しやすくなる。
[第2実施例]
図8から図16は,第2実施例を示している。
図8および図9は,画像評価装置1の処理手順を示すフローチャートである。
この実施例では,第1の画像グループに含まれる複数の画像のほかに第2の画像グループに含まれる複数の画像が画像評価装置1に入力する。第1の画像グループに含まれる複数の画像は,画像評価値を算出する対象の画像であり,第2の画像グループに含まれる複数の画像は代表画像を決定するための画像である。
メモリ・カード14には複数のフォルダが含まれており,それらの複数のフォルダのそれぞれには複数の画像が格納されているものとする。そのようなメモリ・カード14が画像評価装置1に装填され,ユーザによって,画像評価の対象としたい複数の画像が含まれている第1のフォルダが指定されると,指定された第1のフォルダに格納されている複数の画像が,第1の画像グループに含まれる複数の画像として,メモリ・カード・インターフェイス13(第1の画像入力手段)を介して画像評価装置1に入力する(ステップ71)。つづいて,メモリ・カード14に格納されている複数のフォルダのうち,ユーザによって指定された第1のフォルダと異なる(第1のフォルダと同じでもよい)第2のフォルダがユーザによって指定される。指定された第2のフォルダに格納されている複数の画像が,第2の画像グループに含まれる複数の画像として,メモリ・カード・インターフェイス13(第2の画像入力手段)を介して画像評価装置1に入力する(ステップ72)。
第1の画像グループに含まれている複数の画像は,画像I51からI59の9個の画像とする。画像I51からI59の印象値はS51からS59であるとする。第2の画像グループに含まれている複数の画像は,画像I21からI25,画像I31から画像I35および画像I41から画像I45の15個の画像とする。画像I21からI25の印象値はS21からS25,画像I31からI35の印象値はS31からS35,画像I41からI45の印象値はS41からS45であるとする。
図10は,図4に対応するもので,印象領域の一例である。
図10に示す印象領域も図4に示す印象領域と同様に,横軸が「ウォーム」の印象と「クール」の印象とで規定されている印象軸であり,縦軸が「ソフト」の印象と「ハード」の印象とで規定されている印象軸である。
第2の画像グループに含まれている複数の画像I21からI25,画像I31から画像I35および画像I41から画像I45に対応する印象値S21からS25,S31からS35,S41からS45が図10に示す印象領域に分布させられている。印象領域に分布されている印象値S21からS25,S31からS35,S41からS45が,CPU7によって複数のクラスタCL20,CL30およびCL40に分類される。クラスタCL20には,印象値S21からS25が含まれ,クラスタCL30には,印象値S31からS35が含まれ,クラスタCL40には,印象値S41からS45が含まれている。互いに隣接する印象値同士の距離がしきい値未満の場合には,そのような印象値は同一のクラスタに含まれ,互いに隣接する印象値同士の距離がしきい値以上の場合には,そのような印象値は別のクラスタに分類される。クラスタCL20に含まれる印象値S21からS25に対応する画像I21からI25,クラスタCL30に含まれる印象値S31からS35に対応する画像I31からI35,クラスタCL40に含まれる印象値S41からS45に対応する画像I41からI45がそれぞれ別々のクラスタに分類される。以下,クラスタCL20に含まれる印象値S21からS25に対応する画像I21からI25もクラスタCL20に含まれる画像ということにする。同様に,クラスタCL30に含まれる印象値S31からS35に対応する画像I31からI35もクラスタCL30に含まれる画像,クラスタCL40に含まれる印象値S41からS45に対応する画像I41からI45もクラスタCL40に含まれる画像ということにする。このようにして第2の画像グループに含まれる複数の画像のそれぞれの画像の印象値に基づいて第2の画像グループに含まれる複数の画像が複数のクラスタCL20,CL30およびCL40にCPU7(画像分類手段)によって分類される(図8ステップ73)。
つづいて,複数のクラスタCL20,CL30およびCL40に含まれる複数の画像I21からI25,I31からI35およびI41からI45の印象値の中心値がCPU7によって算出される(図8ステップ74)。クラスタCL20に含まれる複数の画像の印象値S21からS25の中心値がS20で示され,クラスタCL30に含まれる複数の画像の印象値S31からS35の中心値がS30で示され,クラスタCL40に含まれる複数の画像の印象値S41からS45の中心値がS40で示されている。中心値は各クラスタCL20,CL30およびCL40に含まれる印象値S21からS25,S31からS35およびS41からS45の加重平均(重み付け係数はすべて1であるが,印象値に応じて重み付け係数を変えてもよい)により算出できる。
印象値の中心値が算出されると,その中心値とクラスタに含まれる画像の印象値との差異がCPU7によって算出される(ステップ75)。
図11は,クラスタの中心値とクラスタに含まれる画像の印象値との差異を示している。
クラスタCL20の中心値S20と画像I21の印象値S21との差異はΔS21である。同様に,クラスタCL20の中心値S20と画像I22の印象値S22との差異,画像I23の印象値S23との差異,画像I24の印象値S24との差異および画像I25の印象値との差異は,それぞれΔS22,ΔS23,ΔS24およびΔS25である。
また,クラスタCL30の中心値S30と画像I31の印象値S31との差異はΔS31である。同様に,クラスタCL30の中心値S30と画像I32の印象値S3との差異,画像I33の印象値S33との差異,画像I34の印象値S34との差異および画像I35の印象値との差異は,それぞれΔS32,ΔS33,ΔS34およびΔS35である。
さらに,クラスタCL40の中心値S40と画像I41の印象値S41との差異はΔS41である。同様に,クラスタCL40の中心値S40と画像I42の印象値S42との差異,画像I43の印象値S43との差異,画像I44の印象値S44との差異および画像I45の印象値との差異は,それぞれΔS42,ΔS43,ΔS44およびΔS45である。
つづいて,クラスタに含まれる画像の画質(画質評価値)がCPU7によって決定される(ステップ76)。
印象値の差異と画質とが得られると,得られた印象値の差異と画質とからCPU7(第2の画像評価値算出手段)によって画像評価値が算出される(図9ステップ77)。
表2は,第2の画像グループに含まれている画像I21からI25,画像I31からI35および画像I41からI45の画像評価値等を示している。
Figure 0006750094
上述のように,画像I21からI25はクラスタCL20に分類され,画像I31からI35はクラスタCL30に分類され,画像I41からI45はクラスタCL40に分類されている。画像I21の画像評価値はQ21であり,画像I21が属するクラスタCL20の中心値S20から画像I21までの距離(印象値の差異)はΔS21である。画像評価値は,画質評価値をクラスタ中心値からの距離で除したものであるから,Q21/ΔS21となる。画像I21以外についても同様にして画像評価値が算出され,表2に示すテーブルに格納されている。画像評価値は,クラスタに含まれる複数の画像の印象値の中心値とクラスタに含まれる画像の印象値との差異が大きいほど差異が小さい場合と比べて画像評価値が低く算出される。また,クラスタに含まれる画像の画質が悪いほど画質が良い場合と比べて画像評価値が低く算出されることとなる。
第2の画像グループに含まれている画像I21からI25,画像I31からI35および画像I41からI45についての画像評価値が算出されると,算出された画像評価値にもとづいて,クラスタごとに代表画像候補がCPU7(代表画像候補決定手段)によって決定される(図9ステップ78)。クラスタに含まれる画像の画像評価値が高い画像がクラスタごとに代表画像候補として決定される。画像評価値は,画質評価値をクラスタの中心値(クラスタの中心の印象値)で除したものであり,画質評価値が高いほど高くなり,クラスタの中心値に近い印象値をもつほど高くなる。画像の画質が高く,かつクラスタに含まれる画像の印象を代表的に表すような画像が代表画像候補となる。たとえば,クラスタCL20に含まれる画像I21からI25の中から第1の代表画像候補として画像I24が決定され,クラスタCL30に含まれる画像I31からI35の中から第2の代表画像候補として画像I35が決定され,クラスタCL40に含まれる画像I41からI45の中から第3の代表画像候補として画像I45が決定される。
クラスタごとに代表画像候補が決定されると,決定した代表画像候補が表示制御装置3(代表画像候補表示制御手段)の制御のもとに表示装置2の表示画面に表示させられる(図9ステップ79)。
図12は,表示装置2の表示画面に表示されるウインドウ30の一例である。
ウインドウ30には,上述のようにして決定された代表画像候補としての画像I24,I35およびI45が表示されている。画像I24の下には,画像I24の印象を表す感性語(言葉)「おとなしい」が表示されている。同様に代表画像候補としての画像I35の下には,代表画像候補としての画像I35の印象を表す感性語「ひっそりとした」が表示されており,代表画像候補としての画像I45の下には,代表画像候補としての画像I45の印象を表す感性語「すっきりとした」が表示制御装置3の制御のもとに表示されている。これらの感性語は,画像I24,I35およびI45のそれぞれの画像ファイルのヘッダにあらかじめ記憶されている場合には,それらのヘッダから読み取られる。感性語が画像ファイルのヘッダに記憶されていない場合には,感性語が分布されている印象領域を利用する。代表画像候補の印象値S24,S35およびS45に対応する感性語が,感性語が分布されている印象領域から読み取られることにより,代表画像候補に対応する感性語が得られ,図12に示すように対応する画像の下に表示される。ユーザは,感性語を見ることにより,代表画像候補として表示されている画像がどのような印象にものが比較的簡単に把握できる。図3に示すようにあらかじめ記憶されている代表画像候補IR1からIR8の下にも,代表画像候補IR1からIR8のそれぞれの印象に対応する感性語が表示されてもよい。
代表画像候補とされた画像I24,I35およびI45の下には,「OK」の文字が付与されたOKボタン31,「クリア」の文字が付与されたクリア・ボタン32が形成されている。
代表画像候補とされた画像I24,I35およびI45のうち,マウス9(代表画像選択手段)によっていずれかの画像がクリックされ,かつOKボタン31がクリックされると,クリックされた画像が代表画像として選択される(ステップ80)。ここでは,画像I24が代表画像として選択されたものとする。
代表画像が選択されると,選択された代表画像が属するクラスタに含まれる複数の画像の印象値の中心値と第1の画像グループに含まれる複数の画像のそれぞれの画像の印象値との差異が算出される(図9ステップ81)。
図13は,図10および図11に対応するもので,印象領域の一例である。
図13も図10および図11と同様に横軸が「ウォーム」の印象と「クール」の印象とによって規定されている印象軸であり,縦軸が「ソフト」の印象と「ハード」の印象とによって規定されている印象軸である。
図13においては,代表画像として選択された画像I24が属するクラスタCL20の中心値S20,第2グループに含まれる複数の画像I51からI59の印象値S51からS59も図示されている。
クラスタCL20の中心値S20と印象値S51からS59とのそれぞれの差異(中心値S20からの距離)が,ΔS51からΔS59で表されている。このような差異がCPU7によって算出される。
さらに,第1の画像グループに含まれる画像I51からI59のそれぞれの画質(画質評価値)がCPU7によって決定される(図9ステップ82)。
クラスタCL20の中心値S20と印象値S51からS59とのそれぞれの差異と画像I51からI59のそれぞれの画質とが得られると,得られた差異と画質とにもとづいて,CPU7によって画像評価値が算出される(図9ステップ83)。
表3は,第1画像グループに含まれる画像I51からI59についての画像評価値等を格納したテーブルである。
Figure 0006750094
画像I51の画質評価値はQ51であり,選択された中心値S20から画像I51の印象値S51までの距離(印象値の差異)は,ΔS51である。画像評価値は,画質評価値を選択された中心値から評価対象の画像の印象値までの距離で除したものであるから,画像I51の画像評価値は,Q51/ΔS51となる。他の画像I51からI59についても同様に画像評価値がCPU7によって算出される。画像の画質が高いほど(画質評価値が高いほど)画像評価値が高くなり,かつ選択された中心値S20からの距離が近いほど(印象値の差異が小さいほど),ユーザが望む印象に近いと考えられるので画像評価値が高くなる。
ユーザが所有している画像を用いて代表画像を選択でき,選択した代表画像を利用して画像評価値を算出できるようになる。
上述の実施例では,第1の画像グループに含まれている複数の画像と第2の画像グループに含まれている複数の画像とは,同じメモリ・カード14に格納されているが,第1の画像グループに含まれている画像と第2の画像グループに含まれている画像とは異なる記録媒体に格納されていてもよい。
図14は,変形例を示すもので,印象領域の一例である。図14は,図13に対応する。
上述の実施例は,第1の画像グループと第2の画像グループとは異なる画像グループであったが,この変形例は,第1の画像グループと第2の画像グループとが同じ画像グループのものである。
第1の画像グループには,印象値S21からS25,S31からS35およびS41からS45に対応する画像I21からI25,I31からI35およびI41からI45が含まれているものとする。図14には,印象値S21からS25,S31からS35およびS41からS45が分布されている。
画像I21からI25がクラスタCL20に,画像I31からI35がクラスタCL30に,画像I41からI45がクラスタCL40に,それぞれ分類されたものとする。また,クラスタCL20に属する画像I21からI25のうち画像I24が代表画像候補として決定され,クラスタCL30に属する画像I31からI35のうち画像I35が代表画像候補として決定され,クラスタCL40に属する画像I41からI45のうち画像I45が代表画像候補として決定されたものとする。すると,表示装置2の表示画面には,図12に示すウインドウ30が表示される。
画像I24,I35およびI45のうち,画像I24が代表画像として選択されると,画像I24が属するクラスタCL20の中心値S20から,第1の画像グループ(上述した実施例と異なり第1の画像グループと第2の画像グループとが同じであるから,第1の画像グループとなる)に含まれる画像I21からI25,I31からI35およびI41からI45に対応する印象値S21からS25,S31からS35およびS41からS45のそれぞれの印象値までの距離が算出される。
代表画像としてクラスタCL20に含まれる画像I24が選択された場合には,クラスタCL20の中心値S20からクラスタCL20に含まれる画像I21からI25の印象値S21からS25までの距離(印象値の差異)は,図11を参照して算出したものと同じでΔS21からΔS25となる。しかしながら,クラスタCL20の中心値S20からクラスタCL30に含まれる画像I31からI35の印象値S31からS35およびクラスタCL20の中心値S20からクラスタCL40に含まれる画像I41からI45の印象値S41からS45までのそれぞれの距離は,ΔS51からΔS55,ΔS61からΔS65となる。このようにして得られた距離を利用して第1の画像グループに含まれる画像I21からI25,I31からI35およびI41からI45の画像評価値がCPU7によって算出される。
表4は,画像評価値等を格納したテーブルの一例である。
Figure 0006750094
ユーザが代表画像として選択した画像I24が属するクラスタCL20に含まれる画像I21からI25については,表2に格納されている画像評価値と同じとなるが,ユーザが代表画像として選択した画像I24が属するクラスタCL20と異なるクラスタCL30およびクラスタCL40については,表2に格納されている画像評価値と変わる。たとえば,クラスタCL20に含まれる画像I31であれば,クラスタCL20の中心値S20から画像I31の印象値S21までの距離はΔS51であるから,画像I31の画質評価値をQ31とすると,画像I31の画像評価値はQ31/ΔS51となる。また,クラスタCL30に含まれる画像I41であれば,クラスタCL20の中心値S20から画像I41の印象値S41までの距離はΔS61であるから,画像I41の画質評価値をQ41とすると,画像I41の画像評価値はQ41/ΔS61となる。クラスタCL30に含まれる他の画像I32からI35,クラスタCL40に含まれる他の画像I42からI45についても同様にして画像評価値がCPU7によって算出される。画像評価値は,クラスタに含まれる複数の画像の印象値の中心値とクラスタに含まれる画像の印象値との差異が大きいほど差異が小さい場合と比べて画像評価値が低く算出される。また,クラスタに含まれる画像の画質が悪いほど画質が良い場合と比べて画像評価値が低く算出されることとなる。
このように第1の画像グループに含まれる複数の画像と第2の画像グループに含まれる複数の画像とが同一であってもよい。
図15および図16は,変形例を示すもので,画像評価装置1の処理手順を示すフローチャートである。図15および図16は,図8および図9に対応する。
この実施例は,第1の画像グループに含まれる複数の画像と第2の画像グループに含まれる複数の画像とが画像評価装置1に入力するが,代表画像候補を決定する第2の画像グループに含まれる複数の画像については,画質がしきい値以上の画像を用いて複数のクラスタに分類される。
図8および図9に示した処理手順と同様に,第1の画像グループに含まれる複数の画像および第2の画像グループに含まれる複数の画像が画像評価装置に入力する(ステップ91,92)。第1の画像グループと第2の画像グループとが同じであり,第1の画像グループに含まれる複数の画像と第2の画像グループに含まれる画像とが同じであってもよい。第1の画像グループに含まれる複数の画像と第2の画像グループに含まれる画像とが同じ場合には,第1の画像グループに含まれる複数の画像または第2の画像グループに含まれる複数の画像のいずれかの画像が画像評価装置1に入力すればよいし,第1の画像グループおよび第2の画像グループの両方が存在しなくとも,第1の画像グループまたは第2の画像グループのいずれかがあればよい。
第2の画像グループに含まれる複数の画像の画質がCPU7によって決定され(ステップ93),第2の画像グループに含まれる複数の画像のうち画質がしきい値以上の画像が,図10に示したように,CPU7(画像分類手段)によって複数のクラスタに分類される(ステップ94)。たとえば,第2のグループに含まれる複数の画像がI21からI25,I31からI35およびI41からI45とし,これらの画像I21からI25,I31からI35およびI41からI45のすべてがしきい値以上の画質を有しているとすると,図10に示したように,クラスタCL20,CL30およびCL40に分類される。複数のクラスタCL20,CL30およびCL40に含まれる複数の画像の印象値の中心値S20,S30およびS40がCPU7によって算出され(ステップ95),算出された中心値S20,S30およびS40のそれぞれとクラスタに含まれる画像の印象値との差異ΔS21,ΔS31,ΔS41などが図11に示すようにCPU7によって算出される(ステップ76)。
算出された印象値の差異と画質とから第2の画像グループに含まれる複数の画像の画像評価値がCPU7によって算出され(ステップ97),上述したのと同様にクラスタごとに代表画像候補がCPU7によって決定される(ステップ98)。決定した代表画像候補としての画像I24,I35およびI45が図12に示すように表示制御装置3(代表画像候補表示制御手段)によって表示装置2の表示画面に表示させられる(ステップ99)。表示された代表画像候補の中からユーザによって代表画像が選択される(ステップ100)。たとえば,画像I24が代表画像として選択される。
第1の画像グループに含まれる画像の画質がCPU7によって決定される(ステップ101)。
つづいて,代表画像が属するクラスタCL20に含まれる複数の画像の印象値の中心値S20と第1の画像グループに含まれる画像のうちしきい値以上の画質をもつ画像の印象値との差異が算出される(ステップ102)。たとえば,第1の画像グループに含まれる複数の画像がI51からI59であり,これらの画像I51からI59のすべてがしきい値以上の画質を有しているものとすると,図13に示すように,中心値S20と画像I51からI59のそれぞれの画像の印象値S51からS59との差異Δ51からΔ59がCPU7によって算出される。このようにして算出された印象値の差異Δ51からΔ59のそれぞれと第1の画像グループに含まれる複数の画像I51からI59のそれぞれの画像の画質とから,第1の画像グループに含まれる複数の画像I51からI59の画像評価値がCPU7によって算出される(ステップ103)。
このように,第2の画像グループに含まれる複数の画像のうち,画質がしきい値以上の複数の画像について,それぞれの画像の印象値にもとづいて,複数の画像をクラスタに分類しているので,画質が悪い画像についてはクラスタによる分類から排除できる。また,第1の画像グループに含まれる複数の画像のうち,代表画像が属するクラスタに含まれる複数の画像の印象値の中心値と第1の画像グループに含まれる複数の画像のうち,しきい値以上の画質をもつ画像の印象値との差異が検出されるので,画質が悪い画像については,その差異の検出から排除されることとなる。
第1の画像グループに含まれている複数の画像と第2の画像グループに含まれている複数の画像とが同じメモリ・カード14のような記録媒体に記録されている場合には,同一のユーザがそれらの画像を撮影している可能性が高い。第1の画像グループに含まれている複数の画像と第2の画像グループに含まれている複数の画像とが同一のユーザにより撮影されている場合には,ユーザの撮影の傾向が似ることが多いので,第2の画像グループに含まれている複数の画像から代表画像を選択して,第1の画像グループに含まれている複数の画像のうち,その代表画像の印象に近い印象をもつ画像の画像評価値が高くなる。画像評価値の高い画像を用いてフォトブックなどを作成すると,作成されたフォトブックに含まれる画像の傾向は,ユーザの好みに合ったものとなる。単に,高画質の画像を選択してフォトブックなどを作成する場合と比較して,ユーザの好みに近いフォトブックなどを作成できるようになる。
また,たとえば,第1の画像グループに含まれる複数画像は,あるユーザによってある年に撮影された画像であり,第2の画像グループに含まれる複数の画像は,その同一のユーザによってその年の前年に撮影された画像とすると,前年に撮影された画像の中から代表画像が選択され,第1の画像グループに含まれている複数の画像のうち,その代表画像の印象に近い印象をもつ画像の画像評価値が高くなる。この場合も画像評価値の高い画像を用いてフォトブックなどを作成すると,前年に撮影された画像の傾向と同じ傾向の画像を用いてフォトブックを作成できる。前年に撮影された画像からフォトブックが作成されている場合には,前年に撮影された画像から作成されたフォトブックと同じ傾向のフォトブックを新たに作成できるようになる。
上述の処理を実行する処理部には,ソフトウエアを実行して各種の処理部として機能するCPU7のほかに,FPGA(field-programmable gate array)などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス,ASIC(application specific integrated circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は,これらの各種のプロセッサのうちの1つで構成されてもよいし,同種または異種の2つ以上のプロセッサの組合せ(たとえば,複数のFPGA,CPUとFPGAの組合せ)で構成されてもよい。複数の処理部を1つのプロセッサで構成する例としては,第1に,クライアント・コンピュータやサーバなどのコンピュータに代表されるように,1つ以上のCPUとソフトウエアの組合せで1つのプロセッサを構成し,このプロセッサが複数の処理部として機能する形態がある。第2に,システム・オン・チップなどに代表されるように,複数の処理部を含むシステム全体の機能を1つのIC(integrated circuit)チップで実現するプロセッサを使用する形態がある。このように,各種の処理部は,ハードウエア的な構造として各種のプロセッサを1つ以上用いて構成される。
さらに,これらの各種のプロセッサのハードウエア的な構造は,より具体的には,半導体素子などの回路素子を組み合わせた電気回路である。
上述の実施例においては,画像評価装置1は,専用装置のように記載されているが専用装置でなく,パーソナル・コンピュータによって構成されてもよいし,スマートフォン,タブレット装置のようないわゆるスマートデバイスによって構成されてもよいし,フィーチャーフォンのような携帯電話によって構成されてもよい。
1:画像評価装置,2:表示装置,3:表示制御装置,4:メモリ,5:コンパクト・ディスク,6:CDドライブ,7:CPU,8:キーボード,9:マウス,10:通信装置,11:HDドライブ,13:インターフェイス,14:メモリ・カード,30:ウインドウ,31:OKボタン,32:クリア・ボタン,CL20 :クラスタ,CL30:クラスタ,CL40:クラスタ,I1−I9,I10,I21−I25,I31−I35,I41−I45,I51:画像,IR1−IR8:代表画像候補

Claims (14)

  1. 第1の画像グループに含まれる複数の画像を入力する第1の画像入力手段,
    代表画像を選択する代表画像選択手段,および
    上記代表画像選択手段によって選択された代表画像の印象値と上記第1の画像入力手段に入力した複数の画像のそれぞれの画像の印象値との差異と,上記第1の画像グループに含まれる複数の画像のそれぞれの画像の画質と,から画像評価値を算出する第1の画像評価値算出手段,
    を備えた画像評価装置。
  2. 上記第1の画像入力手段に入力した複数の画像のうち,画質がしきい値以上の画像を,代表画像候補として表示させる代表画像候補表示制御手段をさらに備え,
    上記代表画像選択手段は,上記代表画像候補表示制御手段の制御のもとに表示させられた代表画像候補の中から少なくとも1つの代表画像候補を代表画像として選択する,
    請求項1に記載の画像評価装置。
  3. 上記第1の画像入力手段に入力した複数の画像のうち,印象値のばらつきが大きい複数の画像を,代表画像候補として表示させる代表画像候補表示制御手段をさらに備え,
    上記代表画像選択手段は,上記代表画像候補表示制御手段の制御のもとに表示させられた代表画像候補の中から少なくとも1つの代表画像候補を代表画像として選択する,
    請求項1に記載の画像評価装置。
  4. 上記第1の画像入力手段に入力した複数の画像のうち,複数の印象軸の印象値についてのそれぞれの印象値の最大値または最小値を有する複数の画像を,代表画像候補として表示させる代表画像候補表示制御手段をさらに備え,
    上記代表画像選択手段は,上記代表画像候補表示制御手段の制御のもとに表示させられた代表画像候補の中から少なくとも1つの代表画像候補を代表画像として選択する,
    請求項1に記載の画像評価装置。
  5. 上記第1の画像評価値算出手段は,
    上記代表画像が属するクラスタに含まれる複数の画像の印象の中心値と第1の画像グループに含まれる複数の画像のそれぞれの画像の印象値との差異が大きいほど差異が小さい場合と比べて画像評価値を低く算出し,かつ上記第1の画像グループに含まれる複数の画像のそれぞれの画像の画質が悪いほど画質が良い場合と比べて画像評価値を低く算出する,
    請求項1に記載の画像評価装置。
  6. 第2の画像グループに含まれる複数の画像を入力する第2の画像入力手段,
    上記第2の画像グループに含まれる複数の画像のそれぞれの画像の印象値にもとづいて,上記第2の画像グループに含まれる複数の画像を複数のクラスタに分類する画像分類手段,
    上記画像分類手段によって分類された複数のクラスタに含まれる複数の画像の印象値の中心値と上記クラスタに含まれる画像の印象値との差異と,上記クラスタに含まれる画像の画質と,にもとづいて,上記クラスタに含まれる複数の画像のそれぞれの画像評価値を算出する第2の画像評価値算出手段,
    上記第2の画像評価値算出手段よって算出された画像評価値にもとづいて,上記クラスタごとに代表画像候補を決定する代表画像候補決定手段,および
    上記代表画像候補決定手段によって決定された代表画像候補を表示させる代表画像候補表示制御手段を備え,
    上記代表画像選択手段は,
    上記代表画像候補表示制御手段の制御のもとに表示させられた代表画像候補の中から少なくとも1つの代表画像候補を代表画像として選択し,
    上記第1の画像評価値算出手段は,
    上記複数のクラスタのうち,上記代表画像選択手段によって選択された代表画像が属するクラスタに含まれる複数の画像の印象値の中心値と上記第1の画像入力手段から入力した第1の画像グループに含まれる複数の画像のそれぞれの画像の印象値との差異と,上記第1の画像グループに含まれる複数の画像のそれぞれの画像の画質と,にもとづいて画像評価値を算出する,
    請求項1に記載の画像評価装置。
  7. 上記第1の画像グループに含まれる複数の画像と上記第2の画像グループに含まれる複数の画像とは,同一の記憶装置に記憶されている,
    請求項に記載の画像評価装置。
  8. 上記第1の画像グループに含まれる複数の画像と上記第2の画像グループに含まれる複数の画像とが同一である,
    請求項に記載の画像評価装置。
  9. 記第2の画像評価値算出手段は,
    上記クラスタに含まれる複数の画像の印象値の中心値と上記クラスタに含まれる画像の印象値との差異が大きいほど差異が小さい場合と比べて画像評価値を低く算出し,かつ上記クラスタに含まれる画像の画質が悪いほど画質が良い場合と比べて画像評価値を低く算出する,
    請求項に記載の画像評価装置。
  10. 上記画像分類手段は,
    第2の画像グループに含まれる複数の画像のうち,画質がしきい値以上の複数の画像について,それぞれの画像の印象値にもとづいて,上記複数の画像を複数のクラスタに分類し,
    上記第2の画像評価値算出手段は,
    上記複数のクラスタのうち,上記代表画像選択手段によって選択された代表画像が属するクラスタに含まれる複数の画像の印象値の中心値と第2の画像グループに含まれる複数の画像のうち画質がしきい値以上の画像の印象値との差異と,上記第2の画像グループに含まれる複数の画像のそれぞれの画像の画質と,にもとづいて,画像評価値を算出する,
    請求項に記載の画像評価装置。
  11. 上記代表画像候補表示制御手段の制御のもとに表示された代表画像候補に,上記代表画像候補の印象を表す言葉を併記して表示させる言葉表示制御手段,
    をさらに備えた請求項2,3,4および6のうち,いずれか一項に記載の画像評価装置。
  12. 第1の画像入力手段が,第1の画像グループに含まれる複数の画像を入力し,
    代表画像選択手段が,代表画像を選択し,
    第1の画像評価値算出手段が,上記代表画像選択手段によって選択された代表画像の印象値と上記第1の画像入力手段に入力した複数の画像のそれぞれの画像の印象値との差異と,上記第1の画像グループに含まれる複数の画像のそれぞれの画像の画質と,から画像評価値を算出する,
    画像評価方法。
  13. 画像評価装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって,
    第1の画像グループに含まれる複数の画像を入力させ,
    代表画像を選択させ,
    選択された代表画像の印象値と入力した複数の画像のそれぞれの画像の印象値との差異と,上記第1の画像グループに含まれる複数の画像のそれぞれの画像の画質と,から画像評価値を算出させるように画像評価装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
  14. 請求項13に記載のプログラムを格納した記録媒体。
JP2019505786A 2017-03-15 2018-02-14 画像評価装置,画像評価方法および画像評価プログラム Active JP6750094B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017049943 2017-03-15
JP2017049943 2017-03-15
PCT/JP2018/004991 WO2018168303A1 (ja) 2017-03-15 2018-02-14 画像評価装置,画像評価方法および画像評価プログラム

Publications (2)

Publication Number Publication Date
JPWO2018168303A1 JPWO2018168303A1 (ja) 2019-11-07
JP6750094B2 true JP6750094B2 (ja) 2020-09-02

Family

ID=63522999

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019505786A Active JP6750094B2 (ja) 2017-03-15 2018-02-14 画像評価装置,画像評価方法および画像評価プログラム

Country Status (4)

Country Link
US (1) US11210771B2 (ja)
JP (1) JP6750094B2 (ja)
CN (1) CN110235174B (ja)
WO (1) WO2018168303A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111182295B (zh) * 2020-01-06 2023-08-25 腾讯科技(深圳)有限公司 一种视频数据处理方法、装置、设备以及可读存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276484A (ja) * 1999-03-25 2000-10-06 Konica Corp 画像検索装置、画像検索方法及び画像表示装置
JP2003076717A (ja) * 2001-09-04 2003-03-14 Nippon Telegr & Teleph Corp <Ntt> 情報検索方法及び装置と、情報検索プログラム及びそのプログラムの記録媒体
JP2004005303A (ja) 2002-06-03 2004-01-08 Fuji Xerox Co Ltd 画像検索装置、画像検索方法及び画像検索プログラム
JP2004259061A (ja) * 2003-02-26 2004-09-16 Intec Web & Genome Informatics Corp 情報検索装置、情報検索方法、及び情報検索プログラム
JP2006099267A (ja) * 2004-09-28 2006-04-13 Sharp Corp 画像管理装置
WO2007091587A1 (ja) * 2006-02-08 2007-08-16 Nec Corporation 代表画像又は代表画像群の表示システム、その方法、およびそのプログラム
JP2008046425A (ja) * 2006-08-17 2008-02-28 National Institute Of Information & Communication Technology 印象表現出力装置及び方法
JP5358083B2 (ja) * 2007-11-01 2013-12-04 株式会社日立製作所 人物画像検索装置及び画像検索装置
JP2010087971A (ja) * 2008-10-01 2010-04-15 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
JP5180052B2 (ja) * 2008-12-23 2013-04-10 株式会社ニコンシステム 画像評価装置及び画像評価プログラム
JP5039086B2 (ja) * 2009-05-19 2012-10-03 ヤフー株式会社 評価情報入力支援装置、評価情報入力支援方法およびその方法を実行させるプログラム
US8290281B2 (en) * 2009-10-02 2012-10-16 Hewlett-Packard Development Company, L.P. Selective presentation of images
US8571331B2 (en) * 2009-11-30 2013-10-29 Xerox Corporation Content based image selection for automatic photo album generation
US9652462B2 (en) * 2010-04-29 2017-05-16 Google Inc. Identifying responsive resources across still images and videos
JP2012164000A (ja) 2011-02-03 2012-08-30 Jvc Kenwood Corp テンプレート順位付け装置、テンプレート順位付け方法、及びテンプレート順位付けプログラム
WO2012111275A1 (ja) * 2011-02-17 2012-08-23 パナソニック株式会社 画像評価装置、画像評価方法、プログラム、集積回路
JP2013054430A (ja) * 2011-09-01 2013-03-21 Nikon Corp 画像評価装置、撮像装置およびプログラム
JP6011185B2 (ja) * 2012-09-14 2016-10-19 株式会社バッファロー 画像情報処理システム、画像情報処理装置、及びプログラム
US9721292B2 (en) * 2012-12-21 2017-08-01 Ebay Inc. System and method for image quality scoring
JP5802255B2 (ja) * 2013-03-13 2015-10-28 富士フイルム株式会社 レイアウト編集装置、レイアウト編集方法およびプログラム
JP5883821B2 (ja) 2013-03-28 2016-03-15 富士フイルム株式会社 画像検索装置およびその動作制御方法ならびに画像検索サーバ
JP5938379B2 (ja) * 2013-09-24 2016-06-22 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2015118522A (ja) 2013-12-18 2015-06-25 富士フイルム株式会社 アルバム生成装置,アルバム生成方法,アルバム生成プログラムおよびそのプログラムを格納した記録媒体
JP2015162850A (ja) * 2014-02-28 2015-09-07 富士フイルム株式会社 画像合成装置,ならびにその方法,そのプログラム,およびそのプログラムを格納した記録媒体
JP6101661B2 (ja) * 2014-08-27 2017-03-22 富士フイルム株式会社 画像合成装置および画像合成方法ならびに画像合成プログラムおよび画像合成プログラムを格納した記録媒体
JP6450628B2 (ja) 2015-04-01 2019-01-09 日本電信電話株式会社 画像検索装置及びプログラム
JP6414982B2 (ja) * 2015-08-28 2018-10-31 富士フイルム株式会社 商品画像表示制御装置及び商品画像表示制御方法及びプログラム
JP6172551B1 (ja) * 2016-06-09 2017-08-02 パナソニックIpマネジメント株式会社 画像検索装置、画像検索システム及び画像検索方法

Also Published As

Publication number Publication date
US11210771B2 (en) 2021-12-28
JPWO2018168303A1 (ja) 2019-11-07
WO2018168303A1 (ja) 2018-09-20
US20190378262A1 (en) 2019-12-12
CN110235174A (zh) 2019-09-13
CN110235174B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
US11334971B2 (en) Digital image completion by learning generation and patch matching jointly
US11222399B2 (en) Image cropping suggestion using multiple saliency maps
KR101725884B1 (ko) 이미지들에 대한 자동 프로세싱
US9406110B2 (en) Cropping boundary simplicity
US10699453B2 (en) Digital media environment for style-aware patching in a digital image
US9245347B2 (en) Image Cropping suggestion
JP7128665B2 (ja) 画像処理装置,画像処理方法ならびに画像処理プログラムおよびそのプログラムを格納した記録媒体
US10540795B2 (en) Image combination apparatus, image combination method, image combination program, and recording medium storing image combination program
JP7053423B2 (ja) 画像処理装置,画像処理方法および画像処理プログラム
US20210012501A1 (en) Information processing method, storage medium, and information processing apparatus
CN112150347A (zh) 从有限的修改后图像集合中学习的图像修改样式
US11176378B2 (en) Image processing device, image processing method,program, and recording medium
JP6750094B2 (ja) 画像評価装置,画像評価方法および画像評価プログラム
US12029987B2 (en) Image processing apparatus, image processing method, image processing program, and recording medium storing image processing program
US20210342972A1 (en) Automatic Content-Aware Collage
US10339427B2 (en) Subject evaluation system, subject evaluation method and recording medium storing subject evaluation program
US10977848B2 (en) Composite image generating apparatus, composite image generating method, and program
JP6689226B2 (ja) 特徴印象軸決定システム,特徴印象軸決定方法およびそのプログラム
US20200092484A1 (en) Image display control apparatus, image display control method, program, and recording medium
JP6728091B2 (ja) 画像合成装置,画像合成方法およびそのプログラム
JP2017058996A (ja) 電子アルバムテンプレート選択システム,電子アルバムテンプレート選択方法,電子アルバムテンプレート選択プログラムおよびそのプログラムを格納した記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200812

R150 Certificate of patent or registration of utility model

Ref document number: 6750094

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250