JP6041217B2 - 画像評価装置、画像評価方法、プログラム、集積回路 - Google Patents
画像評価装置、画像評価方法、プログラム、集積回路 Download PDFInfo
- Publication number
- JP6041217B2 JP6041217B2 JP2013555684A JP2013555684A JP6041217B2 JP 6041217 B2 JP6041217 B2 JP 6041217B2 JP 2013555684 A JP2013555684 A JP 2013555684A JP 2013555684 A JP2013555684 A JP 2013555684A JP 6041217 B2 JP6041217 B2 JP 6041217B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- evaluation
- feature amount
- image feature
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Library & Information Science (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
本発明は、複数の画像を評価する、画像評価技術に関する。
近年、デジタルカメラの普及や記録メディアの容量増加により、膨大な数の画像や動画などの個人コンテンツをユーザが保有することが可能となってきている。これに加え、個人コンテンツをユーザ間で共有することができるソーシャルネットワークの普及により、ユーザとユーザの友人などとの間で個人コンテンツの共有が頻繁に行われている。
このソーシャルネットワークの普及に伴い、ユーザは、毎日共有される膨大な数の画像を観賞することが困難になってきている。そのため、ユーザ個人にとって重要な画像を見逃すことが考えられ、ユーザ間で共有される画像を効率的に観賞するための画像評価が必要となっている。
従来の画像評価方法としては、共有された画像に対するユーザの投票(評価)数に応じて、各画像の評価値を算出し、画像を評価する方法がある(特許文献1参照)。
David G. Lowe, "Distinctive image features from scale-invariant keypoints" , Journal of Computer Vision, 60, 2 , pp. 91-110, 2004.
G. Csurka, C. Bray, C. Dance, and L, Fan, "Visual Categorization with Bags of Keypoints", Proc. of ECCV Workshop on Statistical Learning in Computer Vision, pp. 1-22 (2004).
The PageRank citation ranking: Bringing order to the Web.Page, Lawrence; Brin, Sergey; Motwani, Rajeev and Winograd, Terry (1999).
しかしながら、特許文献1における画像評価では、ユーザ個人の評価はどうあれ、一般的に評判がいい(評価が高い)画像が高く評価され、ユーザ個人にとって重要な画像を高く評価できないという課題がある。
本発明は、上記の課題に鑑みてなされたものであり、ユーザ個人に合った画像評価を行う、画像評価装置、画像評価方法、プログラム、集積回路の提供を目的とする。
上記従来の課題を解決するために本発明に係る画像評価装置は、複数の画像それぞれから画像特徴量を抽出する画像特徴量抽出手段と、主体ユーザを含む複数のユーザの前記画像それぞれに対する評価を含む評価情報を取得する評価情報取得手段と、前記画像特徴量と前記評価情報に基づいて、前記画像と前記ユーザと前記画像特徴量を分類した画像特徴量群との関係を表す情報を生成する生成手段と、前記生成手段が生成する情報に基づいて、前記主体ユーザに対する当該画像の重要度を表す画像ソーシャル重要度を算出する画像ソーシャル重要度算出手段と、を備えることを特徴とする。
本発明に係る画像評価装置は、ユーザ個人に合った画像評価を行う。
<発明に至った経緯>
特許文献1の画像評価は、ネットワーク上などの画像を対象に、ユーザが画像に対して投票し、その投票数の合計に応じて、画像の評価値を算出し、画像を評価する。そのため、特許文献1の画像評価では、一般的に評判のよい(評価の高い)画像が高く評価される。しかしながら、ユーザ個人の好みは多様であるため、一般的に評判のよい画像がユーザ個人にとっても重要であるとは限らず、この画像評価では、ユーザ個人にとって本当に重要な画像が高く評価されずユーザが見落としてしまう可能性があるという課題がある。
特許文献1の画像評価は、ネットワーク上などの画像を対象に、ユーザが画像に対して投票し、その投票数の合計に応じて、画像の評価値を算出し、画像を評価する。そのため、特許文献1の画像評価では、一般的に評判のよい(評価の高い)画像が高く評価される。しかしながら、ユーザ個人の好みは多様であるため、一般的に評判のよい画像がユーザ個人にとっても重要であるとは限らず、この画像評価では、ユーザ個人にとって本当に重要な画像が高く評価されずユーザが見落としてしまう可能性があるという課題がある。
そこで、この点に関し、本発明者は検討を重ねた結果、ユーザは画像を評価する際に、画像に含まれる特定の特徴(例えば、画像に写るオブジェクト)に対して関心を持って評価を行っているという知見を得た。この知見に基づき、本発明者は、ユーザが評価した画像に共通して含まれる特徴は重要な特徴であり、その重要な特徴を含む画像はユーザにとって重要な画像であることを見出し、本発明に至った。
本発明の画像評価処理は、画像評価の対象とする主体ユーザと、その主体ユーザと画像を共有するリンクユーザがすでに画像を評価した評価情報を基に画像特徴量の重要度を算出する。主体ユーザだけでなく、リンクユーザの評価情報も考慮することで、膨大な数の画像を評価する場合や主体ユーザの評価情報が少ない場合でも、高い精度で主体ユーザに対する画像評価ができる。
<1.実施の形態1>
実施の形態1は、ソーシャルネットワーク上の画像を対象に、ユーザ毎に画像を評価する画像評価装置に関するものである。
実施の形態1は、ソーシャルネットワーク上の画像を対象に、ユーザ毎に画像を評価する画像評価装置に関するものである。
以下、実施の形態1について、図面を参照しながら説明する。
<1−1.構成>
図1は、実施の形態1における画像評価システム1Aのブロック図である。
図1は、実施の形態1における画像評価システム1Aのブロック図である。
図1に示すように、画像評価システム1Aは、ネットワーク2と画像評価装置3Aとディスプレイ4を含んで構成される。
画像評価装置3Aは、画像取得部10、画像特徴量群抽出部20、評価情報取得部30、評価特徴量算出部40、評価嗜好類似度算出部50、画像評価部60、記憶部70、及び表示制御部90を備える。
画像取得部10は、ネットワーク2から、主体ユーザのアカウント上で共有されている画像を取得する。
画像特徴量群抽出部20は、画像特徴量を抽出し、画像特徴量占有度を算出し、画像特徴量を画像特徴量群にクラスタリングする機能を有し、画像特徴量抽出部21と画像特徴量占有度算出部22と画像特徴量クラスタリング部23とを備える。
なお、「画像特徴量」とは、画像に写るオブジェクト(人物や物体など)の特徴量である。
また、「画像特徴量群」とは、各画像特徴量を分類したものである。
なお、画像特徴量群に含まれる画像特徴量は、画像特徴量の抽出対象となるオブジェクト全体の特徴量に限らず、画像特徴量の抽出対象となるオブジェクトの一部の特徴量をも含むことがある。
また、「画像特徴量占有度」とは、各画像特徴量の抽出対象となるオブジェクトが写る領域の画像に占める占有度である。
画像特徴量抽出部21は、画像取得部10で取得された画像データを対象として、画像特徴量を抽出する。画像から画像特徴量を抽出する方法は、SIFT特徴量による抽出手法を用いても良い。SIFT特徴量の抽出手法については、非特許文献1を参照されたい。
画像特徴量占有度算出部22は、画像特徴量抽出部21で抽出された画像特徴量を対象として、画像特徴量占有度を算出し、算出した画像特徴量占有度を画像特徴量占有度記憶部71に記憶させる。
画像特徴量クラスタリング部23は、画像特徴量抽出部21で抽出された画像特徴量に対して、類似する画像特徴量を画像特徴量群にクラスタリングする。画像特徴量をクラスタリングする方法として、Bag of Keypointsによる分類手法で算出されても良い。Bag of Keypointsの分類手法については、非特許文献2を参照されたい。
さらに、クラスタリング後、画像特徴量クラスタリング部23は、クラスタリングした画像特徴量群と、クラスタリングに使用した各画像に含まれる画像特徴量の情報を、画像特徴量群管理情報として画像特徴量群管理情報記憶部72に記憶させる。
なお、「画像特徴量群管理情報」とは、各画像特徴量がいずれの画像特徴量群にクラスタリングされたか、各画像特徴量はいずれの画像から抽出されたか、各画像特徴量はどのようなデータ情報(128次元)を持つかを表す情報である。
評価情報取得部30は、ネットワーク2から、ユーザの評価情報を取得する。
なお、「評価情報」とは、主体ユーザと主体ユーザと画像を共有する全てのリンクユーザが、主体ユーザのアカウント上で共有される画像に対して、どのような評価をしたかを表す情報である。
評価特徴量算出部40は、評価情報取得部30で取得された評価情報を対象として、各ユーザの評価傾向を表す評価特徴量を算出する。さらに、評価特徴量算出部40は、算出した評価特徴量を評価特徴量記憶部74に、評価情報取得部30で取得された評価情報を評価情報記憶部73にそれぞれ記憶させる。
なお、「評価特徴量」とは、各画像に対する各ユーザの評価情報を特徴量として表したものである。
評価嗜好類似度算出部50は、評価特徴量記憶部74に記憶されている評価特徴量を対象として、主体ユーザとリンクユーザとの全ての組合せで評価嗜好類似度を算出すし、算出した評価嗜好類似度を評価嗜好類似度記憶部75に記憶させる。
なお、「評価嗜好類似度」とは、主体ユーザと各リンクユーザとの評価傾向が類似しているほど高くなる度合いである。
画像評価部60は、画像特徴量群重要度と画像ソーシャル重要度を算出する機能を有し、画像特徴量群重要度算出部61と画像ソーシャル重要度算出部62とを備える。
画像特徴量群重要度算出部61は、画像特徴量群管理情報記憶部72に記憶されている画像特徴量群管理情報、評価情報記憶部73に記憶されている評価情報、および評価嗜好類似度記憶部75に記憶されている評価嗜好類似度を取得する。さらに、画像特徴量群重要度算出部61は、取得した情報を基に、各画像特徴量群に対して画像特徴量群重要度を算出し、算出した画像特徴量群重要度を画像特徴量群重要度記憶部76に記憶させる。
なお、「画像特徴量群重要度」とは、主体ユーザにとって、各画像特徴量群がどれだけ重要かを表す度合いであり、主体ユーザや主体ユーザと評価傾向が類似するリンクユーザが評価した画像に多く含まれる画像特徴量群であるほど、高い値となる。また、画像特徴量群重要度は、画像ソーシャル重要度の算出に用いられる情報であり、画像特徴量群重要度は、各画像、各ユーザ、および各画像特徴量群の関係を表す情報であると言える。
画像ソーシャル重要度算出部62は、画像特徴量群管理情報記憶部72に記憶されている画像特徴量群管理情報、画像特徴量群重要度記憶部76に記憶されている画像特徴量群重要度、および画像特徴量占有度記憶部71に記憶されている画像特徴量占有度を取得する。さらに、画像ソーシャル重要度算出部62は、取得した情報を基に、各画像に対して画像ソーシャル重要度を算出し、算出した画像ソーシャル重要度を画像ソーシャル重要度記憶部77に記憶させる。
なお、「画像ソーシャル重要度」とは、主体ユーザにとって、各画像がどれだけ重要か表す度合いである。画像ソーシャル重要度は、画像に含まれる画像特徴量の画像特徴量群重要度の値が大きく、画像に含まれる特徴量の抽出対象となるオブジェクトが写る領域の占有度が高いほど、高い値となる。
記憶部70は、各種情報を記憶する機能を有し、画像特徴量占有度記憶部71、画像特徴量群管理情報記憶部72、評価情報記憶部73、評価特徴量記憶部74、評価嗜好類似度記憶部75、画像特徴量群記憶部76、および画像ソーシャル重要度記憶部77を備える。記憶部70は、例えばRAM(Random Access Memory)やHDD(Hard Disk Drive)から構成することができる。
表示制御部90は、画像ソーシャル重要度記憶部77に記憶された画像ソーシャル重要度を取得し、画像ソーシャル重要度が高い画像を優先的にディスプレイの画面に表示させる。
なお、画像特徴量群抽出部20、評価特徴量算出部40、評価嗜好類似度算出部50、および画像評価部60などは、例えば、ROM(Read Only Memory)に格納された制御プログラムを実行するCPU(Central Processing Unit)などから構成することができる。
<1−2.動作>
次に、実施の形態1における画像評価装置3Aの動作について説明する。
次に、実施の形態1における画像評価装置3Aの動作について説明する。
図2は、図1の画像評価装置3Aが行う画像評価の処理を示すフローチャートである。図1の画像評価装置3Aは、画像取得・画像特徴量群抽出(S21)、評価情報取得・評価特徴量抽出(S22)、評価嗜好類似度算出(S23)、および画像評価(S24)の処理を順に行う。
図2のステップS21(画像取得・画像特徴量抽出)を、図3と具体例(図4)を用いて説明する。
まず、画像取得部10は、ネットワーク2から主体ユーザのアカウント上で共有されている画像1〜3(図4(a))の画像データを取得する(図3:S31)。
次に、画像特徴量抽出部20は、画像取得部10で取得された画像1〜3の画像データから画像特徴量1〜4(図4(b))を抽出する(図3:S32)。なお、図4(b)では、画像特徴量を、画像特徴量の抽出対象であるオブジェクトにより模式的に表現している。以降の図においても、同様に画像特徴量を表現する。
次に、画像特徴量占有度算出部22は、画像特徴量抽出部20で抽出された画像特徴量1〜4の抽出対象であるオブジェクトが写る領域の画像1〜3に対する占有度を画像特徴量占有度として算出し、算出した画像特徴量占有度を画像特徴量占有度記憶部71に記憶させる(図3:S33)。
画像特徴量占有度記憶部71のデータ構造を図6に示す。図6に示すように、画像特徴量占有度記憶部71は、「画像ID」、「画像特徴量ID」、および「画像特徴量占有度」の項目を含む。
次に、画像特徴量クラスタリング部23は、画像特徴量抽出部21で抽出された画像特徴量1〜4の内、画像特徴量1と画像特徴量2とを類似した画像特徴量であると判別し、画像特徴量群1(図4(c))にクラスタリングし、また、画像特徴量3と画像特徴量4とを類似した画像特徴量であると判別し、画像特徴量群2(図4(c))にそれぞれクラスタリングする(図3:S34)。最後に、画像特徴量抽出部21は、クラスタリングした画像特徴量群1・2と、クラスタリングに使用した画像特徴量1〜4の情報とを、画像特徴量群管理情報として画像特徴量群管理情報記憶部72に記憶させる。
画像特徴量群管理情報記憶部72のデータ構造を図5に示す。図5に示すように、画像特徴量群管理情報記憶部72には、「画像特徴量群ID」、「画像ID」、「画像特徴量ID」、および「画像特徴量データ」の項目を含む。
図2のステップS22(評価取得・評価特徴量算出)を、図7と具体例(図8)を用いて説明する。
評価取得部30は、ネットワークから、画像1〜3に対するユーザ1〜3の評価情報(図8(a))を取得する(図7:S71)。
次に、評価特徴量算出部40は、評価取得部30で取得されたユーザ1〜3の評価情報を基に、ユーザ1〜3の評価特徴量1〜3(図8(b))を算出し、算出した評価特徴量1〜3を評価特徴量記憶部74に、評価取得部30で取得したユーザ1〜3の評価情報を評価情報記憶部73に記憶させる(図7:S72)。
評価特徴量記憶部74のデータ構造を図9に示す。図9に示すように、評価特徴量記憶部74は、「ユーザID」および「評価特徴量」の項目を含む。
評価情報記憶部73のデータ構造を図10に示す。図10に示すように、評価情報記憶部73は、「ユーザID」、ユーザが属する「コミュニティID」、および「画像ID」の項目を含む。
なお、具体例(図8)においてユーザ1〜3は、画像を評価した(1)か、評価しなかった(0)の1段階評価で評価しているが、評価方法はこれに限られるものではない。参考として、図11に評価方法の具体例をあげる。例えば、画像の閲覧操作(図11(a))、画像の5つ星などの5段階評価(図11(b))、画像のイイね!などの1段階評価(図11(c))、画像に対するコメント記入操作(図11(d))、画像の一部に対する拡大表示操作(図11(e))といった評価方法があり、それぞれの評価方法に個別の評価値を設ける(図11(f))ことができる。さらに、これらの評価方法の評価値を合算することで、より詳しい評価情報を取得することができる。
図2のステップS23(評価嗜好類似度算出)を、図12を用いて説明する。
評価嗜好類似度算出部50は、評価特徴量記憶部74から評価特徴量を取得する(S111)。続いて、評価嗜好類似度算出部50は、取得した評価特徴量から、主体ユーザの評価特徴量を設定し(S112)、リンクユーザの内一人の評価特徴量を設定する(S113)。続いて、その設定した2つの評価特徴量の評価嗜好類似度を算出し、算出した評価嗜好類似度を評価嗜好類似度記憶部75に記憶させる(S114)。
このとき、評価嗜好類似度50は、主体ユーザとリンクユーザとの全ての組合せで評価嗜好類似度を算出していない場合は(S115:No)、リンクユーザの内一人の評価特徴量の設定(S113)まで戻り、主体ユーザとリンクユーザとの全ての組合せで評価嗜好類似度を算出する(S115:Yes)まで再帰的に処理を行う。
ここで、具体例(図13)を用いて、評価嗜好類似度の算出方法を詳しく説明する。
図13(a)は、3人のユーザ1〜3が3枚の画像1〜3を評価している場合の、ユーザ1〜3の評価特徴量をそれぞれ表している。なお、具体例(図13)では、ユーザ1〜3は、画像1〜3を評価した(1)か、評価しなかった(0)の1段階評価で評価している。そのため、同一の画像を評価しているユーザ同士ほど、そのユーザ間の評価嗜好類似度の値は高くなる。
例えば、ユーザ2のユーザ1との評価嗜好類似度は(図13(b))、ユーザ1とユーザ2とは画像3つの内、画像2つを共通して評価しているため、下記[数1]により、2÷3=0.66となる。
また、ユーザ3のユーザ1との評価嗜好類似度は(図13(c)、ユーザ1と3とは画像3つの内、画像1つを共通して評価していることから、下記[数1]により、1÷3=0.33となる。
評価嗜好類似度を算出するための計算式[数1]を以下に示す。[数1]において、ベクトルDとEは評価特徴量、Vは各画像に対する評価値である。
評価嗜好類似度記憶部75のデータ構造を図14に示す。図14に示すように、評価嗜好類似度記憶部75には、「ユーザID」および「評価嗜好類似度」の項目を含む。
図2のステップS24(画像評価)を、図15を用いて説明する。
画像特徴量群重要度算出部61は、画像特徴量群管理情報記憶部72から画像特徴量群管理情報、評価情報記憶部73から評価情報、および評価嗜好類似度記憶部75から評価嗜好類似度を取得する(S141)。
続いて、画像特徴量群重要度算出部61は、取得した画像特徴量群管理情報、評価情報、および評価嗜好類似度を基に、各画像特徴量群に対して画像特徴量群重要度を算出し、算出した画像特徴量群重要度を画像特徴量群重要度記憶部76に記憶させる(S142)。
次に、画像ソーシャル重要度算出部62は、画像特徴量群管理情報記憶部72から画像特徴量群管理情報、画像特徴量群重要度記憶部76から画像特徴量群重要度、および画像特徴量占有度記憶部71から画像特徴量占有度を取得する(S143)。
続いて、画像ソーシャル重要度算出部62は、取得した画像特徴量群管理情報、画像特徴量群重要度、および画像特徴量占有度を基に、各画像に対して画像ソーシャル重要度を算出し、算出した画像ソーシャル重要度を画像ソーシャル重要度記憶部77に記憶させる(S144)。
ここで、具体例(図16・17)を用いて、画像特徴量群重要度の算出方法(S142)を詳しく説明する。なお、本実施の形態の効果をわかりやすく説明するために、新たな具体例(図16:画像特徴量群管理情報・評価情報・評価嗜好類似度)を採用する。
図16に示すように、ユーザ1を主体ユーザとし、4人のユーザ1〜4が、8つの画像1〜8を評価したとする。また、画像1〜8はそれぞれ画像特徴量1〜10を含み、画像特徴量1〜10は画像特徴量群1〜4にクラスタリングされるとする。なお、画像特徴量1〜10の抽出対象となるオブジェクトが写る領域の画像1〜4に対する占有度である画像特徴量占有度の値と、ユーザ1と各ユーザとの評価嗜好類似度の値は図16に示す通りとする。
例えば、画像特徴量群1の画像特徴量群重要度の算出する場合(図17(a))、画像特徴量群重要度算出部61は、画像特徴量群1を含む画像1をユーザ1(ユーザ1との評価嗜好類似度1.0)が2枚(画像1・2)、ユーザ2(ユーザ1との評価嗜好類似度0.73)が2枚(画像1・2)、ユーザ3(ユーザ1との評価嗜好類似度0.21)が1枚(画像2)評価しているため、画像特徴量群重要度算出部61は、下記[数2]を用いて、1.0×2+0.73×2+0.21×1=3.67と計算処理を行う。続いて、画像特徴量群重要度算出部61は、この計算処理で得られた値を正規化し、画像特徴量群1の画像特徴量群重要度を0.42と算出する。
画像特徴量群重要度を算出するための計算式[数2]を以下に示す。[数2]において、imgfeatureScoreは画像特徴量群重要度、evalsimilarityは評価嗜好類似度、evalcountは対象の画像特徴量群に対して対象ユーザが評価した回数、Pは画像特徴量群(jは画像特徴量数分の変数)、Uはユーザ(iはユーザ数分の変数、xは主体ユーザ)である。
なお、画像特徴量群重要度算出部61は、画像特徴量群の重要度を比較しやすくするために、上記[数2]の計算処理で得られた値を、正規化をし、最終的に画像特徴量群重要度を算出する。本実施の形態における「正規化」とは、合計が1になるように計算処理を行うこととする。
例えば、図17((b)〜(d))に示すように、画像特徴量群2〜4に対しても、画像特徴量群1と同様に、上記[数2]による計算結果は、画像特徴量群2では2.20、画像特徴量群3では2.24、画像特徴量群4では0.57となる。これらの値を用いて、上述した画像特徴量群1における[数2]の計算結果で得られた3.67という値を正規化するには、3.67÷(3.67+2.20+2.24+0.57)=0.42という計算処理を行う。
なお、画像特徴量群2〜4の画像特徴量群重要度も、画像特徴量群1の画像特徴量群重要度と同様に算出される(図17((b)〜(d)))。
図17で示すように、画像特徴量群1〜4の画像特徴量群重要度は、画像特徴量群1(画像特徴量群重要度:0.42)>画像特徴量群3(画像特徴量群重要度:0.26)>画像特徴量群2(画像特徴量群重要度:0.25)>画像特徴量群4(画像特徴量群重要度:0.07)の順で高く算出される。画像特徴量群1・2の画像特徴量群重要度は、主体ユーザであるユーザ1が画像特徴量群1・2を含む画像を評価しているため、高い値となる。画像特徴量群3の画像特徴量群重要度は、主体ユーザであるユーザ1は画像特徴量群3を含む画像を評価していないが、主体ユーザであるユーザ1と評価傾向が似ているユーザ2が画像特徴量群3を含む画像を多く評価しているため、高い値となる。画像特徴量群4の画像特徴量群重要度は、主体ユーザであるユーザ1は画像特徴量群4を含む画像を評価しておらず、主体ユーザであるユーザ1と評価傾向が似ていないユーザ3・4のみが画像特徴量4を含む画像を評価しているため、低い値となる。また、ユーザ全体での各画像の評価頻度(全体で各画像が評価された枚数)に着目すると、ユーザ全体で画像特徴量群1・2を含む画像はそれぞれ5枚、画像特徴量群3を含む画像は4枚、画像特徴量群4を含む画像は5枚評価されているが、評価頻度の多い画像特徴量群4より、評価頻度の少ない画像特徴量群3の画像特徴量群重要度が高い値となっている。
このように、実施の形態1において、画像特徴量群重要度には、ユーザ全体での画像の評価頻度よりも、主体ユーザや主体ユーザと評価傾向が類似しているリンクユーザによる画像評価が大きく反映される。
画像特徴量群重要度記憶部76のデータ構造を図19に示す。図19に示すように、画像特徴量群重要度記憶部76は、「画像特徴量群ID」および「画像特徴量群重要度」の項目を含む。
次に、具体例(図18・図16・図17)を用いて、画像ソーシャル重要度の算出方法(S144)を詳しく説明する。画像特徴量群重要度算出方法(S142)の説明に引き続き、図16に示す具体例(画像特徴量群管理情報・評価情報・評価嗜好類似度)を採用し、図16を用いて算出された画像特徴量群重要度の値(図17)を使用する。
例えば、画像1の画像ソーシャル重要度の算出する場合(図18(a))、画像1には画像特徴量群1(画像特徴量群重要度0.42)に属する画像特徴量1(画像特徴量占有度0.33)が含まれているため、画像ソーシャル重要度算出部62は、下記[数3]を用いて、0.42×0.33=0.14と計算処理を行う。続いて、画像ソーシャル重要度算出部62は、この計算処理で得られた値を正規化し、画像1の画像ソーシャル重要度を0.42と算出する。
また、画像2の画像ソーシャル重要度の算出する場合(図18(b))、画像2には画像特徴量群1(画像特徴量群重要度0.42)に属する画像特徴量2(画像特徴量占有度0.21)と、画像特徴量群2(画像特徴量群重要度0.25)に属する画像特徴量3(画像特徴量占有度0.17)の2つの画像特徴量が含まれているため、画像ソーシャル重要度算出部62は、下記[数3]を用いて、(0.42×0.21)+(0.25×0.17)=0.13と計算処理を行う。続いて、画像ソーシャル重要度算出部62は、計算処理で得られた値を正規化し、画像2の画像ソーシャル重要度を0.22と算出する。
画像ソーシャル重要度を算出するための計算式[数3]を以下に示す。[数3]において、imgSocialScoreは画像ソーシャル重要度、imgfeatureScoreは画像特徴量群重要度、imgfeatureOccupationは画像特徴量占有度、Qは画像ID(kは画像数分の変数)、Sは画像特徴量ID(jは画像Qに含まれる画像特徴量数分の変数)、Pは画像特徴量群である。
なお、画像ソーシャル重要度算出部62は、画像特徴量群重要度算出(S142)と同様に、画像ソーシャル重要度算出(S144)の処理においても、各画像の重要度を比較しやすくするために、正規化を行っている。
また、図18に示すように、画像特徴量群3〜8の画像ソーシャル重要度は、画像1・2の画像ソーシャル重要度と同様に算出される。画像1〜8の画像ソーシャル重要度は、画像1>画像2>画像4>画像6>画像3>画像5>画像8>画像7となる。
このように、本実施の形態1において、画像特徴量群重要度は、ユーザ全体での画像の評価頻度よりも、主体ユーザあるいは主体ユーザと評価傾向が似ているリンクユーザによる画像評価が反映される。
また、画像ソーシャル重要度は、画像特徴量群重要度に基づいて算出されるので、画像特徴量群重要度と同様に、ユーザ全体での画像の評価頻度よりも、主体ユーザあるいは主体ユーザと評価傾向が似ているリンクユーザによる画像評価頻度が反映される。
また、画像に対して画像特徴量の抽出対象となるオブジェクトが写る領域が占める割合が大きい、即ち抽出対象となるオブジェクトが大きく写る画像ほど、ユーザにとって重要な画像であると思われる。本実施の形態1において、画像ソーシャル重要度は、画像特徴量群重要度に画像特徴量占有度を掛け合わせることで算出されるため、画像に対して画像特徴量の抽出対象となるオブジェクトが写る領域が占める割合が大きいほど、その画像の画像ソーシャル重要度は高い値となる。画像ソーシャル重要度算出部62は、画像特徴量占有度を掛け合わせることで、画像特徴量群重要度だけで画像ソーシャル重要度を算出するよりも、より高い精度で画像ソーシャル重要度を算出できる。
画像ソーシャル重要度記憶部77のデータ構造を図20に示す。図20に示すように、画像特徴量群重要度記憶部76は、「画像ID」および「画像ソーシャル群重要度」の項目を含む。
<1−3.まとめ>
実施の形態1における画像評価は、主体ユーザあるいは主体ユーザと評価傾向の似ているリンクユーザが評価した画像に含まれる画像特徴量群を、主体ユーザにとって重要な画像特徴量群であるとし、その画像特徴量群を含む画像を重要な画像であると評価することで、主体ユーザにとって重要な画像を高く評価することができる。
実施の形態1における画像評価は、主体ユーザあるいは主体ユーザと評価傾向の似ているリンクユーザが評価した画像に含まれる画像特徴量群を、主体ユーザにとって重要な画像特徴量群であるとし、その画像特徴量群を含む画像を重要な画像であると評価することで、主体ユーザにとって重要な画像を高く評価することができる。
図21の具体例を用いて、ユーザ全体の評価頻度に基づく従来の画像評価と、実施の形態1における画像評価とを比較する。図21(a)に示すように、ユーザ1〜5が画像1〜6を評価しているとする。また、主体ユーザをユーザ5、主体ユーザと評価傾向が似ているリンクユーザをユーザ4とする。また、実施の形態1における画像評価の効果をわかりやすく説明するために、画像1・画像4・画像5の3つの画像の評価順位について考察する。
まず、ユーザ全体の評価頻度に基づく従来の画像評価において、3つの画像の評価順位は、画像1>画像5>画像4となる(図21(b)左図)。このように、ユーザ全体の評価頻度に基づく従来の画像評価では、全体の評価頻度が多い画像1が高く評価され、主体ユーザ5が評価した画像5や、主体ユーザ5と評価傾向の似ているユーザ4が評価した画像4は高く評価されない。
これに対して、実施の形態1の画像評価において、3つの画像の評価順位は、画像5>画像4>画像1となる(図21(b)右図)。このように、実施の形態1の画像評価では、主体ユーザ5が評価した画像5や、主体ユーザ5と似た評価傾向の似ているユーザ4が評価した画像4が高く評価される。これらの結果からも、実施の形態1の画像評価によれば、ユーザ個人にとって重要な画像を高く評価できることがわかる。
<2.実施の形態2>
実施の形態2は、実施の形態1と同様に、ソーシャルネットワー上の画像を対象にユーザ毎に画像を評価する画像評価装置に関するものである。
実施の形態2は、実施の形態1と同様に、ソーシャルネットワー上の画像を対象にユーザ毎に画像を評価する画像評価装置に関するものである。
ただし、実施の形態1における画像評価装置3Aは、主体ユーザとリンクユーザの評価嗜好類似度を算出し、評価嗜好類似度を基に画像特徴量の重要度を算出し、画像特徴量を基に、主体ユーザに対する画像評価を行うと説明した。これに対して、実施の形態2における画像評価装置は、グラフ解析を用いて、コミュニティ同士、ユーザ同士、画像同士、及び画像特徴量同士の共起関係から、主体ユーザに対する画像評価を行うという点で、実施の形態1とは異なる。
以下、実施の形態2における画像評価装置について、図面を参照しながら説明する。なお、実施の形態2における画像評価装置において、実施の形態1における画像評価装置3Aと同じ構成要素については、同じ符号を用いて、その説明を省略する。
<2−1.構成>
図22は実施の形態2おける画像評価システム1Bのブロック図である。
図22は実施の形態2おける画像評価システム1Bのブロック図である。
図22に示すように、実施の形態2における画像評価装置3Bは、実施の形態1における画像評価装置3A(図1)の構成に加えて、グラフ生成部80を有する。また、実施の形態2における画像評価部60は、実施の形態1における画像評価部60の構成に加えて、隣接行列生成部63と固有ベクトル算出部64を有する。さらに、実施の形態2における記憶部70は、実施の形態1における記憶部70の構成に加えて、グラフ記憶部78を有する。
また、実施の形態1における画像評価装置3Aは、画像評価のために主体ユーザと各リンクユーザとの評価嗜好類似度を算出したが、実施の形態2における画像評価装置3Bでは、ユーザと画像との評価関係を基に評価リンクを設定し、グラフ解析を用いて画像評価を行うため、評価嗜好類似度を算出する必要はない。したがって、実施の形態1の画像評価装置3A(図1)の構成に含まれる評価嗜好類似度算出部50と評価嗜好類似度記憶部75は、本実施の形態における画像評価装置3Bの構成から除く。
また、実施の形態1における画像評価装置3Aでは、画像特徴量群重要度に基づいて、画像ソーシャル重要度を算出したが、実施の形態2における画像評価装置3Bでは、画像と画像特徴量との従属関係を基に画像特徴リンクを設定し、グラフ解析を用いて画像ソーシャル重要度を算出するため、画像特徴量群重要度を算出する必要はない。したがって、実施の形態1における画像評価装置3A(図1)の構成に含まれる画像特徴量群重要度算出部61と画像特徴量群重要度記憶部76は、実施の形態2における画像評価装置3Bの構成から除く。
グラフ生成部80は、各ノードを生成し、生成したノード間のリンクを表すグラフを生成し、生成したグラフをグラフ記憶部78に記憶させる機能を有する。また、グラフ生成部80は、ノード生成部81、コミュニティリンク設定部82、評価リンク設定部83、画像特徴リンク設定部84、ダミーリンク設定部85で構成されている。
なお、この生成されるグラフは、画像ソーシャル重要度の算出に用いられる情報であり、各画像、各ユーザ、および各画像特徴量群の関係を表す情報である。また、ノード間のリンクには夫々向きがあるので、この生成されるグラフは有向グラフと呼ばれるタイプである。
ノード生成部81は、画像特徴量群管理情報記憶部72から画像特徴量群管理情報、評価情報記憶部73から評価情報並びにコミュニティ情報、および画像特徴量占有度記憶部71から画像特徴量占有度を取得する。
なお、「コミュニティ情報」とは、主体ユーザが所属するコミュニティの情報と、主体ユーザと画像を共有するリンクユーザが、主体ユーザが所属するコミュニティの内、いずれのコミュニティに所属するか、言い換えると、主体ユーザが所属するコミュニティの内、いずれのコミュニティのメンバーであるかを示す情報である。
さらに、ノード生成部81は、取得した画像特徴量群管理情報、評価情報、コミュニティ情報、および画像特徴量占有度を基に、コミュニティ・ユーザ・画像・画像特徴量群・ダミーのノードを生成する。具体的には、ノード生成部81は、主体ユーザのアカウント上で共有されている画像それぞれを示す画像ノードと、画像に含まれる画像特徴量群それぞれを示す画像特徴量群ノードと、主体ユーザ並びに主体ユーザと画像を共有する全てのリンクユーザそれぞれを示すユーザノードと、主体ユーザが所属するコミュニティそれぞれを示すコミュニティノードと、ダミーノードとを生成する。即ち、生成される各画像ノード、各画像特徴量群ノード、各ユーザノード、および各コミュニティノードはそれぞれ、当該画像の集合の要素、当該画像特徴量群の集合の要素、当該ユーザの集合の要素、当該コミュニティの集合の要素である。
なお、「ダミーノード」とは、ノード間のリンクの重みを調整するためのノードである。ダミーノードは、例えば、外向きのリンクがなく重要度を吸い込んでしまうノードの問題(problem of rank sinks)の解消を図る。
さらに、ノード生成部81は、コミュニティリンク設定部82、評価リンク設定部83、画像特徴リンク設定部84、およびダミーリンク設定部85で各リンクが設定された後に、その設定された各リンク全てを表すグラフをグラフ記憶部78に出力し、出力したグラフをグラフ記憶部78に記憶させる。
コミュニティリンク設定部82は、ノード生成部81で生成されたコミュニティノードとユーザノードとの間のリンクであるコミュニティリンクを設定する。具体的には、コミュニティリンク設定部82は、後述する固有ベクトルの算出処理によって、コミュニティノードを介して、ユーザノード間で、ユーザそれぞれの重要度が伝播するように、コミュニティリンクのリンク値を、ノード生成部81で取得したコミュニティ情報を基に設定する。
主体ユーザは、画像評価において主体とするユーザであると同時に、全てのコミュニティに所属し、全てのリンクユーザと関わりのあるユーザであるため、重要なユーザである。また、リンクユーザの内、コミュニティに多く所属するリンクユーザは、主体ユーザと同じ多くのリンクユーザと関わりのあるリンクユーザであるため、主体ユーザにとって重要なユーザであると見なせる。
後述する固有ベクトルの算出処理によって、ユーザノード間で、ユーザそれぞれの重要度が伝播するようにコミュニティリンクのリンク値が設定されることで、上述したような、全てのコミュニティに所属する主体ユーザの重要度や、主体ユーザにとって重要なリンクユーザの重要度を引き上げることができる。
評価リンク設定部83は、ノード生成部81で生成されたユーザノードと画像ノード間のリンクである評価リンクを設定する。具体的には、評価リンク設定部83は、後述する固有ベクトルの算出処理によって、ユーザノードを介して、画像ノード間で、画像夫々の重要度が伝播するように、評価リンクのリンク値を、ノード生成部81で取得した評価情報を基に設定する。
重要なユーザ(主体ユーザや、主体ユーザにとって重要なユーザ)が評価している画像は、重要な画像である。そして、重要なユーザと同じ画像を評価しているリンクユーザほど、その重要なユーザと価値観が類似するユーザであり、重要なユーザと見なせる。そのため、その価値観が類似するリンクユーザが評価している画像も、重要な画像であると見なせる。
後述する固有ベクトルの算出処理によって、画像ノード間で、画像夫々の重要度が伝播するように評価リンクが設定されることで、上述したような、重要なユーザ(主体ユーザや、主体ユーザにとって重要なユーザ)と価値観が類似するユーザが評価している画像の重要度を引き上げることができる。
画像特徴リンク設定部84は、ノード生成部81で生成された画像ノードと画像特徴量群ノード間のリンクである画像特徴リンクを設定する。具体的には、画像特徴リンク設定部84は、後述する固有ベクトルの算出処理によって、画像特徴量群ノードを介して、画像ノード間で、画像夫々の重要度が伝播するように、画像特徴リンクのリンク値を、ノード生成部で取得された画像特徴量群管理情報を基に設定する。
重要な画像に含まれる画像特徴量群は、重要な画像特徴量群であると見なせる。そして、重要な画像特徴量群が含まれる画像は、重要な画像であると見なせる。また、重要な画像特徴量群が多く含まれる画像ほど、重要な画像であると見なせる。
後述する固有ベクトルの算出処理によって、画像ノード間で、その画像それぞれの重要度が互いに伝播するように画像特徴リンクが設定されることで、主体ユーザに対する画像評価において、上述したような、重要な画像特徴量群が含まれる画像の重要度を引き上げることができる。
ダミーリンク設定部85は、ノード生成部81で生成されたコミュニティノード・ユーザノード・画像ノード・画像特徴量群ノード間のリンクであるダミーリンクを設定する。具体的には、ダミーリンク設定部85は、コミュニティリンク、評価リンク、及び画像特徴リンクから成る4重リンク構造が再帰的な構造となるように、即ち、後述する固有ベクトルの算出処理において、各要素の重要度が吸い込まれることがないように、ダミーリンクのリンク値を、ノード生成部81で生成された全ノードの数を基に設定する。
隣接行列生成部63は、グラフ記憶部78からグラフを取得し、取得したグラフから隣接行列Mを生成する。
固有ベクトル算出部64は、隣接行列生成部63で生成した隣接行列Mから固有ベクトルを算出する。
画像ソーシャル重要度算出部62は、固有ベクトル算出部64で算出した主固有ベクトルを基に、各画像の画像ソーシャル重要度を算出し、算出した画像ソーシャル重要度を画像ソーシャル重要度記憶部77に記憶させる。
グラフ記憶部78は、グラフ生成部80で生成されたグラフを出力し、出力されたグラフをテーブル構造に変換して記憶する。
<2−2.動作>
次に、実施の形態2における画像評価装置の動作について説明する。
次に、実施の形態2における画像評価装置の動作について説明する。
図23は、図22の画像評価装置3Bが行う画像評価の処理を示すフローチャートである。図22の画像評価装置3Bは、画像取得・画像特徴量群抽出(S211)、評価情報取得・評価特徴量算出(S212)、グラフ生成(S213)、画像評価(S214)の処理を順に行う。なお、ステップS211およびS212それぞれは、上記実施の形態1におけるステップS21およびS22(図2)のそれぞれと同様であるため、説明を省略する。
図21のステップS213(グラフ生成)を、図24と具体例(各リンク値の設定:図25〜図28)を用いて説明する。
ノード生成部81は、画像特徴量群管理情報記憶部72から画像特徴量群管理情報、評価情報記憶部73から評価情報とコミュニティ情報、および画像特徴量占有度記憶部71から画像特徴量占有度を取得する(S221)。続いて、ノード生成部81は、取得した画像特徴量群クラスタ情報、評価情報、コミュニティ情報、画像特徴量占有度を基に、(1+P(コミュニティの数)+Q(ユーザの数)+R(画像の数)+S(画像特徴量の数))個のノードを生成する(S222)。
次に、コミュニティリンク設定部82は、コミュニティにユーザが属するときに、コミュニティノードとユーザノード間でコミュニティリンクを設定する(S223)。
例えば、図25は、コミュニティ1にユーザ1と2が属しており、コミュニティ2にユーザ1と3が属している場合のコミュニティリンクを表している。図25に示すように、コミュニティリンク設定部82は、例えば、各ユーザノードから各コミュニティノードへのリンク値α=(0.5×(1÷コミュニティ数))、各コミュニティノードから各ユーザノードへのリンク値β=(1÷ユーザ数)という計算式を用いてリンク値を設定する。
評価リンク設定部83は、ユーザが画像を評価したとき、ユーザノードと画像ノード間で評価リンクを設定する(S224)。
例えば、図26は、ユーザ1が画像1、ユーザ2が画像1と2、ユーザ3が画像3を評価した場合の評価リンクを表している。図26に示すように、評価リンク設定部83は、例えば、各ユーザノードから各画像ノードへのリンク値ζ=(0.5×(1÷画像数)×固定値)、各画像ノードから各ユーザノードへのリンク値ε=(0.5×(1÷ユーザ数)×固定値)という計算式を用いてリンク値を設定する。
画像特徴リンク設定部84は、画像に画像特徴量群が含まれるとき、画像ノードと画像特徴量群ノード間で画像特徴リンクを設定する(S225)。
例えば、図27は、画像1に画像特徴量群1、画像2に画像特徴量群1と2、画像3に画像特徴量群2が含まれる場合の画像特徴リンクを表している。図27に示すように、画像特徴リンク設定部84は、例えば、各画像ノードから各画像特徴量群ノードへのリンク値δ=(0.5×(1÷画像特徴量群数)×画像特徴量占有度)、各画像特徴量群ノードから各画像ノードへのリンク値はγ=(1÷画像数)という計算式を用いてリンク値を設定する。
ダミーリンク設定部85は、コミュニティ・ユーザ・画像・画像特徴量群の全てノードとダミーノード間で、ダミーリンクを設定する(S226)。
例えば、図28は、コミュニティ1・コミュニティ2・ユーザ1・ユーザ2・ユーザ3・画像1・画像2・画像3・画像特徴量群1・画像特徴量群2とダミーノード間のダミーリンクを表している。図28に示すように、ダミーリンク設定部85は、例えば、各ノードからダミーノードへのリンク値θ=(1−(各ノードにおけるダミー以外の全リンクのリンク値を合計した値))、ダミーノードからコミュニティ・ユーザ・画像・画像特徴量群のすべてのノードへのリンク値η=(1÷(ユーザ数+コミュニティ数+画像数+画像特徴量群数))という計算式を用いてリンク値を設定する。
最後に、ノード生成部81は、ステップS223〜ステップS226で設定されたコミュニティリンク、評価リンク、画像特徴リンク、ダミーリンクを表すグラフを生成し、生成したグラフをグラフ記憶部78に出力し、記憶させる(S227)。
なお、ステップS227において、グラフ記憶部78は、出力されたグラフをテーブル構造に変換し、変換したグラフを記憶する。
図29は、コミュニティリンク・評価リンク・画像特徴リンク・ダミーリンクの設定(S222〜S226)によって生成されるグラフを表す図である。
図30は、グラフ記憶部78のデータ構造であり、図29をテーブル構造に変換した図である。図30に示すように、グラフ記憶部78は、「コミュニティ」、「ユーザ」、「画像」、「画像特徴量群」、および「ダミー」の項目を含む。
図23のステップS214(画像評価)を、図31と具体例(図30〜図33)を用いて説明する。
隣接行列生成部63は、グラフ記憶部78に記憶されたテーブル構造のグラフを取得する(S291)。続いて、隣接行列生成部63は、取得したテーブル構造のグラフから隣接行列Mを生成する(S292)。
例えば、隣接行列生成部63は、図30のテーブル構造のグラフを取得(S291)したとする。このとき、隣接行列生成部63は、取得した図30のテーブル構造のグラフから、図32に示すような正方行列である隣接行列Mを生成する(S292)。
ステップS292の処理後、固有ベクトル算出部64は、隣接行列生成部63で生成された隣接行列Mの主固有ベクトルPを算出する(S293〜S295)。このステップS293〜S295の処理は、固有値とそれに属する固有ベクトルとを同時に求める方法の一種である「べき乗法」の演算となっている。
すなわち、固有ベクトル算出部64は、ステップS293で算出した固有ベクトルPが収束していない場合(S294:No)、算出した固有ベクトルPに元の隣接行列Mを積算し(S295)、固有ベクトルPが収束するまで再帰的に計算処理を行う。
そして、固有ベクトル算出部64は、固有ベクトルPが収束した場合(S294:Yes)、収束した固有ベクトルPを主固有ベクトルPと決定する(S296)。
次に、ステップS297において、画像ソーシャル重要度算出部62は、例えば、固有ベクトル算出部64で算出された主固有ベクトルPから画像の成分である、(画像1の成分)0.780、(画像2の成分)0.171、(画像3の成分)0.076を取り出す(図32(a))。
次に、ステップS298において、画像ソーシャル重要度算出部62は、取り出した画像の成分を正規化することで、画像1と画像2の画像ソーシャル重要度を算出し(図32(b))、算出した画像ソーシャル重要度を画像ソーシャル重要度記憶部77に記憶させる。
なお、この隣接行列Mの生成および主固有ベクトルの算出の具体的な方法については、上記非特許文献3の手法を用いることができる。
<2−3.まとめ>
実施の形態2における画像評価装置1Bは、ソーシャルネットワークにおいて主体ユーザのアカウント上で共有される画像、各画像に含まれる画像特徴量群、主体ユーザ並びに主体ユーザと画像を共有するリンクユーザ、及び主体ユーザが所属するコミュニティを要素とし、それらの要素間の関係性を表すグラフを解析することで、より高い精度で主体ユーザの期待する画像評価を実現することができる。
実施の形態2における画像評価装置1Bは、ソーシャルネットワークにおいて主体ユーザのアカウント上で共有される画像、各画像に含まれる画像特徴量群、主体ユーザ並びに主体ユーザと画像を共有するリンクユーザ、及び主体ユーザが所属するコミュニティを要素とし、それらの要素間の関係性を表すグラフを解析することで、より高い精度で主体ユーザの期待する画像評価を実現することができる。
具体的には、画像評価装置1Bは、各要素間の関係性を表す隣接行列Mの再帰的な固有ベクトルの算出処理により、コミュニティ間、ユーザ間、画像間、及び画像特徴量群間でそれぞれ、重要度を伝播することができる。その結果、画像評価装置1Bによれば、例えば、主体ユーザの所属する複数のコミュニティの内、多くのコミュニティに主体ユーザと同様に所属しているリンクユーザや、主体ユーザが評価している画像と同じ画像を評価している、主体ユーザと評価傾向が似ているリンクユーザが重要なユーザとして扱われ、主体ユーザが評価している画像だけでなく、その重要なユーザによって評価された画像も、高く評価することができる。また、画像評価装置1Bによれば、主体ユーザが評価している画像や、重要なユーザが評価している画像に含まれる画像特徴量群が重要な画像特徴量群として扱われ、主体ユーザが評価している画像だけでなく、重要な画像特徴量群が含まれる画像も、高く評価することができる。
図35の具体例を用いて、全体の評価頻度に基づく従来の画像評価と実施の形態2による画像評価を比較しながら、実施の形態2の画像評価の効果の一例を説明する。図35(a)に示すように、主体ユーザをユーザ3、主体ユーザと評価傾向が似ているユーザをユーザ4とし、ユーザ1〜3が、画像特徴量群1・2を含む画像1〜4を評価したとする。また、画像2〜4の女性は同一人物とする。ここでは、実施の形態2の画像評価の効果をわかりやすく説明するために、画像1・画像2・画像4の3つの画像の評価順位について考察する。
まず評価された頻度に基づく画像評価での評価順位は、画像4>画像1>画像2(図35(b)左図)となり、主体ユーザが評価した女性が映る画像4は高く評価されるが、図4と同じ女性が帽子をかぶっている画像2は、帽子で女性の顔部分の画像特徴量群が抽出されず、さらに、誰も評価していないことから、低く評価されてしまう。
これに対して、実施の形態2による画像評価では、画像4>画像2>画像1という評価順位(図35(b)右図)となる。まず、ユーザ3が評価した画像4に含まれる女性の顔部分の画像特徴量群2が画像3にも含まれるため、画像3が高く評価される。さらに、画像3に含まれる女性が着用している服部分の画像特徴量群1が画像2にも含まれるため画像2が高く評価され、画像2は画像1よりも高い評価となり得る(図35(b)右図)。
<3.変形例>
以上、本発明に係る画像評価装置の実施形態を説明したが、例示した画像評価装置を以下に示すように変形することも可能であり、本発明は上記実施形態に限られるものではない。
以上、本発明に係る画像評価装置の実施形態を説明したが、例示した画像評価装置を以下に示すように変形することも可能であり、本発明は上記実施形態に限られるものではない。
(1)リンク構造について
上記実施の形態2における画像評価装置3Bは、ソーシャルネットワーク上の複数のコミュニティを対象とし、ユーザアカウントごとに各ユーザの画像評価を行う場合を想定している。そのため、実施の形態2における画像評価装置3Bのグラフ生成(図24)では、コミュニティノードとユーザノード間のコミュニティリンク、ユーザノードと画像ノード間の評価リンク、画像ノードと画像特徴量ノード間の画像特徴リンクで構成される4重リンク構造のグラフを生成した。
上記実施の形態2における画像評価装置3Bは、ソーシャルネットワーク上の複数のコミュニティを対象とし、ユーザアカウントごとに各ユーザの画像評価を行う場合を想定している。そのため、実施の形態2における画像評価装置3Bのグラフ生成(図24)では、コミュニティノードとユーザノード間のコミュニティリンク、ユーザノードと画像ノード間の評価リンク、画像ノードと画像特徴量ノード間の画像特徴リンクで構成される4重リンク構造のグラフを生成した。
これに対して、ある特定のコミュニティ内で、ある特定の主体ユーザに対して画像評価を行う場合は、前述の4重リンク構造から、コミュニティノードを除き、主体ユーザを基準とした、ユーザノードと画像ノード間の評価リンクと、画像ノードと画像特徴量ノード間の画像特徴リンクとで構成される3重リンク構造のグラフを生成し、画像評価を行えばよい。グラフの構成を、4重リンク構造から3重リンク構造とすることで、画像に含まれる画像特徴量群の共起関係の効果は残し、実施の形態2における画像評価処理よりも演算量を減らすことができる。
(2)評価情報について
上記実施の各形態において、評価取得部30は、例えば図11に示すような様々な評価方法の評価値を設定し、各ユーザの評価情報を取得することができると説明したが、取得可能な評価情報はこれに限定されない。例えば、評価取得部30は、図11の各評価方法の評価値に、更にその評価がなされた日時に関する評価値、言い換えるとその評価の鮮度に関する評価値を加えることで、各ユーザの評価情報を取得してもよい。
上記実施の各形態において、評価取得部30は、例えば図11に示すような様々な評価方法の評価値を設定し、各ユーザの評価情報を取得することができると説明したが、取得可能な評価情報はこれに限定されない。例えば、評価取得部30は、図11の各評価方法の評価値に、更にその評価がなされた日時に関する評価値、言い換えるとその評価の鮮度に関する評価値を加えることで、各ユーザの評価情報を取得してもよい。
図35(a)は、評価の鮮度に関する評価値の一例である。図35(a)に示すように、評価取得部30によって評価情報が取得される日時を基準に、直近の評価ほど高い評価値を設定するようにしてもよい。
図35(b)を用いて、図11の各評価方法の評価値に、図35(a)の評価の鮮度に関する評価値を加えた評価値を評価情報とする具体例について説明する。
図35(b)に示すように、例えば、評価情報が取得される時間を現在として、現在から2年以内に、あるユーザがある画像に対して5段階評価で「3」の評価を行ったとする。図35(a)において、2年以内の評価に追加される評価値は「10」であるため、当該画像に対する当該ユーザの評価情報は、評価値=3+10となる。また、図35(b)に示すように、例えば、現在から10年以上前に、あるユーザがある画像に対して1段階評価で「1」の評価を行ったとする。図35(a)において、10年以上前の評価に追加される評価値は「0」であるため、この画像に対する当該ユーザの評価情報は、評価値=1+0=1となる。
このように、評価情報が取得される時間を基準として、直近の評価ほど高い評価値とすることで、上記実施の各形態における画像評価装置は、主体ユーザに対する画像評価に、現在から遠い過去におけるユーザそれぞれの画像評価よりも、現在から近い過去におけるユーザそれぞれの画像評価を反映させることができる。
(3)集積回路
実施の形態の画像評価装置は、典型的には集積回路であるLSI(Large Scale Integration)として実現されてもよい。各回路を個別に1チップとしてもよいし、全ての回路または一部の回路を含むように1チップ化されてもよい。ここでは、LSIとして記載したが、集積度の違いにより、IC(Integrated Circuit)、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後にプログラム化することが可能なFPGA(Field Programmable Gate Array)、LSI内部の回路セル接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
実施の形態の画像評価装置は、典型的には集積回路であるLSI(Large Scale Integration)として実現されてもよい。各回路を個別に1チップとしてもよいし、全ての回路または一部の回路を含むように1チップ化されてもよい。ここでは、LSIとして記載したが、集積度の違いにより、IC(Integrated Circuit)、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後にプログラム化することが可能なFPGA(Field Programmable Gate Array)、LSI内部の回路セル接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
(4)プログラム
また、実施の形態の画像評価装置は、画像評価に係る処理(図2など)をコンピュータ等の各種機器のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。このような記録媒体には、スマートメディア、コンパクトフラッシュ(登録商標)、メモリースティック(登録商標)、SDメモリーカード、マルチメディアカード、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、BD(Blu-ray Disc:登録商標)等がある。流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより、実施の形態で示したような各種機能が実現されるようになる。
また、実施の形態の画像評価装置は、画像評価に係る処理(図2など)をコンピュータ等の各種機器のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。このような記録媒体には、スマートメディア、コンパクトフラッシュ(登録商標)、メモリースティック(登録商標)、SDメモリーカード、マルチメディアカード、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、BD(Blu-ray Disc:登録商標)等がある。流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより、実施の形態で示したような各種機能が実現されるようになる。
<4.補足>
以下、本発明の一実施形態としての画像評価装置・画像評価方法・プログラム・集積回路の構成および変形例の効果について説明する。
以下、本発明の一実施形態としての画像評価装置・画像評価方法・プログラム・集積回路の構成および変形例の効果について説明する。
(A)本発明の一実施形態に係る画像評価装置は、複数の画像それぞれから画像特徴量を抽出する画像特徴量抽出手段と、主体ユーザを含む複数のユーザの前記画像それぞれに対する評価を含む評価情報を取得する評価情報取得手段と、前記画像特徴量と前記評価情報に基づいて、前記画像と前記ユーザと前記画像特徴量を分類した画像特徴量群との関係を表す情報を生成する生成手段と、前記生成手段が生成する情報に基づいて、前記主体ユーザに対する当該画像の重要度を表す画像ソーシャル重要度を算出する画像ソーシャル重要度算出手段と、を備えることを特徴とする。
この構成により、画像評価装置は、画像特徴量と評価情報を基に、画像とユーザと画像特徴量群の関係を表す情報を生成し、その生成した情報を基に画像を評価するため、主体ユーザ個人に合った画像評価ができる。
(B)前記実施形態(A)の画像評価装置において、前記生成手段が生成する情報は、前記主体ユーザに対する前記画像特徴量群の重要度を表す画像特徴量群重要度である、としても構わない。
(C)前記実施形態(B)の画像評価装置において、前記生成手段は、前記画像特徴量群それぞれについて、当該画像特徴量群と、前記ユーザの当該画像特徴量群を含む画像それぞれに対する前記評価情報とに基づいて、前記画像特徴量群重要度を算出する、としても構わない。
(D)前記実施形態(C)の画像評価装置において、前記評価情報は、前記画像特徴量群それぞれについて、前記ユーザの当該画像特徴量群を含む画像を評価した枚数を表す評価枚数情報を含み、前記画像ソーシャル重要度算出手段は、前記画像それぞれについて、当該画像に含まれる画像特徴量群それぞれの前記画像特徴量群重要度の総和に基づいて、前記画像ソーシャル重要度を算出する、としても構わない。
この構成により、画像評価装置は、より高い精度でユーザ個人に合った画像評価ができる。
(E)前記実施形態(C)の画像評価装置において、さらに、前記ユーザそれぞれについて、当該ユーザの前記画像それぞれに対する前記評価情報に基づいて、当該ユーザの評価嗜好を表す評価特徴量を算出する評価特徴量算出手段と、前記ユーザそれぞれについて、当該ユーザの評価特徴量と前記主体ユーザの評価特徴量とに基づいて、当該ユーザと前記主体ユーザとの評価嗜好の類似性を表す評価嗜好類似度を算出する評価嗜好類似度算出手段とを備え、前記生成手段は、前記画像特徴量群それぞれについて、当該画像特徴量群と、当該画像特徴量群を含む画像を評価した前記ユーザの前記評価嗜好類似度とに基づいて、前記画像特徴量群重要度を算出する、としても構わない。
この構成により、画像評価装置は、より高い精度でユーザ個人に合った画像評価ができる。
(F)前記実施形態(E)の画像評価装置において、さらに、前記画像特徴量それぞれについて、当該画像特徴量が抽出された画像において、当該画像特徴量が抽出された領域の占有度を表す画像特徴量占有度を算出する画像特徴量占有度算出手段を備え、前記画像ソーシャル重要度算出手段は、前記画像それぞれについて、当該画像に含まれる画像特徴量群それぞれの前記画像特徴量群重要度と、当該画像に含まれる画像特徴量それぞれの前記画像特徴量占有度とに基づいて、前記画像ソーシャル重要度を算出する、としても構わない。
この構成により、画像評価装置は、より高い精度でユーザ個人に合った画像評価ができる。
(G)前記実施形態(F)の画像評価装置において、前記評価情報は、前記画像特徴量群それぞれについて、前記ユーザの当該画像特徴量群を含む画像を評価した枚数を表す評価枚数情報を含み、前記生成手段は、前記画像特徴量群それぞれについて、当該画像特徴量群と、当該画像特徴量群を含む画像を評価した前記ユーザの前記評価嗜好類似度と、前記ユーザの当該画像特徴量群を含む画像を評価した枚数を表す前記評価枚数情報とに基づいて、前記画像特徴量群重要度を算出する、としても構わない。
この構成により、画像評価装置は、より高い精度でユーザ個人に合った画像評価ができる。
(H)前記実施形態(E)の画像評価装置において、前記評価は、前記ユーザの前記画像に対する閲覧操作、前記画像内の一部を指定する拡大表示操作、コメント記入操作、タグ付け操作の内、少なくとも1つに基づく、としても構わない。
この構成により、画像評価装置は、より高い精度でユーザ個人に合った画像評価ができる。
(I)前記実施形態(H)の画像評価装置において、前記評価は、さらに、前記ユーザの前記画像に対する操作が行われた日時情報に基づく、としても構わない。
この構成により、画像評価装置は、より高い精度でユーザ個人に合った画像評価ができる。
(J)前記実施形態(A)の画像評価装置において、前記生成手段が生成する情報は、前記画像と前記ユーザと前記画像特徴量群とをノードとするグラフである、としても構わない。
(K)前記実施形態(A)の画像評価装置において、前記画像評価装置は、さらに、前記画像特徴量それぞれについて、当該画像特徴量が抽出された画像において、当該画像特徴量が抽出された領域の占有度を表す画像特徴量占有度を算出する画像特徴量占有度算出手段を備え、前記生成手段は、前記ユーザが属するコミュニティ要素とユーザ要素と画像要素と画像特徴量群要素とに基づいて、ノードを生成するノード生成手段と、コミュニティと前記ユーザの関係に基づいて、前記コミュニティ要素のノードと前記ユーザ要素のノード間のコミュニティリンクを設定するコミュニティリンク設定手段と、前記評価情報に基づいて、前記ユーザ要素のノードと前記画像要素のノード間の評価リンクを設定する評価リンク設定手段と、前記画像特徴量占有度に基づいて、前記画像要素のノードと前記画像特徴量群要素のノード間の画像特徴リンクを設定する画像特徴リンク設定手段と、前記コミュニティリンクと前記評価リンクと前記画像特徴リンクに基づいて、グラフを表す隣接行列を生成する隣接行列生成手段とを備え、前記画像評価装置は、さらに、前記隣接行列の主固有ベクトルを算出する固有ベクトル算出手段を備え、前記ソーシャル重要度算出手段は、前記隣接行列の主固有ベクトルの要素に基づいて、前記画像ソーシャル重要度を算出する、としても構わない。
この構成により、画像評価装置は、コミュニティリンク・評価リンク・画像特徴リンクの4重リンクを基に、主体ユーザ個人に合った画像評価ができる。
(L)前記実施形態(K)の画像評価装置において、前記コミュニティリンク設定手段は、前記コミュニティと前記ユーザの従属関係に基づいて、前記コミュニティリンクのリンク値を設定し、前記評価リンク設定手段は、前記ユーザと前記画像の評価関係に基づいて、前記評価リンクのリンク値を設定し、前記画像特徴リンク設定手段は、前記画像と前記画像特徴量群の従属関係および前記画像特徴量占有度に基づいて、前記画像特徴リンクのリンク値を設定する、としても構わない。
(M)前記実施形態(L)の画像評価装置において、前記コミュニティリンク設定手段は、前記ユーザ要素間の重要度を、前記コミュニティ要素を介して伝播するようにしつつ、前記コミュニティリンクのリンク値を設定し、前記評価リンク設定手段は、前記画像要素間の重要度を、前記ユーザ要素を介して伝播するようにしつつ、前記評価リンクのリンク値を設定し、前記画像特徴リンク設定手段は、前記画像要素間の重要度を、前記画像特徴量群要素を介して伝播するようにしつつ、前記画像特徴リンクのリンク値を設定する、としても構わない。
(N)本発明の一実施形態に係る画像評価方法は、複数の画像それぞれから画像特徴量を抽出する画像特徴量抽出ステップと、主体ユーザを含む複数のユーザの前記画像それぞれに対する評価を含む評価情報を取得する評価情報取得ステップと、前記画像特徴量と前記評価情報に基づいて、前記画像と前記ユーザと前記画像特徴量を分類した画像特徴量群との関係を表す情報を生成する生成ステップと、前記生成ステップが生成する情報に基づいて、前記主体ユーザに対する当該画像の重要度を表す画像ソーシャル重要度を算出する画像ソーシャル重要度算出ステップと、を含むことを特徴とする。
この構成により、画像評価方法は、画像特徴量と評価情報を基に、画像とユーザと画像特徴量群の関係を表す情報を生成し、その生成した情報を基に画像を評価するため、主体ユーザ個人に合った画像評価ができる。
(O)本発明の一実施形態に係るプログラムは、コンピュータに画像を評価する画像評価処理を実行させるプログラムであって、複数の画像それぞれから画像特徴量を抽出する画像特徴量抽出ステップと、主体ユーザを含む複数のユーザの前記画像それぞれに対する評価を含む評価情報を取得する評価情報取得ステップと、前記画像特徴量と前記評価情報に基づいて、前記画像と前記ユーザと前記画像特徴量を分類した画像特徴量群との関係を表す情報を生成する生成ステップと、前記生成ステップが生成する情報に基づいて、前記主体ユーザに対する当該画像の重要度を表す画像ソーシャル重要度を算出する画像ソーシャル重要度算出ステップと、を含むことを特徴とする。
この構成により、プログラムは、画像特徴量と評価情報を基に、画像とユーザと画像特徴量群の関係を表す情報を生成し、その生成した情報を基に画像を評価するため、主体ユーザ個人に合った画像評価ができる。
(P)本発明の一実施形態に係る集積回路は、複数の画像それぞれから画像特徴量を抽出する画像特徴量抽出手段と、主体ユーザを含む複数のユーザの前記画像それぞれに対する評価を含む評価情報を取得する評価情報取得手段と、前記画像特徴量と前記評価情報に基づいて、前記画像と前記ユーザと前記画像特徴量を分類した画像特徴量群との関係を表す情報を生成する生成手段と、前記生成手段が生成する情報に基づいて、前記主体ユーザに対する当該画像の重要度を表す画像ソーシャル重要度を算出する画像ソーシャル重要度算出手段と、を備えることを特徴とする。
この構成により、集積回路は、画像特徴量と評価情報を基に、画像とユーザと画像特徴量群の関係を表す情報を生成し、その生成した情報を基に画像を評価するため、主体ユーザ個人に合った画像評価ができる。
本発明に係る画像評価では、ソーシャルネットワーク上で共有される膨大な画像コンテンツの中から、ユーザ毎でそのユーザにとって重要な画像を効率的に観賞することができ、画像に対する評価された頻度に基づく従来の画像評価と比較して、ユーザはより負担なく容易に画像コンテンツの閲覧が可能となる。
例えば、ソーシャルネットワーク上において、ユーザの友人などのリンクユーザの近況に関する画像表示を、通常の時系列による画像表示ではなく、ユーザ個人の画像ランキングによる画像表示とすることができる。その結果、ユーザはより効率的に画像観賞ができ、リンクユーザの近況を容易に把握することができるので、パーソナルコンピュータの据え置き端末やスマートフォンの携帯端末やソーシャルネットワークを運用するサーバ端末などで有用である。
1A、1B 画像評価システム
2 ネットワーク
3A、3B 画像評価装置
4 表示ディスプレイ
10 画像取得部
20 画像特徴量群抽出部
21 画像特徴量抽出部
22 画像特徴量占有度算出部
23 画像特徴量クラスタリング部
30 評価情報取得部
40 評価特徴量算出部
50 評価嗜好類似度算出部
60 画像評価部
61 画像特徴量群重要度算出部
62 画像ソーシャル重要度算出部
63 隣接行列生成部
64 固有ベクトル算出部
70 記憶部
71 画像特徴量占有度算出部
72 画像特徴量群クラスタ情報記憶部
73 評価情報記憶部
74 評価特徴量記憶部
75 評価嗜好類似度記憶部
76 画像特徴量群重要度記憶部
77 画像ソーシャル重要度記憶部
78 グラフ記憶部
80 グラフ生成部
81 ノード生成部
82 コミュニティリンク設定部
83 評価リンク設定部
84 画像特徴リンク設定部
85 ダミー設定部
90 表示制御部
2 ネットワーク
3A、3B 画像評価装置
4 表示ディスプレイ
10 画像取得部
20 画像特徴量群抽出部
21 画像特徴量抽出部
22 画像特徴量占有度算出部
23 画像特徴量クラスタリング部
30 評価情報取得部
40 評価特徴量算出部
50 評価嗜好類似度算出部
60 画像評価部
61 画像特徴量群重要度算出部
62 画像ソーシャル重要度算出部
63 隣接行列生成部
64 固有ベクトル算出部
70 記憶部
71 画像特徴量占有度算出部
72 画像特徴量群クラスタ情報記憶部
73 評価情報記憶部
74 評価特徴量記憶部
75 評価嗜好類似度記憶部
76 画像特徴量群重要度記憶部
77 画像ソーシャル重要度記憶部
78 グラフ記憶部
80 グラフ生成部
81 ノード生成部
82 コミュニティリンク設定部
83 評価リンク設定部
84 画像特徴リンク設定部
85 ダミー設定部
90 表示制御部
Claims (16)
- 複数の画像それぞれから画像特徴量を抽出する画像特徴量抽出手段と、
主体ユーザを含む複数のユーザの前記画像それぞれに対する評価を含む評価情報を取得する評価情報取得手段と、
前記画像特徴量と前記評価情報に基づいて、前記画像と前記ユーザと前記画像特徴量を分類した画像特徴量群との関係を表す情報を生成する生成手段と、
前記生成手段が生成する情報に基づいて、前記主体ユーザに対する当該画像の重要度を表す画像ソーシャル重要度を算出する画像ソーシャル重要度算出手段と、
を備えることを特徴とする画像評価装置。 - 前記生成手段が生成する情報は、前記主体ユーザに対する前記画像特徴量群の重要度を表す画像特徴量群重要度である、
ことを特徴とする請求項1に記載の画像評価装置。 - 前記生成手段は、前記画像特徴量群それぞれについて、当該画像特徴量群と、前記ユーザの当該画像特徴量群を含む画像それぞれに対する前記評価情報とに基づいて、前記画像特徴量群重要度を算出する、
ことを特徴とする請求項2に記載の画像評価装置。 - 前記評価情報は、前記画像特徴量群それぞれについて、前記ユーザの当該画像特徴量群を含む画像を評価した枚数を表す評価枚数情報を含み、
前記画像ソーシャル重要度算出手段は、前記画像それぞれについて、当該画像に含まれる画像特徴量群それぞれの前記画像特徴量群重要度の総和に基づいて、前記画像ソーシャル重要度を算出する、
ことを特徴とする請求項3に記載の画像評価装置。 - さらに、
前記ユーザそれぞれについて、当該ユーザの前記画像それぞれに対する前記評価情報に基づいて、当該ユーザの評価嗜好を表す評価特徴量を算出する評価特徴量算出手段と、
前記ユーザそれぞれについて、当該ユーザの評価特徴量と前記主体ユーザの評価特徴量とに基づいて、当該ユーザと前記主体ユーザとの評価嗜好の類似性を表す評価嗜好類似度を算出する評価嗜好類似度算出手段とを備え、
前記生成手段は、前記画像特徴量群それぞれについて、当該画像特徴量群と、当該画像特徴量群を含む画像を評価した前記ユーザの前記評価嗜好類似度とに基づいて、前記画像特徴量群重要度を算出する、
ことを特徴とする請求項3に記載の画像評価装置。 - さらに、前記画像特徴量それぞれについて、当該画像特徴量が抽出された画像において、当該画像特徴量が抽出された領域の占有度を表す画像特徴量占有度を算出する画像特徴量占有度算出手段を備え、
前記画像ソーシャル重要度算出手段は、前記画像それぞれについて、当該画像に含まれる画像特徴量群それぞれの前記画像特徴量群重要度と、当該画像に含まれる画像特徴量それぞれの前記画像特徴量占有度とに基づいて、前記画像ソーシャル重要度を算出する、
ことを特徴とする請求項5に記載の画像評価装置。 - 前記評価情報は、前記画像特徴量群それぞれについて、前記ユーザの当該画像特徴量群を含む画像を評価した枚数を表す評価枚数情報を含み、
前記生成手段は、前記画像特徴量群それぞれについて、当該画像特徴量群と、当該画像特徴量群を含む画像を評価した前記ユーザの前記評価嗜好類似度と、前記ユーザの当該画像特徴量群を含む画像を評価した枚数を表す前記評価枚数情報とに基づいて、前記画像特徴量群重要度を算出する、
ことを特徴とする請求項6に記載の画像評価装置。 - 前記評価は、前記ユーザの前記画像に対する閲覧操作、前記画像内の一部を指定する拡大表示操作、コメント記入操作、タグ付け操作の内、少なくとも1つに基づく、
ことを特徴とする請求項5に記載の画像評価装置。 - 前記評価は、さらに、
前記ユーザの前記画像に対する操作が行われた日時情報に基づく、
ことを特徴とする請求項8に記載の画像評価装置。 - 前記生成手段が生成する情報は、前記画像と前記ユーザと前記画像特徴量群とをノードとするグラフである、
ことを特徴とする請求項1に記載の画像評価装置。 - 前記画像評価装置は、さらに、
前記画像特徴量それぞれについて、当該画像特徴量が抽出された画像において、当該画像特徴量が抽出された領域の占有度を表す画像特徴量占有度を算出する画像特徴量占有度算出手段を備え、
前記生成手段は、
前記ユーザが属するコミュニティ要素とユーザ要素と画像要素と画像特徴量群要素とに基づいて、ノードを生成するノード生成手段と、
コミュニティと前記ユーザの関係に基づいて、前記コミュニティ要素のノードと前記ユーザ要素のノード間のコミュニティリンクを設定するコミュニティリンク設定手段と、
前記評価情報に基づいて、前記ユーザ要素のノードと前記画像要素のノード間の評価リンクを設定する評価リンク設定手段と、
前記画像特徴量占有度に基づいて、前記画像要素のノードと前記画像特徴量群要素のノード間の画像特徴リンクを設定する画像特徴リンク設定手段と、
前記コミュニティリンクと前記評価リンクと前記画像特徴リンクに基づいて、グラフを表す隣接行列を生成する隣接行列生成手段とを備え、
前記画像評価装置は、さらに、
前記隣接行列の主固有ベクトルを算出する固有ベクトル算出手段を備え、
前記ソーシャル重要度算出手段は、前記隣接行列の主固有ベクトルの要素に基づいて、前記画像ソーシャル重要度を算出する、
ことを特徴とする請求項1に記載の画像評価装置。 - 前記コミュニティリンク設定手段は、前記コミュニティと前記ユーザの従属関係に基づいて、前記コミュニティリンクのリンク値を設定し、
前記評価リンク設定手段は、前記ユーザと前記画像の評価関係に基づいて、前記評価リンクのリンク値を設定し、
前記画像特徴リンク設定手段は、前記画像と前記画像特徴量群の従属関係および前記画像特徴量占有度に基づいて、前記画像特徴リンクのリンク値を設定する、
ことを特徴とする請求項11に記載の画像評価装置。 - 前記コミュニティリンク設定手段は、前記ユーザ要素間の重要度を、前記コミュニティ要素を介して伝播するようにしつつ、前記コミュニティリンクのリンク値を設定し、
前記評価リンク設定手段は、前記画像要素間の重要度を、前記ユーザ要素を介して伝播するようにしつつ、前記評価リンクのリンク値を設定し、
前記画像特徴リンク設定手段は、前記画像要素間の重要度を、前記画像特徴量群要素を介して伝播するようにしつつ、前記画像特徴リンクのリンク値を設定する、
ことを特徴とする請求項12に記載の画像評価装置。 - 複数の画像それぞれから画像特徴量を抽出する画像特徴量抽出ステップと、
主体ユーザを含む複数のユーザの前記画像それぞれに対する評価を含む評価情報を取得する評価情報取得ステップと、
前記画像特徴量と前記評価情報に基づいて、前記画像と前記ユーザと前記画像特徴量を分類した画像特徴量群との関係を表す情報を生成する生成ステップと、
前記生成ステップが生成する情報に基づいて、前記主体ユーザに対する当該画像の重要度を表す画像ソーシャル重要度を算出する画像ソーシャル重要度算出ステップと、
を含むことを特徴とする画像評価方法。 - コンピュータに画像を評価する画像評価処理を実行させるプログラムであって、
複数の画像それぞれから画像特徴量を抽出する画像特徴量抽出ステップと、
主体ユーザを含む複数のユーザの前記画像それぞれに対する評価を含む評価情報を取得する評価情報取得ステップと、
前記画像特徴量と前記評価情報に基づいて、前記画像と前記ユーザと前記画像特徴量を分類した画像特徴量群との関係を表す情報を生成する生成ステップと、
前記生成ステップが生成する情報に基づいて、前記主体ユーザに対する当該画像の重要度を表す画像ソーシャル重要度を算出する画像ソーシャル重要度算出ステップと、
を含むことを特徴とするプログラム。 - 複数の画像それぞれから画像特徴量を抽出する画像特徴量抽出手段と、
主体ユーザを含む複数のユーザの前記画像それぞれに対する評価を含む評価情報を取得する評価情報取得手段と、
前記画像特徴量と前記評価情報に基づいて、前記画像と前記ユーザと前記画像特徴量を分類した画像特徴量群との関係を表す情報を生成する生成手段と、
前記生成手段が生成する情報に基づいて、前記主体ユーザに対する当該画像の重要度を表す画像ソーシャル重要度を算出する画像ソーシャル重要度算出手段と、
を備えることを特徴とする集積回路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013555684A JP6041217B2 (ja) | 2012-05-29 | 2013-04-22 | 画像評価装置、画像評価方法、プログラム、集積回路 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012122236 | 2012-05-29 | ||
JP2012122236 | 2012-05-29 | ||
PCT/JP2013/002706 WO2013179558A1 (ja) | 2012-05-29 | 2013-04-22 | 画像評価装置、画像評価方法、プログラム、集積回路 |
JP2013555684A JP6041217B2 (ja) | 2012-05-29 | 2013-04-22 | 画像評価装置、画像評価方法、プログラム、集積回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013179558A1 JPWO2013179558A1 (ja) | 2016-01-18 |
JP6041217B2 true JP6041217B2 (ja) | 2016-12-07 |
Family
ID=49672793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013555684A Expired - Fee Related JP6041217B2 (ja) | 2012-05-29 | 2013-04-22 | 画像評価装置、画像評価方法、プログラム、集積回路 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9177201B2 (ja) |
JP (1) | JP6041217B2 (ja) |
CN (1) | CN103620648B (ja) |
WO (1) | WO2013179558A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106575280B (zh) * | 2014-07-22 | 2020-08-11 | 香港科技大学 | 用于分析用户关联图像以产生非用户生成标签以及利用该生成标签的***和方法 |
CN105678624A (zh) * | 2014-11-18 | 2016-06-15 | 索尼公司 | 评价信息生成装置和方法、电子设备及服务器 |
US10242047B2 (en) * | 2014-11-19 | 2019-03-26 | Facebook, Inc. | Systems, methods, and apparatuses for performing search queries |
JP6440604B2 (ja) * | 2015-09-29 | 2018-12-19 | 富士フイルム株式会社 | 被写体評価システム,被写体評価方法,被写体評価プログラムおよびそのプログラムを格納した記録媒体 |
US10606884B1 (en) * | 2015-12-17 | 2020-03-31 | Amazon Technologies, Inc. | Techniques for generating representative images |
CN109191449A (zh) * | 2018-09-10 | 2019-01-11 | 广东智媒云图科技股份有限公司 | 一种图片质量评价方法及装置 |
KR102627658B1 (ko) * | 2018-10-11 | 2024-01-22 | 삼성전자주식회사 | 레이아웃에 대한 이미지의 배치를 판단하는 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체. |
JP2020123043A (ja) * | 2019-01-29 | 2020-08-13 | 日本電信電話株式会社 | 推定方法、推定装置および推定プログラム |
CN113162839B (zh) * | 2021-02-18 | 2023-03-24 | 深圳向量之美科技有限公司 | 网络社区及互动方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004151918A (ja) | 2002-10-30 | 2004-05-27 | Fuji Photo Film Co Ltd | コンテンツ評価方法および装置並びにプログラム |
JP4725038B2 (ja) * | 2004-06-03 | 2011-07-13 | ソニー株式会社 | コンテンツ共有システム及びコンテンツ重要度判定方法 |
JP2006048320A (ja) * | 2004-08-04 | 2006-02-16 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
JP4240096B2 (ja) * | 2006-09-21 | 2009-03-18 | ソニー株式会社 | 情報処理装置および方法、プログラム並びに記録媒体 |
JP5179969B2 (ja) | 2008-01-11 | 2013-04-10 | 株式会社ニコンシステム | コンテンツ評価装置 |
JP4846071B2 (ja) | 2010-02-10 | 2011-12-28 | パナソニック株式会社 | 画像評価装置、画像評価方法、プログラム、集積回路 |
JP5440394B2 (ja) * | 2010-05-31 | 2014-03-12 | ソニー株式会社 | 評価予測装置、評価予測方法、及びプログラム |
JP5454357B2 (ja) * | 2010-05-31 | 2014-03-26 | ソニー株式会社 | 情報処理装置および方法、並びに、プログラム |
US8929669B2 (en) * | 2010-06-23 | 2015-01-06 | Panasonic Intellectual Property Corporation Of America | Image evaluation apparatus that calculates an importance degree of each of a plurality of images |
JP5908849B2 (ja) * | 2011-02-17 | 2016-04-26 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像評価装置、画像評価方法、プログラム、集積回路 |
US8606776B2 (en) * | 2011-02-18 | 2013-12-10 | Google Inc. | Affinity based ranked for search and display |
US8832080B2 (en) * | 2011-05-25 | 2014-09-09 | Hewlett-Packard Development Company, L.P. | System and method for determining dynamic relations from images |
JP5995520B2 (ja) * | 2011-06-14 | 2016-09-21 | キヤノン株式会社 | 画像に関する処理支援システム、情報処理装置、及び画像に関する処理影支援方法 |
US8861804B1 (en) * | 2012-06-15 | 2014-10-14 | Shutterfly, Inc. | Assisted photo-tagging with facial recognition models |
-
2013
- 2013-04-22 US US14/127,022 patent/US9177201B2/en not_active Expired - Fee Related
- 2013-04-22 JP JP2013555684A patent/JP6041217B2/ja not_active Expired - Fee Related
- 2013-04-22 WO PCT/JP2013/002706 patent/WO2013179558A1/ja active Application Filing
- 2013-04-22 CN CN201380001782.4A patent/CN103620648B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPWO2013179558A1 (ja) | 2016-01-18 |
WO2013179558A1 (ja) | 2013-12-05 |
CN103620648A (zh) | 2014-03-05 |
US9177201B2 (en) | 2015-11-03 |
CN103620648B (zh) | 2018-02-02 |
US20140126826A1 (en) | 2014-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6041217B2 (ja) | 画像評価装置、画像評価方法、プログラム、集積回路 | |
JP5727476B2 (ja) | 画像評価装置、画像評価方法、プログラム、集積回路 | |
US8660378B2 (en) | Image evaluating device for calculating an importance degree of an object and an image, and an image evaluating method, program, and integrated circuit for performing the same | |
Prabhu et al. | Few-shot learning for dermatological disease diagnosis | |
US8712157B2 (en) | Image quality assessment | |
Demir et al. | Learning the topological properties of brain tumors | |
JP6029041B2 (ja) | 顔印象度推定方法、装置、及びプログラム | |
Zhang et al. | Pairwise sparsity preserving embedding for unsupervised subspace learning and classification | |
Attallah et al. | Histo-CADx: duo cascaded fusion stages for breast cancer diagnosis from histopathological images | |
Hii et al. | Multigap: Multi-pooled inception network with text augmentation for aesthetic prediction of photographs | |
JP6767342B2 (ja) | 検索装置、検索方法および検索プログラム | |
JP2014093058A (ja) | 画像管理装置、画像管理方法、プログラム及び集積回路 | |
Kaur et al. | Combining weakly and webly supervised learning for classifying food images | |
Shilaskar et al. | Diagnosis system for imbalanced multi-minority medical dataset | |
KR101924200B1 (ko) | 감성 기반의 이미지 선택 장치 및 방법 | |
Zhou et al. | Kernel-based semantic hashing for gait retrieval | |
Moustakidis et al. | Feature selection based on a fuzzy complementary criterion: application to gait recognition using ground reaction forces | |
Doquire et al. | Graph laplacian for semi-supervised feature selection in regression problems | |
US20170293863A1 (en) | Data analysis system, and control method, program, and recording medium therefor | |
JP6144314B2 (ja) | データ分類システム,方法,プログラムおよびその記録媒体 | |
Alzawali et al. | Facial Emotion Images Recognition Based On Binarized Genetic Algorithm-Random Forest | |
Cao et al. | Dynamic ensemble pruning selection using meta-learning for multi-sensor based activity recognition | |
Ben Ismail et al. | Endoscopy video summarisation using novel relational motion histogram descriptor and semi-supervised clustering | |
Zhou et al. | RWMF: A Real-World Multimodal Foodlog Database | |
Afra | Intelligent Data Analysis for Early Warning: From Multiple Sources to Multiple Perspectives |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161027 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6041217 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |