JP6041217B2 - 画像評価装置、画像評価方法、プログラム、集積回路 - Google Patents

画像評価装置、画像評価方法、プログラム、集積回路 Download PDF

Info

Publication number
JP6041217B2
JP6041217B2 JP2013555684A JP2013555684A JP6041217B2 JP 6041217 B2 JP6041217 B2 JP 6041217B2 JP 2013555684 A JP2013555684 A JP 2013555684A JP 2013555684 A JP2013555684 A JP 2013555684A JP 6041217 B2 JP6041217 B2 JP 6041217B2
Authority
JP
Japan
Prior art keywords
image
evaluation
feature amount
image feature
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013555684A
Other languages
English (en)
Other versions
JPWO2013179558A1 (ja
Inventor
博史 薮
博史 薮
朋幸 苅部
朋幸 苅部
上野山　努
上野山　　努
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2013555684A priority Critical patent/JP6041217B2/ja
Publication of JPWO2013179558A1 publication Critical patent/JPWO2013179558A1/ja
Application granted granted Critical
Publication of JP6041217B2 publication Critical patent/JP6041217B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Library & Information Science (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Description

本発明は、複数の画像を評価する、画像評価技術に関する。
近年、デジタルカメラの普及や記録メディアの容量増加により、膨大な数の画像や動画などの個人コンテンツをユーザが保有することが可能となってきている。これに加え、個人コンテンツをユーザ間で共有することができるソーシャルネットワークの普及により、ユーザとユーザの友人などとの間で個人コンテンツの共有が頻繁に行われている。
このソーシャルネットワークの普及に伴い、ユーザは、毎日共有される膨大な数の画像を観賞することが困難になってきている。そのため、ユーザ個人にとって重要な画像を見逃すことが考えられ、ユーザ間で共有される画像を効率的に観賞するための画像評価が必要となっている。
従来の画像評価方法としては、共有された画像に対するユーザの投票（評価）数に応じて、各画像の評価値を算出し、画像を評価する方法がある（特許文献１参照）。
特開2004-151918号公報
David G. Lowe, "Distinctive image features from scale-invariant keypoints" , Journal of Computer Vision, 60, 2 , pp. 91-110, 2004. G. Csurka, C. Bray, C. Dance, and L, Fan, "Visual Categorization with Bags of Keypoints", Proc. of ECCV Workshop on Statistical Learning in Computer Vision, pp. 1-22 (2004). The PageRank citation ranking: Bringing order to the Web.Page, Lawrence; Brin, Sergey; Motwani, Rajeev and Winograd, Terry (1999).
しかしながら、特許文献１における画像評価では、ユーザ個人の評価はどうあれ、一般的に評判がいい（評価が高い）画像が高く評価され、ユーザ個人にとって重要な画像を高く評価できないという課題がある。
本発明は、上記の課題に鑑みてなされたものであり、ユーザ個人に合った画像評価を行う、画像評価装置、画像評価方法、プログラム、集積回路の提供を目的とする。
上記従来の課題を解決するために本発明に係る画像評価装置は、複数の画像それぞれから画像特徴量を抽出する画像特徴量抽出手段と、主体ユーザを含む複数のユーザの前記画像それぞれに対する評価を含む評価情報を取得する評価情報取得手段と、前記画像特徴量と前記評価情報に基づいて、前記画像と前記ユーザと前記画像特徴量を分類した画像特徴量群との関係を表す情報を生成する生成手段と、前記生成手段が生成する情報に基づいて、前記主体ユーザに対する当該画像の重要度を表す画像ソーシャル重要度を算出する画像ソーシャル重要度算出手段と、を備えることを特徴とする。
本発明に係る画像評価装置は、ユーザ個人に合った画像評価を行う。
実施の形態１における画像評価システムのブロック図 実施の形態１における全体フローチャート 実施の形態１における画像取得・画像特徴量群抽出のフローチャート 実施の形態１における画像特徴量抽出と画像特徴量クラスタリングの一例 実施の形態１における画像特徴量占有度記憶部のデータ構造を示す図 実施の形態１における画像特徴量群管理情報のデータ構造を示す図 実施の形態１における評価取得・評価特徴量算出のフローチャート 実施の形態１における評価特徴量算出の一例 実施の形態１における評価特徴量のデータ構造を示す図 実施の形態１における評価情報のデータ構造を示す図 実施の形態１における評価方法の一例 実施の形態１における評価嗜好類似度算出のフローチャート 実施の形態１における評価嗜好類似度算出の一例 実施の形態１における評価嗜好類似度のデータ構造を示す図 実施の形態１における画像評価のフローチャート 実施の形態１における画像特徴量群重要度算出と画像ソーシャル重要度算出の一例に用いる、画像特徴量群管理情報、評価情報、評価嗜好類似度を示す図 実施の形態１における画像特徴量群重要度算出の一例 実施の形態１における画像ソーシャル重要度算出の一例 実施の形態１における画像特徴量群重要度のデータ構造を示す図 実施の形態１における画像ソーシャル重要度のデータ構造を示す図 実施の形態１における画像ランキングの一例 実施の形態２における画像評価システムのブロック図 実施の形態２における全体フローチャート 実施の形態２におけるグラフ生成のフローチャート 実施の形態２におけるコミュニティリンクの設定の一例 実施の形態２における評価リンクの設定の一例 実施の形態２における画像特徴リンクの設定の一例 実施の形態２におけるダミーリンクの設定の一例 実施の形態２における生成したグラフの一例 実施の形態２におけるグラフ情報のデータ構造を示す図 実施の形態２における画像評価のフローチャート 実施の形態２における隣接行列Ｍの一例 実施の形態２における画像ソーシャル重要度算出の一例 実施の形態２における画像ランキングの一例 変形例における評価方法の一例
＜発明に至った経緯＞
特許文献１の画像評価は、ネットワーク上などの画像を対象に、ユーザが画像に対して投票し、その投票数の合計に応じて、画像の評価値を算出し、画像を評価する。そのため、特許文献１の画像評価では、一般的に評判のよい（評価の高い）画像が高く評価される。しかしながら、ユーザ個人の好みは多様であるため、一般的に評判のよい画像がユーザ個人にとっても重要であるとは限らず、この画像評価では、ユーザ個人にとって本当に重要な画像が高く評価されずユーザが見落としてしまう可能性があるという課題がある。
そこで、この点に関し、本発明者は検討を重ねた結果、ユーザは画像を評価する際に、画像に含まれる特定の特徴（例えば、画像に写るオブジェクト）に対して関心を持って評価を行っているという知見を得た。この知見に基づき、本発明者は、ユーザが評価した画像に共通して含まれる特徴は重要な特徴であり、その重要な特徴を含む画像はユーザにとって重要な画像であることを見出し、本発明に至った。
本発明の画像評価処理は、画像評価の対象とする主体ユーザと、その主体ユーザと画像を共有するリンクユーザがすでに画像を評価した評価情報を基に画像特徴量の重要度を算出する。主体ユーザだけでなく、リンクユーザの評価情報も考慮することで、膨大な数の画像を評価する場合や主体ユーザの評価情報が少ない場合でも、高い精度で主体ユーザに対する画像評価ができる。
＜１．実施の形態１＞
実施の形態１は、ソーシャルネットワーク上の画像を対象に、ユーザ毎に画像を評価する画像評価装置に関するものである。
以下、実施の形態１について、図面を参照しながら説明する。
＜１−１．構成＞
図１は、実施の形態１における画像評価システム１Ａのブロック図である。
図１に示すように、画像評価システム１Ａは、ネットワーク２と画像評価装置３Ａとディスプレイ４を含んで構成される。
画像評価装置３Ａは、画像取得部１０、画像特徴量群抽出部２０、評価情報取得部３０、評価特徴量算出部４０、評価嗜好類似度算出部５０、画像評価部６０、記憶部７０、及び表示制御部９０を備える。
画像取得部１０は、ネットワーク２から、主体ユーザのアカウント上で共有されている画像を取得する。
画像特徴量群抽出部２０は、画像特徴量を抽出し、画像特徴量占有度を算出し、画像特徴量を画像特徴量群にクラスタリングする機能を有し、画像特徴量抽出部２１と画像特徴量占有度算出部２２と画像特徴量クラスタリング部２３とを備える。
なお、「画像特徴量」とは、画像に写るオブジェクト（人物や物体など）の特徴量である。
また、「画像特徴量群」とは、各画像特徴量を分類したものである。
なお、画像特徴量群に含まれる画像特徴量は、画像特徴量の抽出対象となるオブジェクト全体の特徴量に限らず、画像特徴量の抽出対象となるオブジェクトの一部の特徴量をも含むことがある。
また、「画像特徴量占有度」とは、各画像特徴量の抽出対象となるオブジェクトが写る領域の画像に占める占有度である。
画像特徴量抽出部２１は、画像取得部１０で取得された画像データを対象として、画像特徴量を抽出する。画像から画像特徴量を抽出する方法は、SIFT特徴量による抽出手法を用いても良い。SIFT特徴量の抽出手法については、非特許文献１を参照されたい。
画像特徴量占有度算出部２２は、画像特徴量抽出部２１で抽出された画像特徴量を対象として、画像特徴量占有度を算出し、算出した画像特徴量占有度を画像特徴量占有度記憶部７１に記憶させる。
画像特徴量クラスタリング部２３は、画像特徴量抽出部２１で抽出された画像特徴量に対して、類似する画像特徴量を画像特徴量群にクラスタリングする。画像特徴量をクラスタリングする方法として、Bag of Keypointsによる分類手法で算出されても良い。Bag of Keypointsの分類手法については、非特許文献２を参照されたい。
さらに、クラスタリング後、画像特徴量クラスタリング部２３は、クラスタリングした画像特徴量群と、クラスタリングに使用した各画像に含まれる画像特徴量の情報を、画像特徴量群管理情報として画像特徴量群管理情報記憶部７２に記憶させる。
なお、「画像特徴量群管理情報」とは、各画像特徴量がいずれの画像特徴量群にクラスタリングされたか、各画像特徴量はいずれの画像から抽出されたか、各画像特徴量はどのようなデータ情報（１２８次元）を持つかを表す情報である。
評価情報取得部３０は、ネットワーク２から、ユーザの評価情報を取得する。
なお、「評価情報」とは、主体ユーザと主体ユーザと画像を共有する全てのリンクユーザが、主体ユーザのアカウント上で共有される画像に対して、どのような評価をしたかを表す情報である。
評価特徴量算出部４０は、評価情報取得部３０で取得された評価情報を対象として、各ユーザの評価傾向を表す評価特徴量を算出する。さらに、評価特徴量算出部４０は、算出した評価特徴量を評価特徴量記憶部７４に、評価情報取得部３０で取得された評価情報を評価情報記憶部７３にそれぞれ記憶させる。
なお、「評価特徴量」とは、各画像に対する各ユーザの評価情報を特徴量として表したものである。
評価嗜好類似度算出部５０は、評価特徴量記憶部７４に記憶されている評価特徴量を対象として、主体ユーザとリンクユーザとの全ての組合せで評価嗜好類似度を算出すし、算出した評価嗜好類似度を評価嗜好類似度記憶部７５に記憶させる。
なお、「評価嗜好類似度」とは、主体ユーザと各リンクユーザとの評価傾向が類似しているほど高くなる度合いである。
画像評価部６０は、画像特徴量群重要度と画像ソーシャル重要度を算出する機能を有し、画像特徴量群重要度算出部６１と画像ソーシャル重要度算出部６２とを備える。
画像特徴量群重要度算出部６１は、画像特徴量群管理情報記憶部７２に記憶されている画像特徴量群管理情報、評価情報記憶部７３に記憶されている評価情報、および評価嗜好類似度記憶部７５に記憶されている評価嗜好類似度を取得する。さらに、画像特徴量群重要度算出部６１は、取得した情報を基に、各画像特徴量群に対して画像特徴量群重要度を算出し、算出した画像特徴量群重要度を画像特徴量群重要度記憶部７６に記憶させる。
なお、「画像特徴量群重要度」とは、主体ユーザにとって、各画像特徴量群がどれだけ重要かを表す度合いであり、主体ユーザや主体ユーザと評価傾向が類似するリンクユーザが評価した画像に多く含まれる画像特徴量群であるほど、高い値となる。また、画像特徴量群重要度は、画像ソーシャル重要度の算出に用いられる情報であり、画像特徴量群重要度は、各画像、各ユーザ、および各画像特徴量群の関係を表す情報であると言える。
画像ソーシャル重要度算出部６２は、画像特徴量群管理情報記憶部７２に記憶されている画像特徴量群管理情報、画像特徴量群重要度記憶部７６に記憶されている画像特徴量群重要度、および画像特徴量占有度記憶部７１に記憶されている画像特徴量占有度を取得する。さらに、画像ソーシャル重要度算出部６２は、取得した情報を基に、各画像に対して画像ソーシャル重要度を算出し、算出した画像ソーシャル重要度を画像ソーシャル重要度記憶部７７に記憶させる。
なお、「画像ソーシャル重要度」とは、主体ユーザにとって、各画像がどれだけ重要か表す度合いである。画像ソーシャル重要度は、画像に含まれる画像特徴量の画像特徴量群重要度の値が大きく、画像に含まれる特徴量の抽出対象となるオブジェクトが写る領域の占有度が高いほど、高い値となる。
記憶部７０は、各種情報を記憶する機能を有し、画像特徴量占有度記憶部７１、画像特徴量群管理情報記憶部７２、評価情報記憶部７３、評価特徴量記憶部７４、評価嗜好類似度記憶部７５、画像特徴量群記憶部７６、および画像ソーシャル重要度記憶部７７を備える。記憶部７０は、例えばＲＡＭ（Random Access Memory）やＨＤＤ（Hard Disk Drive）から構成することができる。
表示制御部９０は、画像ソーシャル重要度記憶部７７に記憶された画像ソーシャル重要度を取得し、画像ソーシャル重要度が高い画像を優先的にディスプレイの画面に表示させる。
なお、画像特徴量群抽出部２０、評価特徴量算出部４０、評価嗜好類似度算出部５０、および画像評価部６０などは、例えば、ＲＯＭ（Read Only Memory）に格納された制御プログラムを実行するＣＰＵ（Central Processing Unit）などから構成することができる。
＜１−２．動作＞
次に、実施の形態１における画像評価装置３Ａの動作について説明する。
図２は、図１の画像評価装置３Ａが行う画像評価の処理を示すフローチャートである。図１の画像評価装置３Ａは、画像取得・画像特徴量群抽出（Ｓ２１）、評価情報取得・評価特徴量抽出（Ｓ２２）、評価嗜好類似度算出（Ｓ２３）、および画像評価（Ｓ２４）の処理を順に行う。
図２のステップＳ２１（画像取得・画像特徴量抽出）を、図３と具体例（図４）を用いて説明する。
まず、画像取得部１０は、ネットワーク２から主体ユーザのアカウント上で共有されている画像１〜３（図４（ａ））の画像データを取得する（図３：Ｓ３１）。
次に、画像特徴量抽出部２０は、画像取得部１０で取得された画像１〜３の画像データから画像特徴量１〜４（図４（ｂ））を抽出する（図３：Ｓ３２）。なお、図４（ｂ）では、画像特徴量を、画像特徴量の抽出対象であるオブジェクトにより模式的に表現している。以降の図においても、同様に画像特徴量を表現する。
次に、画像特徴量占有度算出部２２は、画像特徴量抽出部２０で抽出された画像特徴量１〜４の抽出対象であるオブジェクトが写る領域の画像１〜３に対する占有度を画像特徴量占有度として算出し、算出した画像特徴量占有度を画像特徴量占有度記憶部７１に記憶させる（図３：Ｓ３３）。
画像特徴量占有度記憶部７１のデータ構造を図６に示す。図６に示すように、画像特徴量占有度記憶部７１は、「画像ＩＤ」、「画像特徴量ＩＤ」、および「画像特徴量占有度」の項目を含む。
次に、画像特徴量クラスタリング部２３は、画像特徴量抽出部２１で抽出された画像特徴量１〜４の内、画像特徴量１と画像特徴量２とを類似した画像特徴量であると判別し、画像特徴量群１（図４（ｃ））にクラスタリングし、また、画像特徴量３と画像特徴量４とを類似した画像特徴量であると判別し、画像特徴量群２（図４（ｃ））にそれぞれクラスタリングする（図３：Ｓ３４）。最後に、画像特徴量抽出部２１は、クラスタリングした画像特徴量群１・２と、クラスタリングに使用した画像特徴量１〜４の情報とを、画像特徴量群管理情報として画像特徴量群管理情報記憶部７２に記憶させる。
画像特徴量群管理情報記憶部７２のデータ構造を図５に示す。図５に示すように、画像特徴量群管理情報記憶部７２には、「画像特徴量群ＩＤ」、「画像ＩＤ」、「画像特徴量ＩＤ」、および「画像特徴量データ」の項目を含む。
図２のステップＳ２２（評価取得・評価特徴量算出）を、図７と具体例（図８）を用いて説明する。
評価取得部３０は、ネットワークから、画像１〜３に対するユーザ１〜３の評価情報（図８（ａ））を取得する（図７：Ｓ７１）。
次に、評価特徴量算出部４０は、評価取得部３０で取得されたユーザ１〜３の評価情報を基に、ユーザ１〜３の評価特徴量１〜３（図８（ｂ））を算出し、算出した評価特徴量１〜３を評価特徴量記憶部７４に、評価取得部３０で取得したユーザ１〜３の評価情報を評価情報記憶部７３に記憶させる（図７：Ｓ７２）。
評価特徴量記憶部７４のデータ構造を図９に示す。図９に示すように、評価特徴量記憶部７４は、「ユーザＩＤ」および「評価特徴量」の項目を含む。
評価情報記憶部７３のデータ構造を図１０に示す。図１０に示すように、評価情報記憶部７３は、「ユーザＩＤ」、ユーザが属する「コミュニティＩＤ」、および「画像ＩＤ」の項目を含む。
なお、具体例（図８）においてユーザ１〜３は、画像を評価した（１）か、評価しなかった（０）の１段階評価で評価しているが、評価方法はこれに限られるものではない。参考として、図１１に評価方法の具体例をあげる。例えば、画像の閲覧操作（図１１（ａ））、画像の５つ星などの５段階評価（図１１（ｂ））、画像のイイね！などの１段階評価（図１１（ｃ））、画像に対するコメント記入操作（図１１（ｄ））、画像の一部に対する拡大表示操作（図１１（ｅ））といった評価方法があり、それぞれの評価方法に個別の評価値を設ける（図１１（ｆ））ことができる。さらに、これらの評価方法の評価値を合算することで、より詳しい評価情報を取得することができる。
図２のステップＳ２３（評価嗜好類似度算出）を、図１２を用いて説明する。
評価嗜好類似度算出部５０は、評価特徴量記憶部７４から評価特徴量を取得する（Ｓ１１１）。続いて、評価嗜好類似度算出部５０は、取得した評価特徴量から、主体ユーザの評価特徴量を設定し（Ｓ１１２）、リンクユーザの内一人の評価特徴量を設定する（Ｓ１１３）。続いて、その設定した２つの評価特徴量の評価嗜好類似度を算出し、算出した評価嗜好類似度を評価嗜好類似度記憶部７５に記憶させる（Ｓ１１４）。
このとき、評価嗜好類似度５０は、主体ユーザとリンクユーザとの全ての組合せで評価嗜好類似度を算出していない場合は（Ｓ１１５：Ｎｏ）、リンクユーザの内一人の評価特徴量の設定（Ｓ１１３）まで戻り、主体ユーザとリンクユーザとの全ての組合せで評価嗜好類似度を算出する（Ｓ１１５：Ｙｅｓ）まで再帰的に処理を行う。
ここで、具体例（図１３）を用いて、評価嗜好類似度の算出方法を詳しく説明する。
図１３（ａ）は、３人のユーザ１〜３が３枚の画像１〜３を評価している場合の、ユーザ１〜３の評価特徴量をそれぞれ表している。なお、具体例（図１３）では、ユーザ１〜３は、画像１〜３を評価した（１）か、評価しなかった（０）の１段階評価で評価している。そのため、同一の画像を評価しているユーザ同士ほど、そのユーザ間の評価嗜好類似度の値は高くなる。
例えば、ユーザ２のユーザ１との評価嗜好類似度は（図１３（ｂ））、ユーザ１とユーザ２とは画像３つの内、画像２つを共通して評価しているため、下記[数１]により、２÷３＝０．６６となる。
また、ユーザ３のユーザ１との評価嗜好類似度は（図１３（ｃ）、ユーザ１と３とは画像３つの内、画像１つを共通して評価していることから、下記[数１]により、１÷３＝０．３３となる。
評価嗜好類似度を算出するための計算式[数１]を以下に示す。[数１]において、ベクトルＤとＥは評価特徴量、Ｖは各画像に対する評価値である。
Figure 0006041217
評価嗜好類似度記憶部７５のデータ構造を図１４に示す。図１４に示すように、評価嗜好類似度記憶部７５には、「ユーザＩＤ」および「評価嗜好類似度」の項目を含む。
図２のステップＳ２４（画像評価）を、図１５を用いて説明する。
画像特徴量群重要度算出部６１は、画像特徴量群管理情報記憶部７２から画像特徴量群管理情報、評価情報記憶部７３から評価情報、および評価嗜好類似度記憶部７５から評価嗜好類似度を取得する（Ｓ１４１）。
続いて、画像特徴量群重要度算出部６１は、取得した画像特徴量群管理情報、評価情報、および評価嗜好類似度を基に、各画像特徴量群に対して画像特徴量群重要度を算出し、算出した画像特徴量群重要度を画像特徴量群重要度記憶部７６に記憶させる（Ｓ１４２）。
次に、画像ソーシャル重要度算出部６２は、画像特徴量群管理情報記憶部７２から画像特徴量群管理情報、画像特徴量群重要度記憶部７６から画像特徴量群重要度、および画像特徴量占有度記憶部７１から画像特徴量占有度を取得する（Ｓ１４３）。
続いて、画像ソーシャル重要度算出部６２は、取得した画像特徴量群管理情報、画像特徴量群重要度、および画像特徴量占有度を基に、各画像に対して画像ソーシャル重要度を算出し、算出した画像ソーシャル重要度を画像ソーシャル重要度記憶部７７に記憶させる（Ｓ１４４）。
ここで、具体例（図１６・１７）を用いて、画像特徴量群重要度の算出方法（Ｓ１４２）を詳しく説明する。なお、本実施の形態の効果をわかりやすく説明するために、新たな具体例（図１６：画像特徴量群管理情報・評価情報・評価嗜好類似度）を採用する。
図１６に示すように、ユーザ１を主体ユーザとし、４人のユーザ１〜４が、８つの画像１〜８を評価したとする。また、画像１〜８はそれぞれ画像特徴量１〜１０を含み、画像特徴量１〜１０は画像特徴量群１〜４にクラスタリングされるとする。なお、画像特徴量１〜１０の抽出対象となるオブジェクトが写る領域の画像１〜４に対する占有度である画像特徴量占有度の値と、ユーザ１と各ユーザとの評価嗜好類似度の値は図１６に示す通りとする。
例えば、画像特徴量群１の画像特徴量群重要度の算出する場合（図１７（ａ））、画像特徴量群重要度算出部６１は、画像特徴量群１を含む画像１をユーザ１（ユーザ１との評価嗜好類似度１．０）が２枚（画像１・２）、ユーザ２（ユーザ１との評価嗜好類似度０．７３）が２枚（画像１・２）、ユーザ３（ユーザ１との評価嗜好類似度０．２１）が１枚（画像２）評価しているため、画像特徴量群重要度算出部６１は、下記[数２]を用いて、１．０×２＋０．７３×２＋０．２１×１＝３．６７と計算処理を行う。続いて、画像特徴量群重要度算出部６１は、この計算処理で得られた値を正規化し、画像特徴量群１の画像特徴量群重要度を０．４２と算出する。
画像特徴量群重要度を算出するための計算式[数２]を以下に示す。[数２]において、imgfeatureScoreは画像特徴量群重要度、evalsimilarityは評価嗜好類似度、evalcountは対象の画像特徴量群に対して対象ユーザが評価した回数、Ｐは画像特徴量群（ｊは画像特徴量数分の変数）、Ｕはユーザ（ｉはユーザ数分の変数、ｘは主体ユーザ）である。
Figure 0006041217
なお、画像特徴量群重要度算出部６１は、画像特徴量群の重要度を比較しやすくするために、上記[数２]の計算処理で得られた値を、正規化をし、最終的に画像特徴量群重要度を算出する。本実施の形態における「正規化」とは、合計が１になるように計算処理を行うこととする。
例えば、図１７（（ｂ）〜（ｄ））に示すように、画像特徴量群２〜４に対しても、画像特徴量群１と同様に、上記[数２]による計算結果は、画像特徴量群２では２．２０、画像特徴量群３では２．２４、画像特徴量群４では０．５７となる。これらの値を用いて、上述した画像特徴量群１における[数２]の計算結果で得られた３．６７という値を正規化するには、３．６７÷（３．６７＋２．２０＋２．２４＋０．５７）＝０．４２という計算処理を行う。
なお、画像特徴量群２〜４の画像特徴量群重要度も、画像特徴量群１の画像特徴量群重要度と同様に算出される（図１７（（ｂ）〜（ｄ）））。
図１７で示すように、画像特徴量群１〜４の画像特徴量群重要度は、画像特徴量群１（画像特徴量群重要度：０．４２）＞画像特徴量群３（画像特徴量群重要度：０．２６）＞画像特徴量群２（画像特徴量群重要度：０．２５）＞画像特徴量群４（画像特徴量群重要度：０．０７）の順で高く算出される。画像特徴量群１・２の画像特徴量群重要度は、主体ユーザであるユーザ１が画像特徴量群１・２を含む画像を評価しているため、高い値となる。画像特徴量群３の画像特徴量群重要度は、主体ユーザであるユーザ１は画像特徴量群３を含む画像を評価していないが、主体ユーザであるユーザ１と評価傾向が似ているユーザ２が画像特徴量群３を含む画像を多く評価しているため、高い値となる。画像特徴量群４の画像特徴量群重要度は、主体ユーザであるユーザ１は画像特徴量群４を含む画像を評価しておらず、主体ユーザであるユーザ１と評価傾向が似ていないユーザ３・４のみが画像特徴量４を含む画像を評価しているため、低い値となる。また、ユーザ全体での各画像の評価頻度（全体で各画像が評価された枚数）に着目すると、ユーザ全体で画像特徴量群１・２を含む画像はそれぞれ５枚、画像特徴量群３を含む画像は４枚、画像特徴量群４を含む画像は５枚評価されているが、評価頻度の多い画像特徴量群４より、評価頻度の少ない画像特徴量群３の画像特徴量群重要度が高い値となっている。
このように、実施の形態１において、画像特徴量群重要度には、ユーザ全体での画像の評価頻度よりも、主体ユーザや主体ユーザと評価傾向が類似しているリンクユーザによる画像評価が大きく反映される。
画像特徴量群重要度記憶部７６のデータ構造を図１９に示す。図１９に示すように、画像特徴量群重要度記憶部７６は、「画像特徴量群ＩＤ」および「画像特徴量群重要度」の項目を含む。
次に、具体例（図１８・図１６・図１７）を用いて、画像ソーシャル重要度の算出方法（Ｓ１４４）を詳しく説明する。画像特徴量群重要度算出方法（Ｓ１４２）の説明に引き続き、図１６に示す具体例（画像特徴量群管理情報・評価情報・評価嗜好類似度）を採用し、図１６を用いて算出された画像特徴量群重要度の値（図１７）を使用する。
例えば、画像１の画像ソーシャル重要度の算出する場合（図１８（ａ））、画像１には画像特徴量群１（画像特徴量群重要度０．４２）に属する画像特徴量１（画像特徴量占有度０．３３）が含まれているため、画像ソーシャル重要度算出部６２は、下記[数３]を用いて、０．４２×０．３３＝０．１４と計算処理を行う。続いて、画像ソーシャル重要度算出部６２は、この計算処理で得られた値を正規化し、画像１の画像ソーシャル重要度を０．４２と算出する。
また、画像２の画像ソーシャル重要度の算出する場合（図１８（ｂ））、画像２には画像特徴量群１（画像特徴量群重要度０．４２）に属する画像特徴量２（画像特徴量占有度０．２１）と、画像特徴量群２（画像特徴量群重要度０．２５）に属する画像特徴量３（画像特徴量占有度０．１７）の２つの画像特徴量が含まれているため、画像ソーシャル重要度算出部６２は、下記[数３]を用いて、（０．４２×０．２１）＋（０．２５×０．１７）＝０．１３と計算処理を行う。続いて、画像ソーシャル重要度算出部６２は、計算処理で得られた値を正規化し、画像２の画像ソーシャル重要度を０．２２と算出する。
画像ソーシャル重要度を算出するための計算式[数３]を以下に示す。[数３]において、imgSocialScoreは画像ソーシャル重要度、imgfeatureScoreは画像特徴量群重要度、imgfeatureOccupationは画像特徴量占有度、Ｑは画像ＩＤ（ｋは画像数分の変数）、Ｓは画像特徴量ＩＤ（ｊは画像Ｑに含まれる画像特徴量数分の変数）、Ｐは画像特徴量群である。
Figure 0006041217
なお、画像ソーシャル重要度算出部６２は、画像特徴量群重要度算出（Ｓ１４２）と同様に、画像ソーシャル重要度算出（Ｓ１４４）の処理においても、各画像の重要度を比較しやすくするために、正規化を行っている。
また、図１８に示すように、画像特徴量群３〜８の画像ソーシャル重要度は、画像１・２の画像ソーシャル重要度と同様に算出される。画像１〜８の画像ソーシャル重要度は、画像１＞画像２＞画像４＞画像６＞画像３＞画像５＞画像８＞画像７となる。
このように、本実施の形態１において、画像特徴量群重要度は、ユーザ全体での画像の評価頻度よりも、主体ユーザあるいは主体ユーザと評価傾向が似ているリンクユーザによる画像評価が反映される。
また、画像ソーシャル重要度は、画像特徴量群重要度に基づいて算出されるので、画像特徴量群重要度と同様に、ユーザ全体での画像の評価頻度よりも、主体ユーザあるいは主体ユーザと評価傾向が似ているリンクユーザによる画像評価頻度が反映される。
また、画像に対して画像特徴量の抽出対象となるオブジェクトが写る領域が占める割合が大きい、即ち抽出対象となるオブジェクトが大きく写る画像ほど、ユーザにとって重要な画像であると思われる。本実施の形態１において、画像ソーシャル重要度は、画像特徴量群重要度に画像特徴量占有度を掛け合わせることで算出されるため、画像に対して画像特徴量の抽出対象となるオブジェクトが写る領域が占める割合が大きいほど、その画像の画像ソーシャル重要度は高い値となる。画像ソーシャル重要度算出部６２は、画像特徴量占有度を掛け合わせることで、画像特徴量群重要度だけで画像ソーシャル重要度を算出するよりも、より高い精度で画像ソーシャル重要度を算出できる。
画像ソーシャル重要度記憶部７７のデータ構造を図２０に示す。図２０に示すように、画像特徴量群重要度記憶部７６は、「画像ＩＤ」および「画像ソーシャル群重要度」の項目を含む。
＜１−３．まとめ＞
実施の形態１における画像評価は、主体ユーザあるいは主体ユーザと評価傾向の似ているリンクユーザが評価した画像に含まれる画像特徴量群を、主体ユーザにとって重要な画像特徴量群であるとし、その画像特徴量群を含む画像を重要な画像であると評価することで、主体ユーザにとって重要な画像を高く評価することができる。
図２１の具体例を用いて、ユーザ全体の評価頻度に基づく従来の画像評価と、実施の形態１における画像評価とを比較する。図２１（ａ）に示すように、ユーザ１〜５が画像１〜６を評価しているとする。また、主体ユーザをユーザ５、主体ユーザと評価傾向が似ているリンクユーザをユーザ４とする。また、実施の形態１における画像評価の効果をわかりやすく説明するために、画像１・画像４・画像５の３つの画像の評価順位について考察する。
まず、ユーザ全体の評価頻度に基づく従来の画像評価において、３つの画像の評価順位は、画像１＞画像５＞画像４となる（図２１（ｂ）左図）。このように、ユーザ全体の評価頻度に基づく従来の画像評価では、全体の評価頻度が多い画像１が高く評価され、主体ユーザ５が評価した画像５や、主体ユーザ５と評価傾向の似ているユーザ４が評価した画像４は高く評価されない。
これに対して、実施の形態１の画像評価において、３つの画像の評価順位は、画像５＞画像４＞画像１となる（図２１（ｂ）右図）。このように、実施の形態１の画像評価では、主体ユーザ５が評価した画像５や、主体ユーザ５と似た評価傾向の似ているユーザ４が評価した画像４が高く評価される。これらの結果からも、実施の形態１の画像評価によれば、ユーザ個人にとって重要な画像を高く評価できることがわかる。
＜２．実施の形態２＞
実施の形態２は、実施の形態１と同様に、ソーシャルネットワー上の画像を対象にユーザ毎に画像を評価する画像評価装置に関するものである。
ただし、実施の形態１における画像評価装置３Ａは、主体ユーザとリンクユーザの評価嗜好類似度を算出し、評価嗜好類似度を基に画像特徴量の重要度を算出し、画像特徴量を基に、主体ユーザに対する画像評価を行うと説明した。これに対して、実施の形態２における画像評価装置は、グラフ解析を用いて、コミュニティ同士、ユーザ同士、画像同士、及び画像特徴量同士の共起関係から、主体ユーザに対する画像評価を行うという点で、実施の形態１とは異なる。
以下、実施の形態２における画像評価装置について、図面を参照しながら説明する。なお、実施の形態２における画像評価装置において、実施の形態１における画像評価装置３Ａと同じ構成要素については、同じ符号を用いて、その説明を省略する。
＜２−１．構成＞
図２２は実施の形態２おける画像評価システム１Ｂのブロック図である。
図２２に示すように、実施の形態２における画像評価装置３Ｂは、実施の形態１における画像評価装置３Ａ（図１）の構成に加えて、グラフ生成部８０を有する。また、実施の形態２における画像評価部６０は、実施の形態１における画像評価部６０の構成に加えて、隣接行列生成部６３と固有ベクトル算出部６４を有する。さらに、実施の形態２における記憶部７０は、実施の形態１における記憶部７０の構成に加えて、グラフ記憶部７８を有する。
また、実施の形態１における画像評価装置３Ａは、画像評価のために主体ユーザと各リンクユーザとの評価嗜好類似度を算出したが、実施の形態２における画像評価装置３Ｂでは、ユーザと画像との評価関係を基に評価リンクを設定し、グラフ解析を用いて画像評価を行うため、評価嗜好類似度を算出する必要はない。したがって、実施の形態１の画像評価装置３Ａ（図１）の構成に含まれる評価嗜好類似度算出部５０と評価嗜好類似度記憶部７５は、本実施の形態における画像評価装置３Ｂの構成から除く。
また、実施の形態１における画像評価装置３Ａでは、画像特徴量群重要度に基づいて、画像ソーシャル重要度を算出したが、実施の形態２における画像評価装置３Ｂでは、画像と画像特徴量との従属関係を基に画像特徴リンクを設定し、グラフ解析を用いて画像ソーシャル重要度を算出するため、画像特徴量群重要度を算出する必要はない。したがって、実施の形態１における画像評価装置３Ａ（図１）の構成に含まれる画像特徴量群重要度算出部６１と画像特徴量群重要度記憶部７６は、実施の形態２における画像評価装置３Ｂの構成から除く。
グラフ生成部８０は、各ノードを生成し、生成したノード間のリンクを表すグラフを生成し、生成したグラフをグラフ記憶部７８に記憶させる機能を有する。また、グラフ生成部８０は、ノード生成部８１、コミュニティリンク設定部８２、評価リンク設定部８３、画像特徴リンク設定部８４、ダミーリンク設定部８５で構成されている。
なお、この生成されるグラフは、画像ソーシャル重要度の算出に用いられる情報であり、各画像、各ユーザ、および各画像特徴量群の関係を表す情報である。また、ノード間のリンクには夫々向きがあるので、この生成されるグラフは有向グラフと呼ばれるタイプである。
ノード生成部８１は、画像特徴量群管理情報記憶部７２から画像特徴量群管理情報、評価情報記憶部７３から評価情報並びにコミュニティ情報、および画像特徴量占有度記憶部７１から画像特徴量占有度を取得する。
なお、「コミュニティ情報」とは、主体ユーザが所属するコミュニティの情報と、主体ユーザと画像を共有するリンクユーザが、主体ユーザが所属するコミュニティの内、いずれのコミュニティに所属するか、言い換えると、主体ユーザが所属するコミュニティの内、いずれのコミュニティのメンバーであるかを示す情報である。
さらに、ノード生成部８１は、取得した画像特徴量群管理情報、評価情報、コミュニティ情報、および画像特徴量占有度を基に、コミュニティ・ユーザ・画像・画像特徴量群・ダミーのノードを生成する。具体的には、ノード生成部８１は、主体ユーザのアカウント上で共有されている画像それぞれを示す画像ノードと、画像に含まれる画像特徴量群それぞれを示す画像特徴量群ノードと、主体ユーザ並びに主体ユーザと画像を共有する全てのリンクユーザそれぞれを示すユーザノードと、主体ユーザが所属するコミュニティそれぞれを示すコミュニティノードと、ダミーノードとを生成する。即ち、生成される各画像ノード、各画像特徴量群ノード、各ユーザノード、および各コミュニティノードはそれぞれ、当該画像の集合の要素、当該画像特徴量群の集合の要素、当該ユーザの集合の要素、当該コミュニティの集合の要素である。
なお、「ダミーノード」とは、ノード間のリンクの重みを調整するためのノードである。ダミーノードは、例えば、外向きのリンクがなく重要度を吸い込んでしまうノードの問題（problem of rank sinks）の解消を図る。
さらに、ノード生成部８１は、コミュニティリンク設定部８２、評価リンク設定部８３、画像特徴リンク設定部８４、およびダミーリンク設定部８５で各リンクが設定された後に、その設定された各リンク全てを表すグラフをグラフ記憶部７８に出力し、出力したグラフをグラフ記憶部７８に記憶させる。
コミュニティリンク設定部８２は、ノード生成部８１で生成されたコミュニティノードとユーザノードとの間のリンクであるコミュニティリンクを設定する。具体的には、コミュニティリンク設定部８２は、後述する固有ベクトルの算出処理によって、コミュニティノードを介して、ユーザノード間で、ユーザそれぞれの重要度が伝播するように、コミュニティリンクのリンク値を、ノード生成部８１で取得したコミュニティ情報を基に設定する。
主体ユーザは、画像評価において主体とするユーザであると同時に、全てのコミュニティに所属し、全てのリンクユーザと関わりのあるユーザであるため、重要なユーザである。また、リンクユーザの内、コミュニティに多く所属するリンクユーザは、主体ユーザと同じ多くのリンクユーザと関わりのあるリンクユーザであるため、主体ユーザにとって重要なユーザであると見なせる。
後述する固有ベクトルの算出処理によって、ユーザノード間で、ユーザそれぞれの重要度が伝播するようにコミュニティリンクのリンク値が設定されることで、上述したような、全てのコミュニティに所属する主体ユーザの重要度や、主体ユーザにとって重要なリンクユーザの重要度を引き上げることができる。
評価リンク設定部８３は、ノード生成部８１で生成されたユーザノードと画像ノード間のリンクである評価リンクを設定する。具体的には、評価リンク設定部８３は、後述する固有ベクトルの算出処理によって、ユーザノードを介して、画像ノード間で、画像夫々の重要度が伝播するように、評価リンクのリンク値を、ノード生成部８１で取得した評価情報を基に設定する。
重要なユーザ（主体ユーザや、主体ユーザにとって重要なユーザ）が評価している画像は、重要な画像である。そして、重要なユーザと同じ画像を評価しているリンクユーザほど、その重要なユーザと価値観が類似するユーザであり、重要なユーザと見なせる。そのため、その価値観が類似するリンクユーザが評価している画像も、重要な画像であると見なせる。
後述する固有ベクトルの算出処理によって、画像ノード間で、画像夫々の重要度が伝播するように評価リンクが設定されることで、上述したような、重要なユーザ（主体ユーザや、主体ユーザにとって重要なユーザ）と価値観が類似するユーザが評価している画像の重要度を引き上げることができる。
画像特徴リンク設定部８４は、ノード生成部８１で生成された画像ノードと画像特徴量群ノード間のリンクである画像特徴リンクを設定する。具体的には、画像特徴リンク設定部８４は、後述する固有ベクトルの算出処理によって、画像特徴量群ノードを介して、画像ノード間で、画像夫々の重要度が伝播するように、画像特徴リンクのリンク値を、ノード生成部で取得された画像特徴量群管理情報を基に設定する。
重要な画像に含まれる画像特徴量群は、重要な画像特徴量群であると見なせる。そして、重要な画像特徴量群が含まれる画像は、重要な画像であると見なせる。また、重要な画像特徴量群が多く含まれる画像ほど、重要な画像であると見なせる。
後述する固有ベクトルの算出処理によって、画像ノード間で、その画像それぞれの重要度が互いに伝播するように画像特徴リンクが設定されることで、主体ユーザに対する画像評価において、上述したような、重要な画像特徴量群が含まれる画像の重要度を引き上げることができる。
ダミーリンク設定部８５は、ノード生成部８１で生成されたコミュニティノード・ユーザノード・画像ノード・画像特徴量群ノード間のリンクであるダミーリンクを設定する。具体的には、ダミーリンク設定部８５は、コミュニティリンク、評価リンク、及び画像特徴リンクから成る４重リンク構造が再帰的な構造となるように、即ち、後述する固有ベクトルの算出処理において、各要素の重要度が吸い込まれることがないように、ダミーリンクのリンク値を、ノード生成部８１で生成された全ノードの数を基に設定する。
隣接行列生成部６３は、グラフ記憶部７８からグラフを取得し、取得したグラフから隣接行列Ｍを生成する。
固有ベクトル算出部６４は、隣接行列生成部６３で生成した隣接行列Ｍから固有ベクトルを算出する。
画像ソーシャル重要度算出部６２は、固有ベクトル算出部６４で算出した主固有ベクトルを基に、各画像の画像ソーシャル重要度を算出し、算出した画像ソーシャル重要度を画像ソーシャル重要度記憶部７７に記憶させる。
グラフ記憶部７８は、グラフ生成部８０で生成されたグラフを出力し、出力されたグラフをテーブル構造に変換して記憶する。
＜２−２．動作＞
次に、実施の形態２における画像評価装置の動作について説明する。
図２３は、図２２の画像評価装置３Ｂが行う画像評価の処理を示すフローチャートである。図２２の画像評価装置３Ｂは、画像取得・画像特徴量群抽出（Ｓ２１１）、評価情報取得・評価特徴量算出（Ｓ２１２）、グラフ生成（Ｓ２１３）、画像評価（Ｓ２１４）の処理を順に行う。なお、ステップＳ２１１およびＳ２１２それぞれは、上記実施の形態１におけるステップＳ２１およびＳ２２（図２）のそれぞれと同様であるため、説明を省略する。
図２１のステップＳ２１３（グラフ生成）を、図２４と具体例（各リンク値の設定：図２５〜図２８）を用いて説明する。
ノード生成部８１は、画像特徴量群管理情報記憶部７２から画像特徴量群管理情報、評価情報記憶部７３から評価情報とコミュニティ情報、および画像特徴量占有度記憶部７１から画像特徴量占有度を取得する（Ｓ２２１）。続いて、ノード生成部８１は、取得した画像特徴量群クラスタ情報、評価情報、コミュニティ情報、画像特徴量占有度を基に、（１＋Ｐ（コミュニティの数）＋Ｑ（ユーザの数）＋Ｒ（画像の数）＋Ｓ（画像特徴量の数））個のノードを生成する（Ｓ２２２）。
次に、コミュニティリンク設定部８２は、コミュニティにユーザが属するときに、コミュニティノードとユーザノード間でコミュニティリンクを設定する（Ｓ２２３）。
例えば、図２５は、コミュニティ１にユーザ１と２が属しており、コミュニティ２にユーザ１と３が属している場合のコミュニティリンクを表している。図２５に示すように、コミュニティリンク設定部８２は、例えば、各ユーザノードから各コミュニティノードへのリンク値α＝（０．５×（１÷コミュニティ数））、各コミュニティノードから各ユーザノードへのリンク値β＝（１÷ユーザ数）という計算式を用いてリンク値を設定する。
評価リンク設定部８３は、ユーザが画像を評価したとき、ユーザノードと画像ノード間で評価リンクを設定する（Ｓ２２４）。
例えば、図２６は、ユーザ１が画像１、ユーザ２が画像１と２、ユーザ３が画像３を評価した場合の評価リンクを表している。図２６に示すように、評価リンク設定部８３は、例えば、各ユーザノードから各画像ノードへのリンク値ζ＝（０．５×（１÷画像数）×固定値）、各画像ノードから各ユーザノードへのリンク値ε＝（０．５×（１÷ユーザ数）×固定値）という計算式を用いてリンク値を設定する。
画像特徴リンク設定部８４は、画像に画像特徴量群が含まれるとき、画像ノードと画像特徴量群ノード間で画像特徴リンクを設定する（Ｓ２２５）。
例えば、図２７は、画像１に画像特徴量群１、画像２に画像特徴量群１と２、画像３に画像特徴量群２が含まれる場合の画像特徴リンクを表している。図２７に示すように、画像特徴リンク設定部８４は、例えば、各画像ノードから各画像特徴量群ノードへのリンク値δ＝（０．５×（１÷画像特徴量群数）×画像特徴量占有度）、各画像特徴量群ノードから各画像ノードへのリンク値はγ＝（１÷画像数）という計算式を用いてリンク値を設定する。
ダミーリンク設定部８５は、コミュニティ・ユーザ・画像・画像特徴量群の全てノードとダミーノード間で、ダミーリンクを設定する（Ｓ２２６）。
例えば、図２８は、コミュニティ１・コミュニティ２・ユーザ１・ユーザ２・ユーザ３・画像１・画像２・画像３・画像特徴量群１・画像特徴量群２とダミーノード間のダミーリンクを表している。図２８に示すように、ダミーリンク設定部８５は、例えば、各ノードからダミーノードへのリンク値θ＝（１−（各ノードにおけるダミー以外の全リンクのリンク値を合計した値））、ダミーノードからコミュニティ・ユーザ・画像・画像特徴量群のすべてのノードへのリンク値η＝（１÷（ユーザ数＋コミュニティ数＋画像数＋画像特徴量群数））という計算式を用いてリンク値を設定する。
最後に、ノード生成部８１は、ステップＳ２２３〜ステップＳ２２６で設定されたコミュニティリンク、評価リンク、画像特徴リンク、ダミーリンクを表すグラフを生成し、生成したグラフをグラフ記憶部７８に出力し、記憶させる（Ｓ２２７）。
なお、ステップＳ２２７において、グラフ記憶部７８は、出力されたグラフをテーブル構造に変換し、変換したグラフを記憶する。
図２９は、コミュニティリンク・評価リンク・画像特徴リンク・ダミーリンクの設定（Ｓ２２２〜Ｓ２２６）によって生成されるグラフを表す図である。
図３０は、グラフ記憶部７８のデータ構造であり、図２９をテーブル構造に変換した図である。図３０に示すように、グラフ記憶部７８は、「コミュニティ」、「ユーザ」、「画像」、「画像特徴量群」、および「ダミー」の項目を含む。
図２３のステップＳ２１４（画像評価）を、図３１と具体例（図３０〜図３３）を用いて説明する。
隣接行列生成部６３は、グラフ記憶部７８に記憶されたテーブル構造のグラフを取得する（Ｓ２９１）。続いて、隣接行列生成部６３は、取得したテーブル構造のグラフから隣接行列Ｍを生成する（Ｓ２９２）。
例えば、隣接行列生成部６３は、図３０のテーブル構造のグラフを取得（Ｓ２９１）したとする。このとき、隣接行列生成部６３は、取得した図３０のテーブル構造のグラフから、図３２に示すような正方行列である隣接行列Ｍを生成する（Ｓ２９２）。
ステップＳ２９２の処理後、固有ベクトル算出部６４は、隣接行列生成部６３で生成された隣接行列Ｍの主固有ベクトルＰを算出する（Ｓ２９３〜Ｓ２９５）。このステップＳ２９３〜Ｓ２９５の処理は、固有値とそれに属する固有ベクトルとを同時に求める方法の一種である「べき乗法」の演算となっている。
すなわち、固有ベクトル算出部６４は、ステップＳ２９３で算出した固有ベクトルＰが収束していない場合（Ｓ２９４：Ｎｏ）、算出した固有ベクトルＰに元の隣接行列Ｍを積算し（Ｓ２９５）、固有ベクトルＰが収束するまで再帰的に計算処理を行う。
そして、固有ベクトル算出部６４は、固有ベクトルＰが収束した場合（Ｓ２９４：Ｙｅｓ）、収束した固有ベクトルＰを主固有ベクトルＰと決定する（Ｓ２９６）。
次に、ステップＳ２９７において、画像ソーシャル重要度算出部６２は、例えば、固有ベクトル算出部６４で算出された主固有ベクトルＰから画像の成分である、（画像１の成分）０．７８０、（画像２の成分）０．１７１、（画像３の成分）０．０７６を取り出す（図３２（ａ））。
次に、ステップＳ２９８において、画像ソーシャル重要度算出部６２は、取り出した画像の成分を正規化することで、画像１と画像２の画像ソーシャル重要度を算出し（図３２（ｂ））、算出した画像ソーシャル重要度を画像ソーシャル重要度記憶部７７に記憶させる。
なお、この隣接行列Ｍの生成および主固有ベクトルの算出の具体的な方法については、上記非特許文献３の手法を用いることができる。
＜２−３．まとめ＞
実施の形態２における画像評価装置１Ｂは、ソーシャルネットワークにおいて主体ユーザのアカウント上で共有される画像、各画像に含まれる画像特徴量群、主体ユーザ並びに主体ユーザと画像を共有するリンクユーザ、及び主体ユーザが所属するコミュニティを要素とし、それらの要素間の関係性を表すグラフを解析することで、より高い精度で主体ユーザの期待する画像評価を実現することができる。
具体的には、画像評価装置１Ｂは、各要素間の関係性を表す隣接行列Ｍの再帰的な固有ベクトルの算出処理により、コミュニティ間、ユーザ間、画像間、及び画像特徴量群間でそれぞれ、重要度を伝播することができる。その結果、画像評価装置１Ｂによれば、例えば、主体ユーザの所属する複数のコミュニティの内、多くのコミュニティに主体ユーザと同様に所属しているリンクユーザや、主体ユーザが評価している画像と同じ画像を評価している、主体ユーザと評価傾向が似ているリンクユーザが重要なユーザとして扱われ、主体ユーザが評価している画像だけでなく、その重要なユーザによって評価された画像も、高く評価することができる。また、画像評価装置１Ｂによれば、主体ユーザが評価している画像や、重要なユーザが評価している画像に含まれる画像特徴量群が重要な画像特徴量群として扱われ、主体ユーザが評価している画像だけでなく、重要な画像特徴量群が含まれる画像も、高く評価することができる。
図３５の具体例を用いて、全体の評価頻度に基づく従来の画像評価と実施の形態２による画像評価を比較しながら、実施の形態２の画像評価の効果の一例を説明する。図３５（ａ）に示すように、主体ユーザをユーザ３、主体ユーザと評価傾向が似ているユーザをユーザ４とし、ユーザ１〜３が、画像特徴量群１・２を含む画像１〜４を評価したとする。また、画像２〜４の女性は同一人物とする。ここでは、実施の形態２の画像評価の効果をわかりやすく説明するために、画像１・画像２・画像４の３つの画像の評価順位について考察する。
まず評価された頻度に基づく画像評価での評価順位は、画像４＞画像１＞画像２（図３５（ｂ）左図）となり、主体ユーザが評価した女性が映る画像４は高く評価されるが、図４と同じ女性が帽子をかぶっている画像２は、帽子で女性の顔部分の画像特徴量群が抽出されず、さらに、誰も評価していないことから、低く評価されてしまう。
これに対して、実施の形態２による画像評価では、画像４＞画像２＞画像１という評価順位（図３５（ｂ）右図）となる。まず、ユーザ３が評価した画像４に含まれる女性の顔部分の画像特徴量群２が画像３にも含まれるため、画像３が高く評価される。さらに、画像３に含まれる女性が着用している服部分の画像特徴量群１が画像２にも含まれるため画像２が高く評価され、画像２は画像１よりも高い評価となり得る（図３５（ｂ）右図）。
＜３．変形例＞
以上、本発明に係る画像評価装置の実施形態を説明したが、例示した画像評価装置を以下に示すように変形することも可能であり、本発明は上記実施形態に限られるものではない。
（１）リンク構造について
上記実施の形態２における画像評価装置３Ｂは、ソーシャルネットワーク上の複数のコミュニティを対象とし、ユーザアカウントごとに各ユーザの画像評価を行う場合を想定している。そのため、実施の形態２における画像評価装置３Ｂのグラフ生成（図２４）では、コミュニティノードとユーザノード間のコミュニティリンク、ユーザノードと画像ノード間の評価リンク、画像ノードと画像特徴量ノード間の画像特徴リンクで構成される４重リンク構造のグラフを生成した。
これに対して、ある特定のコミュニティ内で、ある特定の主体ユーザに対して画像評価を行う場合は、前述の４重リンク構造から、コミュニティノードを除き、主体ユーザを基準とした、ユーザノードと画像ノード間の評価リンクと、画像ノードと画像特徴量ノード間の画像特徴リンクとで構成される３重リンク構造のグラフを生成し、画像評価を行えばよい。グラフの構成を、４重リンク構造から３重リンク構造とすることで、画像に含まれる画像特徴量群の共起関係の効果は残し、実施の形態２における画像評価処理よりも演算量を減らすことができる。
（２）評価情報について
上記実施の各形態において、評価取得部３０は、例えば図１１に示すような様々な評価方法の評価値を設定し、各ユーザの評価情報を取得することができると説明したが、取得可能な評価情報はこれに限定されない。例えば、評価取得部３０は、図１１の各評価方法の評価値に、更にその評価がなされた日時に関する評価値、言い換えるとその評価の鮮度に関する評価値を加えることで、各ユーザの評価情報を取得してもよい。
図３５（ａ）は、評価の鮮度に関する評価値の一例である。図３５（ａ）に示すように、評価取得部３０によって評価情報が取得される日時を基準に、直近の評価ほど高い評価値を設定するようにしてもよい。
図３５（ｂ）を用いて、図１１の各評価方法の評価値に、図３５（ａ）の評価の鮮度に関する評価値を加えた評価値を評価情報とする具体例について説明する。
図３５（ｂ）に示すように、例えば、評価情報が取得される時間を現在として、現在から２年以内に、あるユーザがある画像に対して５段階評価で「３」の評価を行ったとする。図３５（ａ）において、２年以内の評価に追加される評価値は「１０」であるため、当該画像に対する当該ユーザの評価情報は、評価値＝３＋１０となる。また、図３５（ｂ）に示すように、例えば、現在から１０年以上前に、あるユーザがある画像に対して１段階評価で「１」の評価を行ったとする。図３５（ａ）において、１０年以上前の評価に追加される評価値は「０」であるため、この画像に対する当該ユーザの評価情報は、評価値＝１＋０＝１となる。
このように、評価情報が取得される時間を基準として、直近の評価ほど高い評価値とすることで、上記実施の各形態における画像評価装置は、主体ユーザに対する画像評価に、現在から遠い過去におけるユーザそれぞれの画像評価よりも、現在から近い過去におけるユーザそれぞれの画像評価を反映させることができる。
（３）集積回路
実施の形態の画像評価装置は、典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現されてもよい。各回路を個別に１チップとしてもよいし、全ての回路または一部の回路を含むように１チップ化されてもよい。ここでは、ＬＳＩとして記載したが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）、ＬＳＩ内部の回路セル接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
（４）プログラム
また、実施の形態の画像評価装置は、画像評価に係る処理（図２など）をコンピュータ等の各種機器のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。このような記録媒体には、スマートメディア、コンパクトフラッシュ（登録商標）、メモリースティック（登録商標）、SDメモリーカード、マルチメディアカード、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、ＢＤ(Blu-ray Disc：登録商標)等がある。流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより、実施の形態で示したような各種機能が実現されるようになる。
＜４．補足＞
以下、本発明の一実施形態としての画像評価装置・画像評価方法・プログラム・集積回路の構成および変形例の効果について説明する。
（Ａ）本発明の一実施形態に係る画像評価装置は、複数の画像それぞれから画像特徴量を抽出する画像特徴量抽出手段と、主体ユーザを含む複数のユーザの前記画像それぞれに対する評価を含む評価情報を取得する評価情報取得手段と、前記画像特徴量と前記評価情報に基づいて、前記画像と前記ユーザと前記画像特徴量を分類した画像特徴量群との関係を表す情報を生成する生成手段と、前記生成手段が生成する情報に基づいて、前記主体ユーザに対する当該画像の重要度を表す画像ソーシャル重要度を算出する画像ソーシャル重要度算出手段と、を備えることを特徴とする。
この構成により、画像評価装置は、画像特徴量と評価情報を基に、画像とユーザと画像特徴量群の関係を表す情報を生成し、その生成した情報を基に画像を評価するため、主体ユーザ個人に合った画像評価ができる。
（Ｂ）前記実施形態（Ａ）の画像評価装置において、前記生成手段が生成する情報は、前記主体ユーザに対する前記画像特徴量群の重要度を表す画像特徴量群重要度である、としても構わない。
（Ｃ）前記実施形態（Ｂ）の画像評価装置において、前記生成手段は、前記画像特徴量群それぞれについて、当該画像特徴量群と、前記ユーザの当該画像特徴量群を含む画像それぞれに対する前記評価情報とに基づいて、前記画像特徴量群重要度を算出する、としても構わない。
（Ｄ）前記実施形態（Ｃ）の画像評価装置において、前記評価情報は、前記画像特徴量群それぞれについて、前記ユーザの当該画像特徴量群を含む画像を評価した枚数を表す評価枚数情報を含み、前記画像ソーシャル重要度算出手段は、前記画像それぞれについて、当該画像に含まれる画像特徴量群それぞれの前記画像特徴量群重要度の総和に基づいて、前記画像ソーシャル重要度を算出する、としても構わない。
この構成により、画像評価装置は、より高い精度でユーザ個人に合った画像評価ができる。
（Ｅ）前記実施形態（Ｃ）の画像評価装置において、さらに、前記ユーザそれぞれについて、当該ユーザの前記画像それぞれに対する前記評価情報に基づいて、当該ユーザの評価嗜好を表す評価特徴量を算出する評価特徴量算出手段と、前記ユーザそれぞれについて、当該ユーザの評価特徴量と前記主体ユーザの評価特徴量とに基づいて、当該ユーザと前記主体ユーザとの評価嗜好の類似性を表す評価嗜好類似度を算出する評価嗜好類似度算出手段とを備え、前記生成手段は、前記画像特徴量群それぞれについて、当該画像特徴量群と、当該画像特徴量群を含む画像を評価した前記ユーザの前記評価嗜好類似度とに基づいて、前記画像特徴量群重要度を算出する、としても構わない。
この構成により、画像評価装置は、より高い精度でユーザ個人に合った画像評価ができる。
（Ｆ）前記実施形態（Ｅ）の画像評価装置において、さらに、前記画像特徴量それぞれについて、当該画像特徴量が抽出された画像において、当該画像特徴量が抽出された領域の占有度を表す画像特徴量占有度を算出する画像特徴量占有度算出手段を備え、前記画像ソーシャル重要度算出手段は、前記画像それぞれについて、当該画像に含まれる画像特徴量群それぞれの前記画像特徴量群重要度と、当該画像に含まれる画像特徴量それぞれの前記画像特徴量占有度とに基づいて、前記画像ソーシャル重要度を算出する、としても構わない。
この構成により、画像評価装置は、より高い精度でユーザ個人に合った画像評価ができる。
（Ｇ）前記実施形態（Ｆ）の画像評価装置において、前記評価情報は、前記画像特徴量群それぞれについて、前記ユーザの当該画像特徴量群を含む画像を評価した枚数を表す評価枚数情報を含み、前記生成手段は、前記画像特徴量群それぞれについて、当該画像特徴量群と、当該画像特徴量群を含む画像を評価した前記ユーザの前記評価嗜好類似度と、前記ユーザの当該画像特徴量群を含む画像を評価した枚数を表す前記評価枚数情報とに基づいて、前記画像特徴量群重要度を算出する、としても構わない。
この構成により、画像評価装置は、より高い精度でユーザ個人に合った画像評価ができる。
（Ｈ）前記実施形態（Ｅ）の画像評価装置において、前記評価は、前記ユーザの前記画像に対する閲覧操作、前記画像内の一部を指定する拡大表示操作、コメント記入操作、タグ付け操作の内、少なくとも１つに基づく、としても構わない。
この構成により、画像評価装置は、より高い精度でユーザ個人に合った画像評価ができる。
（Ｉ）前記実施形態（Ｈ）の画像評価装置において、前記評価は、さらに、前記ユーザの前記画像に対する操作が行われた日時情報に基づく、としても構わない。
この構成により、画像評価装置は、より高い精度でユーザ個人に合った画像評価ができる。
（Ｊ）前記実施形態（Ａ）の画像評価装置において、前記生成手段が生成する情報は、前記画像と前記ユーザと前記画像特徴量群とをノードとするグラフである、としても構わない。
（Ｋ）前記実施形態（Ａ）の画像評価装置において、前記画像評価装置は、さらに、前記画像特徴量それぞれについて、当該画像特徴量が抽出された画像において、当該画像特徴量が抽出された領域の占有度を表す画像特徴量占有度を算出する画像特徴量占有度算出手段を備え、前記生成手段は、前記ユーザが属するコミュニティ要素とユーザ要素と画像要素と画像特徴量群要素とに基づいて、ノードを生成するノード生成手段と、コミュニティと前記ユーザの関係に基づいて、前記コミュニティ要素のノードと前記ユーザ要素のノード間のコミュニティリンクを設定するコミュニティリンク設定手段と、前記評価情報に基づいて、前記ユーザ要素のノードと前記画像要素のノード間の評価リンクを設定する評価リンク設定手段と、前記画像特徴量占有度に基づいて、前記画像要素のノードと前記画像特徴量群要素のノード間の画像特徴リンクを設定する画像特徴リンク設定手段と、前記コミュニティリンクと前記評価リンクと前記画像特徴リンクに基づいて、グラフを表す隣接行列を生成する隣接行列生成手段とを備え、前記画像評価装置は、さらに、前記隣接行列の主固有ベクトルを算出する固有ベクトル算出手段を備え、前記ソーシャル重要度算出手段は、前記隣接行列の主固有ベクトルの要素に基づいて、前記画像ソーシャル重要度を算出する、としても構わない。
この構成により、画像評価装置は、コミュニティリンク・評価リンク・画像特徴リンクの４重リンクを基に、主体ユーザ個人に合った画像評価ができる。
（Ｌ）前記実施形態（Ｋ）の画像評価装置において、前記コミュニティリンク設定手段は、前記コミュニティと前記ユーザの従属関係に基づいて、前記コミュニティリンクのリンク値を設定し、前記評価リンク設定手段は、前記ユーザと前記画像の評価関係に基づいて、前記評価リンクのリンク値を設定し、前記画像特徴リンク設定手段は、前記画像と前記画像特徴量群の従属関係および前記画像特徴量占有度に基づいて、前記画像特徴リンクのリンク値を設定する、としても構わない。
（Ｍ）前記実施形態（Ｌ）の画像評価装置において、前記コミュニティリンク設定手段は、前記ユーザ要素間の重要度を、前記コミュニティ要素を介して伝播するようにしつつ、前記コミュニティリンクのリンク値を設定し、前記評価リンク設定手段は、前記画像要素間の重要度を、前記ユーザ要素を介して伝播するようにしつつ、前記評価リンクのリンク値を設定し、前記画像特徴リンク設定手段は、前記画像要素間の重要度を、前記画像特徴量群要素を介して伝播するようにしつつ、前記画像特徴リンクのリンク値を設定する、としても構わない。
（Ｎ）本発明の一実施形態に係る画像評価方法は、複数の画像それぞれから画像特徴量を抽出する画像特徴量抽出ステップと、主体ユーザを含む複数のユーザの前記画像それぞれに対する評価を含む評価情報を取得する評価情報取得ステップと、前記画像特徴量と前記評価情報に基づいて、前記画像と前記ユーザと前記画像特徴量を分類した画像特徴量群との関係を表す情報を生成する生成ステップと、前記生成ステップが生成する情報に基づいて、前記主体ユーザに対する当該画像の重要度を表す画像ソーシャル重要度を算出する画像ソーシャル重要度算出ステップと、を含むことを特徴とする。
この構成により、画像評価方法は、画像特徴量と評価情報を基に、画像とユーザと画像特徴量群の関係を表す情報を生成し、その生成した情報を基に画像を評価するため、主体ユーザ個人に合った画像評価ができる。
（Ｏ）本発明の一実施形態に係るプログラムは、コンピュータに画像を評価する画像評価処理を実行させるプログラムであって、複数の画像それぞれから画像特徴量を抽出する画像特徴量抽出ステップと、主体ユーザを含む複数のユーザの前記画像それぞれに対する評価を含む評価情報を取得する評価情報取得ステップと、前記画像特徴量と前記評価情報に基づいて、前記画像と前記ユーザと前記画像特徴量を分類した画像特徴量群との関係を表す情報を生成する生成ステップと、前記生成ステップが生成する情報に基づいて、前記主体ユーザに対する当該画像の重要度を表す画像ソーシャル重要度を算出する画像ソーシャル重要度算出ステップと、を含むことを特徴とする。
この構成により、プログラムは、画像特徴量と評価情報を基に、画像とユーザと画像特徴量群の関係を表す情報を生成し、その生成した情報を基に画像を評価するため、主体ユーザ個人に合った画像評価ができる。
（Ｐ）本発明の一実施形態に係る集積回路は、複数の画像それぞれから画像特徴量を抽出する画像特徴量抽出手段と、主体ユーザを含む複数のユーザの前記画像それぞれに対する評価を含む評価情報を取得する評価情報取得手段と、前記画像特徴量と前記評価情報に基づいて、前記画像と前記ユーザと前記画像特徴量を分類した画像特徴量群との関係を表す情報を生成する生成手段と、前記生成手段が生成する情報に基づいて、前記主体ユーザに対する当該画像の重要度を表す画像ソーシャル重要度を算出する画像ソーシャル重要度算出手段と、を備えることを特徴とする。
この構成により、集積回路は、画像特徴量と評価情報を基に、画像とユーザと画像特徴量群の関係を表す情報を生成し、その生成した情報を基に画像を評価するため、主体ユーザ個人に合った画像評価ができる。
本発明に係る画像評価では、ソーシャルネットワーク上で共有される膨大な画像コンテンツの中から、ユーザ毎でそのユーザにとって重要な画像を効率的に観賞することができ、画像に対する評価された頻度に基づく従来の画像評価と比較して、ユーザはより負担なく容易に画像コンテンツの閲覧が可能となる。
例えば、ソーシャルネットワーク上において、ユーザの友人などのリンクユーザの近況に関する画像表示を、通常の時系列による画像表示ではなく、ユーザ個人の画像ランキングによる画像表示とすることができる。その結果、ユーザはより効率的に画像観賞ができ、リンクユーザの近況を容易に把握することができるので、パーソナルコンピュータの据え置き端末やスマートフォンの携帯端末やソーシャルネットワークを運用するサーバ端末などで有用である。
１Ａ、１Ｂ 画像評価システム
２ ネットワーク
３Ａ、３Ｂ 画像評価装置
４ 表示ディスプレイ
１０ 画像取得部
２０ 画像特徴量群抽出部
２１ 画像特徴量抽出部
２２ 画像特徴量占有度算出部
２３ 画像特徴量クラスタリング部
３０ 評価情報取得部
４０ 評価特徴量算出部
５０ 評価嗜好類似度算出部
６０ 画像評価部
６１ 画像特徴量群重要度算出部
６２ 画像ソーシャル重要度算出部
６３ 隣接行列生成部
６４ 固有ベクトル算出部
７０ 記憶部
７１ 画像特徴量占有度算出部
７２ 画像特徴量群クラスタ情報記憶部
７３ 評価情報記憶部
７４ 評価特徴量記憶部
７５ 評価嗜好類似度記憶部
７６ 画像特徴量群重要度記憶部
７７ 画像ソーシャル重要度記憶部
７８ グラフ記憶部
８０ グラフ生成部
８１ ノード生成部
８２ コミュニティリンク設定部
８３ 評価リンク設定部
８４ 画像特徴リンク設定部
８５ ダミー設定部
９０ 表示制御部

Claims (16)

  1. 複数の画像それぞれから画像特徴量を抽出する画像特徴量抽出手段と、
    主体ユーザを含む複数のユーザの前記画像それぞれに対する評価を含む評価情報を取得する評価情報取得手段と、
    前記画像特徴量と前記評価情報に基づいて、前記画像と前記ユーザと前記画像特徴量を分類した画像特徴量群との関係を表す情報を生成する生成手段と、
    前記生成手段が生成する情報に基づいて、前記主体ユーザに対する当該画像の重要度を表す画像ソーシャル重要度を算出する画像ソーシャル重要度算出手段と、
    を備えることを特徴とする画像評価装置。
  2. 前記生成手段が生成する情報は、前記主体ユーザに対する前記画像特徴量群の重要度を表す画像特徴量群重要度である、
    ことを特徴とする請求項１に記載の画像評価装置。
  3. 前記生成手段は、前記画像特徴量群それぞれについて、当該画像特徴量群と、前記ユーザの当該画像特徴量群を含む画像それぞれに対する前記評価情報とに基づいて、前記画像特徴量群重要度を算出する、
    ことを特徴とする請求項２に記載の画像評価装置。
  4. 前記評価情報は、前記画像特徴量群それぞれについて、前記ユーザの当該画像特徴量群を含む画像を評価した枚数を表す評価枚数情報を含み、
    前記画像ソーシャル重要度算出手段は、前記画像それぞれについて、当該画像に含まれる画像特徴量群それぞれの前記画像特徴量群重要度の総和に基づいて、前記画像ソーシャル重要度を算出する、
    ことを特徴とする請求項３に記載の画像評価装置。
  5. さらに、
    前記ユーザそれぞれについて、当該ユーザの前記画像それぞれに対する前記評価情報に基づいて、当該ユーザの評価嗜好を表す評価特徴量を算出する評価特徴量算出手段と、
    前記ユーザそれぞれについて、当該ユーザの評価特徴量と前記主体ユーザの評価特徴量とに基づいて、当該ユーザと前記主体ユーザとの評価嗜好の類似性を表す評価嗜好類似度を算出する評価嗜好類似度算出手段とを備え、
    前記生成手段は、前記画像特徴量群それぞれについて、当該画像特徴量群と、当該画像特徴量群を含む画像を評価した前記ユーザの前記評価嗜好類似度とに基づいて、前記画像特徴量群重要度を算出する、
    ことを特徴とする請求項３に記載の画像評価装置。
  6. さらに、前記画像特徴量それぞれについて、当該画像特徴量が抽出された画像において、当該画像特徴量が抽出された領域の占有度を表す画像特徴量占有度を算出する画像特徴量占有度算出手段を備え、
    前記画像ソーシャル重要度算出手段は、前記画像それぞれについて、当該画像に含まれる画像特徴量群それぞれの前記画像特徴量群重要度と、当該画像に含まれる画像特徴量それぞれの前記画像特徴量占有度とに基づいて、前記画像ソーシャル重要度を算出する、
    ことを特徴とする請求項５に記載の画像評価装置。
  7. 前記評価情報は、前記画像特徴量群それぞれについて、前記ユーザの当該画像特徴量群を含む画像を評価した枚数を表す評価枚数情報を含み、
    前記生成手段は、前記画像特徴量群それぞれについて、当該画像特徴量群と、当該画像特徴量群を含む画像を評価した前記ユーザの前記評価嗜好類似度と、前記ユーザの当該画像特徴量群を含む画像を評価した枚数を表す前記評価枚数情報とに基づいて、前記画像特徴量群重要度を算出する、
    ことを特徴とする請求項６に記載の画像評価装置。
  8. 前記評価は、前記ユーザの前記画像に対する閲覧操作、前記画像内の一部を指定する拡大表示操作、コメント記入操作、タグ付け操作の内、少なくとも１つに基づく、
    ことを特徴とする請求項５に記載の画像評価装置。
  9. 前記評価は、さらに、
    前記ユーザの前記画像に対する操作が行われた日時情報に基づく、
    ことを特徴とする請求項８に記載の画像評価装置。
  10. 前記生成手段が生成する情報は、前記画像と前記ユーザと前記画像特徴量群とをノードとするグラフである、
    ことを特徴とする請求項１に記載の画像評価装置。
  11. 前記画像評価装置は、さらに、
    前記画像特徴量それぞれについて、当該画像特徴量が抽出された画像において、当該画像特徴量が抽出された領域の占有度を表す画像特徴量占有度を算出する画像特徴量占有度算出手段を備え、
    前記生成手段は、
    前記ユーザが属するコミュニティ要素とユーザ要素と画像要素と画像特徴量群要素とに基づいて、ノードを生成するノード生成手段と、
    コミュニティと前記ユーザの関係に基づいて、前記コミュニティ要素のノードと前記ユーザ要素のノード間のコミュニティリンクを設定するコミュニティリンク設定手段と、
    前記評価情報に基づいて、前記ユーザ要素のノードと前記画像要素のノード間の評価リンクを設定する評価リンク設定手段と、
    前記画像特徴量占有度に基づいて、前記画像要素のノードと前記画像特徴量群要素のノード間の画像特徴リンクを設定する画像特徴リンク設定手段と、
    前記コミュニティリンクと前記評価リンクと前記画像特徴リンクに基づいて、グラフを表す隣接行列を生成する隣接行列生成手段とを備え、
    前記画像評価装置は、さらに、
    前記隣接行列の主固有ベクトルを算出する固有ベクトル算出手段を備え、
    前記ソーシャル重要度算出手段は、前記隣接行列の主固有ベクトルの要素に基づいて、前記画像ソーシャル重要度を算出する、
    ことを特徴とする請求項１に記載の画像評価装置。
  12. 前記コミュニティリンク設定手段は、前記コミュニティと前記ユーザの従属関係に基づいて、前記コミュニティリンクのリンク値を設定し、
    前記評価リンク設定手段は、前記ユーザと前記画像の評価関係に基づいて、前記評価リンクのリンク値を設定し、
    前記画像特徴リンク設定手段は、前記画像と前記画像特徴量群の従属関係および前記画像特徴量占有度に基づいて、前記画像特徴リンクのリンク値を設定する、
    ことを特徴とする請求項１１に記載の画像評価装置。
  13. 前記コミュニティリンク設定手段は、前記ユーザ要素間の重要度を、前記コミュニティ要素を介して伝播するようにしつつ、前記コミュニティリンクのリンク値を設定し、
    前記評価リンク設定手段は、前記画像要素間の重要度を、前記ユーザ要素を介して伝播するようにしつつ、前記評価リンクのリンク値を設定し、
    前記画像特徴リンク設定手段は、前記画像要素間の重要度を、前記画像特徴量群要素を介して伝播するようにしつつ、前記画像特徴リンクのリンク値を設定する、
    ことを特徴とする請求項１２に記載の画像評価装置。
  14. 複数の画像それぞれから画像特徴量を抽出する画像特徴量抽出ステップと、
    主体ユーザを含む複数のユーザの前記画像それぞれに対する評価を含む評価情報を取得する評価情報取得ステップと、
    前記画像特徴量と前記評価情報に基づいて、前記画像と前記ユーザと前記画像特徴量を分類した画像特徴量群との関係を表す情報を生成する生成ステップと、
    前記生成ステップが生成する情報に基づいて、前記主体ユーザに対する当該画像の重要度を表す画像ソーシャル重要度を算出する画像ソーシャル重要度算出ステップと、
    を含むことを特徴とする画像評価方法。
  15. コンピュータに画像を評価する画像評価処理を実行させるプログラムであって、
    複数の画像それぞれから画像特徴量を抽出する画像特徴量抽出ステップと、
    主体ユーザを含む複数のユーザの前記画像それぞれに対する評価を含む評価情報を取得する評価情報取得ステップと、
    前記画像特徴量と前記評価情報に基づいて、前記画像と前記ユーザと前記画像特徴量を分類した画像特徴量群との関係を表す情報を生成する生成ステップと、
    前記生成ステップが生成する情報に基づいて、前記主体ユーザに対する当該画像の重要度を表す画像ソーシャル重要度を算出する画像ソーシャル重要度算出ステップと、
    を含むことを特徴とするプログラム。
  16. 複数の画像それぞれから画像特徴量を抽出する画像特徴量抽出手段と、
    主体ユーザを含む複数のユーザの前記画像それぞれに対する評価を含む評価情報を取得する評価情報取得手段と、
    前記画像特徴量と前記評価情報に基づいて、前記画像と前記ユーザと前記画像特徴量を分類した画像特徴量群との関係を表す情報を生成する生成手段と、
    前記生成手段が生成する情報に基づいて、前記主体ユーザに対する当該画像の重要度を表す画像ソーシャル重要度を算出する画像ソーシャル重要度算出手段と、
    を備えることを特徴とする集積回路。
JP2013555684A 2012-05-29 2013-04-22 画像評価装置、画像評価方法、プログラム、集積回路 Expired - Fee Related JP6041217B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013555684A JP6041217B2 (ja) 2012-05-29 2013-04-22 画像評価装置、画像評価方法、プログラム、集積回路

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012122236 2012-05-29
JP2012122236 2012-05-29
PCT/JP2013/002706 WO2013179558A1 (ja) 2012-05-29 2013-04-22 画像評価装置、画像評価方法、プログラム、集積回路
JP2013555684A JP6041217B2 (ja) 2012-05-29 2013-04-22 画像評価装置、画像評価方法、プログラム、集積回路

Publications (2)

Publication Number Publication Date
JPWO2013179558A1 JPWO2013179558A1 (ja) 2016-01-18
JP6041217B2 true JP6041217B2 (ja) 2016-12-07

Family

ID=49672793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013555684A Expired - Fee Related JP6041217B2 (ja) 2012-05-29 2013-04-22 画像評価装置、画像評価方法、プログラム、集積回路

Country Status (4)

Country Link
US (1) US9177201B2 (ja)
JP (1) JP6041217B2 (ja)
CN (1) CN103620648B (ja)
WO (1) WO2013179558A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575280B (zh) * 2014-07-22 2020-08-11 香港科技大学 用于分析用户关联图像以产生非用户生成标签以及利用该生成标签的***和方法
CN105678624A (zh) * 2014-11-18 2016-06-15 索尼公司 评价信息生成装置和方法、电子设备及服务器
US10242047B2 (en) * 2014-11-19 2019-03-26 Facebook, Inc. Systems, methods, and apparatuses for performing search queries
JP6440604B2 (ja) * 2015-09-29 2018-12-19 富士フイルム株式会社 被写体評価システム，被写体評価方法，被写体評価プログラムおよびそのプログラムを格納した記録媒体
US10606884B1 (en) * 2015-12-17 2020-03-31 Amazon Technologies, Inc. Techniques for generating representative images
CN109191449A (zh) * 2018-09-10 2019-01-11 广东智媒云图科技股份有限公司 一种图片质量评价方法及装置
KR102627658B1 (ko) * 2018-10-11 2024-01-22 삼성전자주식회사 레이아웃에 대한 이미지의 배치를 판단하는 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체.
JP2020123043A (ja) * 2019-01-29 2020-08-13 日本電信電話株式会社 推定方法、推定装置および推定プログラム
CN113162839B (zh) * 2021-02-18 2023-03-24 深圳向量之美科技有限公司 网络社区及互动方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151918A (ja) 2002-10-30 2004-05-27 Fuji Photo Film Co Ltd コンテンツ評価方法および装置並びにプログラム
JP4725038B2 (ja) * 2004-06-03 2011-07-13 ソニー株式会社 コンテンツ共有システム及びコンテンツ重要度判定方法
JP2006048320A (ja) * 2004-08-04 2006-02-16 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP4240096B2 (ja) * 2006-09-21 2009-03-18 ソニー株式会社 情報処理装置および方法、プログラム並びに記録媒体
JP5179969B2 (ja) 2008-01-11 2013-04-10 株式会社ニコンシステム コンテンツ評価装置
JP4846071B2 (ja) 2010-02-10 2011-12-28 パナソニック株式会社 画像評価装置、画像評価方法、プログラム、集積回路
JP5440394B2 (ja) * 2010-05-31 2014-03-12 ソニー株式会社 評価予測装置、評価予測方法、及びプログラム
JP5454357B2 (ja) * 2010-05-31 2014-03-26 ソニー株式会社 情報処理装置および方法、並びに、プログラム
US8929669B2 (en) * 2010-06-23 2015-01-06 Panasonic Intellectual Property Corporation Of America Image evaluation apparatus that calculates an importance degree of each of a plurality of images
JP5908849B2 (ja) * 2011-02-17 2016-04-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像評価装置、画像評価方法、プログラム、集積回路
US8606776B2 (en) * 2011-02-18 2013-12-10 Google Inc. Affinity based ranked for search and display
US8832080B2 (en) * 2011-05-25 2014-09-09 Hewlett-Packard Development Company, L.P. System and method for determining dynamic relations from images
JP5995520B2 (ja) * 2011-06-14 2016-09-21 キヤノン株式会社 画像に関する処理支援システム、情報処理装置、及び画像に関する処理影支援方法
US8861804B1 (en) * 2012-06-15 2014-10-14 Shutterfly, Inc. Assisted photo-tagging with facial recognition models

Also Published As

Publication number Publication date
JPWO2013179558A1 (ja) 2016-01-18
WO2013179558A1 (ja) 2013-12-05
CN103620648A (zh) 2014-03-05
US9177201B2 (en) 2015-11-03
CN103620648B (zh) 2018-02-02
US20140126826A1 (en) 2014-05-08

Similar Documents

Publication Publication Date Title
JP6041217B2 (ja) 画像評価装置、画像評価方法、プログラム、集積回路
JP5727476B2 (ja) 画像評価装置、画像評価方法、プログラム、集積回路
US8660378B2 (en) Image evaluating device for calculating an importance degree of an object and an image, and an image evaluating method, program, and integrated circuit for performing the same
Prabhu et al. Few-shot learning for dermatological disease diagnosis
US8712157B2 (en) Image quality assessment
Demir et al. Learning the topological properties of brain tumors
JP6029041B2 (ja) 顔印象度推定方法、装置、及びプログラム
Zhang et al. Pairwise sparsity preserving embedding for unsupervised subspace learning and classification
Attallah et al. Histo-CADx: duo cascaded fusion stages for breast cancer diagnosis from histopathological images
Hii et al. Multigap: Multi-pooled inception network with text augmentation for aesthetic prediction of photographs
JP6767342B2 (ja) 検索装置、検索方法および検索プログラム
JP2014093058A (ja) 画像管理装置、画像管理方法、プログラム及び集積回路
Kaur et al. Combining weakly and webly supervised learning for classifying food images
Shilaskar et al. Diagnosis system for imbalanced multi-minority medical dataset
KR101924200B1 (ko) 감성 기반의 이미지 선택 장치 및 방법
Zhou et al. Kernel-based semantic hashing for gait retrieval
Moustakidis et al. Feature selection based on a fuzzy complementary criterion: application to gait recognition using ground reaction forces
Doquire et al. Graph laplacian for semi-supervised feature selection in regression problems
US20170293863A1 (en) Data analysis system, and control method, program, and recording medium therefor
JP6144314B2 (ja) データ分類システム，方法，プログラムおよびその記録媒体
Alzawali et al. Facial Emotion Images Recognition Based On Binarized Genetic Algorithm-Random Forest
Cao et al. Dynamic ensemble pruning selection using meta-learning for multi-sensor based activity recognition
Ben Ismail et al. Endoscopy video summarisation using novel relational motion histogram descriptor and semi-supervised clustering
Zhou et al. RWMF: A Real-World Multimodal Foodlog Database
Afra Intelligent Data Analysis for Early Warning: From Multiple Sources to Multiple Perspectives

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161027

R151 Written notification of patent or utility model registration

Ref document number: 6041217

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees