JP2013003635A - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2013003635A
JP2013003635A JP2011131015A JP2011131015A JP2013003635A JP 2013003635 A JP2013003635 A JP 2013003635A JP 2011131015 A JP2011131015 A JP 2011131015A JP 2011131015 A JP2011131015 A JP 2011131015A JP 2013003635 A JP2013003635 A JP 2013003635A
Authority
JP
Japan
Prior art keywords
person
correlation
information
time
data group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011131015A
Other languages
English (en)
Other versions
JP2013003635A5 (ja
Inventor
Takamasa Sato
崇正 佐藤
Susumu Nagano
晋 長野
Kazuhiro Nakagome
一浩 中込
Yorimitsu Naito
頼光 内藤
Noriyuki Ochi
敬之 越智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011131015A priority Critical patent/JP2013003635A/ja
Priority to US13/485,289 priority patent/US20120313964A1/en
Priority to CN2012101857662A priority patent/CN102855552A/zh
Publication of JP2013003635A publication Critical patent/JP2013003635A/ja
Publication of JP2013003635A5 publication Critical patent/JP2013003635A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/30Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】人物間の相関関係及び関係性の強さの時間変化を容易に把握することが可能な相関関係図を生成すること。
【解決手段】
本開示によれば、時刻に関する情報を含むデータの集合であるデータ群に基づき算出された人物間の関係性を示した関係性情報及び人物間の親密度を示した親密度情報を利用して、データ群における任意の人物1人を基準人物とし、基準人物と関係のある関連人物と基準人物との間の相関関係とその時間変化を可視化した相関関係図を生成する相関関係可視化部を備え、相関関係可視化部は、データ群の中から関係性情報に基づいて1又は複数の関連人物を抽出するとともに、時系列の各時点において、基準人物を表すノードと関連人物を表すノードそれぞれとの間の離隔距離が親密度情報に応じて決定され、時系列での隣り合う時点間における同一人物の相関関係を考慮して関連人物を表すノードの配置を決定する情報処理装置が提供される。
【選択図】図1

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
社会的なネットワークをインターネット上で構築するサービスとして、ソーシャルネットワーキングサービス(Social Networking Service:SNS)が提唱され、利用されるようになってきた。SNSは、人と人とのコミュニケーションを主目的とし、友人・知人間のコミュニケーションを促進したり、直接的な関係を有しない他人との繋がりを通じて新たな人間関係を構築したりするための情報交流の場を提供するものである。
このようなSNSにおいて、SNSに登録されているユーザ間の関係を抽出し可視化するソーシャルグラフが、一般的に知られている。しかしながら、かかるソーシャルグラフは、特定の瞬間での関係(例えば、最新の関係)のみを表示することしかできない。
また、以下に示す特許文献1では、SNSの運用状況を把握するために、複数の時点におけるソーシャルグラフを生成し、これらソーシャルグラフの変化点の抽出やグラフの規模の変化を抽出する技術について開示されている。
特開2009−282574号公報
Peter Eades,"A heuristic for graph drawing",Congressus Numerantium,1984,42,p.149−160. G.Di Battista,P.Eades,R.Tamassia,I.G.Tolis,"Algorithms for Drawing Graphs:an Annotated Bibliography",Computational Geometry:Theory and Applications,1994,4,p.235−282.
しかしながら、上記特許文献1に記載の技術は、SNSの運用状況を把握するためのものであって、ソーシャルグラフの要素である登録ユーザ個々の関係の変化を把握することができない。
そこで、本開示では、人物間の相関関係及びかかる関係性の強さについて、これらの時間変化を容易に把握することが可能な相関関係図を生成する情報処理装置、情報処理方法及びプログラムを提案する。
本開示によれば、時刻に関する情報を含むデータの集合であるデータ群に基づき算出された、データ群の時系列の各時点におけるデータ群に関連する人物間の関係性を示した関係性情報及び前記データ群に関連する人物間の親密度を示した親密度情報を利用して、前記データ群における任意の人物1人を基準人物とし、前記基準人物とは異なり当該基準人物と関係のある関連人物と前記基準人物との間の相関関係及び当該相関関係の時間変化を可視化した相関関係図を生成する相関関係可視化部を備え、前記相関関係可視化部は、前記データ群の中から前記関係性情報に基づいて1又は複数の前記関連人物を抽出するとともに、時系列の各時点において、前記基準人物を表すノードと前記関連人物を表すノードそれぞれとの間の離隔距離を前記親密度情報に応じて決定し、時系列での隣り合う時点間における同一人物の相関関係を考慮して、前記関連人物を表すノードの配置位置を決定する情報処理装置が提供される。
また、本開示によれば、時刻に関する情報を含むデータの集合であるデータ群に基づき算出された、データ群の時系列の各時点におけるデータ群に関連する人物間の関係性を示した関係性情報及び前記データ群に関連する人物間の親密度を示した親密度情報を利用して、前記データ群における任意の人物1人を基準人物とし、前記基準人物とは異なり当該基準人物と関係のある関連人物と前記基準人物との間の相関関係及び当該相関関係の時間変化を可視化した相関関係図を生成することを含み、前記相関関係図を生成する際には、前記データ群の中から前記関係性情報に基づいて1又は複数の前記関連人物が抽出されるとともに、時系列の各時点において、前記基準人物を表すノードと前記関連人物を表すノードそれぞれとの間の離隔距離が前記親密度情報に応じて決定され、時系列での隣り合う時点間における同一人物の相関関係を考慮して、前記関連人物を表すノードの配置が決定される情報処理方法が提供される。
また、本開示によれば、コンピュータに、時刻に関する情報を含むデータの集合であるデータ群に基づき算出された、データ群の時系列の各時点におけるデータ群に関連する人物間の関係性を示した関係性情報及び前記データ群に関連する人物間の親密度を示した親密度情報を利用して、前記データ群における任意の人物1人を基準人物とし、前記基準人物とは異なり当該基準人物と関係のある関連人物と前記基準人物との間の相関関係及び当該相関関係の時間変化を可視化した相関関係図を生成する相関関係可視化機能を実現させ、前記相関関係可視化機能は、前記データ群の中から前記関係性情報に基づいて1又は複数の前記関連人物を抽出するとともに、時系列の各時点において、前記基準人物を表すノードと前記関連人物を表すノードそれぞれとの間の離隔距離を前記親密度情報に応じて決定し、時系列での隣り合う時点間における同一人物の相関関係を考慮して、前記関連人物を表すノードの配置を決定する、プログラムが提供される。
本開示によれば、相関関係可視化部は、時刻に関する情報を含むデータの集合であるデータ群に基づき算出された、データ群の時系列の各時点におけるデータ群に関連する人物間の関係性を示した関係性情報及びデータ群に関連する人物間の親密度を示した親密度情報を利用して、データ群における任意の人物1人を基準人物とし、基準人物とは異なり当該基準人物と関係のある関連人物と基準人物との間の相関関係及び当該相関関係の時間変化を可視化した相関関係図を生成する。この際、相関関係可視化部は、データ群の中から関係性情報に基づいて1又は複数の関連人物を抽出するとともに、時系列の各時点において、基準人物を表すノードと関連人物を表すノードそれぞれとの間の離隔距離を親密度情報に応じて決定し、時系列での隣り合う時点間における同一人物の相関関係を考慮して、関連人物を表すノードの配置を決定する。
以上説明したように本開示によれば、人物間の相関関係及びかかる関係性の強さについて、これらの時間変化を容易に把握することが可能な相関関係図を生成することができる。
本開示の第1の実施形態に係る情報処理装置の構成を示したブロック図である。 同実施形態に係る相関関係図の一例を示した説明図である。 同実施形態に係る相関関係図の一例を示した説明図である。 同実施形態に係る相関関係図の生成処理について説明するための説明図である。 同実施形態に係る相関関係図の生成処理について説明するための説明図である。 同実施形態に係る相関関係図の生成処理について説明するための説明図である。 同実施形態に係る相関関係図の生成処理について説明するための説明図である。 同実施形態に係る相関関係図の生成処理について説明するための説明図である。 同実施形態に係る関係性情報生成部について示したブロック図である。 同実施形態に係る新密度の算出方法の一例を示した説明図である。 同実施形態に係る新密度の算出方法の一例を示した説明図である。 同実施形態に係る情報処理方法の流れの一例を示した流れ図である。 本開示の実施形態に係る情報処理装置のハードウェア構成を示したブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は、以下の順序で行うものとする。
(1)第1の実施形態
(1−1)情報処理装置の構成について
(1−2)情報処理方法の流れについて
(1−3)第1変形例
(2)本開示の実施形態に係る情報処理装置のハードウェア構成について
(第1の実施形態)
<情報処理装置の構成について>
まず、図1を参照しながら、本開示の第1の実施形態に係る情報処理装置の構成について説明する。図1は、本実施形態に係る情報処理装置の構成を示したブロック図である。
本実施形態に係る情報処理装置は、時刻に関する情報を含むデータの集合(以下、データ群とも称する。)に基づいて算出された関係性情報及び親密度情報を利用して、データ群に関係している任意の人物と、この人物と関係のある他の人物との間の相関関係、及び、かかる相関関係の時間変化と、を可視化した相関関係図を生成する。そのうえで、本実施形態に係る情報処理装置は、生成した相関関係図を、情報処理装置が備えるディスプレイ等の表示装置や、情報処理装置の外部に設けられた各種機器の表示装置等に表示させて、ユーザに提供する。
ここで、本実施形態で着目する「時刻に関する情報を含むデータ」としては、例えば、画像の生成時刻に関するメタデータが関連付けられた静止画や動画等の画像データ、データ生成時刻(又はデータ送信時刻等)が特定可能な、メール、ブログ、Twitter、携帯電話やメール等の履歴情報といったテキストデータ、スケジュール管理アプリケーションにより生成されたスケジュールデータ等を挙げることができる。これらのデータは、データ自体又はデータに関連付けられたメタデータ等に時刻に関する情報を含んでおり、時刻に関する情報に着目してこれらのデータの相対的な位置関係を特定することにより、これらのデータにおける時系列を特定することができる。また、これらのデータは、当該データを解析することによって、ある人物とある人物との間の関係性(例えば、友人、家族、恋人・・・等)を特定可能な情報源となるものである。また、「時刻に関する情報を含むデータ」として、SNSから得られる各種のデータそのものを利用することも可能である。
このようなデータを利用して生成される関係性情報とは、着目するデータ群の時系列の各時点において、データ群に関連する人物間の関係性を示した情報である。この関係性情報には、例えば、ある人物とある人物とは友人である、ある人物とある人物とは家族(親子)である、ある人物とある人物は恋人同士である、等といった情報がデータベースの形式で格納されている。
また、上述のようなデータを利用して算出される親密度情報は、あるユーザとあるユーザとの間の親密さの度合いを示した情報であり、例えば、親密さの度合いを示す値や、親密さの度合いをレベル評価した際の該当レベル等といった情報が記載されている。このような親密度情報は、例えば、人物Aからみた人物Bの親密度と、人物Bからみた人物Aの親密度とは同じであるとして算出されたものであってもよいし、人物Aからみた人物Bの親密度と、人物Bからみた人物Aの親密度とが異なる値となってもよいものとして算出されたものであってもよい。
以上のような時刻に関する情報を含むデータは、以下で説明する情報処理装置が保持及び管理していてもよいし、インターネット等の各種ネットワーク上に存在する各種サーバに格納されていてもよい。また、上記関係性情報や親密度情報は、以下で説明する情報処理装置によって生成/算出されてもよいし、インターネット等の各種ネットワーク上に存在する各種サーバ等により生成/算出されたものを利用するようにしてもよい。
なお、以下では、時刻に関する情報を含むデータとして、データ生成時刻に関する情報が関連付けられた画像データを利用する場合を例にとって説明を行うものとする。また、以下の例では、本実施形態に係る情報処理装置が上記関係性情報及び親密度情報の生成/算出機能を有している場合について説明するが、かかる例に限定されるわけではない。
本実施形態に係る情報処理装置10は、図1に例示したように、ユーザ操作情報生成部101と、相関関係可視化部103と、関係性情報生成部105と、親密度情報算出部107と、表示制御部109と、記憶部111と、を主に備える。
ユーザ操作情報生成部101は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、入力装置等により実現される。ユーザ操作情報生成部101は、ユーザが、情報処理装置10が備えるキーボード、マウス、各種ボタン、タッチパネル等の入力装置を利用して行った操作(ユーザ操作)を表すユーザ操作情報を生成する。ユーザ操作情報生成部101は、ユーザ操作を表すユーザ操作情報を生成すると、生成したユーザ操作情報を、後述する相関関係可視化部103及び表示制御部109へと出力する。
相関関係可視化部103は、例えば、CPU、ROM、RAM等により実現される。相関関係可視化部103は、時刻に関する情報を含むデータの集合であるデータ群に基づき算出された関係性情報及び親密度情報を利用して、かかるデータ群における任意の人物1人を基準人物とし、基準人物とは異なり当該基準人物と関係のある関連人物と基準人物との間の相関関係及び当該相関関係の時間変化を可視化した相関関係図を生成する。この際、相関関係可視化部103は、データ群の中から関係性情報に基づいて1又は複数の関連人物を抽出するとともに、時系列の各時点において、基準人物を表すノードと関連人物を表すノードそれぞれとの間の離隔距離を、親密度情報に応じて決定する。そのうえで、相関関係可視化部103は、時系列での隣り合う時点間における同一人物の相関関係を考慮して、関連人物を表すノードの配置位置を決定する。
以下では、図2A〜図6Bを参照しながら、本実施形態に係る相関関係可視化部103の実施する相関関係の可視化処理(換言すれば、相関関係図の生成処理)について、具体的に説明する。ここで、図2A及び図2Bは、本実施形態に係る相関関係図の一例を示した説明図である。また、図3〜図6Bは、本実施形態に係る相関関係図の生成処理について説明するための説明図である。
図2Aは、本実施形態に係る相関関係図の一例を示した説明図である。図2Aに示したように、本実施形態に係る相関関係図は、ユーザ操作等により指定された基準となる人物(以下、基準人物とも称する。)に着目し、かかる基準人物と関係のある人物(以下、関連人物とも称する。)を抽出することで生成される。より詳細には、本実施形態に係る相関関係図は、時系列の各時点における基準人物を表すオブジェクト(基準人物オブジェクト)201と、それぞれの関連人物を表すオブジェクト(関連人物オブジェクト)203とが所定の長さの線分で連結された相関関係平面図が、基準人物を基準として時系列に沿って積層された3次元構造を有するものである。なお、図2Aに示した例では、図の下方から上方に向かって時間軸が進行するように図示しているが、図の上方から下方に向かって時間軸が進行するように図示を行ってもよいことは言うまでもない。
ここで、基準人物オブジェクト201や関連人物オブジェクト203として、該当する人物のサムネイル画像等の画像データを利用してもよく、該当する人物のイラスト等を利用してもよく、該当する人物を表したテキストデータを利用してもよい。また、基準人物オブジェクト201及び関連人物オブジェクト203として画像データを利用する場合には、時系列において着目している時点において最も適した画像データ(例えば、着目時点に最も近い日時に生成された画像データ)から切り出した画像を利用することが好ましい。これにより、時系列の推移に従って表示される人物の画像も変化することとなり、ユーザの直感的な理解を補助することが可能となる。
また、図2Bに例示したように、各時点間の同一人物を連結する補助線があわせて表示されてもよい。このような補助線があわせて表示されることにより、ユーザは、基準人物オブジェクトに対する関連人物オブジェクトの相対的位置が時間の経過によりどのように推移したか(換言すれば、基準人物と関連人物との相関関係がどのように推移したか)を容易に把握することが可能となる。
このような相関関係図を生成するために、相関関係可視化部103は、まず、図3に例示したような時系列の各時点における相関関係平面図を生成する。
相関関係可視化部103は、ユーザ操作情報生成部101から、相関関係図の生成開始を要請するユーザ操作情報が出力されると、後述する表示制御部109等を介して表示画面に基準人物を誰にするかを問い合わせるメッセージを表示させて、ユーザに基準人物を誰にするかを指定させる。ユーザ操作情報生成部101から基準人物に関するユーザ操作情報が出力されると、得られた基準人物に関する情報に基づいて、後述する関係性情報生成部105に対して、時刻tにおける関係性情報の生成を要請するとともに、後述する親密度情報算出部107に、時刻tにおける親密度情報の算出を要請する。
相関関係可視化部103は、時刻tにおける関係性情報及び親密度情報を取得すると、関係性情報を参照して、基準人物と関係のある人物(すなわち、関連人物)が誰であるかを特定する。相関関係可視化部103は、特定した関連人物に対応するオブジェクト203を、相関関係平面図におけるノードとして利用する。図3に示した例では、基準人物が人物Aと設定されており、相関関係可視化部103は、関連性情報を参照して、時刻tにおける関連人物として、人物B〜人物Fの5人を特定している。
次に、相関関係可視化部103は、時刻tにおける親密度情報を参照して、基準人物とそれぞれの関連人物との親密度の大きさを特定する。そのうえで、相関関係可視化部103は、特定した親密度の大きさに応じて、基準人物オブジェクト201と関連人物オブジェクト203とを結ぶ線分(エッジ)205の長さを決定する。ここで、相関関係可視化部103は、親密度が高いほどエッジ205の長さが短くなるようにしてもよく、逆に、親密度が高いほどエッジ205の長さが長くなるようにしてもよい。図3に示した例では、相関関係可視化部103は、親密度情報に記載されている親密度を正規化した長さを、エッジ205の長さとしている。
相関関係可視化部103は、相関関係平面図を生成するために利用される関連人物を選択し、かつ、選択した関連人物に関してエッジ205の長さを決定すると、各関連人物オブジェクト203を平面内にどのように配置するかを決定する。関連人物オブジェクト203の配置を決定する方法としては、公知のあらゆるグラフ描画方法を利用することが可能であるが、相関関係可視化部103は、例えば非特許文献1に記載されているバネモデルを利用した方法に則して、関連人物オブジェクト203の配置位置を決定することが可能である。
非特許文献1に記載されているバネモデルを利用した方法は、ノード(本実施形態では、基準人物オブジェクト201及び関連人物オブジェクト203)を質点とみなし、エッジを所定の長さ(本実施形態では、親密度を正規化した長さ)のバネであるとみなして、系全体のエネルギーが最も低くなるように各ノードの配置を決定する方法である。従って、図3に示した時刻tにおける例では、6つの質点及び5本のバネからなる物理モデルを考え、系全体のエネルギーを与える式が最小値となるように、5つの質点(関連人物オブジェクト203に対応する質点)の位置が決定されることとなる。
相関関係可視化部103は、時刻tにおける相関関係平面図を生成すると、同様にして時刻(t+1)における相関関係平面図を生成する。この際、相関関係可視化部103は、時系列での隣り合う時点間における同一人物の相関関係を考慮して、同一人物のオブジェクトの位置が近づくように、オブジェクトの配置を決定する際の条件を調整する。例えば上記バネモデルを利用してオブジェクトの配置を決定する場合には、相関関係可視化部103は、該当する同一人物のオブジェクトが同じ位置に存在するように設定するのではなく、直前の時間におけるオブジェクトの位置に近づくように質点に力を作用させる。
例えば図4に示したように、人物Aが基準人物となり、時刻tにおいて人物B〜人物Dが関連人物となって、相関関係平面図が生成されたものとする。相関関係可視化部103は、時刻(t+1)における相関関係平面図を生成する際、直前の時間である時刻tにおける各関連人物オブジェクトの位置にオブジェクトが近づくように、質点に対して力を作用させる。すなわち、図4における時刻(t+1)の時点において、人物Bの初期位置が線AB’で表され、時刻tにおける人物Bの位置が線ABで表されるとすると、相関関係可視化部103は、人物Bに対応する質点に、線AB’から線ABに向かう向きに力FDが作用しているものとして、配置を決定する演算を行う。また、相関関係可視化部103は、人物C及び人物Dについても、同様にして力を作用させて、各関連人物オブジェクトの配置を決定する。
また、図3及び図4に示したように、時刻tにおいては関連人物として選択されていなかった人物が、時刻(t+1)においては関連人物として選択される場合も生じうる。このような場合、相関関係可視化部103は、新たに選択された関連人物に対応するオブジェクト203を、任意の場所に初期配置することが可能であるが、例えば、新たに選択された関連人物と既存の関連人物との人間関係や親密度、新たに選択された関連人物と既存の関連人物と基準人物とが同じデータ内に存在している確率(共起確率)等の任意の知見を参考にして、初期位置を決定してもよい。
このような処理を、着目している時間範囲に対して逐次実施することにより、相関関係可視化部103は、図3に示したような相関関係平面図を生成することができる。
なお、関連人物オブジェクト203の配置を決定するための方法は、上記例に限定されるわけではなく、公知のグラフ描画方法を利用することが可能である。このようなグラフ描画方法の例としては、非特許文献2に記載されているような各種の方法を挙げることができる。
また、相関関係可視化部103は、例えば時刻tにおける相関関係平面図を生成する際に、厳密に時刻tに該当している関係性情報及び親密度情報を用いてもよく、時刻tの範囲に幅をもたせて、例えば、t−Δt〜t+Δtの範囲に該当する関係性情報及び親密度情報を時刻tにおける情報として用いて、相関関係平面図を生成してもよい。このように、着目する時刻に幅を持たせることで、人物間の関係性や親密度に関してより多くの知見を活用することが可能となり、より正確な相関関係平面図を生成することが可能となる。
相関関係可視化部103は、図3に示したような相関関係平面図を生成すると、基準人物オブジェクト201が同一直線上に位置するように各相関関係平面図を時間順に積層させて、図2A・図2Bに示したような3次元構造を有する相関関係図を生成する。
なお、相関関係可視化部103は、例えば図5に示したように、関係性情報に基づいて同一のグループに属すると考えられる基準人物オブジェクト及び関連人物オブジェクトにより規定される形状(例えば、図5における領域AR1の形状)を、色を付けるなどのように強調して表示させるようにしてもよい。
また、相関関係可視化部103は、基準人物と関連人物との関連性を表すデータ(例えば、一緒に写っている写真データのサムネイル画像等)を、相関関係平面図上に配置してもよい。例えば図5に示したように、人物Aと人物Eとが一緒に写っている写真データが存在する場合、相関関係可視化部103は、かかる写真のサムネイル画像Sを、人物Aに対応する基準人物オブジェクト201と、人物Eに対応する関連人物オブジェクト203とを結ぶエッジ上に配置してもよい。また、人物A、人物B及び人物Fが一緒に写っている写真データが存在する場合、相関関係可視化部103は、領域AR1内の任意の位置(例えば、領域AR1に対応する三角形の重心位置等)に、サムネイル画像Sを配置してもよい。このように、基準人物と関連人物との関連性を表すデータをあわせて表示させることで、人間関係に関するユーザの直感的な理解を補助することが可能となる。
なお、相関関係可視化部103は、特定の人物間の関係の変化に着目して、人物相関関係の可視化を行ってもよい。かかる場合、相関関係可視化部103は、着目する人物に対応するオブジェクトを強調して表示するとともに、着目する人物のオブジェクトを通り時間軸に平行な平面で、図2Aや図2Bに例示したような3次元構造の相関関係図を切断する。相関関係可視化部103は、切断の結果得られた平面や、得られた平面の集合として規定される立体を、特定の人物間の関係を示した相関関係図として表示させることができる。
図6Aに示した例では、人物A及び人物Fという特定の人物の組み合わせに着目して、相関関係図が表示されている。この場合、人物Aに対応するオブジェクトと、人物Fに対応するオブジェクトの双方を通り時間軸に平行な平面で相関関係図が切断され、図6AにおいてAR2で示した平面が、人物A及び人物Fに着目した相関関係図として表示されている。この際、人物A及び人物F以外のオブジェクトは、表示させてもよく、表示させなくともよい。
このようにして規定された平面AR2に対して、例えば図6Bに示したように、人物Aと人物Fとの間のより詳細な親密度の時間変化を表示させることで、人物Aと人物Fとの間の親密度を、より詳細にユーザに提供することが可能となる。
以上、図2A〜図6Bを参照しながら、本実施形態に係る相関関係可視化部103について、詳細に説明した。
再び図1に戻って、本実施形態に係る関係性情報算出部105について説明する。
関係性情報生成部105は、例えば、CPU、ROM、RAM等により実現される。関係性情報生成部105は、時刻に関する情報を含むデータの集合を利用して、時系列の各時点において、上記データの集合に関連する(例えば、上記データの集合に登場する)人物間の関係性を示した関係性情報を生成する。
ここで、関係性情報生成部105は、例えば時刻tにおける関係性情報を生成するに際して、データ群に関連付けられた時刻情報が厳密に時刻tであるものを用いて関係性情報を生成してもよいし、時刻tの範囲に幅をもたせて、例えば、時刻情報がt−Δt〜t+Δtの範囲に該当するデータ群を用いて、関係性情報を生成してもよい。このように、着目する時刻に幅を持たせることで、人物間の関係性に関してより多くの知見を活用することが可能となり、より正確な関係性情報を生成することが可能となる。
なお、関係性情報生成部105が関係性情報を生成する方法については、特に限定されるわけではなく、例えば、特開2010−16796号公報に開示されているような技術など公知のあらゆる方法を利用することが可能である。以下では、図7を参照しながら、関係性情報生成部105が実施する関係性情報の生成処理の一例を簡単に説明する。
図7は、本実施形態に係る関係性情報生成部105の構成の一例を示したブロック図である。
本実施形態に係る関係性情報生成部105は、図7に例示したように、画像解析部151と、言語認識部153と、特徴量算出部155と、クラスタ処理部157と、関係性情報算出部159と、を更に備える。
画像解析部151は、例えば、CPU、ROM、RAM等により実現される。画像解析部151は、関係性情報を生成する際に利用するデータ群のうち、画像に関するデータを解析して、画像に含まれている顔部分を検出及び認識する。例えば、画像解析部151は、処理対象となる画像から検出された各被写体の顔の位置を、例えば画像内のXY座標値として出力することができる。また、画像解析部151は、検出された顔の大きさ(幅及び高さ)、検出された顔の姿勢を出力してもよい。画像解析部151により抽出された顔領域は、例えば顔領域部分だけを切り出した別途のサムネイル画像ファイルとして保存されてもよい。画像解析部151は、画像に関するデータの解析処理が終了すると、得られた解析結果を後述する特徴量算出部155及びクラスタ処理部157に出力する。
言語認識部153は、例えば、CPU、ROM、RAM等により実現される。言語認識部153は、関係性情報を生成する際に利用されるデータ群のうちテキストデータを含むものに対して言語認識処理を実施し、当該データに記載されている文字の認識をしたり、記載されている内容の把握を行ったりする。言語認識部153は、テキストデータに対する言語認識処理が終了すると、得られた認識結果を後述する特徴量算出部155及びクラスタ処理部157に出力する。
特徴量算出部155は、例えば、CPU、ROM、RAM等により実現される。特徴量算出部155は、画像解析部151によるデータ群の解析結果や、言語認識部153によるデータ群の言語認識結果等を利用して、後述するクラスタ処理部157と連携しながら、着目するデータ群に関連する人物を特徴づける各種の特徴量を算出する。特徴量算出部155は、各種特徴量を算出すると、得られた結果を、後述するクラスタ処理部157及び関係性情報算出部159に出力する。
クラスタ処理部157は、例えば、CPU、ROM、RAM等により実現される。クラスタ処理部157は、特徴量算出部155と連携しながら、画像解析部151による画像解析結果、言語認識部153による言語認識結果、特徴量算出部155により算出された各種特徴量について、クラスタリング処理を実施する。また、クラスタ処理部157は、クラスタリング処理を実施するデータに対して各種の前処理を実施したり、クラスタリング処理により得られた結果に対して各種の後処理を実施したりすることもできる。クラスタ処理部157は、各種データに対するクラスタリング処理を終了すると、得られた結果を、後述する関係性情報算出部159に出力する。
関係性情報算出部159は、例えば、CPU、ROM、RAM等により実現される。関係性情報算出部159は、特徴量算出部155が算出した各種の特徴量や、クラスタ処理部157によるクラスタリング結果等を利用して、着目するデータ群に関連する人物の人間関係を示した関係性情報を算出する。関係性情報算出部159は、かかる情報を利用して、着目するデータ群に関する関係性情報を算出すると、得られた結果を、相関関係可視化部103へと出力する。
続いて、このような処理部を有する関係性情報生成部105により実施される関係性情報の生成処理の具体的な流れについて、画像データ群に対して処理を行う場合を例に挙げながら簡単に説明する。
まず、関係性情報生成部105の画像解析部151は、処理対象とする画像データ群に対して、画像解析処理を実施し、画像データ群に含まれる顔を抽出する。また、画像解析部151は、顔の抽出に伴い、抽出した顔の部分を含むサムネイル画像を生成してもよい。画像解析部151は、画像データ群の解析を終了すると、得られた結果を、特徴量算出部155及びクラスタ処理部157に出力する。
特徴量算出部155は、画像解析部151によって抽出された顔の画像を利用して、顔画像の顔特徴量や類似度を算出したり、対応する人物の年齢や性別を推定したりする。また、クラスタ処理部157は、特徴量算出部155により算出された類似度に基づいて、抽出された顔を分類する顔クラスタリング処理を実施したり、画像を時間クラスタに分類する画像時間クラスタリング処理を実施したりする。
次に、クラスタ処理部157は、顔クラスタのエラー除去処理を実施する。このエラー除去処理は、特徴量算出部155により算出された顔特徴量を用いて行われる。顔の属性値を示す顔特徴量が大きく異なる顔画像は、異なる人物の顔画像である可能性が高い。このため、クラスタ処理部157は、顔クラスタリングにより分類された顔クラスタの中に、顔特徴量が大きく異なる顔画像が含まれている場合に、かかる顔画像を除外するエラー除去処理を実施する。
次に、特徴量算出部155は、エラー除去処理が行われた後の顔クラスタを利用して、顔クラスタ毎の顔特徴量を算出する。エラー除去後の顔クラスタに含まれる顔画像は、同一人物である可能性が高い。そこで、特徴量算出部155は、先だって算出した顔画像毎の顔特徴量を用いて、顔クラスタ毎の顔特徴量を算出することができる。この際算出される顔クラスタ毎の顔特徴量は、例えば、顔クラスタに含まれる顔画像それぞれの顔特徴量の平均値であってよい。
次に、クラスタ処理部157は、時間クラスタ別に人物算出処理を実施する。ここで時間クラスタは、例えば画像の撮影された日時などに基づき、イベント単位にクラスタリングされたまとまりを指す。このようなイベントとして、例えば、「運動会」、「旅行」、「パーティー」等を挙げることができる。このようなイベントにおいて撮影された画像には、同じ人物、同じグループが繰返し登場する可能性が高い。また、イベントは、時間に基づいてクラスタリングされたまとまりであるため、時間クラスタ毎に同一人物を特定する人物算出処理を行うことで、人物算出の精度を向上させることができる。具体的には、クラスタ処理部157は、顔クラスタ毎の顔特徴量を用いることによって、顔クラスタの統合処理を行うことができる。クラスタ処理部157は、顔特徴量が近く、かつ、同一の画像に登場しない顔クラスタを、一人の人物とみなして統合することができる。
そして、クラスタ処理部157は、時間クラスタ別に人物グループ算出処理を実施する。同一のイベントに分類された画像には、同じグループが繰返し登場する可能性が高い。そのため、クラスタ処理部157は、時間クラスタ毎に算出された人物の情報を用いて、登場した人物をグループに分類する。これにより、時間クラスタ毎に算出された人物グループは、精度が高いものとなる可能性が高い。
次に、クラスタ処理部157は、時間クラスタ別に人物・人物グループ算出処理を実施する。この時間クラスタ別の人物・人物グループ算出処理は、例えば人物情報と人物グループ情報とを合わせて用いることにより、それぞれの算出精度を向上させる処理である。クラスタ処理部157は、例えば、人物グループに含まれる顔クラスタ群の構成(人数、男女比、年齢比等)から、グループ同士の統合とそれに伴う人物の再統合などを実施することができる。
また、上述の処理により、時間クラスタ毎に人物情報と人物グループ情報とが生成されると、クラスタ処理部157は、人物や人物グループの統合処理を実施する。クラスタ処理部157は、かかる人物・人物グループの統合処理において、時間クラスタに跨って人物及び人物グループを特定することができる。このとき、クラスタ処理部157は、画像の撮影日時と顔クラスタ毎の顔特徴量とに基づいて算出される推定誕生年を用いることで、さらに人物及び人物グループの特定精度を向上させることができる。この人物・人物グループ統合処理によれば、時間クラスタ毎に特定されたグループを統合するため、時間経過によるグループ構成の変遷に関する情報を得ることができる。
次に、関係性情報算出部159は、人物・人物グループ統合処理により得られた人物情報及び人物グループ情報を用いて、人物間の関係性情報の算出処理を実施する。関係性情報算出部159は、例えば人物グループの構成からグループ種別を判別し、関係性情報算出部159は、グループ内の各人物の属性値に基づいて人間関係を算出する。この際用いられる人物の属性値としては、例えば、性別・年齢等を挙げることができる。
以上、図7を参照しながら、本実施形態に係る関係性情報生成部105により実施される関係性情報の生成処理の流れの一例を簡単に説明した。
再び図1に戻って、本実施形態に係る親密度情報算出部107について説明する。
親密度情報算出部107は、例えば、CPU、ROM、RAM等により実現される。親密度情報算出部107は、時刻に関する情報を含むデータの集合を利用して、時系列の各時点において、上記データの集合に関連する(例えば、上記データの集合に登場する)人物間の親密さの度合いを示した親密度情報を算出する。
ここで、親密度情報算出部107は、例えば時刻tにおける親密度情報を算出するに際して、データ群に関連付けられた時刻情報が厳密に時刻tであるものを用いて親密度情報を算出してもよいし、時刻tの範囲に幅をもたせて、例えば、時刻情報がt−Δt〜t+Δtの範囲に該当するデータ群を用いて、親密度情報を算出してもよい。このように、着目する時刻に幅を持たせることで、人物間の親密さに関してより多くの知見を活用することが可能となり、より正確な親密度情報を生成することが可能となる。
なお、親密度情報算出部107が親密度情報を生成する方法については、特に限定されるわけではなく、例えば、特開2010−16796号公報に開示されているような技術など公知のあらゆる方法を利用することが可能である。以下では、図8及び図9を参照しながら、親密度情報算出部107が実施する親密度情報の算出処理の一例を簡単に説明する。
図8は、人物Aから見た人物Bの親密度を算出する例について図示している。図8では、画像データ群に対して処理を行う場合について、6つの観点から人物Aから見た人物Bの親密度を算出し、正規化された親密度を足し合わせることにより、人物Aから見た人物Bの親密度情報としている。この親密度情報は、所定期間毎に算出される。
親密度情報算出部107は、後述する記憶部111に格納されているデータ群や、関係性情報生成部105によるデータ解析等により生成された関連性情報等を含む人物に関する人物情報を用いて、画像中の人物Bの登場頻度を正規化した値を「親密度1」として取り扱う。同じ場所に複数の人物がいるときに、人物間の親密度が高いほど写真や動画などのコンテンツの被写体として映る可能性は高い。このため、親密度1は、例えば算出期間である所定期間に生成されたコンテンツの総数のうち人物Bが被写体として含まれている割合が高いほど大きい値となる。
また、親密度情報算出部107は、上記のような人物情報を用いて、人物Aと人物Bとが同一コンテンツに登場する頻度を正規化した値を「親密度2」として取り扱う。同じ場所に複数の人物がいるとき、人物間の親密度が高いほど一緒に写真や動画に映る可能性は高いと考えられる。このため、親密度2は、例えば親密度の算出期間である所定期間に生成されたコンテンツの総数のうち、人物Aと人物Bとが同じコンテンツ内に被写体として含まれている割合が高いほど大きい値となる。
また、親密度情報算出部107は、上記のような人物情報を用いて、人物Aと人物Bとの笑顔度及び顔の向きに基づいた「親密度3」を算出する。人物Aと人物Bとの親密度が高いほど、一緒にいるときの笑顔度は高くなると考えられる。このため、かかる親密度3は、人物Aと人物Bとの笑顔度が高いほど大きい値となる。また、人物Aと人物Bとの親密度が高いほど、一緒にいるときに顔が向き合っている確率は高くなると考えられる。このため、親密度3は、人物Aと人物Bとの顔が向き合っている確率が高いほど大きい値となる。
なお、笑顔度や顔が向き合っている確率等を算出する方法については、特開2010−16796号公報に開示されているような技術など、公知のあらゆる方法を利用することが可能である。
また、親密度情報算出部107は、上記のような人物情報を用いて、画像中における人物Aと人物Bとの距離に基づいた「親密度4」を算出する。人はそれぞれパーソナルスペースを持っている。このパーソナルスペースは、コミュニケーションをとる相手との物理的な距離である。この距離は、人によって異なるが、相手との関係が親しいほど、つまり親密度が高いほど近いという性質を有している。従って、親密度4は、画像中における人物Aと人物Bとの物理的距離が近いほど大きい値となる。
また、親密度情報算出部107は、後述する記憶部111に格納された各種データ(特に、メール、ブログ、スケジュール、通話履歴・着信履歴等の履歴情報など)を用いて、所定期間における人物Aと人物Bとの間のコンタクト回数に基づいた「親密度5」を算出する。例えばこのコンタクト回数は、人物Aと人物Bとの間で送受信されたメールや通話の回数、人物Aのブログにおける人物Bの登場回数、人物Aのスケジュールにおける人物Bの登場回数等を加算した値とすることができる。
また、親密度情報算出部107は、人物Aと人物Bとの間の関係に基づいた「親密度5」を算出する。この親密度5は、例えば関係性情報生成部105により生成された関係性情報等を用いて算出することができる。親密度情報算出部107は、関係性情報を参照することにより、人物Aと人物Bとの関係を特定することができる。例えば人物Aと人物Bとの関係が配偶者であるという情報を取得すると、親密度情報算出部107は、図9に示したような親密度変換テーブルを参照する。親密度変換テーブルは、例えば人物間の関係と親密度加算度合いとの対応関係を示す情報である。上述のように人物Aと人物Bとの間の関係が配偶者である場合には、この親密度変換テーブルによれば親密度の加算度合いが大である。ここでは、親密度の加算度合いは大中小で示されたが、具体的な数値であってもよい。親密度情報算出部107は、この親密度加算度合いに基づいて、親密度加算が大きいほど親密度5の値を大きく設定する。
そして、親密度情報算出部107は、これらの正規化された親密度1〜親密度6を加算することにより親密度情報を生成する。なお、親密度情報算出部107は、これらの親密度1〜親密度6の値に重み付けを行って加算してもよい。また、上記親密度1〜親密度6のうち算出できないものが存在する場合には、該当する親密度の値がゼロであるとして取り扱えばよい。
以上、図8及び図9を参照しながら、本実施形態に係る親密度情報算出部107で実施される親密度情報の算出処理の一例について、簡単に説明した。
再び図1に戻って、本実施形態に係る表示制御部109について説明する。
表示制御部109は、例えば、CPU、ROM、RAM、通信装置、出力装置等により実現される。表示制御部109は、情報処理装置10が備えるディスプレイ等の表示装置や、情報処理装置10の外部に設けられたディスプレイ等の表示装置における表示画面の表示制御を行う。この表示制御部109は、ユーザ操作情報生成部101から通知されたユーザ操作情報や、相関関係可視化部103から通知された相関関係図に関する情報等に基づいて、表示画面の表示制御を実施する。
記憶部111は、本実施形態に係る情報処理装置10が備えるストレージ装置の一例である。記憶部111には、情報処理装置10が有する各種のデータ、及び、かかるデータに対応付けられたメタデータ等が格納されていてもよい。また、記憶部111には、関係性情報生成部105、親密度情報算出部107により生成された各種の情報に対応するデータや外部の情報処理装置によって生成された各種のデータが格納されてもよい。また、記憶部111には、相関関係可視化部103や表示制御部109が、各種の情報を表示画面に表示するために利用する各種のアプリケーションに対応する実行データが格納されてもよい。また、この記憶部111には、情報処理装置10が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、又は、各種のデータベース等が適宜格納される。この記憶部111は、本実施形態に係る情報処理装置10が備える各処理部が、自由に読み書きを行うことが可能である。
なお、上記ユーザ操作情報生成部101、相関関係可視化部103、関係性情報生成部105、親密度情報算出部107、表示制御部109及び記憶部111の機能は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実施される処理が、1つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。
以上、本実施形態に係る情報処理装置10の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
<情報処理方法の流れについて>
続いて、図10を参照しながら、本実施形態に係る情報処理装置で実施される情報処理方法について、その流れを説明する。図10は、本実施形態に係る情報処理方法の流れの一例を示した流れ図である。
まず、情報処理装置10の相関関係可視化部103は、ユーザ操作情報生成部101から出力されたユーザ操作情報等を参照して、相関関係図を生成するにあたっての基準とする人物(基準人物)を設定する(ステップS101)。その後、相関関係可視化部103は、基準人物に関する情報とともに、着目する時間帯の各時刻について、関係性情報の生成及び親密度情報の算出を、関係性情報生成部105及び親密度情報算出部107に要請する。
相関関係可視化部103は、関係性情報生成部105により生成された関係性情報及び親密度情報算出部107により算出された親密度情報を取得すると(ステップS103)、取得したこれらの情報を利用して、隣り合う時刻間でのオブジェクトの配置条件を調整し(ステップS105)、各種方法に則してオブジェクトの配置を決定する(ステップS107)。
続いて、相関関係可視化部103は、記憶部111等に格納されているデータ群から、相関関係図に併せて表示するデータ群を抽出し、対応するデータ群の相関関係図における配置箇所を設定する(ステップS109)。その上で、相関関係可視化部103は、生成した相関関係図を、表示制御部109を介して表示画面に表示させる(ステップS111)。これにより、情報処理装置10の表示画面等に、生成された相関関係図が表示されることとなる。
このような流れで処理が実施されることにより、情報処理装置10の表示画面、又は、情報処理装置10と通信可能な機器の表示画面に相関関係図が表示され、ユーザは、着目した人物の人間関係とその時間変化を、容易に把握することが可能となる。
<第1変形例>
以上説明した本開示の第1の実施形態では、基準人物を表すノードである基準人物オブジェクトと、関連人物を表すノードである関連人物オブジェクトとが、親密度情報に応じた長さを有する線分により連結される場合を例に挙げて説明を行った。しかしながら、基準人物オブジェクトと関連人物オブジェクトとの間の離隔距離が親密度情報に応じた長さとなっていれば、これらノード間は線分により連結されていなくともよい。
また、基準人物と関連人物との間の親密度を対応するオブジェクト間の離隔距離で表すのではなく、例えば、関連人物オブジェクトの大きさ(例えば、関連人物オブジェクトを表す円の半径等)を親密度情報に応じた長さとすることで、両者の親密度を反映するようにしてもよい。
また、本実施形態に係る情報処理装置及び情報処理方法では、これらの表示方法以外にも、基準人物と関連人物との間の親密度が反映されるような任意の表示方法を行うことが可能である。
(ハードウェア構成について)
次に、図11を参照しながら、本開示の実施形態に係る情報処理装置10のハードウェア構成について、詳細に説明する。図11は、本開示の実施形態に係る情報処理装置10のハードウェア構成を説明するためのブロック図である。
情報処理装置10は、主に、CPU901と、ROM903と、RAM905と、を備える。また、情報処理装置10は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インターフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置10内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、情報処理装置10の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置10のユーザは、この入力装置915を操作することにより、情報処理装置10に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置917は、例えば、情報処理装置10が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置10が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置919は、情報処理装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータ等を格納する。
ドライブ921は、記録媒体用リーダライタであり、情報処理装置10に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD−DVDメディア、Blu−rayメディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、または、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)または電子機器等であってもよい。
接続ポート923は、機器を情報処理装置10に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS−232Cポート、光オーディオ端子、HDMI(High−Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、情報処理装置10は、外部接続機器929から直接各種のデータを取得したり、外部接続機器929に各種のデータを提供したりする。
通信装置925は、例えば、通信網931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
以上、本開示の実施形態に係る情報処理装置10の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)時刻に関する情報を含むデータの集合であるデータ群に基づき算出された、データ群の時系列の各時点におけるデータ群に関連する人物間の関係性を示した関係性情報及び前記データ群に関連する人物間の親密度を示した親密度情報を利用して、前記データ群における任意の人物1人を基準人物とし、前記基準人物とは異なり当該基準人物と関係のある関連人物と前記基準人物との間の相関関係及び当該相関関係の時間変化を可視化した相関関係図を生成する相関関係可視化部を備え、
前記相関関係可視化部は、
前記データ群の中から前記関係性情報に基づいて1又は複数の前記関連人物を抽出するとともに、時系列の各時点において、前記基準人物を表すノードと前記関連人物を表すノードそれぞれとの間の離隔距離を前記親密度情報に応じて決定し、
時系列での隣り合う時点間における同一人物の相関関係を考慮して、前記関連人物を表すノードの配置を決定する、情報処理装置。
(2)前記相関関係可視化部は、前記基準人物を表すノードと前記関連人物を表すノードとの間の領域内、又は、前記基準人物を表すノードと、複数の前記関連人物を表すノードとにより規定される領域内に、当該基準人物及び当該関連人物の双方に関係する前記データの存在を示唆するオブジェクトを配置させる、(1)に記載の情報処理装置。
(3)前記相関関係可視化部は、生成した前記相関関係図のうち、特定の人物間の相関関係及び当該相関関係の時間変化を強調して表示させる、(1)又は(2)に記載の情報処理装置。
(4)前記相関関係可視化部は、前記基準人物を表すノード及び前記関連人物を表すノードとして、当該ノードが位置する時刻近傍における該当人物の画像を表示させる、(1)〜(3)のいずれか1つに記載の情報処理装置。
(5)前記相関関係可視化部は、前記基準人物を表すノード及び前記関連人物を表すノードを質点とし、前記基準人物を表すノードと前記関連人物を表すノードとの間が対応する離隔距離に応じた長さのバネにより連結されているとするバネモデルに基づき、前駆する時刻における前記同一人物のノードの位置に向かう力を対応する前記質点に作用させて、前記関連人物を表すノードの配置を決定する、(1)〜(4)のいずれか1つに記載の情報処理装置。
(6)前記時刻に関する情報を含むデータは、画像データ、テキストデータ又はスケジュールデータである、(1)〜(5)のいずれか1つに記載の情報処理装置。
(7)時刻に関する情報を含むデータの集合であるデータ群に基づき算出された、データ群の時系列の各時点におけるデータ群に関連する人物間の関係性を示した関係性情報及び前記データ群に関連する人物間の親密度を示した親密度情報を利用して、前記データ群における任意の人物1人を基準人物とし、前記基準人物とは異なり当該基準人物と関係のある関連人物と前記基準人物との間の相関関係及び当該相関関係の時間変化を可視化した相関関係図を生成することを含み、
前記相関関係図を生成する際には、前記データ群の中から前記関係性情報に基づいて1又は複数の前記関連人物が抽出されるとともに、時系列の各時点において、前記基準人物を表すノードと前記関連人物を表すノードそれぞれとの間の離隔距離が前記親密度情報に応じて決定され、時系列での隣り合う時点間における同一人物の相関関係を考慮して、前記関連人物を表すノードの配置が決定される、情報処理方法。
(8)コンピュータに、時刻に関する情報を含むデータの集合であるデータ群に基づき算出された、データ群の時系列の各時点におけるデータ群に関連する人物間の関係性を示した関係性情報及び前記データ群に関連する人物間の親密度を示した親密度情報を利用して、前記データ群における任意の人物1人を基準人物とし、前記基準人物とは異なり当該基準人物と関係のある関連人物と前記基準人物との間の相関関係及び当該相関関係の時間変化を可視化した相関関係図を生成する相関関係可視化機能を実現させ、
前記相関関係可視化機能は、前記データ群の中から前記関係性情報に基づいて1又は複数の前記関連人物を抽出するとともに、時系列の各時点において、前記基準人物を表すノードと前記関連人物を表すノードそれぞれとの間の離隔距離を前記親密度情報に応じて決定し、時系列での隣り合う時点間における同一人物の相関関係を考慮して、前記関連人物を表すノードの配置を決定する、プログラム。
10 情報処理装置
101 ユーザ操作情報生成部
103 相関関係可視化部
105 関係性情報生成部
107 親密度情報算出部
109 表示制御部
111 記憶部
151 画像解析部
153 言語認識部
155 特徴量算出部
157 クラスタ処理部
159 関係性情報算出部

Claims (8)

  1. 時刻に関する情報を含むデータの集合であるデータ群に基づき算出された、データ群の時系列の各時点におけるデータ群に関連する人物間の関係性を示した関係性情報及び前記データ群に関連する人物間の親密度を示した親密度情報を利用して、前記データ群における任意の人物1人を基準人物とし、前記基準人物とは異なり当該基準人物と関係のある関連人物と前記基準人物との間の相関関係及び当該相関関係の時間変化を可視化した相関関係図を生成する相関関係可視化部を備え、
    前記相関関係可視化部は、
    前記データ群の中から前記関係性情報に基づいて1又は複数の前記関連人物を抽出するとともに、時系列の各時点において、前記基準人物を表すノードと前記関連人物を表すノードそれぞれとの間の離隔距離を前記親密度情報に応じて決定し、
    時系列での隣り合う時点間における同一人物の相関関係を考慮して、前記関連人物を表すノードの配置を決定する、情報処理装置。
  2. 前記相関関係可視化部は、前記基準人物を表すノードと前記関連人物を表すノードとの間の領域内、又は、前記基準人物を表すノードと、複数の前記関連人物を表すノードとにより規定される領域内に、当該基準人物及び当該関連人物の双方に関係する前記データの存在を示唆するオブジェクトを配置させる、請求項1に記載の情報処理装置。
  3. 前記相関関係可視化部は、生成した前記相関関係図のうち、特定の人物間の相関関係及び当該相関関係の時間変化を強調して表示させる、請求項2に記載の情報処理装置。
  4. 前記相関関係可視化部は、前記基準人物を表すノード及び前記関連人物を表すノードとして、当該ノードが位置する時刻近傍における該当人物の画像を表示させる、請求項2に記載の情報処理装置。
  5. 前記相関関係可視化部は、前記基準人物を表すノード及び前記関連人物を表すノードを質点とし、前記基準人物を表すノードと前記関連人物を表すノードとの間が対応する離隔距離に応じた長さのバネにより連結されているとするバネモデルに基づき、前駆する時刻における前記同一人物のノードの位置に向かう力を対応する前記質点に作用させて、前記関連人物を表すノードの配置を決定する、請求項1に記載の情報処理装置。
  6. 前記時刻に関する情報を含むデータは、画像データ、テキストデータ又はスケジュールデータである、請求項1に記載の情報処理装置。
  7. 時刻に関する情報を含むデータの集合であるデータ群に基づき算出された、データ群の時系列の各時点におけるデータ群に関連する人物間の関係性を示した関係性情報及び前記データ群に関連する人物間の親密度を示した親密度情報を利用して、前記データ群における任意の人物1人を基準人物とし、前記基準人物とは異なり当該基準人物と関係のある関連人物と前記基準人物との間の相関関係及び当該相関関係の時間変化を可視化した相関関係図を生成することを含み、
    前記相関関係図を生成する際には、前記データ群の中から前記関係性情報に基づいて1又は複数の前記関連人物が抽出されるとともに、時系列の各時点において、前記基準人物を表すノードと前記関連人物を表すノードそれぞれとの間の離隔距離が前記親密度情報に応じて決定され、時系列での隣り合う時点間における同一人物の相関関係を考慮して、前記関連人物を表すノードの配置が決定される、情報処理方法。
  8. コンピュータに、時刻に関する情報を含むデータの集合であるデータ群に基づき算出された、データ群の時系列の各時点におけるデータ群に関連する人物間の関係性を示した関係性情報及び前記データ群に関連する人物間の親密度を示した親密度情報を利用して、前記データ群における任意の人物1人を基準人物とし、前記基準人物とは異なり当該基準人物と関係のある関連人物と前記基準人物との間の相関関係及び当該相関関係の時間変化を可視化した相関関係図を生成する相関関係可視化機能を実現させ、
    前記相関関係可視化機能は、前記データ群の中から前記関係性情報に基づいて1又は複数の前記関連人物を抽出するとともに、時系列の各時点において、前記基準人物を表すノードと前記関連人物を表すノードそれぞれとの間の離隔距離を前記親密度情報に応じて決定し、時系列での隣り合う時点間における同一人物の相関関係を考慮して、前記関連人物を表すノードの配置を決定する、プログラム。
JP2011131015A 2011-06-13 2011-06-13 情報処理装置、情報処理方法及びプログラム Pending JP2013003635A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011131015A JP2013003635A (ja) 2011-06-13 2011-06-13 情報処理装置、情報処理方法及びプログラム
US13/485,289 US20120313964A1 (en) 2011-06-13 2012-05-31 Information processing apparatus, information processing method, and program
CN2012101857662A CN102855552A (zh) 2011-06-13 2012-06-06 信息处理设备、信息处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011131015A JP2013003635A (ja) 2011-06-13 2011-06-13 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2013003635A true JP2013003635A (ja) 2013-01-07
JP2013003635A5 JP2013003635A5 (ja) 2014-07-10

Family

ID=47292810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011131015A Pending JP2013003635A (ja) 2011-06-13 2011-06-13 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20120313964A1 (ja)
JP (1) JP2013003635A (ja)
CN (1) CN102855552A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014215742A (ja) * 2013-04-24 2014-11-17 日本電信電話株式会社 情報処理装置、特徴量変換システム、表示制御方法及び表示制御プログラム
JP2015219901A (ja) * 2014-05-19 2015-12-07 ムジグマ・ビジネス・ソリューションズ・ピーブイティー・リミテッド 事業問題ネットワーキングシステムおよびツール
JP2018206297A (ja) * 2017-06-09 2018-12-27 株式会社日立製作所 紹介者候補抽出システムおよび紹介者候補抽出方法
US10754864B2 (en) 2015-10-13 2020-08-25 Sony Corporation Information processing system and information processing method to specify persons with good affinity toward each other
JP2021018504A (ja) * 2019-07-18 2021-02-15 富士フイルム株式会社 画像解析装置、画像解析方法、コンピュータプログラム、及び記録媒体
WO2022137884A1 (ja) * 2020-12-22 2022-06-30 日本電気株式会社 リスク表示装置、リスク表示方法および非一時的なコンピュータ可読媒体
JP2022106992A (ja) * 2021-06-30 2022-07-20 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド アカウントの親密度の生成方法、装置、電子機器及び記憶媒体
JP7434451B2 (ja) 2022-07-28 2024-02-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013238991A (ja) 2012-05-14 2013-11-28 Sony Corp 情報処理装置、情報処理方法及びプログラム
TW201423660A (zh) * 2012-12-07 2014-06-16 Hon Hai Prec Ind Co Ltd 人際關係分析系統及方法
CN103440237A (zh) * 2013-03-15 2013-12-11 武汉元宝创意科技有限公司 基于3d模型的微博数据处理可视化***
CN106445948A (zh) * 2015-08-06 2017-02-22 中兴通讯股份有限公司 一种人员潜在关系分析方法和装置
WO2019109255A1 (en) * 2017-12-05 2019-06-13 Tsinghua University Method for inferring scholars' temporal location in academic social network
JP7310834B2 (ja) * 2019-01-18 2023-07-19 日本電気株式会社 情報処理装置
CN109800737B (zh) * 2019-02-02 2021-06-25 深圳市商汤科技有限公司 面部识别方法及装置、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009282574A (ja) * 2008-05-19 2009-12-03 Sony Corp 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6643656B2 (en) * 1991-07-31 2003-11-04 Richard Esty Peterson Computerized information retrieval system
JP4558437B2 (ja) * 2004-10-12 2010-10-06 デジタルファッション株式会社 仮想型紙作成プログラム、仮想型紙作成装置、及び仮想型紙作成方法
JP5251547B2 (ja) * 2008-06-06 2013-07-31 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
TWI418993B (zh) * 2008-06-27 2013-12-11 Ind Tech Res Inst 社群網路系統及建立個人核心社群網、信任關聯網與社群系統通訊方法
CN101605141A (zh) * 2008-08-05 2009-12-16 天津大学 基于语义的Web服务关系网络***
JP2011081457A (ja) * 2009-10-02 2011-04-21 Sony Corp 情報処理装置および方法
US8650242B2 (en) * 2010-03-18 2014-02-11 Panasonic Corporation Data processing apparatus and data processing method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009282574A (ja) * 2008-05-19 2009-12-03 Sony Corp 情報処理装置、情報処理方法、およびプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TOMOHISA KAMADA AND SATORU KAWAI: "AN ALGORITHM FOR DRAWING GENERAL UNDIRECTED GRAPHS", INFORMATION PROCESSING LETTERS, vol. Volume 31、Issue 1, JPN6014047301, April 1989 (1989-04-01), NL, pages 7 - 15, ISSN: 0002936628 *
宮本 朱美: "グーグルラボに追いつけ追い越せ!! ウェブの未来大予想2009", 週刊アスキー, vol. 第21巻、通巻733号, JPN6014047305, 12 May 2009 (2009-05-12), JP, pages 114 - 119, ISSN: 0002936630 *
長畑 洋臣、太田 学: "複数の可視化手法を用いた検索語想起支援", 第19回データ工学ワークショップ論文集, JPN6014047303, 7 April 2008 (2008-04-07), JP, ISSN: 0002936629 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014215742A (ja) * 2013-04-24 2014-11-17 日本電信電話株式会社 情報処理装置、特徴量変換システム、表示制御方法及び表示制御プログラム
JP2015219901A (ja) * 2014-05-19 2015-12-07 ムジグマ・ビジネス・ソリューションズ・ピーブイティー・リミテッド 事業問題ネットワーキングシステムおよびツール
US11341148B2 (en) 2015-10-13 2022-05-24 Sony Corporation Information processing system and information processing method to specify persons with good affinity toward each other
US10754864B2 (en) 2015-10-13 2020-08-25 Sony Corporation Information processing system and information processing method to specify persons with good affinity toward each other
JP2018206297A (ja) * 2017-06-09 2018-12-27 株式会社日立製作所 紹介者候補抽出システムおよび紹介者候補抽出方法
JP2022170739A (ja) * 2019-07-18 2022-11-10 富士フイルム株式会社 画像解析装置、画像解析方法、コンピュータプログラム、及び記録媒体
JP7111662B2 (ja) 2019-07-18 2022-08-02 富士フイルム株式会社 画像解析装置、画像解析方法、コンピュータプログラム、及び記録媒体
JP2021018504A (ja) * 2019-07-18 2021-02-15 富士フイルム株式会社 画像解析装置、画像解析方法、コンピュータプログラム、及び記録媒体
JP7382461B2 (ja) 2019-07-18 2023-11-16 富士フイルム株式会社 画像解析装置、画像解析方法、コンピュータプログラム、及び記録媒体
WO2022137884A1 (ja) * 2020-12-22 2022-06-30 日本電気株式会社 リスク表示装置、リスク表示方法および非一時的なコンピュータ可読媒体
JP2022106992A (ja) * 2021-06-30 2022-07-20 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド アカウントの親密度の生成方法、装置、電子機器及び記憶媒体
JP7413438B2 (ja) 2021-06-30 2024-01-15 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド アカウントの親密度の生成方法、装置、電子機器及び記憶媒体
JP7434451B2 (ja) 2022-07-28 2024-02-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
US20120313964A1 (en) 2012-12-13
CN102855552A (zh) 2013-01-02

Similar Documents

Publication Publication Date Title
JP2013003635A (ja) 情報処理装置、情報処理方法及びプログラム
Hou et al. Survey on data analysis in social media: A practical application aspect
US9477685B1 (en) Finding untagged images of a social network member
US9495789B2 (en) Information processing apparatus, information processing method and computer program
US9152969B2 (en) Recommendation ranking system with distrust
JP6451246B2 (ja) 人のソーシャルタイプを決定する方法、システム及びプログラム
JP2018536929A (ja) 顔認識アプリケーションにおけるフォールスポジティブの最小化のための方法および装置
JP6109970B2 (ja) オンライン・ソーシャル・ネットワーク上での画像に対するタグ付けの提案
KR20120140404A (ko) 사진 자동인식, 분류 및 전송 방법 및 상기 방법을 수행하는 모바일 단말기
US20240037142A1 (en) Systems and methods for filtering of computer vision generated tags using natural language processing
EP4073978B1 (en) Intelligent conversion of internet domain names to vector embeddings
Saranya et al. Sentiment analysis of healthcare Tweets using SVM Classifier
CN114662697A (zh) 时间序列异常检测
KR101693429B1 (ko) 대인 관계 유형 파악을 통한 코칭 정보 제공 시스템
Yen et al. Ten questions in lifelog mining and information recall
TW201324181A (zh) 行動裝置資料分享方法、系統以及其電腦可讀取記錄媒體
US20170046397A1 (en) Search device, search method, and non-transitory computer readable medium
JP6705763B2 (ja) 生成装置、生成方法および生成プログラム
US11402977B1 (en) Systems and methods for orienting webpage content based on user attention
WO2019187107A1 (ja) 情報処理装置、制御方法、及びプログラム
KR20240036715A (ko) 메시징 시스템에서의 화제들의 진화
Sharma et al. Comparative analysis of different algorithms in link prediction on social networks
Cheng et al. Edge4emotion: An edge computing based multi-source emotion recognition platform for human-centric software engineering
JP6731069B2 (ja) 検索推薦情報を提供するための方法及び装置
WO2014141452A1 (ja) 文書分析装置及び文書分析プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150414