JP5639065B2 - 推定される社会的関係に基づいた行動の提案 - Google Patents

推定される社会的関係に基づいた行動の提案 Download PDF

Info

Publication number
JP5639065B2
JP5639065B2 JP2011533168A JP2011533168A JP5639065B2 JP 5639065 B2 JP5639065 B2 JP 5639065B2 JP 2011533168 A JP2011533168 A JP 2011533168A JP 2011533168 A JP2011533168 A JP 2011533168A JP 5639065 B2 JP5639065 B2 JP 5639065B2
Authority
JP
Japan
Prior art keywords
images
age
gender
social
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011533168A
Other languages
English (en)
Other versions
JP2012509519A (ja
JP2012509519A5 (ja
Inventor
チャールズ ギャラガー，アンドリュー
チャールズ ギャラガー，アンドリュー
ルオ，ジエボ
Original Assignee
インテレクチュアル ベンチャーズ ファンド ８３ エルエルシー
インテレクチュアル ベンチャーズ ファンド ８３ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテレクチュアル ベンチャーズ ファンド ８３ エルエルシー, インテレクチュアル ベンチャーズ ファンド ８３ エルエルシー filed Critical インテレクチュアル ベンチャーズ ファンド ８３ エルエルシー
Publication of JP2012509519A publication Critical patent/JP2012509519A/ja
Publication of JP2012509519A5 publication Critical patent/JP2012509519A5/ja
Application granted granted Critical
Publication of JP5639065B2 publication Critical patent/JP5639065B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明は、個人の画像の集合から社会的関係を推定し、行動指針を提案することに関する。
消費者の画像のコレクションが普及している。係るコレクションから意味的に重要な情報を発見することは、マシンラーニング及びコンピュータビジョンコミュニティにおいて盛んに研究が行われている領域である。オブジェクト認識の問題に焦点を当て、顔、車両、ガラス、水、空等のような所定のタイプのオブジェクトを検出する多くの作品が存在する。この作品の大部分は、画像で利用可能な（色、テクスチャ及びラインのような）低レベルの視覚特性に依存する。近年では、シーン検出及び行動の認識のような意味的に更に複雑な情報を抽出することに焦点を当てることが増加している。たとえば、画像が屋外で撮影されたか又は屋内で撮影されたかに基づいて画像を集めてグループ化するか、レジャーでの画像から仕事での画像を分離したい場合がある。係る問題に対する解決策は、画像に存在する人物、画像における所定の種類のオブジェクトの有無、等のような導出された特性を使用することに主に依存する。典型的に、集合的な推定の能力は、係るシナリオで使用される。たとえば、特定の画像について、それが仕事での画像なのかレジャーでの画像なのかを見分けるのことは困難であるが、場所及び時間的に類似の他の画像を見ると、同じ予測を行うことは容易になる場合がある。この一連の研究は、画素値の集まりから、情報について問い合わせされたか、又はユーザにとって意味のあるやり方で自動的に編成された非常に複雑且つ意味のあるオブジェクトまで、人々がデジタル画像の集合を知覚するやり方を改革するのを狙いとする。
あるステップを更に意味的に理解するため、彼等が家族なのか、友人なのか、単なる知人なのか、又は同じ場所且つ同じ時間で居合わせた単なる見知らぬ人なのか、人間は、十分な数の画像を観察した後に同じ画像に表れる人物間の関係を推定する能力を有する。言い換えれば、消費者の写真は、通常は、見知らぬ人と撮影されず、友人及び家族と撮影される。係る関係を検出又は予測することは、知的画像管理システムと同様に、インテリジェントカメラを構築することに向けて重要なステップである。
画像を分析して人物を検出し、検出された人物の年齢及び性別を推測することが知られている。さらに、幾つかのシステムは、人口学的情報に基づいて広告の提案を提供する。たとえば、米国特許第7362919号では、画像はテーマ別のアルバムページで配置され、この場合、グラフィカルエレメントは、画像における人物の年齢及び性別に基づく。同様に、米国特許第7174029号では、環境を監視し、人物を検出し、人物の人口統計的プロファイルを決定し、人口統計的プロファイルに基づいて人物に広告を給仕する。これらの方法が１人の人物に訴える広告について有効である一方、１人の人物ではなく、多数の人物間で共有される社会的関係に関連する製品を広告するためには有効ではない。
本発明によれば、可能な行動方針を提案するため、画像の集合における個人間の社会的関係を分類する方法が提供される。本方法は、（ａ）集合をサーチして個人を識別し、それらの性別及びそれらの年齢の範囲を決定するステップ、（ｂ）識別された個人の性別及び年齢の範囲を使用して、それら個人間の少なくとも１つの社会的関係を推定するステップ、（ｃ）少なくとも１つの推定される社会的関係を使用して、可能な行動方針を提案するステップを含む。
本発明の特徴は、個人のアイデンティティ、年齢及び性別の情報に関連する個人の画像の集合を使用して、個人の画像で現れる個人間の社会的関係のタイプを自動的に発見し、従って、製品の提案、活動、共有される機会、又は社会的ネットワークのリンクのような可能性のある行動方針をシステムが提案するのを可能にする。
本発明を利用するシステムを例示する図である。 本発明の実施の形態を実施するフローチャートである。 社会的関係のタイプの存在論的構造を示す表である。 画像と画像から推定される対応する社会的関係の例を示す図である。 画像と画像から推定される対応する社会的関係の例を示す図である。 ファミリーツリーを形成する画像の集合で発見される社会的関係を使用して、画像の集合において画像をサーチし、ユーザに提案を提供するシステムを例示する方法である。 例示的な画像の集合及び発見された社会的関係を与える図である。 ファミリーツリーを例示する図である。 社会的関係に基づいて提案される製品を例示する図である。
本発明は、消費者の画像の集合における社会的な関係を自動的に検出する方法を提供するものである。たとえば、ある画像に現れる２つの顔が与えられると、単なる友人であるのとは対照的に、彼等は互いに配偶者であることが推定できるであろう。年齢、性別及び様々な顔のアイデンティティに関する更なる情報の存在においてさえ、このタスクは、極端に困難であるように見える。「友人」と「配偶者」の関係との間を区別するため、画像はどのような情報を有するのか？しかし、関連する画像のグループが集合的に見られたとき、このタスクは、より扱いやすくなる。特に、（画像における被写体及び写真撮影者以外の）第三者の人物は、ａ）グループで典型的に表れる友人とは対照的に、カップルは彼等自身だけで撮影される傾向がある、ｂ）幼児をもつカップルは写真においてそれらの子供と現れる、ような経験則（rules of thumb）に基づいて上記タスクについてよい憶測を有することができる。このアプローチの利点は、所与の集合において互いに写真撮影されない（又は滅多に写真撮影されない）人々の間の関係について意味のあることを言うことができる。たとえば、Ａ（男性）が写真の集合において子供と現れ、Ｂ（女性）が他の写真で同じ子供と現れ、且つＡ及びＢが幾つかの他の写真で一緒に現れた場合、おそらく、彼等は配偶者の関係を共有しており、彼等と撮影された子供の親である。
本発明は、意味のあるやり方で上述された経験則を捕捉する。係る経験則を確立するときに考慮する必要がある幾つかの重要な問題がある。
（ａ）これらは、結局は経験則であって、常に正しくはない。
（ｂ）多くの経験則は、同時に利用され、慎重に結合される必要がある。
（ｃ）多数の経験則は、所定のシナリオで互いにコンフリクトする可能性がある。
これらの問題を扱う良好な方法は、マルコフロジック（Markov Logic Networks; by M. Richardson and P. Domingos, Machine Learning, 62: 107-136, pp.1-43, 01/26/2006.6）であり、このロジックは、数学的に正しいやり方で一階論理ルールを結合するフレームワークを提供する。それぞれのルールは、（ロジックにおける硬制約とは対照的に）軟制約（soft constraint）として見られ、この軟制約の重要性は、それに関連する実数値の重みにより決定される。重みが高くなると、より重要なルールとなる。言い換えれば、２つのコンフリクトするルールが与えられると、高い重みを持つルールは、他の条件が同じであれば、高い確かさをもつと考えられる。重みは、トレーニングデータから学習される。さらに、マルコフロジックは、専門家により供給されるルールに加えて、データを使用して新たなルールを学習する能力を提供し、これにより、背景的知識をエンハンスする。これら学習されたルールは、可能性のある関係のセットを通した集合的な推定を実行するために使用される。後に記載されるように、システムへの入力として（年齢及び性別について）雑音のある予測子を使用して、関係、年齢及び性別を予測することに対する集団モデルを構築することができる。１つのコンポーネントを予測することは、他のコンポーネントを予測することに役立ち、逆も然りである。たとえば、２人が同じ性別であることを認識することで、配偶者の関係を除くことに役立ち、逆も然りである。１つのピクチャに対して行われる推定は、他のピクチャに対して実行され、これにより全体の精度が改善される。
統計的な関係モデルは、一階論理のようなリレーショナル言語の能力をマルコフネットワークのような確率モデルと結合する。これは、（たとえば本発明における様々な社会的関係といった）ドメインにおける関係を明示的にモデル化する能力を提供し、また、（たとえば経験則が常に正しくないといった）不確かさを明示的に考慮する。近年、この分野において大規模に行われた研究がある。最も能力が高い係るモデルのうちの１つは、マルコフロジック（Markov Logic Networks; by M. Richardson and P. Domingos, Machine Learning, 62: 107-136, pp.1-43, 01/26/2006.）である。このロッジクは、一階論理のパワーをマルコフネットワークと結合し、（たとえば本発明のドメインでは年齢、性別、顔の特徴といった）基礎となるオブジェクトの特性及び（たとえば本発明のドメインでは様々な社会的な関係といった）それらの間の関係にわたる分布を定義する。これは、実数値の重みを一階理論におけるそれぞれの式に割り当てることで達成され、この場合、重みは、式の重要度を（おおよそ）表す。形式的に、マルコフロジックネットワークLは、ペア（Fi，wi）として定義され、Fiは一階論理における式である、wiは実数値である。定数Cのセットが与えられると、グランドプレディケート（ground predicates）Xのセットの特定のコンフィギュレーションxの確率は、以下のように与えられる。
Figure 0005639065
 ここで総和は、Lにおいて現れる全ての式に対して行われ、wiはi番目の式の重み、ni(x)は、アサインメント（assignment）xの下でのそのトゥルーグラウンディング（true grounding）の数である。Zは、正規化定数である。更なる詳細について、先に引用されたRichardson & Domingosを参照されたい。
図１では、コンピュータ装置１２、インデックスサーバ１４、イメージサーバ１６及び通信ネットワーク２０を含む本発明を実施するために必要なエレメントを持つシステム１０が示される。コンピュータ装置１２は、画像を記憶するパーソナルコンピュータとすることができ、この場合、画像は、静止画像及び動画像の両者を含むことが理解される。コンピュータ装置１２は、デジタルカメラや携帯電話のカメラのような様々な装置（図示せず）と、これらの装置により捕捉された画像を記憶するために通信する。これら捕捉された画像は、（音声注釈又はカメラ内のタグ付けの何れかにより）捕捉装置による画像における人物名のような個人の識別情報を更に含む。また、コンピュータ装置１２は、通信ネットワーク２０を通して、識別情報なしに捕捉された画像を使用するインターネットサービスと通信し、ユーザ又はトレーニングされた自動アルゴリズムが個人の識別情報を画像に付加するのを可能にする。何れのケースにおいても、個人の識別情報をもつ画像が当該技術分野において知られている。
インデックスサーバ１４は、個人のアイデンティティ、年齢及び性別並びに社会的関係のような意味的な情報について画像の内容を分析するコンピュータ命令の形式でアルゴリズムを実行するため、通信ネットワーク２０で利用可能な別のコンピュータ処理装置である。インデックスサーバ１２を介してウェブサーバとしてシステム１０にこの機能を設けることは、本発明を制限するものではない。また、コンピュータ装置１２は、索引付けのために設けられる画像の分析に関与するアルゴリズムを実行する。
イメージサーバ１６は、通信ネットワーク２０を介して他の通信装置と通信し、要求に応じて、イメージサーバ１６は、人物を含まない、１人の人物を含むか又は多数の人物を含むスナップショットの画像を提供する。イメージサーバ１６で記憶される画像は、デジタルカメラ及び内臓カメラをもつ携帯電話を含む様々な装置により捕捉される。また、係る画像は、手動又は自動で原画像が捕捉される前後に個人の識別情報を既に含むことができる。
図２では、本発明を実施するために必要な一連のステップを示すフローチャートが例示される。ステップ２２では、社会的に潜在的に関連する複数の人物を含む個人の画像の集合が取得される。個人の識別情報は、メタデータの形式で画像に関連付けされることが好ましいが、本発明の範囲から逸脱することなしに、画像と関連して単に供給することができる。画像は、コンピュータ装置１２により、その内部ストレージから又は任意のストレージ装置から、ローカルネットワークストレージデバイス又はオンラインイメージストレージサイトのようなコンピュータ装置１２によりアクセス可能なシステムから供給される。個人の識別情報が利用可能ではない場合、ステップ２２で提供された画像の集合を使用して、コンピュータ装置１２は、ステップ２４でインデックスサーバ１４に個人の識別情報を提供し、自動顔検出及び顔認識、又は手動による注釈の何れかを通して、画像のそれぞれに関連する個人の識別情報を取得する。
ステップ２４の取得された画像の使用して、コンピュータ装置１２は、以下のやり方で分類子を使用し、ステップ２６でそれぞれの画像における人物、人物の年齢及び性別の一致を含む証拠を抽出する。顔年齢分類子は、たとえばA.Lantis, C.Taylor及びT.Cootesによる“Toward automatic simulation of aging effects on face images”, PAMI Vol.14, No.4, 2002及びX.Geng, Z-H.Zhou, Y.Zhang, G.Li及びH.Daiによる“Learning from facial aging patterns for automatic age estimation” in ACM MULTIMEDIA, 2006及びA.Gallagherによる米国特許出願公開2006/0045352といった当該技術分野で知られている。また、性別は、M.-H.Yang及びG.Moghaddamによる“Support vector machines for visual gender classification”, Proc. ICPR, 2000、並びにS,Baluja及びH.Rowleyによる“Boosting sex identification performance” in IJCV71(2), 2007に記載されるように顔画像から推定することができる。
年齢の分類について、これら消費者からの画像の集合が取得され、全体で１１７の固有な個人について、それぞれの画像における個人はラベル付けされる。それぞれの個人の生まれた年は、集合の所有者により分かるか又は推定される。EXIF情報及び個人の誕生日からの画像の捕捉日を使用して、それぞれの画像におけるそれぞれの人物の年齢が計算される。これにより、対応するグランドトルース（ground truth）の年齢をもつ２８５５の顔からなる個々のトレーニングセットが得られる。それぞれの顔は、スケール的（49×61画素）に正規化され、（P.N.Belhumeur, J.Hespanha及びD.JKriegmanによる“Eigenfaces vs fisherfaces: Recognition using class specific linear projection.” PAMI Vol.19, No.7, 1997に記載される）フィッシャーフェースのセットの投影される。新たな問合せの顔の年齢の推定は、そのスケールを正規化し、フィッシャーフェースのセットに投影し、投影空間における近隣（本発明は２５を使用）を発見することで発見される。問合せの顔の推定される年齢は、これら近隣の年齢の中間である。推定される性別について、サポートベクトルマシンを使用した顔の性別の分類子が実現される。本発明では、アクティブシェープモデル（T.Coote, C.Taylor, D.Cooper及びJ.Grahamによる“Active shape models-their training and application.” CVIU Vol.61, No.1, 1995）を使用してはじめに顔の特徴を抽出することで、特徴は次元的に低減される。消費者の画像のデータベースからの3546の顔のトレーニングセットは、確率密度の推定値を出力するサポートベクトルマシンを学習させるために使用される。
次いで、識別された人物及び関連される証拠は、推論作業に備えて集合におけるそれぞれの画像についてステップ２８で記憶される。コンピュータ装置１２又はインデックスサーバ１２は、作業のスケールに依存して推論作業を実行する。ステップ３０で、個人の画像の集合で発見された個人に関連する社会的関係は、抽出された証拠から推定される。最後に、個人の画像の集合における個人の社会的関係を推定することで、コンピュータ装置１２は、ステップ３２で推定された社会的関係について画像の集合を編成又はサーチすることができる。係るプロセスは、新たな画像、新たな個人、新たな関係を適切に扱うことができるように、インクリメンタルなやり方で実行することができることを当業者であれば明らかであろう。さらに、このプロセスは、外観の変化に観点で個人の成長、及びたとえば新たな家族のメンバ及び新たな友人といった拡大の関係で社会的関係を追跡するために使用される。
本発明の好適な実施の形態では、ステップ３０で、モデル、すなわち個人の画像の集合から予測可能な社会関係のルールの集合は、マルコフロジックで表現される。以下は、関心のある関与しているオブジェクト、プレディケート（オブジェクトの特性及びオブジェクト間の関係）、及びそれらプレディケートを通して所定の制約を課すルールを記載する。後に、学習及び推論作業の説明が提供される。
図３は、（個人の画像の集合の所有者に対する）社会的関係のタイプの存在論的な構造３５を示すテーブルである。本発明の本質から逸脱することなしに、任意の個人間の任意の関係を定義することができる。
図４Ａ及び図４Ｂは、個人の画像の例（４０及び５０）並びに画像から推定される対応する社会的関係（４２及び５２）を示す。
以下は、本発明の好適な実施の形態のより詳細な説明を提供する。本発明の領域において３種類のオブジェクトが存在する。
・人物：世界における実在の人物。
・顔：ある画像におけるある顔の特定の外観。
・画像：集合における画像。
関心のあるオブジェクトに対して２種類のプレディケートが定義される。これらプレディケートの値は、データを通した推定時に既知である。例となる証拠のプレディケートは、OccursIn（face,img）であり、このプレディケートは、特定の顔が所与の画像に現れるか否かに関する真偽値を示す。本発明は、以下の特性／関係について証拠となるプレディケートを使用する。
ある画像における人物の数：HasCount(img,cnt)
ある画像に現れる顔の年齢：HasAge(face,age)
ある画像に現れる顔の性別：HasGender(face,gender)
特定の顔がある画像に表れるか：OccursIn(person,face)
ある人物と彼／彼女の顔の間の対応関係：hasFace(person,face)。
ある顔の年齢（性別）は、ある画像で現れる顔と関連される推定される年齢（性別）の値である。これは、問合せのプレディケートとしてモデル化された人物の実際の年齢（性別）とは異なる。ある顔に関連する年齢（性別）は、先に記載された様々な顔の特徴を使用して顔の集合に関して個別にトレーニングされたモデルから推定される。なお、同じ人物に関連する異なる顔は、外観における違いによる予測誤差又は画像が撮影されたときの時間差のため、異なる年齢／性別の値を有する。本発明は、５つの離散的なビンである、子供、十代、青年、中年及び高齢者を使用して年齢をモデル化する。
本発明では、顔の検出及び顔の認識は自動又は手動で事前に行われているものとする。従って、どの顔がどの人物に対応するかを正確に知られる。この仮定を緩和して、アルゴリズムの顔検出及び顔認識をモデルの一部として組み合わせることは、同じマルコフロジックに基づいたモデルと関連する推定方法により適切に扱うことができる当然の拡張である。
これらのプレディケートの値は、推定時に未知であり、推定される必要がある。この種のプレディケートの例は、２人は所与の関係を共有するかに関する真偽値を示すHasRelation(person1,person2,relation)である。以下の問合せのプレディケートが使用される。 ・ある人物の年齢：HasAge(person,age)。
・ある人物の性別：HasGender(person,gender)。
・２人の間の関係：HasRelation(person1,person2,relation)。
本発明の好適な実施の形態は、親戚、友人、知人、子供、親、配偶者、子供の友達である７つの異なる種類の社会的関係をモデル化する。親戚は、親／子供の関係によりカバーされない血縁者を含む。友人は、血縁者ではない人物であって、友情関係の直感的な定義を満たす人物である。親戚者でなく、友人でもない者は知人として扱われる。子供の友人は、子供の友人をモデル化する。子供の友人の関係をモデル化することは重要である。子供は、消費者の画像の集合において広範囲にわたり、子供の友人と現れることがあるためである。係るシナリオでは、子供と子供の友人を区別することが重要となる。
硬ルールと軟ルールという２種類のルールが存在する。全てのルールは、一階論理における式として表現される。
硬ルールは、ドメインにおける硬制約を示し、すなわち硬ルールは、真を常に当てはまる。硬ルールの例は、OccursIn(face,img1)及びOccursIn(face,img2)→(img1=img2)であり、これは、それぞれの顔が集合において多くとも１つの画像で現れることを単に示す。
親は、彼等の子供よりも年をとっている。
配偶者は、反対の性別である。
２人の人物は、それらの間に固有の関係を共有する。
なお、本発明では、２人の人物間に固有の関係が存在する。（たとえば２人の人物が友人であるのと同様に親戚（すなわち「いとこ」）である、といった）この仮定を緩和することは、現在のモデルの拡張となる。
軟ルールは、より関心のある制約のセットを示し、殆どの場合に真であると考えられるが、常に当てはまるものではない。軟ルールの例は、OccursIn(person1,img)及びOccursIn(person2,img)→!HasRelation(person1,person2,acquaintance)である。このルールは、ある画像に互いに表れる２人の人物は、単なる知人である可能性が低いことを示す。（異なる画像において）彼等が一緒に現れるそれぞれの更なる例は、この確率を更に減少させる。ここで、本発明で使用される他の軟ルールの幾つかを示す。
・子供及び彼等の友人は、類似した年齢である。
・ある子供と一人で現れる若年成人は、親／子供の関係を共有する。
・（彼等だけで）一緒に現れる類似の年齢及び反対の性別の２人の人物は、配偶者の関係を共有する。
・友人及び親戚は、写真にわたりクラスタリングされる。２人の友人がある写真に一緒に現れた場合、同じ写真に現れた三番目の人物は、友人である可能性が高い。同じことが親戚にも当てはまる。
一般に、大部分の数（重み付けされた）の軟制約を満たし、全ての硬制約を同時に満足させるソリューションが好まれる。最後に、シングルトンプレディケート（singleton predicate）HasRelation(person1,person2,+relation)（＋はそれぞれの関係について異なる重みを学習する）から構成されるルールが存在する。このシングルトンプレディケートは、集合における任意の２人のランダムな人物間で保持される特定の関係の事前確率を表すと考えられる。たとえば、親又は子供の関係に比較して、友人の関係を有する可能性が非常に高い。同様に、シングルトンルールHasAge(person,+age)及びHasGender(person,+gender)が存在する。これらは、（直感的に）特定の年齢及び性別をそれぞれ有する事前確率を表す。たとえば、ルールHasAge(person,child)に高い重みを与えることで、より頻繁に子供が撮影される傾向があるという事実を捉えることは容易である。
モデル（ルール及びそれらの重み）が与えられると、推定は、全ての証拠のプレディケートを与えた問合せプレディケートHasRelation,HasGender及びHasAgeの周辺確率を発見することに対応する。硬（決定的）及び軟制約の結合を扱う必要のため、本発明の好適な実施の形態において、Poon & DomingosのMC-SATアルゴリズム（Poon & Domingos, Sound and efficient with probabilistic and deterministic dependencies. Proceedings of AAAI-06, 458-463. Boston, MA: AAAI Press.）が使用される。
硬制約と軟制約が与えられると、ラーニングは、軟制約のそれぞれについて最適な重みを発見することに対応する。はじめに、MAP重みは、ゼロに事前にセンタリングされたガウス分布で設定される。次に、Lowd & Domingosのラーナー（learner）が採用される（Lowd & Domingos. Efficient weight learning for Marcov logic networks. In proc. PKDD-07, 200-211. Warsaw, Poland: Springer.）。目標とする関係を予測するに役立つルールをリファインする（及び、新たなインスタンスを学習する）ため、Kok & Domingosの構造ラーニングアルゴリズム（Kok & Domingos, Learning the structure of Marcov networks. Proceedings of. ICML-05, 441-448. Bonn, Germany: ACM Press）が使用される。彼等により記載されるオリジナルのアルゴリズムは、パーシャルグランデッドクローズ（partially grounded clause）の発見を可能にしない。これは、異なる関係について異なるルールを学習する必要があるので、本発明にとって重要である。また、ルールは、（子供のような）特定の年齢のグループ又は性別（たとえば男性及び女性はそれらの社会的なサークルにおいて撮影される傾向があることを想像することができる。）について異なる。この特徴を有するためにアルゴリズムで必要とされる変更は簡単である。あるクローズの拡張のサーチの間に、あるプレディケートの全ての可能なパーシャルグランディング（partial grounding）の追加が可能である。所定の変数（すなわち、関係、年齢及び性別）のみが、サーチスペースを拡大するのを回避するため、これらのプレディケートにおいて基礎とされる（grounded）。アルゴリズムの残りは、従来通り進む。
図５は、画像のコレクションの所有者、画像のコレクションの閲覧者或いは別の人物又はパーティに行動指針１１０の提案を行うために、推定された社会的関係を使用するシステムを例示する。本システムは、製品の広告を提案し、製品を提案し、行動を提案し、共有する機会を提案し、又は決定された社会的関係に基づいたオンラインの社会ネットワークにおけるリンクを提案する。さらに、システムは、社会的関係に基づいて画像のコレクションをサーチするために使用され、ファミリーツリーを生成するために使用される。
図５を参照して、画像の集合１０２は、社会的関係検出器１０４に入力される。画像の集合１０２は、デジタル画像及びビデオを含む。社会的関係検出器１０４は、個人の顔及び画像の集合における他の特徴を検出し、たとえば母親と子供、夫と妻、父親と息子、友人、祖父と祖母のような社会的関係１０６を検出する。社会的関係検出器１０４の１実施の形態は、図２及び関連する記載で説明される。社会的関係を判定するために使用される特徴は、顔、検出された年齢及び税別、人々の相対的な態度（画像における人々の並置）を含む。顔が１を超える画像で検出されたとき、たとえばM.Turk及びA.Pentlandによる“Eigenfaces for Recognition”, Journal of Cognitive Neuroscience, vol.3, no.1, pp.71-86, 1991で記載されるような、顔が同じ個人である可能性を判定するために顔認識が使用される。発見される社会的関係１０６は、１つの画像又はビデオで現れる２人の間の社会的関係、異なる画像で現れる２人の社会的関係、或いは、写真撮影者又は画像の集合の所有者とある画像又はビデオにおけるある人物との間の社会的関係である。また、社会的関係１０６は、たとえば家族又は友人のグループといった、３以上の人物について発見することもできる。図６は、５つの画像１３０，１３２，１３４，１３６及び１３８をもつ例となる画像の集合１０２と、発見される例となる社会的な関係１０６を示す。３つの画像は、２人の人物を含んでおり、社会的な関係１０６である弟−姉及び娘−母が発見される。画像１３０，１３２及び１３４における少女は同じ個人であることを認識し、且つ（たとえば少年の姉の母もまた少年の母であるといった）社会的関係の推移的な特性を使用することで、弟と母は画像の集合におけるある画像において一緒に現れないが、息子−母の社会的関係１４０が発見される。
図５を参照して、結婚（親）がツリーのノードを形成し、子供が枝であるという一般的な表記を使用することで、社会的関係１０６からファミリーツリー１１４が構成される。図７は、発見された社会的関係１０６に基づいた、例となるファミリーツリー１１４を個人の画像と合わせて例示する。ファミリーツリーは、ある画像又はXMLスキーマのようなデジタルストレージ１１２で記憶される。
図５を参照して、画像の集合１０２からの画像を、社会的関係の検出器１０４からの社会的関係１０６とともにユーザに表示するために、LCDスクリーンのようなディスプレイ１２２が使用される。ユーザは、ユーザ入力１２４を供給して、（たとえば正確でない社会的関係、又は顔認識におけるエラーから生じる間違いといった）間違いを訂正するか、欠けている社会的関係を提供することができる。
社会的関係１０６は、社会的関係１０６に基づく可能性のある行動指針１１０の提案を行うために、提案手段１０８に入力される。可能性のある一連の行動１１０の提案は、製品の広告、画像の製品の提案、活動の提案、供給する機会の提案、又は社会ネットワークの提案に関連する。可能性のある行動指針は、画像の集合の所有者又は（画像の集合を閲覧する人物、又は友人或いは親戚といった）画像の集合の所有者以外の人物、或いは、目標とする人口統計学による所定の社会的関係を有する製品を販売する企業といった別のパーティ、の何れかのために意図される。提案手段１０８は、ユーザの人口統計学的な位置１２６又は画像の集合１０２からの画像の人口統計学的な位置を考慮する。
可能性のある行動指針１１０は、好ましくはディスプレイを介してユーザに表示されるが、電子メール、ファクシミリ、インスタントメッセージ、手紙又は電話のような別の形式で提案を送出することができる。製品の広告は、消費者からの画像を包含しない既存の製品であって、購入することができる既存の製品の広告である。提案が製品の広告であるとき、製品の広告は、社会的関係に基づいた可能性のある製品の広告のデータベースから選択される。たとえば、画像の集合が若い兄弟のペアを含むとき、子供のボードゲームの製品の広告が選択され、画像の集合の所有者、ユーザ、或いは閲覧者に表示される。この可能性のある一連の行動１００の広告は、贈り物を与えるアイデアを提供するので、（たとえばクリスマスについて姪及び甥のために購入するために画像の集合を閲覧している叔母といった）ユーザにとって有効である。提案手段１０８は、広告を選択するとき、社会的関係に関する他の人口統計学的な情報を考慮する。社会的関係における人物の年齢及び顔は関連する可能性がある。たとえば、人形のゲームである広告の可能性のある一連の行動１１０は、若い兄弟について選択される場合があり、高度なストラテジゲームである広告の可能性のある行動指針１１０が、十代後半の人達に選択される場合がある。母親と子供の社会的関係１０６について広告の可能性のある行動指針１１０は、高い安全格付けをもつミニバンである。母親、父親及び息子並びに娘のために広告の可能性のある行動指針１１０は、家族を収容するために正しい数の寝室をもつ住居である。
別の可能性のある行動指針１１０は、潜在的な顧客を提案することである。このシナリオでは、画像の集合における社会的関係に基づいて、システムは、特定の製品について潜在的な顧客を決定する。たとえば、特定の画像の集合の画像及びビデオから社会的関係を検出することに基づいて、ミニバンの製品の潜在的な顧客は、数人の小さい子供の親であることが決定される。潜在的な顧客に関する情報は、製品の広告主に販売される。多くの画像の集合が調べられたとき、多くの製品のそれぞれについて、多くの潜在的な顧客が発見される。潜在的な顧客及びそれらの連絡先のリストは、製品の広告主に販売される。次いで、製品の広告主は、製品の広告を１以上の潜在的な顧客に送出する。
画像の製品の可能性のある行動指針１１０は、画像の集合からの少なくとも１つの画像又はビデオを、画像の集合の所有者又は画像の集合の閲覧者に包含する提案される製品である。たとえば、図８に示されるのは、母の日のカードに関する製品の可能性のある行動指針１１０であり、このカードは、母の日のために購入することがユーザに提案される母と娘の画像１３２から作成される。カードのグラフィック１４２は、社会的関係１０６に従って選択される。製品の提案は、特定の祝日を念頭にして作成され、また、カレンダーの日付に依存する（すなわち、母の日のカードは、母の日までの収集間においてのみ提案されるべきである）。また、提案は、ユーザのアイデンティティにも依存する。母の日のカードは、贈り物の意図された受取人ではないユーザ（画像の集合の閲覧者）に提案されるが、女性の夫又は子供の何れかである。他の関係の記念日は、バレンタインデー、スイートハートデイ、祖父母の日及び父の日、並びに個人の記念日（結婚式等）である。製品の提案は、物理的なオブジェクトに制限されず、画像の集合１０２からの画像及びビデオのスライドショウ、社会的関係１０６に従って選択される音楽、画像の集合１０２からの画像を含みと共に、グラフィック１４２又は社会的関係に関連するモチーフを含むフレームを含む。
活動の可能性のある行動指針１１０は、社会的関係を共有する人物が楽しむ活動の提案である。好適な実施の形態では、活動の可能性のある行動指針１１０は、ユーザの地理的位置に従って生成される。たとえば、父−娘の関係を含む画像の集合について活動の可能性のある行動１１０は、ユーザがNYのBrockportの近くに住んでいるとき、“Father-Daughter bowling day is May 2 at Rolling Lanes in Brockport, NY”である。提案手段１０８は、この関係における個人が有する好みを任意に考慮する（たとえば、妻は、キャンプとボーリングの両者を楽しいと感じるが、夫は、ボーリングのみを楽しいと感じ、従って手何手段１０８は、“Couple’s Camp-out”よりは“Couple Bowling Night”）を提案する。提案される活動は、（たとえば、参加者又は閲覧者の何れかとしてサッカー、バスケットボールといった）スポーツ、（結婚のワークショップ、又は高齢者の親をもつ大人のセミナーといった）心のイベント、（たとえばキャンプ、映画視聴、大工仕事、又はガーデニングといった）趣味に関連する。
また、提案手段１０８は、画像の集合１０２における社会的関係１０６に基づいた可能性のある行動指針１１０として供給する提案を提供する。共有する提案は、特定の個人と、画像の集合１０２の画像の１以上を供給するための可能性のある行動指針１１０である。たとえば、兄弟の画像を、Flickr Photo Sharing website group “Siblings” (http://www.flickr.com/groups/siblings/)で共有するための共有する提案が提供される。
また、提案手段１０８は、画像の集合１０２における社会的関係１０６に基づいて可能性のある行動指針１１０として社会ネットワークの提案を提供する。社会ネットワークの提案は、検出された社会のコネクションに基づいて社会ネットワークのリンク（たとえば、www.facebook.com）の提案である。たとえば、画像の集合１０２において、社会的関係検出器１０４によりMaryとFrankが友人であることが発見された場合、可能性のある行動指針１１０は、以下の何れかとなる。
MaryはFrankとの連絡を要求する。
FrankはMaryとの連絡を要求する。
また、上記の両者。
図５を参照して、画像の集合１０２をサーチ及びブラウジングするために社会的関係１０６が使用される。関係の問合せ（「母−息子」１１６）が画像選択手段１１８に提示される。画像選択手段１１８は、問い合わせられた社会的関係を含む画像及びビデオを含む問合せ出力１２０を提供する。また、関係の問合せ１１６は、画像の形式でとすることもでき、たとえば図６における画像１３２は、母及び娘を含む全ての画像を問合せ出力１２０として検索するため、関係の問合せ１１６として提示される。
全ての場合において、提案手段１０８の振る舞いは、適切なデータに基づいて時間につれて進化する。たとえば、社会的関係に基づいた製品の広告の提案である可能性のある行動指針１１０は、特定の社会的関係を共有する人物に良好に売れるアイテムに基づいて選択される。これら製品のセットは、時刻、時節、又は時間の進展につれて変化し、また、地理的な位置と共に変化する。
１０：本発明のシステム
１２：コンピュータ装置
１４：インデックスサーバ
１６：イメージサーバ
２０：通信ネットワーク
２２：個人の画像の集合を取得
２４：画像において頻出する人物を識別（顔検出／認識）
２６：人物の一致、人物の年齢及び性別を含む証拠を抽出
２８：識別された人物及び関連される証拠を記憶
３０：抽出された証拠から人物に関連する社会的関係を推定
３２：推定された社会的関係について画像の集合をサーチ／編成
３５：社会的関係のタイプの存在論的構造
４０：例となる画像
４２：例となる関係
５０：例となる画像
５２：例となる関係
１０２：画像の集合
１０４：社会的関係検出手段
１０６：社会的関係
１０８：提案手段
１１０：可能性のある行動指針
１１２：ストレージ
１１４：ファミリーツリー
１１６：関係の問合せ
１１８：画像選択手段
１２０：問合せ出力
１２２：ディスプレイ
１２４：ユーザ入力
１２６：地理的位置
１３０：弟と姉の画像
１３２：娘と母の画像
１３４：弟と姉の画像
１３６：画像
１３８：画像
１４０：息子−母の社会的関係
１４２：社会的関係に基づいたグラフィック

Claims (3)

  1. コンピュータ装置が、画像の集合における個人間の社会的関係を分類して、可能性のある行動指針を提案する方法であって、前記画像は、デジタル静止画像データまたはビデオ画像データであり、
    前記コンピュータ装置が、前記画像の集合をサーチして個人を識別し、識別された個人の性別及び年齢の範囲を決定するステップと、
    前記コンピュータ装置が、前記識別された個人の決定された性別及び年齢の範囲を使用して、前記識別された個人間の少なくとも１つの社会的関係を推定するステップであって、前記少なくとも１つの社会的関係を推定することは、
    前記画像に写っている少なくとも２つの顔に関して、性別と年齢の形跡および特定の人物との対応関係を推定する動作、
    学習用データを使用して異なる複数の年齢区分、性別および社会的関係の種類について最適化された推論規則とその重み係数を学習する動作と、
    重み付けされた前記推論規則および前記形跡の上で推論を実行することにより、画像内に写っている複数の人物に関する年齢、性別及び社会的関係の周辺確率を見出す動作と、を含むことを特徴とする、ステップと、
    前記コンピュータ装置が、推定された少なくとも１つの社会的関係を使用して、可能性のある行動指針を提案するステップと、
    を含み、
    前記推論規則は、一階述語論理を使用して表現された複数の論理式から成る集合体であり、前記論理式においては、年齢や性別、画像に写っている人物との間の社会的関係および制約条件が定められており、前記周辺確率は、前記重み係数によってそれぞれ重み付けされた全ての前記論理式に跨って多数の真値基礎を重み付け合計することによって算出され、前記重み付け係数の各々は、前記論理式の各々の重要度に対応している、ことを特徴とする方法。
  2. コンピュータ装置が、画像の集合からファミリー・ツリーを生成する方法であって、前記画像は、デジタル静止画像データまたはビデオ画像データであり、
    前記コンピュータ装置が、前記画像の集合をサーチして個人を識別し、識別された個人の性別及び年齢の範囲を決定するステップと、
    前記コンピュータ装置が、前記識別された個人の性別及び年齢の範囲を使用して、前記識別された個人間の少なくとも２つの社会的関係を推定するステップであって、前記少なくとも１つの社会的関係を推定することは、
    前記画像に写っている少なくとも２つの顔に関して、性別と年齢の形跡および特定の人物との対応関係を推定する動作、
    学習用データを使用して異なる複数の年齢区分、性別および社会的関係の種類について最適化された推論規則とその重み係数を学習する動作と、
    重み付けされた前記推論規則および前記形跡の上で推論を実行することにより、画像内に写っている複数の人物に関する年齢、性別及び社会的関係の周辺確率を見出す動作と、を含むことを特徴とする、ステップと、
    前記コンピュータ装置が、推定された少なくとも２つの社会的関係を使用して、ファミリー・ツリーを生成するステップと、
    前記コンピュータ装置が、生成されたファミリー・ツリーが前記画像の集合に関連されるように、前記生成されたファミリー・ツリーを記憶するステップと、
    を含み、前記推論規則は、一階述語論理を使用して表現された複数の論理式から成る集合体であり、前記論理式においては、年齢や性別、画像に写っている人物との間の社会的関係および制約条件が定められており、前記周辺確率は、前記重み係数によってそれぞれ重み付けされた全ての前記論理式に跨って多数の真値基礎を重み付け合計することによって算出され、前記重み付け係数の各々は、前記論理式の各々の重要度に対応している、ことを特徴とする方法。
  3. コンピュータ装置が、画像の集合における個人間の社会的関係を分類して、前記画像の集合をサーチする方法であって、前記画像は、デジタル静止画像データまたはビデオ画像データであり、
    前記コンピュータ装置が、前記画像の集合をサーチして個人を識別し、識別された個人の性別及び年齢の範囲を決定するステップと、
    前記コンピュータ装置が、前記識別された個人の性別及び年齢の範囲を使用して、前記識別された個人間の少なくとも１つの社会的関係を推定するステップであって、前記少なくとも１つの社会的関係を推定することは、
    前記画像に写っている少なくとも２つの顔に関して、性別と年齢の形跡および特定の人物との対応関係を推定する動作、
    学習用データを使用して異なる複数の年齢区分、性別および社会的関係の種類について最適化された推論規則とその重み係数を学習する動作と、
    重み付けされた前記推論規則および前記形跡の上で推論を実行することにより、画像内に写っている複数の人物に関する年齢、性別及び社会的関係の周辺確率を見出す動作と、を含むことを特徴とする、ステップと、
    前記コンピュータ装置が、推定された少なくとも１つの社会的関係に基づいて画像の集合をサーチするステップと、
    を含み、前記推論規則は、一階述語論理を使用して表現された複数の論理式から成る集合体であり、前記論理式においては、年齢や性別、画像に写っている人物との間の社会的関係および制約条件が定められており、前記周辺確率は、前記重み係数によってそれぞれ重み付けされた全ての前記論理式に跨って多数の真値基礎を重み付け合計することによって算出され、前記重み付け係数の各々は、前記論理式の各々の重要度に対応している、ことを特徴とする方法。
JP2011533168A 2008-10-25 2009-10-20 推定される社会的関係に基づいた行動の提案 Expired - Fee Related JP5639065B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/258,390 US20100106573A1 (en) 2008-10-25 2008-10-25 Action suggestions based on inferred social relationships
US12/258,390 2008-10-25
PCT/US2009/005696 WO2010047773A2 (en) 2008-10-25 2009-10-20 Action suggestions based on inferred social relationships

Publications (3)

Publication Number Publication Date
JP2012509519A JP2012509519A (ja) 2012-04-19
JP2012509519A5 JP2012509519A5 (ja) 2012-10-11
JP5639065B2 true JP5639065B2 (ja) 2014-12-10

Family

ID=42118407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011533168A Expired - Fee Related JP5639065B2 (ja) 2008-10-25 2009-10-20 推定される社会的関係に基づいた行動の提案

Country Status (5)

Country Link
US (1) US20100106573A1 (ja)
EP (1) EP2380123A2 (ja)
JP (1) JP5639065B2 (ja)
CN (1) CN103119620A (ja)
WO (1) WO2010047773A2 (ja)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7886024B2 (en) * 2004-07-01 2011-02-08 Microsoft Corporation Sharing media objects in a network
US20080263449A1 (en) * 2007-04-20 2008-10-23 Microsoft Corporation Automated maintenance of pooled media content
US9373076B1 (en) * 2007-08-08 2016-06-21 Aol Inc. Systems and methods for building and using social networks in image analysis
US9721148B2 (en) * 2007-12-31 2017-08-01 Applied Recognition Inc. Face detection and recognition
US9639740B2 (en) * 2007-12-31 2017-05-02 Applied Recognition Inc. Face detection and recognition
JP2010134910A (ja) * 2008-11-07 2010-06-17 Fujifilm Corp ペット画像検出システムおよびその動作制御方法
US20100185630A1 (en) * 2008-12-30 2010-07-22 Microsoft Corporation Morphing social networks based on user context
US8452805B2 (en) * 2009-03-05 2013-05-28 Kinpoint, Inc. Genealogy context preservation
US8161063B2 (en) * 2009-09-11 2012-04-17 Eastman Kodak Company Multimedia object retrieval from natural language queries
CN102043820A (zh) * 2009-10-26 2011-05-04 鸿富锦精密工业（深圳）有限公司 人脉关系分析***及方法
US9990429B2 (en) * 2010-05-14 2018-06-05 Microsoft Technology Licensing, Llc Automated social networking graph mining and visualization
US8675981B2 (en) * 2010-06-11 2014-03-18 Microsoft Corporation Multi-modal gender recognition including depth data
US20120054190A1 (en) * 2010-08-27 2012-03-01 Aiv Technology Llc Electronic family tree generation and display system
US8495143B2 (en) 2010-10-29 2013-07-23 Facebook, Inc. Inferring user profile attributes from social information
US9460299B2 (en) 2010-12-09 2016-10-04 Location Labs, Inc. System and method for monitoring and reporting peer communications
US9268956B2 (en) 2010-12-09 2016-02-23 Location Labs, Inc. Online-monitoring agent, system, and method for improved detection and monitoring of online accounts
US20120158935A1 (en) * 2010-12-21 2012-06-21 Sony Corporation Method and systems for managing social networks
US9536268B2 (en) 2011-07-26 2017-01-03 F. David Serena Social network graph inference and aggregation with portability, protected shared content, and application programs spanning multiple social networks
JP5921101B2 (ja) * 2011-07-08 2016-05-24 キヤノン株式会社 情報処理装置、制御方法、プログラム
US11411910B2 (en) 2011-07-26 2022-08-09 Frank A Serena Shared video content employing social network graph inference
US20130046637A1 (en) * 2011-08-19 2013-02-21 Firethorn Mobile, Inc. System and method for interactive promotion of products and services
US9740883B2 (en) 2011-08-24 2017-08-22 Location Labs, Inc. System and method for enabling control of mobile device functional components
US8738688B2 (en) 2011-08-24 2014-05-27 Wavemarket, Inc. System and method for enabling control of mobile device functional components
US9407492B2 (en) 2011-08-24 2016-08-02 Location Labs, Inc. System and method for enabling control of mobile device functional components
TWI522821B (zh) * 2011-12-09 2016-02-21 致伸科技股份有限公司 相片管理系統
DE112011106081T5 (de) * 2011-12-28 2014-09-11 Intel Corp. Fördern von Aktivität während Perioden sitzender Tätigkeit
US9183597B2 (en) * 2012-02-16 2015-11-10 Location Labs, Inc. Mobile user classification system and method
US9489531B2 (en) 2012-05-13 2016-11-08 Location Labs, Inc. System and method for controlling access to electronic devices
US8897822B2 (en) 2012-05-13 2014-11-25 Wavemarket, Inc. Auto responder
US9374399B1 (en) * 2012-05-22 2016-06-21 Google Inc. Social group suggestions within a social network
TWI552098B (zh) * 2012-07-17 2016-10-01 Chunghwa Telecom Co Ltd Electronic billboarding system based on inter - party relationship judgment
US8938411B2 (en) * 2012-08-08 2015-01-20 Facebook, Inc. Inferring user family connections from social information
US9196008B2 (en) * 2012-08-13 2015-11-24 Facebook, Inc. Generating guest suggestions for events in a social networking system
US9483852B2 (en) * 2012-08-27 2016-11-01 Thomas Michael Auga Method for displaying and manipulating genealogical data using a full family graph
US9377933B2 (en) * 2012-09-24 2016-06-28 Facebook, Inc. Displaying social networking system entity information via a timeline interface
US10402426B2 (en) 2012-09-26 2019-09-03 Facebook, Inc. Generating event suggestions for users from social information
US20140250178A1 (en) * 2013-03-01 2014-09-04 Google Inc. Content based discovery of social connections
US10560324B2 (en) 2013-03-15 2020-02-11 Location Labs, Inc. System and method for enabling user device control
WO2014172827A1 (en) * 2013-04-22 2014-10-30 Nokia Corporation A method and apparatus for acquaintance management and privacy protection
US20150032535A1 (en) * 2013-07-25 2015-01-29 Yahoo! Inc. System and method for content based social recommendations and monetization thereof
US20150081464A1 (en) * 2013-09-13 2015-03-19 International Business Machines Corporation Smart social gifting
CN103544236A (zh) * 2013-10-07 2014-01-29 宁波芝立软件有限公司 一种通过确定未知关系人来推导亲缘关系方法
TWI528309B (zh) * 2013-11-20 2016-04-01 財團法人資訊工業策進會 適性廣告物件的顯示方法、行動裝置以及其產生系統
CN104144203B (zh) * 2013-12-11 2016-06-01 腾讯科技（深圳）有限公司 信息共享方法及装置
CN103886011B (zh) * 2013-12-30 2017-04-12 讯飞智元信息科技有限公司 一种基于索引文件的社会关系网络创建与检索***及方法
CN103810248B (zh) * 2014-01-17 2017-02-08 百度在线网络技术（北京）有限公司 基于照片查找人际关系的方法和装置
CN104809132B (zh) * 2014-01-27 2018-07-31 阿里巴巴集团控股有限公司 一种获取网络主体社交关系类型的方法及装置
US10015770B2 (en) * 2014-03-24 2018-07-03 International Business Machines Corporation Social proximity networks for mobile phones
US9237426B2 (en) 2014-03-25 2016-01-12 Location Labs, Inc. Device messaging attack detection and control system and method
US9854025B2 (en) 2014-05-16 2017-12-26 Google Inc. Soliciting and creating collaborative content items
US10148805B2 (en) 2014-05-30 2018-12-04 Location Labs, Inc. System and method for mobile device control delegation
WO2015190856A1 (ko) * 2014-06-12 2015-12-17 경희대학교산학협력단 관계 유형을 고려한 코칭 방법 및 시스템
KR101761999B1 (ko) * 2014-06-12 2017-07-28 경희대학교 산학협력단 관계 유형을 고려한 코칭 방법 및 시스템
US9697828B1 (en) * 2014-06-20 2017-07-04 Amazon Technologies, Inc. Keyword detection modeling using contextual and environmental information
CN105323143B (zh) * 2014-06-24 2021-01-15 腾讯科技（深圳）有限公司 基于即时通讯的网络信息推送方法、装置和***
US10740802B2 (en) * 2014-08-18 2020-08-11 Fuji Xerox Co., Ltd. Systems and methods for gaining knowledge about aspects of social life of a person using visual content associated with that person
US10163129B1 (en) * 2014-09-05 2018-12-25 Groupon, Inc. Method and apparatus for providing promotion recommendations
CN106201161B (zh) * 2014-09-23 2021-09-03 北京三星通信技术研究有限公司 电子设备的显示方法及***
US10417271B2 (en) * 2014-11-25 2019-09-17 International Business Machines Corporation Media content search based on a relationship type and a relationship strength
JP6436440B2 (ja) * 2014-12-19 2018-12-12 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 生成装置、生成方法、及び、プログラム
US10418762B2 (en) * 2015-03-09 2019-09-17 ZPE Systems, Inc. High serial port count infrastructure management device
US9853860B2 (en) 2015-06-29 2017-12-26 International Business Machines Corporation Application hierarchy specification with real-time functional selection
US9705997B2 (en) * 2015-06-30 2017-07-11 Timothy Dorcey Systems and methods for location-based social networking
CN105868447B (zh) * 2016-03-24 2019-05-24 南京邮电大学 基于双层网络的用户通讯行为分析及模型仿真***
CN106445654B (zh) * 2016-08-31 2019-06-11 北京康力优蓝机器人科技有限公司 确定响应控制命令优先顺序的方法及装置
US10157307B2 (en) * 2016-10-20 2018-12-18 Facebook, Inc. Accessibility system
CN106776781B (zh) * 2016-11-11 2018-08-24 深圳云天励飞技术有限公司 一种人群关系网络分析方法及装置
US10635889B2 (en) * 2016-12-29 2020-04-28 Rolf Herd Displaying a subject composition
US10691950B2 (en) 2017-03-10 2020-06-23 Turing Video, Inc. Activity recognition method and system
US11475671B2 (en) 2017-05-26 2022-10-18 Turing Video Multiple robots assisted surveillance system
US11010808B1 (en) * 2017-06-29 2021-05-18 United Services Automobile Association (Usaa) System and medium for providing financial products via augmented reality
CN107741996A (zh) * 2017-11-30 2018-02-27 北京奇虎科技有限公司 基于人脸识别的家庭图谱构建方法及装置、计算设备
KR102584459B1 (ko) * 2018-03-22 2023-10-05 삼성전자주식회사 전자 장치 및 이의 인증 방법
US10796154B2 (en) * 2018-06-25 2020-10-06 Bionic 8 Analytics Ltd. Method of image-based relationship analysis and system thereof
CN110334176B (zh) * 2019-06-05 2023-10-17 青岛聚看云科技有限公司 一种社会关系建立方法、信息获取方法及装置
CN111652451B (zh) * 2020-08-06 2020-12-01 腾讯科技（深圳）有限公司 社交关系的获取方法和装置及存储介质
CN113343112A (zh) * 2021-06-30 2021-09-03 北京百易数字技术有限公司 基于社交媒体的客户关系管理方法及***

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6212291B1 (en) * 1998-01-29 2001-04-03 Eastman Kodak Company Method for recognizing multiple irradiation fields in digital radiography
US7174029B2 (en) * 2001-11-02 2007-02-06 Agostinelli John A Method and apparatus for automatic selection and presentation of information
JP4198951B2 (ja) * 2002-07-17 2008-12-17 独立行政法人科学技術振興機構 グループ属性推定方法及びグループ属性推定装置
US7362919B2 (en) * 2002-12-12 2008-04-22 Eastman Kodak Company Method for generating customized photo album pages and prints based on people and gender profiles
JP2004227158A (ja) * 2003-01-21 2004-08-12 Omron Corp 情報提供装置および情報提供方法
JP2004304585A (ja) * 2003-03-31 2004-10-28 Ntt Docomo Inc 画像管理装置、画像管理方法及び画像管理用プログラム
US7890871B2 (en) * 2004-08-26 2011-02-15 Redlands Technology, Llc System and method for dynamically generating, maintaining, and growing an online social network
US8000505B2 (en) * 2004-09-01 2011-08-16 Eastman Kodak Company Determining the age of a human subject in a digital image
US20060184800A1 (en) * 2005-02-16 2006-08-17 Outland Research, Llc Method and apparatus for using age and/or gender recognition techniques to customize a user interface
US20060274949A1 (en) * 2005-06-02 2006-12-07 Eastman Kodak Company Using photographer identity to classify images
JP2007086546A (ja) * 2005-09-22 2007-04-05 Fujifilm Corp 広告印刷装置、広告印刷方法及び広告印刷プログラム
US20070098303A1 (en) * 2005-10-31 2007-05-03 Eastman Kodak Company Determining a particular person from a collection
WO2007083313A2 (en) * 2006-01-19 2007-07-26 Famillion Ltd Construction and use of a database
US7711145B2 (en) * 2006-01-27 2010-05-04 Eastman Kodak Company Finding images with multiple people or objects
US7668405B2 (en) * 2006-04-07 2010-02-23 Eastman Kodak Company Forming connections between image collections
US20080040428A1 (en) * 2006-04-26 2008-02-14 Xu Wei Method for establishing a social network system based on motif, social status and social attitude
US20070266003A1 (en) * 2006-05-09 2007-11-15 0752004 B.C. Ltd. Method and system for constructing dynamic and interacive family trees based upon an online social network
US20080103784A1 (en) * 2006-10-25 2008-05-01 0752004 B.C. Ltd. Method and system for constructing an interactive online network of living and non-living entities
WO2008057288A2 (en) * 2006-10-26 2008-05-15 Technology Mavericks, Llc Social networking system and method
WO2008052344A1 (en) * 2006-11-01 2008-05-08 0752004 B.C. Ltd. Method and system for genetic research using genetic sampling via an interactive online network
US8224359B2 (en) * 2006-12-22 2012-07-17 Yahoo! Inc. Provisioning my status information to others in my social network
US8224862B2 (en) * 2007-01-12 2012-07-17 Geni, Inc. System and method for providing a networked viral family tree
US20080263080A1 (en) * 2007-04-20 2008-10-23 Fukuma Shinichi Group visualization system and sensor-network system
US7953690B2 (en) * 2008-01-25 2011-05-31 Eastman Kodak Company Discovering social relationships from personal photo collections
US8416997B2 (en) * 2010-01-27 2013-04-09 Apple Inc. Method of person identification using social connections
US20110188742A1 (en) * 2010-02-02 2011-08-04 Jie Yu Recommending user image to social network groups

Also Published As

Publication number Publication date
EP2380123A2 (en) 2011-10-26
JP2012509519A (ja) 2012-04-19
WO2010047773A2 (en) 2010-04-29
WO2010047773A3 (en) 2016-03-10
US20100106573A1 (en) 2010-04-29
CN103119620A (zh) 2013-05-22

Similar Documents

Publication Publication Date Title
JP5639065B2 (ja) 推定される社会的関係に基づいた行動の提案
US11947588B2 (en) System and method for predictive curation, production infrastructure, and personal content assistant
US8897485B2 (en) Determining an interest level for an image
US9014510B2 (en) Method for presenting high-interest-level images
US7953690B2 (en) Discovering social relationships from personal photo collections
US9014509B2 (en) Modifying digital images to increase interest level
US20140002342A1 (en) System for presenting high-interest-level images
US20140002644A1 (en) System for modifying images to increase interestingness
US20110191271A1 (en) Image tagging based upon cross domain context
US10474899B2 (en) Social engagement based on image resemblance
US20150206222A1 (en) Method to construct conditioning variables based on personal photos
Neve et al. ImRec: Learning reciprocal preferences using images
Gelli et al. Learning subjective attributes of images from auxiliary sources
Sabet Social Media Posts Popularity Prediction During Long-Running Live Events A case study on Fashion Week
Chen et al. A selfie is worth a thousand words: Mining personal patterns behind user selfie-posting behaviours
Park et al. M2FN: Multi-step modality fusion for advertisement image assessment
Kumar et al. Machine Learning—Basics
Gras et al. A recommendation system for decentralized autonomous organization
Jhamb Machine Learning Models for Context-Aware Recommender Systems
JAVADIAN SABET Social media posts popularity prediction during long-running live events. A case study on fashion week
Duanis et al. Visual Representation for Capturing Creator Theme in Brand-Creator Marketplace
Sumalatha et al. Recommending You Tube Videos based on their Content Efficiently
Larsen Developing and Comparing Similarity Functions for the News Recommender Domain Using Human Judgments
Pavlov Essays on Visual Marketing
Gelli Learning Visual Attributes for Discovery of Actionable Media

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120822

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120822

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131009

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140709

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140717

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141023

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees