JP5828456B2

JP5828456B2 - コメント付与及び配信システム、及び端末装置

Info

Publication number: JP5828456B2
Application number: JP2011547723A
Authority: JP
Inventors: 久夛良木　健; 健久夛良木; 隆薄; 靖彦横手
Original assignee: CYBER AI ENTERTAINMENT Inc
Current assignee: CYBER AI ENTERTAINMENT Inc
Priority date: 2009-12-28
Filing date: 2010-12-28
Publication date: 2015-12-09
Anticipated expiration: 2030-12-28
Also published as: WO2011081194A1; JPWO2011081194A1

Description

本発明は、広くソーシャル・ネットワーキング・サービス（ＳＮＳ）やネットワークに構築されたコミュニケーション・サイトにおけるコメント等の付与及び配信システム、及び端末装置に関し、特に、ユーザ間で共有される静止画像コンテンツ及び動画像コンテンツに対するコメント等の付与及びリアルタイム配信技術に関する。

１９９０年代後半、通信ネットワークやインターネット上に構築されたユーザ間の社会的関係を促進する目的で、ソーシャル・ネットワーク・サービスあるいはソーシャル・ネットワーク・サイトの運営が開始された。ソーシャル・ネットワーク・サービスにおいては、ユーザ検索機能、メッセージ送受信機能、掲示板などのコミュニティ機能等によって、ユーザとユーザとのコミュニケーションが促進される。例えば、ソーシャル・ネットワーク・サービスのユーザは、趣味・嗜好を同じくする他のユーザが集う掲示板に参加して文書や画像、音声等の情報を交換し、また、自分の友人を他の知人に紹介することにより、人と人との繋がりを深め、広げていくことができる。２０００年代に入ると、米国では、ｍｙｓｐａｃｅ_TMがサービスを開始し、２００９年現在で世界最大のコミュニティ・サイトに成長している。日本においても、２００４年にｍｉｘｉ（登録商標）の運用が開始され、２００９年現在で国内最大級の会員数を有するＳＮＳとなっている。近年では、パソコンのみならず、携帯電話向けのポータルサイトの運営も大規模化しており、実質的にソーシャル・ネットワーク・サービスとして機能しているものも多い。

ソーシャル・ネットワーク・サービスにおけるサービスのひとつに、静止画像や動画像の共有機能がある。例えば、ユーザがアップロードした静止画像データや動画像データを他のユーザが閲覧し、感想や意見などのコメントを発言すると、コメントは静止画像や動画像にリンクされ、例えばコメントした人のハンドルネーム及びコメント日時（さらに必要に応じて評価ランク）とともに表示される。あとから閲覧したユーザは、既に付与されたコメントとともに静止画像や動画像を閲覧することができ、さらなるコメントを付与することができる。

例えば、従来技術として、ユーザ間において、同じ動画を共有して、コメントを利用しコミュニケーションを図ることができるコメント配信システムがある（特許文献１）。このシステムは、コメント情報をコメント配信サーバから受信し、再生される動画を表示するとともに、当該コメント情報のうち、再生する動画の動画再生時間に対応するコメント付与時間が対応づけられたコメントをコメント情報から読み出し、読み出したコメントを動画とともに表示する。そして、コメント情報をリストとして表示をし、表示されたコメント情報からコメントデータが選択されると、選択されたコメントデータのコメント付与時間に対応する動画再生時間から、動画を再生させるとともに、読み出したコメントデータを表示部によって表示させる。また、コメントの入力を受け付けて、コメント内容が入力された時点の動画再生時間をコメント付与時間としてコメント内容とともに前記コメント配信サーバに送信する。

また、ユーザが投稿したコメント情報を分析することにより、このユーザの嗜好動向に応じたコンテンツ情報を提供する情報システムがある（特許文献２）。このシステムは、インターネットを介してコンテンツ提供サイトから端末に連続した物語などの情報コンテンツを配信するシステムである。コンテンツ提供サイトは、配信済みのコンテンツ情報に対するコメント情報をユーザから受け付ける電子掲示板を提供している。ユーザは端末を介して電子掲示板にアクセスし、前回配信されたコンテンツ情報（例えば、本の前章の内容）に対するコメント情報（意見や感想）を投稿する。コンテンツ提供サイトは、電子掲示板に投稿されたコメント情報を分析することでユーザの嗜好動向を求め、これに適応した内容のコンテンツ情報（例えば、本の次章の内容）を配信する。

他方、ソーシャル・ネットワーク・サービスのビジネスモデルに着目すると、その運営形態には、ユーザ課金モデルや広告収入モデル等があるが、広告収入モデルにおいては、如何にユーザに適切な広告を提示するかが重要となる。この点に関し、写真画像コンテンツが撮影された場所に応じた適切な広告を配信する技術（特許文献３）、配信対象となるユーザに合った効率的な広告を配信することができる技術（特許文献４）がある。

特許文献３に開示された技術によれば、表示対象画像判定手段により、閲覧要求で指定されたコンテンツの内容を示す電子文書で表示対象として指定されている写真データが表示対象画像と判定され、表示対象広告決定手段により、表示対象画像の撮影場所との間の距離が近い広告対象施設の広告画像が優先的に表示対象に決定される。

また、特許文献４に開示された技術によれば、ユーザに関連する関連者ＩＤを含む個人プロファイル情報を取得し、この関連者ＩＤに相当するユーザＩＤが付与された評判情報を残した履歴のあるコンテンツ情報を取得してユーザの端末装置に送信される。これにより、ユーザ自身に関連するユーザが残した評判情報を送信対象のユーザに送信することができ、ユーザに対し、コンテンツの信頼度を向上させ、ユーザに合った効率的な広告を行うことができる。

特開２００９−０７７４４３号公報特開２００２−１６９８３０号公報特開２００９−２１１４２２号公報特開２００８−１９１９７９号公報

G. Csurka, C. Bray, C. Dance, and L. Fan, "Visual categorization with bags of keypoints," Proc. ECCV Workshop on Statistical Learning in Computer Vision, pp.1-22, 2004. David G.Lowe, "Object Recognition from Local Scale-Invariant Features," Proc. IEEE International Conference on Computer Vision, pp.1150-1157, 1999.

しかしながら、従来の技術においては、動画を共有してコメントを付与する場合であっても、ある再生時刻における映像全体へのコメントを付与することを主眼としている。つまり、ユーザが映像や画像のなかのどの物体に着目したかを抽出することはできなかった。また、抽出した着目物体を例えば階層的に管理することはできなかった。

さらに、ユーザのコメント情報を分析して嗜好動向を求める場合であっても、分析の元になる情報は、関連情報に含まれる文字や単語、あるいはキーワードである。分析もこれら文字や単語、キーワードの一致度または関連度を算出するものであって、いわば、テキスト処理分析が中心となっている。

また、コメントやコンテンツに関連する広告を配信する場合にあっても、従来は画像が撮影された位置に基づいて近隣施設の広告を優先的に表示させたり、ユーザに関するプロファイル情報にもとづいてコンテンツの信頼性を向上させたりするものが多く、コンテンツの属性データ（どこで撮影されたか、誰によるコメントか）に関連する情報の分析に重きを置いている。

また、上述のシステムにおいては、コンテンツに対するコメントや感想をアップロードするのは常にユーザであって、画像または映像においてユーザが着目したものに対してシステムからコメントは配信されない。しかしながら、例えば画像等においてユーザが着目した物体をシステムが検出する過程で、この物体に関連する情報をシステムがユーザに役立つ（あるいはユーザを楽しませる）エンタテインメント性の高いコメントとして自動的に付与されることができれば、ＳＮＳの付加価値は高まる。さらに、ユーザが着目した物体の変遷、あるいはコメント内容の変遷を考慮した広告を抽出し、これを特定のユーザに配信することができれば、システムサービスの運用面でもＳＮＳの付加価値はいっそう高まる。

そこで、本発明は、ソーシャル・ネットワーキング・サービスやネットワークに構築されたコミュニケーション・サイト等において、ユーザがコンテンツの何に着目したかを抽出し、あるいは抽出する過程においてもシステムからの興味深いコメントが得られ、抽出された物体等の管理及びコメント等の分析に基づいてコメントを付与及び配信するシステム、及び端末装置を提供することを目的とする。

本発明に係るコメント付与及び配信システムは、コンテンツを配信するサーバを備え、配信されたコンテンツ及びユーザがサーバにアップロードした画像中の特定物体を、ユーザからの特定物体画像検索要求により検索し、その結果を配信画像に加えて複数の閲覧者に閲覧させることを特徴とする。

また、本発明に係るコメント付与及び配信システムは、コンテンツを配信するサーバを備え、配信されたコンテンツ及びユーザがサーバにアップロードした画像中に現れる特定物体を、コンテンツを配信するサーバに接続された画像認識エンジンが自律的に抽出して認識し、その結果を配信画像に加えて複数の閲覧者に閲覧させることを特徴とする。

また、サーバが送り出した画像抽出及び／又は認識結果をもとに、（１）特定画像検索エンジンとユーザとの間で認識に関わるプロセスや情報を共有する、（２）ユーザが新たに作成付与したコメントを複数の閲覧者に閲覧させる、（３）画像認識エンジンが作成付与したコメントを複数の閲覧者に閲覧させる、ことの少なくとも１つあるいは２以上の組み合わせを行うことを特徴とする。

また、サーバから配信されるコンテンツ中、及び／又は、共有されるユーザが作成しサーバにアップロードするコンテンツ（ＵＧＣ: user generated content）中の検出可能な特定着目物体に関連した広告をユーザに提示するとともに、請求項１〜３において抽出されたマーケティング情報を第三者に提供することを特徴とする。

本発明に係るコメント付与及び配信システム、及び端末装置によれば、共有された静止画像コンテンツ又は動画像コンテンツにおいてユーザが着目した物体をリアルタイムに配信できる意思疎通性の高いソーシャル・ネットワーキング・サービスないしコミュニケーション・システムを提供することができる。
特に、本発明に係るコメント付与及び配信システム、及び端末装置の有機的な相互作用によって、次のような効果を奏する。
（１）着目した画像中の検出物体上に、共有の視聴者がリアルタイムでコメントを付加する事ができるので、どの視聴者が画像中の何に着目したうえでコメントしているかを視覚的直感的に伝えることができるコミュニケーション・システムを提供することができる。
（２）共有の視聴者が、呟いたり叫んだりする音声や言葉を自動的に認識し、これを所定のルールに基づいて文字や記号、アニメーションに変換することも、一般的な音声技術を付加することでできるので、視聴者同士のコミュニケーションをより楽しく円滑にするコミュニケーション・システムを提供することができる。
（３）物体認識部がコンテンツ上の着目物体の認識に関わる経過において、関連する情報を文字や記号で自動的にコメントとして付加することができるので、視聴者にとってエンタテインメント性の高いコミュニケーション・システムを提供することができる。
（４）付与されたコメント及び着目物体ないし認識物体の記録（ログ）を解析することにより、例えばユーザが具体的に着目した物体や着目した物体の変遷に基づいたマーケティング情報を抽出することができる。また、ユーザが具体的に着目した物体や着目した物体の変遷に基づいた広告を個別のユーザに配信することで、配信時点での個々のユーザのニーズにマッチした効率のよい広告配信が可能となる。

本発明に係るコメント付与及び配信システムの一実施形態を説明する説明図である。本発明に係るコメント付与及び配信システムの一実施形態において実施可能なコンテンツ配信サーバの機能ブロックを説明する説明図である。本発明に係るコメント付与及び配信システムの一実施形態において実施可能な端末装置の機能ブロックを説明する説明図である。本発明に係るコメント付与及び配信システムの一実施形態における処理フロー説明する説明図である。本発明に係るコメント付与及び配信システムの一実施形態におけるタイムシーケンスを説明する説明図である。本発明に係るコメント付与及び配信システムの一実施形態におけるディスプレイ画面例を説明する説明図である。本発明に係るコメント付与及び配信システムの一実施形態におけるディスプレイ画面例を説明する説明図である。本発明に係るコメント付与及び配信システムの一実施形態における共有動画に対するコメント付与及び配信のタイムシーケンスを説明する説明図である。本発明に係るコメント付与及び配信システムの一実施形態におけるコメントの集計例を説明する説明図である。

以下、本発明に係るコメント付与及び配信システム、及び端末装置を実施するための形態について詳述する。

図１に、本発明に係るコメント付与及び配信システムの一実施形態を示す。コメント付与及び配信システム１００は、コンテンツ配信サーバ１０１と、物体認識サーバ１０２と、ユーザが使用する端末装置１０５ａ〜１０５ｄとからなり、いずれもネットワークないしインターネット１０４に接続されている。なお、本実施形態では、通信の高速性を重視し、コンテンツ配信サーバ１０１及び物体認識サーバ１０２はインターネットに限らないネットワーク１０３で接続している。

ここで、サーバとは、クライアントからの要求に対して何らかのサービスを提供するコンピュータシステムであり、１台のサーバシステムのみならず、複数のサーバシステムが結合したコンピュータ群をも意味し、複数のソフトウェアにより駆動される。したがって、本明細書では、サーバの意義を上記のとおり位置付ける。

また、ハードウェアとしてのコンピュータは、最も基本的な構成としては、命令バス及びデータバスで接続された算術論理演算ユニットと制御ユニットと記憶装置と入出力装置とを備えた電子計算機である。入出力インタフェースを介して入出力装置から入力された情報（ビットデータ）に基づき算術論理演算ユニットにおいて算術演算や論理演算、比較演算、シフト演算等が実行される。実行されたデータは必要に応じて記憶装置に記憶され、入出力装置から出力される。これら一連の処理は、記憶装置に記憶されたソフトウェアプログラムによって制御される。本発明における各サーバマシンも、上記のとおりのコンピュータとしての基本機能を最低限備えたハードウェアであり、オペレーティングシステムやデバイスドライバ、そしてアプリケーションソフトウェアといったプログラム群によって制御されている。

図２に、本発明に係るコメント付与及び配信システムの一実施形態におけるコンテンツ配信サーバ及び物体認識サーバの機能ブロックを示す。コンピュータ上で起動されるコンテンツ配信サーバ１０１は、ソフトウェア機能ブロックとして、ユーザ管理部２０１と、コンテンツ配信部２０２と、コメント管理部２０３とからなり、物体認識サーバ１０２は、画像認識部２０４と、画像処理部２０５と、コメント分析（処理）部２０６と、広告管理部２０７とからなる。ただし、これらの構成は、必ずしも図２の構成に限定されるものではない。

ユーザ管理部２０１は、コンテンツ配信を受ける会員等のプロフィールデータ等を管理するための機能ブロックであり、ユーザ（会員）同士のコミュニケーションに利用される。しかしながらコンテンツ配信サービスを不特定多数のユーザに行う無料のサービスとして実施した場合、パケット送信時のＩＰアドレス等によってユーザを区別することもできるので、ユーザ管理部の機能の一部又は全部を省略することができる。

コンテンツ配信部２０２は、静止画や動画等のコンテンツをユーザに配信する機能ブロックである。静止画や動画とともにタグ情報やテキスト情報を配信するようにも構成可能である。すわなち、コンテンツの基本ソースには、テキスト、音声、画像、動画（ストリーミング）があり、これらのコンテンツ同士を組み合わせた場合の数多くのバリエーションが存在する。なお、動画配信の場合には、ストリーミング配信を効率的に行うために複数のサーバ群からなるシステムや、データベース処理を伴う動的な構成をとり得る。

コメント管理部２０３は、複数のユーザによって共有可能なコメントを管理するデータベースである。「共有可能」とは、複数のユーザが同時に閲覧でき、互いにコメント等を付与しあってコメントによるコミュニケーションが可能となっている状態である。したがって、コメント管理部におけるデータベース（不図示）のデータ構造の一例は、下表のとおりである。

まず、本発明に係る一つのコンテンツに対するコメント付与及び配信システムは、後述するように、ユーザが配信画像（動画）中のどの物体に着目したかを認識することができるので、コンテンツごとに複数の着目物体を管理するためのデータ構造が用意されている。

そして、それぞれの着目物体に関し、コメントが付与された時間や、コメントを付与したユーザ名（ユーザＩＤ）、コメント領域、コメント内容を管理するためのデータ構造が用意されている。なお、上記の着目物体ＩＤもユーザが画像中のどの物体に着目したかを示す、ユーザによるコメントとみなすことができる。

画像認識部２０４は、ユーザが着目した画像の切り出し処理や、一般物体認識、特定物体認識といった画像認識処理、動画中の物体の動きを検出する動き検出処理を行うソフトウェアモジュールを備えている機能ブロックである。より具体的には、例えば切り出し処理には画像中の物体の輪郭を画素値の変化に基づいて抽出する古典的なアルゴリズムや、セグメントごとに切り出すアルゴリズムがある。また、一般物体認識には、例えば、画像をビジュアル・ワード（visual word）と呼ばれる代表的な局所パターン画像片の出現頻度ヒストグラムで表現する"Bag-of-Keypoints"あるいは"Bag-of-Features"と呼ばれる手法がある（非特許文献１）。特定物体認識には、例えば局所特徴量に着目したＳＩＦＴ法（非特許文献２）のほか、ＳＵＲＦ法等種々の手法がある。

画像処理部２０５は、ユーザが入力したコメントを視覚的効果として画像処理する機能ブロックであり、３次元物体を描画するレンダリング処理を含む。

コメント分析（処理）部２０６は、例えば着目物体の着目数をカウントする等の集計処理を行う機能ブロックである。広告管理部２０７は、コメントの配信とともに、あるいは単独でユーザに配信可能な広告データ（不図示）が管理されている。また、広告管理部２０７はコメント分析（処理）部２０６と連動しており、コメントの分析結果に基づいてどのユーザにどの広告を配信するか等の判断処理を行う。

図３に、本発明に係るコメント付与及び配信システムの一実施形態における端末装置を示す。端末装置１０５ａ〜１０５ｄは、広くユーザが使用するクライアント端末装置であり、コンピュータ、携帯情報端末（ＰＤＡ）、携帯電話機等が含まれる。つまり、端末装置１０５ａ〜１０５ｄは、多様な種類の電子情報機器が多数インターネットなどのネットワークに接続されている様子をあらわしている。以下、端末装置１０５と記載した場合にはネットワークに接続された端末装置１０５ａ〜１０５ｄのいずれか１台をさす。当然のことながら、端末装置１０５ａ〜１０５ｄはすべて同一機種である必要はない。同等の機能（あるいは実施可能な最低限の機能）を備えた端末装置であればよい。ここでは端末装置１０５の代表的な機能ブロックについて説明する。

端末装置１０５ａ〜１０５ｄは、キーボード、ペン、マウス、マイク等のデバイスで構成される入出部３０１と、ディスプレイ、スピーカ等のデバイスで構成される出力部３０２と、ネットワーク接続部３０３と、ネットワークブラウザ３０４と、各種オブジェクト及びプラグインを処理する処理部３０５とからなる。このほか、図示しないが、ハードディスク等の記憶部、グラフィックス・プロセッシング・ユニット（ＧＰＵ）、音声通話機能部等を備えてもよい。

ネットワーク接続部３０３は、インターネットなどのネットワークに接続するためのインタフェースであって、有線／無線を問わない。

ネットワークブラウザ３０４は、典型的には、Ｗｅｂページを閲覧するためのアプリケーションソフトウェアであるが、広くネットワークを介してデータや情報をまとまった形で閲覧するソフトウェアを含む。そして、ネットワークブラウザ３０４に組み込まれる形で、あるいはネットワークブラウザ３０４と協働する形で、動画や高音質の音声などの各種オブジェクトやアプリケーションに追加機能として提供されたプログラムを実行するプラグイン処理部３０５を備えている。

また、このほか傾きや加速度を検出するセンサ、ＧＰＳ受信機などを必要に応じて搭載することもできる。

次に、図４に基づいて、本発明に係るコメント付与及び配信システムの一実施形態における動作フローを示す。まず、ユーザは、端末１０５からネットワーク１０４を介してコンテンツ配信サーバ１０１にアクセスし、静止画や動画などの共有コンテンツを閲覧する（Ｓ４０１）。そして、画像中に着目する物体があれば、その物体を端末装置１０５のポインティングデバイス（不図示）によって指示し（Ｓ４０２において、Ｙｅｓ）、指示された物体の切り出しが行われる（Ｓ４０３）。そして、切り出された物体がユーザに指示されたであると判断する。

なお、ユーザによる物体の指示及び指示物体の切り出しは、画像中においてユーザが特定の物体に着目していることを示すコメントとなりうる。

次に、Ｓ４０４において、切り出された物体部分の認識を行う。この物体認識には、一例として、一般物体認識及び特定物体認識があり、一般物体認識には、例えば、画像をビジュアル・ワード（visual word）と呼ばれる代表的な局所パターン画像片の出現頻度ヒストグラムで表現する"Bag-of-Keypoints"あるいは"Bag-of-Features"と呼ばれる手法がある（非特許文献１）。特定物体認識には、例えば局所特徴量に着目したＳＩＦＴ法（非特許文献２）のほか、ＳＵＲＦ法等種々の手法がある。

Ｓ４０５において、指示物体（着目物体）に対するコメント入力を受け付ける。例えば、「これは何か？」「これはなんだろう」といったテキスト、記号、音声等の情報がコメントとして入力される。そして、Ｓ４０６に進み、入力されたコメントが着目物体と関連付けられてコメント管理部２０３のメモリ（不図示）に登録され、他のユーザにもそのコメントがリアルタイム配信される。

なお、Ｓ４０４の物体認識過程において、物体認識サーバ１０２がコメントを発信することもできる。例えば、物体認識サーバ１０２は、着目物体の特定ができなかった場合に自ら「これは何か？」というコメントを複数のユーザに配信する。また、一般物体認識はできたが（カテゴリは判明）、特定物体の同定ができなかった場合に、システム自ら「この車の車種が未だ不明です」といったクエリ（テキスト、音声など）を生成し、コメントとして配信したり、集合知を求めることができる。そして、ユーザから返信のあった「その物体は、ＸＸＸＸです」といったコメントを解析し、特定物体を特定する。

次に、図５、図６に基づいて、本発明に係るコメント付与及び配信システムの一実施形態におけるタイムシーケンスと画面例を説明する。

ユーザ１は、図５において時刻ｔ₀にサーバ１０１にログインして、共有画像６００を閲覧する。図６（Ａ）に示すように、共有画像６００には、自動車６０１、ゴルフプレー中の男性６０２、カートを押して買い物をする女性６０３、東京タワー６０４、自動車６０５、自転車に乗る男性６０６が含まれている。

ユーザ２は、図５において時刻ｔ₁（時刻ｔ₀のあと）にログインし、共有画像６００を閲覧する（図６（Ａ））。そして、ユーザ１は、図５における時刻ｔ₂（時刻ｔ₁のあと）に共有画像６００中のゴルフプレー中の男性６０２が持っている「ゴルフクラブ」に着目し、このクラブを指示する。このとき、共有画像６００中の指示座標をユーザ１が時刻ｔ₂に指示したことをメッセージＡとしてサーバ１０１へ送信する。メッセージＡを受信したサーバ１０１は時間Ｔ₀で「ゴルフクラブ」を認識し、ユーザ１がゴルフクラブに着目したことをコメントとしてユーザ１及びユーザ２に配信する（時刻ｔ₂＋Ｔ₀）。このとき、画面中には図６（Ｂ）に示したように、ゴルフクラブにアテンション６１０が施される。アテンション６１０は、ゴルフクラブを取り囲むような輪郭線として表示されているが、本発明はこれに限定されるものではなく、形状や色を含めて種々の表現方法を採用することができる。

続いて、ユーザ２は、時刻ｔ₃にタワー６０４を指示する。このとき、共有画像６００中の指示座標をユーザ２が時刻ｔ₃に指示したことをメッセージＢとしてサーバ１０１へ送信する。メッセージＢを受信したサーバ１０１は時間Ｔ₁でタワー６０４を認識し、ユーザ２がタワー６０４に着目したことをコメントとしてユーザ１及びユーザ２に配信する（時刻ｔ₃＋Ｔ₁）。このとき、画面中には図７（Ａ）に示したように、ゴルフクラブに対するアテンション６１０に加え、タワー６０４にアテンション７１０が施される。

そして、ユーザ３が時刻ｔ₄にログインし、共有画像６００を閲覧する。このとき、ユーザ３は、すでにユーザ１及びユーザ２によって着目された（コメントされた）ゴルフクラブ（及びアテンション６１０）及びタワー６０４（及びアテンション７１０）に目がとまる。そして、アテンション６１０が施されたゴルフクラブが気に入ると同時に、自動車７２０のタイヤにも興味をもち、両方を指示する（時刻ｔ₅）。このとき、共有画像６００中の指示座標をユーザ３が時刻ｔ₅に指示したことをメッセージＣとしてサーバ１０１へ送信する。メッセージＣを受信したサーバ１０１は時間Ｔ₂で「ゴルフクラブ」及び「タイヤ」を認識し、ユーザ３がゴルフクラブ及びタイヤに着目したことをコメントとしてユーザ１、ユーザ２、及びユーザ３に配信する（時刻ｔ₅＋Ｔ₂）。このとき、画面中には、図７（Ｂ）に示したように、タワー６０４に付加されたアテンション７１０、自動車６０５のタイヤに付加されたアテンション７２０に加え、ゴルフクラブには、これまでのアテンション６１０とは異なる、より強調されたアテンション７３０が施される。

アテンション７３０は、着目数２（ユーザ１及びユーザ３）であることを強調するアテンションである。したがって、アテンション７３０の表現形式は、アテンション７１０よりも強調度が高いものであれば、どのような形式を採用してもよい。一実施形態として、アテンション７３０は、アテンション６１０の輪郭内部に半透明処理を施し赤く塗りつぶすことにより、ゴルフクラブをさらに強調している。

次に、時刻ｔ₆にユーザ１がログアウトする。と同時に、「ゴルフクラブ」の強調表示が解除され、その強調度はアテンション６１０に戻る。このように、リアルタイム性を重視する場合には、ユーザ１のログアウトと同時に、共有画像６００に対するアテンションの変化を他のユーザに配信することとしてもよい。あるいは、ユーザ１のログアウト後、一定の期間（数分、数時間、その日一日、３日間、１週間等）着目されたことを維持するよう管理してもよい。あるいは、ユーザによる着目は全て消去せずに、図示しないログに記録しておくこともできる。このように記録したログは、後述するようにマーケティングや広告に使用することができる。

次に、時刻ｔ７にユーザ３がログアウトすると同時に、「ゴルフクラブ」及び「タイヤ」のコメントを解除する。このように、リアルタイム性を重視する場合には、ユーザ３のログアウトと同時に、共有画像６００に対するアテンションの変化を他のユーザに配信することとしてもよい。

なお、図５におけるサーバ１０１による認識時間Ｔ０，Ｔ１，Ｔ２は、極めて短い時間であるので、各コメントは、実質的にリアルタイム配信されているに等しい。

次に、図８に基づいて、本発明の一実施形態において共有動画に対してコメント付与及び配信を行なうタイムシーケンスについて説明する。

ここでの共有動画は、毎秒Ｎフレームで各端末装置に配信されている。例えば、１枚のフレームを各端末で共有している時間は、ジッター等のばらつきを考慮に入れなければ理論的にＮ分の１秒と考えることができる。したがって、１フレーム単位で上述の共有静止画で行なっていた処理を完結するようにすればよい。

図９に、本発明の一実施形態において付与及び配信されたコメントに基づき、着目物体に関連した広告をユーザに提供するとともに、システム上でのコミュニケーションによって抽出されたマーケティング情報を第三者に提供するためのデータ構造例を示す。図９では、共有動画ごとの着目物体及び着目数を管理している。このほかに、着目物体ごとに送信されたコメントの送信者、コメント内容、送信時間等の情報を併せて管理することができる。これらの情報から着目数の多い物体をランキング処理することによって所望のマーケティング情報を抽出することができる。

１００コメント付与及び配信システム
１０１コンテンツ配信サーバ
１０４ネットワーク（あるいはインターネット）
１０５ａ〜１０５ｄ端末装置

Claims

画像認識エンジンを含む又は画像認識エンジンと接続されたサーバと、
前記サーバにネットワークを介して接続された１以上の端末装置と
を備え、
前記端末装置は、ユーザからの入力に応じて、前記サーバから配信されるコンテンツ及び前記端末装置から前記サーバにアップロードされたコンテンツの少なくともいずれかのコンテンツ中の物体を指示し、当該物体に関する指示情報を前記サーバに送信するように構成され、
前記サーバは、前記端末装置から前記物体に関する前記指示情報を受信し、前記指示情報に応じて、前記画像認識エンジンを用いて前記物体の認識を行い、前記端末装置を含む１以上の端末装置に、前記サーバが認識した前記物体の前記指示情報を含む認識結果に関する情報を提供するよう構成され、
前記サーバは、さらに、前記画像認識エンジンを用いて前記物体の認識を行った結果、前記物体を同定できなかった場合に、前記物体を同定するためのクエリを生成し、前記１以上の端末装置に送信するよう構成され、
前記サーバは、前記物体を着目物体とし、前記物体が指示された回数を着目数として、前記コンテンツごとに、前記着目物体及び前記着目数を記憶している、システム。
前記サーバから提供された認識結果に関する情報をもとに、
前記画像検索エンジンと前記ユーザとの間で認識に関わる情報を共有すること、
ユーザが新たに作成付与したコメントを、前記端末装置を含む１以上の端末装置に提供すること、及び、
前記画像認識エンジンが作成付与したコメントを、前記端末装置を含む１以上の端末装置に提供すること
の少なくとも１つあるいは２以上の組み合わせを行うよう構成されている、請求項１に記載のシステム。
前記サーバは、該サーバから配信されるコンテンツ及び共有されるユーザが作成し前記サーバにアップロードされたコンテンツの少なくともいずれか一方のコンテンツ中の検出可能な着目物体に関連した情報を、ユーザに提供するとともに、ユーザに関する情報を第三者に提供する物体認識機能部を有する、請求項１又は２に記載のコメント付与及び配信システム。
１以上の端末装置とネットワークを介して接続され、画像認識エンジンを含む又は画像認識エンジンと接続されたサーバであって、
前記サーバから配信されるコンテンツ及び前記端末装置から前記サーバにアップロードされたコンテンツの少なくともいずれかのコンテンツ中の１以上の物体から、ユーザからの入力に応じて、前記端末装置によって指示された物体に関する指示情報を、前記端末装置から受信し、
前記指示情報に応じて、前記画像認識エンジンを用いて前記物体の認識を行い、前記端末装置を含む１以上の端末装置に、前記サーバが認識した前記物体の前記指示情報を含む認識結果に関する情報を提供するよう構成され、
さらに、前記画像認識エンジンを用いて前記物体の認識を行った結果、前記物体を同定できなかった場合に、前記物体を同定するためのクエリを生成し、前記１以上の端末装置に送信するよう構成され、
前記物体を着目物体とし、前記物体が指示された回数を着目数として、前記コンテンツごとに、前記着目物体及び前記着目数を記憶している、サーバ。
１以上の端末装置とネットワークを介して接続され、画像認識エンジンを含む又は画像認識エンジンと接続されたサーバに、
前記サーバから配信されるコンテンツ及び前記端末装置から前記サーバにアップロードされたコンテンツの少なくともいずれかのコンテンツ中の１以上の物体から、ユーザからの入力に応じて、前記端末装置によって指示された物体に関する指示情報を、前記端末装置から受信し、
前記指示情報に応じて、前記画像認識エンジンを用いて前記物体の認識を行い、前記端末装置を含む１以上の端末装置に、前記サーバが認識した前記物体の前記指示情報を含む認識結果に関する情報を提供することを実行させ、
さらに、前記サーバに、
前記画像認識エンジンを用いて前記物体の認識を行った結果、前記物体を同定できなかった場合に、前記物体を同定するためのクエリを生成し、前記１以上の端末装置に送信することと、
前記物体を着目物体とし、前記物体が指示された回数を着目数として、前記コンテンツごとに、前記着目物体及び前記着目数を記憶することを実行させるためのコンピュータプログラム。
請求項５に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。