JP2009123199A - メディアをリンクするためのシステム、方法、及び、プログラム - Google Patents

Abstract

【課題】関連するメディアがユーザによる更なる分析のためにリンクされるように取得され、次いでパラメータセットに基づいて分類されたメディアをリンクするためのシステム及び方法。
【解決手段】パラメータは、システムにおいて受け取られた各メディアクリップから抽出されるメタデータの形態の時間情報、近接度情報、及びコンテンツ情報を含む。リンクされたメディアは、多数のソースから協働で取得されたメディアの複雑な分析、及びユーザ間の関連するメディアの共有を提供する。システムは、協働して注釈を付されたメディアの分析を提供し、且つユーザによる協働で取得された大量のメディアへのアクセス及び合成を援助するために、取得されたメディアと共に含まれる注釈を更にリンクする。
【選択図】図１

Description

本発明は、メディアを取得し、注釈を付し、リンクするためのシステム及び方法に関し、より詳細には、更なる分析のために、各種デバイスにて取得されたメディアをリンクすべく時間的特性、近接度特性、及び、コンテンツ特性を利用することに関する。

人々は、多様性が高まっているモバイルデバイスを利用し、より多くの量のマルチメディアデータを取得している。しかし、このデータを編成及び合成するためのツールは、不足している。インターネット上のデジタル写真の非公式の共有のように、データの合成はさほど重要でなく、単純なストリームを利用すれば十分である場合もある。しかし、他の多くのタスクでは、一貫性のあるストーリーを有するものとしてメディアを構築可能であることは、重要である。各種デバイスを使用し、人々のグループにより別々に取得されたメディアなどの、協働で取得された（ｃｏｌｌａｂｏｒａｔｉｖｅｌｙ−ｃａｐｔｕｒｅｄ）メディアについては、当該メディアと関連するデータは、デバイスのグループのみならずグループのユーザに関しても合成される必要がある。こうした大量のデータを合成することは極めて困難であるため、取得されたメディアの大部分は、後に容易にアクセスできない場合がある。

エロール（Ｅｒｏｌ）及びハル（Ｈｕｌｌ）は、カメラ付き携帯電話で取得された画像をインデクシングし提示するシステムを記載する。非特許文献１を参照されたい。エロール及びハルのアクセス・インタフェースは、提示される際のオリジナル取得スライド及び録画を表示する。スキャン画像を利用する同様のシステムが、非特許文献２に開示されている。フィンク（Ｆｉｎｋ）らは、ユーザが閲覧しているテレビ番組を自動的に認識すべくテレビの音声を感知するシステムを記載する（非特許文献３を参照）。フィンクらは、ソーシャル閲覧アプリケーションをサポートするためにこの技術を利用する。しかし、上記システムは協働して記録されたメディアには対応していない。また、特にフィールド設定用に設計されていない。上記システムは、メディアの編成及び合成ではなく主にメディア検索用に設計されている。

最後に、各種システムは、リンクされたデジタルドキュメント及び紙のドキュメントを開示する。イェイ（Ｙｅｈ）らは、紙のメモを現場で撮影した写真と統合する、何らかの自動リンク能力を含むモバイル型取得及びアクセスシステムであるバタフライネット（ＢｕｔｔｅｒｆｌｙＮｅｔ）を開発した（非特許文献４を参照）。イェイの記載では、異なるセンサからの各種データが、全て時間的にリンクされる。更に、ユーザは、ジェスチャーと時間的なデータの組合せを利用して、写真を書かれたテキストにリンクすることができ、視覚的タグを用いて写真と注釈とをリンクできる。

グレアム（Ｇｒａｈａｍ）及びハル（Ｈｕｌｌ）はビデオセグメントを検索する紙ベースの方法であるビデオペーパー（Ｖｉｄｅｏ Ｐａｐｅｒ）を開発した。非特許文献５を参照されたい。グレアム及びハルの記載では、ビデオ記録にビデオ中の対応する位置へジャンプするための注釈がバーコードにより付される。ビデオ再生を制御するため、遠隔制御デバイスによりバーコードが読み取られる。しかし、これらの紙ベースのワークにおいては、多数の個人によって同期して収集されたデジタル文書をリンクする試みがなされない。更に、これらは、ドキュメント間及びドキュメント内でリンクを生成すべくコンテキストメタデータ（ｃｏｎｔｅｘｔ ｍｅｔａ ｄａｔａ）を利用しない。

従って、従来技術は、関連コンテンツの改善された合成、及び、分析のために、メディアを取得し編成するシステム及び方法を提供しない。また、現行技術は、遠隔デバイスにより取得されたメディアの編成及び合成のためのシステムを有していない。
ベルナ エロール（Berna Erol）、外１名、「画像分析を利用した提示ドキュメントのリンク（Linking presentation documents using image analysis）」、アシロマ会議（Asilomar Conference）、２００３年、ｐ．９７−１０１ パトリック チウ（Patrick Chiu）、外３名、「画像マッチングによるマルチメディアミーティングドキュメントの自動的リンク（Automatically Linking Multimedia Meeting Documents by Image Matching）」、ハイパーテキスト及びハイパーメディアに関する会議（Conference on Hypertext and Hypermedia）、２０００年、ｐ．２４４−２４５ マイケル フィンク（Michael Fink）、外２名、「リアルタイム周囲音声識別に基づいたソーシャル及びインタラクティブテレビジョンアプリケーション（Social and Interactive-Television Applications Based on Real-Time Ambient-Audio Identification）」、ユーロアイティーヴィ（EuroITV）、２００６年 ロン Ｂ．イェイ（Ron B. Yeh）、外８名、「バタフライネット：フィールド生物学研究用モバイル型取得及びアクセスシステム（BntterflyNet: A Mobile Capture and Access System for Field Biology Research）」、ＣＨＩ、２００６年、ｐ．５７１−５８０ ジェイミー グレアム（Jamey Graham）、外１名、「ビデオペーパー：ビデオをスキミング及び閲覧するための紙ベースのインタフェース（Video Paper: A Paper-Based Interface for Skimming and Watching Video）」、ＩＣＣＥ、２００２年、ｐ．２１４−２１５ 「インザハンド（In The Hand）」、[online]、[平成２０年９月３日検索]、インターネット<URL: http://32feet.net> 「エクスフィツール バイ フィル ハーヴェイ（ExifTool by Phil Harvey）」、[online]、[平成２０年９月２日検索]、インターネット<URL: http://www.sno.phy.queensu.ca/~phil/exiftool/> 「オープンソースコンピュータヴィジョンライブラリ（Open Source Computer Vision Library）」、[online]、[平成２０年９月２日検索]、インターネット<URL:http://www.intel.com/technology/computing/opencv/index.htm>

本発明は、協働で取得されたメディアを取得し、分類及びリンクするために、従来技術に関連する上記及び他の問題の１つ以上を実質上取り除く方法及びシステムを提供することを目的とする。

本発明の一態様に従うと、関連するメディア（ｍｅｄｉａ）間のリンクを確立するために近接度（ｐｒｏｘｉｍｉｔｙ）情報、時間情報及びコンテンツ情報の組合せを利用するシステムが提供される。このシステムは、多数のソースから協働で取得されたメディアの複雑な分析、及び、ユーザ間における関連するメディアの共有を促進する。このシステムは、協働して注釈（ａｎｎｏｔａｔｉｏｎｓ）されたメディアの分析を提供し、且つ、協働で取得されたメディアがユーザにより大量にアクセスされ、合成される援助とすべく、含まれる注釈を取得されたメディアに更にリンクする。

本発明の別の態様に従うと、複数のソースから、複数のメディアクリップ、及び、メディアクリップに対応する時間情報、近接度情報及びコンテンツ情報のうち少なくとも一つを含むパラメータをそれぞれ受け取り、更に、メディアクリップに対応する注釈を受け取るメディア取得サーバと、少なくとも１つのパラメータに基づいてメディアクリップを分類するメディアクラシファイヤと、少なくとも１つのパラメータに基づいて、関連するメディアクリップをリンクするためのメディアリンカと、を含む、メディアをリンクするためのシステムが提供される。

本発明の別の態様では、メディアリンカは、注釈を関連するメディアクリップとリンクすべく、更に動作可能である。

本発明の更に別の態様では、システムは、リンクされた関連するメディアクリップをユーザに対し提示すべく動作可能な、ディスプレイ・インタフェース・ユニットと、を更に含む。

本発明の更に別の態様では、メディアクリップは、ビデオ、音声、及び、画像からなるグループより選択される。

本発明の更に別の態様では、時間情報パラメータは、各関連するメディアクリップを記録した時間と相関（ｃｏｒｒｅｌａｔｅｓ）させる。

本発明の別の態様では、近接度情報パラメータは、メディアを取得した際のソース間の物理的近接度を決定する。

本発明の更に別の態様では、近接度情報は、メディアクリップが取得された際の複数のソース間のブルートゥース接続を利用して決定される。

本発明の更に別の態様では、コンテンツ情報パラメータは、音声メタデータを含む。

本発明の更に別の態様では、コンテンツ情報パラメータは、ビデオメタデータを含む。

本発明の一態様に従うと、複数のソースから、複数のメディアクリップ、及び、メディアクリップに対応する時間情報、近接度情報及びコンテンツ情報のうち少なくとも一つを含むパラメータをそれぞれ受け取り、更に、メディアクリップに対応する注釈を受け取り、少なくとも１つのパラメータに基づいて複数のメディアクリップを分類し、少なくとも１つのパラメータに基づいて関連する複数のメディアクリップをリンクする、ことを含む、メディアをリンクする方法が提供される。

本発明の別の態様では、方法は、メディアクリップに対応する注釈を、関連するメディアクリップとリンクさせる、ことを更に含む。

本発明の更に別の態様では、方法は、リンクされた関連するメディアクリップを、ユーザに対し提示する、ことを更に含む。

本発明の別の態様では、メディアをリンクするためのプログラムであって、複数のソースから、複数のメディアクリップ、及び、メディアクリップに対応する時間情報、近接度情報及びコンテンツ情報のうち少なくとも一つを含むパラメータをそれぞれ受け取り、更に、メディアクリップに対応する注釈を受け取り、少なくとも１つのパラメータに基づいて複数のメディアクリップを分類し、少なくとも１つのパラメータに基づいて関連する複数のメディアクリップをリンクし、リンクされたメディアクリップの視覚的表示をユーザに対し出力する、ことを含む処理を、コンピュータに実行させる。

本発明の別の態様では、プログラムは、メディアクリップに対応する注釈を、関連するメディアクリップにリンクさせることを更に含む。

本発明に関係する更に別の態様は、一部は以下の説明に記載され、一部は以下の説明より明白となり、あるいは本発明の実施により理解される。本発明の態様は、以下の詳細な説明及び添付の特許請求の範囲において特に指摘された要素及び要素の組合せにより実現され達成されることができる。

上記説明及び以下の説明はいずれも例示のため、及び説明のために提供されるものであり、特許請求された発明及びその応用を制限する意図はない。

以下の詳細な説明において、添付の図面を参照する。図面において、同一の機能要素は同様の参照番号で示される。上記添付の図面は本発明の原理と一致する特定の実施形態及び実施例を例示目的で示しており、これらを制限する意図はない。これらの実施は、当業者が本発明を実施することを可能とすべく十分に詳細に記載される。他の実施が利用可能であり、本発明の範囲及び精神から逸脱することなく各種要素の構造の変更又は代替を行うことができることが理解されよう。従って、以下の詳細な説明は、本発明を制限する意図はない。更に、記載されるような本発明の各種実施形態は、汎用コンピュータ上で実行されるソフトウェアの形式、専門的ハードウェアの形式、あるいはソフトウェアとハードウェアの組合せにより実施できる。

本発明の１つ以上の実施形態は、メディア間に自動リンクを確立するための、更なる分析を提供すべく、特に協働で取得されたメディアをリンクするための、システム及び方法に関する。一態様において、本発明のシステムの実施形態は、単一事象（ｅｖｅｎｔ）において多数のソースから取得されるメディアなどの異なるメディア間に自動的にリンクを確立するために、近接度パラメータ、時間的パラメータ及びコンテンツパラメータの組合せを使用する。更に、システムの実施形態は、例えばドキュメントの表示内容に対して作成された注釈を、オリジナルのドキュメント自体にリンクするなど、注釈を付されたメディア間にリンクを確立することができる。注釈を付されたメディアのリンクは、協働して注釈を付されたメディアの複雑な分析を可能とし、協働で取得された大量のメディアにアクセスし合成するうえでのユーザ支援となる。

本発明のシステムの実施形態は、メディアクリップを相関させ、関連するメディアクリップをそのオリジナルコンテンツに接続するために、記録の際に取得されるデータを利用する。近接度パラメータ、時間的パラメータ及びコンテンツパラメータを用いることで、曖昧さを排し、あるいは関連のない参照を排し、関連するメディア及び注釈情報のみをリンクさせるべく、取得されたメディアの十分な分類が提供される。

一態様では、ビデオカメラ、デジタルカメラ、携帯電話及びボイスレコーダのような、メディアを直接取得するモバイルデバイスなどのメディアソースは、システムソフトウェアを実行し、取得されたメディアを直ちに分類しリンクすることが可能である。次いで、分析、編集及び注釈付けをオンザフライ（on the fly）で行うために他のデバイスと共有できる。この意味で、システムの実施形態は現場で取得されたメディアを編成し合成することを容易にする。

図１に示される非限定的な例において、メディアは、同時に存在し、同一事象又は事象のシーケンスの各種態様を取得すべく操作可能である各種モバイルデバイスによって取得される。当業者は、発明の概念がモバイルデバイスのみに制限されないことを理解するであろう。他のタイプのメディア取得デバイスも同様に使用できる。例えば、多数のユーザが記者会見に出席し、メディアクリップを取得すべく各種モバイルデバイス又は静止デバイスを使用してもよい。図１に示される例示的実施形態では、第一のユーザ１０２はビデオ１０４を記録し、第二のユーザ１０６は音声１０８を記録し、第三のユーザ１１０はコンピュータ上でメモ１１２をとり、第四のユーザ１１４は写真１１６を撮る。全てのユーザがこの事象から情報を記録し、あるいは、事象の詳細についてメモをとることにより協働し、メディアクリップを取得する際、各デバイス又はメディア取得サーバ１２０において実行されるメディアクラシファイヤ１１８は、各メディアクリップが取得される時間、デバイスの相互に関する近接度、及び、音声データや画像データなどのメディアクリップの実際のコンテンツに基づいてメディアを分類する。次いで、分類されたメディアクリップは、メディア取得サーバ１２０にアップロードされ、相互に比較され、あるいはサーバに既にロードされている他のメディアクリップとも比較される。次いで、メディアリンカ１２２は、クリップの相互に対する関係の程度及び／又は性質に応じて、関連するメディアクリップ１２４をリンクさせる。ユーザは、関連するメディアクリップ１２０のディスプレイ１２６を閲覧し、異なるユーザにより取得された各種メディアをよりよく合成し、理解するために事象中に取得された全てのメディアを分析することができる。

更に別の実施形態において、本発明のシステムは、コンピュータ上でメモ１１２をとる第三のユーザ１１０は別として、ユーザが取得中の任意のタイプのメディアに対し、例えば音声又はビデオ記録に音声解説を加え、あるいは取得された画像の上又は側にメモを書くことにより、注釈を作成することを可能とする。これらの注釈は、更に本発明のシステムの実施形態によって分類され、且つ、関連するメディアクリップ又は他の注釈とリンクされる。これにより、ユーザは、事象中にメディアコンテンツを取得しているユーザにより作成された全ての注釈を分析できる。

図２は、リンクされた関連するミーティングのメディアクリップを表示する、例示的ユーザインタフェース２００の一態様を示す。この特定の非制限的な例において、手書きのメモ２０２は、表示２０４とリンクされ、表示２０４は更に、音声記録２０６とリンクされる。音声記録は、表示２０４中のある時点でミーティング参加者により述べられたコメントを含んでもよい。図１に関して記載したように、システムは取得されたメディアを分類し、次いで近接度などの一定の要素に基づいてメディアをリンクさせる。この態様では、同一の場所すなわち「ｋｕｍｏ」ミーティングルームにおいて同時に得られることから、メモ２０２、表示２０４及び音声記録２０６は相互にリンクされる。取得され分類されたメディアをシステムがリンクさせると、リンクされたメディアは、図２に示されるようなユーザインタフェース２００上に表示される。

システムは、メディア及び注釈の分類及びリンクを瞬間的に実施することが可能であるように、各デバイス上で実行されるソフトウェア製品として部分的に具体化されてもよい。あるいは、システムは、後にメディアコンテンツがロードされ、分類及びリンクのためにシステムと同期される別のコンピュータあるいは遠隔サーバ上で実行されてもよい。

システムは、各メディアクリップから抽出されるメタデータから収集される近接度パラメータ、時間的パラメータ、及び、コンテンツパラメータに基づいてリンクを作成することにより、取得されたメディアを構築する。本発明の一態様において、近接度ベースのリンクを作成するため、モバイルデバイスは、音声並びに近隣デバイスのブルートゥース識別を連続的に記録する。本発明のシステムは、ブルートゥース・ネットワークプロトコルにのみ制限されず、識別の発見を提供する他の適切なネットワーキング技術も利用できることを理解されたい。ユーザが記録を作成する際、例えば、ブルートゥース識別情報を含むコンテキスト上のメタデータが、オリジナル記録と共にサーバ上に保存される。他のデバイスからのメディアがサーバと同期される場合、システムは、自動的に記録を近隣のブルートゥース識別と結び付ける。一例示的実施形態では、本発明のシステムの上記態様は、Ｉｎ ｔｈｅ Ｈａｎｄ Ｌｔｄ．（インザハンド株式会社）（非特許文献６参照）により分配されたソフトウェアシステムと類似の方法で実施できる。このソフトウェアシステムは、デバイスのリンクのためにブルートゥース接続を使用する。近接度情報は、取得されたメディアを記者会見に関係するものに制限する援助となる。本発明のシステムは、任意のユーザ又は任意のメディアソースからのメディアをリンクすることを可能とすることから、前述の近接度情報は、同時期に別の場所で行われる異なる記者会見で取得されたメディアが、当該ユーザが参加している記者会見のメディアとリンクされることを防止されるべく設計される。グローバルポジショニングサテライト（ＧＰＳ）受信器などの位置デバイスの使用を通じてメディア取得の際に近接度情報を瞬間的に決定できる。別の実施形態では、近接度情報は、例えば記者会見に存在する各デバイスと通信し各デバイスを一義的に識別するブルートゥース接続の特徴を利用して他のユーザに対し決定される。

時間情報は、メモをとるユーザが注釈を作成した瞬間を含むコンテンツの正確な取得時間に関するデータを含んでもよい。時間情報は、協働で取得された全てのメディアを分析する人が、関連のある、容易に理解される方法で各種メディアコンテンツを閲覧可能であるように、システムが協働で取得されたメディアを同期させるのを支援する。時間情報は最も標準的なメディアフォーマット（ＥＸＩＦメタデータ）に埋め込まれる。非特許文献７にこの情報を抽出するためのライブラリが存在する。

コンテンツ情報は、関連するデバイスによって収集された音声データ及び画像データを含んでもよい。コンテンツ情報は、メタデータとして抽出可能な、及び、他の取得されたメディアからのメタデータと比較可能な色や動作などの画像ベースの特徴を含む。メディアからメタデータ特徴を抽出するために、このデータを抽出可能な多数の機能を提供するＴｈｅＯｐｅｎＣＶライブラリなどの既存ソフトウェアが使用できる（非特許文献８参照）。

更に、画像又はビデオから抽出された光学文字認識（ＯＣＲ）テキストは、メタコンテンツとして保存され、サーバにアップロードされた他のデータとリンクされうる。本発明のシステムの実施形態は、更に任意のビデオ記録中の同様の音声クリップを探索し、クリップを同様のセグメントにリンクしてもよい。組合せにおいて、これらの特徴により、ユーザが自分のデバイスにより取得されたメディアを、システムに直接接続されていない、あるいはシステムソフトウェアを実行していないデバイスによって取得されたメディアへ、シームレスに接続することが可能となる。

本発明のシステムの実施形態は、ビデオが記録される際にビデオの利用可能なキーフレームを作成する。また、取得された最近の写真及び音声クリップのサムネールを作成する。近くのユーザは、メディアを編成し、又は、注釈を付すためにこれらのサムネールを把握できる。更に本発明のシステムソフトウェアは、ユーザが特に興味を有する時点をマークし、自動的に、近隣デバイス上で取得された最新コンテンツの表示を検索することを可能とする。

本発明の更に別の態様では、本発明のシステムの実施形態は、ユーザが利用可能となる際にオリジナルのコンテンツと置き換えられるデジタルメディアの表示を収集し、注釈を付し、編成することを可能にする。

一態様では、本発明のシステムは、モバイルデバイス上で取得されたメディアの表示を、プラットフォームを記録する他のデジタルメディア上で取得されたオリジナルメディアとリンクさせるために、非明示的に収集されたブルートゥース及び音声データ、並びに画像ベースのコンテンツを使用する。更にシステムは、ユーザがモバイルデバイス上でメディアの表示にオンザフライで注釈を付し、データが同期される際に注釈を自動的にオリジナルメディアにリンクすることを可能とする。更にシステムは、ビデオなどの時間的メディアの表示の注釈を、表示が取得される際の時点にリンクする。更にシステムは、デバイスが、オンザフライで注釈を付し、編集を行うためにメディアの表示を他のピアデバイスと共有することを許可することができる。

図３に記載された本発明の一態様では、システム３００のアーキテクチャは、メディア取得サーバ３０２と、システムソフトウェアを実行する少なくとも１つのモバイルデバイス３０４の両方を含む。モバイル・アプリケーション３０４は、ビデオ、画像及び音声データのような各種メディア、並びにブルートゥース近接度情報などのセンサデータを取得できる。モバイルデバイス３０４は、更にデバイス自体に格納されたメディアを編成し注釈を付すためのユーザインタフェース（「ＵＩ」）（図示せず）を含む。

一実施形態において、本発明のシステムソフトウェアを使用可能なモバイルデバイスは、クリップ表示をローカル表示し、一方でフルクリップをメディア取得サーバ３０２に、次いで遠隔データベースにアップロード３０６する。遠隔データベースは、クリップストア３０８と呼ばれ、ユーザは関連するメディアクリップをブラウズし探索できる。図３に示される態様では、デバイスが相互に検出可能であるように、他のデバイスに各種モバイルデバイス３０４のＩＰアドレスを公開するための検出サービス３１０が、サーバ内に提供される。従って、ユーザは、データ３１２を他のモバイルデバイス３０４と手動で同期させることができる。メディア取得サーバ３０２は、クリップを手動で同期されたクリップと自動的にリンクする。更にサーバ３０２は、デスクトップコンピュータ３１４を通じてシステムソフトウェアを実行しない他のデバイスからデータを受け取ることが可能である。一態様において、本発明のシステムソフトウェアを実行しない、非システムモバイルデバイス３１６も、デスクトップコンピュータ３１４にコンテンツをアップロードすることができ、次いで本発明のシステムによって分類されリンクされるウェブページ又は他のインタフェース接続を通じて、メディア取得サーバ３０２にコンテンツをアップロードする。

本発明のシステムの実施形態の動作の非制限的な一例として、ボブ（ユーザ）は標準的なブルートゥース対応のデジタルビデオデバイスに、マルシアが記録しているビデオセグメントのテキスト注釈を作成したいとする。この状況で、ボブはマルシアが記録しているものに関してコメントすることから、ボブはマルシアの近隣にいる必要がある。ボブは、コメントを入力するためにモバイルデバイスを使用できる。本発明のシステムの実施形態は、密かにボブのコメントを、コメントの前後に１５秒の音声クリップ、並びに近隣の全てのブルートゥースデバイス上の情報を含むスナップショットと共に、自動的にサーバに送る。後でマルシアが記録されたビデオをアップロードする際、システムは音声データ及びブルートゥースデータを使用して、ボブのコメントをボブが注釈を付したビデオの正確なデバイス並びに正確なシーケンスにリンクする。なお、リンクは、ボブが撮影した画像又はボブ自身のビデオ記録など任意のタイプのメディアに対して作成されていたであろう。

図４に示される別の非制限的な例において、マルシア４０２は、デジタル記録デバイス４０６で場面のビデオクリップ４０４を撮影している。ボブ４０８は、自分のデジタルカメラ４１０でマルシアの記録デバイス４０６のビューポートを撮影し、マルシア４０２が撮影しているビデオクリップ４０４の画像４１２を取得する。これによりボブ４０８は、画像４１２上で注釈４１４を作成することができる。注釈４１４は、マルシア４０２がデバイス４０６をシステムと同期する際に自動的にリンクされる。

別の態様において、ボブ４０８は更に注釈４１４を作成する直前又は直後に、マルシアのビデオ記録デバイス４０６のビューポートの写真４１２を撮ることができる。この動作によりボブの注釈４１４は、マルシアのビデオクリップ４０４中の特定のキーフレームにリンクされる。注釈４１４の作成直後、ボブ４０８は、デバイス４１０上で、既にリンクされた注釈４１４と共に、彼が撮影したマルシアの記録４０４の画像を閲覧する。後にマルシア４０２がビデオを同期させる際、ボブの画像４１２はソースビデオクリップ４０４の中へのアクティブリンクとなる。ボブは自身が作成したオリジナル記録の組合せであるメディアの集合体を、他の人が作成した記録へのポインタと共にオンザフライで作成するために、この方法を利用することができる。ボブはこれらのクリップを自らのデバイス上で直ちに編成でき、全てのリンクは事後に発生する。

他の実施形態において、マルシアがシステムソフトウェアを実行するデバイスを使用している場合、ボブは、ボタンを押すことでマルシアのビデオクリップ４０４の興味を有する時点をマークできる。ボブは、マルシアの記録から最新のキーフレームを自動的に検索でき、そのキーフレームを自分の収集に加えることができる。デバイスがシステムソフトウェアを実行していない場合、取得されたメディアは、システムにアップロードされ、ユーザのローカルコンピュータ又は遠隔サーバ上で動作するシステムの例によって分類可能である。この実施形態において、ここではビデオである時間的メディアの表示上の注釈は表示が取得された時の対応する時点にリンクされる。

メディアをリンクする方法の例示的実施が図５に図示される。ここで第一のステップ５０２は、メディアクリップに対応するメディアクリップ、パラメータ及び注釈を受け取ることに関する。前述のメディアクリップ及びパラメータが取得され、各種ソースから受け取ることができる。第二のステップ５０４で、取得されたメディアが少なくとも１つのパラメータに基づいて分類される。メディアが分類されると、システムは、ステップ５０６で関連するメディアクリップをリンクする。システムは、ステップ５０８で注釈を関連するメディアクリップに更にリンクすることが可能である。最後に、リンクされたメディアは、ステップ５１０でユーザに対し表示される。

本発明の各種態様は、単独又は本発明の他の態様との組合せに関わらず、ＬＳＢ２．０リナックス環境中で動作するコンピューティング・プラットフォーム上で実行されるＣ＋＋コードで実施されてもよい。しかし、本願明細書中で提供される本発明の態様は、他のオペレーティングシステム環境中における動作に適した他のプログラミング言語で実施されてもよい。更に、方法はパーソナルコンピュータ、ミニコンピュータ、メインフレーム、ワークステーション、ネットワーク又は分散型コンピューティング環境、荷電粒子ツールから分離された、一体化された、あるいは荷電粒子ツールと通信するコンピュータ・プラットフォームなどの任意のタイプのコンピューティング・プラットフォーム中で実施できるが、これらに限定されない。更に、本発明の態様は、ハードディスク、光学読み取り及び／又は書き込み記憶媒体、ＲＡＭ、ＲＯＭなどのコンピューティング・プラットフォームに対し除去可能又は統合可能な任意の記憶媒体において提供される機械可読コードで実施されてもよい。更に、機械可読コード又はその一部がワイヤード又はワイヤレスネットワークで送信されてもよい。

図６は、本発明の方法の実施形態が実施可能なコンピュータ／サーバシステム６００の実施形態を示すブロック図である。システム６００は、コンピュータ／サーバプラットフォーム６０１、周辺機器６０２及びネットワーク資源６０３を含む。

コンピュータ・プラットフォーム６０１は、コンピュータ・プラットフォーム６０１の各部を横断して、あるいは各部間で情報を通信するためのデータバス６０４又は他の通信機構、及び情報を処理し他の計算及び制御タスクを実行するためにバス６０１と接続されたプロセッサ６０５を含むことができる。更に、コンピュータ・プラットフォーム６０１は、各種情報プロセッサ６０５により実行される及び指示を記憶すべくバス６０４に接続された、ランダムアクセスメモリ（ＲＡＭ）又は他のダイナミック記憶装置などの揮発性記憶装置６０６を含む。揮発性記憶装置６０６は、プロセッサ６０５による指示の実行の際に時間的変数又は他の中間情報を格納すべく使用されてもよい。更に、コンピュータ・プラットフォーム６０１は、基本入出力システム（ＢＩＯＳ）並びに各種システム構成パラメータなどの、プロセッサ６０５のための静的情報及び指示を格納すべくバス６０４に接続された読み出し専用メモリ（ＲＯＭ又はＥＰＲＯＭ）６０７又は他の静的記憶装置デバイスを含む。磁気ディスク、光ディスク又はソリッドステートフラッシュメモリデバイスなどの永続記憶装置６０８が情報及び指示の格納のために提供され、バス６０１に接続される。

コンピュータ・プラットフォーム６０１は、コンピュータ・プラットフォーム６０１のシステム管理者又はユーザへ情報を表示するために陰極線管（ＣＲＴ）、プラズマディスプレイ又は液晶ディスプレイ（ＬＣＤ）などのディスプレイ６０９にバス６０４により接続されてもよい。英数字又は他のキーを含む入力装置６２０はプロセッサ６０５に情報及びコマンド選択を伝達すべくバス６０１に接続される。別のタイプのユーザ入力装置は、プロセッサ６０４に方向情報及びコマンド選択を伝達し、ディスプレイ６０９上のカーソル移動を制御するためのマウス、トラックボール又はカーソル方向キーなどのカーソル制御デバイス６１１である。この入力装置は、通常２つの軸、すなわち第一軸（例えばｘ）及び第二軸（例えばｙ）において２つの自由度を有し、これによりデバイスが平面上で一を特定することを可能としている。

外部記憶装置６１２は、コンピュータ・プラットフォーム６０１に追加又は除去可能な記憶容量を提供すべくバス６０４によりコンピュータ・プラットフォーム６０１に接続されてもよい。コンピュータシステム６００の実施形態では、外部リムーバブル記憶装置６１２は、他のコンピュータシステムとの間でデータ交換を容易とすべく使用できる。

本発明は、本願明細書中に記載された技術を実施するためのコンピュータシステム６００の使用に関連する。実施形態において、本発明のシステムはコンピュータ・プラットフォーム６０１などのマシン上に存在してもよい。本発明の一実施形態によれば、本願明細書中に記載された技術は、揮発性メモリ６０６に含まれる１つ以上の指示の１つ以上のシーケンスを実行するプロセッサ６０５に応じてコンピュータシステム６００により実行される。指示は、永続記憶装置６０８などの別のコンピュータ可読媒体から揮発性メモリ６０６に読み込まれてもよい。揮発性メモリ６０６に含まれる指示シーケンスの実行により、プロセッサ６０５は、本願明細書中に記載されたプロセスステップを実行する。他の実施形態において、ハードワイヤード回路は、本発明を実施するソフトウェア指示に代えて、あるいは指示と組み合わせて用いることができる。従って、本発明の実施形態はハードウェア回路とソフトウェアの任意の特定の組合せに制限されない。

本願明細書中で使用される用語「コンピュータ可読媒体」は、実行のためにプロセッサ６０５への指示の提供に加わる任意の媒体を指す。コンピュータ可読媒体は単に機械可読媒体の一例であり、本願明細書中に記載される任意の方法及び／又は技術を実施するための指示を有してもよい。このような媒体は多くの形態をとることができる。例えば、不揮発性媒体、揮発性媒体及び伝達媒体が挙げられるが、これらに限定されない。不揮発性媒体は、例えば記憶装置６０８などの光学ディスク又は磁気ディスクを含む。揮発性媒体は、揮発性記憶装置６０６などのダイナミック・メモリを含む。伝達媒体は、データバス６０４を含むワイヤなどの同軸ケーブル、銅線及び光学ファイバを含む。更に、伝達メディアは、電波及び赤外線データ通信中に生成される音波又は光波などの、音波又は光波の形態をとってもよい。

コンピュータ可読媒体の一般的な形式として、例えばフロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ又は他の磁気媒体、ＣＤ−ＲＯＭ、他の光学媒体、穿孔カード、紙テープ、穿孔パターンを有する他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、フラッシュドライブ、メモリカード、他のメモリチップ又はカートリッジ、以下に記載される搬送波、あるいはコンピュータ可読な他の媒体が挙げられる。

各種形式のコンピュータ可読媒体は実行のためにプロセッサ６０５に１つ以上の指示の１つ以上のシーケンスを搬送することに関連してもよい。例えば、指示は、最初に遠隔コンピュータからの磁気ディスク上で搬送されてもよい。あるいは、遠隔コンピュータはダイナミック・メモリに指示をロードし、モデムを使用して電話線上で指示を送ることもできる。コンピュータシステム６００に対して局所的なモデムは、電話線上でデータを受け取ることが可能であり、データを赤外線信号に変換すべく赤外線トランスミッタを使用できる。赤外線検知器は赤外線信号で搬送されたデータを受け取ることができ、適切な回路はデータをデータバス６０４に配置することができる。バス６０４は、揮発性記憶装置６０６にデータを搬送する。プロセッサ６０５は揮発性記憶装置６０６から指示を検索し実行する。揮発性メモリ６０６により受け取られた指示は、プロセッサ６０５による実行前又は実行後に必要に応じて永続記憶装置６０８に格納されてもよい。指示は、当該技術で既知の各種ネットワークデータ通信プロトコルを使用して、インターネットを通じてコンピュータ・プラットフォーム６０１へダウンロードされてもよい。

コンピュータ・プラットフォーム６０１は、更にデータバス６０４に接続されたネットワークインタフェースカード６１３などの通信インタフェースを含む。通信インタフェース６１３は、ローカルネットワーク６１５に接続されるネットワークリンク６１４への双方向データ通信接続を提供する。例えば、通信インタフェース６１３は、対応するタイプの電話線にデータ通信接続を提供する総合デジタルサービス網（ＩＳＤＮ）カード又はモデムであってもよい。別の例として、通信インタフェース６１３は、互換性を有するＬＡＮへのデータ通信接続を提供するローカルエリアネットワークインタフェースカード（ＬＡＮ ＮＩＣ）であってもよい。既知の８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ及びブルートゥースなどの無線リンクがネットワーク実施のために利用できる。任意の実施において、通信インタフェース６１３は、各種タイプの情報を示すデジタルデータストリームを搬送する電気信号電磁気信号又は光信号を送受信する。

ネットワークリンク６１３は通常１つ以上のネットワークを通じて他のネットワーク資源にデータ通信を提供する。例えば、ネットワークリンク６１４は、ローカルネットワーク６１５を介してホストコンピュータ６１６又はネットワーク記憶装置／サーバ６１７への接続を提供してもよい。加えて、あるいはこの代わりにネットワークリンク６１３は、インターネットなどのゲートウエイ／ファイアウォール６１７を介してワイドエリアネットワーク又はグローバネットワーク６１８へ接続してもよい。従って、コンピュータ・プラットフォーム６０１は、遠隔ネットワーク記憶装置／サーバ６１９などのインターネット６１８上の任意の場所に位置するネットワーク資源にアクセスできる。他方、コンピュータ・プラットフォーム６０１は、ローカルエリアネットワーク６１５及び／又はインターネット６１８上の任意の場所に位置するクライアントによりアクセス可能である。ネットワーククライアント６２０及び６２１自体がプラットフォーム６０１に類似するコンピュータ・プラットフォームに基づいて実施されてもよい。

ローカルネットワーク６１５とインターネット６１８はいずれもデジタルデータストリームを搬送する電気信号、電磁気信号又は光信号を利用する。コンピュータ・プラットフォーム６０１との間でデジタルデータを搬送する各種ネットワークを通じた信号、ネットワークリンク６１４上の及び通信インタフェース６１３を通じた信号は、情報を搬送する搬送波の例示的形式である。

コンピュータ・プラットフォーム６０１は、メッセージを送り、データを受け取ることが可能である。データは、インターネット６１８及びＬＡＮ６１５を含む各種ネットワーク、ネットワークリンク６１４及び通信インタフェース６１３を通じたプログラムコードを含む。インターネットの例において、システム６０１がネットワークサーバとして機能する場合、システム６０１はインターネット６１８、ゲートウエイ／ファイアウォール６１７、ローカルエリアネットワーク（ＬＡＮ）６１５及び通信インタフェース６１３を通じてクライアント６２０及び／又は６２１で実行されるアプリケーションプログラム用の要求されたコード又はデータを送信してもよい。同様に、システム６０１は他のネットワーク資源からコードを受け取ってもよい。

受信コードは、受信されると、プロセッサ６０５により実行されてもよく、及び／又は、永続記憶デバイス６０８又は揮発性記憶デバイス６０６にそれぞれ記憶されてもよく、あるいは他の永続記憶装置に記憶され、後で実行されてもよい。このように、コンピュータシステム６０１は搬送波の形態のアプリケーションコードを取得してもよい。

最後に、本願明細書中に記載されたプロセス及び技術は、任意の特定のデバイスに本質的に関連していることはなく、構成要素の任意の適切な組合せによっても実行できることを理解されたい。更に、各種汎用デバイスを本願明細書中に記載された教示に従って使用してもよい。更に、本願明細書中に記載された方法ステップを実行する専用装置を構築することも有利であることが証明されうる。本発明は特定の例に関して記載されたが、これは全ての点で限定的ではなく、例示的であることを意図している。当業者は、ハードウェア、ソフトウェア及びファームウェアの多くの別の組合せが本発明の実施に適することを認識する。例えば、記載されたソフトウェアは、Ａｓｓｅｍｂｌｅｒ、Ｃ／Ｃ＋＋、ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）などの各種プログラミング言語又はスクリプト言語において実施できる。

本発明の各種代表的な実施形態をある程度の特殊性を持たせて上に記載したが、当業者は、明細書及び特許請求の範囲に記載された本発明の主題の精神又は範囲から逸脱することなく、開示された実施形態に多数の変更を行うことが可能である。本願明細書中に直接的又は間接的に記載された方法において、各種ステップ及び動作を１つの可能な動作順に記載したが、当業者は本発明の精神及び範囲から逸脱することなくステップ及び動作の再配置、交換、省略を行うことができることを認識する。更に、上記記載された実施形態の各種態様及び／又は構成要素は、協働で取得されたメディアを取得し、分類し、関連付けるためにコンピュータ化された記憶システム中で単独に又は組合せにおいて使用されてもよい。上記説明に含まれる全ての事項、及び添付の図面中に示される全ての事項は例示目的で示され、本発明を制限する意図はないことを理解されたい。

本発明の一態様に従い、メディアを取得しリンクするためのシステムアーキテクチャの例示的実施形態を示す図である。 本発明の一態様に従い、リンクされたメディアを表示するためのグラフィカルユーザインタフェースの例示的実施形態を示す図である。 本発明の一態様に従い、リンクされたメディアを取得するためのシステムのための例示的アーキテクチャを示す図である。 本発明のシステムの実施形態が２人のユーザをリンクするメディアコンテンツの一例を示す図である。 本発明の一態様に従い、協働で取得されたメディアを取得し、分類し、リンクする方法を示す例示的ブロック図である。 本発明のシステムを実施可能なコンピュータ・プラットフォームの例示的実施形態を示す図である。

Claims (14)

1. 複数のソースから、複数のメディアクリップ、及び、前記メディアクリップに対応する時間情報、近接度情報及びコンテンツ情報のうち少なくとも一つを含むパラメータをそれぞれ受け取り、更に、前記メディアクリップに対応する注釈を受け取るメディア取得サーバと、
   前記少なくとも１つのパラメータに基づいて前記複数のメディアクリップを分類するメディアクラシファイヤと、
   前記少なくとも１つのパラメータに基づいて、関連する前記複数のメディアクリップをリンクするメディアリンカと、
   を含む、メディアをリンクするためのシステム。
2. 前記メディアリンカは、前記注釈を関連する前記メディアクリップとリンクする、請求項１記載のシステム。
3. 前記リンクされた関連する前記複数のメディアクリップをユーザに対し提示すべく動作可能な、ディスプレイ・インタフェース・ユニットと、
   を更に含む、請求項１記載のシステム。
4. 前記メディアクリップは、ビデオ、音声、及び、画像からなるグループより選択される、請求項１記載のシステム。
5. 前記時間情報パラメータは、各関連するメディアクリップを記録した時間に応じて定められてなる、請求項１記載のシステム。
6. 前記近接度情報パラメータは、前記メディアが取得された際の前記複数のソース間の物理的近接度に応じて定められてなる、請求項１記載のシステム。
7. 前記近接度情報パラメータは、前記メディアクリップを取得した前記複数のソース間のブルートゥース接続の使用に応じて決定される、請求項６記載のシステム。
8. 前記コンテンツ情報パラメータは、音声メタデータを含む、請求項１記載のシステム。
9. 前記コンテンツ情報パラメータは、ビデオメタデータを含む、請求項１記載のシステム。
10. 複数のソースから、複数のメディアクリップ、及び、前記メディアクリップに対応する時間情報、近接度情報及びコンテンツ情報のうち少なくとも一つを含むパラメータをそれぞれ受け取り、更に、前記メディアクリップに対応する注釈を受け取り、
    前記少なくとも１つのパラメータに基づいて前記複数のメディアクリップを分類し、
    前記少なくとも１つのパラメータに基づいて関連する前記複数のメディアクリップをリンクする、
    ことを含む、メディアをリンクするための方法。
11. 前記メディアクリップに対応する注釈を、関連する前記メディアクリップとリンクさせる、ことを更に含む、請求項１０記載の方法。
12. 前記リンクされた関連する前記メディアクリップを、ユーザに対し提示する、ことを更に含む、請求項１０記載の方法。
13. メディアをリンクするためのプログラムであって、
    複数のソースから、複数のメディアクリップ、及び、前記メディアクリップに対応する時間情報、近接度情報及びコンテンツ情報のうち少なくとも一つを含むパラメータをそれぞれ受け取り、更に、前記メディアクリップに対応する注釈を受け取り、
    前記少なくとも１つのパラメータに基づいて前記複数のメディアクリップを分類し、
    前記少なくとも１つのパラメータに基づいて関連する前記複数のメディアクリップをリンクし、
    前記リンクされたメディアクリップの視覚的表示をユーザに対し出力する、
    ことを含む処理を、コンピュータに実行させるためのプログラム。
14. 前記メディアクリップに対応する注釈を、関連する前記メディアクリップにリンクさせることを更に含む、請求項１３記載のプログラム。

Images