JP2004266831A - ライブのおよび記録されたマルチメディアドキュメントをブックマークするシステムと方法 - Google Patents

Abstract

【課題】マルチメディアドキュメントをブックマークするシステムと方法を提供する。
【解決手段】本発明のマルチメディアドキュメントをブックマークするシステムと方法は、複数のマルチメディアストリームを表示し、タイムシグネチャとユーザからのワンタッチ操作による合図に基づいた各マルチメディアストリームのスナップショットとを含むブックマークを作成し、スナップショットをマルチメディアストリームの部分に関連付け、ブックマークと、選択したスナップショットに関連付けられたマルチメディアストリームの部分を表示する。
【選択図】図１

Description

本発明は、ライブのおよび／または記録されたマルチメディアドキュメントまたはマルチメディアストリームをブックマークするシステムと方法を目的とする。
即ち、本発明は、マルチメディアドキュメントのブックマーク方法に関する。
また、本発明は、 ビデオ情報を含むマルチメディアドキュメントをブックマークするシステムに関する。

マルチメディアストリームとのリモートインタラクションは種々の形式が知られている。遠隔学習またはビデオ会議に関連する技術により、多数のユーザが、マルチメディアストリームの重要部分に対して注釈付けまたはマーク付け（マーキング）を行いながら、遠隔地からリアルタイムまたは非同期にマルチメディアプレゼンテーションを見ることができる。会議、セミナ、講習のディジタルマルチメディア記録は、ますます広く普及しつつある。ラップトップ型コンピュータ、ペンベースおよび／またはタブレット型ノートブックコンピュータ、パーソナルディジタルアシスタント（ＰＤＡ）などを用いて種々のマルチメディア記録に対して注釈付けを行うシステムと方法が開発されてきた。富士ゼロックス株式会社のＮＯＴＥＬＯＯＫ（登録商標）およびＬＩＴＥＭＩＮＵＴＥＳ（登録商標）という製品は、このようなシステムおよび方法の例である。ＮＯＴＥＬＯＯＫ（登録商標）のシステムは米国特許第６，４５２，６１５号（引用によりこの開示に組み込まれる）に詳述されている。さらに、会議などのビデオストリームにおける関心のある点に注釈付けする種々の方法は、上記のような種々の装置、キータグ、または、無線電話を用いることでなされてきた。これらの注釈は、一般に、タイムスタンプが施され、かつ／または、ビデオストリームのブラウズおよび／またはビデオストリームの特定部分の検索を行うビデオストリームに関連付けられる。

また、会議、セミナ、講習、その他のイベントにおいて、ディジタルカメラを用いて、プレゼンテーションスライド、ホワイトボードに書かれた内容、イベント出席者の写真を撮影することが新たに実施されつつある。ディジタルカメラは便利な場合もあるが、ユーザが写真撮影可能な位置やアングルは限られているので、このようにしてイベントを記録したものは理想的とは言えない。さらに、特定の時に、ユーザは写真を１枚しか撮影することができない。多くの場合、プレゼンテーションスライドの写真だけでなく、特定の時に様々な視点から撮影した写真が複数あることが望ましい。

Ｓｏｕｖｅｎｉｒ ｉ−Ｒｅｃａｌｌ（登録商標）は、ＰＤＡおよびラップトップ型コンピュータ用のウェブベースアプリケーションである。Ｓｏｕｖｅｎｉｒ ｉ−Ｒｅｃａｌｌ（登録商標）という製品により、マルチメディアストリームに関連付けられたテキスト注釈を作成することができる。Ｓｏｕｖｅｎｉｒ ｉ−Ｒｅｃａｌｌ（登録商標）によって作成されたブックマークは、画像やマルチメディアスナップショットを含まない。

ソニー株式会社のｅＭａｒｋｅｒ（登録商標）は、ユーザがラジオで聴いた歌にマーク付けすることを可能にするキータグと同様の装置である。ユーザがマークをサーバにアップロードすると、そのマークは、マークを付けた時にラジオで流れていたコンテンツに関する情報、または、そのコンテンツに関連付けられた情報にリンクする。

ミンネマン（Ｍｉｎｎｅｍａｎ）他著「協同的アクティビティを捕捉しアクセスするためのツールに関するコンフェデレイション（Ａ ｃｏｎｆｅｄｅｒａｔｉｏｎ ｏｆ ｔｏｏｌｓ ｆｏｒ ｃａｐｔｕｒｉｎｇ ａｎｄ ａｃｃｅｓｓｉｎｇ ｃｏｌｌａｂｏｒａｔｉｖｅ ａｃｔｉｖｉｔｙ）」（ＡＣＭマルチメディア会議‘９５予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ‘９５ Ｃｏｎｆｅｒｅｎｃｅ）、１９９５年）（引用によりこの開示に組み込まれる）には、単一のスイッチを用いて、キャプチャした会議中にインデックスを作成するシステムについて記載されている。また、モラン（Ｍｏｒａｎ）他著「オーディオからの取得：マルチメディア会議録の再利用のケーススタディ（Ｉ’ｌｌ ｇｅｔ ｔｈａｔ ｏｆｆ ｔｈｅ ａｕｄｉｏ：Ａ ｃａｓｅ ｓｔｕｄｙ ｏｆ ｓａｌｖａｇｉｎｇ ｍｕｌｔｉｍｅｄｉａ ｍｅｅｔｉｎｇ ｒｅｃｏｒｄｓ）」（ＣＨＩ‘９７予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＨＩ‘９７）、１９９７年）（引用によりこの開示に組み込まれる）には、キャプチャした会議に索引付けするアプリケーションについて記載されている。

チウ（Ｃｈｉｕ）他著「会議中のディジタルビデオ及びインクによるノート（Ｔａｋｉｎｇ ｎｏｔｅｓ ｉｎ ｍｅｅｔｉｎｇｓ ｗｉｔｈ ｄｉｇｉｔａｌ ｖｉｄｅｏ ａｎｄ ｉｎｋ）」（ＡＣＭマルチメディア‘９９予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ‘９９）、１９９９年）および米国特許第６，４５２，６１５号（これらは共に引用によりこの開示に組み込まれる）には、ディジタルインクを用いて注釈付けを行うシステムについて記載されている。Ｃｈｉｕ他では、画像を撮って注釈ページに組み込み、その画像を会議のビデオストリームに関連付けることができる。ユーザは、１つの画像または一連の画像を撮り、ディジタルインクを用いて注釈付けを行う注釈ページに組み込むことができる。ディジタルインクで注釈付けされた複数の画像を注釈ページにまとめて組み込むことができるが、各画像および各注釈はそれぞれ異なるタイムスタンプを有する。

アバウド（Ａｂｏｗｄ）他著「マルチメディアとしての教育及び学習：クラスルーム２０００プロジェクト（Ｔｅａｃｈｉｎｇ ａｎｄ Ｌｅａｒｎｉｎｇ ａｓ Ｍｕｌｔｉｍｅｄｉａ Ａｕｔｈｏｒｉｎｇ：Ｔｈｅ Ｃｌａｓｓｒｏｏｍ ２０００ Ｐｒｏｊｅｃｔ）」（ＡＣＭマルチメディア会議‘９６予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ‘９６ Ｃｏｎｆｅｒｅｎｃｅ）、１９９６年）（引用によりこの開示に組み込まれる）には、ＰＤＡを用いて、キャプチャした会議に索引付けするアプリケーションについて記載されている。Ａｂｏｗｄ他の技術では、スライド画像をＰＤＡにプレロードする必要がある。また、この他に、注釈にタイムスタンプを施し、その注釈を音声やビデオに関連付けるスタンドアロン型注釈付けシステムも知られている。参照：例えば、ラミング（Ｌａｍｍｉｎｇ）他著「アクティビティベースの情報技術及び個人的記録のサポート（Ａｃｔｉｖｉｔｙ−ｂａｓｅｄ ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ａｎｄ ｓｕｐｐｏｒｔ ｏｆ ｐｅｒｓｏｎａｌ ｍｅｍｏｒｙ）」（情報処理予稿集‘９２（Ｐｒｏｃ． Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ‘９２）、１９９２年）、ホィタッカー（Ｗｈｉｔｔａｋｅｒ）他著「ファイロチャット：手書きノートが記録された会話へのアクセスを提供する（Ｆｉｌｏｃｈａｔ：ｈａｎｄｗｒｉｔｔｅｎ ｎｏｔｅｓ ｐｒｏｖｉｄｅ ａｃｃｅｓｓ ｔｏ ｒｅｃｏｒｄｅｄ ｃｏｎｖｅｒｓａｔｉｏｎｓ）」（ＣＨＩ‘９４予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＨＩ‘９４）、１９９４年）、「ダイナマイト：動的に編成されたインク及びオーディオノート（Ｄｙｎｏｍｉｔｅ：Ａ Ｄｙｎａｍｉｃａｌｌｙ Ｏｒｇａｎｉｚｅｄ Ｉｎｋ ａｎｄ Ａｕｄｉｏ Ｎｏｔｅｂｏｏｋ）」（ＣＨＩ‘９７予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＨＩ‘９７）、１９９７年）、および、チウ（Ｃｈｉｕ）他著「マルチメディア議事録のためのインターネットベースのシステム（Ａｎ Ｉｎｔｅｒｎｅｔ−ｂａｓｅｄ ｓｙｓｔｅｍ ｆｏｒ ｍｕｌｔｉｍｅｄｉａ ｍｉｎｕｔｅｓ）」（第１０回ワールドワイドウェブ会議予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｔｅｎｔｈ Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｆｅｒｅｎｃｅ）、２００１年）（これらは全て引用によりこの開示に組み込まれる）。

デービス（Ｄａｖｉｓ）他著「ノートパル：グループによるグループのための軽量ノートの共有（ＮｏｔｅＰａｌｓ：Ｌｉｇｈｔｗｅｉｇｈｔ ｎｏｔｅ ｓｈａｒｉｎｇ ｂｙ ｔｈｅ ｇｒｏｕｐ，ｆｏｒ ｔｈｅ ｇｒｏｕｐ）」（ＣＨＩ‘９９会議予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＣＨＩ‘９９ Ｃｏｎｆｅｒｅｎｃｅ）、１９９９年）（引用によりこの開示に組み込まれる）には、ＰＤＡで注釈付けを行った後、その注釈をサーバにアップロードすることについて記載されている。
米国特許第６，４５２，６１５号 ミンネマン（Ｍｉｎｎｅｍａｎ）他著「協同的アクティビティを捕捉しアクセスするためのツールに関するコンフェデレイション（Ａ ｃｏｎｆｅｄｅｒａｔｉｏｎ ｏｆ ｔｏｏｌｓ ｆｏｒ ｃａｐｔｕｒｉｎｇ ａｎｄ ａｃｃｅｓｓｉｎｇ ｃｏｌｌａｂｏｒａｔｉｖｅ ａｃｔｉｖｉｔｙ）」 ＡＣＭマルチメディア会議‘９５予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ‘９５ Ｃｏｎｆｅｒｅｎｃｅ）、１９９５年 モラン（Ｍｏｒａｎ）他著「オーディオからの取得：マルチメディア会議録の再利用のケーススタディ（Ｉ’ｌｌ ｇｅｔ ｔｈａｔ ｏｆｆ ｔｈｅ ａｕｄｉｏ：Ａ ｃａｓｅ ｓｔｕｄｙ ｏｆ ｓａｌｖａｇｉｎｇ ｍｕｌｔｉｍｅｄｉａ ｍｅｅｔｉｎｇ ｒｅｃｏｒｄｓ）」 ＣＨＩ‘９７予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＨＩ‘９７）、１９９７年 チウ（Ｃｈｉｕ）他著「会議中のディジタルビデオ及びインクによるノート（Ｔａｋｉｎｇ ｎｏｔｅｓ ｉｎ ｍｅｅｔｉｎｇｓ ｗｉｔｈ ｄｉｇｉｔａｌ ｖｉｄｅｏ ａｎｄ ｉｎｋ）」 ＡＣＭマルチメディア‘９９予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ‘９９）、１９９９年 アバウド（Ａｂｏｗｄ）他著「マルチメディアとしての教育及び学習：クラスルーム２０００プロジェクト（Ｔｅａｃｈｉｎｇ ａｎｄ Ｌｅａｒｎｉｎｇ ａｓ Ｍｕｌｔｉｍｅｄｉａ Ａｕｔｈｏｒｉｎｇ：Ｔｈｅ Ｃｌａｓｓｒｏｏｍ ２０００ Ｐｒｏｊｅｃｔ）」 ＡＣＭマルチメディア会議‘９６予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ‘９６ Ｃｏｎｆｅｒｅｎｃｅ）、１９９６年 ラミング（Ｌａｍｍｉｎｇ）他著「アクティビティベースの情報技術及び個人的記録のサポート（Ａｃｔｉｖｉｔｙ−ｂａｓｅｄ ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ａｎｄ ｓｕｐｐｏｒｔ ｏｆ ｐｅｒｓｏｎａｌ ｍｅｍｏｒｙ）」 情報処理予稿集‘９２（Ｐｒｏｃ． Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ‘９２）、１９９２年 ホィタッカー（Ｗｈｉｔｔａｋｅｒ）他著「ファイロチャット：手書きノートが記録された会話へのアクセスを提供する（Ｆｉｌｏｃｈａｔ：ｈａｎｄｗｒｉｔｔｅｎ ｎｏｔｅｓ ｐｒｏｖｉｄｅ ａｃｃｅｓｓ ｔｏ ｒｅｃｏｒｄｅｄ ｃｏｎｖｅｒｓａｔｉｏｎｓ）」 ＣＨＩ‘９４予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＨＩ‘９４）、１９９４年 ホィタッカー（Ｗｈｉｔｔａｋｅｒ）他著「ダイナマイト：動的に編成されたインク及びオーディオノート（Ｄｙｎｏｍｉｔｅ：Ａ Ｄｙｎａｍｉｃａｌｌｙ Ｏｒｇａｎｉｚｅｄ Ｉｎｋ ａｎｄ Ａｕｄｉｏ Ｎｏｔｅｂｏｏｋ）」 ＣＨＩ‘９７予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＨＩ‘９７）、１９９７年 チウ（Ｃｈｉｕ）他著「マルチメディア議事録のためのインターネットベースのシステム（Ａｎ Ｉｎｔｅｒｎｅｔ−ｂａｓｅｄ ｓｙｓｔｅｍ ｆｏｒ ｍｕｌｔｉｍｅｄｉａ ｍｉｎｕｔｅｓ）」 第１０回ワールドワイドウェブ会議予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｔｅｎｔｈ Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｆｅｒｅｎｃｅ）、２００１年 デービス（Ｄａｖｉｓ）他著「ノートパル：グループによるグループのための軽量ノートの共有（ＮｏｔｅＰａｌｓ：Ｌｉｇｈｔｗｅｉｇｈｔ ｎｏｔｅ ｓｈａｒｉｎｇ ｂｙ ｔｈｅ ｇｒｏｕｐ，ｆｏｒ ｔｈｅ ｇｒｏｕｐ）」 ＣＨＩ‘９９会議予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＣＨＩ‘９９ Ｃｏｎｆｅｒｅｎｃｅ）、１９９９年

マルチメディアドキュメントに対してブックマークおよび／または注釈付けを行う上記のシステムと方法は有効であるが、より多くの情報アレイのブックマークを行う、ライブのおよび／または記録されたマルチメディアドキュメントをブックマークするための改良されたシステムと方法であれば価値がある。

本発明は、ライブのおよび／または記録されたマルチメディアドキュメントをブックマークするシステムと方法を別個に提供する。

本発明は、複数の異なるマルチメディアストリームのスナップショットを含むブックマークを作成するシステムと方法を別個に提供する。

本発明は、スライドのスナップショットを含むブックマークおよび／またはキーワードを含むブックマークを作成するシステムと方法を別個に提供する。

本発明は、ユーザがワンタッチ操作でマルチメディアブックマークを作成することができる、マルチメディアドキュメントのブックマークシステムとその方法を別個に提供する。

本発明は、ユーザが複数のスナップショットを含むブックマークを見ることができる、マルチメディアドキュメントのブックマークシステムとその方法を別個に提供する。

本発明は、ユーザが特定のスナップショットに関連付けられたマルチメディアストリームの一部を見ることができる、マルチメディアドキュメントのブックマークシステムとその方法を別個に提供する。

本発明に係るマルチメディアドキュメントをブックマークするシステムと方法の種々の実施形態において、マルチメディアストリームの効果的な検索およびブラウズを支援するために、複数のマルチメディアストリームのスナップショットを含むブックマークが提供される。

本発明に係るシステムと方法の種々の実施形態において、ユーザは、マルチメディアストリームの複数のスナップショットを含むブックマークを作成することができる。種々の実施形態において、本発明のシステムと方法は、ライブのおよび／または記録されたマルチメディアドキュメントを「クリック操作で」ブックマークする方法を含む。種々の実施形態において、本発明に係るシステムと方法は、ＰＤＡ、ディスプレイ付きセルラフォン、ペン型／タブレット型コンピュータ、ラップトップ型コンピュータなどのハンドヘルド装置を用いてブックマークを行うことができる。種々の実施形態において、ボタンを１回押すだけで、ユーザは、マルチメディアスナップショットをキャプチャするとともにマルチメディアドキュメントに索引付けするブックマークを作成することができる。各マルチメディアスナップショットは複数のビデオキーフレーム画像を含む。種々の実施形態において、マルチメディアブックマークはキーワードを含むこともできる。種々の実施形態において、本発明に係るシステムと方法を用いて作成したスナップショットは、ユーザがブックマーク集から個々のブックマークを識別／検索するのに役立つ。ブックマークのコンテンツが何らかの理由でユーザに不十分な情報しか与えない場合は、種々の実施形態において、ユーザはスナップショットを選択して、そのスナップショットに関連付けられたマルチメディアストリームの１つ以上の部分を再生したり見たりすることができる。

種々の実施形態において、本発明のシステムと方法は、複数のマルチメディアストリームを表示し、タイムシグネチャとユーザのワンタッチ操作に基づいた各マルチメディアストリームのスナップショットとを含むブックマークを作成し、スナップショットをマルチメディアストリームの部分に関連付け、ブックマークと、選択したスナップショットに関連付けられたマルチメディアストリームの部分を表示する。

本発明の上記ならびにその他の特徴と効果は、本発明に係るシステムと方法の種々の実施形態の以下の詳細な説明に記載されているか、もしくは、その説明から明らかである。

以下の図面を参照して、本発明の種々の実施形態を詳細に説明する。なお、同様の構成要素には同じ参照符号を付してある。

図１は、本発明に係るブックマークシステムの一実施形態によって生成された表示画面の一実施形態を示すコンピュータ表示画面１１０を有するハンドヘルドコンピュータ１００を示す。画面１１０は、３つのカメラのビデオ画像１１１と、１つのスライドビデオ画像１１２と、キーワード１１３と、注釈作成領域１１４とを表示するマイクロソフト社のインターネットエクスプローラ（Ｍｉｃｒｏｓｏｆｔ Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ（登録商標））内で動作するウェブベースインタフェースを含む。

図１に示す実施形態において、ハンドヘルドコンピュータ１００は、ルーティング、アプリケーション、モジュール、プログラムなどを実行し、表示画面１１０を作成する。アプリケーションなどを実行するために、ユーザはネットワーク上のウェブサイトに接続する。アクセスしたネットワークサイトにアクセス可能なサーブレットがクライアント装置およびユーザ名のセッションを作成する。対象のイベントが記録中のライブの会議である場合、このプログラムおよびユーザがブックマークしているマルチメディア記録は、会議で表示された時間および場所によって識別される。ユーザが再生中にマルチメディアドキュメントをブックマークしている場合は、例えば、ドキュメント名またはマルチメディアドキュメントを指すポインタを用いて、マルチメディアドキュメントを識別する。

ユーザは、例えば「クリック」操作などのワンタッチ操作でブックマークを作成することができる。サーブレットは、受信したワンタッチ操作によるユーザ入力に基づいて、タイムインデックスおよびマルチメディアスナップショットを含むブックマークを生成する。種々の実施形態において、このマルチメディアブックマークスナップショットは、１つ以上のビデオ画像１１１と、スライド画像１１２と、キーワード１１３とを含む。また、図１に示すように、マルチメディアブックマーク１１０は、注釈領域１１４にユーザ注釈を含んでもよい。

次に、ブックマークスナップショット１１０を、例えばインターネットなどのネットワーク（有線（光有線を含む）でも無線でもよい）を介して、ユーザ／クライアントの装置および／またはユーザ／クライアントのネットワークブラウザに送信することができる。種々の実施形態において、ブックマークスナップショット１１０を、ネットワークを介してＨＴＴＰによりユーザ／クライアント装置のウェブブラウザに送信することができる。種々の実施形態において、例えばＨＴＭＬフォーマットやＨＴＭＬ形式フォーマットなどの指定標準フォーマットを含む１つ以上の指定フォーマットにリンクし、１つ以上のユーザ注釈を入力することができる。図１に示す実施形態において、ブックマークデータはＸＭＬフォーマットであり、これは他のアプリケーションやウェブサービスによって容易に処理することができる。また、ブックマークデータをＭＰＥＧ−７メタデータとして用いてもよい。ブックマークにタイムスタンプを施すとともに、ブックマークによりマルチメディアにインデックスを付けることができる。

ネットワークサーバによってビデオソースを処理することができる。このネットワークサーバは、ビデオ入力を含むかビデオ入力にアクセスし、ネットワーク（有線でも無線でもよい）を介してクライアントのルーティング、アプリケーション、モジュール、プログラムなどにビデオや音声をメタデータとともに送信する。サーバおよびクライアントの複数インスタンスは同一の装置でも協働することができる。種々の実施形態において、サーバは、すべてのマルチメディア（ビデオを含む）チャネル、例えば３つのチャネル用に構成され、クライアント数がいくつでもサービスを行う。種々の方法でビデオソースをキャプチャすることができる。例えば、室内カメラまたはドキュメントカメラからキャプチャしたり、タップからプロジェクタ、ＴＶ、ＶＣＲ、その他のビデオストリームにキャプチャしたり、ハンドヘルドコンピュータに装着した小型携帯カメラからキャプチャすることができる。本開示に組み込まれた米国特許第６，４５２，６１５号では、３つのビデオチャネルおよびそのチャネルのスイッチのそれぞれに異なるサーバを用い、１度に１つのチャネルしか表示できない。一方、本発明のシステムおよび方法は、種々の実施形態において、３つのビデオチャネルを１度に表示し、スイッチャが不要である。ただし、複数のビデオストリームを同時に表示しないようにする場合は、スイッチャを設け、表示された個々のビデオストリームを切り換えることができる。

本願の図２および図３と同様の米国特許第６，４５２，６１５号の図２および図３に示されたＮＯＴＥＬＯＯＫ（登録商標）のサーバと同様に、サーバを実現することができる。本願の図２は、テーブルと、椅子と、プロジェクタ／ビデオカメラ２００と、投射画面２１０とを備えるビデオ会議設備の前方を見た図を示す。図３は、テーブルと、椅子と、ビデオカメラ２０１、２０２とを備えるビデオ会議設備の後方を見た図を示す。一実施形態において、３つの室内カメラ２００、２０１、２０２が設けられ、各カメラはビデオチャネルを提供する。また、別の視角または遠隔の視角を持つカメラを増設してサポートしてもよい。投射画面２１０は、種々の実施形態において、例えば、コンピュータ、ドキュメントカメラ、ＶＣＲ／ＤＶＤプレーヤ（図示せず）などのソースからのプレゼンテーションコンテンツに別のチャネルを提供する。このような例の構成の場合、話者は最小限の準備をするだけで済む。例えば、種々の実施形態において、話者は自分のラップトップ型コンピュータをパワーポイント（ＰｏｗｅｒＰｏｉｎｔ（登録商標））のスライドまたはウェブページに接続するか、オーバヘッドプロジェクタのスライドをドキュメントカメラに送るか、または、ビデオテープをＶＣＲで再生すればよい。いずれの場合も通常の作業のやり方を大幅に上回る準備をする必要はない。

本発明に係るシステムおよび方法の種々の実施形態には、スライド交換検出を用いた自動注釈付けが含まれる。このような実施形態において、プレゼンテーション素材を含むプロジェクタからの出力を解析し、いつスライド交換が行われるかを判定することができる。個々のスライドを抽出することができる。種々の実施形態において、記録ビデオに索引付けする場合、ブラウズを容易にする視覚情報を与えるタイムライン上のマークによって、スライド交換が行われる時点を表示することができる。

種々の実施形態において、例えば、無線ネットワークを介して帯域幅を最適化するフレームレート圧縮などの別のスライド交換検出アプリケーションを用いることができる。種々の実施形態において、サーバによってディジタルビデオを１５フレーム／秒または３０フレーム／秒でキャプチャし、そのディジタルビデオを再生用に記憶することができる。通常、スライドは上記レート付近では変化せず、例えば、発表者は１分毎または２分毎にスライドを交換するので、種々の実施形態において、サーバはスライド交換が行われる時にのみビデオフレームを送信すればよい。

クライアントは、ビデオウィンドウ／ビデオ操作機能を有するマルチメディアシステムである。ここに記載の機能は、通常の機能を有するコンピュータオペレーティングシステムに適用可能であり、このようなオペレーティングシステムで開発することもできる。

上記のように、図１には画面ショット１１０が示されている。ビデオウィンドウの上に、ビデオとのインタラクションを行うボタンが４つある。種々の実施形態において、一番左のボタン１２０を用いて新しいブックマークを作成し、一番右のボタン１２３を用いて、所定のセッションで生成された非保存ブックマークを保存し、左矢印ボタン１２１を用いて逆方向にスクロールして、現セッションに前のブックマーク（保存ブックマークまたは非保存ブックマーク）を表示し、右矢印ボタン１２２を用いて保存ブックマークまたは非保存ブックマークを順方向にスクロールすることができる。図示していないが、種々の実施形態において、他のボタンを追加して、ビデオチャネルの切り換え、ブックマークの部分的な拡大または縮小、および、ビデオの現在時間位置を含むタイムラインの表示を行ってもよい。これらの機能を用いて、ブラウズおよびレビューを簡単に行うことができる。

図４は、ユーザ／クライアント装置１００を動作させる装置の一実施形態のブロック図を示す。メディアストリームやメタデータなどのデータソース８００をサーバ８２０から受信する。記憶装置／メモリ６３０を用いて、プログラム、ルーチン、またはアプリケーション、および、注釈ファイルまたはセッション時に作成または保存された他のデータの記憶を維持することができる。

本実施形態において、処理装置６００はユーザ入力（例えばブックマークのクリック）を受信し、チャネル選択、および、ユーザ／クライアント装置１００の表示画面１１０への出力（スナップショット）を行うように指示する。また、種々の実施形態において、処理装置６００は、サーバ８２０に送られたユーザ要求、例えば、特定のタイムスタンプまたはブックマークでのビデオの呼び出しまたは再生を開始してもよい。

処理装置６００がプログラムによってロードされると、処理装置６００は上記の動作を行う。処理装置本体は、図４のブロック図に示すような具体的な装置を備えることができるが、これに限定されるわけではない。例えば、処理装置６００は、入出力回路／ルーチン／アプリケーション６１０と、制御装置６２０と、メモリ６３０と、タイムライン生成回路／ルーチン／アプリケーション６４０と、キーワード生成回路／ルーチン／アプリケーション６５０と、メタデータ処理生成回路／ルーチン／アプリケーション６６０と、ユーザ注釈生成回路／ルーチン／アプリケーション６７０と、ネットワークアクセス回路／ルーチン／アプリケーション６８０と、表示制御生成回路／ルーチン／プログラム６９０と、ブックマーク生成回路／ルーチン／プログラム６９５とを備えることができる。

種々の実施形態において、ブックマークセッション時に、クライアントの各インスタンスは、ブックマーク情報（ライブビデオ情報、スライド情報およびキーワード情報を含む）からなるブックマークファイルを作成し、ユーザ注釈付きであるいはユーザ注釈無しで、そのブックマークファイルをコンピュータ／装置画面に表示する。これらのオブジェクトにはタイムスタンプが施され、このタイムスタンプによりビデオストリームにインデックスが追加される。

可変メモリまたは非可変メモリのいずれ一方または両方を用いて、図４に示す記憶装置／メモリ６３０を実現することができる。また、フロッピー（登録商標）ディスクとディスクドライブ、書き込み可能光ディスクとディスクドライブ、ハードドライブ、フラッシュメモリなどを用いて、記憶装置／メモリ６３０の可変部を実現することもできる。種々の実施形態では、ＲＯＭを用いて記憶装置／メモリ６３０の非可変部を実現する。しかしながら、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの他の非可変メモリ、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの光ＲＯＭディスクとディスクドライブ、この他の非可変メモリなどを用いて、非可変部を実現してもよい。

一般に、１つ以上の入力装置６１０は、キーボード、キーパッド、マウス、トラックボール、トラックパッド、タッチスクリーン、マイクロフォンとそれに対応する音声認識システムソフトウェア、ジョイスティック、ペンベースシステム、または、ブックマークシステム１００に制御信号および／またはデータ信号を送る他の公知のシステムまたは後に開発されたシステムのいずれか１つ以上を含む。１つ以上の入力装置６１０は、さらに、ユーザまたは他のシステムがフィルタ／ビューシステム１００にデータまたは他の刺激を送るために用いることができる手動装置または自動装置を含んでもよい。例えば、１つ以上の入力装置６１０は、マルチメディアストリームのマーク付けを行うノートブックに適した公知の装置または技術あるいは後に開発された装置または技術、例えば、リモートラップトップ型コンピュータ、ペンベース型ノートブックコンピュータ、ＰＤＡを含んでもよい。１つ以上の入力装置６１０は、さらに、マルチメディアストリームをブックマークする他の装置、例えば、キータグやセルラフォンを含んでもよい。

リンク６０５は、１つ以上の入力装置６１０と注釈付け／ブックマーク処理装置６００の種々の構成要素とを接続する公知の装置またはシステムあるいは後に開発された装置またはシステム、例えば、ケーブルによる直接接続、広域ネットワークまたはローカルエリアネットワークによる接続、イントラネットによる接続、インターネットによる接続、公知の分散処理ネットワークまたは分散処理システムあるいは後に開発された分散処理ネットワークまたは分散処理システムによる接続でよい。一般に、リンク６０５は、１つ以上の入力装置６１０および／または１つ以上のユーザ装置１００と注釈付け／ブックマーク処理装置６００の種々の構成要素とを接続するために用いることができる公知の接続システムまたは接続構造あるいは後に開発された接続システムまたは接続構造でよい。リンク６０５は、さらに、リモート装置同士を無線接続する１つ以上の公知の装置または１つ以上の後に開発された装置でもよい。

動作時、ユーザが注釈付け／ブックマーク処理装置６００を操作してマルチメディアドキュメントをブックマークする以外の方法で、複数のマルチメディアストリームを得ることもできる。複数のマルチメディアストリームは、ユーザによって使用される前に別のユーザによって作成または記録されていることがある。マルチメディアドキュメントの主題の発生と同時にそのマルチメディアドキュメントを注釈付け／ブックマーク処理装置６００に送るのに適した１つ以上の入力装置６１０の少なくとも１つを用いてデータを送ることによって、複数のマルチメディアストリームを注釈付け／ブックマーク処理装置６００に表示することができる。あるいは、１つ以上の入力装置６１０は、予め記録したマルチメディアドキュメントを注釈付け／ブックマーク処理装置６００に送信または伝送するのに用いることができる１つ以上の装置を含んでもよい。

マルチメディアドキュメントをブックマークシステムに送ると、そのマルチメディアドキュメントは制御装置６２０によって記憶メモリ６３０に記憶される。次に、プロセッサ制御装置６２０は、記憶メモリ６３０に記憶された複数のマルチメディアストリームをマルチメディアストリーム表示制御部６９０に送る。マルチメディアストリーム表示制御部６９０は、プロセッサ制御装置６２０の制御により、複数のマルチメディアストリームをユーザ装置１００に表示する。

複数のマルチメディアストリームがユーザ装置１００に表示されるので、ユーザは１つ以上の入力装置６１０の少なくとも１つを用いて、ブックマーク処理装置６００にワンタッチ操作で合図を送ることができる。ワンタッチ操作による合図をブックマーク処理装置６００に送ると、ブックマーク作成回路／ルーチン６９５は、制御装置６２０の制御により、タイムシグネチャを含むブックマークを作成するように動作する。制御装置６２０は、ブックマーク作成回路／ルーチン６９５によって作成されたブックマークを記憶装置／メモリ６３０に記憶させる。

次に、制御装置６２０は、タイムシグネチャを含むブックマークをスナップショット関連付け回路／ルーチン／アプリケーション６２５に送る。スナップショット関連付け回路／ルーチン６２５は、制御装置６２０の制御により、タイムシグネチャを作成した時に生じた複数のマルチメディアストリームのスナップショットをブックマークに関連付ける。その後、スナップショットが関連付けられたブックマークは制御装置６２０によりメモリ６３０に記憶される。

次に、制御装置６２０は、メモリ６３０に記憶されたマルチメディアストリームの一部分が関連付けられたブックマークの少なくともいくつかにアクセスし、アクセスデータをブックマーク表示制御部６９０に送る。注釈／ブックマーク表示制御部６９０は、制御装置６２０の制御により、ブックマークを表示するユーザインタフェースの作成または変更を行う。注釈／ブックマーク表示制御部６９０による表示動作が完了すると、次に、制御装置６２０は、注釈／ブックマーク表示制御部６９０が生成したユーザインタフェースをメモリ６３０に記憶させる。

次に、制御装置６２０は、メモリ６３０から、ブックマーク表示制御部６９０が生成または変更したユーザインタフェースにアクセスし、ユーザインタフェースをユーザ装置１００に表示する。ユーザがユーザ装置１００に表示された注釈／ブックマークに含まれるスナップショットのうちの１つを選択すると、制御装置６２０はマルチメディアストリームの関連付け部分を送り、その関連付け部分はユーザ装置１００に表示される。

ディスプレイ１１０の動作を制御するために用いられるプログラム汎用コンピュータの一部として、図４に示す注釈付け／ブックマーク処理装置６００を実現することができる。代替例として、ＡＳＩＣ、ディジタル信号プロセッサ（ＤＳＰ）、ＦＰＧＡ、ＰＬＤ、ＰＬＡ、ＰＡＬを用いて、または、ディスクリート論理素子やディスクリート回路素子などの物理的に別個のハードウェア回路を用いて、注釈付け／ブックマーク処理装置６００を実現してもよい。図４に示す処理装置６００の具体的な態様は設計上の選択として考えられ、当業者にとって明白かつ想到し得るものである。別の代替例として、コンピュータ装置の制御システム全体を実行するために用いることができるソフトウェアプログラムの一部として、注釈付け／ブックマーク処理装置６００を実現してもよい。この場合、ソフトウェアルーチン、オブジェクトおよび／またはアプリケーションプログラミングインタフェースなどとして、処理装置６００を実現することができる。

図５は、本発明のシステムおよび方法に係るファイル９００の一実施形態を示す。ファイル９００は５つの列を有する。第１列は複数のタイムスタンプ９１０を示す。第２列は第１のカメラからの複数のスナップショット９１１を示す。第３列は第２のカメラからの複数のスナップショット９１２を示す。第４列はスライドプロジェクタからの複数のスナップショット９１３を示す。第５列は複数の注釈９２０を示し、これらの注釈は、例えば、タイプ入力でも手書きでもよい。第１行は、１１時４分４０秒に撮影／注釈付けされた、３つのスナップショット９１１、９１２、９１３および印字された注釈９２０を示す。種々の実施形態において、タイムスタンプ９１０は、例えば、第１、第２、または、第３のスナップショットの撮影時刻、および／または、注釈の開始時刻または終了時刻を表すことができる。図５の実施形態において、各行は３つのスナップショット９１１、９１２、９１３を示す。種々の実施形態において、スナップショット数は可変かつ選択可能であり、注釈用のスペースも同様であるが、この注釈スペースには注釈を入力してもしなくてもよい。種々の実施形態において、例えば、プレゼンテーションのタイトル、テーマ、１つ以上のスライド中断点、ユーザ名、会議室の場所、会議の種類などのメタデータを含む付加情報をファイルに追加してもよい。種々の実施形態において、時刻を表示する代わりに、タイムスタンプ９１０は、例えば、経過時間モードを含む他の時間モードで動作してもよい。さらに、複数の時間モードを同時に表示してもよい。また、種々の実施形態において、アラーム機能を追加して、例えば、所定時間の経過および／または所定の時刻を表示してもよい。

種々の実施形態において、セッション後、ユーザは注釈９２０をレビューし、オブジェクトを選択して「再生」ボタン（図示せず）を押すとオブジェクトに対応するビデオを再生することができる。ビデオ再生の別の方法としては、カメラ画像９１１、９１２、スライド９１３、キーワード／注釈９２０のいずれかをクリックまたはダブルクリックする。例えば、オブジェクトを選択すると、オブジェクト作成時刻に対応する時刻にビデオが開始される。あるいは、オブジェクトが特定のビデオ部分またはメディア部分を指示するか、これらにリンクしてもよい。

注釈付け作業を時間ごとに視覚的に決定するタイムラインは、関心のあるポイントでビデオをブラウズ／再生するさらに別の方法を提供する。再生の場合、ユーザはポインタをタイムライン上の所望の場所にドラッグするか、タイムライン上の適所をクリックしさえすればよい。

種々の実施形態において、ディジタルビデオストリームをサーバによってネットワークに別々に保存し、種々のユーザ／クライアントによって注釈付けされた注釈ファイルを介してディジタルビデオストリームにランダムにアクセスすることができる。種々の実施形態において、ビデオを注釈ファイルとともに局所的に保存することができる。しかしながら、これは大量のファイルスペースを必要とする可能性がある。

種々の実施形態において、図６に示すように、ビデオをサーバによって無線ネットワーク５１０を介してクライアントに送信することができる。サーバは、サポートされたＷｉｎｄｏｗｓ（登録商標）、Ｍａｃ（登録商標）、Ｌｉｎｕｘ（登録商標）、または、他のオペレーティングシステムで動作することができる。サーバはビデオキャプチャカードを備え、複合ビデオを受け取ることもできる。種々の実施形態において、ディジタルビデオを１５フレーム／秒または３０フレーム／秒でキャプチャし、そのディジタルビデオを再生用にネットワークに記憶することができる。

図６は、本発明に係るブックマークシステムの構造の一実施形態を示す。プレゼンテーション素材のビデオを、室内のワークステーション、例えば、ユーザのラップトップ型コンピュータ、室内カメラ２０１〜２０３、ドキュメントカメラ、ＶＣＲ、ＤＶＤ／ＣＤプレーヤから、プロジェクタ２１０に送ることができる。そのビデオを無線ネットワーク８１０によりクライアントに送信する。サーバ８２０はビデオキャプチャカードを備えることができる。ビデオデータ８００をサーバ８２０に送る。種々の実施形態において、話者は演壇で所望の後方プロジェクタソースを選択する。また、室内カメラを室内のホワイトボード（図示せず）に向け、プロジェクタ２１０によって示すことができる。音声を多数の天井マイクによってキャプチャし、１つの音声ストリームに結合し、ビデオとともにネットワークに記憶することができる。音声、ビデオ、その他のデータの他の多くの結合をメディアストリームとしてクライアントに送ることができる。

種々の実施形態において、自動スライド交換検出をサーバによって行うことができる。このような検出は、ハンドヘルドコンピュータ、例えば、ＰＤＡで行うこともできるが、必要な処理を行い、次いで、その処理結果を分散させるのにより効率的な場所はサーバである。ビデオフレームを識別するアルゴリズムの一実施形態として、ビデオストリームの連続するフレームのカラーヒストグラムを比較することによって、フレームの変化によりスライド交換がいつ行われたかを判定する方法がある。検出された各スライド交換によって、クライアントに送られる１つのメタデータを提供することができる。メタデータから作成されたインデックスおよびタイムライン上の表示マークは、ユーザ／クライアントによって管理することができる。種々の実施形態において、フレームレート圧縮を用いて、例えば、スライド交換間のフレームを低下させることによって、無線帯域幅を最適化することができる。種々の実施形態において、公知の方法、例えば、標準ＴＣＰ／ＩＰによる方法を用いて、ビデオフレームおよびメタデータをクライアントに送信することができる。

種々の実施形態において、フレームレート圧縮を利用して帯域幅を保存することができる。自動交換検出（例えばスライド交換検出）を利用することができ、メディアストリームの変化のみをクライアントに送る。あるいは、メディアストリームの素材の１秒当たりのフレームレートを低下させてもよい（すなわち、３０フレーム／秒のビデオショットを１〜２フレーム／秒に低下させればよい）。この結果、クライアントシステムの表示画面にちらつきが生じるおそれがあるが、注釈付け装置において完全なビデオは注釈付け処理にとって不可欠なものではない。実際、注釈付けを行う人がビデオ会議に出席している場合、例えば、その人は現在何が起こっているかを見聞きすることができるので、完全なビデオは必要ない。

種々の実施形態において、自動索引付けを利用することによって、例えば、上記と同様の交換検出の判定基準を用いて、自動的にキャプチャされ特定のブックマークに作成される重要なビデオショットを自動的に判定することもできる。このようにして自動的に索引付けされた素材を、上記のようなスライド交換などのタイムラインにリンクしてもよい。

本発明は、コンピュータ技術者には明らかなように、本発明の開示に従ってプログラムされた従来の汎用（または専用）ディジタルコンピュータ（またはマイクロプロセッサ）を用いて、適宜、実現することができる。

適宜のソフトウェアコーディングは、ソフトウェア技術者には明らかなように、本発明の開示に基づいて熟練したプログラマによって容易に作成することができる。また、本発明は、当業者にはただちに明らかなように、アプリケーション専用集積回路を作製することによって、または、従来のコンポーネント回路の適宜のネットワークを相互接続することによって、実現してもよい。

また、本発明は、本発明の処理のいずれかを実行するようにコンピュータをプログラムするために用いることができる命令が記憶された記憶媒体であるコンピュータプログラムプロダクトによって実現してもよい。この記憶媒体には、フロッピー（登録商標）ディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、光磁気ディスクなどのあらゆる種類のディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリ装置、磁気カード、光カード、ナノシステム（分子メモリＩＣを含む）、命令および／またはデータの記憶に適したあらゆる種類のメディアまたは装置が含まれるが、これらに限定されるわけではない。

本発明は、コンピュータ読み取り可能媒体のいずれか１つに記憶されると、汎用（または専用）コンピュータ（またはマイクロプロセッサ）の両方のハードウェアを制御するとともに、コンピュータまたはマイクロプロセッサが本発明の処理結果を利用して人のユーザまたは他の機構とのインタラクションを行うことを可能にするソフトウェアを含む。このようなソフトウェアには、デバイスドライバ、オペレーティングシステム、ユーザアプリケーションが含まれるが、これらに限定されるわけではない。最終的に、このようなコンピュータ読み取り可能媒体は、さらに、上記のように、本発明を実行するソフトウェアを含む。

図７および図８は、本発明に係るマルチメディアドキュメントに注釈付け／ブックマークを行う方法の一実施形態の概略を示すフローチャートを示す。図７および図８に示すように、ステップＳ１００から始まり、動作はステップＳ１１０に進み、例えば、ハンドヘルドコンピュータをウェブサイトに接続してブックマークアプリケーションを開始する。次に、制御はステップＳ１２０に進み、クライアント装置のセッションを作成するが、ユーザ名および／またはクライアント装置の識別ステップを含んでもよい。

次に、ステップＳ１３０で、コンテンツに注釈付け／ブックマークを行うべきプレゼンテーションが現在行われているライブのプレゼンテーションかどうかを判定する。ライブのプレゼンテーションの場合は、制御はステップＳ１５０に進み、例えば、会議の時間および場所、発表者名、講演名などによってそのライブのプレゼンテーションを識別する。一方、プレゼンテーションがライブのプレゼンテーションでない場合は、制御はステップＳ１４０に進み、ドキュメント名でビデオプレゼンテーションを識別するか、ポインタでビデオプレゼンテーションを指示する。

次に、ステップＳ１６０で、ワンタッチ操作による合図などの入力をユーザから受け取ったかどうかを判定する。受け取っていない場合は、動作はステップＳ２３０に進み、処理は終了する。受け取っている場合は、動作はステップＳ１７０に進み、タイムインデックスエントリと、現在のビデオスナップショット１１１、および／または、現在のスライドスナップショット１１２、および／または、１つ以上のキーワード１１３、および／または、マルチメディアビデオストリームの１つ以上の部分に関連付けられたビデオスナップショット４００およびスライドスナップショット４２５に関連付けられた１つ以上の注釈１１４を含む注釈／ブックマークとを生成する。

次に、ステップＳ１８０で、ブックマークをクライアントのハンドヘルドコンピュータに送り、表示する。

ステップＳ１９０で、上記ブックマーク表示情報とともにコンピュータに表示するために注釈をユーザがハンドヘルドコンピュータに追加したかどうかを判定する。注釈を追加していない場合は、動作は直接ステップＳ２１０に進み、注釈の無い上記ブックマーク情報をハンドヘルドコンピュータに表示する。注釈を追加していた場合は、動作はステップＳ２００に進み、ユーザが追加した注釈をハンドヘルドコンピュータの表示の１つ以上の指定領域に追加し、次に、ステップＳ２１０に進み、ユーザがハンドヘルドコンピュータをクリック操作して生成した上記ブックマークデータとともに注釈を表示する。次に、動作はステップＳ２２０に進み、別のユーザ入力、例えば、ユーザによるクリック操作が行われたかどうかを判定する。ユーザ入力が行われていた場合は、制御はステップＳ１７０に戻り、マルチメディアデータの別のブックマークを生成する。ユーザ入力が行われていなかった場合は、制御はステップＳ２３０に進み、処理は終了する。

ステップＳ２１０で複数のマルチメディアストリームを表示する場合、マルチメディアストリームは適宜のソースからのものでよい。例えば、複数のマルチメディアストリームは、記録されたマルチメディアドキュメントの部分でよい。しかしながら、種々の実施形態において、複数のマルチメディアストリームはライブのプレゼンテーションの一部として表示される。このような実施形態において、プレゼンテーション時の記録または表示の一部であるビデオソースに直接組み込むことによって、マルチメディアストリームを得ることができる。例えば、複数のカメラを用いて話者および／または聴衆をいくつかの視点から記録する場合、これらの記録装置をカメラが生成したビデオ信号に直接組み込んで、ステップＳ２１０で複数のマルチメディアストリームを表示することができる。さらに、パワーポイント（ＰｏｗｅｒＰｏｉｎｔ（登録商標））によるプレゼンテーションなどのスライドプレゼンテーションを行っている場合、プレゼンテーションの表示を直接組み込んで、マルチメディアストリームを追加することができる。

複数のマルチメディアストリームの表示は、キーワードの表示も含むようになされている。ライブの会議において、大きいスライド画像で光学式文字認識を行うことによって、キーワードを抽出することができる。例えば、パワーポイント（ＰｏｗｅｒＰｏｉｎｔ（登録商標））を用いる場合は、パワーポイント（ＰｏｗｅｒＰｏｉｎｔ（登録商標））アプリケーションプログラムインタフェースを用いてキーワードを得ることもできる。さらに、標準的な情報検索アルゴリズムを適用して、キーワードをテキストから識別することもできる。キーワードを上記手段のいずれかによって識別するとともに生成し、複数のマルチメディアストリームおよびこれらのストリームのスナップショットとともに表示することができる。

ステップＳ１６０およびステップＳ１２０で、ワンタッチ操作による合図をユーザから受け取ることができる。ワンタッチ操作による合図は、「クリック」応答として説明される、ポインタによる指示やクリックなどのユーザのワンタッチ操作によってなされる合図であればよい。ワンタッチ操作による合図をユーザから受け取ると、ブックマークを作成する。ブックマークは、タイムシグネチャと、ステップＳ２１０で表示されたマルチメディアストリームのそれぞれのスナップショットとを含む。したがって、ワンタッチ操作による合図がなされる特定の時点での種々の視点、スライド、および、キーワードをブックマークの一部として保存する。種々の実施形態において、複数のワンタッチ操作による合図をユーザから受け取る。したがって、ワンタッチ操作による合図の各々の結果として、別個のブックマークと、それに対応する別個のタイムシグネチャおよびスナップショットとが作成される。

種々の実施形態において、ブックマークのタイムシグネチャおよびスナップショットは、マルチメディアストリームの部分に関連付けされる。ブックマークのスナップショットを表示したとき、ブックマークのスナップショットを選択することによって、ユーザが、ブックマークのスナップショットに関連付けられたマルチメディアストリームの部分を見るなどのことができるように、ブックマークのスナップショットをマルチメディアストリームの一部に関連付けることができる。マルチメディアストリームの部分は、例えば、ブックマークのスナップショットが撮影された時刻に関連するように関連付けることができる。したがって、ブックマークのスナップショットの前後のいずれか一方または両方の部分を含むビデオストリームの一部を表示することができる。

ステップＳ２１０で、ブックマークを表示する。スナップショットとともにタイムシグネチャを表示できる適宜の形式でブックマークを表示することができる。種々の実施形態において、ユーザがすべてのブックマークを１度に見ることができる表形式でブックマークを表示することができるので、関連するスナップショットとともにタイムシグネチャを見ることができる。

種々の実施形態において、特定のスナップショットを選択するワンタッチ操作による合図をアプリケーションプログラムが受け取ると、そのブックマークスナップショットに関連付けられたマルチメディアストリームの部分を表示する。

上記の具体的な実施形態を参照して本発明を説明したが、多くの変形、組み合わせ、修正および変更は当業者にとって明らかである。したがって、上記の本発明の好適実施形態は例示に過ぎず限定的なものではない。本発明の精神と範囲に反することなく、種々の変更が可能である。

ハンドヘルドコンピュータ装置に表示された本発明に係るマルチメディアスナップショットの一実施形態の画面ショットである。 本発明に係るシステムおよび方法によって用いることができるビデオ会議設備の前方を見た図である。 本発明に係るシステムおよび方法によって用いることができるビデオ会議設備の後方を見た図である。 本発明に係るマルチメディアブックマークシステムのシステム構造の一実施形態を示すブロック図である。 本発明に係るマルチメディアブックマーク装置の一実施形態を示すブロック図である。 本発明のシステムおよび方法によって作成されたマルチメディアブックマークファイルの一実施形態である。 本発明に係るマルチメディアドキュメントを見る方法の一実施形態の概略を示すフローチャートである。 本発明に係るマルチメディアドキュメントを見る方法の一実施形態の概略を示すフローチャートである。

符号の説明

１００ ハンドヘルドコンピュータ
１１０ 表示画面
１１１ カメラビデオ画像
１１２ スライドビデオ画像
１１３ キーワード
１１４ 注釈作成領域
２００ プロジェクタ／ビデオカメラ
２０１ ビデオカメラ
２０２ ビデオカメラ
２１０ 投射画面
６００ 処理装置
８２０ サーバ

Claims (8)

1. 複数のマルチメディアストリームを表示し、
   タイムシグネチャと、前記複数のマルチメディアストリームの少なくとも１つのスナップショットと、ユーザからのワンタッチ操作による合図に基づいてマルチメディアドキュメントに関連付けられた少なくとも１つのキーワードとを含むブックマークを作成し、
   前記ブックマークを表示する
   ことを特徴とするマルチメディアドキュメントのブックマーク方法。
2. 複数のマルチメディアストリームの表示が、少なくとも２つのビデオストリームを同時に表示することを含む
   ことを特徴とする請求項１に記載のマルチメディアドキュメントのブックマーク方法。
3. 複数のマルチメディアストリームの表示が、少なくとも１つのスライドを表示することを含む
   ことを特徴とする請求項１に記載のマルチメディアドキュメントのブックマーク方法。
4. さらに、ユーザが生成した注釈を含むために識別された表示領域を設ける
   ことを特徴とする請求項１に記載のマルチメディアドキュメントのブックマーク方法。
5. ビデオ情報を含むマルチメディアドキュメントをブックマークするシステムであって、
   クリック入力を行うことができるユーザ装置と、
   マルチメディアドキュメント情報を受信する素子と、
   前記ユーザ装置からクリック入力を受信する素子と、
   マルチメディアストリーム情報を表示する表示装置と、
   マルチメディアストリームスナップショットを含むブックマークを作成するブックマーク作成部と、
   前記表示装置に表示するために、前記ブックマークを前記表示装置に伝送するブックマーク伝送部とを備える
   ことを特徴とするマルチメディアドキュメントのブックマークシステム。
6. 前記ブックマーク作成部が前記表示装置から離れた場所に位置する
   ことを特徴とする請求項５に記載のマルチメディアドキュメントのブックマークシステム。
7. 前記表示装置がハンドヘルドコンピュータである
   ことを特徴とする請求項５に記載のマルチメディアドキュメントのブックマークシステム。
8. 前記ブックマーク作成部がネットワークによって前記表示装置に接続されている
   ことを特徴とする請求項５に記載のマルチメディアドキュメントのブックマークシステム。

Images