JP5140949B2

JP5140949B2 - ディジタル情報を処理する方法、システム及び装置

Info

Publication number: JP5140949B2
Application number: JP2006159895A
Authority: JP
Inventors: エロールベルナ; ジェーハルジョナサン; リーダー・シャン
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2005-06-20
Filing date: 2006-06-08
Publication date: 2013-02-13
Anticipated expiration: 2026-06-08
Also published as: JP2007004784A; KR20060133469A; US20060284981A1; US7554576B2; KR100887696B1

Description

本発明は情報捕捉システムに関連し、特にディジタル情報を捕捉し、捕捉した情報へのアクセスをもたらし、そのディジタル情報に基づいて様々な動作を実行する技術に関連する。

ディジタル情報を捕捉するためのいくつかの技術及びシステムが開発されている。例えばミーティング、プレゼンテーション、教室での講義、デモンストレーション、会議、インタビュー、法的手続、フォーカスグループミーティング、監視活動等の間に情報が捕捉されるかもしれない。捕捉されたディジタル情報は、映像及び音声情報、画像、書類（ドキュメント）、スライド、ホワイトボード情報、メモ情報等でもよい。情報を捕捉するのに様々な情報捕捉装置が使用されるかもしれない。捕捉された情報は一般的には以後に検索及び使用するために格納される。

デジタル情報からイベント、すなわち重要な箇所を導き出す技術については、次の非特許文献に開示されている。
D.S.Lee,B.Erol,J.Graham,J.J.Hull,and N.Murata,"Portable Meeting Recorder", ACM Multimedia,pp.493−502,2002 Qian Hu et al.,"Audio Hot Spotting and Retrieval Using Multiple Features"HLT−NAACL2004 Workshop on Interdisciplinary Approaches to Speech Indexing and Retrieval,2004 T.Nishimura,H.Yabe,and R.Oka,"Indexing of human motion at meeting room by analyzing time−varying images of omni−directional camera,"Conference on Computer Vision,vol.1,pp.1-4,2000， B.Erol,D.Lee,J.Hull,"Multimodal summarization of meeting recordings",ICME,2003 R.Culler,Y.Rui,A.Gupta,J.J.Cadiz,and I.Tashev,"Distributed meetings:A meeting capture and broadcasting system,"ACM Multimedia,2002

本発明の課題は、ディジタル情報にアクセスし、ディジタル情報を使用するための改善された手法を提供することである。

本発明の様々な形態はディジタル情報を捕捉及び受信するためのシステムをもたらす。ディジタル情報は、映像情報、音声情報、画像、書類、ホワイトボード情報、メモ情報等の１以上のタイプの情報で構成されてよい。ディジタル情報に基づいて様々なアクションが実行される。ディジタル情報は１以上の捕捉装置によって捕捉される。

本発明の一形態によれば、ディジタル情報を処理するための手法が提供される。ディジタル情報は受信され、そのディジタル情報から１以上のイベント群が決定される。イベント群に基づいて、実行すべきアクションが決定され、アクションが実行される。

ディジタル情報は一群の１以上の捕捉装置によって捕捉された情報を含んでよく、一群の捕捉装置中の捕捉装置の動作はイベント群に基づいて制御されてよい。イベント群はスライド関連イベントを含んでもよく、捕捉装置群はカメラを含んでもよい。スライド関連イベントに基づいて視界が決定されてもよく、カメラがその視界を捕捉するようにカメラの動作が制御されてもよい。スライド関連イベントは、スライド変更を示すイベント、連続的なスライド変更を示すイベント、スライドを変更せずに或る期間が経過したことを示すイベント、又は他のスライド関連イベントでもよい。

一実施例ではスライド関連イベントがスライド変更を示すことを契機として、カメラが司会者に焦点を合わせる。スライド関連イベントが連続的なスライド変更を示す場合には、１以上のスライドを示すのに使用されるスクリーンにカメラは焦点を合わせる。スライド関連イベントがスライド変更なしに或る期間が経過したことを示す場合には、プレゼンテーションがなされている部屋にカメラは焦点を合わせる。

本発明の一形態によれば、アクションを実行するステップは、イベント群中のイベントに基づいて、出力されるべきディジタル情報の部分を決定するステップと、ディジタル情報の前記部分を出力するステップとを有する。ディジタル情報の一部分の出力先のエンティティが決定され、ディジタル情報の一部分がそのエンティティに出力される。

本発明の一形態によれば、イベント群中のイベントに基づいてブログエントリが作成される。

本発明の一形態によれば、書類が第１ユーザにより提示される。第１ユーザは、書類に関する１以上の好みの第１群を提示する。書類へのアクセス要求が第２ユーザから受信される。第２ユーザは１以上の好みの第２群を用意する。好みの第２群に従って第２ユーザに書類が提供される。好みの第１群はアクセスする書類のフォーマットを決めてもよく、書類は好みの第１群で指定されるフォーマットで第２ユーザに与えられる。好みの第１群はアクセスする書類の言語を決めてもよく、書類は好みの第１群で指定される言語で第２ユーザに与えられる。好みの第２群は書類がアクセスされるフォーマットを決めてもよく、書類は好みの第２群により指定されるフォーマットで第２ユーザに与えられる。好みの第２群は書類がアクセスされる言語を決めてもよく、書類は好みの第２群により指定される言語で第２ユーザに与えられる。

本発明の一形態によれば、ディジタル情報又はその一部はネットワークを通じて流される。

本発明の別の一形態によれば、ディジタル情報の一部分をコピーする要求が受信される。これに応答して、ディジタル情報の一部分は１以上の表現物群に変換され、表現物群はクリップボードにコピーされる。ディジタル情報の一部分を貼り付ける（ペースト）要求が受信されてもよい。これに応答して、表現物群中の少なくとも１つの表現がクリップボードから貼り付けられる。一形態では、表現物群は第１表現物及び第２表現物を有する。ディジタル情報の一部分をペーストする第１要求は第１アプリケーションから受信され、ディジタル情報の一部分をペーストする第２要求は第２アプリケーションから受信される。クリップボードからの第１表現物は第１要求に応じて第１アプリケーションにペーストされ、クリップボードからの第２表現物は第２要求に応じて第２アプリケーションにペーストされる。

本発明の一形態によれば、ディジタル情報の一部を出力する要求を受けるキオスクが用意される。そしてディジタル情報の一部が外部媒体にエクスポートされる。

本発明に関する上記の形態及び利点は、他の特徴と共に、以下の説明、特許請求の範囲及び図面を参照することで更に明瞭になるであろう。

以下の説明では、本発明についての充分な理解をもたらすように、説明を目的として、具体的詳細が示される。しかしながら本発明はそれら具体的詳細によらず実施されてもよいことは明白であろう。データ及び情報は交換可能に（同義語的に）使用される。

本発明の一実施例によれば、ディジタル情報を捕捉又は受信し、情報を処理し、以後の検索を促す形式で情報を格納し、格納された情報へのアクセスをもたらすシステムが提供される。そのディジタル情報に基づいて様々な処理が実行されてもよい。ミーティング、プレゼンテーション、教室での講義、実演、会議、インタビュー、法的手続、フォーカスグループミーティング、監視活動等に関連して情報が捕捉され又は受信されてよい。

図１は本発明の一実施例を組み込んでよい概略的なシステム１００を示す。図１は本発明が実施される形態を例示するに過ぎず、特許請求の範囲に記載された本発明の範囲を限定しようとするものでないことが理解されるべきである。当業者は変形、修正、組み合わせ及び代替物の様々なものを認識するであろう。

図１に示されるように、システム１００はサーバ１０２を有し、サーバは１以上の捕捉装置１０４を含む複数のソースからディジタル情報を受信するように構成される。捕捉装置１０４は、限定ではないが、音声情報、映像情報、画像、スライド情報、ホワイトボード情報、メモ情報その他のタイプの情報のような様々なタイプの情報を捕捉するように構成されてよい。例えば、捕捉装置１０４は、視聴覚又は映像情報を捕捉するよう構成されたカメラ１０６（例えばソニーEVID−100PTZカメラのようなパン−ズーム−チルトカメラ）、音声情報を捕捉するよう構成されたマイクロフォン１０８、ホワイトボード情報を捕捉するよう構成されたホワイトボード捕捉装置１１０（例えば、ポリビジョンコピーカム(PolyVisionCopyCam)システム）、スライド情報を捕捉するよう構成されたスライド捕捉装置１１２、映像内容にかなりの変化が検出された場合に、（例えば、ラップトップ、デスクトップ）コンピュータのモニタ又はプロジェクタに対するビデオカードにより供給されるビデオストリームからキーフレームを捕捉するよう構成されたコンピュータビデオキーフレーム捕捉装置１１３、ユーザが記録したメモを捕捉するように構成されたメモ捕捉装置１１４、捕捉／格納するデータが手動的に又は自動的に接続中のサーバ１０２にアップロードされるように構成された捕捉及びアップロード装置１１５（例えば、ディジタルカメラ、カメラ付き電話、セルラ電話等）及び他の種類の情報捕捉装置を含んでよい。捕捉装置の各々は１以上のタイプの情報を捕捉するように構成されてよい。捕捉装置１０４は捕捉情報を更に処理するためにサーバ１０２に提供するように構成されてもよい。

サーバ１０２も他のソースから情報を捕捉するように構成されてもよい。例えばサーバ１０２はラップトップやデスクトップ等でもよいデータ処理システム１１６によって映像及び／又は音声情報を捕捉してもよい。例えばサーバ１０２はコンピュータ１１６によって映像及び／又は音声情報を捕捉するよう構成されてもよい。一実施例ではサーバ１０２はコンピュータ１１６のVGA出力を受信するよう構成され、その出力はコンピュータ１１６及びプロジェクタ／モニタのVGA出力間の接続を利用することで（例えば、VGAスプリッタを用いて）得られてもよい。サーバ１０２はプロジェクタの／モニタのVGA出力からVGA出力を受信してもよい。ここではVGAは単なる一例として使用され、DVIのような他のグラフィックス出力フォーマットが捕捉されてもよいことが理解されるべきである。

例えばコンピュータ１１６はスライドの提示（例えば、パワーポイント提示）を行うアプリケーション（例えば、パワーポイントアプリケーション）を実行し、コンピュータ１１６から捕捉された映像情報はそのスライドに関連する情報を含んでもよい。サーバ１０２で受信されたこの映像情報は、新たなスライドが示された時、一連のスライドが示された時等のようなスライド関連イベントを検出するために処理されてよい。サーバ１０２はコンピュータ１１６からの情報を捕捉するよう構成されてよいスライド捕捉装置１１２からスライド情報を受信してもよい。サーバ１０２はコンピュータのデスクトップのスクリーンショットを受信してもよい。或る実施例ではサーバ１０２はコンピュータ１１６でスライド提示を行うアプリケーション（パワーポイントアプリケーション）からスライド情報を受信するように構成されてもよい。

サーバ１０２は他のソースから情報を受信してもよく、他のソースは例えばプロジェクタ、移動電話、テレビジョン、DVDプレーヤ、ビデオレコーダ、モニタ及び他のソース等である。１以上の捕捉装置は、そのようなソースから情報を捕捉し、その情報をサーバ１０２に通知してもよい。

書類共有システム１１８は電子書類を捕捉するために用意されてもよい。書類共有システム１１８はユーザが電子書類１２０をサーバ１２０に提出できるようにするインターフェースを与える。書類共有システム１１８は書類にアクセスするユーザにインターフェースを用意し、その書類はサーバ１０２に以前に提出されたものである。このように以前に提出された書類が利用可能になり、複数のユーザ又はアプリケーションで共用されてよい。書類共有システム１１８はハードウエアで、ソフトウエアで（コード、命令）又はそれらの組み合わせで実現されてもよい。

上述したようにサーバ１０２は様々なタイプのディジタル情報を受信してよく、ディジタル情報は、映像及び音声情報、画像、スライド情報、書類等のような時間的に変化するメディア情報（時変メディア情報）を含む。サーバ１０２は受信したディジタル情報をデータベース１２２のようなメモリロケーションに格納するよう構成される。以後の情報の検索、利用及び分析を容易にするフォーマットで情報は格納されてよい。時変メディア情報に関し、サーバ１０２は同期をとり、その後に、捕捉したディジタル情報を格納してよい。一実施例ではサーバ１０２により受信された情報はレコード１２４のようにまとめられ（パッケージ化され）、データベース１２２に格納されてよい。レコード１２４はファイル、ディレクトリ（１以上のサブディレクトリ及びファイルを含む）、データ構造等に関連してもよい。レコードはブログエントリに関連してもよい（「ブログ(blog)」はウエブログの短縮形であり、一般に、個人的日記のような、しばしば時間順にならんだ頻繁に公表される情報の集まりであり、イベントや、写真又は映像クリップのようなイベントに関連する情報や、イベントに関する著者のコメント等を列挙する。）。ブログエントリはJPEG形式の画像、音声クリップ及び映像クリップのようなマルチメディアデータに加えてマルチメディアデータについてのメタデータを指すポインタを含んでもよく、メタデータはそのデータが捕捉された時間、そのデータのオリジナル形態へのURL、そのデータについてのフリーフォームテキスト記述（データが捕捉された場所を記述してもよい）等である。複数のレコードがデータベース１２２に格納されてよい。例えば或るミーティングに関してサーバ１０２で受信された全ての情報が、そのミーティングに関するレコード１２４に格納されてよい。会議、プレゼンテーション、講義、面談、裁判、宣誓供述、儀式、集会、祝賀会、会合又は情報が捕捉／記録されてよい如何なる時でもそれに関する情報を捕捉／受信するためにシステム１００が使用されてよい。

一実施例ではサーバ１０２で受信されたディジタル情報は何の処理もなされずにデータベース１２２に格納されてよい。他の実施例ではサーバ１０２で受信された情報は格納前に処理されて索引付けされてもよい。その処理は、情報のフォーマットを変えること（例えば、ビットマップフォーマットからJPEGフォーマットへ変えること）、情報を他のフォーマット及び他の言語に変換すること、選択されたキーフレームのみが格納されるようにビデオ情報から１以上のキーフレームを選択すること、画像内容に基づいて又は画像の他の属性に基づいて画像を分類すること、及び文脈情報を判別するために情報を分析すること等を含んでもよい。１以上の情報処理モジュール１２６がその処理を実行するように用意されてもよい。処理モジュール１２６はソフトウエアで、ハードウエアで又はそれらの組み合わせで実現されてもよい。

データベース１２２に格納されたディジタル情報又はサーバ１０２で受信された情報は様々な手法で様々なエンティティ（場所、装置や人物）からアクセスされてよい。サーバ１０２はサーバ１０２で受信したディジタル情報を流すためのストリーミングインターフェース１２８を用意してもよい。ストリーム情報は、捕捉装置１０４で捕捉された情報、コンピュータ１１６のような他のソースから受信した情報、及び他の情報を含んでもよい。音声情報、映像情報、スライド情報、ホワイトボード情報等のような様々なタイプの情報がリアルタイムで流されてよい。一実施例ではその情報はリアルタイムで流されてよい。有線又は無線通信リンクを利用する通信ネットワーク１３０を通じて情報はリアルタイムでブロードキャストされてよい。通信ネットワーク１３０は、ローカルエリアネットワーク（LAN）、広域ネットワーク（WAN）、無線ネットワーク、イントラネット、インターネット、プライベートネットワーク、パブリックネットワーク、交換網又は適切な他の如何なる通信ネットワークでもよい。他の実施例では情報はユーザシステム又は装置に直接的に流されてよい。

サーバ１０２で受信されたディジタル情報又はその一部分は外部アクセスインターフェース１３２から出力されてもよい。外部アクセスインターフェース１３２は或るインターフェースを提供し、そのインターフェースを通じて外部エンティティはサーバ１０２に情報を要求してもよいし、そのインターフェースを通じてサーバ１０２は外部エンティティに情報を提供してもよい。外部エンティティは、様々なマルチメディアアプリケーション、電子メールプログラムのような通信アプリケーション、ワードプロセッシングアプリケーション等のような他のアプリケーション１３４を含んでもよい。外部エンティティはユーザシステム１３６を含んでもよい。例えば外部アクセスインターフェース１３２は、１以上のユーザにより使用される１以上のユーザシステム１３６から受信したサービス要求及び情報を提供するために使用されてもよい。ユーザはコンピュータを利用してサーバ１０２と接続し、データベース１２２に格納済みのディジタル情報の一部分を要求してもよい。これに応じてサーバ１０２はディジタル情報中の要求された部分を判別し、その要求された情報を要求しているユーザシステムに通知する。

制御インターフェース１４０はシステム１００の機能を制御するために用意される。制御インターフェース１４０はサーバ１０２で捕捉及び格納された情報を制御するために使用されてよい。１以上の捕捉装置１４０の機能を制御するためにユーザは制御インターフェース１４０を使用してもよい。制御インターフェース１４０はデータベース１２２に格納されたディジタル情報にアクセス許可を与えるために使用されてもよい。制御インターフェース１４０は、情報の記録が開始／停止された時点を制御するために、ストリーミングが実行可能とされたか否かを示す等のために使用されてもよい。ユーザは制御インターフェース１４０を通じて情報を提供してもよい。ユーザの提供した情報はレコード１２４の一部として格納されてよい。例えば、ミーティング、会議、講義等の間に情報を捕捉するためにシステム１００が使用されるならば、ミーティング場所、ミーティング参加者等のようなミーティングに関連する情報が制御インターフェース１４０を通じてユーザにより与えられてもよい。この情報は特定のミーティングについて格納されるディジタル情報に注釈又は索引を付けるために使用されてもよい。

一実施例では制御インターフェース１４０はウェブベースインターフェースであり、直接的に又は他の何らかの通信ネットワーク（例えばインターネット又はイントラネット等）を通じてサーバ１０２に接続されるどのコンピュータからでもアクセス可能である。図２は本発明の一実施例によるウエブベース制御インターフェース２００の一例を示す。図２に示される実施例は、図１に示されるシステム１００がミーティングの情報を捕捉するのに使用される場合に使用されてよい。システム１００はミーティングルームポータルのように機能してよい。

図２に示されるようにミーティングで議論される話題に関する情報を入力するために入力フィールド２０２が用意される。入力フィールド１２４はそのミーティングで提示されるプレゼンテーションファイル名（例えば、パワーポイント*.pptファイル）を入力するよう用意される。プレゼンテーションの言語はドロップダウンリスト２０６を用いて指定されてよい。１以上の会議参加者を区別する情報がフィールド２０８に入力されてよい。そのミーティング用に記録及び格納された情報へのアクセス権（例えば、そのミーティングについて格納されたレコード１２４へのアクセス許可）は、ボタン２１０で指定されてよい。図２に示されるように、全社的アクセスが実行可能にされる。選択ボタン２１２を用いて、ライブストリーミングが実行可能にされる又は実行不可にされる。ライブストリーミングの伝送レートもボタン２１４で設定されてよい。カメラのような捕捉装置の動作モードがドロップダウンリスト２１６を用いて設定されてよい（図２では「自動(auto)」モードに設定される）。以下に説明されるように「自動」モードでは捕捉装置の動作は捕捉／格納されるディジタル情報から検出されるイベントに基づいて自動的に制御される。「記録開始(Start Recording)」ボタン２１８はそのミーティングについての情報捕捉を開始するために用意され、「記録終了(Finish Recording)」ボタン２２０は記録を停止するために用意される。記録のステータス(Status)２２２が表示されてもよい。代替実施例では他の様々なタイプの制御インターフェースが用意されてもよい。

図１を再び参照するに、ブログインターフェース１５０はブログエントリのアクセス及び作成を制御するために用意されてもよい。ブログはデータベース１２２の中に又はサーバ１０２にアクセス可能な他のロケーションに格納されてよい。ブログは一部のレコード１２４として格納されてよい。ディジタルカメラのような捕捉装置をサーバ１０２に接続し、イメージ又はマルチメディアクリップ（オーディオ又はビデオ）をサーバ１０２にアップロードすることで、ユーザは手作業でブログエントリを作成してよい。ディジタルカメラの接続に応答して自動的に又は手動的に起動されるブログ処理モジュール１５２が用意されてもよい。ブログ処理モジュール１５２はイメージデータを１以上のタイプ（例えば、書類イメージ、ホワイトボードイメージ、名刺イメージ、スライドイメージ、得意先イメージ等）に自動的に分類するように構成されてよい。分類情報はブログエントリに含まれ、分類情報は一部のレコード１２４として格納され、検索に備えてブログエントリを組織するのに使用されてよい。自動分類はイメージ分類技術を利用してもよい。

ブログエントリはブログインターフェース１５０による制御の下で捕捉装置１０４から供給される情報から作成されてもよい。図１１は本発明の一実施例によるブログ・インターフェース１１００を示す概略図である。図１１に示されるインターフェース１１００を用いて、ユーザは適切なコンテンツ選択ボタンを選ぶことで選択される何らかのコンテンツを入手することで、ブログエントリを作成することができる。例えば「ビデオ(Video)」ボタン１１０２を選択することでカメラ１０６のような捕捉装置からユーザは一定期間（例えば以前の１５秒及び以後の２分間）のビデオクリップを入手することでブログエントリを作成することができる。ビデオクリップデータはデータベース１２２に保存され、それについて作成されたブログエントリは一部のレコード１２４として格納されてよい。ブログエントリはそれが捕捉された日時及び期間を含んでもよい（例えば、上記の例では２分間及び１５秒）。そのクリップからのキーフレームは時系列サムネイル画像１１０４で表示され、ブログエントリレコードのテキスト表現はブログエディタ１１０６で表示される。ユーザは彼らが抱くメタデータが適切であればなんであっても追加するように、表示された文字を自由に修正することができる。これは他のマルチメディアクリップ又はURLへのポインタを含んでもよい。この場合に、URLはミーティングのマルチメディアレコードを指し示し、ミーティングが議論されている間に捕捉されたホワイトボード画像を指し示すポインタ及びその議論のビデオクリップを指し示すポインタをユーザは含めている−「WB」１１０８及び「ビデオ（Video）」１１０２ボタンをそれぞれ押すことでブログエントリに含められる。ユーザは他のタイプの情報を含むブログエントリを作成することもできる。例えばユーザのコンピュータ（例えば、ラップトップ又はデスクトップPC）上のビデオからのキーフレームを含むブログエントリが「スクリーン（Screen）」ボタン１１１０を押すことで作成されてもよい。そしてユーザはブログエントリを編集することで説明文をメタデータとして追加することができる。

図３のイベント検出器を利用して、後述されるように、ブログ処理モジュール１５２の制御の下で捕捉装置１０４によって供給される情報からブログエントリが自動的に作成されてもよい。

ブログエントリはブログインターフェース１５０を用いて閲覧（ブラウズ）されてもよい。図１２は本発明の一実施例によるブログエントリをブラウズするためのインターフェース１２００を示す概略図である。ユーザが「表示(View)」タブ１２０２をクリックすると、ブログエントリが作成された時を示すカレンダが表示される。ユーザはカレンダ表示を利用してブログエントリを１日毎に見ることができる。特定の日付を選択すると、その日のブログエントリの時間順に並んだ集合が表示される。ユーザはこれらのエントリのどれでもクリックすることができ、そのエントリに関連する情報（例えば、マルチメディアデータ）又はその日を再生することができる。例えば図１２は西暦2005年1月24日のブログエントリを示す。最初のjpegページをクリックすることで、ユーザにウエブブラウザが表示され、その日の15:54:10に始まったミーティングの記録をユーザに再生可能にする。

図１を再び参照するに、ユーザはキオスク１３８を通じてサーバ１０２とやり取りをしてもよい。サーバ１０２の動作を制御すること、データベース１２２に格納済みの情報又はその一部を外部媒体に出力すること、記録のステータスを検索すること、記録情報に実行される処理を指定すること及び他の機能を発揮することを含む様々な機能をユーザはキオスク１３８により実行してもよい。キオスク１３８に関する更なる詳細は以下に説明される。

図１に示されるシステム１００は様々に異なる設定でディジタル情報を捕捉するのに使用されてよい。例えば一実施例ではシステム１００はミーティング、講義、会議等の間に情報を捕捉するのに使用されてよい。例えば捕捉装置１０４はミーティング中に情報を捕捉するのに使用されてもよい。例えばミーティング設定では、カメラ１０６はミーティング司会者、聴衆、画面に表示されるスライド等のビデオ情報を捕捉し、マイクロフォン１０８はミーティング司会者又はミーティングの他の演説者／参加者の話す音声情報を捕捉し、ホワイトボード捕捉装置１１０はホワイトボードに書かれた情報を捕捉してもよい。スライド捕捉装置１１２は或る画面を指し示し、画面に提示されているスライドに関する情報を捕捉してよい。スライド捕捉装置１１２は、スライドプレゼンテーションを実行するコンピュータから、コンピュータのビデオ出力を受信することで、スライド情報を捕捉してもよい。メモ捕捉装置１１４はミーティング中に参加者によるメモを捕捉するのに使用されてよい。サーバ１０２は会議中に実行されるパワーポイントプレゼンテーションを動かすコンピュータ１１６からビデオ及び／又はオーディオ供給を受けてもよいし、或いはプレゼンテーションアプリケーションからスライド情報を受信してもよい。ミーティングで配布される又はミーティングで議論される書類の電子コピーは書類共有システム１１８により与えられてもよい。参加者数、参加者名、議論の話題、ストリーミングが実行可能とされるか否か、捕捉情報に対するアクセス権等のようなミーティング関連情報は図２に示されるインターフェース２００のような制御インターフェースにより受信されてよい。制御インターフェースはミーティング中に記録を開始／停止するのに使用されてよい。このようにしてシステム１００はミーティングに関連するディジタル情報を捕捉及び受信する中央システムとして機能する。サーバ１０２で受信された情報は処理され、データベース１２２のミーティングレコード１２４として格納されてよい。そのようないくつものミーティングレコードが様々なミーティングについて格納されてよい。

捕捉されたミーティング情報は通信ネットワークを介してリアルタイムで流されてよい。このようにすると、通信ネットワーク１３０に接続された遠隔地のユーザは、ミーティングルームに居なくてもリアルタイムでミーティング情報を受信することができる。捕捉された情報は処理され、１以上のアプリケーション１３２又はユーザ１３６に与えられてもよい。これはミーティングが進行している間に又はミーティング後に行われてもよい。ユーザは捕捉情報の一部を取り外し可能な媒体（USB装置、CD等）にダウンロードするためにキオスク１３８を使用してもよい。

このようにシステム１００はミーティング環境で使用される場合に、簡易な捕捉機能、有利なミーティングサービス及びアクセス方法を単独のシステムで結合し、捕捉、アクセス、共有、ストリーミング及び他の機能を実行するためのエンドトゥエンドソリューションをもたらす。

［アクションの実行］
本発明の一実施例によれば、サーバ１０２で捕捉若しくは受信されたディジタル情報又はデータベース１２２に格納された情報は、様々な種類の動作（アクション）を開始する又は実行するのに使用される。例えば捕捉された又は格納された情報は、１以上の捕捉装置の動作を制御すること、出力される情報を決定すること等のために使用されてよい。すなわち、デジタル情報に基づいて、捕捉装置の動作を制御したり、デジタル情報に基づいて出力される情報の制御をすることが可能となる。この動作のことをアクションという。図３は捕捉／記憶された情報に基づいてアクションを実行するのに使用される本発明の一実施例による様々なモジュール／エンジンの概略ブロック図を示す。図３に示されるモジュールはソフトウエアで、ハードウエアで又はそれらの組み合わせで実現されてよい。一実施例では図３に示されるモジュールはサーバ１０２の一部でもよいし、或いはサーバ１０２により実行されてもよい。

図３に示されるように、イベント検出器３００はサーバ１０２で受信されたディジタル情報又はデータベース１２２に格納された情報を処理し、そのディジタル情報中で生じる１以上のイベントを検出するように構成される。更なる情報が記録され又は記録後に捕捉されながら、イベントはリアルタイムで検出されてもよい。例えばミーティング中に、ミーティングが進行し、そのミーティングについて情報が捕捉及び記録される一方で、イベントが検出されてもよい。イベント検出器３００はディジタル情報から様々な異なるイベントを検出してもよい。ディジタル情報は様々に異なるタイプ（例えば、オーディオ、ビデオ、イメージ、ドキュメント、スライド情報等）の情報を有してよいので、イベントを検出するためにイベント検出器３００が使用するイベント検出法は、処理される情報タイプに依存してもよい。例えばオーディオ情報からイベントを検出するために様々に異なる技法卯が使用されてもよい。オーディオ情報から検出されるイベントは、限定ではないが、音声が新たなソースから受信された時（例えば、新たな演説者が喋る時）を検出すること、音源の変化を検出すること、特定のオーディオソースを検出すること（例えば、特定の演説者が喋る時）、特定のスレシホールド期間（ユーザが設定可能でもよい）にわたる沈黙期間を検出すること、及び音源の方向変化を検出すること等を含んでもよい。例えば或る技法ではイベント検出器３００はリアルタイムで４チャネル音声で音を突き止める。イベント検出器３００は音の方向が変化する時点の各々で音声情報中のイベントを検出してもよい。イベント検出器３００は音声ストリームを分析し、拍手、笑い声、歌声、叫び声等の出現のような「音声ホットスポット」をオーディオストリーム中で確認する。

オーディオ情報に加えて、インベント検出器３００は他のタイプの情報を処理してイベントを検出してもよい。例えばビデオストリーム中で誰かが部屋から立ち去ったことや、何かを書くためにホワイトボードを立ち上げたことや、誰かがジェスチャーをしていること等のような「視覚的ホットスポット(visual hotspot)」を探すためにビデオストリームが分析されてもよい。イベントはビデオ情報の内容に基づいてビデオ情報から検出されてもよい。例えばイベントはスライドが示されていること、特定の場所又は人物が表示されていること、特定の事物がビデオストリーム中に現れている等のことを確認してビデオ情報から検出されてもよい。

別の例として、イベント検出器１０８は捕捉画像からスライドに関連するイベントを検出してもよい。スライド関連イベントはサーバ１０２で受信された様々なタイプの情報から検出されてよい。スライド関連イベントは1以上のスライドに関連する如何なるインベントでもよい。例えばサーバ１０２はパワーポイントプレゼンテーションのようなスライドプレゼンテーションを実行するコンピュータからビデオストリームを受信してもよい。イベント検出器はスライド関連イベントの出現を判別するためにビデオストリームを分析してもよい。サーバ１０２はスライドプレゼンテーションアプリケーションから直接的にスライド情報を受信してもよい。サーバ１０２は、スライドが示されている画面に向けられているカメラからビデオ情報を受信してもよい。そのようなカメラからのビデオストリームはスライド関連イベントを判別するために分析されてよい。スライド関連イベントは他のタイプの情報を分析することで確認されてもよい。スライド関連イベントは、限定ではないが、スライド変更イベント（例えば、新たなスライドが示された時）、一連のスライドが短時間に変化したこと、ユーザ設定可能な期間がスライド変更なしに経過したこと、所定期間の間にスライド関連イベントが無かったこと等を確認することを含んでよい。経過時間モジュール３０８は何らのイベントもなく或る期間経過後に生じるイベントを検出するために使用されてよい。一実施例ではスライド関連イベントは捕捉ビデオ情報からキーフレームを抽出することで検出されてよい。

イベント検出器３００は検出したイベントを1以上のデバイスコントローラ３０２及び出力コントローラ３０６に通知してもよい。デバイスコントローラ３０２は、ディジタル情報の中で検出されたイベントに基づいて、１以上の捕捉装置の動作を制御するように構成されてよい。そのようなデバイスコントローラの１つ（例えば、カメラコントローラ３０４）が図３の例に示されており、以下に説明される。代替実施例では他の様々なタイプのデバイスコントローラが、他の様々なタイプの捕捉装置の動作を制御するために用意されてよいことが理解されるべきである。

カメラコントローラ３０４はカメラ１０６の動作を制御するように構成されてよい。カメラ１０６は様々なタイプのものでよい。例えば一実施例ではカメラ１０６は、ソニーEVID−100PTZカメラのようなビデオ情報捕捉用のパン−ズーム−チルトカメラでもよい。

ミーティングルーム設定では、カメラ１０６はミーティングルーム後部の壁に設けられてもよいし、或いは他の適切な場所に設けられてもよい。カメラのパン−ズーム−チルト機能はRS−232Cシリアルポートインターフェースのようなシリアルインターフェースにより制御されてよい。カメラは変化するパン−チルト−及びズーム機能を備えてもよい（例えば、ソニーのカメラのパンの範囲は±１００度であり、チルト範囲は±２５度であり、ズーム率は１０Xである。）。カメラは内蔵式広角レンズ（ソニーのカメラでは６５度）を備え、距離を隔ててカメラを設置させずに会議室全体を捕捉可能にしてもよい。カメラは変化する移動速度を有してもよい（ソニーのカメラはパン動作について３００度／秒及びチルト動作について１２５度／秒の移動速度を有する。）。ソニーのカメラは30fpsでNTSC分解能のアナログ映像を捕捉する。捕捉されたアナログ情報はアバーメディアによるUSB2.0ビデオディジタル化装置のような装置を用いてリアルタイムでディジタル化される。

本発明の一実施例によれば、カメラコントローラ３０４は、イベント検出器３００で検出されカメラコントローラ３０４に通知されたスライド関連イベントに基づいてカメラ１０６で捕捉した映像を自動的に制御するよう構成される。スライド関連イベントを受信した場合に、カメラコントローラ３０４はそのイベントに基づいてカメラの映像を確認するよう構成される。カメラコントローラ３０４はカメラに信号を送り、確認された映像をカメラ１０６に捕捉させる。一実施例ではカメラ１０６により捕捉される映像は、カメラのパン−ズーム−チルト動作を制御することで制御されてもよい。カメラコントローラ３０４はカメラ１０６に信号を送り、カメラ１０６が確認された映像を捕捉するようにカメラ１０６の動作（パン、チルト、ズーム又はそれらの組み合わせ）を制御してもよい。このようにしてカメラ１０６の動き及びカメラ１０６で捕捉される映像は、イベント検出器３００で検出され且つカメラコントローラ３０４に通知されたイベントによって制御される。

上述したように、イベント検出器３００で検出されたスライド関連イベントは、限定ではないが、スライド変化イベント（例えば、新たなスライドが示された時）、一連のスライドが短時間に変化したこと、ユーザ設定可能な期間がスライド変更なしに経過したこと、所定期間の間にスライド関連イベントが無かったこと等を確認することを含んでよい。一実施例では、スライド変化イベントが検出されたときはいつでも（例えば、新たなスライドが提示されたとき）、カメラコントローラ３０４はカメラ１０６に信号を送り、カメラの映像を司会者に合わせるようにする。なぜなら新たなスライドが示される場合には、司会者はそのスライドについて説明を行う傾向があるからである。一連のスライドが短時間に変更されるときはいつでも、カメラコントローラ３０４はカメラ１０６に信号を送り、スライドが提示されるスクリーンにカメラの映像を合わせるようにする。或る期間の間にスライド変更が検出されなかったときはいつでも、カメラコントローラ３０４はカメラ１０６に信号を送り、カメラの映像を会議室全体に合わせるようにする。カメラ１０６は他のタイプのスライド関連イベントに対応する他の映像を捕捉するように制御されてもよい。

イベント検出器によって、このようにデジタル情報のイベントを検出し、検出されたイベントに対応させたデバイスの動作を制御する信号をデバイスコントローラ（カメラコントローラ３０４など）から出力することが可能となる。デバイスは、この信号を受けて、適切な動作が行えるようになる。

イベント検出器３００、経過時間モジュール３０８、デバイスコントローラ３０２（カメラコントローラ３０４を含む）及び出力コントローラ３０６はソフトウエア、ハードウエア又はそれらの組み合わせで実現されてもよい。

一実施例では自動カメラ制御法の擬似コードは次のようになる：

上述の手法では、捕捉装置の動作は、サーバ１０２で捕捉／格納されたディジタル情報の中で検出されたイベントに基づいて制御されてよい。イベントは他の種類の捕捉装置の動作を制御するために使用されてもよい。検出されたイベントに基づいて捕捉装置を自動的に制御することに加えて、１以上の捕捉装置の動作が図１に示される制御インターフェース１４０を用いて制御されもよい。「自動」モードが設定されると、捕捉装置の動作は検出されたイベントに基づいて制御される。

図３に示されるように、イベント検出器３００で検出されたイベントは出力コントローラ３０６にも通知される。出力コントローラ３０６はサーバ１０２から出力された情報を検出されたイベントに基づいて制御するよう構成される。検出されたイベントに基づいて、出力コントローラ３０６は、データベース１２２に格納された出力されるべきディジタル情報の部分及び情報が出力されるべきエンティティ（ユーザ、ユーザシステム、他のアプリケーション等）を決定するよう構成される。出力コントローラ３０６は確認された情報を確認されたエンティティに出力する。

例えばミーティングルームから遠く離れたユーザは、新たなスライドが示されるといつでも信号がそのユーザのシステムに送信されるように出力コントローラ３０６を構成してもよい。これによれば、デジタル情報においてイベントを検出すると、このイベントに応じたデバイスの動作を制御する信号をデバイスコントローラが生成する。そして、デバイスコントローラが、この信号をデバイスに与えることによりイベントに対応した制御が可能となる。このシナリオでは新たなスライドイベントが検出されるときはいつでも、信号が出力コントローラ３０６により自動的に生成され、ユーザのシステムに送信される。他の例としては、新たなスライドが示されるといつでもスライドが日本語に翻訳されてユーザに送信されるように、ユーザは出力コントローラ３０６を構成してもよい。この例では新たなスライドが示されるといつでも、出力コントローラ３０６はどのスライドが示されたかを確認し、そのスライドを日本語に変換し、変換されたスライドをユーザに通知する。このように検出されたイベントに応答して、出力コントローラ３０６はユーザに送信された情報、実行されるべき処理（例えば、翻訳）、及び確認された情報が通知されるべきエンティティ（例えば、ユーザ）が何であるかを確認する。

出力コントローラ３０６は検出されたイベントに応答してブログエントリを自動的に作成するように構成されてもよい。例えば電話が鳴るようなかなりの音声イベントが検出された場合にマイクロフォン１０８が起動され、所定期間の間（例えば、以後５分間）音声情報が捕捉されるようにユーザは出力コントローラ３０６を構成してよい。ブログエントリは、自動的に生成されてデータベース１２２に（例えば、レコード１２４の一部として）格納されてよく、そのオーディオクリップを指し示すポインタを及び捕捉された時点を識別するメタデータを含む。新たな人物が室内に入ったことが検出されたときはいつでも、ビデオイベント検出により自動的にビデオクリップが保存される。ユーザのデスクトップＰＣ又はラップトップビデオの中でかなりの変化が検出されると、ブログエントリが自動的に作成されてよい。これらは、イベント検出がレコードをもたらす場合の具体例であり、例えば或る人が先週の月曜日に電話呼び出しを受けたことを記憶するのに有益である。ブログエントリをクリックすることで、その呼の記録が再生される。ビデオイベント検出はある人が訪問者を受け入れたことを示すかもしれない。そのクリップは議論されたことが思い出されるように再生可能である。コンピュータ（例えば、デスクトップＰＣ）から捕捉された情報は、ユーザが従事する場合の目立った変化を示すイベントを検出するのに使用されてよく、特定の業務にユーザがどの程度の時間を費やしたかを示すのに有効である。

図４は検出されたイベントに基づいてアクションを実行する本発明の一実施例による方法を示す上位概念的フローチャート４００を示す。図４に示される処理はプロセッサで実行されるソフトウエア（コードモジュール又は命令）、ハードウエア、又はそれらの組み合わせによって実行されてよい。図４に示されるフローチャート４００は本発明の一実施例を例示するに過ぎず、本発明の範囲を限定することは意図されていない。他の変形例、他の修正例及び他の代替例も本発明の範疇にある。図４に示される方法は様々な現実的制約と共に機能するよう適合されてよい。図４に示される処理はサーバ１０２により実行されてよい。

図４に示されるように処理は或るイベントが検出されて開始される（ステップ４０２）。イベントは様々なソースからサーバ１０２により受信されたディジタル情報から検出されてもよいし、及び／又はデータベース１２２中に格納済みの情報から検出されてもよい。上述したように様々な異なる技法がイベントを検出するのに使用されてよい。４０２で検出されたイベントに基づいて、実行されるべき１以上の動作群（一群のアクション）が決定される（ステップ４０４）。一実施例では情報は、事前に設定された確認イベント及び関連するアクション（イベントの出現が検出された場合に実行されるべきアクション）である。事前に設定された情報はイベントが生じた場合に実行されるアクションを判定するのに使用される。４０４で確認されたアクション群中の１以上のアクションはその後に開始される或いは実行される（ステップ４０６）。

例えばスライドイベントでの変化がステップ４０２で検出されるかもしれない。これに応じてそのイベントに関連する一群のアクションが４０４で決定される。アクションは、カメラの視野を変更してスライドの提示に使用されているスクリーンに合わせることのような捕捉装置の動作を制御すること、スライドを日本語に翻訳し、翻訳されたスライドをユーザに通知すること、自動的にブログエントリを生成すること等のアクションを含んでよい。そしてアクションは４０６で開始され又は実行される。

［書類共有］
ミーティングや会議等で電子形態又は紙形態の書類は頻繁に配布され使用される。図１に示されるように、システム１００はそのような書類を提示可能にする書類共有システム１１８を用意し、複数のユーザ及び／又はアプリケーションでそれらがアクセス及び共有されるようにする。いくつかの従来のシステムはミーティング中に書類を共有する手段を提供するが、それらのシステムは書類を提示するユーザの好みや、書類を共有又はアクセスする個人の要請を考慮していない。

書類共有システム１１８は電子書類を提示及び共有するためのシステムをもたらし、そのシステムは書類提示者の好み又は意向や、その書類へのアクセス又は検索を行うユーザの要請をも考慮する。図５は本発明の一実施例による書類共有システム１１８の様々なモジュール／エンジンの概略ブロック図である。図５に示されるモジュールはソフトウエア、ハードウエア又はそれらの組み合わせで実現されてもよい。一実施例では図５に示されるモジュールは、サーバ１０２の一部でもよいし、サーバ１０２によって実行されてもよい。

図５に示されるように、書類提示インターフェース５０２が用意され、書類提示者が電子書類を提示可能にする。限定ではないが、テキスト書類、ワードプロセッサで作成された書類（例えば、MS Word書類）、スプレッドシート、テーブル、グラフ、タグベースの書類（例えば、HTML書類）、プレゼンテーション（例えば、パワーポイント書類）、音声及び映像クリップのようなマルチメディア書類及び他の書類を含む様々な異なるタイプの電子書類が提示されてよい。

提示する１以上の電子書類と共に、書類提示者は、書類提示インターフェース５０２を用いて、提示される書類に関する１以上の好みを指定してよい。好み情報の一部として、提示者は書類が提示されるミーティングや会議等を指定してよい。ミーティング識別子やミーティングの時間等のようなミーティングに関連する情報も書類提示者により用意されてもよい。

好みの一部として、書類提示者は提示される書類に関連するアクセス権を指定してもよい。アクセス権の好みは、提示された書類がユーザ及び／又はアプリケーション間で共有される方法を制御するのに使用される。一実施例では、書類提示者は共有又はプライベート及び編集可能又は編集不可能のような提示書類のアクセス権を指定してよい。「共有」としてタグ付けされた書類は全てのユーザにとってアクセス可能である。ユーザは書類をダウンロードし、何らの制約もなく書類を見てよい。「編集可能」としてタグ付けされた書類は何らの制約もなくユーザによって編集可能である。「編集不可能」としてタグ付けされた書類は書類にアクセスしたユーザによって編集することはできない。書類を編集不可能にするために、その書類を格納する前に、書類フォーマットコンバータ５０４は提示された書類を編集不可能フォーマットに変換してよい。例えば書類は編集可能でないPDFフォーマットに変換されてよい。「プライベート」としてタグ付けされた書類は全てのユーザからはアクセスできない。そのような「プライベート」書類は、その書類に関して書類提示者によって特別に確認されたユーザによってのみアクセス可能である。例えば書類が「プライベート」にマークされ、特定の会議に提示された場合には、書類提示者はミーティングの参加者のみがその書類にアクセス可能であるように指定してもよい。「プライベート」書類はデータベース１２２のプライベートスペースに保存されてよい。

好みの一部として、書類提示者は提示書類が共用されるファイル形式及び言語の好みを含んでもよい。例えば書類提示者はMSWord2000フォーマットで書類を提示し、その書類がMSWord96フォーマットで共用されることを示す好みを作成してよい。同様に書類提示者は、HTML文書を提示するが、その書類がテキストフォーマットで共用されるべきこと、或いはWindows（登録商標）Media9.0フォーマットでビデオクリップを提示し、そのビデオクリップがQuickTimeフォーマットで共用されるべき好みを示してもよい。書類提示者にから提示された好みに基づいて、書類フォーマットコンバータ５０４は、提示された書類のフォーマットを共用される書類のフォーマットに変換するよう構成される。書類言語トランスレータ５０６は、書類提示者により提示者の好みの一部として指定された言語に提示書類を翻訳するよう構成される。フォーマット及び現と変換を行うために様々なソフトウエアパッケージが使用されてよい。そのようなパッケージの具体例は、限定ではないが、シストラン（SysTran）プロフェッショナル言語翻訳ソフトウエアのようなシストランソフトウエア社から提供されているソフトウエア及びサービス、アドビ社により提供されるアクロバットディスティラ(Acrobat Distiller)又はアドビアクロバットプロフェッショナル、ウインドウズメディアエンコーダ等を含む。

上述したように書類提示者により提供される好みは提示書類に対するアクセス権を決めるのに使用される。かくて書類提示者はその書類提示者によって提示された書類にアクセス可能な者（ユーザ又はアプリケーション）を制限することができる。提示者は提示書類を共用するフォーマット及び／又は言語の好みをも指定できる。提示者により与えられるフォーマット及び言語の好みは、提示書類を格納する方法に影響するかもしれない。例えば書類は、書類提示者により指定されるような書類が共有されるフォーマット及び言語で格納されてよい。このようにして書類提示者により与えられた好みは、提示された書類を格納する手法に影響を及ぼす。

図６は本発明の一実施例によるウエブベースの書類提示インターフェース６００を示す概略図である。書類提示者はフィールド６０２内で電子書類の名称（及びおそらくは格納場所）を指定することで電子書類を提示する。提示される書類の言語はフィールド６０４で指定されてよい。書類に関するアクセスの好みは領域６０６で指定されてよい。図６に示される例では、書類は「共有」としてタグ付けされ、これにより提示書類は全てのユーザによってアクセスされ又は検索され及び編集される。「提示」ボタン６０８を選択すると、指定された書類は提出され、他のユーザ及び／又はアプリケーションによって検索可能になる。

例えばユーザは或るミーティングで書類を提示するために図６に示されるインターフェース６００を利用してよい。ミーティング前に、ミーティング中に或いはミーティングの後でさえも、書類は提示されてよい。提示者はミーティングを区別する情報（例えば、名称、ロケーション、時間等）を提供し、その情報に関して書類が提示される或いはそれらが自動的に判別される。提出された書類は以後他のユーザによる検索に利用可能になる。

書類提示インターフェース５０２により書類がいったん提示されると、その書類はサーバ１０２にアップロードされ、データベース１２２に格納されてよい。アップロードするのにhttpやftp等のような様々な異なる技法が使用されてよい。書類は書類提出者により提出されるようにアップロードされてよい。或いは書類は提示者の好みに基づいて書類フォーマットコンバータ５０４及び／又は書類言語トランスレータ５０６により別のフォーマット又は言語に変換されてもよい。書類は１以上のフォーマット及び／又は言語でデータベース１２２に格納されてもよい。

アップロードされた書類は一部のレコード１２４として格納されてよい。例えば特定のミーティングで提示された書類は、その特定のミーティング用に作成されたレコード内に格納されてもよい。ミーティングレコードは、そのミーティングに関して１以上の捕捉装置で捕捉された情報のようなそのミーティングについての他の情報も格納してよい。このようにして或るミーティングに関する全ての情報が単独のレコードに格納される。これはそのミーティングに関する情報にユーザが容易にアクセスできるようにする。

以前に提出された書類は書類検索インターフェース５０８を用いてユーザによりアクセス或いは検索されてよい。書類検索者は書類アクセスに関する好みを用意してもよい。例えば書類検索者は、その検索者が書類を検索しようとしている特定の言語又はフォーマットを指定してもよい。要求された書類は検索者の好みに基づいて検索者に与えられる。例えばユーザは書類が日本語で検索されることを指定する好みを用意するかもしれない。これに応じて、書類共有システム１１８は（サーバ１０２を用いて）データベース１２２から要求された書類を検索し、必要に応じてその書類を日本語に翻訳し、その書類をユーザに提供する（書類に関連付けられた書類提示者による好みはそのユーザが書類にアクセスすることを許容していることが仮定される。）。書類言語トランスレータ５０６は或る言語から別のものへの変換を実行するよう構成される。変換された書類（例えば、日本語書類）はデータベース１２２内に格納し直され、次回同じユーザがその書類を検索したくなった場合に、再び変換することを要しないでその書類が利用可能になるようにする。ユーザが書類にアクセスする好みに基づいて、書類言語トランスレータ５０６は、必要ならば、書類が書類検索者に与えられる前に、フォーマット変換を実行するように使用されてもよい。

図７は本発明の一実施例による書類検索インターフェース７００を示す概略図である。共有及び検索に利用可能な以前に提出された書類のリストは、フィールド７０２で表示されてもよい。特定の書類にアクセスすることを希望するユーザはフィールド７０２内で表示されるリストから書類を選択することができる。１以上の書類が検索に選択されてよい。ユーザは好ましい言語を選択してもよく、選択された書類はドロップダウンリスト７０４からその言語で引き出される。そしてユーザは「表示（View）」ボタン７０４を選択することでユーザの好みに従って書類を表示する。例えばユーザが好ましい言語として「英語」を選択したならば、書類７０８は英語で表示される。ユーザが好ましい言語として「日本語」を選択したならば、同じ書類が必要に応じて日本語に翻訳され、日本語で表示される（７１０）。

書類検索者の好みに基づいて必要とされるかもしれない翻訳又はフォーマット変換は、書類検索者から要求を受けた際に実行されてよい。翻訳又はフォーマット変換はユーザのアクセス要求を受ける前に実行されてもよい。例えば翻訳は書類が最初に提出されたときに実行されてもよい。翻訳はシステムでサポートされている全ての言語で実行されてもよいし、非常に一般的に使用されている一部の言語で実行されてもよい。そしてユーザにより選択された言語に基づいて、適切な言語の書類がそのユーザに与えられてもよい。同様に書類が提示された場合に、書類はシステムでサポートされている全てのフォーマットに変換されてもよいし、非常に一般的に使用される一部のフォーマットに変換されてもよい。そして書類の検索又はアクセスを希望するユーザによって選択された言語に基づいて、適切なフォーマットの書類がそのユーザに与えられてもよい。

上述の手法により書類共有システム１１８は書類提示及び検索ツールを提供し、書類提示者が書類を提示することを可能にし、その書類に関連する好みを指定できるようにもする。好みは、書類を検索できる者、書類が編集可能か否か、書類が他のユーザと共用できるフォーマット又は言語、並びに他の好みに関連する。書類共有システム１１８は、提示書類へのアクセスを希望するユーザが、そのアクセスに関する好みを用意することを可能にする。書類はユーザの好みに基づいてユーザに与えられる。

［キオスク］
図１に示されるようにユーザはキオスク１３８を通じてサーバ１０２とやりとりしてもよい。キオスク１３８はサーバ１０２と通信可能な如何なるデバイス、装置、コンピュータシステム、モニタ等でもよい。キオスク１３８はサーバ１０２に対するインターフェースを提供する。ユーザはキオスク１３８を用いて様々な操作を実行してよい。

図８は本発明の一実施例によるキオスク１３８の概略ブロック図を示す。キオスク１３８はグラフィカルユーザインターフェース（又は他のインターフェース）を用意し、ユーザがキオスク１３８とやりとりできるようにする。ユーザは１以上の操作を実行するためにキオスク１３８にコマンド（命令）を与える。一実施例ではキオスク１３８はコマンドをソケットコールに変換し、それをサーバ１０２に送信する。例えばユーザはサーバ１０２により実行される情報記録を開始又は停止するための開始／停止コマンドを用意するかもしれない。ユーザはキオスク１３８を用いて記録プロセスの状態を監視するためにステータス要求コマンドを用意するかもしれない。ユーザから受信したステータス要求に応答して、キオスク１３８は記録ステータスを取得するようにサーバ１０２に問い合わせ、そのステータスをユーザに出力してもよい。「ビデオ記録中」、「ライブストリーミング進行中」等のようなステータスに関する様々なメッセージがキオスク１３８によって表示されてよい。

データベース１２２に格納された記録データ又はその一部を外部記憶媒体に出力するためにユーザはキオスク１３８を使用してもよい。ユーザはデータの出力方法を指定する好み８０４（例えば、フォーマット、データ量、出力媒体等）を用意してもよい。一実施例ではユーザから出力命令を受信すると、キオスク１３８は或る画面をユーザに表示し、出力されるべきデータをユーザが確認するよう要求する。そのユーザにとって出力するのに利用可能なデータベース中のレコード１２４がリストで表示されてもよい。例えば情報が記録されているミーティングのリストが表示されてもよい。そしてユーザはデータが出力されるべき１以上のミーティング又はその一部を選択してもよい。一実施例では出力命令を受けると、極最近記憶された情報が出力用に自動的に選択されてもよい。例えば極最近のミーティングの記録が出力用に選択されてもよい。

出力する情報をユーザが選択した後で（例えば、ミーティングを選択した後で）、キオスク１３８は要求された情報についてコマンドをサーバ１０２に送信する。そしてサーバ１０２は要求された情報をデータベース１２２から検索し、その情報をキオスク１３８に通知する。そしてキオスク１３８はそのデータを外部媒体８０６に出力する。外部媒体は、限定ではないが、USBデバイス、光ディスク（例えば、CD、DVD等）、メモリディスク、メモリカード、ディスクドライブ等を含む様々なタイプのものでよい。情報が出力される媒体に取り付けるための及び外部媒体に情報を出力するための入出力ポート８０８がキオスク１３８に用意されてもよい。データが出力される媒体がキオスク１３８に未だ接続されていなかったならば、キオスク１３８はユーザに媒体を準備するよう要求するメッセージを表示してよい。例えばUSBドライブを挿入するようにユーザに要求するメッセージが表示されてもよい。そして要求されたデータは外部媒体に出力される。

データは様々に異なる形式で出力されてよい。ユーザは好み８０４によって出力するフォーマットを確認してもよい。出力されるデータは、ビデオ情報から抽出されたキーフレーム、音声情報からの音声波形フレーム、プレゼンテーションからのJPEGスクリーンショット等を含んでよい。キオスク１３８はデータが出力される前に必要なフォーマット及びシンタックス変換を行ってもよい。これらの変換はファイル中のリンクを修正するディジタル情報をトランスコードする（別コードに変換する）ことを含み、これらのリンクがサーバ上のメディアではなく出力媒体上のメディアを指し示すようにする。このようにして出力データはパッケージ化され、サーバ１０２によらずデータが外部媒体から再生可能になるようにする。このように外部機能の一部として、データが出力される際にメディアストリーム間の関係が修正され、再生が外部媒体から独立にできることを保証する。

キオスク１３８は有用なインターフェースを用意し、そのインターフェースを通じてユーザはサーバ１０２により記録されたデータ又はその一部を外部媒体に出力できる。出力インターフェースはシステムに組み込まれ、情報を捕捉及び記録するのに使用される。例えばミーティングが終了した後に、ミーティング出席者はキオスク１３８を用いてミーティングに関連するデータを外部媒体に出力してもよい。

図１３は本発明の一実施例によりキオスクで表示されるグラフィカルユーザインターフェース(GUI)１３００の概略を示す。図１３に示されるように、「停止」ボタンが用意され、サーバ１０２により実行される情報捕捉及び記録をユーザが停止できるようにする。ボタン１３０２は「停止」動作及び「開始」動作を切り替える。例えばどの記録も進行中でなかったならば、ボタン１３０２は「開始」を表示し、情報捕捉及び記録をユーザが開始できるようにする。記録が進行中であった場合には、ボタン１３０２は「停止」を表示し、情報捕捉及び記録をユーザが停止できるようにする。チェックボックス１３０３はライブストリーミングをイネーブルにする又はディセーブルにするために用意される。記録のステータスに関するメッセージ１３０４が表示される。捕捉される情報の視覚的表現も表示される。例えば図１３に示されるように捕捉された視覚的入力(feed)１３０６が表示され、捕捉された音声情報の視覚的表現１３０８が表示され、プレゼンテーションからのスライド１３１０が表示される。ボタン１３１２は記録したディジタル情報又はその一部をユーザが外部媒体に出力できるようにするために用意される。図１３ではボタン１３１２は情報をユーザがUSBドライブに出力できるようにする。

［アプリケーション間のマルチメディアデータ転送（コピー／ペースト）］
ウインドウズメディアアプリケーションやアドビプレミアのような多くのビデオ再生編集アプリケーションでは、「コピー」機能は、そのコンテンツ全体をクリップボードに又はCDのような出力媒体に複製することを開始させる。しかしながらこのコピー機能は、例えばテキストディスプレイ（IE）及びテキストエディタ（MSWord）アプリケーション間でテキストが共有されるように、アプリケーション間でビデオデータを共有するには有用ではない。本発明の一実施例はクリップボードを通じて異なるアプリケーション間でマルチメディアデータをコピー及びペーストする技法をもたらす。クリップボードフォーマットは、従来のクリップボード、ドラッグアンドドロップ法又はOLEデータ転送法で使用される。本発明の一実施例は時間と共に変化するマルチメディアデータをアプリケーション間で共有するための一般的な方法を提供する。

上述したように図１に示されるシステム１１０で捕捉及び格納されたデータは、オーディオ情報、ビデオ情報等のような時変マルチメディアデータを含むかもしれない。更にサーバ１０２は、様々なマルチメディアアプリケーションを含む外部アプリケーションと共に／その外部アプリケーションに、捕捉したディジタル情報又はその一部分を交換／提供するための外部アクセスインターフェース１３２を備える。本発明の一実施例はクリップボードを通じて異なるアプリケーション間でマルチメディアデータをコピー及びペーストする技法を提供する。

図９は本発明の一実施例によるコピー／ペースト機能を提供するのに使用されるモジュール／コンポーネントを示す。図９に示されるようにユーザはマルチメディアデータ９０４をコピーすることを要求し始める。ビデオメールアプリケーション、ウインドウズメディアアプリケーション等のようなマルチメディアアプリケーション９０２を通じて要求が開始される。要求は返還モジュール９０６に通知される。変換モジュール９０６は、複製されたマルチメディアデータにアクセスし、それをクリップボード９１２に転送するための表現９０８に変換するよう構成される。変換モジュール９０６はマルチメディアデータを様々に異なる表現に変換し、その表現は、限定ではないが、全体的なマルチメディアシーケンス（例えば、全ビデオクリップ）、そのマルチメディアデータに関するユニフォームリソース識別子URI（例えば、URL）又はロケーション識別子、マルチメディアデータ中の現時点のタイムスタンプ、マルチメディアデータの静的な視覚的表現、マルチメディアデータについてのメタデータ又は注釈データ（例えば、著者、期間、場所、年度等）、及び他の表現物を含む。例えばmms://192.80.10.160/meetings/2005/1/27/9.59.21/video/video.wmv[0:10:15]のようなURLがビデオクリップに作成され、そのURLの第１部分がストリーミングサーバでのそのビデオクリップの場所を識別し、第２部分がタイムスタンプを識別する。マルチメディアデータは複数の表現に変換されてもよい。

様々に異なる静的な表現物が生成されてよい。いくつかの具体例が以下の表に示される：

マルチメディアデータは他の様々な表現物に変換されてもよい。

転送モジュール９１０はコンバータ９０６で生成された１以上の表現物をクリップボード９１２に転送するよう構成される。複数の表現物が１以上のクリップボードに転送されてもよい（例えば、複数のクリップボードがMSウインドウズでサポートされている。）。様々な表現がクリップボードに個別的に又は結合してコピーされてもよい。一実施例ではクリップボードの中でそれらはXML表現で又はMPEG−7のような標準的表現で表現されてもよい。或いは複数のクリップボードがサポートされているシステムで、マルチメディアの異なる表現がいくつかのクリップボードにコピー可能である。

そしてクリップボード９１２に転送された表現は１以上のアプリケーションにペースト可能になる。例えば１以上の表現が１以上のマルチメディアアプリケーション９１４に転送されてもよい。ユーザはマルチメディアアプリケーション９１４によりペースト処理を始めてもよい。ペースト処理は貼り付けられる具体的な表現物を特定する。それに応じてクリップボードから１以上の特定された表現がマルチメディアアプリケーション９１４にペースとされる。様々なペースト要求に応じて様々な表現がペーストされてよい。例えばURL表現及びタイムスタンプが或るアプリケーションにペーストされ、静止画表現が別のアプリケーション（例えば、画像編集アプリケーション）に転送され、マルチメディアシーケンス全体が別のアプリケーションに転送される等の動作がなされてもよい。例えばURL及びタイムスタンプはビデオメールエディタ(VideMail editor)にペースとされ、そのエディタは、ビデオ及びリンクのユーザフレンドリな表現を生成する特化されたHTMLエディタである。

上述の手法では本発明の一実施例は１以上のクリップボードを用いてタイムベースマルチメディアデータのコピー／ペースト処理を可能にする。そのプロセスの一部として、ディジタルマルチメディアデータは、クリップボードに転送される１以上の表現に変換されてよい。クリップボードからの表現は様々なアプリケーションに貼り付けられてよい。

図１４は本発明の一実施例による処理を実行するために使用されるコンピュータシステム１４００の概略ブロック図である。図１４に示されるように、コンピュータシステム１４００はプロセッサ１４０２を含み、プロセッサはバスサブシステム１４０４を通じていくつもの周辺装置と通信する。これらの周辺装置は、メモリサブシステム１４０８及びファイル格納サブシステム１４１０を有するストレージサブシステム１４０６と、ユーザインターフェース入力装置１４１２と、ユーザインターフェース出力装置１４１４と、ネットワークインターフェースサブシステム１４１６とを含む。入力及び出力装置はユーザがコンピュータシステム１４００とやりとりできるようにする。

ネットワークインターフェースサブシステム１４１６は他のコンピュータシステム、ネットワーク、サーバ及びクライアントに対するインターフェースを提供する。ネットワークインターフェースサブシステム１４１６は、他のソースからデータを受信するための及びコンピュータシステム１４００から他のソースへデータを送信するためのインターフェースとして機能する。ネットワークインターフェースサブシステム１４１６の具体例は、イーサーネットカード、モデム（電話、衛生、ケーブル、ISDN等）、（非同期）ディジタル加入者回線（DSL）装置等を含む。

ユーザインターフェース入力装置１４１２は、キーボード、ポインティングデバイス（マウス、トラックボール、タッチパッド又はグラフィックスタブレット等）、スキャナ、バーコードスキャナ、ディスプレイに組み込まれたタッチスクリーン、音声認識システムのような音声入力装置、マイクロフォン及び他のタイプの入力装置を含んでよい。一般に「入力装置」なる用語はコンピュータシステム１４００に情報を入力するための全ての可能なタイプの装置及び手段を含むように意図される。

ユーザインターフェース出力装置１４１４はディスプレイサブシステム、プリンタ、ファクシミリ装置、音声出力装置のような非視覚的ディスプレイ等を含んでよい。ディスプレイサブシステムは、陰極線管（CRT）、液晶ディスプレイ（LCD）のようなフラットパネル装置又はプロジェクション装置等でもよい。一般に「出力装置」なる用語はコンピュータシステム１４００から情報を出力するための全ての可能なタイプの装置及び手段を含むように意図される。

ストレージサブシステム１４０６は本発明の機能をもたらす基本プログラム及びデータ構造を格納するよう構成される。例えば本発明の一実施例によれば、本発明の機能を実現するソフトウエアモジュール（又は命令）はストレージサブシステム１４０６に格納される。これらのソフトウエアモジュール又は命令はプロセッサ１４０２により実行されてよい。ストレージサブシステム１４０６は本発明で使用されるデータを格納する貯蔵庫（repository）を提供してもよい。ストレージサブシステム１４０６はメモリサブシステム１４０８及びファイル／ディスクストレージサブシステム１４１０から構成されてよい。

メモリサブシステム１４０８はいくつものメモリを含んでよく、プログラム実行中に命令及びデータを格納するメインランダムアクセスメモリ（RAM）１４１８及び固定された命令が格納されるリードオンリメモリ（ROM）１４２０を含む。ファイルストレージサブシステム１４１０は、プログラム及びデータファイル用の永続的な（不揮発性）ストレージを提供し、ハードディスクドライブ、取り外し可能な媒体に関するフロッピディスクドライブ、コンパクトディスクリードオンリメモリ（CD−ROM）ドライブ、光ドライブ、取り外し可能なメディアカートリッジ及び他の同様なストレージ媒体等を含んでよい。

バスサブシステム１４０４はコンピュータシステム１４００の様々な要素及びサブシステムが意図されるように互いに通信させる手段を用意する。バスサブシステム１４０４は単一のバスのように概略的に描かれているが、バスサブシステムの代替例は複数のバスを利用してもよい。

コンピュータシステム１４００は、パーソナルコンピュータ、ポータブルコンピュータ、ワークステーション、ネットワークコンピュータ、メインフレーム、キオスク又は他の如何なるデータ処理システムをも含む様々なタイプのものでもよい。コンピュータ及びネットワークが将来的に変わる性質に起因して、図１４に示されるコンピュータシステム１４００の説明は、コンピュータシステムの好適実施例を説明するための特定の実施例に過ぎないことが意図される。図１４に示されるシステムより多くの又はより少ない素子を含む他の多くのコンフィギュレーションが可能である。

以上本発明の特定の実施例が説明されてきたが、様々な修正例、代替例、代替構成例及び均等物も本発明の範疇に包含される。説明された発明は或る特定のデータ処理環境での処理に限定されず、複数のデータ処理環境の中で自由に動作可能である。更に本発明は処理及びステップの特定の手順を用いて説明されたが、本発明の範囲は説明された処理及びステップの手順に限定されないことは当業者に明白であろう。更に上述の様々なインターフェース（例えば、GUI）は、本発明の実施例の単なる一例に過ぎず、特許請求の範囲に記載の本発明の範囲を限定するものではない。当業者は他の変形例、修正例及び代替例を認識するであろう。

更に本発明はハードウエア及びソフトウエアの特定の組み合わせで説明されてきたが、ハードウエア及びソフトウエアの他の組み合わせも本発明の範疇にあることが認識されるべきである。本発明はハードウエアだけで、ソフトウエアだけで又はそれらの組み合わせで実現されてもよい。

従って明細書及び図面は限定的意味ではなく例示であると解釈されるべきである。更に、付加、除去、削除及び他の修正や変更は、特許請求の範囲に記載された本発明の広範な精神及び範囲から逸脱せずになされてよいことは明白である。

本発明の一実施例を利用するシステム概略図を示す。本発明の一実施例によるウエブベースの制御インターフェース例を示す図である。捕捉／記憶された情報に基づいてアクションを実行するのに使用される本発明の一実施例による様々なモジュール／エンジンの概略ブロック図を示す。検出されたイベントに基づいてアクションを実行する本発明の一実施例による方法を示す上位概念的フローチャートを示す。本発明の一実施例による書類共有システムの様々なモジュール／エンジンの概略ブロック図である。本発明の一実施例によるウエブベースの書類提出インターフェースを示す概略図である。本発明の一実施例による書類検索インターフェースを示す概略図である。本発明の一実施例によるキオスクの概略ブロック図を示す。本発明の一実施例によるコピー／ペースト機能を提供するのに使用されるモジュール／コンポーネントを示す図である。本発明の一実施例によるマルチメディア情報の静的な視覚的表現例を示す図である。本発明の一実施例によるマルチメディア情報の静的な視覚的表現例を示す図である。本発明の一実施例によるマルチメディア情報の静的な視覚的表現例を示す図である。本発明の一実施例によるマルチメディア情報の静的な視覚的表現例を示す図である。本発明の一実施例によるマルチメディア情報の静的な視覚的表現例を示す図である。本発明の一実施例によるマルチメディア情報の静的な視覚的表現例を示す図である。本発明の一実施例によるブログ・インターフェースを示す概略図である。本発明の一実施例によるブログエントリをブラウズするためのインターフェースを示す概略図である。本発明の一実施例によりキオスクで表示されるグラフィカルユーザインターフェース(GUI)を示す概略図である。本発明の一実施例による処理を実行するために使用されるコンピュータシステムの概略ブロック図である。

符号の説明

１００システム
１０２サーバ
１０４捕捉装置
１０６カメラ
１０８マイクロフォン
１１０ホワイトボード捕捉装置
１１２スライド捕捉装置
１１３コンピュータビデオキーフレーム捕捉装置
１１４メモ捕捉装置
１１５捕捉及びアップロード装置
１１６コンピュータ
１１８書類共有システム
１２０電子書類
１２２データベース
１２４レコード
１２６処理モジュール
１２８ストリーミングインターフェース
１３０通信ネットワーク
１３２外部アクセスインターフェース
１３４アプリケーション
１３６ユーザシステム
１３８キオスク
１４０制御インターフェース
１５０ブログインターフェース
１５２ブログ処理モジュール
３００イベント検出器
３０２デバイスコントローラ
３０４カメラコントローラ
３０６出力コントローラ
３０８経過時間モジュール
５０２書類提示インターフェース
５０４書類フォーマット変換器
５０６書類言語翻訳器
５０８書類検索インターフェース
８０２コマンド
８０４好み
８０６外部媒体
８０８入出力ポート
９０２，９１４マルチメディアアプリケーション
９０４マルチメディアデータ
９０６コンバータ
９０８表現物
９１０翻訳器
９１２クリップボード
１４００コンピュータシステム
１４０２プロセッサ
１４０４バスサブシステム
１４０６ストレージサブシステム
１４０８メモリサブシステム
１４１０ファイルストレージサブシステム
１４１２ユーザインターフェース入力装置
１４１４ユーザインターフェース出力装置
１４１６ネットワークインターフェース
１４１８ＲＡＭ
１４２０ＲＯＭ

Claims

スライドから１つ以上のカメラによって捕捉したディジタル情報を処理するコンピュータシステムで実行される方法であって、
会議中に前記ディジタル情報を受信するステップと、
前記ディジタル情報から、前記スライドに関連する１つ以上のイベント群を決定するステップと、
前記イベント群に基づいて、実行すべきアクションを決定するステップと、
前記アクションを実行するステップと
を備え、前記アクションは、
少なくともスライドが変化したときの司会者または
スライドが変化したときのスライドが提示されるスクリーンまたは
スライドが変化することなく時間が経過した部屋に焦点をあてるようにカメラの動作を制御し、
さらに、新たなスライドが示された場合には、会議に参加していないユーザに該新たなスライドを通知することを特徴とする方法。
スライドから１つ以上のカメラによって捕捉したディジタル情報を処理するシステムであって、
１つ以上のカメラと、
会議中に前記ディジタル情報を受信し、前記ディジタル情報から、前記スライドに関連する１つ以上のイベント群を決定し、前記イベント群に基づいて、実行すべきアクションを決定し、
前記アクションを実行するコンピュータシステムと
を備え、前記アクションは、
少なくともスライドが変化したときの司会者または
スライドが変化したときのスライドが提示されるスクリーンまたは
スライドが変化することなく時間が経過した部屋に焦点をあてるようにカメラの動作を制御し、
さらに、新たなスライドが示された場合には、会議に参加していないユーザに該新たなスライドを通知することを特徴とするシステム。
スライドから１つ以上のカメラによって捕捉したディジタル情報を処理する装置であって、
会議中に前記ディジタル情報を受信する手段と、
前記ディジタル情報から、前記スライドに関連する１つ以上のイベント群を決定する手段と、
前記イベント群に基づいて、実行すべきアクションを決定する手段と、
前記アクションを実行する手段と
を備え、前記アクションは、
少なくともスライドが変化したときの司会者または
スライドが変化したときのスライドが提示されるスクリーンまたは
スライドが変化することなく時間が経過した部屋に焦点をあてるようにカメラの動作を制御し、
さらに、新たなスライドが示された場合には、会議に参加していないユーザに該新たなスライドを通知することを特徴とする装置。