JP3601314B2

JP3601314B2 - Multimedia information processing device

Info

Publication number: JP3601314B2
Application number: JP26482898A
Authority: JP
Inventors: 信雄鈴木
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1998-09-18
Filing date: 1998-09-18
Publication date: 2004-12-15
Anticipated expiration: 2018-09-18
Also published as: JP2000098985A

Description

【０００１】
【発明の属する技術分野】
本発明は、静止画、テキスト等のドキュメントメディアや、音声、動画、アニメーション、グラフィックス等のストリーミングメディアを含むメディア情報が複合されて構成されるプレゼンテーションを視聴するためのクライアントを複数有するマルチメディア情報処理装置に関する。
【０００２】
【従来の技術】
従来、印刷物ドキュメントに対してメモを書き込んだり、マーカーを付けたりするのと同様に、デジタルドキュメントに対してマーク付けを行ったり、個人的なメモを書き込んだり、あるいは注釈（アノテーション）を付けて著者に対してフィードバックを行ったりするシステムが提案されている。今後、ネットワーク化がさらに進みマルチメディアドキュメントが普及するにしたがってこのようなデジタルドキュメントに対する編集行為の支援技術はネットワーク上での共同作業を行う場面においては非常に重要になってくる。
【０００３】
例えば、いわゆるＯＨＰを用いたプレゼンテーションのようなページ単位で構成されたドキュメントに対して注釈を付けることのできるシステムが、特開平５−１８９４３１号公報に記載されている。この公報に記載されたシステムは、テキスト、図形、イメージといったストリーミングメディアを含まないドキュメントメディアに対して、元の文書の保全性を損なわずに注釈を付けることができるようになっている。このシステムでは、注釈をドキュメントとは別のレイヤーに書き込むことにより、元のドキュメントに対して編集行為を行なわないようになっている。これはデジタルドキュメントでこそ可能な技術である。
【０００４】
また、複数のコンピュータ上で共有しているドキュメントに対して添え書きを加える技術が特開平７−１８２２８２号公報に開示されている。この技術は、ネットワークに接続された複数のコンピュータ上で共通の画像を表示している際に、ユーザがその画像上に添え書きを行うことができ、その添え書きデータを画像データとは異なる場所に格納するというものである。そして、添え書きはネットワーク上の他のコンピュータにも表示されるようになっている。この技術によると、他のメンバーのインタラクション（メモ、注釈、質問など）が画像のどの部分に対して付加されたのかを会議に参加している複数のメンバーが一目でわかるという電子会議システムを提供することができる。
【０００５】
【発明が解決しようとする課題】
ここで、サーバ上にプレゼンテーションが保存されており、特定のグループ内のメンバーがそのプレゼンテーションを見るようになっている場合を想定する。このような場合において、各メンバーが、他のメンバーがどこを見ているのかということや、どこに興味をもっているかということや、どこに興味を持っていないかということや、どこに質問や意見があるのかということを知ることは、グループ内で情報を共有するという点で非常に有益である。また、プレゼンテーションの発信者にとっても、上記のような受け手の反応を知ることはより良いプレゼンテーションを行うために重要である。また、プレゼンテーションに基づいてネットワーク上で会議する場合などにおいては、会議のメンバーがプレゼンテーションを見たか否かということや、プレゼンテーションを正しく理解しているか否かということ等を会議の議長が把握することは、会議における議論を活発化するためには重要である。したがって、プレゼンテーションにアノテーション等のインタラクション情報（マーク情報）を付加して、メンバー間でそれを共有できるようにすることが要請される。
【０００６】
しかしながら、プレゼンテーション中のある場所（空間的、時間的な）を特定してマーク情報を付加する従来の技術は、主としてページ単位で構成されるドキュメントメディアに関するものであり、時間軸を持ったストリーミングメディアに関しては、検索を目的として時間軸上のある特定の「ポイント」を指し示すといった技術が存在するのみで、ストリーミングメディアの所定の範囲についてマーク情報を適切に付加することができないという問題がある。つまり、従来技術では、ストリーミングメディアに対して１本の時間軸上の１点を指すことしかできず、メディアミックスプレゼンテーションに対してマーク情報（既読であるかあるいは未読であるか等の情報）を対応付けても、「（時間軸上の）どこからどこ」「プレゼンテーションのどの部分、あるいはどのメディアコンテンツ」といった内容が抜け落ちてしまい、マーク情報を対応付けた部分などが正確に伝えられないという問題がある。
【０００７】
本発明の目的は、プレゼンテーションを構成するストリーミングメディアにマーク情報を適切に対応付けて管理でき、このマーク情報の対応付けを複数の端末間で容易且つ適切に共有することのできるマルチメディア情報処理装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的は、サーバと、サーバにネットワークを介して接続された複数のクライアントとを有するマルチメディア情報処理装置において、各クライアントは、時間軸を持ったストリームメディアを含む複数のメディア情報を時間的空間的に組み合わせて再生してプレゼンテーションを実行するマルチメディア情報視聴手段と、再生されているメディア情報に対して、メディア情報に関連するマーク情報を対応付けるプレゼンテーションにおける時間巾を指定するマーク付け手段と、再生されているメディア情報と、マーク情報と、時間巾とを対応付けるマーク付け情報を管理する第１マーク付け情報管理手段と、マーク付け情報をサーバへ送信する第１マーク付け情報伝達手段とを備え、サーバは、マーク付け情報をクライアントから受信する第２マーク付け情報伝達手段と、受信したマーク付け情報を記憶する第２マーク付け情報管理手段と、第２マーク付け情報管理手段に記憶された複数のマーク付け情報に基づいて共有マーク付け情報を生成するマーク付け情報演算手段とを備えることを特徴とするマルチメディア情報処理装置によって達成される。
【０００９】
【発明の実施の形態】
本発明の一実施の形態によるマルチメディア情報処理装置を図１乃至図２１を用いて説明する。まず、本実施の形態によるマルチメディア情報処理装置の全体構成を図１を用いて説明する。
本マルチメディア情報処理装置は、複数（図１中では３つ）のクライアントＡ、Ｂ、Ｃと、サーバＳとを有し、各クライアントＡ、Ｂ、Ｃと、サーバＳとは、ネットワークＮを介して接続されている。
各クライアントＡ、Ｂ、Ｃは、ＭＭ（マルチメディア）情報視聴部ＭＭと、マーク付け部７と、マーク定義部８と、マーク付け情報管理部９と、既読情報管理部１０と、マーク付け情報伝達部１１とを有している。なお、図１では、クライアントＢおよびＣの各機能部の表示を省略している。
【００１０】
ＭＭ情報視聴部ＭＭは、主に、複数のメディア情報を時間的空間的に組み合わせて再生することでマルチメディア情報のプレゼンテーションを行う機能部であり、図２に示すようにメディア情報管理部１と、再生シナリオ管理部２と、視覚情報再生部３と、音声情報再生部４と、シナリオ解釈部５と、再生シナリオ演算部６とを有している。
図１に戻り、サーバＳは、マーク付け情報伝達部２３と、マーク付け情報管理部２１と、マーク付け情報演算部２２とを有している。なお、上記各機能部の詳細については後述する。
【００１１】
次に、各クライアントＡ、Ｂ、Ｃについて、スタンドアローン（単体）での動作およびこの動作に関わる機能部について説明する。
メディア情報管理部１は、音声１００、テキスト１０１、静止画１０２、動画１０３、アニメーション１０４等の各メディアコンテンツをそれぞれ独立したメディアとして記憶する。
再生シナリオ管理部２は、プレゼンテーションにおける各メディアを再生する際の時間的な順序、空間的レイアウトなどを記述した再生シナリオファイル２００を記憶する。再生シナリオファイル２００の一例を図３を用いて説明する。再生シナリオファイル２００は、大別するとヘッダ部２００ａとボディー部２００ｂとを有している。
【００１２】
ヘッダ部２００ａには、当該再生シナリオファイル２００に基づいて実行されるプレゼンテーションで用いるウィンドウのレイアウトがウィンドウの個数分（図３では３つ）記述されている。
ボディー部２００ｂには、どのコンテンツ（メディア）をどのタイミングでどの再生するかが記述されている。具体的には、ボディー部２００ｂは実行開始時刻２００ｃ、ウィンドウ番号２００ｄ、メディア２００ｅ、および再生時間長さ２００ｆを有している。
【００１３】
実行開始時刻２００ｃには、メディアの再生を開始する時刻が設定される。ウインドウ番号２００ｄには、再生するメディアが映像メディアである場合に当該メディアを再生させるウインドウの番号が設定され、また、再生するメディアが音声メディアである場合に、”ａｕｄｉｏ”が設定される。メディア２００ｅには、再生するメディアの識別名が設定される。再生時間長さ２００ｆにおいては、時間軸を持たない静止画などのメディアの場合には、当該メディアを表示させる時間の長さが記述される。また、再生時間長さ２００ｆには、動画／アニメーション等の時間軸を持つストリーミングメディアを通常の速度で再生する際には何も記述する必要はないが、倍速再生／スロー再生など再生するメディアを通常の速度と異なる再生を行なう際には、再生トータル時間を記述する必要がある。再生シナリオファイル２００では、同一の実行開始時刻に対してメディア２００ｅに２つ以上のメディアを記述することにより、同時に２以上のメディアの再生を始めるようにすることができる。
【００１４】
ここで、図３に示す再生シナリオファイルに基づくマルチメディアプレゼンテーションの再生スケジュール（スコア）の概念を図４および図５を用いて説明する。図４では、横軸に時間を取り、縦軸に再生する空間（ウインドウ番号あるいはａｕｄｉｏ）を取っており、各矩形が各メディアを示している。図５は、時刻ｔ＝ｔｐにおけるマルチメディアプレゼンテーションの様子を示している。
図４および図５によると、時刻ｔ＝ｔｐにおいて、ウィンドウＷ１でメディアａが再生され、ウィンドウＷ２でメディアｂが再生され、ウィンドウＷ３でメディアｃが再生され、オーディオでメディアｄが再生されることがわかる。
【００１５】
次に、本マルチメディア情報視聴装置の基本的なマルチメディアの再生動作について図６を用いて説明する。この動作は図５に示す表示画面上においてプレゼンテーションの再生ボタンＰＬＡＹがユーザに押下されることにより開始される。
まず、シナリオ解釈部５が再生シナリオ管理部２から該当するプレゼンテーションの再生シナリオ２００を読み出す（ステップＳ１）。次いで、シナリオ解釈部５は、再生シナリオ２００のヘッダ部２００ａを読み込んでウィンドウのレイアウト情報を取得する（ステップＳ２）。
【００１６】
その後、シナリオ解釈部５のボディー部２００ｂを頭から順に読み込んで、所定の実行開始時刻に再生するメディアをメディア情報管理部１から読み出し（ステップＳ３）、取り出したメディアが音声メディアか否かを検出する（ステップＳ４）。この検出により、当該メディアが音声メディアでなく視覚メディア、すなわち、テキスト１０１、静止画１０２、動画１０３、またはアニメ１０４である場合には、当該メディアを再生するウィンドウのレイアウト情報とともに、当該メディアを視覚情報再生部４に出力する。視覚情報再生部４は、入力されたウインドウのレイアウト情報に基づいて、ウインドウを作成し、入力されたメディアを当該ウインドウに再生する（ステップＳ５）。
一方、メディア情報管理部１から読み出したメディアが音声メディア１００の場合には当該メディアを音声情報再生部４に出力する。音声情報再生部４は、入力されたメディアに基づいてスピーカから音声を再生する（ステップＳ６）。
そして、上記処理（ステップＳ３〜Ｓ６）をボディー部２００ｂの記述に対して実行する（ステップＳ７）。
【００１７】
次に、プレゼンテーションに含まれるメディアに対応付けるマーク情報について図７を用いて説明する。図７は、ｄｅｆａｕｌｔ（デフォルト）で用意されているマーク情報と、ユーザが定義したマーク情報とを１つのファイル（ユーザ定義ファイル２０１）で管理している例を示している。
ユーザ定義ファイル２０１はマーク定義部８に記憶されている。ユーザ定義ファイル２０１に含まれている各マーク情報は、マーク情報を知覚可能に表わすシンボル（音情報も含む）、マーク情報の内容を示すコメント、関連する情報のリンク情報（例えば、ＵＲＬ）、マーク情報に対応する処理方法（処理スクリプト）、マーク情報を定義した人等を有している。
【００１８】
図７に示すユーザ定義ファイルにおいては、例えば、デフォルトで設定され、視聴済みであることを表わし、シンボルが既であり、ｓｋｉｐ処理させるというマーク情報が定義されている。また、デフォルトで設定され、重要個所であることを表わし、シンボルが◎であるマーク情報や、ユーザ自身（ｍｅ）が設定し、後にゆっくりと再生すべき部分であることを表わし、シンボルが★であり、ｓｌｏｗｐｌａｙ処理させるというマーク情報も定義されている。また、ユーザ自身が設定し、常識である部分であることを表わし、シンボルが△であり、ｆａｓｔｐｌａｙ処理させるというマーク情報や、ユーザ自身が設定し、熟考すべき部分であることを表わし、シンボルが※であり、ｐａｕｓｅさせるというマーク情報等が定義されている。マーク情報は、ユーザがマーク定義部８を用いて定義することができるようになっている。これによって、ユーザはプレゼンテーションに対して必要に応じてカスタマイズ、パーソナライズして自分だけのプレゼンテーションを作成して視聴することができる。
【００１９】
マーク情報として予め汎用的なものを定義しておくことは有益である。例えば、重要を表わすマーク情報（シンボル◎）を定義しておき、プレゼンテーションの著者が必ず見て欲しいと思う重要なメディアに対してマーク情報（シンボル◎）を付けておくようにすると、プレゼンテーションのメディアを再生する際にマーク情報に対応付けられているメディアについて、後述するようにシンボル◎を表示させることができ、受け手側は注意を払うことができる。また、マーク情報が対応付けられたメディアの部分のみ拾って再生することで時間の節約をすることができる。
【００２０】
次に、プレゼンテーションに含まれるメディアにマーク情報を対応付ける動作を説明する。
プレゼンテーションの実行中にユーザが特定のメディアに対してマーク情報を対応付けたいと思った場合には、マーク付け部７を用いて視覚情報再生部４により再生されているプレゼンテーションの所望のメディアを指示することによりマーク付け情報管理部９により後述するよにマーク情報を対応付けることができる。音声メディアに対しては、プレゼンテーションウィンドウ中のオーディオメディアのアイコン（図５中のアイコンＩ）に対して指示することによりマーク情報を対応付けることができる。対応付けるマーク情報は、マーク定義部８に登録されている複数のマークからマーク付け部７により選択することができ、同じメディアに異なる複数のマーク情報を同時に対応付けることもできるようになっている。
【００２１】
例えば、シンボル★のマーク情報を対応付ける場合には、画面上においてマーク付け部７を用いてマーク情報のシンボル★を選択し、当該シンボルを所望のメディア上に移動させた状態でマーク付け部７のマウスをクリックすればよく、これにより、当該メディアの当該時間についてマーク情報（シンボル★）を対応付けられるようになっている。所望のメディアの所望の時間巾に対してマーク情報を対応付ける場合には、マーク付け部７のマウスを所望の時間クリックダウンするなどにより実現できる。
【００２２】
また、同じメディアに対して同時に複数の意味内容を対応付ける場合には、複数のマーク情報を対応付けたり、既に対応付けられているマーク情報に別の意味内容の定義を加えたりすることにより可能である。複数のマーク情報を対応付ける場合には、プレゼンテーションを一旦巻き戻して再生し、再度他のマーク情報を対応付けるようにすればよく、既に対応付けられているマーク情報に別の意味内容の定義を加える場合には、マーク定義部８により、当該マーク情報に複数の意味内容を定義するようにすればよい。また、一旦対応付けたマーク情報に対する定義をユーザがマーク定義部８により再定義することで、一括してマーク情報の意味を変更することができる。例えば、定義した処理がもはや必要でなくなった場合などに処理の定義を削除すれば、当該処理のマーク情報が対応付けられた部分での処理が行われなくなる。これによると、マーク情報の対応付けを１ヶ所ずつ変更する手間がかからない。
【００２３】
次に、マーク情報をメディアの所定の時間に対応付けて管理するマーク付け情報ファイルの一例を図８を用いて説明する。本実施の形態では、プレゼンテーションの再生シナリオとの関連がわかりやすいように２次元マップのマーク付け情報ファイルを用いている。
マーク付け情報ファイルはマーク情報の数だけのレイヤーを有し、各レイヤーは、各マーク情報に関する対応付けを記憶するようになっている。各レイヤーは横軸を時間に取り、縦軸をメディアに取った２次元マップとなっている。横軸の時間のサンプリング間隔は、任意の間隔（例えば１秒単位）でよい。図８において、各レイヤーは、メディア毎に１秒単位で１ビットの情報を持つようになっている。初期状態では、各レイヤーのすべてのビットは”０”の状態となっている。
【００２４】
また、マーク付け情報ファイルの各レイヤーには、図９に示すように、当該レイヤーを公開してもよいというＰｕｂｌｉｃ属性、または当該レイヤーを公開してはいけないというＰｒｉｖａｔｅ属性の何れかが設定されている。なお、ユーザはマーク定義部８を用いて、各レイヤーに対してＰｕｂｌｉｃまたはＰｒｉｖａｔｅの属性を定義することができるようになっている。
【００２５】
次に、マーク情報を対応付ける動作を説明する。
マーク付け情報管理部９は、マーク付け部７による指示に基づいて、対応するメディアおよび時間のビットを”１”にする。例えば、ユーザがマーク付け部７によりメディアＢの時刻２秒から１０秒まで★マークを指定したとすると、図８に示すように★マークに対応するマーク情報のレイヤーのメディアＢの行の２〜１０までのビットのすべてを”１”にする。
このようにマーク情報を管理することで、後述するようにマーク情報に定義された処理を施す際に演算を簡単に行なうことができる。
【００２６】
次に、既に再生したメディアに対して既読であることを示すマーク情報（未読既読マーク情報）を対応付ける動作について説明する。
未読既読マーク情報をメディアに対して対応付ける動作は、ユーザが未読既読マークを付けるオプションをオンにしてプレゼンテーションの再生を開始することにより実行される。
この動作においては、上述の図６に示す基本的なマルチメディア再生動作が行われ、再生シナリオ２００にしたがってシナリオ解釈部５は対応するメディアを順次読み出し、視覚情報再生部４および音声情報再生部４はメディアを再生する。このような動作と共に、既読情報管理部１０は図１０に示すように各メディアのどの部分を再生したかを検知し、マーク付け情報ファイルの未読既読マーク情報のレイヤーの検知したメディアおよび時間に対応するビットを”１”にする。
【００２７】
次に、ユーザが図１０の時刻ｔｃにおいてプレゼンテーションの再生を中断させ、その後、続きのプレゼンテーションを再生させる指示を行った場合のプレゼンテーションの再生動作を説明する。
ユーザが再生シナリオ演算部６に対して未読部分のみのシナリオ生成を指示すると、再生シナリオ演算部６はマーク付け情報ファイルをマーク付け情報管理部９より読み出し、その中から未読既読マーク情報のレイヤーを解釈して未読部分のみが含まれている再生シナリオを作成する。
【００２８】
具体的には、再生シナリオ演算部６は、該当するプレゼンテーションのシナリオファイルをスコアに展開し、当該スコアに基づいて各メディアと、当該メディアの再生時間との２次元マップを求める。次に、マーク付け情報ファイルから未読既読マーク情報のレイヤーを呼び出す。そして、前者と後者とのＡＮＤをとり既読の部分のみを取り出す。次いで、再生シナリオ演算部６は、マーク定義部８のユーザ定義ファイル２０１から未読既読マーク情報に含まれている処理（メディアの再生を行わないスキップ（Ｓｋｉｐ）処理）を取り出し、既読部分に対してスキップ処理を行うようなスコアを求め、当該スコアをシナリオへ逆変換する。
上記の動作によると、既読の部分はスキップされ、その他の部分はなにもされないシナリオ、すなわち、未読部分のみ再生するシナリオファイルが生成される。
この作成された再生シナリオファイルを用いて上述の図６に示すようにプレゼンテーション再生を行うと、時刻ｔｃからのプレゼンテーションが再生される。
【００２９】
次に、複数のマーク情報の対応付けに基づいてプレゼンテーションを再生する場合の動作を図１１を用いて説明する。
ここで、マーク付け情報管理部９のマーク付け情報ファイルには、著者が付けた重要マーク情報（シンボル◎）、ユーザが付けたスロー再生を行わせるスロー再生マーク情報（シンボル★）のレイヤーがあり、各マーク情報は通常の再生におけるスコアに重ねて示すと図１２に示すように対応付けられているものとする。さらに、ユーザ定義ファイル２０１において、重要マーク情報には処理が定義されておらず、スロー再生マーク情報に対してはスロー再生処理が定義されているものとする。
【００３０】
ユーザによりプレゼンテーションの再生の指示がされ、さらにマーク付け情報管理部９でレイヤーが管理されている各マーク情報をプレゼンテーションの再生に有効にするか否か（Ｏｎ、Ｏｆｆ）が入力されると（ステップＳ１１）、各マーク情報に対する（Ｏｎ、Ｏｆｆ）が再生シナリオ演算部６に送られる（ステップＳ１２）。本例では、スロー再生マーク情報および重要マーク情報はＯｎに設定されているものとする。
【００３１】
次いで、再生シナリオ演算部６は、書き出す２次元マップの初期化を行い（ステップＳ１３）、Ｏｎが設定されたマーク情報をマーク定義部８のユーザ定義ファイル２０１から読み出し（ステップＳ１４）、マーク情報に処理が定義されているか否かを検出する（ステップＳ１５）。この結果、処理が定義されていない場合には、再生シナリオ演算部６は、レイヤーの”１”が設定されたビットに対応する２次元マップ上の位置にシンボルを表示させる処理を書き加える（ステップＳ１６）。これにより、重要マーク情報のレイヤーの”１”が設定されたビットに対応する２次元マップ上の位置にシンボルを表示させる処理が書き加えられる。一方、処理が定義されている場合には、再生シナリオ演算部６は、定義されている処理を２次元マップに反映させる（ステップＳ１７）。これにより、スロー再生マーク情報のレイヤーの”１”が設定されたビットに対応する部分について時間軸が伸ばされて再生されるように２次元マップ上に反映される。
【００３２】
上記処理（ステップＳ１４〜Ｓ１７）をＯｎが設定されたすべてのマーク情報に対して行う（ステップＳ１８）。これにより、図１３に示すような複数のマーク情報の対応付けが加味された２次元マップが作成される。図１３中の◎はシンボルを表示する処理を行うことを表わし、★はスロー再生を行うことを表わしている。この後、再生シナリオ演算部６が２次元マップに基づいてスコアを作成する。すなわち、２次元マップの◎に対応する部分においてシンボルを表示する処理を行い、★に対応する部分においてスロー再生を行うスコアを作成する。これにより、図１２に示すスコアに対してスロー再生マーク情報が対応付けられている時間軸が伸ばされた図１４に示すようなスコアが作成される。次いで、再生シナリオ演算部６が作成したスコアに基づいて再生シナリオファイルを生成する（ステップＳ１９）。ここで、重要マーク情報が対応付けられている部分の再生において、その部分の再生中にウィンドウにシンボル◎が表示されるように再生シナリオファイルが記述される。
【００３３】
上記のように生成された再生シナリオファイルに基づいて、シナリオ解釈部５がプレゼンテーションを実行すると、スロー再生マーク情報が対応付けられている部分（時間）においてスロー再生を行い、重要マーク情報が対応付けられている部分においてはプレゼンテーション中の該当するメディアの表示ウインドウ中にシンボル◎を表示する。
このとき、重要マーク情報に対応するシンボル◎を表示する時間を重要マーク情報が対応付けられている時間より長く表示することが好ましく、特に、対応付けれれている時間より前から表示するようにすることが望ましい。これは、プレゼンテーションの再生中にユーザがマーク付け部７により重要マーク情報を対応付けるようになっており、再生中に重要な部分を見つけてから実際に対応付けるまでの間に時間が空いてしまうことがあるからである。
【００３４】
なお、上記処理において、スコア上の同じ部分に異なるマーク情報が付けられていて、マーク情報の処理を両立できないような場合が有り得るが、これに対しては、何れのマーク情報を優先するかの優先順位に基づいて処理を行えばよく、例えば、演算する順序を変えることでマーク情報の処理に優先順位をつけることは容易である。
【００３５】
次に、シナリオファイルの既読した範囲において、新たにメディアが追加された場合に未読のメディアを検出する処理について説明する。
まず、再生シナリオ演算部６は、再生シナリオファイルをスコアに変換すると共に、マーク付け情報管理部９から未読既読マーク情報のレイヤーを取り出して当該レイヤーに基づいてスコアに相当する２次元マップを生成する。次いで、再生シナリオ演算部６は、前記未読既読マーク情報による２次元マップをマスクにして前記再生シナリオのスコアに重ねあわせ、マスクのかかっていない部分を検出する。図１５には、前記未読既読マーク情報による２次元マップをマスクにして前記再生シナリオのスコアを重ねあわせた状態を示している。図１５に示すようにマスクのかかっていない部分は、新たに加わったコンテンツ若しくは未読のコンテンツである。このように、新たに追加されたメディアを容易に検出することができ、追加されたメディアを支障なく再生することができるようになる。
【００３６】
このように、ユーザは複数のメディアから構成される複雑なプレゼンテーションに対して特定の部分にアノテーション、メモ書き、メディア処理などのマーク情報を自由に対応付けることができる。また、既読未読を詳細に管理できたり、プレゼンテーションの重要部分を容易に把握できたりして、プレゼンテーションを効率的に視聴することができる。
【００３７】
次に、クライアントＡ、Ｂ、ＣとサーバＳとの間でのマーク付け情報の伝達動作について図１６を用いて説明する。
マーク付け情報伝達部１１は、例えば、ユーザがプレゼンテーションを視聴し終わったとき、あるいはユーザがアノテーションを付与したとき等の特定のイベントが発生した際に、マーク付け情報管理部９からマーク付け情報を読み出す（ステップＳ２１）。次いで、マーク付け情報伝達部１１は、当該マーク付け情報中の各レイヤーに設定されている属性を解釈し（ステップＳ２２）、属性がＰｕｂｌｉｃであれば、当該レイヤーを送信用のファイル（ｔｍｐ）に書き込む一方、属性がＰｒｉｖａｔｅであれば何もしない（ステップＳ２３、Ｓ２４）。そして、上記の処理ステップＳ２２〜Ｓ２４をマーク付け情報ファイル中のすべてのレイヤーに対して行う（ステップＳ２５）。
【００３８】
次いで、マーク付け情報伝達部１１は、クライアントの識別子やクライアントを操作しているユーザＩＤ等のクライアントＩＤを送信用のファイルに書き込み（ステップＳ２６）、さらに、マーク定義部８に記憶されているマーク情報を送信用のファイルに書き込む（ステップＳ２７）。図１７は、この時の送信用のファイルを示している。この後、マーク付け情報伝達部１１は、サーバＳのマーク付け情報伝達部２３との間でコネクションを張って通信規約上でデータの送受信ができるようにし、送信用のファイルをマーク付け情報伝達部２３に送信する（ステップＳ２８）。マーク付け情報伝達部２３は、ネットワークＮを介して接続されている複数のクライアントＡ、Ｂ、Ｃのマーク付け情報伝達部１１からの送信用のファイルを受信し、サーバＳのマーク情報管理部２１に記憶する。
【００３９】
なお、本実施の形態では、ユーザが知らない間にシステムが自動的にマーク付け情報等を送るようにしたが、例えば、マーク付け情報送信ボタンなどを設け、当該ボタンに対してユーザが明示的に指示したときのみ送信するようにすると、ユーザのプライバシーの保護を考えた場合に有効である。また、本実施の形態では、サーバＳにクライアントＩＤを送信するようにしたが、クライアントＩＤは必ずしも送信する必要はない。例えば、ユーザのプライバシーを尊重する場合にはマーク付け情報とともにクライアントＩＤを送信しないようにしてもよい。ユーザの意図に関係なくマーク付け情報がサーバＳに送信されるような場合にはクライアントＩＤを送信しないようにしたほうがよい。
【００４０】
次に、サーバＳでの複数のクライアントＡ、Ｂ、Ｃからのマーク付け情報から共有マーク付け情報を作成する演算動作について図１８を用いて説明する。共有マーク付け情報とは、複数のクライアントで共有プレゼンテーションを視聴した複数のユーザがプレゼンテーションに対してどのようなインタラクションをしたかという統合情報であり、だれが、プレゼンテーションのどの部分を視聴したか、どの部分にアノテーションを付けたか、どこに重要マークをつけたか等の情報を複数のクライアント（ユーザ）について統合した情報である。
ここでは、各クライアントにおいて、既／未読マーク情報、重要マーク情報、メモ書きマーク情報についての対応付けが管理されている場合について説明する。
本実施の形態では、サーバＳのマーク付け情報管理部２１がクライアントすべて（クライアントの数をＮ個とする）からマーク付け情報を受信したときに本動作が開始されるものとする。なお、サーバＳの管理者が明示的に動作を開始させるようにしてもよい。
【００４１】
クライアントからＮ個目のマーク付け情報が到着すると、マーク付け情報管理部２１は、マーク付け情報演算部２２にＮ個目のマーク付け情報が到着したことを知らせる。マーク付け情報演算部２２は、マーク付け情報管理部２１からＮ個のマーク付け情報等のセットを読み出す（ステップＳ３１）。次に、マーク付け情報演算部２２は、マーク付け情報にレイヤーが含まれているマーク情報毎に同一のマーク情報のレイヤーをまとめるためのマップを準備し（ステップＳ３２）、同一のクライアントＩＤに対応付けられているマーク付け情報の各レイヤーを該当するマップに書き込み（ステップＳ３３、Ｓ３４）、他のクライアントＩＤに対応付けられているマーク付け情報についても上記同様な処理（ステップＳ３３、Ｓ３４）を行う（ステップＳ３５）。
これによって、図１９に示すように、同一のマーク情報に関連するＮ枚のレイヤーをまとめたマップが既／未読マーク情報（図中の既／未読マーク）、重要マーク情報（図中の◎マーク）、メモ書きマーク情報（図中の★マーク）の各マーク情報ごとに作成される。
【００４２】
次に、マーク付け情報演算部２２は、Ｍ個のマップそれぞれについて、マーク定義情報に基づいて解析して、マップ内のＮ枚のレイヤーの情報を統合する。時間軸の頭から順にマップのすべてのレイヤーに対して解析し、図３のような再生シナリオを作成する。
具体的には、マーク付け情報演算部２２は、各クライアントＩＤに対応したマーク情報をマーク付け情報管理部２１から読み込んでおく（ステップＳ３６）。次いで、マップのレイヤーのビットを時刻ｔ＝０から順に読み込み（ステップＳ３７）、マーク情報が対応付けられ（ビットが”１”であり）、さらに当該レイヤーに対応付けられているクライアントＩＤのマーク情報に処理が設定されていれば、当該処理を再生シナリオ形式で書き出し（ステップＳ３８）、このような処理を当該マップのＮ個の各レイヤーに対して行い（ステップＳ３９）、マップの時間軸が終了するまで行う（ステップＳ４０）。
次いで、マーク付け情報演算部２２は、Ｍ個のマップそれぞれから作成された再生シナリオをバインド（統合）して、共有再生シナリオ（共有マーク付け情報）を求め（ステップＳ４１）、共有マーク付け情報管理部２１へ記憶する。
【００４３】
上記の処理によると、例えば、重要マーク情報（◎マーク情報）に関するマップ情報が、
【００４４】
【表１】

【００４５】
であり、メモ書きマーク情報（★マーク）に関するマップ情報が、
【００４６】
【表２】

【００４７】
であるとすると、図２０に示す共有マーク付け情報が求められる。
上記実施の形態では、複数のマーク情報に関するマーク付け情報を統合した共有マーク付け情報を求めるようにしたが、いずれか一つのマーク情報に関するマーク付け情報を統合した共有マーク付け情報を求めるようにしてもよい。
【００４８】
次に、クライアントＡ、Ｂ、Ｃにおいて共有マーク情報に基づいてプレゼンテーションを再生する際の動作を説明する。
サーバＳで作成されて共有マーク情報管理部２１に記憶されている共有マーク情報は、サーバＳのマーク情報伝達部２３により、所定のタイミングで各クライアントへ送信される。これにより、各クライアントＡ、Ｂ、Ｃでは、プレゼンテーションを行う元の再生シナリオファイルに加えて、サーバＳから送信されたの共有マーク情報のシナリオファイルを持つことになる。
【００４９】
各クライアントでは、再生シナリオ演算部６が両シナリオファイルをバインドし、シナリオ解釈部５が、バインドした新たな再生シナリオと、コンテンツ群と、マーク情報とに基づいて、上述の複数のマーク情報の対応付けに基づいて行うプレゼンテーションの再生動作と同様な動作によりプレゼンテーションを実行する。
これによると、図２１に示すように、複数のユーザによって対応付けられたマーク情報Ｍが適切なタイミングで適切な場所に表示されるプレゼンテーションが実行される。
したがって、ユーザはプレゼンテーションを実行している最中に、複数のユーザによって対応付けられたマーク情報を把握することができる。
【００５０】
【発明の効果】
以上のように本発明によると、ユーザは複数のメディアから構成される複雑なプレゼンテーションに対して任意の部分にアノテーション、メモ書き、メディア処理などのマーク情報を適切に対応付けることができ、さらにマーク情報の対応付けをネットワーク上において共有することができる。これにより、プレゼンテーションに対するマーク情報の対応付けをユーザの作業負担を増加させることなく容易に共有することができ、複数のユーザは迅速かつ的確にこれらマーク情報の対応付けを利用することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態によるマルチメディア情報処理装置の全体構成を示す図である。
【図２】本発明の一実施の形態によるマルチメディア情報処理装置のＭＭ情報視聴部の構成を示す図である。
【図３】本発明の一実施の形態による再生シナリオファイルの一例を示す図である。
【図４】本発明の一実施の形態によるプレゼンテーションのスコアを示す図である。
【図５】本発明の一実施の形態によるマルチメディアプレゼンテーションの表示例を示す図である。
【図６】本発明の一実施の形態による基本的なマルチメディアの再生動作のフローチャートである。
【図７】本発明の一実施の形態によるユーザ定義ファイルを示す図である。
【図８】本発明の一実施の形態によるマーク付け情報ファイルを示す図である。
【図９】本発明の一実施の形態による属性が設定されたレイヤーを説明する図である。
【図１０】本発明の一実施の形態による未読既読マーク情報の対応付けに基づくスコアを示す図である。
【図１１】本発明の一実施の形態による再生シナリオの演算動作のフローチャートである。
【図１２】本発明の一実施の形態による再生シナリオファイルのスコアに重要マーク情報およびスロー再生マーク情報の対応付けを重ねた図である。
【図１３】本発明の一実施の形態による重要マーク情報およびスロー再生マーク情報の対応付けに基づいて演算された２次元マップを示す図である。
【図１４】本発明の一実施の形態による重要マーク情報およびスロー再生マーク情報の対応付けに基づく演算によりもとめられたスコアを示す図である。
【図１５】本発明の一実施の形態による更新されたシナリオに基づくスコアと、未読既読マーク情報の対応付けに基づくスコアとを重ねあわせた状態の図である。
【図１６】本発明の一実施の形態によるマーク付け情報の伝達動作のフローチャートである。
【図１７】本発明の一実施の形態によるマーク付け情報送信用のファイルを示すである。
【図１８】本発明の一実施の形態による複数のマーク付け情報から共有マーク付け情報を作成する演算動作のフローチャートである。
【図１９】本発明の一実施の形態による同一のマーク情報に関連するＮ枚のレイヤーをまとめたマップを示す図である。
【図２０】本発明の一実施の形態による共有マーク付け情報の一例を示す図である。
【図２１】本発明の一実施の形態による共有マーク付け情報を用いたプレゼンテーションの表示例を示す図である。
【符号の説明】
Ａ、Ｂ、Ｃクライアント
Ｎネットワーク
Ｓサーバ
ＭＭＭＭ情報視聴部
１メディア情報管理部
２再生シナリオ管理部
３視覚情報再生部
４音声情報再生部
５シナリオ解釈部
６再生シナリオ演算部
７マーク付け部
８マーク定義部
９マーク付け情報管理部
１０既読情報管理部
１１マーク情報伝達部
２１マーク情報伝達部
２２マーク付け情報管理部
２３マーク付け情報演算部
１００音声メディア
１０１テキストメディア
１０２静止画
１０３動画
１０４アニメーション
２００再生シナリオファイル
２０１ユーザ定義ファイル[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to multimedia information having a plurality of clients for viewing a presentation configured by combining media information including document media such as still images and text, and streaming media such as audio, video, animation, and graphics. It relates to a processing device.
[0002]
[Prior art]
Traditionally, a digital document can be marked, a personal note can be written, or an author can be annotated, much like a memo or a marker can be written on a printed document. There has been proposed a system for providing feedback to the user. In the future, as networking advances and multimedia documents become more widespread, support technologies for editing such digital documents will become very important in the case of performing collaborative work on a network.
[0003]
For example, Japanese Patent Application Laid-Open No. 5-189431 discloses a system capable of annotating a document composed of pages, such as a presentation using a so-called OHP. The system described in this publication is capable of annotating document media that does not include streaming media such as text, graphics, and images without impairing the integrity of the original document. In this system, the annotation is not written on the original document by writing the annotation on a separate layer from the document. This is a technology that is possible only with digital documents.
[0004]
Japanese Patent Application Laid-Open No. Hei 7-182282 discloses a technique for adding annotations to a document shared by a plurality of computers. With this technology, when displaying a common image on multiple computers connected to a network, the user can annotate the image and store the annotation data in a location different from the image data It is to do. The annotations are also displayed on other computers on the network. This technology provides an electronic conferencing system that allows multiple members participating in a conference to see at a glance which part of the image the other member's interaction (memos, annotations, questions, etc.) was added to. can do.
[0005]
[Problems to be solved by the invention]
Here, it is assumed that a presentation is stored on a server and members in a specific group watch the presentation. In such a case, each member should know where other members are looking, where they are interested, where they are not interested, and where they have questions and opinions. Knowing this is very useful in sharing information within the group. Also, it is important for the sender of the presentation to know the above-mentioned reaction of the recipient in order to make a better presentation. In addition, in the case of a meeting on a network based on a presentation, the meeting chairperson must know whether the meeting members have seen the presentation and whether they correctly understand the presentation. Is important to stimulate discussions at meetings. Therefore, it is required to add interaction information (mark information) such as an annotation to the presentation so that the members can share the information.
[0006]
However, the conventional technology of specifying a certain place (spatial and temporal) in a presentation and adding mark information is mainly related to document media composed of pages, and is a streaming media having a time axis. However, there is a problem that the mark information cannot be appropriately added to a predetermined range of the streaming media only with a technique for indicating a specific “point” on the time axis for the purpose of search. In other words, according to the conventional technology, only one point on one time axis can be pointed for streaming media, and mark information (information such as read or unread) for a media mix presentation. The problem is that the content such as "where (on the time axis) and where" or "what part of the presentation or what media content" is missing even if the corresponding There is.
[0007]
SUMMARY OF THE INVENTION It is an object of the present invention to provide a multimedia information processing apparatus which can appropriately manage mark information in association with streaming media constituting a presentation, and can easily and appropriately share the correspondence of the mark information among a plurality of terminals. Is to provide.
[0008]
[Means for Solving the Problems]
An object of the present invention is to provide a multimedia information processing apparatus having a server and a plurality of clients connected to the server via a network, wherein each client transmits a plurality of media information including stream media having a time axis in a temporal space. Multimedia information viewing and listening means for performing a presentation by combining and reproducing the information, mark-up means for designating a time duration in a presentation for associating mark information related to the media information with the reproduced media information, and reproduction. First marking information managing means for managing marking information for associating the media information, mark information, and time width with each other, and first marking information transmitting means for transmitting the marking information to a server; The server receives the marking information from the client Second marking information transmitting means, second marking information managing means for storing the received marking information, and sharing marking information based on the plurality of pieces of marking information stored in the second marking information managing means. The invention is attained by a multimedia information processing apparatus comprising: a marking information calculating means for generating.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
A multimedia information processing apparatus according to an embodiment of the present invention will be described with reference to FIGS. First, the overall configuration of the multimedia information processing apparatus according to the present embodiment will be described with reference to FIG.
This multimedia information processing apparatus has a plurality of (three in FIG. 1) clients A, B, and C, and a server S. Each of the clients A, B, and C and the server S Connected through.
Each of the clients A, B, and C includes an MM (multimedia) information viewing unit MM, a marking unit 7, a mark definition unit 8, a marking information management unit 9, a read information management unit 10, and a marking operation. And an information transmission unit 11. In FIG. 1, the display of each functional unit of the clients B and C is omitted.
[0010]
The MM information viewing unit MM is a functional unit that mainly performs presentation of multimedia information by reproducing a plurality of pieces of media information in a temporal and spatial combination, and as shown in FIG. , A playback scenario management unit 2, a visual information playback unit 3, an audio information playback unit 4, a scenario interpretation unit 5, and a playback scenario calculation unit 6.
Returning to FIG. 1, the server S includes a marking information transmission unit 23, a marking information management unit 21, and a marking information calculation unit 22. The details of each of the functional units will be described later.
[0011]
Next, the operation of each of the clients A, B, and C in a stand-alone (single) manner and the functional units related to this operation will be described.
The media information management unit 1 stores each media content such as a voice 100, a text 101, a still image 102, a moving image 103, and an animation 104 as independent media.
The reproduction scenario management unit 2 stores a reproduction scenario file 200 that describes a temporal sequence, a spatial layout, and the like when reproducing each medium in a presentation. An example of the reproduction scenario file 200 will be described with reference to FIG. The playback scenario file 200 roughly includes a header section 200a and a body section 200b.
[0012]
The header section 200a describes the layout of windows used in a presentation executed based on the playback scenario file 200 for the number of windows (three in FIG. 3).
The body portion 200b describes which content (media) is to be reproduced at which timing. Specifically, the body part 200b has an execution start time 200c, a window number 200d, a medium 200e, and a playback time length 200f.
[0013]
In the execution start time 200c, a time at which the reproduction of the media is started is set. In the window number 200d, the number of the window in which the medium to be reproduced is a video medium is set, and if the medium to be reproduced is an audio medium, "audio" is set. In the medium 200e, an identification name of a medium to be reproduced is set. In the reproduction time length 200f, in the case of a medium such as a still image having no time axis, the length of time during which the medium is displayed is described. In the playback time length 200f, there is no need to describe anything when playing streaming media having a time axis such as a moving image / animation at a normal speed. When performing reproduction different from the normal speed, it is necessary to describe the total reproduction time. In the reproduction scenario file 200, by describing two or more media in the medium 200e for the same execution start time, it is possible to start the reproduction of two or more media at the same time.
[0014]
Here, the concept of the playback schedule (score) of the multimedia presentation based on the playback scenario file shown in FIG. 3 will be described using FIG. 4 and FIG. In FIG. 4, the horizontal axis indicates time, and the vertical axis indicates space (window number or audio) for reproduction, and each rectangle indicates each medium. FIG. 5 shows a state of the multimedia presentation at time t = tp.
According to FIGS. 4 and 5, at time t = tp, media a is played in window W1, media b is played in window W2, media c is played in window W3, and media d is played in audio. I understand.
[0015]
Next, a basic multimedia reproducing operation of the present multimedia information viewing apparatus will be described with reference to FIG. This operation is started when the user presses the play button PLAY of the presentation on the display screen shown in FIG.
First, the scenario interpreting unit 5 reads out the playback scenario 200 of the corresponding presentation from the playback scenario management unit 2 (step S1). Next, the scenario interpreting section 5 reads the header section 200a of the playback scenario 200 and acquires window layout information (step S2).
[0016]
Thereafter, the body part 200b of the scenario interpreting part 5 is read in order from the beginning, a medium to be reproduced at a predetermined execution start time is read from the media information managing part 1 (step S3), and it is detected whether or not the taken out medium is an audio medium. (Step S4). By this detection, when the medium is not an audio medium but a visual medium, that is, a text 101, a still image 102, a moving image 103, or an animation 104, the medium is visually recognized together with the layout information of a window for playing the medium. Output to the information reproducing unit 4. The visual information reproducing unit 4 creates a window based on the input window layout information, and reproduces the input media in the window (step S5).
On the other hand, when the medium read from the media information management unit 1 is the audio medium 100, the medium is output to the audio information reproduction unit 4. The audio information reproducing unit 4 reproduces audio from the speaker based on the input media (Step S6).
Then, the above processing (steps S3 to S6) is executed for the description of the body part 200b (step S7).
[0017]
Next, mark information associated with media included in a presentation will be described with reference to FIG. FIG. 7 shows an example in which mark information prepared as default (default) and mark information defined by the user are managed in one file (user definition file 201).
The user definition file 201 is stored in the mark definition section 8. The mark information included in the user definition file 201 includes a symbol (including sound information) that represents the mark information in a perceptible manner, a comment indicating the content of the mark information, link information (eg, URL) of related information, and a mark. It has a processing method (processing script) corresponding to the information, a person who defined the mark information, and the like.
[0018]
In the user definition file shown in FIG. 7, for example, mark information that is set by default and indicates that viewing and listening has been completed, a symbol has already been performed, and skip processing is to be performed is defined. Also, the mark information is set by default to indicate that it is an important part, and mark information with a symbol ◎ or a part that is set by the user (me) and should be reproduced slowly later, and the symbol Yes, mark information for performing slow play processing is also defined. The symbol indicates that the part is set by the user himself and is a common sense, the symbol is △, the mark information indicating that the fast play processing is performed, and the symbol indicates that the part is set by the user and should be considered carefully. Is an asterisk (*), and mark information for pausing is defined. The mark information can be defined by the user using the mark definition unit 8. This allows the user to customize and personalize the presentation as needed to create and view his own presentation.
[0019]
It is useful to define general-purpose mark information in advance. For example, if the mark information (symbol ◎) that indicates importance is defined and the mark information (symbol ◎) is added to important media that the author of the presentation wants to see, the media of the presentation The symbol について can be displayed for the medium associated with the mark information when the is played back, and the recipient can pay attention. In addition, it is possible to save time by picking up and playing back only a portion of the medium associated with the mark information.
[0020]
Next, an operation of associating the mark information with the media included in the presentation will be described.
If the user wants to associate the mark information with a specific medium during the execution of the presentation, the user designates the desired medium of the presentation being reproduced by the visual information reproducing unit 4 by using the marking unit 7. By doing so, the mark information can be associated with the mark information management unit 9 as described later. Mark information can be associated with audio media by instructing the audio media icon (icon I in FIG. 5) in the presentation window. The mark information to be associated can be selected by the marking unit 7 from a plurality of marks registered in the mark definition unit 8, and a plurality of different mark information can be simultaneously associated with the same medium.
[0021]
For example, when associating the mark information of the symbol ★, the symbol ★ of the mark information is selected on the screen by using the marking section 7, and the symbol is moved to a desired medium while the symbol is moved to a desired medium. The mouse may be clicked, and the mark information (symbol ★) can be associated with the time of the medium. When associating the mark information with a desired time width of a desired medium, it can be realized by, for example, clicking down the mouse of the marking unit 7 for a desired time.
[0022]
When a plurality of semantic contents are simultaneously associated with the same medium, it is possible to associate a plurality of mark information or add another definition of semantic contents to already associated mark information. is there. When associating a plurality of mark information, the presentation may be rewound and played back once, and then the other mark information may be associated again.In the case where another definition of the meaning content is added to the already associated mark information The mark definition unit 8 may define a plurality of meaning contents in the mark information. In addition, the user can redefine the definition of the mark information once associated by the mark definition unit 8, so that the meaning of the mark information can be changed collectively. For example, if the definition of a process is deleted when the defined process is no longer necessary, the process is not performed in a portion associated with the mark information of the process. According to this, it is not necessary to change the association of the mark information one by one.
[0023]
Next, an example of a mark information file for managing mark information in association with a predetermined time of a medium will be described with reference to FIG. In this embodiment, a markup information file of a two-dimensional map is used so that the relation with the presentation playback scenario can be easily understood.
The marking information file has the same number of layers as the number of the mark information, and each layer stores the association of each mark information. Each layer is a two-dimensional map in which the horizontal axis represents time and the vertical axis represents media. The sampling interval of time on the horizontal axis may be an arbitrary interval (for example, in units of 1 second). In FIG. 8, each layer has one bit of information in units of one second for each medium. In the initial state, all bits of each layer are in a state of “0”.
[0024]
As shown in FIG. 9, each layer of the marking information file is set with either a Public attribute indicating that the layer may be made public or a Private attribute indicating that the layer is not allowed to be made public. I have. Note that the user can use the mark definition unit 8 to define the attribute of “Public” or “Private” for each layer.
[0025]
Next, an operation of associating the mark information will be described.
The marking information management unit 9 sets the corresponding media and time bits to “1” based on the instruction from the marking unit 7. For example, assuming that the user designates a mark from time 2 seconds to 10 seconds of the medium B by the marking unit 7, as shown in FIG. All bits up to 10 are set to "1".
By managing the mark information in this way, it is possible to easily perform the calculation when performing the processing defined in the mark information as described later.
[0026]
Next, a description will be given of an operation of associating mark information (unread read mark information) indicating read with a medium that has already been reproduced.
The operation of associating the unread read mark information with the medium is performed when the user turns on an option to attach an unread read mark and starts playback of the presentation.
In this operation, the basic multimedia reproducing operation shown in FIG. 6 described above is performed, and the scenario interpreting unit 5 sequentially reads out the corresponding media according to the reproducing scenario 200, and executes the visual information reproducing unit 4 and the audio information reproducing unit 4. Plays the media. Along with such an operation, the read information management unit 10 detects which part of each medium has been reproduced as shown in FIG. 10, and detects the media and time detected by the layer of the unread read mark information of the mark information file. Is set to "1".
[0027]
Next, the presentation playback operation when the user interrupts the presentation playback at time tc in FIG. 10 and then gives an instruction to play the subsequent presentation will be described.
When the user instructs the playback scenario calculation unit 6 to generate a scenario of only an unread portion, the playback scenario calculation unit 6 reads out the marking information file from the marking information management unit 9, and reads a layer of unread read mark information from the file. To create a playback scenario that includes only the unread portion.
[0028]
Specifically, the playback scenario calculation unit 6 develops the scenario file of the corresponding presentation into a score, and obtains a two-dimensional map of each medium and the playback time of the medium based on the score. Next, a layer of unread read mark information is called from the mark information file. Then, the former and the latter are ANDed and only the read portion is extracted. Next, the playback scenario calculation unit 6 extracts a process (a skip (Skip) process that does not perform media playback) included in the unread read mark information from the user definition file 201 of the mark definition unit 8 and writes the process into the read portion. A score for performing a skip process is obtained, and the score is inversely converted into a scenario.
According to the above operation, a scenario in which the read portion is skipped and the other portions are left as nothing, that is, a scenario file in which only the unread portion is reproduced is generated.
When the presentation playback is performed using the created playback scenario file as shown in FIG. 6, the presentation from time tc is played back.
[0029]
Next, an operation when a presentation is reproduced based on the association of a plurality of mark information will be described with reference to FIG.
Here, the marking information file of the marking information management unit 9 includes layers of important mark information (symbol ◎) assigned by the author and slow reproduction mark information (symbol ★) assigned by the user to perform slow reproduction. It is assumed that each piece of mark information is associated with a score in normal reproduction as shown in FIG. Further, it is assumed that, in the user definition file 201, processing is not defined for important mark information, and slow reproduction processing is defined for slow reproduction mark information.
[0030]
When the user instructs to play back the presentation, and further inputs (On, Off) whether or not each mark information whose layer is managed by the markup information management unit 9 is effective for playing back the presentation (Step). (S11), (On, Off) for each mark information is sent to the reproduction scenario calculation unit 6 (step S12). In this example, it is assumed that the slow reproduction mark information and the important mark information are set to On.
[0031]
Next, the reproduction scenario calculation unit 6 initializes the two-dimensional map to be written (step S13), reads out the mark information in which On is set from the user definition file 201 of the mark definition unit 8 (step S14), and converts the mark information into the mark information. It is detected whether a process is defined (step S15). As a result, when the process is not defined, the reproduction scenario calculation unit 6 adds a process of displaying a symbol at a position on the two-dimensional map corresponding to the bit of the layer in which “1” is set (step). S16). As a result, processing for displaying a symbol at a position on the two-dimensional map corresponding to the bit of the layer of the important mark information in which “1” is set is added. On the other hand, when the processing is defined, the reproduction scenario calculation unit 6 reflects the defined processing on the two-dimensional map (Step S17). Thereby, the portion corresponding to the bit of the layer of the slow reproduction mark information corresponding to "1" is reflected on the two-dimensional map so that the time axis is extended and reproduced.
[0032]
The above processing (steps S14 to S17) is performed for all the mark information for which On is set (step S18). As a result, a two-dimensional map in which the association of a plurality of pieces of mark information is added as shown in FIG. 13 is created. In FIG. 13, ◎ indicates that processing for displaying a symbol is performed, and ★ indicates that slow reproduction is performed. Thereafter, the reproduction scenario calculation unit 6 creates a score based on the two-dimensional map. That is, a process of displaying a symbol in a portion corresponding to ◎ of the two-dimensional map is performed, and a score for performing slow reproduction in a portion corresponding to ★ is created. As a result, a score as shown in FIG. 14 is created in which the time axis associated with the slow reproduction mark information is extended with respect to the score shown in FIG. Next, a playback scenario file is generated based on the score created by the playback scenario calculation unit 6 (Step S19). Here, in the reproduction of the part associated with the important mark information, the reproduction scenario file is described so that the symbol ◎ is displayed in the window during the reproduction of the part.
[0033]
When the scenario interpretation unit 5 performs a presentation based on the playback scenario file generated as described above, slow playback is performed in a portion (time) associated with the slow playback mark information, and the important mark information is associated with the slow playback mark information. The symbol ◎ is displayed in the display window of the corresponding media in the presentation in the portion indicated by the symbol.
At this time, it is preferable to display the time for displaying the symbol ◎ corresponding to the important mark information longer than the time to which the important mark information is associated, and particularly to display the symbol ◎ before the time to which the important mark information is associated. It is desirable. This is because the user associates the important mark information by the marking unit 7 during the reproduction of the presentation, and there is a time lapse between finding the important part during the reproduction and actually associating the important part. Because there is.
[0034]
In the above processing, there may be a case where different mark information is attached to the same part on the score, and the processing of the mark information may not be compatible. The processing may be performed based on the priority. For example, it is easy to change the order in which the operations are performed to give priority to the processing of the mark information.
[0035]
Next, a process of detecting an unread medium when a new medium is added in the read range of the scenario file will be described.
First, the playback scenario calculation unit 6 converts the playback scenario file into a score, extracts a layer of unread read mark information from the marking information management unit 9, and generates a two-dimensional map corresponding to the score based on the layer. I do. Next, the reproduction scenario calculation unit 6 uses the two-dimensional map based on the unread read mark information as a mask and superimposes it on the score of the reproduction scenario to detect a portion that is not masked. FIG. 15 shows a state in which the scores of the reproduction scenarios are superimposed using a two-dimensional map based on the unread read mark information as a mask. As shown in FIG. 15, the unmasked portions are newly added contents or unread contents. As described above, a newly added medium can be easily detected, and the added medium can be reproduced without any trouble.
[0036]
In this way, the user can freely associate mark information such as annotation, memo writing, media processing, etc., with a specific part in a complex presentation composed of a plurality of media. In addition, it is possible to manage the read / unread details in detail, and to easily understand important parts of the presentation, so that the presentation can be viewed efficiently.
[0037]
Next, the operation of transmitting the marking information between the clients A, B, and C and the server S will be described with reference to FIG.
The marking information transmission unit 11 transmits the marking information from the marking information management unit 9 when the user finishes watching the presentation or when a specific event occurs, such as when the user gives an annotation. Read (step S21). Next, the marking information transmission unit 11 interprets the attribute set for each layer in the marking information (step S22), and if the attribute is Public, converts the layer into a transmission file (tmp). On the other hand, if the attribute is Private, nothing is done (steps S23 and S24). Then, the above processing steps S22 to S24 are performed for all layers in the marking information file (step S25).
[0038]
Next, the marking information transmission unit 11 writes a client ID such as an identifier of the client or a user ID operating the client in a file for transmission (step S26), and further writes the mark stored in the mark definition unit 8. The information is written in a file for transmission (step S27). FIG. 17 shows a file for transmission at this time. Thereafter, the marking information transmitting unit 11 establishes a connection with the marking information transmitting unit 23 of the server S so that data can be transmitted and received on the communication protocol, and the transmission file is marked. 23 (step S28). The marking information transmitting unit 23 receives the files for transmission from the marking information transmitting units 11 of the plurality of clients A, B, and C connected via the network N, and sends the files to the mark information managing unit 21 of the server S. To memorize.
[0039]
In the present embodiment, the system automatically sends the marking information or the like without the user's knowledge. However, for example, a marking information transmission button or the like is provided, and the user explicitly specifies the button. It is effective to transmit only when instructed by the user in consideration of protection of the privacy of the user. Further, in the present embodiment, the client ID is transmitted to the server S, but the client ID does not always need to be transmitted. For example, when respecting the privacy of the user, the client ID may not be transmitted together with the marking information. If the marking information is transmitted to the server S regardless of the user's intention, it is better not to transmit the client ID.
[0040]
Next, an operation of the server S for generating shared marking information from the marking information from the clients A, B, and C will be described with reference to FIG. Shared markup information is integrated information about how multiple users who have viewed a shared presentation with multiple clients have interacted with the presentation, who has watched which part of the presentation, This is information obtained by integrating information such as whether a part is annotated or where an important mark is added for a plurality of clients (users).
Here, a case will be described in which each client manages the association between the read / unread mark information, the important mark information, and the memo mark information.
In the present embodiment, this operation is started when the marking information management unit 21 of the server S receives the marking information from all the clients (the number of clients is N). Note that the administrator of the server S may explicitly start the operation.
[0041]
When the N-th mark information arrives from the client, the mark-information manager 21 notifies the mark-information calculator 22 that the N-th mark information has arrived. The marking information calculation unit 22 reads out sets of N pieces of marking information and the like from the marking information management unit 21 (step S31). Next, the marking information calculation unit 22 prepares a map for putting together the layers of the same mark information for each of the pieces of mark information whose layers are included in the marking information (step S32), and corresponds to the same client ID. Each layer of the attached marking information is written in the corresponding map (steps S33, S34), and the same processing (steps S33, S34) is performed for the marking information associated with another client ID. (Step S35).
As a result, as shown in FIG. 19, a map in which N layers related to the same mark information are combined is composed of already / unread mark information (existing / unread mark in the figure) and important mark information (（mark in the figure) ) And memo mark information (marks in the figure) are created for each mark information.
[0042]
Next, the marking information calculation unit 22 analyzes each of the M maps based on the mark definition information, and integrates information of N layers in the maps. Analysis is performed on all layers of the map in order from the beginning of the time axis, and a reproduction scenario as shown in FIG. 3 is created.
Specifically, the marking information calculation unit 22 reads the mark information corresponding to each client ID from the marking information management unit 21 (Step S36). Next, the bits of the map layer are read in order from time t = 0 (step S37), the mark information is associated (the bit is “1”), and the mark information of the client ID associated with the layer is further added. , The process is written in the reproduction scenario format (step S38), and such a process is performed for each of the N layers of the map (step S39), and the time axis of the map ends. The process is performed until the process is completed (step S40).
Next, the marking information calculation unit 22 binds (integrates) the playback scenarios created from each of the M maps to obtain a shared playback scenario (shared marking information) (step S41), and manages the shared marking information. The information is stored in the unit 21.
[0043]
According to the above processing, for example, the map information on the important mark information (◎ mark information)
[0044]
[Table 1]

[0045]
, And the map information regarding the memo mark information (★ mark)
[0046]
[Table 2]

[0047]
, The shared marking information shown in FIG. 20 is obtained.
In the above-described embodiment, the shared marking information in which the marking information relating to the plurality of mark information is integrated is determined. However, the shared marking information in which the marking information relating to any one of the mark information is integrated is determined. Is also good.
[0048]
Next, the operation when the presentation is reproduced in the clients A, B, and C based on the shared mark information will be described.
The shared mark information created in the server S and stored in the shared mark information management unit 21 is transmitted to each client at a predetermined timing by the mark information transmission unit 23 of the server S. Accordingly, each of the clients A, B, and C has a scenario file of the shared mark information transmitted from the server S in addition to the original playback scenario file for performing the presentation.
[0049]
In each client, the playback scenario calculation unit 6 binds both scenario files, and the scenario interpretation unit 5 responds to the plurality of mark information based on the new playback scenario bound, the content group, and the mark information. The presentation is executed by the same operation as the reproduction operation of the presentation performed based on the attachment.
According to this, as shown in FIG. 21, a presentation is executed in which mark information M associated with a plurality of users is displayed at an appropriate timing and at an appropriate place.
Therefore, the user can grasp the mark information associated with a plurality of users during the presentation.
[0050]
【The invention's effect】
As described above, according to the present invention, a user can appropriately associate mark information such as annotation, memo writing, media processing, etc., with a complex presentation composed of a plurality of media, and furthermore, mark information. Can be shared on the network. Thereby, the association of the mark information with the presentation can be easily shared without increasing the user's work load, and a plurality of users can quickly and accurately use the association of the mark information.
[Brief description of the drawings]
FIG. 1 is a diagram showing an overall configuration of a multimedia information processing apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing a configuration of an MM information viewing unit of the multimedia information processing apparatus according to one embodiment of the present invention.
FIG. 3 is a diagram showing an example of a playback scenario file according to an embodiment of the present invention.
FIG. 4 is a diagram showing a score of a presentation according to an embodiment of the present invention.
FIG. 5 is a diagram showing a display example of a multimedia presentation according to an embodiment of the present invention.
FIG. 6 is a flowchart of a basic multimedia reproducing operation according to an embodiment of the present invention.
FIG. 7 is a diagram showing a user definition file according to an embodiment of the present invention.
FIG. 8 is a diagram showing a marking information file according to an embodiment of the present invention.
FIG. 9 is a diagram illustrating a layer to which an attribute is set according to an embodiment of the present invention.
FIG. 10 is a diagram showing a score based on the association of unread and read mark information according to an embodiment of the present invention.
FIG. 11 is a flowchart of a calculation operation of a reproduction scenario according to an embodiment of the present invention.
FIG. 12 is a diagram in which a score of a playback scenario file is associated with important mark information and slow playback mark information according to an embodiment of the present invention.
FIG. 13 is a diagram showing a two-dimensional map calculated based on the association between important mark information and slow reproduction mark information according to one embodiment of the present invention.
FIG. 14 is a diagram showing scores obtained by calculation based on the association between important mark information and slow reproduction mark information according to one embodiment of the present invention.
FIG. 15 is a diagram showing a state in which a score based on an updated scenario and a score based on association of unread read mark information according to an embodiment of the present invention are superimposed.
FIG. 16 is a flowchart of an operation of transmitting marking information according to an embodiment of the present invention.
FIG. 17 shows a file for transmitting marking information according to an embodiment of the present invention.
FIG. 18 is a flowchart of an arithmetic operation for creating shared marking information from a plurality of pieces of marking information according to an embodiment of the present invention.
FIG. 19 is a diagram showing a map in which N layers related to the same mark information are collected according to the embodiment of the present invention.
FIG. 20 is a diagram showing an example of shared marking information according to an embodiment of the present invention.
FIG. 21 is a diagram showing a display example of a presentation using shared markup information according to an embodiment of the present invention.
[Explanation of symbols]
A, B, C client
N network
S server
MM MM information viewer
1 Media Information Management Department
2 Reproduction scenario management unit
3 Visual information playback unit
4 Audio information playback unit
5 Scenario interpreter
6 Playback scenario calculation section
7 Marking part
8 Mark definition section
9 Marking Information Management Department
10 Read Information Management Department
11 Mark information transmission section
21 Mark Information Transmission Department
22 Marking Information Management Department
23 Marking information calculation unit
100 audio media
101 text media
102 Still image
103 videos
104 Animation
200 Playback scenario file
201 User definition file

Claims

サーバと、前記サーバにネットワークを介して接続された複数のクライアントとを有するマルチメディア情報処理装置において、
前記各クライアントは、
時間軸を持ったストリームメディアを含む複数のメディア情報を時間的空間的に組み合わせて再生してプレゼンテーションを実行するマルチメディア情報視聴手段と、
再生されている前記メディア情報に対して、前記メディア情報に関連するマーク情報を対応付けるプレゼンテーションにおける時間巾を指定するマーク付け手段と、
前記再生されているメディア情報と、前記マーク情報と、前記時間巾とを対応付けるマーク付け情報を管理する第１マーク付け情報管理手段と、
前記マーク付け情報をサーバへ送信する第１マーク付け情報伝達手段とを備え、
前記サーバは、
前記マーク付け情報を前記クライアントから受信する第２マーク付け情報伝達手段と、
受信した前記マーク付け情報を記憶する第２マーク付け情報管理手段と、
前記第２マーク付け情報管理手段に記憶された複数の前記マーク付け情報に基づいて共有マーク付け情報を生成するマーク付け情報演算手段とを備えることを特徴とするマルチメディア情報処理装置。In a multimedia information processing apparatus having a server and a plurality of clients connected to the server via a network,
Each of the clients,
Multimedia information viewing means for executing a presentation by combining and reproducing a plurality of media information including stream media having a time axis in a temporal and spatial manner;
Marking means for specifying a duration in a presentation in which mark information associated with the media information is associated with the media information being reproduced;
First markup information management means for managing markup information for associating the reproduced media information, the mark information, and the time width;
First marking information transmitting means for transmitting the marking information to a server,
The server comprises:
Second marking information transmitting means for receiving the marking information from the client;
Second marking information management means for storing the received marking information;
A multimedia information processing apparatus, comprising: marking information calculation means for generating shared marking information based on the plurality of pieces of marking information stored in the second marking information management means.

請求項１記載のマルチメディア情報処理装置において、
前記マーク付け情報演算手段は、前記マーク付け情報の中の所定のマーク情報に関する前記マーク付け情報に基づいて前記共有マーク付け情報を生成することを特徴とするマルチメディア情報処理装置。The multimedia information processing apparatus according to claim 1,
The multimedia information processing apparatus according to claim 1, wherein the marking information calculating means generates the shared marking information based on the marking information relating to predetermined mark information in the marking information.

請求項１または２に記載のマルチメディア情報処理装置において、
前記第１マーク付け情報管理手段に記憶される前記マーク付け情報には、前記サーバに対する公開可否の属性情報が設定されており、
前記第１マーク情報伝達手段は前記属性情報に応じて前記マーク付け情報の送信を制御することを特徴とするマルチメディア情報処理装置。The multimedia information processing apparatus according to claim 1 or 2,
The mark information stored in the first mark information management means has attribute information indicating whether the server can be opened or closed.
The multimedia information processing apparatus according to claim 1, wherein the first mark information transmitting unit controls transmission of the mark information in accordance with the attribute information.

請求項１乃至３のいずれかに記載のマルチメディア情報処理装置において、
前記マルチメディア情報視聴手段は、前記プレゼンテーションの実行中に前記共有マーク付け情報に基づいて前記マーク情報を表示することを特徴とするマルチメディア情報処理装置。The multimedia information processing apparatus according to any one of claims 1 to 3,
The multimedia information processing apparatus, wherein the multimedia information viewing means displays the mark information based on the shared mark information while the presentation is being executed.

サーバと、前記サーバにネットワークを介して接続された複数のクライアントとを有するマルチメディア情報処理方法において、
前記各クライアントは、
時間軸を持ったストリームメディアを含む複数のメディア情報を時間的空間的に組み合わせて再生してプレゼンテーションを実行するマルチメディア情報視聴ステップと、
再生されている前記メディア情報に対して、前記メディア情報に関連するマーク情報を対応付けるプレゼンテーションにおける時間巾を指定するマーク付けステップと、
前記再生されているメディア情報と、前記マーク情報と、前記時間巾とを対応付けるマーク付け情報を管理する第１マーク付け情報管理ステップと、
前記マーク付け情報をサーバへ送信する第１マーク付け情報伝達ステップとを備え、
前記サーバは、
前記マーク付け情報を前記クライアントから受信する第２マーク付け情報伝達ステップと、
受信した前記マーク付け情報を記憶する第２マーク付け情報管理ステップと、
前記第２マーク付け情報管理ステップで記憶された複数の前記マーク付け情報に基づいて共有マーク付け情報を生成するマーク付け情報演算ステップとを備えることを特徴とするマルチメディア情報処理方法。In a multimedia information processing method having a server and a plurality of clients connected to the server via a network,
Each of the clients,
A multimedia information viewing step of performing a presentation by combining and reproducing a plurality of media information including stream media having a time axis in a temporal and spatial manner,
A marking step for designating a duration in a presentation in which mark information associated with the media information is associated with the media information being reproduced;
A first marking information managing step of managing marking information for associating the reproduced media information, the mark information, and the time width;
First marking information transmitting step of transmitting the marking information to a server,
The server comprises:
A second marking information transmitting step of receiving the marking information from the client;
A second marking information management step of storing the received marking information;
A marking information calculation step of generating shared marking information based on the plurality of pieces of marking information stored in the second marking information management step.