JP4088131B2 - 同期コンテンツ情報生成プログラム、同期コンテンツ情報生成装置および同期コンテンツ情報生成方法 - Google Patents
同期コンテンツ情報生成プログラム、同期コンテンツ情報生成装置および同期コンテンツ情報生成方法 Download PDFInfo
- Publication number
- JP4088131B2 JP4088131B2 JP2002295438A JP2002295438A JP4088131B2 JP 4088131 B2 JP4088131 B2 JP 4088131B2 JP 2002295438 A JP2002295438 A JP 2002295438A JP 2002295438 A JP2002295438 A JP 2002295438A JP 4088131 B2 JP4088131 B2 JP 4088131B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- document
- content information
- audio
- keyword
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、企業内での情報共有、教育分野、エンターテイメント分野などにおいて、音声・映像情報と電子化された文書情報とを同期させた同期コンテンツ情報の生成に用いられる同期コンテンツ情報生成プログラム、同期コンテンツ情報生成装置および同期コンテンツ情報生成方法に関するものであり、特に、音声・映像情報と文書情報とを時間的に同期表示するための同期コンテンツ情報をプロジェクタ等の特別な機材を必要とすることなく生成することができる同期コンテンツ情報生成プログラム、同期コンテンツ情報生成装置および同期コンテンツ情報生成方法に関するものである。
【０００２】
近年では、サーバ上のストレージコストの低減とネットワークの広帯域化により、デジタル化された音声・映像情報（ビデオ情報）の蓄積と配信が安価かつ簡便に行えるようになってきている。
【０００３】
このことから、企業内の会議においては、配布資料や議事録などのテキスト主体の関連資料で会議進行を行うだけでなく、ビデオカメラ装置を併用して音声・映像情報を配信することが可能となっている。従って、企業においては、音声・映像情報と関連資料とを関連付けて表示することでリアルタイムに会議に参加できなかったメンバーにも詳細な内容を伝えることが可能となっている。
【０００４】
【従来の技術】
図２３は、従来の同期コンテンツ情報生成システムの構成を示すブロック図である。この同期コンテンツ情報生成システムは、例えば、会議で用いられ、出席者に配布された複数ページからなる文書（関連資料）と、該文書を用いたプレゼンテーションの様子が録画された音声・映像情報とを同期させた同期コンテンツ情報を生成するシステムである。
【０００５】
ビデオカメラ装置１０は、文書を用いたプレゼンテーションの様子を録画する装置であり、音声および映像を音声・映像情報１１として同期コンテンツ情報生成装置３０へ出力する。プロジェクタ２０は、プレゼンタの操作に従って、電子化文書情報２１をスクリーンにページ単位で拡大表示する装置である。電子化文書情報２１は、会議出席者に配布された文書が電子化されたものである。
【０００６】
また、プロジェクタ２０は、プレゼンタの操作により、電子化文書情報２１のページが次のページに遷移した時刻を同期情報２２として、同期コンテンツ情報生成装置３０へ出力する。つまり、プロジェクタ２０からは、プロジェクタに表示されているページが次ページに遷移する毎に、ページの区切りを表す同期情報２２が出力される。
【０００７】
すなわち、同期情報２２は、音声・映像情報１１を再生した場合の時間軸上で、電子化文書情報２１の各ページがどの時間帯に同期（対応）しているかを表す情報である。
【０００８】
同期コンテンツ情報生成装置３０は、音声・映像情報１１、電子化文書情報２１および同期情報２２に基づいて、同期コンテンツ情報３３を生成する装置である。データベース３１には、音声・映像情報１１、電子化文書情報２１および同期情報２２が格納されている。
【０００９】
同期コンテンツ情報生成部３２は、データベース３１から音声・映像情報１１、電子化文書情報２１および同期情報２２を取得し、同期コンテンツ情報３３を生成する。
【００１０】
この同期コンテンツ情報３３は、ＳＭＩＬ(Synchronized Multimedia Integration Language)等のシナリオ言語や、Java(R)Scriptなどのスクリプト言語等によって記述されている。また、同期コンテンツ情報３３は、電子化文書情報２１の各ページと、音声・映像情報１１の再生時間軸上での時間帯とを同期情報２２によって対応付けた情報である。
【００１１】
再生装置４０は、ＳＭＩＬ再生ソフトなどのブラウザを備えており、同期コンテンツ情報３３を再生するための装置である。同期コンテンツ情報３３は、会議に出席できなかった視聴者により、視聴される。この再生装置４０においては、音声・映像情報１１の再生音声・映像と、これらに同期した電子化文書情報２１のページとが表示される。
【００１２】
【発明が解決しようとする課題】
ところで、前述したように、従来の同期コンテンツ情報生成システムにおいては、▲１▼プレゼンテーション時に電子化文書情報２１がなければいけない（後日入手では不可）、▲２▼音声・映像情報１１の再生時間軸と、電子化文書情報２１の各ページとの対応関係を表す同期情報２２を出力する特別なプロジェクタ２０が必要、▲３▼プロジェクタ２０を用いたプレゼンテーションにしか対応できない（プレゼンテーション開始時点で電子化されておらず紙媒体のみで作成された資料には対応できない）などの問題点があった。
【００１３】
本発明は、上記に鑑みてなされたもので、音声・映像情報と文書情報とを時間的に同期表示するための同期コンテンツ情報をプロジェクタ等の特別な機材を必要とすることなく生成することができる同期コンテンツ情報生成プログラム、同期コンテンツ情報生成装置および同期コンテンツ情報生成方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、本発明は、コンピュータを、文書が電子化された文書情報から特徴的なキーワードを抽出するキーワード抽出手段、前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出された前記キーワードが出現した時刻順の出現キーワード分布を計測する出現キーワード分布計測手段、前記出現キーワード分布に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段として機能させるための同期コンテンツ情報生成プログラムである。
【００１５】
また、本発明は、文書が電子化された文書情報から特徴的なキーワードを抽出するキーワード抽出手段と、前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出された前記キーワードが出現した時刻順の出現キーワード分布を計測する出現キーワード分布計測手段と、前記出現キーワード分布に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段とを備えたことを特徴とする。
【００１６】
また、本発明は、文書が電子化された文書情報から特徴的なキーワードを抽出するキーワード抽出工程と、前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出された前記キーワードが出現した時刻順の出現キーワード分布を計測する出現キーワード分布計測工程と、前記出現キーワード分布に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成工程とを含むことを特徴とする。
【００１７】
かかる発明によれば、文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出されたキーワードが出現した時刻順の出現キーワード分布を計測し、音声・映像情報と時間的な同期がとられた状態で文書情報を表示させるための同期コンテンツ情報を生成することとしたので、プロジェクタ等の特別な機材を必要とすることなく同期コンテンツ情報を生成することができる。
【００１８】
また、本発明は、コンピュータを、文書が電子化された文書情報を複数の文書ブロックに分割する文書ブロック分割手段、前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、音声情報を複数の連続音声区間に分割する音声分割手段、前記複数の連続音声区間を前記複数の文書ブロックに分配する分配手段、前記分配の結果に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段、として機能させるための同期コンテンツ情報生成プログラムである。
【００１９】
また、本発明は、文書が電子化された文書情報を複数の文書ブロックに分割する文書ブロック分割手段と、前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、音声情報を複数の連続音声区間に分割する音声分割手段と、前記複数の連続音声区間を前記複数の文書ブロックに分配する分配手段と、前記分配の結果に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段と、を備えたことを特徴とする。
【００２０】
かかる本発明によれば、文書が電子化された文書情報を複数の文書ブロックに分割するとともに、文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、音声情報を複数の連続音声区間に分割した後、複数の連続音声区間を複数の文書ブロックに分配した結果に基づいて、音声・映像情報と時間的な同期がとられた状態で文書情報を表示させるための同期コンテンツ情報を生成することとしたので、プロジェクタ等の特別な機材を必要とすることなく同期コンテンツ情報を生成することができる。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明にかかる同期コンテンツ情報生成プログラム、同期コンテンツ情報生成装置および同期コンテンツ情報生成方法の実施の形態１および２について詳細に説明する。
【００２２】
（実施の形態１）
図１は、本発明にかかる実施の形態１の構成を示すブロック図である。この図には、ビデオカメラ装置１００、ネットワーク２００、文書作成装置３００、再生装置４００および同期コンテンツ情報生成装置５００から構成された同期コンテンツ情報生成システムが図示されている。
【００２３】
この同期コンテンツ情報生成システムは、従来のプロジェクタ２０（図２３参照）等の特別な機材を必要とすることなく、会議で用いられる複数ページからなる文書情報と、該文書を用いたプレゼンテーションの様子が録画された音声・映像情報とを同期させた同期コンテンツ情報を、プレゼンタの音声認識と文書に含まれるキーワードの解析とに基づいて生成するシステムである。
【００２４】
ビデオカメラ装置１００は、文書を用いたプレゼンテーションの様子を録画する装置である。このビデオカメラ装置１００において、通信部１０１は、ネットワーク２００に接続されており、所定の通信プロトコルに従って、同期コンテンツ情報生成装置５００との間の通信を制御する。
【００２５】
カメラ１０２は、プレゼンテーションの様子を撮像し、映像情報を出力する。マイクロフォン１０３は、プレゼンタの音声を音声情報に変換する。符号化部１０４は、カメラ１０２からの映像情報をＭＰＥＧ（Motion Picture Experts Group）４等のビデオ圧縮形式に変換するとともに、マイクロフォン１０３からの音声情報をＭＰ３（MPEG Audio Layer-3）等のオーディオ圧縮形式に変換し、音声・映像情報として同期コンテンツ情報生成装置５００へ出力する。
【００２６】
なお、ビデオカメラ装置１００からは、リアルタイムで、または会議終了後に一括して、音声・映像情報が同期コンテンツ情報生成装置５００へ出力される。
【００２７】
文書作成装置３００は、ワードプロセッサや作図装置として機能し、プレゼンテーション用の（電子化）文書を作成する装置であり、文書情報を同期コンテンツ情報生成装置５００へ出力する。入力部３０１は、キーボード、マウス等である。表示部３０２は、文書の編集画面等を表示するディスプレイである。
【００２８】
ここで、実施の形態１では、プレゼンテーションの当日までに文書作成装置３００で文書情報を作成する場合と、手書きの文書を用いてプレゼンテーションを実施した後、この手書き文書を文書作成装置３００で電子化し、文書情報を作成する場合という２つのケースのいずれにおいても同期コンテンツ情報の生成が可能とされている。
【００２９】
再生装置４００は、ＳＭＩＬ再生ソフトなどのブラウザを備えており、同期コンテンツ情報生成装置５００で生成された同期コンテンツ情報（音声情報、映像情報および文書情報）を再生するための装置であり、入力部４０１および表示部４０２を備えている。
【００３０】
同期コンテンツ情報は、会議に出席できなかった視聴者により、視聴される。この再生装置４００の表示部４０２には、再生画面フォーマット６００（図６参照）に従って、映像およびページ単位（ブロック単位でも可）の文書の双方が時間的に同期がとられた状態で表示される。
【００３１】
同期コンテンツ情報生成装置５００は、文書情報データベース５２０に格納された文書情報（図２参照）、音声・映像情報データベース５３０に格納された音声・映像情報（図３参照）に基づいて同期情報を生成した後、同期コンテンツ情報を生成する装置である。
【００３２】
同期情報は、文書情報の各ページと、音声・映像情報の再生時間軸上での時間帯との対応関係を定義付ける情報である。同期コンテンツ情報は、文書情報の各ページと、音声・映像情報の再生時間軸上での時間帯とを同期情報によって対応付けた情報である。
【００３３】
この同期コンテンツ情報生成装置５００において、通信部５０１は、ネットワーク２００に接続されており、所定の通信プロトコルに従って、ビデオカメラ装置１００、文書作成装置３００および再生装置４００との間の通信を制御する。
【００３４】
制御部５０２は、装置各部を制御する。例えば、制御部５０２は、データベース制御を行う。具体的には、制御部５０２は、ビデオカメラ装置１００からの音声・映像情報を音声・映像情報データベース５３０に格納する。
【００３５】
また、制御部５０２は、文書作成装置３００からの文書情報を文書情報データベース５２０に格納する。また、制御部５０２は、後述する同期コンテンツ情報生成部５１０で生成された同期コンテンツ情報を同期コンテンツ情報データベース５４０に格納する。
【００３６】
同期情報生成部５０３は、音声・映像情報データベース５３０から取得した音声・映像情報と、文書情報データベース５２０から取得した文書情報とを解析し、上述した同期情報を生成する。同期情報は、音声・映像情報を再生した場合の時間軸上で、文書情報の各ページ（または各ブロック）がどの時間帯に同期（対応）しているかを表す情報である。
【００３７】
キーワード抽出部５０４は、形態素解析部５０５、統計量解析部５０６および重み算出部５０７から構成されており、文書情報データベース５２０から取得した文書情報の各ページのテキストについて形態素解析を実行し、ページ単位で固有名詞をキーワードとして抽出する。
【００３８】
形態素解析部５０５は、文書情報に対して形態素解析を実行する。統計量解析部５０６は、キーワード毎に各ページ中の出現回数を計測し、ページ毎の出現回数平均等の統計量を解析する。重み算出部５０７は、統計量を元にして後述する重み係数配列を算出する。
【００３９】
音声解析部５０８は、キーワード抽出部５０４で抽出された（文書）キーワードの配列をキーとして、音声・映像情報データベース５３０から取得した音声・映像情報に含まれる音声情報に関して音声解析した結果のうち、上記（文書）キーワードに対応する（音声）キーワードの出現時刻の配列を求める。
【００４０】
同期情報解析部５０９は、上述したキーワードの配列、出現時刻の配列等から文書情報の各ページの表示時刻の配列を同期情報として求める。同期コンテンツ情報生成部５１０は、文書情報、音声・映像情報および同期情報から、ＳＭＩＬ等によって記述された同期コンテンツ情報（図５参照）を生成する。同期コンテンツ情報編集部５１１は、同期コンテンツ情報生成部５１０で生成された同期コンテンツ情報を編集する機能を備えている。
【００４１】
図２は、図１に示した文書情報データベース５２０に格納される文書情報５２１の構造を示す図である。この文書情報５２１は、文書作成装置３００から出力される情報である。文書情報５２１において、文書情報ＩＤ５２２は、当該文書を識別するための識別子である。この文書のページ数は、Ｍである。プロジェクトＩＤ５２３は、上記文書が用いられるプロジェクトを識別するための識別子である。
【００４２】
文書情報本体５２４は、Ｍページ分の文書情報であり、１ページ情報５２５1〜Ｍページ情報５２５M から構成されている。１ページ情報５２５1 は、１ページ目の文書情報であり、レイアウト情報５２６1 、テキスト情報５２７1 および画像情報５２８1 から構成されている。
【００４３】
レイアウト情報５２６1 は、当該ページにおけるテキスト、画像のレイアウトを指定するための情報である。テキスト情報５２７1 は、当該ページに掲載されたテキストの情報であり、前述したキーワード抽出の対象とされる。画像情報５２８1 は、当該ページに掲載された画像の情報である。
【００４４】
図３は、図１に示した音声・映像情報データベース５３０に格納される音声・映像情報５３１の構造を示す図である。この音声・映像情報５３１は、ビデオカメラ装置１００から出力される情報である。音声・映像情報５３１において、音声・映像情報ＩＤ５３２は、当該音声・映像情報を識別するための識別子である。
【００４５】
プロジェクトＩＤ５３３は、プロジェクトＩＤ５２３（図２参照）と同義である。音声・映像情報本体５３４は、音声・映像情報の本体であり、再生時間情報５３５、音声情報５３６および映像情報５３７から構成されている。再生時間情報５３５は、音声・映像情報を再生する際の時間情報である。
【００４６】
音声情報５３６は、マイクロフォン１０３からの音声情報に対応しており、プレゼンタの音声（当該文書を読み上げる音声や説明する音声等）の情報である。映像情報５３７は、カメラ１０２からの映像情報に対応しており、プレゼンテーションの様子の情報である。
【００４７】
図４は、図１に示した同期コンテンツ情報データベース５４０に格納される同期コンテンツ情報５４１の構造を示す図である。この同期コンテンツ情報５４１は、同期コンテンツ情報生成部５１０で生成される情報である。同期コンテンツ情報５４１において、同期コンテンツ情報ＩＤ５４２は、当該同期コンテンツを識別するための識別情報である。プロジェクトＩＤ５４３は、プロジェクトＩＤ５２３（図２参照）およびプロジェクトＩＤ５３３（図３参照）に対応している。
【００４８】
オーサリング情報５４４は、文書情報ＩＤ５４５、音声・映像情報ＩＤ５４６および同期情報５４７から構成されている。文書情報ＩＤ５４５は、文書情報ＩＤ５２２（図２参照）に対応している。音声・映像情報ＩＤ５４６は、音声・映像情報ＩＤ５３２（図３参照）に対応している。同期情報５４７は、同期情報解析部５０９より入力される情報である。
【００４９】
同期コンテンツ情報本体５４８は、同期コンテンツ情報の本体であり、図５に示したように、ＳＭＩＬで記述されている。この同期コンテンツ情報本体５４８では、音声・映像情報の再生時間軸上での当該文書のページの同期表示に関する開始時刻、表示終了時刻や、図６に示した再生画面フォーマット６００の画面サイズ、映像表示領域６０１、文書表示領域６０２等が設定される。
【００５０】
この再生画面フォーマット６００は、再生装置４００の表示部４０２に表示される。また、映像表示領域６０１には、音声・映像情報のうち映像情報が表示される。なお、音声情報は、再生装置４００（図１参照）のスピーカ（図示略）により再生される。文書表示領域６０２には、同期情報に対応する文書の当該ページが表示される。
【００５１】
つぎに、実施の形態１の動作について、図７および図８に示したフローチャート、図９および図１０を参照しつつ説明する。会議においては、例えば、紙媒体に印刷された紙文書が出席者に配布される。
【００５２】
そして、会議が始まると、プレゼンタは、紙文書を参照しながら、プレゼンテーションを実施する。このとき、プレゼンタは、紙文書のページを順番にめくりつつ当該ページ記載された一部のテキストを読み上げることになる。特に、そのページの特徴を表すキーワードは頻繁に読み上げられる傾向にある。
【００５３】
会議中においては、図１に示したビデオカメラ装置１００からは、プレゼンタの音声およびプレゼンテーションの様子に対応する音声・映像情報がネットワーク２００を介して同期コンテンツ情報生成装置５００へ出力される。この音声・映像情報は、制御部５０２により音声・映像情報データベース５３０に格納される。
【００５４】
ここで、文書作成装置３００からは、会議前または会議終了後に上記紙文書に対応する文書情報が同期コンテンツ情報生成装置５００へ出力される。この文書情報は、制御部５０２により文書情報データベース５２０に格納される。
【００５５】
そして、会議が終了すると、同期コンテンツ情報生成装置５００では、同期コンテンツ情報の生成処理が実行される。まず、キーワード抽出部５０４では、文書情報データベース５２０の文書情報からキーワードを抽出するキーワード抽出処理が実行される。
【００５６】
具体的には、形態素解析部５０５は、文書情報データベース５２０から文書情報を取得した後、ページ単位で形態素解析を実行し、固有名詞を抽出してページ毎のキーワードとする。ここで、全ページ中に出現するキーワードｋ1 〜ｋN の集合は、キーワード配列Ｋとしての（１）式で表される。
【数１】
【００５７】
また、文書情報の各ページ（ｂ1 〜ｂM ）は、文書ページ配列Ｂとしての（２）式で表される。
【数２】
【００５８】
つぎに、統計量解析部５０６は、キーワード毎に各ページ中の出現回数を計測し、ページ毎の出現回数平均μ等の統計量を算出する。重み算出部５０７は、統計量を元にして、つぎの（３）式で表される重み係数配列Ｗを算出する。
【数３】
【００５９】
重み係数配列Ｗは、Ｍ（全ページ数）×Ｎ（全キーワード数）の配列となる。この重み係数配列Ｗの要素ｗm,n は、キーワードｋnの出現回数平均をμn 、ページｂm 中の出現回数をｘm とするとつぎの（４）式から算出される。
【数４】
【００６０】
要素ｗm,n は、ｍページ目でのキーワードｋn の重み付け係数である。ここで、Ｅ（ｋn）は、キーワードｋn がページｂm 中のタイトル、段落や項目名、太字や下線などの修飾を施されていた場合に１、それ以外は０となる関数である。ＡおよびＢは、重み係数のための定数である。キーワード抽出部５０４からは、キーワード配列Ｋおよび重み係数配列Ｗが出力される。
【００６１】
つぎに、音声解析部５０８は、音声・映像情報データベース５３０から音声・映像情報を取得する。音声解析部５０８は、キーワード配列Ｋ中の各要素を用いて、音声・映像情報の音声情報に関して音声解析を行い、該当キーワードの出現時刻を計測する。
【００６２】
具体的には、音声解析部５０８は、ＭＰ３等で圧縮された音声情報を復元してＰＣＭ（Pulse Code Modulation）で変換し、これを用いて周知のワードスポッティング方式によりキーワードの出現時刻を抽出する。ワードスポッティング方式は、音声入力に対して発音される言葉全てではなく、重要単語のみを認識する音声技術である。
【００６３】
つぎに、音声解析部５０８は、認識したキーワードを時刻順でソートした出現キーワードｒ1 〜ｒp の配列を出現キーワード配列Ｒ（（５）式参照）とし、出現キーワードｒ1 〜ｒp のそれぞれに対応する出現時刻ｔ1〜ｔp の配列を出現時刻配列Ｔ（（６）式参照）とする。
【数５】
【数６】
【００６４】
すなわち、図９に示した音声・映像情報を再生した場合の時間軸上において、出現キーワード配列Ｒに含まれる出現キーワードｒ1 は、出現時刻配列Ｔに含まれる出現時刻ｔ1 でプレゼンタにより発音されたことを意味している。
【００６５】
出現キーワード配列Ｒの要素はキーワード配列Ｋの要素と同じ値であり、キーワードが音声情報中に複数回出現するときは複数個の同じ要素が存在することになる。音声解析部５０８は、つぎの（７）式によって各キーワードｒp に対応する重み付け係数ωm,P の配列である出現キーワード重み係数配列Ωを求める。
【数７】
【００６６】
重み付け係数ωm,P は、ｍページ目に出現キーワードｒP が出現する確からしさをあらわす係数である。ここで、出現キーワードｒP の出現順番は、キーワード配列Ｋのインデックス順番とは限らず、複数回出現することもあるため、出現頻度順にインデックスを付け替えた出現キーワード配列Ｒが作成される。
【００６７】
図９には、キーワード配列Ｋに関する重み係数配列Ｗと、出現キーワード配列Ｒに関する出現キーワード重み係数配列Ωとの対応関係が図示されている。ここで、音声情報の中でｐ１番目とｐ２番目にキーワードｋn が出現したとする。このとき、出現キーワードｒp1 と出現キーワードｒp2 は、キーワードｋn に等しい。
【００６８】
従って、出現キーワード重み係数配列Ω中での出現キーワードｒp1 と、出現キーワードｒp2 と重み係数を表すｐ１列とｐ２列は、重み係数配列Ｗ中でキーワードｋn の重み係数を表すｎ列をコピーしたものとなる。全ての出現キーワード配列Ｒの要素に対して、対応するキーワードｋの重み係数をコピーすることで、出現キーワード重み係数配列Ωが作成される。
【００６９】
つぎに、同期情報解析部５０９は、出現キーワード配列Ｒ、出現時刻配列Ｔおよび出現キーワード重み係数配列Ωから、文書情報の各ページ（１ページからＭページ）の表示開始時刻ｓ1 〜ｓM の配列である表示開始時刻配列Ｓ（（８）式参照）を求める。
【数８】
【００７０】
図１０には、音声・映像情報を再生した場合の時間軸と、上記表示開始時刻ｓ1 〜ｓM との関係が図示されている。これらの表示開始時刻ｓ1 〜ｓM は、同期情報である。例えば、表示開始時刻ｓm では、ｍページ目の文書情報が表示される。詳細には、ページｂm は、表示開始時刻ｓm で表示を開始し、ｓm+1 で表示を終了する。
【００７１】
ここで、最適な表示開始時刻の組み合わせは、つぎの（９）式で表される評価関数Ｆ（Ｓ）の値を最大にするものとして定義される。
【数９】
【００７２】
評価関数Ｆ（Ｓ）は、音声認識によるキーワードの出現時刻の分布が、文書情報からのキーワードの出現時間の分布と一致した場合に最大値をとる関数である。つぎに、同期情報解析部５０９は、表示開始時刻ｓm のとりうる値を出現時刻配列Ｔに限定して、後述する探索アルゴリズムにより評価関数Ｆ（Ｓ）を局所的に最大化する表示開始時刻配列Ｓを求める。
【００７３】
具体的には、図７に示したステップＳＡ１では、同期情報解析部５０９は、図８に示した初期化処理を実行する。この初期化処理では、図１０に示した時間軸上に表示開始時刻ｓ1 〜ｓM が等時間間隔で設定される。すなわち、初期化処理においては、各ページが等時間でめくられたと仮定されている。
【００７４】
初期化処理において、図８に示したステップＳＢ１では、同期情報解析部５０９は、ｍに２を代入する。ステップＳＢ２では、同期情報解析部５０９は、表示開始時刻ｓ1 を０として、つぎの（１０）式に、ｍ（＝２）、音声・映像情報の総再生時間Ｄ、ページ数Ｍを代入し、表示開始時刻ｓm（この場合、ｓ2）を求める。
【数１０】
【００７５】
ステップＳＢ３では、同期情報解析部５０９は、ｍがページ数Ｍと等しいか否かを判断し、この場合、判断結果を「Ｎｏ」とする。ステップＳＢ４では、同期情報解析部５０９は、ｍを１インクリメントする。以後、ステップＳＢ２以降が繰り返し実行される。そして、ステップＳＢ３の判断結果が「Ｙｅｓ」になると、図１０に示した表示開始時刻ｓ1 〜ｓM が等時間間隔で設定される。
【００７６】
図７に示したステップＳＡ２〜ステップＳＡ６では、図１０に示したｍ＝２〜Ｍについて、表示開始時刻ｓm をｓm-1 〜ｓm+1 の区間で移動させて評価関数Ｆ（Ｓ）を計算する区間探索が行われ、最大の評価関数Ｆ（Ｓ）となるキーワードの出現時刻ｔ（（６）式参照）を新しい表示開始時刻ｓm とする。この表示開始時刻ｓm は、出現時刻配列Ｔ（（６）式参照）の出現時刻ｔ1 〜ｔP のうちいずれかの出現時刻である条件を満たすように上記区間で移動される。
【００７７】
そして、全てのｍについての区間探索が終了すると、区間探索が１ターン終了する。１ターン終了後、前回のターン終了時の前回評価関数Ｆ0 と現在の評価関数Ｆ（Ｓ）とを比較して、値の増加分が誤差Δの範囲内であったとき処理が終了する。それ以外は再度区間探索が実行される。
【００７８】
具体的には、図７に示したステップＳＡ２では、同期情報解析部５０９は、前回評価関数Ｆ0 に０を代入する。ステップＳＡ３では、同期情報解析部５０９は、ｍに２を代入する。ステップＳＡ４では、同期情報解析部５０９は、図１０に示した表示開始時刻ｓm をｓm-1 〜ｓm+1 の区間で移動（この場合、ｓ2 をｓ1 〜ｓ3 の区間で移動）させて最大の評価関数Ｆ（Ｓ）（（９）式参照）となるキーワードの出現時刻ｔ（（６）式参照）を新しい表示開始時刻ｓm とする。
【００７９】
ステップＳＡ５では、同期情報解析部５０９は、ｍがページ数Ｍと等しいか否かを判断し、この場合、判断結果を「Ｎｏ」とする。ステップＳＡ７では、同期情報解析部５０９は、ｍを１インクリメントする。以後、ステップＳＡ４では、図１０に示した時間軸上で表示開始時刻ｓm が１つずつ右シフトし、上記探索が繰り返される。
【００８０】
そして、ステップＳＡ５の判断結果が「Ｙｅｓ」になると、すなわち、１ターンの区間探索が終了すると、ステップＳＡ６では、同期情報解析部５０９は、現在の評価関数Ｆ（Ｓ）が、前回評価関数Ｆ0 と誤差Δとの和を超えているか否かを判断する。この判断結果が「Ｙｅｓ」である場合、同期情報解析部５０９は、現在の評価関数Ｆ（Ｓ）を前回評価関数Ｆ0 に代入した後、ステップＳＡ３以降の処理を繰り返す。
【００８１】
そして、ステップＳＡ６の判断結果が「Ｎｏ」になると、同期情報解析部５０９は、一連の処理を終了する。これにより、表示開始時刻配列Ｓ（（８）式参照）の開始時刻ｓ1 〜ｓM が確定する。
【００８２】
つぎに、同期コンテンツ情報生成部５１０は、同期情報解析部５０９からの表示開始時刻配列Ｓ、文書情報および音声・映像情報から、例えば、図５に示した同期コンテンツ情報５４１を生成し、同期コンテンツ情報データベース５４０に格納する。
【００８３】
この同期コンテンツ情報５４１において、「電子化文書の１ページ目データ begin＝ｓ1 」は、表示開始時刻配列Ｓに含まれる表示開始時刻ｓ1 に対応している。従って、１ページ目の文書情報は、図１０に示した音声・映像情報の時間軸上の表示開始時刻ｓ1 で表示が開始され、end=ｓ2 に表示が終了する。
【００８４】
そして、再生装置４００から再生要求があると、制御部５０２は、同期コンテンツ情報データベース５４０から同期コンテンツ情報５４１（図５参照）を読み出し、これを再生装置４００へ送信する。
【００８５】
これにより、再生装置４００では、同期コンテンツ情報５４１に対応する再生画面フォーマット６００に基づいて、音声・映像情報および文書情報が再生される。ここで、文書の各ページは、表示開始時刻配列Ｓに基づくタイミングで、映像に並行して順次表示される。
【００８６】
以上説明したように、実施の形態１によれば、文書を用いた会議等の様子がビデオカメラ装置１００により録音・撮像された音声・映像情報に基づいて、キーワード抽出部５０４で抽出されたキーワードが出現した時刻順の出現キーワード分布を計測し、音声・映像情報と時間的な同期がとられた状態で文書情報を表示部４０２に表示させるための同期コンテンツ情報を生成することとしたので、プロジェクタ等の特別な機材を必要とすることなく同期コンテンツ情報を生成することができる。
【００８７】
なお、実施の形態１では、図８に示した初期化処理（図１０参照）で、表示開始時刻ｓ1 〜ｓM を等時間間隔で初期値として設定する方法について説明したが、図１１に示したように、文書中のキーワードに関する下線、太字、フォントサイズなどの文字修飾や、タイトル、章名などの文書中のレイアウト情報を利用して表示開始時刻ｓ1 〜ｓM を初期値として設定してもよい。
【００８８】
以下では、実施の形態１の変形例１として説明する。この変形例１では、図１に示した形態素解析部５０５は、文書情報に含まれるページタイトルや下線、太字、前後に比べて著しくフォントサイズの大きい単語もキーワードとして抽出すると共に、キーワード種別ａ1 〜ａN の集合をつぎの（１１）式で表されるキーワード種別配列Ａとする。
【数１１】
【００８９】
キーワード種別ａn において、１は、キーワード種別がページタイトルの場合である。２は、キーワード種別が文字修飾単語の場合である。０は、上記ページタイトルおよび文字修飾単語以外のキーワードの場合である。
【００９０】
また、変形例１では、音声解析部５０８は、前述と同様にして、出現キーワード配列Ｒ（（５）式参照）および出現時刻配列Ｔ（（６）式参照）を求める。また、音声解析部５０８は、図１３に示したキーワード種別配列Ａの要素を時刻順でソートした出現キーワード種別ｑ1 〜ｑp の配列をつぎの（１２）式で表される出現キーワード種別配列Ｑとする。
【数１２】
【００９１】
つぎに、同期コンテンツ情報生成部５１０は、出現キーワード配列Ｒ、出現時刻配列Ｔおよび出現キーワード種別配列Ｑから、図１４に示したルールによってｍページ目（ｂm ）の表示を開始する表示開始時刻ｓm を決定する。ここで、ルール１は、「出現キーワード種別ｑp が１または２の値である。」というものである。
【００９２】
ルール２は、「出現キーワードｒp は、ｍページ目だけに含まれる唯一のキーワードである。」というものである。ルール３は、「以下のルール３−１または３−２のいずれか一方を満たしている。」というものである。ルール３−１は、「出現キーワード配列Ｒに出現キーワードｒp ＝ｒu となる出現キーワードｒu が存在しない。」というものである。ルール３−２は、「出現キーワード配列Ｒに出現キーワードｒp＝ｒuとなる出現キーワードｒu がある場合、ｐ、ｕが０＜ｔu−ｔp＜Δｔの関係満たす。」というものである。
【００９３】
以上の条件を同時に満たすｍとｐがあるとき、時刻ｔp を表示開始時刻ｓm の初期値として設定される。なお、Δｔは十分に小さな時間であり、例えば、１ページあたりの平均表示時間（Ｄ/Ｍ）の１０％以下に設定する。また、本ルールでは、全ての表示開始時刻ｓm について値を確定できるわけではなく、確定できなかった表示開始時刻ｓm については未確定区間の均等分割により値が確定される。
【００９４】
図１１には、音声・映像情報の時間軸上で１点のみ表示開始時刻ｓm の値が確定できた場合が図示されている。なお、前後の未確定区間については、表示開始時刻の初期値が均等時間割りされる。
【００９５】
具体的には、変形例１では、図８に示した初期化処理に代えて、図１２に示した初期化処理が同期情報解析部５０９により実行される。図１２に示したステップＳＣ１では、ｍに１が代入される。ステップＳＣ２では、ｐに１が代入される。ステップＳＣ３では、ｍ、ｐによりルール１〜３（図１４参照）が満たされているか否かが判断され、この場合、判断結果が「Ｎｏ」とされる。なお、ステップＳＣ３の判断結果が「Ｙｅｓ」である場合、ステップＳＣ１３では、表示開始時刻ｓm に出現時刻ｔp が代入される。
【００９６】
ステップＳＣ４では、ｐがＰと等しいか否かが判断され、この場合、判断結果が「Ｎｏ」とされる。ステップＳＣ１４では、ｐが１インクリメントされ、ステップＳＣ３以降が繰り返される。そして、ステップＳＣ４の判断結果が「Ｙｅｓ」になると、ステップＳＣ５では、ｍが全ページ数Ｍと等しいか否かが判断され、この場合、判断結果が「Ｎｏ」とされる。ステップＳＣ１５では、ｍが１インクリメントされ、ステップＳＣ２以降が繰り返される。
【００９７】
そして、ステップＳＣ５の判断結果が「Ｙｅｓ」になると、ステップＳＣ６では、ｍ１に１が、ｍに２が代入される。ステップＳＣ７では、表示開始時刻ｓm が確定済みであるか否かが判断され、この判断結果が「Ｎｏ」である場合、ステップＳＣ１２の判断が行われる。
【００９８】
一方、ステップＳＣ７の判断結果が「Ｙｅｓ」である場合、ステップＳＣ８では、（ｍ１＋１）がｊとされる。ステップＳＣ９では、ｓj ＝ｔm1＋ｊ・（ｔm＋ｔm1）／（ｍ−ｍ１）が計算される。ステップＳＣ１０では、ｊが（ｍ−１）以上であるか否かが判断され、この場合、判断結果が「Ｎｏ」とされる。ステップＳＣ１６では、ｊが１インクリメントされ、ステップＳＣ９以降が繰り返される。
【００９９】
そして、ステップＳＣ１０の判断結果が「Ｙｅｓ」になると、ステップＳＣ１１では、ｍ１にｍが代入される。ステップＳＣ１２では、ｍが（Ｍ＋１）と等しいか否かが判断され、この場合、判断結果を「Ｎｏ」とする。ステップＳＣ１７では、ｍが１インクリメントされる。以後、ステップＳＣ７以降が繰り返される。そして、ステップＳＣ１２の判断結果が「Ｙｅｓ」になると、前述したステップＳＡ２（図７参照）以降の処理が実行される。
【０１００】
以上説明したように、実施の形態１の変形例によれば、文書情報に含まれるキーワード種別情報に基づいて、音声・映像情報と文書情報との同期をとることとしたので、キーワード種別（例えば、タイトル、強調文字等）に応じた同期をとることができる。
【０１０１】
（実施の形態２）
図１５は、本発明にかかる実施の形態２の構成を示すブロック図である。この図において、図１の各部に対応する部分には同一の符号を付け、その説明を省略する。同図においては、図１に示した同期コンテンツ情報生成装置５００に代えて、同期コンテンツ情報生成装置７００が設けられている。
【０１０２】
この同期コンテンツ情報生成装置７００においては、図１に示した同期情報生成部５０３、同期コンテンツ情報生成部５１０、同期コンテンツ情報編集部５１１および同期コンテンツ情報データベース５４０に代えて、同期情報生成部７１０、同期コンテンツ情報生成部７１４、同期コンテンツ情報編集部７１５、連続音声区間情報データベース７２０および同期コンテンツ情報データベース７３０が設けられている。
【０１０３】
同期情報生成部７１０は、音声・映像情報データベース５３０から取得した音声・映像情報と、文書情報データベース５２０から取得した文書情報とを解析し、同期情報を生成する。同期情報は、音声・映像情報を再生した場合の時間軸上で、文書情報における各文書ブロック（例えば、各ページ）がどの時間帯に同期（対応）しているかを表す情報である。
【０１０４】
同期情報生成部７１０において、キーワード抽出部７１１は、図２０に示したように、文書情報データベース５２０から取得した文書情報をＮ個の文書ブロックｂn（ｎ＝１、２、・・・、Ｎ）に分割する。
【０１０５】
また、キーワード抽出部７１１は、文書ブロックｂn 毎に形態素解析を実行し、名詞を抽出しキーワードとする。キーワード抽出部７１１は、文書ブロックｂn にキーワードを含む文が、文書ブロックｂn に属する場合の確からしさを表す指標であるキーワード重み係数ｗn、θ を後述する計算式より算出する。
【０１０６】
音声解析部７１２は、図１７に示したように、音声情報の音声レベルとしきい値ＴＨとを比較して、音声レベルがしきい値ＴＨを超える区間を連続音声区間（同図○印）とし、この連続音声区間に対応する連続音声区間情報７２１（図１６参照）を生成する。
【０１０７】
また、音声解析部７１２は、連続音声区間情報に含まれる音声情報について、上述した文書ブロックｂn におけるキーワードθの発話頻度βk、n、θ を後述する方法により計測する。
【０１０８】
同期情報解析部７１３は、図２０に示したように、後述する動的計画法により、Ｋ個の連続音声区間情報ｖ1〜ｖK を、Ｎ個の文書ブロックｂ1〜ｂn に先頭からｘn 個ずつ分配する。
【０１０９】
ここで、分配の確からしさは、つぎの（１３）式で表される。
【数１３】
【０１１０】
（１３）式において、最適の分配は、評価関数Ｅ（ｘ1、ｘ2、・・・、ｘN ）を最大化する（ｘ1、ｘ2、・・・、ｘN ）の組み合わせとなる。ｇn（ｋn-1、ｘn）は、ｋn-1 に続くｘn個の連続音声区間を文書ブロックｂn に分配したときに得られる利益（分配の確からしさ）を表す関数である。
【０１１１】
同期情報解析部７１３は、各文書ブロックの表示時刻の配列を同期情報として求める。同期コンテンツ情報生成部７１４は、文書情報、音声・映像情報および同期情報から、ＳＭＩＬ等によって記述された同期コンテンツ情報（図１９参照）を生成する。
【０１１２】
図１６は、図１５に示した連続音声区間情報データベース７２０に格納される連続音声区間情報７２１の構造を示す図である。この連続音声区間情報７２１は、音声解析部７１２で生成される情報である。
【０１１３】
連続音声区間情報７２１は、情報数７２２、連続音声区間情報ｖ1 、・・・、ｖk から構成されている。情報数７２２は、連続音声区間情報ｖ1 〜ｖK の数Ｋを表す。これらの連続音声区間情報ｖ1 〜ｖK は、図１７に示したように、上述した音声・映像情報に含まれる音声情報の音声レベルがしきい値ＴＨを超える区間が連続音声区間（同図○印）に対応する情報である。この連続音声区間においては、プレゼンタの音声が連続的に発せられている。
【０１１４】
一方、音声レベルがしきい値ＴＨ以下の区間は、文と文との区切り部分等に相当し、プレゼンタの音声が無音となる無音区間（同図×印）である。
【０１１５】
図１６へ戻り、連続音声区間情報ｖk は、開始時刻情報７２３k 、終了時刻情報７２４k および音声情報７２５k から構成されている。なお、他の連続音声区間情報ｖ1 、ｖK 等も、連続音声区間情報ｖk と同様にして、開始時刻情報、終了時刻情報および音声情報から構成されている。
【０１１６】
図１８は、図１５に示した同期コンテンツ情報データベース７３０に格納される同期コンテンツ情報７３１の構造を示す図である。この同期コンテンツ情報７３１は、同期コンテンツ情報生成部７１４で生成される情報である。
【０１１７】
同期コンテンツ情報７３１は、同期コンテンツ情報ＩＤ７３２、プロジェクトＩＤ７３３、オーサリング情報７３４および同期コンテンツ情報本体７３８から構成されている。同期コンテンツ情報７３１において、同期コンテンツ情報ＩＤ７３２は、当該同期コンテンツを識別するための識別情報である。プロジェクトＩＤ７３３は、プロジェクトＩＤ５２３（図２参照）およびプロジェクトＩＤ５３３（図３参照）に対応している。
【０１１８】
オーサリング情報７３４は、文書情報ＩＤ７３５、音声・映像情報ＩＤ７３６および同期情報７３７から構成されている。文書情報ＩＤ７３５は、文書情報ＩＤ５２２（図２参照）に対応している。音声・映像情報ＩＤ７３６は、音声・映像情報ＩＤ５３２（図３参照）に対応している。同期情報７３７は、同期情報解析部７１３より入力される情報である。
【０１１９】
同期コンテンツ情報本体７３８は、同期コンテンツ情報の本体であり、図１９に示したように、ＳＭＩＬで記述されている。この同期コンテンツ情報本体７３８では、音声・映像情報の再生時間軸上での当該文書のページの同期表示に関する開始時刻、表示終了時刻や、図６に示した再生画面フォーマット６００の画面サイズ、映像表示領域６０１、文書表示領域６０２等が設定される。
【０１２０】
つぎに、実施の形態２の動作について、図２１に示したフローチャートを参照しつつ説明する。会議においては、例えば、紙媒体に印刷された紙文書が出席者に配布される。
【０１２１】
ここで、文書作成装置３００からは、会議前または会議終了後に上記紙文書に対応する文書情報が同期コンテンツ情報生成装置５００へ出力される。この文書情報は、制御部５０２により文書情報データベース５２０に格納される。
【０１２２】
そして、会議が始まると、プレゼンタは、紙文書を参照しながら、プレゼンテーションを実施する。このとき、プレゼンタは、紙文書のページを順番にめくりつつ当該ページ記載された一部のテキストを読み上げることになる。特に、そのページの特徴を表すキーワードは頻繁に読み上げられる傾向にある。
【０１２３】
会議中においては、図１５に示したビデオカメラ装置１００からは、プレゼンタの音声およびプレゼンテーションの様子に対応する音声・映像情報がネットワーク２００を介して同期コンテンツ情報生成装置７００へ出力される。この音声・映像情報は、制御部５０２により音声・映像情報データベース５３０に格納される。
【０１２４】
そして、会議が終了すると、ステップＳＤ１では、キーワード抽出部７１１は、文書情報データベース５２０から文書情報を読み込む。ステップＳＤ２では、キーワード抽出部７１１は、図２０に示したように、上記文書情報をＮ個の文書ブロックｂn（ｎ＝１、２、・・・、Ｎ）に分割する。文書ブロックｂn としては、１ページ、１段落など同期の文書単位となるものが用いられる。
【０１２５】
ステップＳＤ３では、キーワード抽出部７１１は、文書ブロックｂn 毎に形態素解析を実行し、名詞を抽出しキーワードとする。ここで文書ブロックｂn から抽出されたキーワードの集合をキーワード集合Θn とする。
【０１２６】
ステップＳＤ４では、キーワード抽出部７１１は、文書ブロックｂn にキーワードθ（θ∈Θn）を含む文が、文書ブロックｂn に属する場合の確からしさを表す指標であるキーワード重み係数ｗn、θ を算出する。具体的には、文書ブロックｂn にキーワードθが出現する頻度をεn、θ とすると、キーワード重み係数ｗn、θ は、つぎの（１４）式で表される。
【数１４】
【０１２７】
（１４）式においては、キーワードθが文書ブロックｂn に頻度εn、θ で出現した場合、文書ブロックｂn の前後の文書ブロック（ｂn-1、ｂn+1）でも同程度の頻度でキーワードθが出現するならばキーワード重み係数ｗn、θ が小さくなることを意味している。
【０１２８】
逆に、前後の文書ブロック（ｂn-1、ｂn+1）で出現していないキーワードが文書ブロックｂn のみに頻繁に出現する場合、キーワード重み係数ｗn、θ は、大きな値となる。つまり、（１４）式では、キーワードθが文書ブロックｂn に出現する確からしさを前後の文書ブロック（ｂn-1、ｂn+1）を含めて決定される。
【０１２９】
（１４）式によれば、文書ブロックにキーワードが出現する頻度を求め、該頻度および前後の文書ブロックにおける頻度に基づいて、キーワード重み係数を求めることとしたので、文書ブロックに対する局所性が高いキーワードに高い重み付けがされたキーワード重み係数を得ることができる。
【０１３０】
ステップＳＤ５では、音声解析部７１２は、音声・映像情報データベース５３０から、音声・映像情報に含まれる音声情報を読み込む。ステップＳＤ６では、音声解析部７１２は、図１７に示したように、音声情報の音声レベルとしきい値ＴＨとを比較して、音声レベルがしきい値ＴＨを超える区間を連続音声区間（同図○印）とする。
【０１３１】
つぎに、音声解析部７１２は、図１６に示したように、連続音声区間について、開始時刻情報（例えば、ｔ１）、終了時刻情報（例えば、ｔ２）および音声情報を、Ｋ個の連続音声区間情報ｖ1、・・・、ｖk、・・・ｖK とするとともに、情報数７２２をＫとする。音声解析部７１２は、これらの情報を連続音声区間情報７２１として生成し、図１５に示した連続音声区間情報データベース７２０に格納する。
【０１３２】
ステップＳＤ７では、音声解析部７１２は、例えば、図１６に示した連続音声区間情報ｖk に含まれる音声情報について、ステップＳＤ３でキーワード抽出部７１１により抽出された文書ブロックｂn におけるキーワードθ（θ∈Θ）の発話頻度βk、n、θ を算出する。ここで、連続音声区間情報ｖk に含まれる音声情報について当該キーワードθが発話されたか否かは、音声認識処理により検知される。
【０１３３】
例えば、音声認識処理としての周知のWord Spottingにおいては、認識対象の単語辞書としてキーワード集合Θn を用い、音声情報に含まれる各キーワードの出現位置が検出される。
【０１３４】
ステップＳＤ８では、同期情報解析部７１３は、図２０に示したように、動的計画法により、Ｋ個の連続音声区間情報ｖ1 〜ｖK を、Ｎ個の文書ブロックｂ1〜ｂn に先頭からｘn 個ずつ分配する。
【０１３５】
具体的には、文書ブロックｂ1 〜ｂn までに分配される連続音声区間情報の個数をｋn 個とする。ここで、文書ブロックｂn にｋn-1 個目以降のｘn 個の連続音声区間情報を分配することによる利益（分配の確からしさ）をｇn（ｋn-1、ｘn ）とすると、ｇn（ｋn-1、ｘn ）は、つぎの（１５）式〜（１７）式によって定義される。
【数１５】
【数１６】
【数１７】
【０１３６】
（１７）式において、ｗn、θ は、前述したように、キーワードθ（θ∈Θ）が文書ブロックｂn に属する場合の確からしさを表すキーワード重み係数である。βk、n、θ は、前述したように、キーワードθが連続音声区間情報ｖk に対応する連続音声区間で実際に発話された回数を表す発話頻度である。
【０１３７】
ここで、連続音声区間情報ｖk が文書ブロックｂn に対応するならば、（連続音声区間情報ｖk 中で発話されるキーワードθが文書ブロックｂn に属する確からしさ）×（発話頻度）は、連続音声区間情報ｖk が文書ブロックｂn に対応しない場合に比べて、大きな値をとると予想される。
【０１３８】
全てのキーワードについて、上記値を計算したものが（１７）式であり、ｅk、n は、連続音声区間情報ｖk を文書ブロックｂn に割り振ることに関する確からしさを表している。
【０１３９】
また、ｅk、n は、文書ブロックに多数のキーワードが出現していた場合、極端に大きな値をとることがある。例えば、プレゼンテーションにおいて、最初に概要説明のスライドを設けた場合、該スライドには、他のスライドに含まれるキーワードが多数出現する。
【０１４０】
このような場合には、正しい対応が得られなくなるため、ｇn（ｋn-1、ｘn ）に用いる値として、ｅk、n そのものではなく、文書ブロックｂn に関係するｅk、n の総和が１になるように正規化した値を用いる。（１６）式は、正規化の式である。（１６）式におけるＮn（ｅk、n）は、ｅk、n を正規化した値を表している。
【０１４１】
（１５）式は、文書ブロックｂn にｋn-1 個目以降のｘn 個の連続音声区間情報を分配することによる利益（分配の確からしさ）を、Ｎn（ｅk、n）の総和で表したものである。
【０１４２】
実施の形態２では、上記分配の問題を以下の（１８）式を満たす（ｘ1、ｘ2、・・・、ｘN）の組み合わせを求める問題に定式化している。（１８）式を満たす（ｘ1、ｘ2、・・・、ｘN）は、動的計画法により求められる。以下に、動的計画法による解法について説明する。
【数１８】
【０１４３】
同期情報解析部７１３は、（１８）式を、以下の２つの関数再帰方程式（（１９）式および（２０）式）に展開する。
【数１９】
【数２０】
【０１４４】
つぎに、同期情報解析部７１３は、これらの（１９）式および（２０）式を用いて最適な（ｘ1、ｘ2、・・・、ｘN）を求める。すなわち、まず、同期情報解析部７１３は、ｎ＝１において、ｋ1が０からＫまでのそれぞれの場合について（１９）式よりｆ1（ｋ1）を計算して、以下の表１の２列目に値を格納する。この場合、ｘ1＝ｋ1の条件が成立しているため１列目と３列目の値が同じとなる。
【表１】
【０１４５】
つぎに、同期情報解析部７１３は、（２０）式とｆ1（ｋ1）の値より、ｆ2（ｋ2）を計算する。すなわち、ｎ＝２のとき（２０）式より、ｆ2（ｋ2）は、つぎの（２１）式で表される。
【数２１】
【０１４６】
つぎに、同期情報解析部７１３は、ｋ2 が０からＫまでのそれぞれの場合について、ｘ2 を０からｋ2 まで変化させて、ｇ2（ｋ2−ｘ2、ｘ2）＋ｆ1（ｋ2−ｘ2）の値を計算し、最大のものをｆ2（ｋ2）の値として以下の表２の２列目に格納する。なお、表２の３列目には、最大のｆ2（ｋ2）となったときにｘ2 の値が格納される。
【表２】
【０１４７】
同様にして、同期情報解析部７１３は、（２０）式とｆ1-1（ｋ1-1）の値より、ｆn（ｋn）を計算して、以下の表３に値を格納する。
【表３】
【０１４８】
（１８）式のｆN（Ｋ）の値は、ｋN＝Ｋとなる表３の右下の網掛け部分のｆN（ｋN）となる。このｆN（Ｋ）を導出するにあたり必要なｘN も表３に格納されているため、同期情報解析部７１３は、その数値（網掛け部分のｘN）をｘNの値として確定する。
【０１４９】
つぎに、同期情報解析部７１３は、ｋN＝ｋN-1＋ｘN の関係があるためｋN-1＝ｋN−ｘN となるｋN-1のｆN-1（ｋN-1）を表３から探し出し、ｘN-1 の値を確定する。同様に、ｘN-1 の値が表３とｘn の確定値から特定されるため、ｎ＝１までｘn の値が確定される。この確定値（ｘ1、ｘ2、・・・、ｘN）は、（１８）式のｆN（Ｋ）を満たす解とされる。
【０１５０】
図２１に示したステップＳＤ９では、同期情報解析部７１３は、連続音声区間情報ｖk に対応する連続音声区間の配分（ｘ1、ｘ2、・・・、ｘN）を元に、文書ブロックｂn の表示開始時刻ｓn をつぎの（２２）式および（２３）式より求める。
【数２２】
【数２３】
【０１５１】
上記（２３）式は、図２０に示した先頭の文書ブロックｂ1 から文書ブロックｂn までの間に含まれる連続音声区間情報の個数ｋn を表している。（２２）式は、文書ブロックｂn に対応する連続音声区間情報に含まれる開始時刻情報（図１６参照）のうち、最も小さい（時間的に古い）開始時刻情報を当該文書ブロックｂn の表示開始時刻ｓn として定義することを意味している。
【０１５２】
同期情報解析部７１３は、各文書ブロック（ｂ1 〜ｂN ）の表示開始時刻ｓ1 〜ｓN の配列である表示開始時刻配列Ｓ（ｓ1、ｓ2、・・・、ｓN）を同期情報とする。
【０１５３】
ステップＳＤ１０では、同期コンテンツ情報生成部７１４は、同期情報解析部７１３からの表示開始時刻配列Ｓ（ｓ1、ｓ2、・・・、ｓN）、文書情報および音声・映像情報から、例えば、図１８に示した同期コンテンツ情報７３１を生成し、同期コンテンツ情報データベース７３０に格納する。
【０１５４】
この同期コンテンツ情報７３１において、図１９に示した「電子化文書の１ページ目データ begin＝ｓ1 」は、表示開始時刻配列Ｓに含まれる表示開始時刻ｓ1 に対応している。従って、１ページ目（文書ブロックｂ1）の文書情報は、音声・映像情報の時間軸上の表示開始時刻ｓ1 で表示が開始され、end=ｓ2 に表示が終了する。
【０１５５】
そして、再生装置４００から再生要求があると、制御部５０２は、同期コンテンツ情報データベース７３０から同期コンテンツ情報７３１（図１８および図１９参照）を読み出し、これを再生装置４００へ送信する。
【０１５６】
これにより、再生装置４００では、同期コンテンツ情報７３１に対応する再生画面フォーマット６００に基づいて、音声・映像情報および文書情報が再生される。ここで、文書の各ページは、表示開始時刻配列Ｓに基づくタイミングで、映像に並行して順次表示される。
【０１５７】
以上説明したように、実施の形態２によれば、図２０に示したように、文書が電子化された文書情報を複数の文書ブロック（ｂ1 〜ｂN ）に分割するとともに、文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、音声情報を複数の連続音声区間（連続音声区間情報ｖ1 〜ｖK ）に分割した後、動的計画法により複数の連続音声区間を複数の文書ブロックに分配した結果に基づいて、音声・映像情報と時間的な同期がとられた状態で文書情報を表示させるための同期コンテンツ情報を生成することとしたので、プロジェクタ等の特別な機材を必要とすることなく同期コンテンツ情報を生成することができる。
【０１５８】
また、本発明によれば、各文書ブロックから抽出されたキーワードが文書ブロックに属する場合の確からしさを表すキーワード重み係数ｗn、θ を求め、連続音声区間毎にキーワードの発話頻度βk、n、θ を求めた後、キーワード重み係数ｗn、θ および発話頻度βk、n、θ から決定される評価関数Ｅ（ｘ1、ｘ2、・・・、ｘN ）に基づいて、分配を行うこととしたので、プロジェクタ等の特別な機材を必要とすることなく同期コンテンツ情報を生成することができる。
【０１５９】
以上本発明にかかる実施の形態１および２について図面を参照して詳述してきたが、具体的な構成例はこれらの実施の形態１および２に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
【０１６０】
例えば、前述した実施の形態１および２においては、同期コンテンツ情報生成装置５００または７００の機能を実現するためのプログラムを図２２に示したコンピュータ読み取り可能な記録媒体１６００に記録して、この記録媒体１６００に記録されたプログラムを同図に示したコンピュータ１５００に読み込ませ、実行することにより各機能を実現してもよい。以下、この場合を実施の形態１の変形例２および実施の形態２の変形例として説明する。
【０１６１】
同図に示したコンピュータ１５００は、上記プログラムを実行するＣＰＵ（Central Processing Unit）１５１０と、キーボード、マウス等の入力装置１５２０と、各種データを記憶するＲＯＭ（Read Only Memory）１５３０と、演算パラメータ等を記憶するＲＡＭ（Random Access Memory）１５４０と、記録媒体１６００からプログラムを読み取る読取装置１５５０と、ディスプレイ、プリンタ等の出力装置１５６０と、装置各部を接続するバス１５７０とから構成されている。
【０１６２】
ＣＰＵ１５１０は、読取装置１５５０を経由して記録媒体１６００に記録されているプログラムを読み込んだ後、プログラムを実行することにより、前述した機能を実現する。なお、記録媒体１６００としては、光ディスク、フレキシブルディスク、ハードディスク等が挙げられる。
【０１６３】
また、実施の形態１および２では、会議への適用を一例にとって説明したが、これに限られるものではなく、他分野においても適用可能である。例えば、教育分野の場合には、講師の授業内容を音声・映像情報として蓄積しておき、関連資料と同期させた同期コンテンツ情報を自動生成し、後日、オンライン接続された生徒用コンピュータ装置に、復習用教材として上記コンテンツ情報を用いることで、教育上の高い効果が期待される。
【０１６４】
（付記１）コンピュータを、
文書が電子化された文書情報から特徴的なキーワードを抽出するキーワード抽出手段、
前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出された前記キーワードが出現した時刻順の出現キーワード分布を計測する出現キーワード分布計測手段、
前記出現キーワード分布に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段、
として機能させるための同期コンテンツ情報生成プログラム。
【０１６５】
（付記２）前記同期コンテンツ情報生成手段は、前記音声・映像情報に対応するキーワードの出現分布と、前記出現キーワード分布とが一致した場合に最大値をとる評価関数に基づいて、前記音声・映像情報と前記文書情報との同期をとることを特徴とする付記１に記載の同期コンテンツ情報生成プログラム。
【０１６６】
この付記２に記載の発明によれば、音声・映像情報に対応するキーワードの出現分布と、出現キーワード分布とが一致した場合に最大値をとる評価関数に基づいて、音声・映像情報と文書情報との同期をとることとしたので、プロジェクタ等の特別な機材を必要とすることなく同期コンテンツ情報を生成することができるという効果を奏する。
【０１６７】
（付記３）前記同期コンテンツ情報生成手段は、前記文書情報に含まれるキーワード種別情報に基づいて、前記音声・映像情報と前記文書情報との同期をとることを特徴とする付記１に記載の同期コンテンツ情報生成プログラム。
【０１６８】
この付記３に記載の発明によれば、文書情報に含まれるキーワード種別情報に基づいて、音声・映像情報と文書情報との同期をとることとしたので、キーワード種別（例えば、タイトル、強調文字等）に応じた同期をとることができるという効果を奏する。
【０１６９】
（付記４）文書が電子化された文書情報から特徴的なキーワードを抽出するキーワード抽出手段と、
前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出された前記キーワードが出現した時刻順の出現キーワード分布を計測する出現キーワード分布計測手段と、
前記出現キーワード分布に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段と、
を備えたことを特徴とする同期コンテンツ情報生成装置。
【０１７０】
（付記５）前記同期コンテンツ情報生成手段は、前記音声・映像情報に対応するキーワードの出現分布と、前記出現キーワード分布とが一致した場合に最大値をとる評価関数に基づいて、前記音声・映像情報と前記文書情報との同期をとることを特徴とする付記４に記載の同期コンテンツ情報生成装置。
【０１７１】
（付記６）前記同期コンテンツ情報生成手段は、前記文書情報に含まれるキーワード種別情報に基づいて、前記音声・映像情報と前記文書情報との同期をとることを特徴とする付記４に記載の同期コンテンツ情報生成装置。
【０１７２】
（付記７）文書が電子化された文書情報から特徴的なキーワードを抽出するキーワード抽出工程と、
前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出された前記キーワードが出現した時刻順の出現キーワード分布を計測する出現キーワード分布計測工程と、
前記出現キーワード分布に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成工程と、
を含むことを特徴とする同期コンテンツ情報生成方法。
【０１７３】
（付記８）前記同期コンテンツ情報生成工程では、前記音声・映像情報に対応するキーワードの出現分布と、前記出現キーワード分布とが一致した場合に最大値をとる評価関数に基づいて、前記音声・映像情報と前記文書情報との同期をとることを特徴とする付記７に記載の同期コンテンツ情報生成方法。
【０１７４】
（付記９）前記同期コンテンツ情報生成工程では、前記文書情報に含まれるキーワード種別情報に基づいて、前記音声・映像情報と前記文書情報との同期をとることを特徴とする付記７に記載の同期コンテンツ情報生成方法。
【０１７５】
（付記１０）コンピュータを、
文書が電子化された文書情報を複数の文書ブロックに分割する文書ブロック分割手段、
前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、音声情報を複数の連続音声区間に分割する音声分割手段、
前記複数の連続音声区間を前記複数の文書ブロックに分配する分配手段、
前記分配の結果に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段、
として機能させるための同期コンテンツ情報生成プログラム。
【０１７６】
（付記１１）前記文書ブロック分割手段は、各文書ブロックからキーワードを抽出し、キーワードが文書ブロックに属する場合の確からしさを表すキーワード重み係数を求め、前記音声分割手段は、前記連続音声区間毎に前記キーワードの発話頻度を求め、前記分配手段は、前記キーワード重み係数および前記発話頻度から決定される評価関数に基づいて、前記分配を行うことを特徴とする付記１０に記載の同期コンテンツ情報生成プログラム。
【０１７７】
（付記１２）前記文書ブロック分割手段は、前記文書ブロックにキーワードが出現する頻度を求め、該頻度および前後の文書ブロックにおける頻度に基づいて、前記キーワード重み係数を求めることを特徴とする付記１１に記載の同期コンテンツ情報生成プログラム。
【０１７８】
（付記１３）前記分配手段は、動的計画法を用いて前記分配を行うことを特徴とする付記１０〜１２のいずれか一つに記載の同期コンテンツ情報生成プログラム。
【０１７９】
（付記１４）文書が電子化された文書情報を複数の文書ブロックに分割する文書ブロック分割手段と、
前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、音声情報を複数の連続音声区間に分割する音声分割手段と、
前記複数の連続音声区間を前記複数の文書ブロックに分配する分配手段と、
前記分配の結果に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段と、
を備えたことを特徴とする同期コンテンツ情報生成装置。
【０１８０】
（付記１５）前記文書ブロック分割手段は、各文書ブロックからキーワードを抽出し、キーワードが文書ブロックに属する場合の確からしさを表すキーワード重み係数を求め、前記音声分割手段は、前記連続音声区間毎に前記キーワードの発話頻度を求め、前記分配手段は、前記キーワード重み係数および前記発話頻度から決定される評価関数に基づいて、前記分配を行うことを特徴とする付記１４に記載の同期コンテンツ情報生成装置。
【０１８１】
（付記１６）前記文書ブロック分割手段は、前記文書ブロックにキーワードが出現する頻度を求め、該頻度および前後の文書ブロックにおける頻度に基づいて、前記キーワード重み係数を求めることを特徴とする付記１５に記載の同期コンテンツ情報生成装置。
【０１８２】
（付記１７）前記分配手段は、動的計画法を用いて前記分配を行うことを特徴とする付記１４〜１６のいずれか一つに記載の同期コンテンツ情報生成装置。
【０１８３】
（付記１８）文書が電子化された文書情報を複数の文書ブロックに分割する文書ブロック分割工程と、
前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、音声情報を複数の連続音声区間に分割する音声分割工程と、
前記複数の連続音声区間を前記複数の文書ブロックに分配する分配工程と、
前記分配の結果に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成工程と、
を含むことを特徴とする同期コンテンツ情報生成方法。
【０１８４】
（付記１９）前記文書ブロック分割工程では、各文書ブロックからキーワードを抽出し、キーワードが文書ブロックに属する場合の確からしさを表すキーワード重み係数を求め、前記音声分割工程では、前記連続音声区間毎に前記キーワードの発話頻度を求め、前記分配工程では、前記キーワード重み係数および前記発話頻度から決定される評価関数に基づいて、前記分配を行うことを特徴とする付記１８に記載の同期コンテンツ情報生成方法。
【０１８５】
（付記２０）前記文書ブロック分割工程では、前記文書ブロックにキーワードが出現する頻度を求め、該頻度および前後の文書ブロックにおける頻度に基づいて、前記キーワード重み係数を求めることを特徴とする付記１９に記載の同期コンテンツ情報生成方法。
【０１８６】
（付記２１）前記分配工程では、動的計画法を用いて前記分配を行うことを特徴とする付記１８〜２０のいずれか一つに記載の同期コンテンツ情報生成方法。
【０１８７】
【発明の効果】
以上説明したように、本発明によれば、文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出されたキーワードが出現した時刻順の出現キーワード分布を計測し、音声・映像情報と時間的な同期がとられた状態で文書情報を表示させるための同期コンテンツ情報を生成することとしたので、プロジェクタ等の特別な機材を必要とすることなく同期コンテンツ情報を生成することができるという効果を奏する。
【０１８８】
また、本発明によれば、文書が電子化された文書情報を複数の文書ブロックに分割するとともに、文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、音声情報を複数の連続音声区間に分割した後、複数の連続音声区間を複数の文書ブロックに分配した結果に基づいて、音声・映像情報と時間的な同期がとられた状態で文書情報を表示させるための同期コンテンツ情報を生成することとしたので、プロジェクタ等の特別な機材を必要とすることなく同期コンテンツ情報を生成することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明にかかる実施の形態１の構成を示すブロック図である。
【図２】図１に示した文書情報データベース５２０に格納される文書情報５２１の構造を示す図である。
【図３】図１に示した音声・映像情報データベース５３０に格納される音声・映像情報５３１の構造を示す図である。
【図４】図１に示した同期コンテンツ情報データベース５４０に格納される同期コンテンツ情報５４１の構造を示す図である。
【図５】図４に示した同期コンテンツ情報５４１の具体例を示す図である。
【図６】図４に示した同期コンテンツ情報５４１に対応する再生画面フォーマット６００を示す図である。
【図７】同実施の形態１の動作を説明するフローチャートである。
【図８】図７に示した初期化処理を説明するフローチャートである。
【図９】同実施の形態１の動作を説明する図である。
【図１０】同実施の形態１の動作を説明する図である。
【図１１】同実施の形態１の変形例１の動作を説明する図である。
【図１２】同実施の形態１の変形例１の動作を説明するフローチャートである。
【図１３】同実施の形態１の変形例１の動作を説明する図である。
【図１４】同実施の形態１の変形例１に適用されるルールを説明する図である。
【図１５】本発明にかかる実施の形態２の構成を示すブロック図である。
【図１６】図１５に示した連続音声区間情報データベース７２０に格納される連続音声区間情報７２１の構造を示す図である。
【図１７】図１５に示した音声解析部７１２における連続音声区間情報の生成原理を説明する図である。
【図１８】図１５に示した同期コンテンツ情報データベース７３０に格納される同期コンテンツ情報７３１の構造を示す図である。
【図１９】図１８に示した同期コンテンツ情報７３１の具体例を示す図である。
【図２０】同実施の形態２の動作を説明する図である。
【図２１】同実施の形態２の動作を説明するフローチャートである。
【図２２】同実施の形態１の変形例２および実施の形態２の変形例の構成を示すブロック図である。
【図２３】従来の同期コンテンツ情報生成システムの構成を示すブロック図である。
【符号の説明】
１００ ビデオカメラ装置
３００ 文書作成装置
４００ 再生装置
５００ 同期コンテンツ情報生成装置
５０２ 制御部
５０３ 同期情報生成部
５０４ キーワード抽出部
５０５ 形態素解析部
５０６ 統計量解析部
５０７ 重み算出部
５０８ 音声解析部
５０９ 同期情報解析部
７００ 同期コンテンツ情報生成装置
７１０ 同期情報生成部
７１１ キーワード抽出部
７１２ 音声解析部
７１３ 同期情報解析部
７１４ 同期コンテンツ情報生成部
７１５ 同期コンテンツ情報編集部
【発明の属する技術分野】
本発明は、企業内での情報共有、教育分野、エンターテイメント分野などにおいて、音声・映像情報と電子化された文書情報とを同期させた同期コンテンツ情報の生成に用いられる同期コンテンツ情報生成プログラム、同期コンテンツ情報生成装置および同期コンテンツ情報生成方法に関するものであり、特に、音声・映像情報と文書情報とを時間的に同期表示するための同期コンテンツ情報をプロジェクタ等の特別な機材を必要とすることなく生成することができる同期コンテンツ情報生成プログラム、同期コンテンツ情報生成装置および同期コンテンツ情報生成方法に関するものである。
【０００２】
近年では、サーバ上のストレージコストの低減とネットワークの広帯域化により、デジタル化された音声・映像情報（ビデオ情報）の蓄積と配信が安価かつ簡便に行えるようになってきている。
【０００３】
このことから、企業内の会議においては、配布資料や議事録などのテキスト主体の関連資料で会議進行を行うだけでなく、ビデオカメラ装置を併用して音声・映像情報を配信することが可能となっている。従って、企業においては、音声・映像情報と関連資料とを関連付けて表示することでリアルタイムに会議に参加できなかったメンバーにも詳細な内容を伝えることが可能となっている。
【０００４】
【従来の技術】
図２３は、従来の同期コンテンツ情報生成システムの構成を示すブロック図である。この同期コンテンツ情報生成システムは、例えば、会議で用いられ、出席者に配布された複数ページからなる文書（関連資料）と、該文書を用いたプレゼンテーションの様子が録画された音声・映像情報とを同期させた同期コンテンツ情報を生成するシステムである。
【０００５】
ビデオカメラ装置１０は、文書を用いたプレゼンテーションの様子を録画する装置であり、音声および映像を音声・映像情報１１として同期コンテンツ情報生成装置３０へ出力する。プロジェクタ２０は、プレゼンタの操作に従って、電子化文書情報２１をスクリーンにページ単位で拡大表示する装置である。電子化文書情報２１は、会議出席者に配布された文書が電子化されたものである。
【０００６】
また、プロジェクタ２０は、プレゼンタの操作により、電子化文書情報２１のページが次のページに遷移した時刻を同期情報２２として、同期コンテンツ情報生成装置３０へ出力する。つまり、プロジェクタ２０からは、プロジェクタに表示されているページが次ページに遷移する毎に、ページの区切りを表す同期情報２２が出力される。
【０００７】
すなわち、同期情報２２は、音声・映像情報１１を再生した場合の時間軸上で、電子化文書情報２１の各ページがどの時間帯に同期（対応）しているかを表す情報である。
【０００８】
同期コンテンツ情報生成装置３０は、音声・映像情報１１、電子化文書情報２１および同期情報２２に基づいて、同期コンテンツ情報３３を生成する装置である。データベース３１には、音声・映像情報１１、電子化文書情報２１および同期情報２２が格納されている。
【０００９】
同期コンテンツ情報生成部３２は、データベース３１から音声・映像情報１１、電子化文書情報２１および同期情報２２を取得し、同期コンテンツ情報３３を生成する。
【００１０】
この同期コンテンツ情報３３は、ＳＭＩＬ(Synchronized Multimedia Integration Language)等のシナリオ言語や、Java(R)Scriptなどのスクリプト言語等によって記述されている。また、同期コンテンツ情報３３は、電子化文書情報２１の各ページと、音声・映像情報１１の再生時間軸上での時間帯とを同期情報２２によって対応付けた情報である。
【００１１】
再生装置４０は、ＳＭＩＬ再生ソフトなどのブラウザを備えており、同期コンテンツ情報３３を再生するための装置である。同期コンテンツ情報３３は、会議に出席できなかった視聴者により、視聴される。この再生装置４０においては、音声・映像情報１１の再生音声・映像と、これらに同期した電子化文書情報２１のページとが表示される。
【００１２】
【発明が解決しようとする課題】
ところで、前述したように、従来の同期コンテンツ情報生成システムにおいては、▲１▼プレゼンテーション時に電子化文書情報２１がなければいけない（後日入手では不可）、▲２▼音声・映像情報１１の再生時間軸と、電子化文書情報２１の各ページとの対応関係を表す同期情報２２を出力する特別なプロジェクタ２０が必要、▲３▼プロジェクタ２０を用いたプレゼンテーションにしか対応できない（プレゼンテーション開始時点で電子化されておらず紙媒体のみで作成された資料には対応できない）などの問題点があった。
【００１３】
本発明は、上記に鑑みてなされたもので、音声・映像情報と文書情報とを時間的に同期表示するための同期コンテンツ情報をプロジェクタ等の特別な機材を必要とすることなく生成することができる同期コンテンツ情報生成プログラム、同期コンテンツ情報生成装置および同期コンテンツ情報生成方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、本発明は、コンピュータを、文書が電子化された文書情報から特徴的なキーワードを抽出するキーワード抽出手段、前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出された前記キーワードが出現した時刻順の出現キーワード分布を計測する出現キーワード分布計測手段、前記出現キーワード分布に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段として機能させるための同期コンテンツ情報生成プログラムである。
【００１５】
また、本発明は、文書が電子化された文書情報から特徴的なキーワードを抽出するキーワード抽出手段と、前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出された前記キーワードが出現した時刻順の出現キーワード分布を計測する出現キーワード分布計測手段と、前記出現キーワード分布に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段とを備えたことを特徴とする。
【００１６】
また、本発明は、文書が電子化された文書情報から特徴的なキーワードを抽出するキーワード抽出工程と、前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出された前記キーワードが出現した時刻順の出現キーワード分布を計測する出現キーワード分布計測工程と、前記出現キーワード分布に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成工程とを含むことを特徴とする。
【００１７】
かかる発明によれば、文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出されたキーワードが出現した時刻順の出現キーワード分布を計測し、音声・映像情報と時間的な同期がとられた状態で文書情報を表示させるための同期コンテンツ情報を生成することとしたので、プロジェクタ等の特別な機材を必要とすることなく同期コンテンツ情報を生成することができる。
【００１８】
また、本発明は、コンピュータを、文書が電子化された文書情報を複数の文書ブロックに分割する文書ブロック分割手段、前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、音声情報を複数の連続音声区間に分割する音声分割手段、前記複数の連続音声区間を前記複数の文書ブロックに分配する分配手段、前記分配の結果に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段、として機能させるための同期コンテンツ情報生成プログラムである。
【００１９】
また、本発明は、文書が電子化された文書情報を複数の文書ブロックに分割する文書ブロック分割手段と、前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、音声情報を複数の連続音声区間に分割する音声分割手段と、前記複数の連続音声区間を前記複数の文書ブロックに分配する分配手段と、前記分配の結果に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段と、を備えたことを特徴とする。
【００２０】
かかる本発明によれば、文書が電子化された文書情報を複数の文書ブロックに分割するとともに、文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、音声情報を複数の連続音声区間に分割した後、複数の連続音声区間を複数の文書ブロックに分配した結果に基づいて、音声・映像情報と時間的な同期がとられた状態で文書情報を表示させるための同期コンテンツ情報を生成することとしたので、プロジェクタ等の特別な機材を必要とすることなく同期コンテンツ情報を生成することができる。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明にかかる同期コンテンツ情報生成プログラム、同期コンテンツ情報生成装置および同期コンテンツ情報生成方法の実施の形態１および２について詳細に説明する。
【００２２】
（実施の形態１）
図１は、本発明にかかる実施の形態１の構成を示すブロック図である。この図には、ビデオカメラ装置１００、ネットワーク２００、文書作成装置３００、再生装置４００および同期コンテンツ情報生成装置５００から構成された同期コンテンツ情報生成システムが図示されている。
【００２３】
この同期コンテンツ情報生成システムは、従来のプロジェクタ２０（図２３参照）等の特別な機材を必要とすることなく、会議で用いられる複数ページからなる文書情報と、該文書を用いたプレゼンテーションの様子が録画された音声・映像情報とを同期させた同期コンテンツ情報を、プレゼンタの音声認識と文書に含まれるキーワードの解析とに基づいて生成するシステムである。
【００２４】
ビデオカメラ装置１００は、文書を用いたプレゼンテーションの様子を録画する装置である。このビデオカメラ装置１００において、通信部１０１は、ネットワーク２００に接続されており、所定の通信プロトコルに従って、同期コンテンツ情報生成装置５００との間の通信を制御する。
【００２５】
カメラ１０２は、プレゼンテーションの様子を撮像し、映像情報を出力する。マイクロフォン１０３は、プレゼンタの音声を音声情報に変換する。符号化部１０４は、カメラ１０２からの映像情報をＭＰＥＧ（Motion Picture Experts Group）４等のビデオ圧縮形式に変換するとともに、マイクロフォン１０３からの音声情報をＭＰ３（MPEG Audio Layer-3）等のオーディオ圧縮形式に変換し、音声・映像情報として同期コンテンツ情報生成装置５００へ出力する。
【００２６】
なお、ビデオカメラ装置１００からは、リアルタイムで、または会議終了後に一括して、音声・映像情報が同期コンテンツ情報生成装置５００へ出力される。
【００２７】
文書作成装置３００は、ワードプロセッサや作図装置として機能し、プレゼンテーション用の（電子化）文書を作成する装置であり、文書情報を同期コンテンツ情報生成装置５００へ出力する。入力部３０１は、キーボード、マウス等である。表示部３０２は、文書の編集画面等を表示するディスプレイである。
【００２８】
ここで、実施の形態１では、プレゼンテーションの当日までに文書作成装置３００で文書情報を作成する場合と、手書きの文書を用いてプレゼンテーションを実施した後、この手書き文書を文書作成装置３００で電子化し、文書情報を作成する場合という２つのケースのいずれにおいても同期コンテンツ情報の生成が可能とされている。
【００２９】
再生装置４００は、ＳＭＩＬ再生ソフトなどのブラウザを備えており、同期コンテンツ情報生成装置５００で生成された同期コンテンツ情報（音声情報、映像情報および文書情報）を再生するための装置であり、入力部４０１および表示部４０２を備えている。
【００３０】
同期コンテンツ情報は、会議に出席できなかった視聴者により、視聴される。この再生装置４００の表示部４０２には、再生画面フォーマット６００（図６参照）に従って、映像およびページ単位（ブロック単位でも可）の文書の双方が時間的に同期がとられた状態で表示される。
【００３１】
同期コンテンツ情報生成装置５００は、文書情報データベース５２０に格納された文書情報（図２参照）、音声・映像情報データベース５３０に格納された音声・映像情報（図３参照）に基づいて同期情報を生成した後、同期コンテンツ情報を生成する装置である。
【００３２】
同期情報は、文書情報の各ページと、音声・映像情報の再生時間軸上での時間帯との対応関係を定義付ける情報である。同期コンテンツ情報は、文書情報の各ページと、音声・映像情報の再生時間軸上での時間帯とを同期情報によって対応付けた情報である。
【００３３】
この同期コンテンツ情報生成装置５００において、通信部５０１は、ネットワーク２００に接続されており、所定の通信プロトコルに従って、ビデオカメラ装置１００、文書作成装置３００および再生装置４００との間の通信を制御する。
【００３４】
制御部５０２は、装置各部を制御する。例えば、制御部５０２は、データベース制御を行う。具体的には、制御部５０２は、ビデオカメラ装置１００からの音声・映像情報を音声・映像情報データベース５３０に格納する。
【００３５】
また、制御部５０２は、文書作成装置３００からの文書情報を文書情報データベース５２０に格納する。また、制御部５０２は、後述する同期コンテンツ情報生成部５１０で生成された同期コンテンツ情報を同期コンテンツ情報データベース５４０に格納する。
【００３６】
同期情報生成部５０３は、音声・映像情報データベース５３０から取得した音声・映像情報と、文書情報データベース５２０から取得した文書情報とを解析し、上述した同期情報を生成する。同期情報は、音声・映像情報を再生した場合の時間軸上で、文書情報の各ページ（または各ブロック）がどの時間帯に同期（対応）しているかを表す情報である。
【００３７】
キーワード抽出部５０４は、形態素解析部５０５、統計量解析部５０６および重み算出部５０７から構成されており、文書情報データベース５２０から取得した文書情報の各ページのテキストについて形態素解析を実行し、ページ単位で固有名詞をキーワードとして抽出する。
【００３８】
形態素解析部５０５は、文書情報に対して形態素解析を実行する。統計量解析部５０６は、キーワード毎に各ページ中の出現回数を計測し、ページ毎の出現回数平均等の統計量を解析する。重み算出部５０７は、統計量を元にして後述する重み係数配列を算出する。
【００３９】
音声解析部５０８は、キーワード抽出部５０４で抽出された（文書）キーワードの配列をキーとして、音声・映像情報データベース５３０から取得した音声・映像情報に含まれる音声情報に関して音声解析した結果のうち、上記（文書）キーワードに対応する（音声）キーワードの出現時刻の配列を求める。
【００４０】
同期情報解析部５０９は、上述したキーワードの配列、出現時刻の配列等から文書情報の各ページの表示時刻の配列を同期情報として求める。同期コンテンツ情報生成部５１０は、文書情報、音声・映像情報および同期情報から、ＳＭＩＬ等によって記述された同期コンテンツ情報（図５参照）を生成する。同期コンテンツ情報編集部５１１は、同期コンテンツ情報生成部５１０で生成された同期コンテンツ情報を編集する機能を備えている。
【００４１】
図２は、図１に示した文書情報データベース５２０に格納される文書情報５２１の構造を示す図である。この文書情報５２１は、文書作成装置３００から出力される情報である。文書情報５２１において、文書情報ＩＤ５２２は、当該文書を識別するための識別子である。この文書のページ数は、Ｍである。プロジェクトＩＤ５２３は、上記文書が用いられるプロジェクトを識別するための識別子である。
【００４２】
文書情報本体５２４は、Ｍページ分の文書情報であり、１ページ情報５２５1〜Ｍページ情報５２５M から構成されている。１ページ情報５２５1 は、１ページ目の文書情報であり、レイアウト情報５２６1 、テキスト情報５２７1 および画像情報５２８1 から構成されている。
【００４３】
レイアウト情報５２６1 は、当該ページにおけるテキスト、画像のレイアウトを指定するための情報である。テキスト情報５２７1 は、当該ページに掲載されたテキストの情報であり、前述したキーワード抽出の対象とされる。画像情報５２８1 は、当該ページに掲載された画像の情報である。
【００４４】
図３は、図１に示した音声・映像情報データベース５３０に格納される音声・映像情報５３１の構造を示す図である。この音声・映像情報５３１は、ビデオカメラ装置１００から出力される情報である。音声・映像情報５３１において、音声・映像情報ＩＤ５３２は、当該音声・映像情報を識別するための識別子である。
【００４５】
プロジェクトＩＤ５３３は、プロジェクトＩＤ５２３（図２参照）と同義である。音声・映像情報本体５３４は、音声・映像情報の本体であり、再生時間情報５３５、音声情報５３６および映像情報５３７から構成されている。再生時間情報５３５は、音声・映像情報を再生する際の時間情報である。
【００４６】
音声情報５３６は、マイクロフォン１０３からの音声情報に対応しており、プレゼンタの音声（当該文書を読み上げる音声や説明する音声等）の情報である。映像情報５３７は、カメラ１０２からの映像情報に対応しており、プレゼンテーションの様子の情報である。
【００４７】
図４は、図１に示した同期コンテンツ情報データベース５４０に格納される同期コンテンツ情報５４１の構造を示す図である。この同期コンテンツ情報５４１は、同期コンテンツ情報生成部５１０で生成される情報である。同期コンテンツ情報５４１において、同期コンテンツ情報ＩＤ５４２は、当該同期コンテンツを識別するための識別情報である。プロジェクトＩＤ５４３は、プロジェクトＩＤ５２３（図２参照）およびプロジェクトＩＤ５３３（図３参照）に対応している。
【００４８】
オーサリング情報５４４は、文書情報ＩＤ５４５、音声・映像情報ＩＤ５４６および同期情報５４７から構成されている。文書情報ＩＤ５４５は、文書情報ＩＤ５２２（図２参照）に対応している。音声・映像情報ＩＤ５４６は、音声・映像情報ＩＤ５３２（図３参照）に対応している。同期情報５４７は、同期情報解析部５０９より入力される情報である。
【００４９】
同期コンテンツ情報本体５４８は、同期コンテンツ情報の本体であり、図５に示したように、ＳＭＩＬで記述されている。この同期コンテンツ情報本体５４８では、音声・映像情報の再生時間軸上での当該文書のページの同期表示に関する開始時刻、表示終了時刻や、図６に示した再生画面フォーマット６００の画面サイズ、映像表示領域６０１、文書表示領域６０２等が設定される。
【００５０】
この再生画面フォーマット６００は、再生装置４００の表示部４０２に表示される。また、映像表示領域６０１には、音声・映像情報のうち映像情報が表示される。なお、音声情報は、再生装置４００（図１参照）のスピーカ（図示略）により再生される。文書表示領域６０２には、同期情報に対応する文書の当該ページが表示される。
【００５１】
つぎに、実施の形態１の動作について、図７および図８に示したフローチャート、図９および図１０を参照しつつ説明する。会議においては、例えば、紙媒体に印刷された紙文書が出席者に配布される。
【００５２】
そして、会議が始まると、プレゼンタは、紙文書を参照しながら、プレゼンテーションを実施する。このとき、プレゼンタは、紙文書のページを順番にめくりつつ当該ページ記載された一部のテキストを読み上げることになる。特に、そのページの特徴を表すキーワードは頻繁に読み上げられる傾向にある。
【００５３】
会議中においては、図１に示したビデオカメラ装置１００からは、プレゼンタの音声およびプレゼンテーションの様子に対応する音声・映像情報がネットワーク２００を介して同期コンテンツ情報生成装置５００へ出力される。この音声・映像情報は、制御部５０２により音声・映像情報データベース５３０に格納される。
【００５４】
ここで、文書作成装置３００からは、会議前または会議終了後に上記紙文書に対応する文書情報が同期コンテンツ情報生成装置５００へ出力される。この文書情報は、制御部５０２により文書情報データベース５２０に格納される。
【００５５】
そして、会議が終了すると、同期コンテンツ情報生成装置５００では、同期コンテンツ情報の生成処理が実行される。まず、キーワード抽出部５０４では、文書情報データベース５２０の文書情報からキーワードを抽出するキーワード抽出処理が実行される。
【００５６】
具体的には、形態素解析部５０５は、文書情報データベース５２０から文書情報を取得した後、ページ単位で形態素解析を実行し、固有名詞を抽出してページ毎のキーワードとする。ここで、全ページ中に出現するキーワードｋ1 〜ｋN の集合は、キーワード配列Ｋとしての（１）式で表される。
【数１】
また、文書情報の各ページ（ｂ1 〜ｂM ）は、文書ページ配列Ｂとしての（２）式で表される。
【数２】
つぎに、統計量解析部５０６は、キーワード毎に各ページ中の出現回数を計測し、ページ毎の出現回数平均μ等の統計量を算出する。重み算出部５０７は、統計量を元にして、つぎの（３）式で表される重み係数配列Ｗを算出する。
【数３】
重み係数配列Ｗは、Ｍ（全ページ数）×Ｎ（全キーワード数）の配列となる。この重み係数配列Ｗの要素ｗm,n は、キーワードｋnの出現回数平均をμn 、ページｂm 中の出現回数をｘm とするとつぎの（４）式から算出される。
【数４】
要素ｗm,n は、ｍページ目でのキーワードｋn の重み付け係数である。ここで、Ｅ（ｋn）は、キーワードｋn がページｂm 中のタイトル、段落や項目名、太字や下線などの修飾を施されていた場合に１、それ以外は０となる関数である。ＡおよびＢは、重み係数のための定数である。キーワード抽出部５０４からは、キーワード配列Ｋおよび重み係数配列Ｗが出力される。
【００６１】
つぎに、音声解析部５０８は、音声・映像情報データベース５３０から音声・映像情報を取得する。音声解析部５０８は、キーワード配列Ｋ中の各要素を用いて、音声・映像情報の音声情報に関して音声解析を行い、該当キーワードの出現時刻を計測する。
【００６２】
具体的には、音声解析部５０８は、ＭＰ３等で圧縮された音声情報を復元してＰＣＭ（Pulse Code Modulation）で変換し、これを用いて周知のワードスポッティング方式によりキーワードの出現時刻を抽出する。ワードスポッティング方式は、音声入力に対して発音される言葉全てではなく、重要単語のみを認識する音声技術である。
【００６３】
つぎに、音声解析部５０８は、認識したキーワードを時刻順でソートした出現キーワードｒ1 〜ｒp の配列を出現キーワード配列Ｒ（（５）式参照）とし、出現キーワードｒ1 〜ｒp のそれぞれに対応する出現時刻ｔ1〜ｔp の配列を出現時刻配列Ｔ（（６）式参照）とする。
【数５】
すなわち、図９に示した音声・映像情報を再生した場合の時間軸上において、出現キーワード配列Ｒに含まれる出現キーワードｒ1 は、出現時刻配列Ｔに含まれる出現時刻ｔ1 でプレゼンタにより発音されたことを意味している。
【００６５】
出現キーワード配列Ｒの要素はキーワード配列Ｋの要素と同じ値であり、キーワードが音声情報中に複数回出現するときは複数個の同じ要素が存在することになる。音声解析部５０８は、つぎの（７）式によって各キーワードｒp に対応する重み付け係数ωm,P の配列である出現キーワード重み係数配列Ωを求める。
【数７】
重み付け係数ωm,P は、ｍページ目に出現キーワードｒP が出現する確からしさをあらわす係数である。ここで、出現キーワードｒP の出現順番は、キーワード配列Ｋのインデックス順番とは限らず、複数回出現することもあるため、出現頻度順にインデックスを付け替えた出現キーワード配列Ｒが作成される。
【００６７】
図９には、キーワード配列Ｋに関する重み係数配列Ｗと、出現キーワード配列Ｒに関する出現キーワード重み係数配列Ωとの対応関係が図示されている。ここで、音声情報の中でｐ１番目とｐ２番目にキーワードｋn が出現したとする。このとき、出現キーワードｒp1 と出現キーワードｒp2 は、キーワードｋn に等しい。
【００６８】
従って、出現キーワード重み係数配列Ω中での出現キーワードｒp1 と、出現キーワードｒp2 と重み係数を表すｐ１列とｐ２列は、重み係数配列Ｗ中でキーワードｋn の重み係数を表すｎ列をコピーしたものとなる。全ての出現キーワード配列Ｒの要素に対して、対応するキーワードｋの重み係数をコピーすることで、出現キーワード重み係数配列Ωが作成される。
【００６９】
つぎに、同期情報解析部５０９は、出現キーワード配列Ｒ、出現時刻配列Ｔおよび出現キーワード重み係数配列Ωから、文書情報の各ページ（１ページからＭページ）の表示開始時刻ｓ1 〜ｓM の配列である表示開始時刻配列Ｓ（（８）式参照）を求める。
【数８】
図１０には、音声・映像情報を再生した場合の時間軸と、上記表示開始時刻ｓ1 〜ｓM との関係が図示されている。これらの表示開始時刻ｓ1 〜ｓM は、同期情報である。例えば、表示開始時刻ｓm では、ｍページ目の文書情報が表示される。詳細には、ページｂm は、表示開始時刻ｓm で表示を開始し、ｓm+1 で表示を終了する。
【００７１】
ここで、最適な表示開始時刻の組み合わせは、つぎの（９）式で表される評価関数Ｆ（Ｓ）の値を最大にするものとして定義される。
【数９】
評価関数Ｆ（Ｓ）は、音声認識によるキーワードの出現時刻の分布が、文書情報からのキーワードの出現時間の分布と一致した場合に最大値をとる関数である。つぎに、同期情報解析部５０９は、表示開始時刻ｓm のとりうる値を出現時刻配列Ｔに限定して、後述する探索アルゴリズムにより評価関数Ｆ（Ｓ）を局所的に最大化する表示開始時刻配列Ｓを求める。
【００７３】
具体的には、図７に示したステップＳＡ１では、同期情報解析部５０９は、図８に示した初期化処理を実行する。この初期化処理では、図１０に示した時間軸上に表示開始時刻ｓ1 〜ｓM が等時間間隔で設定される。すなわち、初期化処理においては、各ページが等時間でめくられたと仮定されている。
【００７４】
初期化処理において、図８に示したステップＳＢ１では、同期情報解析部５０９は、ｍに２を代入する。ステップＳＢ２では、同期情報解析部５０９は、表示開始時刻ｓ1 を０として、つぎの（１０）式に、ｍ（＝２）、音声・映像情報の総再生時間Ｄ、ページ数Ｍを代入し、表示開始時刻ｓm（この場合、ｓ2）を求める。
【数１０】
ステップＳＢ３では、同期情報解析部５０９は、ｍがページ数Ｍと等しいか否かを判断し、この場合、判断結果を「Ｎｏ」とする。ステップＳＢ４では、同期情報解析部５０９は、ｍを１インクリメントする。以後、ステップＳＢ２以降が繰り返し実行される。そして、ステップＳＢ３の判断結果が「Ｙｅｓ」になると、図１０に示した表示開始時刻ｓ1 〜ｓM が等時間間隔で設定される。
【００７６】
図７に示したステップＳＡ２〜ステップＳＡ６では、図１０に示したｍ＝２〜Ｍについて、表示開始時刻ｓm をｓm-1 〜ｓm+1 の区間で移動させて評価関数Ｆ（Ｓ）を計算する区間探索が行われ、最大の評価関数Ｆ（Ｓ）となるキーワードの出現時刻ｔ（（６）式参照）を新しい表示開始時刻ｓm とする。この表示開始時刻ｓm は、出現時刻配列Ｔ（（６）式参照）の出現時刻ｔ1 〜ｔP のうちいずれかの出現時刻である条件を満たすように上記区間で移動される。
【００７７】
そして、全てのｍについての区間探索が終了すると、区間探索が１ターン終了する。１ターン終了後、前回のターン終了時の前回評価関数Ｆ0 と現在の評価関数Ｆ（Ｓ）とを比較して、値の増加分が誤差Δの範囲内であったとき処理が終了する。それ以外は再度区間探索が実行される。
【００７８】
具体的には、図７に示したステップＳＡ２では、同期情報解析部５０９は、前回評価関数Ｆ0 に０を代入する。ステップＳＡ３では、同期情報解析部５０９は、ｍに２を代入する。ステップＳＡ４では、同期情報解析部５０９は、図１０に示した表示開始時刻ｓm をｓm-1 〜ｓm+1 の区間で移動（この場合、ｓ2 をｓ1 〜ｓ3 の区間で移動）させて最大の評価関数Ｆ（Ｓ）（（９）式参照）となるキーワードの出現時刻ｔ（（６）式参照）を新しい表示開始時刻ｓm とする。
【００７９】
ステップＳＡ５では、同期情報解析部５０９は、ｍがページ数Ｍと等しいか否かを判断し、この場合、判断結果を「Ｎｏ」とする。ステップＳＡ７では、同期情報解析部５０９は、ｍを１インクリメントする。以後、ステップＳＡ４では、図１０に示した時間軸上で表示開始時刻ｓm が１つずつ右シフトし、上記探索が繰り返される。
【００８０】
そして、ステップＳＡ５の判断結果が「Ｙｅｓ」になると、すなわち、１ターンの区間探索が終了すると、ステップＳＡ６では、同期情報解析部５０９は、現在の評価関数Ｆ（Ｓ）が、前回評価関数Ｆ0 と誤差Δとの和を超えているか否かを判断する。この判断結果が「Ｙｅｓ」である場合、同期情報解析部５０９は、現在の評価関数Ｆ（Ｓ）を前回評価関数Ｆ0 に代入した後、ステップＳＡ３以降の処理を繰り返す。
【００８１】
そして、ステップＳＡ６の判断結果が「Ｎｏ」になると、同期情報解析部５０９は、一連の処理を終了する。これにより、表示開始時刻配列Ｓ（（８）式参照）の開始時刻ｓ1 〜ｓM が確定する。
【００８２】
つぎに、同期コンテンツ情報生成部５１０は、同期情報解析部５０９からの表示開始時刻配列Ｓ、文書情報および音声・映像情報から、例えば、図５に示した同期コンテンツ情報５４１を生成し、同期コンテンツ情報データベース５４０に格納する。
【００８３】
この同期コンテンツ情報５４１において、「電子化文書の１ページ目データ begin＝ｓ1 」は、表示開始時刻配列Ｓに含まれる表示開始時刻ｓ1 に対応している。従って、１ページ目の文書情報は、図１０に示した音声・映像情報の時間軸上の表示開始時刻ｓ1 で表示が開始され、end=ｓ2 に表示が終了する。
【００８４】
そして、再生装置４００から再生要求があると、制御部５０２は、同期コンテンツ情報データベース５４０から同期コンテンツ情報５４１（図５参照）を読み出し、これを再生装置４００へ送信する。
【００８５】
これにより、再生装置４００では、同期コンテンツ情報５４１に対応する再生画面フォーマット６００に基づいて、音声・映像情報および文書情報が再生される。ここで、文書の各ページは、表示開始時刻配列Ｓに基づくタイミングで、映像に並行して順次表示される。
【００８６】
以上説明したように、実施の形態１によれば、文書を用いた会議等の様子がビデオカメラ装置１００により録音・撮像された音声・映像情報に基づいて、キーワード抽出部５０４で抽出されたキーワードが出現した時刻順の出現キーワード分布を計測し、音声・映像情報と時間的な同期がとられた状態で文書情報を表示部４０２に表示させるための同期コンテンツ情報を生成することとしたので、プロジェクタ等の特別な機材を必要とすることなく同期コンテンツ情報を生成することができる。
【００８７】
なお、実施の形態１では、図８に示した初期化処理（図１０参照）で、表示開始時刻ｓ1 〜ｓM を等時間間隔で初期値として設定する方法について説明したが、図１１に示したように、文書中のキーワードに関する下線、太字、フォントサイズなどの文字修飾や、タイトル、章名などの文書中のレイアウト情報を利用して表示開始時刻ｓ1 〜ｓM を初期値として設定してもよい。
【００８８】
以下では、実施の形態１の変形例１として説明する。この変形例１では、図１に示した形態素解析部５０５は、文書情報に含まれるページタイトルや下線、太字、前後に比べて著しくフォントサイズの大きい単語もキーワードとして抽出すると共に、キーワード種別ａ1 〜ａN の集合をつぎの（１１）式で表されるキーワード種別配列Ａとする。
【数１１】
キーワード種別ａn において、１は、キーワード種別がページタイトルの場合である。２は、キーワード種別が文字修飾単語の場合である。０は、上記ページタイトルおよび文字修飾単語以外のキーワードの場合である。
【００９０】
また、変形例１では、音声解析部５０８は、前述と同様にして、出現キーワード配列Ｒ（（５）式参照）および出現時刻配列Ｔ（（６）式参照）を求める。また、音声解析部５０８は、図１３に示したキーワード種別配列Ａの要素を時刻順でソートした出現キーワード種別ｑ1 〜ｑp の配列をつぎの（１２）式で表される出現キーワード種別配列Ｑとする。
【数１２】
つぎに、同期コンテンツ情報生成部５１０は、出現キーワード配列Ｒ、出現時刻配列Ｔおよび出現キーワード種別配列Ｑから、図１４に示したルールによってｍページ目（ｂm ）の表示を開始する表示開始時刻ｓm を決定する。ここで、ルール１は、「出現キーワード種別ｑp が１または２の値である。」というものである。
【００９２】
ルール２は、「出現キーワードｒp は、ｍページ目だけに含まれる唯一のキーワードである。」というものである。ルール３は、「以下のルール３−１または３−２のいずれか一方を満たしている。」というものである。ルール３−１は、「出現キーワード配列Ｒに出現キーワードｒp ＝ｒu となる出現キーワードｒu が存在しない。」というものである。ルール３−２は、「出現キーワード配列Ｒに出現キーワードｒp＝ｒuとなる出現キーワードｒu がある場合、ｐ、ｕが０＜ｔu−ｔp＜Δｔの関係満たす。」というものである。
【００９３】
以上の条件を同時に満たすｍとｐがあるとき、時刻ｔp を表示開始時刻ｓm の初期値として設定される。なお、Δｔは十分に小さな時間であり、例えば、１ページあたりの平均表示時間（Ｄ/Ｍ）の１０％以下に設定する。また、本ルールでは、全ての表示開始時刻ｓm について値を確定できるわけではなく、確定できなかった表示開始時刻ｓm については未確定区間の均等分割により値が確定される。
【００９４】
図１１には、音声・映像情報の時間軸上で１点のみ表示開始時刻ｓm の値が確定できた場合が図示されている。なお、前後の未確定区間については、表示開始時刻の初期値が均等時間割りされる。
【００９５】
具体的には、変形例１では、図８に示した初期化処理に代えて、図１２に示した初期化処理が同期情報解析部５０９により実行される。図１２に示したステップＳＣ１では、ｍに１が代入される。ステップＳＣ２では、ｐに１が代入される。ステップＳＣ３では、ｍ、ｐによりルール１〜３（図１４参照）が満たされているか否かが判断され、この場合、判断結果が「Ｎｏ」とされる。なお、ステップＳＣ３の判断結果が「Ｙｅｓ」である場合、ステップＳＣ１３では、表示開始時刻ｓm に出現時刻ｔp が代入される。
【００９６】
ステップＳＣ４では、ｐがＰと等しいか否かが判断され、この場合、判断結果が「Ｎｏ」とされる。ステップＳＣ１４では、ｐが１インクリメントされ、ステップＳＣ３以降が繰り返される。そして、ステップＳＣ４の判断結果が「Ｙｅｓ」になると、ステップＳＣ５では、ｍが全ページ数Ｍと等しいか否かが判断され、この場合、判断結果が「Ｎｏ」とされる。ステップＳＣ１５では、ｍが１インクリメントされ、ステップＳＣ２以降が繰り返される。
【００９７】
そして、ステップＳＣ５の判断結果が「Ｙｅｓ」になると、ステップＳＣ６では、ｍ１に１が、ｍに２が代入される。ステップＳＣ７では、表示開始時刻ｓm が確定済みであるか否かが判断され、この判断結果が「Ｎｏ」である場合、ステップＳＣ１２の判断が行われる。
【００９８】
一方、ステップＳＣ７の判断結果が「Ｙｅｓ」である場合、ステップＳＣ８では、（ｍ１＋１）がｊとされる。ステップＳＣ９では、ｓj ＝ｔm1＋ｊ・（ｔm＋ｔm1）／（ｍ−ｍ１）が計算される。ステップＳＣ１０では、ｊが（ｍ−１）以上であるか否かが判断され、この場合、判断結果が「Ｎｏ」とされる。ステップＳＣ１６では、ｊが１インクリメントされ、ステップＳＣ９以降が繰り返される。
【００９９】
そして、ステップＳＣ１０の判断結果が「Ｙｅｓ」になると、ステップＳＣ１１では、ｍ１にｍが代入される。ステップＳＣ１２では、ｍが（Ｍ＋１）と等しいか否かが判断され、この場合、判断結果を「Ｎｏ」とする。ステップＳＣ１７では、ｍが１インクリメントされる。以後、ステップＳＣ７以降が繰り返される。そして、ステップＳＣ１２の判断結果が「Ｙｅｓ」になると、前述したステップＳＡ２（図７参照）以降の処理が実行される。
【０１００】
以上説明したように、実施の形態１の変形例によれば、文書情報に含まれるキーワード種別情報に基づいて、音声・映像情報と文書情報との同期をとることとしたので、キーワード種別（例えば、タイトル、強調文字等）に応じた同期をとることができる。
【０１０１】
（実施の形態２）
図１５は、本発明にかかる実施の形態２の構成を示すブロック図である。この図において、図１の各部に対応する部分には同一の符号を付け、その説明を省略する。同図においては、図１に示した同期コンテンツ情報生成装置５００に代えて、同期コンテンツ情報生成装置７００が設けられている。
【０１０２】
この同期コンテンツ情報生成装置７００においては、図１に示した同期情報生成部５０３、同期コンテンツ情報生成部５１０、同期コンテンツ情報編集部５１１および同期コンテンツ情報データベース５４０に代えて、同期情報生成部７１０、同期コンテンツ情報生成部７１４、同期コンテンツ情報編集部７１５、連続音声区間情報データベース７２０および同期コンテンツ情報データベース７３０が設けられている。
【０１０３】
同期情報生成部７１０は、音声・映像情報データベース５３０から取得した音声・映像情報と、文書情報データベース５２０から取得した文書情報とを解析し、同期情報を生成する。同期情報は、音声・映像情報を再生した場合の時間軸上で、文書情報における各文書ブロック（例えば、各ページ）がどの時間帯に同期（対応）しているかを表す情報である。
【０１０４】
同期情報生成部７１０において、キーワード抽出部７１１は、図２０に示したように、文書情報データベース５２０から取得した文書情報をＮ個の文書ブロックｂn（ｎ＝１、２、・・・、Ｎ）に分割する。
【０１０５】
また、キーワード抽出部７１１は、文書ブロックｂn 毎に形態素解析を実行し、名詞を抽出しキーワードとする。キーワード抽出部７１１は、文書ブロックｂn にキーワードを含む文が、文書ブロックｂn に属する場合の確からしさを表す指標であるキーワード重み係数ｗn、θ を後述する計算式より算出する。
【０１０６】
音声解析部７１２は、図１７に示したように、音声情報の音声レベルとしきい値ＴＨとを比較して、音声レベルがしきい値ＴＨを超える区間を連続音声区間（同図○印）とし、この連続音声区間に対応する連続音声区間情報７２１（図１６参照）を生成する。
【０１０７】
また、音声解析部７１２は、連続音声区間情報に含まれる音声情報について、上述した文書ブロックｂn におけるキーワードθの発話頻度βk、n、θ を後述する方法により計測する。
【０１０８】
同期情報解析部７１３は、図２０に示したように、後述する動的計画法により、Ｋ個の連続音声区間情報ｖ1〜ｖK を、Ｎ個の文書ブロックｂ1〜ｂn に先頭からｘn 個ずつ分配する。
【０１０９】
ここで、分配の確からしさは、つぎの（１３）式で表される。
【数１３】
（１３）式において、最適の分配は、評価関数Ｅ（ｘ1、ｘ2、・・・、ｘN ）を最大化する（ｘ1、ｘ2、・・・、ｘN ）の組み合わせとなる。ｇn（ｋn-1、ｘn）は、ｋn-1 に続くｘn個の連続音声区間を文書ブロックｂn に分配したときに得られる利益（分配の確からしさ）を表す関数である。
【０１１１】
同期情報解析部７１３は、各文書ブロックの表示時刻の配列を同期情報として求める。同期コンテンツ情報生成部７１４は、文書情報、音声・映像情報および同期情報から、ＳＭＩＬ等によって記述された同期コンテンツ情報（図１９参照）を生成する。
【０１１２】
図１６は、図１５に示した連続音声区間情報データベース７２０に格納される連続音声区間情報７２１の構造を示す図である。この連続音声区間情報７２１は、音声解析部７１２で生成される情報である。
【０１１３】
連続音声区間情報７２１は、情報数７２２、連続音声区間情報ｖ1 、・・・、ｖk から構成されている。情報数７２２は、連続音声区間情報ｖ1 〜ｖK の数Ｋを表す。これらの連続音声区間情報ｖ1 〜ｖK は、図１７に示したように、上述した音声・映像情報に含まれる音声情報の音声レベルがしきい値ＴＨを超える区間が連続音声区間（同図○印）に対応する情報である。この連続音声区間においては、プレゼンタの音声が連続的に発せられている。
【０１１４】
一方、音声レベルがしきい値ＴＨ以下の区間は、文と文との区切り部分等に相当し、プレゼンタの音声が無音となる無音区間（同図×印）である。
【０１１５】
図１６へ戻り、連続音声区間情報ｖk は、開始時刻情報７２３k 、終了時刻情報７２４k および音声情報７２５k から構成されている。なお、他の連続音声区間情報ｖ1 、ｖK 等も、連続音声区間情報ｖk と同様にして、開始時刻情報、終了時刻情報および音声情報から構成されている。
【０１１６】
図１８は、図１５に示した同期コンテンツ情報データベース７３０に格納される同期コンテンツ情報７３１の構造を示す図である。この同期コンテンツ情報７３１は、同期コンテンツ情報生成部７１４で生成される情報である。
【０１１７】
同期コンテンツ情報７３１は、同期コンテンツ情報ＩＤ７３２、プロジェクトＩＤ７３３、オーサリング情報７３４および同期コンテンツ情報本体７３８から構成されている。同期コンテンツ情報７３１において、同期コンテンツ情報ＩＤ７３２は、当該同期コンテンツを識別するための識別情報である。プロジェクトＩＤ７３３は、プロジェクトＩＤ５２３（図２参照）およびプロジェクトＩＤ５３３（図３参照）に対応している。
【０１１８】
オーサリング情報７３４は、文書情報ＩＤ７３５、音声・映像情報ＩＤ７３６および同期情報７３７から構成されている。文書情報ＩＤ７３５は、文書情報ＩＤ５２２（図２参照）に対応している。音声・映像情報ＩＤ７３６は、音声・映像情報ＩＤ５３２（図３参照）に対応している。同期情報７３７は、同期情報解析部７１３より入力される情報である。
【０１１９】
同期コンテンツ情報本体７３８は、同期コンテンツ情報の本体であり、図１９に示したように、ＳＭＩＬで記述されている。この同期コンテンツ情報本体７３８では、音声・映像情報の再生時間軸上での当該文書のページの同期表示に関する開始時刻、表示終了時刻や、図６に示した再生画面フォーマット６００の画面サイズ、映像表示領域６０１、文書表示領域６０２等が設定される。
【０１２０】
つぎに、実施の形態２の動作について、図２１に示したフローチャートを参照しつつ説明する。会議においては、例えば、紙媒体に印刷された紙文書が出席者に配布される。
【０１２１】
ここで、文書作成装置３００からは、会議前または会議終了後に上記紙文書に対応する文書情報が同期コンテンツ情報生成装置５００へ出力される。この文書情報は、制御部５０２により文書情報データベース５２０に格納される。
【０１２２】
そして、会議が始まると、プレゼンタは、紙文書を参照しながら、プレゼンテーションを実施する。このとき、プレゼンタは、紙文書のページを順番にめくりつつ当該ページ記載された一部のテキストを読み上げることになる。特に、そのページの特徴を表すキーワードは頻繁に読み上げられる傾向にある。
【０１２３】
会議中においては、図１５に示したビデオカメラ装置１００からは、プレゼンタの音声およびプレゼンテーションの様子に対応する音声・映像情報がネットワーク２００を介して同期コンテンツ情報生成装置７００へ出力される。この音声・映像情報は、制御部５０２により音声・映像情報データベース５３０に格納される。
【０１２４】
そして、会議が終了すると、ステップＳＤ１では、キーワード抽出部７１１は、文書情報データベース５２０から文書情報を読み込む。ステップＳＤ２では、キーワード抽出部７１１は、図２０に示したように、上記文書情報をＮ個の文書ブロックｂn（ｎ＝１、２、・・・、Ｎ）に分割する。文書ブロックｂn としては、１ページ、１段落など同期の文書単位となるものが用いられる。
【０１２５】
ステップＳＤ３では、キーワード抽出部７１１は、文書ブロックｂn 毎に形態素解析を実行し、名詞を抽出しキーワードとする。ここで文書ブロックｂn から抽出されたキーワードの集合をキーワード集合Θn とする。
【０１２６】
ステップＳＤ４では、キーワード抽出部７１１は、文書ブロックｂn にキーワードθ（θ∈Θn）を含む文が、文書ブロックｂn に属する場合の確からしさを表す指標であるキーワード重み係数ｗn、θ を算出する。具体的には、文書ブロックｂn にキーワードθが出現する頻度をεn、θ とすると、キーワード重み係数ｗn、θ は、つぎの（１４）式で表される。
【数１４】
（１４）式においては、キーワードθが文書ブロックｂn に頻度εn、θ で出現した場合、文書ブロックｂn の前後の文書ブロック（ｂn-1、ｂn+1）でも同程度の頻度でキーワードθが出現するならばキーワード重み係数ｗn、θ が小さくなることを意味している。
【０１２８】
逆に、前後の文書ブロック（ｂn-1、ｂn+1）で出現していないキーワードが文書ブロックｂn のみに頻繁に出現する場合、キーワード重み係数ｗn、θ は、大きな値となる。つまり、（１４）式では、キーワードθが文書ブロックｂn に出現する確からしさを前後の文書ブロック（ｂn-1、ｂn+1）を含めて決定される。
【０１２９】
（１４）式によれば、文書ブロックにキーワードが出現する頻度を求め、該頻度および前後の文書ブロックにおける頻度に基づいて、キーワード重み係数を求めることとしたので、文書ブロックに対する局所性が高いキーワードに高い重み付けがされたキーワード重み係数を得ることができる。
【０１３０】
ステップＳＤ５では、音声解析部７１２は、音声・映像情報データベース５３０から、音声・映像情報に含まれる音声情報を読み込む。ステップＳＤ６では、音声解析部７１２は、図１７に示したように、音声情報の音声レベルとしきい値ＴＨとを比較して、音声レベルがしきい値ＴＨを超える区間を連続音声区間（同図○印）とする。
【０１３１】
つぎに、音声解析部７１２は、図１６に示したように、連続音声区間について、開始時刻情報（例えば、ｔ１）、終了時刻情報（例えば、ｔ２）および音声情報を、Ｋ個の連続音声区間情報ｖ1、・・・、ｖk、・・・ｖK とするとともに、情報数７２２をＫとする。音声解析部７１２は、これらの情報を連続音声区間情報７２１として生成し、図１５に示した連続音声区間情報データベース７２０に格納する。
【０１３２】
ステップＳＤ７では、音声解析部７１２は、例えば、図１６に示した連続音声区間情報ｖk に含まれる音声情報について、ステップＳＤ３でキーワード抽出部７１１により抽出された文書ブロックｂn におけるキーワードθ（θ∈Θ）の発話頻度βk、n、θ を算出する。ここで、連続音声区間情報ｖk に含まれる音声情報について当該キーワードθが発話されたか否かは、音声認識処理により検知される。
【０１３３】
例えば、音声認識処理としての周知のWord Spottingにおいては、認識対象の単語辞書としてキーワード集合Θn を用い、音声情報に含まれる各キーワードの出現位置が検出される。
【０１３４】
ステップＳＤ８では、同期情報解析部７１３は、図２０に示したように、動的計画法により、Ｋ個の連続音声区間情報ｖ1 〜ｖK を、Ｎ個の文書ブロックｂ1〜ｂn に先頭からｘn 個ずつ分配する。
【０１３５】
具体的には、文書ブロックｂ1 〜ｂn までに分配される連続音声区間情報の個数をｋn 個とする。ここで、文書ブロックｂn にｋn-1 個目以降のｘn 個の連続音声区間情報を分配することによる利益（分配の確からしさ）をｇn（ｋn-1、ｘn ）とすると、ｇn（ｋn-1、ｘn ）は、つぎの（１５）式〜（１７）式によって定義される。
【数１５】
（１７）式において、ｗn、θ は、前述したように、キーワードθ（θ∈Θ）が文書ブロックｂn に属する場合の確からしさを表すキーワード重み係数である。βk、n、θ は、前述したように、キーワードθが連続音声区間情報ｖk に対応する連続音声区間で実際に発話された回数を表す発話頻度である。
【０１３７】
ここで、連続音声区間情報ｖk が文書ブロックｂn に対応するならば、（連続音声区間情報ｖk 中で発話されるキーワードθが文書ブロックｂn に属する確からしさ）×（発話頻度）は、連続音声区間情報ｖk が文書ブロックｂn に対応しない場合に比べて、大きな値をとると予想される。
【０１３８】
全てのキーワードについて、上記値を計算したものが（１７）式であり、ｅk、n は、連続音声区間情報ｖk を文書ブロックｂn に割り振ることに関する確からしさを表している。
【０１３９】
また、ｅk、n は、文書ブロックに多数のキーワードが出現していた場合、極端に大きな値をとることがある。例えば、プレゼンテーションにおいて、最初に概要説明のスライドを設けた場合、該スライドには、他のスライドに含まれるキーワードが多数出現する。
【０１４０】
このような場合には、正しい対応が得られなくなるため、ｇn（ｋn-1、ｘn ）に用いる値として、ｅk、n そのものではなく、文書ブロックｂn に関係するｅk、n の総和が１になるように正規化した値を用いる。（１６）式は、正規化の式である。（１６）式におけるＮn（ｅk、n）は、ｅk、n を正規化した値を表している。
【０１４１】
（１５）式は、文書ブロックｂn にｋn-1 個目以降のｘn 個の連続音声区間情報を分配することによる利益（分配の確からしさ）を、Ｎn（ｅk、n）の総和で表したものである。
【０１４２】
実施の形態２では、上記分配の問題を以下の（１８）式を満たす（ｘ1、ｘ2、・・・、ｘN）の組み合わせを求める問題に定式化している。（１８）式を満たす（ｘ1、ｘ2、・・・、ｘN）は、動的計画法により求められる。以下に、動的計画法による解法について説明する。
【数１８】
同期情報解析部７１３は、（１８）式を、以下の２つの関数再帰方程式（（１９）式および（２０）式）に展開する。
【数１９】
つぎに、同期情報解析部７１３は、これらの（１９）式および（２０）式を用いて最適な（ｘ1、ｘ2、・・・、ｘN）を求める。すなわち、まず、同期情報解析部７１３は、ｎ＝１において、ｋ1が０からＫまでのそれぞれの場合について（１９）式よりｆ1（ｋ1）を計算して、以下の表１の２列目に値を格納する。この場合、ｘ1＝ｋ1の条件が成立しているため１列目と３列目の値が同じとなる。
【表１】
つぎに、同期情報解析部７１３は、（２０）式とｆ1（ｋ1）の値より、ｆ2（ｋ2）を計算する。すなわち、ｎ＝２のとき（２０）式より、ｆ2（ｋ2）は、つぎの（２１）式で表される。
【数２１】
つぎに、同期情報解析部７１３は、ｋ2 が０からＫまでのそれぞれの場合について、ｘ2 を０からｋ2 まで変化させて、ｇ2（ｋ2−ｘ2、ｘ2）＋ｆ1（ｋ2−ｘ2）の値を計算し、最大のものをｆ2（ｋ2）の値として以下の表２の２列目に格納する。なお、表２の３列目には、最大のｆ2（ｋ2）となったときにｘ2 の値が格納される。
【表２】
同様にして、同期情報解析部７１３は、（２０）式とｆ1-1（ｋ1-1）の値より、ｆn（ｋn）を計算して、以下の表３に値を格納する。
【表３】
（１８）式のｆN（Ｋ）の値は、ｋN＝Ｋとなる表３の右下の網掛け部分のｆN（ｋN）となる。このｆN（Ｋ）を導出するにあたり必要なｘN も表３に格納されているため、同期情報解析部７１３は、その数値（網掛け部分のｘN）をｘNの値として確定する。
【０１４９】
つぎに、同期情報解析部７１３は、ｋN＝ｋN-1＋ｘN の関係があるためｋN-1＝ｋN−ｘN となるｋN-1のｆN-1（ｋN-1）を表３から探し出し、ｘN-1 の値を確定する。同様に、ｘN-1 の値が表３とｘn の確定値から特定されるため、ｎ＝１までｘn の値が確定される。この確定値（ｘ1、ｘ2、・・・、ｘN）は、（１８）式のｆN（Ｋ）を満たす解とされる。
【０１５０】
図２１に示したステップＳＤ９では、同期情報解析部７１３は、連続音声区間情報ｖk に対応する連続音声区間の配分（ｘ1、ｘ2、・・・、ｘN）を元に、文書ブロックｂn の表示開始時刻ｓn をつぎの（２２）式および（２３）式より求める。
【数２２】
上記（２３）式は、図２０に示した先頭の文書ブロックｂ1 から文書ブロックｂn までの間に含まれる連続音声区間情報の個数ｋn を表している。（２２）式は、文書ブロックｂn に対応する連続音声区間情報に含まれる開始時刻情報（図１６参照）のうち、最も小さい（時間的に古い）開始時刻情報を当該文書ブロックｂn の表示開始時刻ｓn として定義することを意味している。
【０１５２】
同期情報解析部７１３は、各文書ブロック（ｂ1 〜ｂN ）の表示開始時刻ｓ1 〜ｓN の配列である表示開始時刻配列Ｓ（ｓ1、ｓ2、・・・、ｓN）を同期情報とする。
【０１５３】
ステップＳＤ１０では、同期コンテンツ情報生成部７１４は、同期情報解析部７１３からの表示開始時刻配列Ｓ（ｓ1、ｓ2、・・・、ｓN）、文書情報および音声・映像情報から、例えば、図１８に示した同期コンテンツ情報７３１を生成し、同期コンテンツ情報データベース７３０に格納する。
【０１５４】
この同期コンテンツ情報７３１において、図１９に示した「電子化文書の１ページ目データ begin＝ｓ1 」は、表示開始時刻配列Ｓに含まれる表示開始時刻ｓ1 に対応している。従って、１ページ目（文書ブロックｂ1）の文書情報は、音声・映像情報の時間軸上の表示開始時刻ｓ1 で表示が開始され、end=ｓ2 に表示が終了する。
【０１５５】
そして、再生装置４００から再生要求があると、制御部５０２は、同期コンテンツ情報データベース７３０から同期コンテンツ情報７３１（図１８および図１９参照）を読み出し、これを再生装置４００へ送信する。
【０１５６】
これにより、再生装置４００では、同期コンテンツ情報７３１に対応する再生画面フォーマット６００に基づいて、音声・映像情報および文書情報が再生される。ここで、文書の各ページは、表示開始時刻配列Ｓに基づくタイミングで、映像に並行して順次表示される。
【０１５７】
以上説明したように、実施の形態２によれば、図２０に示したように、文書が電子化された文書情報を複数の文書ブロック（ｂ1 〜ｂN ）に分割するとともに、文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、音声情報を複数の連続音声区間（連続音声区間情報ｖ1 〜ｖK ）に分割した後、動的計画法により複数の連続音声区間を複数の文書ブロックに分配した結果に基づいて、音声・映像情報と時間的な同期がとられた状態で文書情報を表示させるための同期コンテンツ情報を生成することとしたので、プロジェクタ等の特別な機材を必要とすることなく同期コンテンツ情報を生成することができる。
【０１５８】
また、本発明によれば、各文書ブロックから抽出されたキーワードが文書ブロックに属する場合の確からしさを表すキーワード重み係数ｗn、θ を求め、連続音声区間毎にキーワードの発話頻度βk、n、θ を求めた後、キーワード重み係数ｗn、θ および発話頻度βk、n、θ から決定される評価関数Ｅ（ｘ1、ｘ2、・・・、ｘN ）に基づいて、分配を行うこととしたので、プロジェクタ等の特別な機材を必要とすることなく同期コンテンツ情報を生成することができる。
【０１５９】
以上本発明にかかる実施の形態１および２について図面を参照して詳述してきたが、具体的な構成例はこれらの実施の形態１および２に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
【０１６０】
例えば、前述した実施の形態１および２においては、同期コンテンツ情報生成装置５００または７００の機能を実現するためのプログラムを図２２に示したコンピュータ読み取り可能な記録媒体１６００に記録して、この記録媒体１６００に記録されたプログラムを同図に示したコンピュータ１５００に読み込ませ、実行することにより各機能を実現してもよい。以下、この場合を実施の形態１の変形例２および実施の形態２の変形例として説明する。
【０１６１】
同図に示したコンピュータ１５００は、上記プログラムを実行するＣＰＵ（Central Processing Unit）１５１０と、キーボード、マウス等の入力装置１５２０と、各種データを記憶するＲＯＭ（Read Only Memory）１５３０と、演算パラメータ等を記憶するＲＡＭ（Random Access Memory）１５４０と、記録媒体１６００からプログラムを読み取る読取装置１５５０と、ディスプレイ、プリンタ等の出力装置１５６０と、装置各部を接続するバス１５７０とから構成されている。
【０１６２】
ＣＰＵ１５１０は、読取装置１５５０を経由して記録媒体１６００に記録されているプログラムを読み込んだ後、プログラムを実行することにより、前述した機能を実現する。なお、記録媒体１６００としては、光ディスク、フレキシブルディスク、ハードディスク等が挙げられる。
【０１６３】
また、実施の形態１および２では、会議への適用を一例にとって説明したが、これに限られるものではなく、他分野においても適用可能である。例えば、教育分野の場合には、講師の授業内容を音声・映像情報として蓄積しておき、関連資料と同期させた同期コンテンツ情報を自動生成し、後日、オンライン接続された生徒用コンピュータ装置に、復習用教材として上記コンテンツ情報を用いることで、教育上の高い効果が期待される。
【０１６４】
（付記１）コンピュータを、
文書が電子化された文書情報から特徴的なキーワードを抽出するキーワード抽出手段、
前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出された前記キーワードが出現した時刻順の出現キーワード分布を計測する出現キーワード分布計測手段、
前記出現キーワード分布に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段、
として機能させるための同期コンテンツ情報生成プログラム。
【０１６５】
（付記２）前記同期コンテンツ情報生成手段は、前記音声・映像情報に対応するキーワードの出現分布と、前記出現キーワード分布とが一致した場合に最大値をとる評価関数に基づいて、前記音声・映像情報と前記文書情報との同期をとることを特徴とする付記１に記載の同期コンテンツ情報生成プログラム。
【０１６６】
この付記２に記載の発明によれば、音声・映像情報に対応するキーワードの出現分布と、出現キーワード分布とが一致した場合に最大値をとる評価関数に基づいて、音声・映像情報と文書情報との同期をとることとしたので、プロジェクタ等の特別な機材を必要とすることなく同期コンテンツ情報を生成することができるという効果を奏する。
【０１６７】
（付記３）前記同期コンテンツ情報生成手段は、前記文書情報に含まれるキーワード種別情報に基づいて、前記音声・映像情報と前記文書情報との同期をとることを特徴とする付記１に記載の同期コンテンツ情報生成プログラム。
【０１６８】
この付記３に記載の発明によれば、文書情報に含まれるキーワード種別情報に基づいて、音声・映像情報と文書情報との同期をとることとしたので、キーワード種別（例えば、タイトル、強調文字等）に応じた同期をとることができるという効果を奏する。
【０１６９】
（付記４）文書が電子化された文書情報から特徴的なキーワードを抽出するキーワード抽出手段と、
前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出された前記キーワードが出現した時刻順の出現キーワード分布を計測する出現キーワード分布計測手段と、
前記出現キーワード分布に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段と、
を備えたことを特徴とする同期コンテンツ情報生成装置。
【０１７０】
（付記５）前記同期コンテンツ情報生成手段は、前記音声・映像情報に対応するキーワードの出現分布と、前記出現キーワード分布とが一致した場合に最大値をとる評価関数に基づいて、前記音声・映像情報と前記文書情報との同期をとることを特徴とする付記４に記載の同期コンテンツ情報生成装置。
【０１７１】
（付記６）前記同期コンテンツ情報生成手段は、前記文書情報に含まれるキーワード種別情報に基づいて、前記音声・映像情報と前記文書情報との同期をとることを特徴とする付記４に記載の同期コンテンツ情報生成装置。
【０１７２】
（付記７）文書が電子化された文書情報から特徴的なキーワードを抽出するキーワード抽出工程と、
前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出された前記キーワードが出現した時刻順の出現キーワード分布を計測する出現キーワード分布計測工程と、
前記出現キーワード分布に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成工程と、
を含むことを特徴とする同期コンテンツ情報生成方法。
【０１７３】
（付記８）前記同期コンテンツ情報生成工程では、前記音声・映像情報に対応するキーワードの出現分布と、前記出現キーワード分布とが一致した場合に最大値をとる評価関数に基づいて、前記音声・映像情報と前記文書情報との同期をとることを特徴とする付記７に記載の同期コンテンツ情報生成方法。
【０１７４】
（付記９）前記同期コンテンツ情報生成工程では、前記文書情報に含まれるキーワード種別情報に基づいて、前記音声・映像情報と前記文書情報との同期をとることを特徴とする付記７に記載の同期コンテンツ情報生成方法。
【０１７５】
（付記１０）コンピュータを、
文書が電子化された文書情報を複数の文書ブロックに分割する文書ブロック分割手段、
前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、音声情報を複数の連続音声区間に分割する音声分割手段、
前記複数の連続音声区間を前記複数の文書ブロックに分配する分配手段、
前記分配の結果に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段、
として機能させるための同期コンテンツ情報生成プログラム。
【０１７６】
（付記１１）前記文書ブロック分割手段は、各文書ブロックからキーワードを抽出し、キーワードが文書ブロックに属する場合の確からしさを表すキーワード重み係数を求め、前記音声分割手段は、前記連続音声区間毎に前記キーワードの発話頻度を求め、前記分配手段は、前記キーワード重み係数および前記発話頻度から決定される評価関数に基づいて、前記分配を行うことを特徴とする付記１０に記載の同期コンテンツ情報生成プログラム。
【０１７７】
（付記１２）前記文書ブロック分割手段は、前記文書ブロックにキーワードが出現する頻度を求め、該頻度および前後の文書ブロックにおける頻度に基づいて、前記キーワード重み係数を求めることを特徴とする付記１１に記載の同期コンテンツ情報生成プログラム。
【０１７８】
（付記１３）前記分配手段は、動的計画法を用いて前記分配を行うことを特徴とする付記１０〜１２のいずれか一つに記載の同期コンテンツ情報生成プログラム。
【０１７９】
（付記１４）文書が電子化された文書情報を複数の文書ブロックに分割する文書ブロック分割手段と、
前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、音声情報を複数の連続音声区間に分割する音声分割手段と、
前記複数の連続音声区間を前記複数の文書ブロックに分配する分配手段と、
前記分配の結果に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段と、
を備えたことを特徴とする同期コンテンツ情報生成装置。
【０１８０】
（付記１５）前記文書ブロック分割手段は、各文書ブロックからキーワードを抽出し、キーワードが文書ブロックに属する場合の確からしさを表すキーワード重み係数を求め、前記音声分割手段は、前記連続音声区間毎に前記キーワードの発話頻度を求め、前記分配手段は、前記キーワード重み係数および前記発話頻度から決定される評価関数に基づいて、前記分配を行うことを特徴とする付記１４に記載の同期コンテンツ情報生成装置。
【０１８１】
（付記１６）前記文書ブロック分割手段は、前記文書ブロックにキーワードが出現する頻度を求め、該頻度および前後の文書ブロックにおける頻度に基づいて、前記キーワード重み係数を求めることを特徴とする付記１５に記載の同期コンテンツ情報生成装置。
【０１８２】
（付記１７）前記分配手段は、動的計画法を用いて前記分配を行うことを特徴とする付記１４〜１６のいずれか一つに記載の同期コンテンツ情報生成装置。
【０１８３】
（付記１８）文書が電子化された文書情報を複数の文書ブロックに分割する文書ブロック分割工程と、
前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、音声情報を複数の連続音声区間に分割する音声分割工程と、
前記複数の連続音声区間を前記複数の文書ブロックに分配する分配工程と、
前記分配の結果に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成工程と、
を含むことを特徴とする同期コンテンツ情報生成方法。
【０１８４】
（付記１９）前記文書ブロック分割工程では、各文書ブロックからキーワードを抽出し、キーワードが文書ブロックに属する場合の確からしさを表すキーワード重み係数を求め、前記音声分割工程では、前記連続音声区間毎に前記キーワードの発話頻度を求め、前記分配工程では、前記キーワード重み係数および前記発話頻度から決定される評価関数に基づいて、前記分配を行うことを特徴とする付記１８に記載の同期コンテンツ情報生成方法。
【０１８５】
（付記２０）前記文書ブロック分割工程では、前記文書ブロックにキーワードが出現する頻度を求め、該頻度および前後の文書ブロックにおける頻度に基づいて、前記キーワード重み係数を求めることを特徴とする付記１９に記載の同期コンテンツ情報生成方法。
【０１８６】
（付記２１）前記分配工程では、動的計画法を用いて前記分配を行うことを特徴とする付記１８〜２０のいずれか一つに記載の同期コンテンツ情報生成方法。
【０１８７】
【発明の効果】
以上説明したように、本発明によれば、文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出されたキーワードが出現した時刻順の出現キーワード分布を計測し、音声・映像情報と時間的な同期がとられた状態で文書情報を表示させるための同期コンテンツ情報を生成することとしたので、プロジェクタ等の特別な機材を必要とすることなく同期コンテンツ情報を生成することができるという効果を奏する。
【０１８８】
また、本発明によれば、文書が電子化された文書情報を複数の文書ブロックに分割するとともに、文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、音声情報を複数の連続音声区間に分割した後、複数の連続音声区間を複数の文書ブロックに分配した結果に基づいて、音声・映像情報と時間的な同期がとられた状態で文書情報を表示させるための同期コンテンツ情報を生成することとしたので、プロジェクタ等の特別な機材を必要とすることなく同期コンテンツ情報を生成することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明にかかる実施の形態１の構成を示すブロック図である。
【図２】図１に示した文書情報データベース５２０に格納される文書情報５２１の構造を示す図である。
【図３】図１に示した音声・映像情報データベース５３０に格納される音声・映像情報５３１の構造を示す図である。
【図４】図１に示した同期コンテンツ情報データベース５４０に格納される同期コンテンツ情報５４１の構造を示す図である。
【図５】図４に示した同期コンテンツ情報５４１の具体例を示す図である。
【図６】図４に示した同期コンテンツ情報５４１に対応する再生画面フォーマット６００を示す図である。
【図７】同実施の形態１の動作を説明するフローチャートである。
【図８】図７に示した初期化処理を説明するフローチャートである。
【図９】同実施の形態１の動作を説明する図である。
【図１０】同実施の形態１の動作を説明する図である。
【図１１】同実施の形態１の変形例１の動作を説明する図である。
【図１２】同実施の形態１の変形例１の動作を説明するフローチャートである。
【図１３】同実施の形態１の変形例１の動作を説明する図である。
【図１４】同実施の形態１の変形例１に適用されるルールを説明する図である。
【図１５】本発明にかかる実施の形態２の構成を示すブロック図である。
【図１６】図１５に示した連続音声区間情報データベース７２０に格納される連続音声区間情報７２１の構造を示す図である。
【図１７】図１５に示した音声解析部７１２における連続音声区間情報の生成原理を説明する図である。
【図１８】図１５に示した同期コンテンツ情報データベース７３０に格納される同期コンテンツ情報７３１の構造を示す図である。
【図１９】図１８に示した同期コンテンツ情報７３１の具体例を示す図である。
【図２０】同実施の形態２の動作を説明する図である。
【図２１】同実施の形態２の動作を説明するフローチャートである。
【図２２】同実施の形態１の変形例２および実施の形態２の変形例の構成を示すブロック図である。
【図２３】従来の同期コンテンツ情報生成システムの構成を示すブロック図である。
【符号の説明】
１００ ビデオカメラ装置
３００ 文書作成装置
４００ 再生装置
５００ 同期コンテンツ情報生成装置
５０２ 制御部
５０３ 同期情報生成部
５０４ キーワード抽出部
５０５ 形態素解析部
５０６ 統計量解析部
５０７ 重み算出部
５０８ 音声解析部
５０９ 同期情報解析部
７００ 同期コンテンツ情報生成装置
７１０ 同期情報生成部
７１１ キーワード抽出部
７１２ 音声解析部
７１３ 同期情報解析部
７１４ 同期コンテンツ情報生成部
７１５ 同期コンテンツ情報編集部
Claims (5)
- コンピュータを、
文書が電子化された文書情報から特徴的なキーワードを抽出するキーワード抽出手段、
前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出された前記キーワードが出現した時刻順の出現キーワード分布を計測する出現キーワード分布計測手段、
前記出現キーワード分布に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段、
として機能させるための同期コンテンツ情報生成プログラム。 - 文書が電子化された文書情報から特徴的なキーワードを抽出するキーワード抽出手段と、
前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出された前記キーワードが出現した時刻順の出現キーワード分布を計測する出現キーワード分布計測手段と、
前記出現キーワード分布に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段と、
を備えたことを特徴とする同期コンテンツ情報生成装置。 - 文書が電子化された文書情報から特徴的なキーワードを抽出するキーワード抽出工程と、
前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、抽出された前記キーワードが出現した時刻順の出現キーワード分布を計測する出現キーワード分布計測工程と、
前記出現キーワード分布に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成工程と、
を含むことを特徴とする同期コンテンツ情報生成方法。 - コンピュータを、
文書が電子化された文書情報を複数の文書ブロックに分割する文書ブロック分割手段、
前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、音声情報を複数の連続音声区間に分割する音声分割手段、
前記複数の連続音声区間を前記複数の文書ブロックに分配する分配手段、
前記分配の結果に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段、
として機能させるための同期コンテンツ情報生成プログラム。 - 文書が電子化された文書情報を複数の文書ブロックに分割する文書ブロック分割手段と、
前記文書を用いた発言機会の様子が録音・撮像された音声・映像情報に基づいて、音声情報を複数の連続音声区間に分割する音声分割手段と、
前記複数の連続音声区間を前記複数の文書ブロックに分配する分配手段と、
前記分配の結果に基づいて、前記音声・映像情報と時間的な同期がとられた状態で前記文書情報を表示させるための同期コンテンツ情報を生成する同期コンテンツ情報生成手段と、
を備えたことを特徴とする同期コンテンツ情報生成装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002295438A JP4088131B2 (ja) | 2002-03-28 | 2002-10-08 | 同期コンテンツ情報生成プログラム、同期コンテンツ情報生成装置および同期コンテンツ情報生成方法 |
| US10/331,504 US7516415B2 (en) | 2002-03-28 | 2002-12-31 | Apparatus for and method of generating synchronized contents information, and computer product |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002093166 | 2002-03-28 | ||
| JP2002295438A JP4088131B2 (ja) | 2002-03-28 | 2002-10-08 | 同期コンテンツ情報生成プログラム、同期コンテンツ情報生成装置および同期コンテンツ情報生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004007358A JP2004007358A (ja) | 2004-01-08 |
| JP4088131B2 true JP4088131B2 (ja) | 2008-05-21 |
Family
ID=28456328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002295438A Expired - Fee Related JP4088131B2 (ja) | 2002-03-28 | 2002-10-08 | 同期コンテンツ情報生成プログラム、同期コンテンツ情報生成装置および同期コンテンツ情報生成方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7516415B2 (ja) |
| JP (1) | JP4088131B2 (ja) |
Families Citing this family (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7966234B1 (en) | 1999-05-17 | 2011-06-21 | Jpmorgan Chase Bank. N.A. | Structured finance performance analytics system |
| US7249095B2 (en) | 2000-06-07 | 2007-07-24 | The Chase Manhattan Bank, N.A. | System and method for executing deposit transactions over the internet |
| US7313541B2 (en) | 2000-11-03 | 2007-12-25 | Jpmorgan Chase Bank, N.A. | System and method for estimating conduit liquidity requirements in asset backed commercial paper |
| US8122466B2 (en) | 2001-11-20 | 2012-02-21 | Portulim Foundation Llc | System and method for updating digital media content |
| US8909729B2 (en) | 2001-11-20 | 2014-12-09 | Portulim Foundation Llc | System and method for sharing digital media content |
| US7503059B1 (en) | 2001-12-28 | 2009-03-10 | Rothschild Trust Holdings, Llc | Method of enhancing media content and a media enhancement system |
| US8504652B2 (en) | 2006-04-10 | 2013-08-06 | Portulim Foundation Llc | Method and system for selectively supplying media content to a user and media storage device for use therein |
| US7711774B1 (en) | 2001-11-20 | 2010-05-04 | Reagan Inventions Llc | Interactive, multi-user media delivery system |
| US8224723B2 (en) | 2002-05-31 | 2012-07-17 | Jpmorgan Chase Bank, N.A. | Account opening system, method and computer program product |
| US7770184B2 (en) | 2003-06-06 | 2010-08-03 | Jp Morgan Chase Bank | Integrated trading platform architecture |
| US7970688B2 (en) | 2003-07-29 | 2011-06-28 | Jp Morgan Chase Bank | Method for pricing a trade |
| JP4127668B2 (ja) * | 2003-08-15 | 2008-07-30 | 株式会社東芝 | 情報処理装置、情報処理方法、およびプログラム |
| US8065616B2 (en) * | 2003-10-27 | 2011-11-22 | Nokia Corporation | Multimedia presentation editor for a small-display communication terminal or computing device |
| WO2005069171A1 (ja) * | 2004-01-14 | 2005-07-28 | Nec Corporation | 文書対応付け装置、および文書対応付け方法 |
| JP2005227144A (ja) * | 2004-02-13 | 2005-08-25 | Shimadzu Corp | 分析機器用コントローラ |
| US8423447B2 (en) | 2004-03-31 | 2013-04-16 | Jp Morgan Chase Bank | System and method for allocating nominal and cash amounts to trades in a netted trade |
| US7693770B2 (en) | 2004-08-06 | 2010-04-06 | Jp Morgan Chase & Co. | Method and system for creating and marketing employee stock option mirror image warrants |
| US8688569B1 (en) | 2005-03-23 | 2014-04-01 | Jpmorgan Chase Bank, N.A. | System and method for post closing and custody services |
| JP2006311462A (ja) * | 2005-05-02 | 2006-11-09 | Toshiba Corp | コンテンツ検索装置及びその方法 |
| US7822682B2 (en) | 2005-06-08 | 2010-10-26 | Jpmorgan Chase Bank, N.A. | System and method for enhancing supply chain transactions |
| US8977636B2 (en) * | 2005-08-19 | 2015-03-10 | International Business Machines Corporation | Synthesizing aggregate data of disparate data types into data of a uniform data type |
| US7567928B1 (en) | 2005-09-12 | 2009-07-28 | Jpmorgan Chase Bank, N.A. | Total fair value swap |
| US8266220B2 (en) * | 2005-09-14 | 2012-09-11 | International Business Machines Corporation | Email management and rendering |
| US20070074116A1 (en) * | 2005-09-29 | 2007-03-29 | Teleios, Inc. | Multi-pane navigation/synchronization in a multimedia presentation system |
| US7818238B1 (en) | 2005-10-11 | 2010-10-19 | Jpmorgan Chase Bank, N.A. | Upside forward with early funding provision |
| US8694319B2 (en) | 2005-11-03 | 2014-04-08 | International Business Machines Corporation | Dynamic prosody adjustment for voice-rendering synthesized data |
| JP4764148B2 (ja) * | 2005-11-25 | 2011-08-31 | 富士通株式会社 | 同期電子コンテンツ管理プログラム、同期電子コンテンツ管理装置及び同期電子コンテンツ管理方法 |
| US8271107B2 (en) | 2006-01-13 | 2012-09-18 | International Business Machines Corporation | Controlling audio operation for data management and data rendering |
| US8280794B1 (en) | 2006-02-03 | 2012-10-02 | Jpmorgan Chase Bank, National Association | Price earnings derivative financial product |
| US9135339B2 (en) | 2006-02-13 | 2015-09-15 | International Business Machines Corporation | Invoking an audio hyperlink |
| US7505978B2 (en) | 2006-02-13 | 2009-03-17 | International Business Machines Corporation | Aggregating content of disparate data types from disparate data sources for single point access |
| US7996754B2 (en) | 2006-02-13 | 2011-08-09 | International Business Machines Corporation | Consolidated content management |
| US9361299B2 (en) | 2006-03-09 | 2016-06-07 | International Business Machines Corporation | RSS content administration for rendering RSS content on a digital audio player |
| US8510277B2 (en) * | 2006-03-09 | 2013-08-13 | International Business Machines Corporation | Informing a user of a content management directive associated with a rating |
| US8849895B2 (en) | 2006-03-09 | 2014-09-30 | International Business Machines Corporation | Associating user selected content management directives with user selected ratings |
| US9092542B2 (en) * | 2006-03-09 | 2015-07-28 | International Business Machines Corporation | Podcasting content associated with a user account |
| US7620578B1 (en) | 2006-05-01 | 2009-11-17 | Jpmorgan Chase Bank, N.A. | Volatility derivative financial product |
| US7647268B1 (en) | 2006-05-04 | 2010-01-12 | Jpmorgan Chase Bank, N.A. | System and method for implementing a recurrent bidding process |
| US8286229B2 (en) | 2006-05-24 | 2012-10-09 | International Business Machines Corporation | Token-based content subscription |
| US20070277088A1 (en) * | 2006-05-24 | 2007-11-29 | Bodin William K | Enhancing an existing web page |
| JP4724051B2 (ja) * | 2006-06-12 | 2011-07-13 | 日本電信電話株式会社 | キーワード生成方法、文書検索方法、話題範囲推定方法、話題境界推定方法、及びこれらの装置とそのプログラム、その記録媒体 |
| US9811868B1 (en) | 2006-08-29 | 2017-11-07 | Jpmorgan Chase Bank, N.A. | Systems and methods for integrating a deal process |
| JP4807189B2 (ja) * | 2006-08-31 | 2011-11-02 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
| US9196241B2 (en) | 2006-09-29 | 2015-11-24 | International Business Machines Corporation | Asynchronous communications using messages recorded on handheld devices |
| US7827096B1 (en) | 2006-11-03 | 2010-11-02 | Jp Morgan Chase Bank, N.A. | Special maturity ASR recalculated timing |
| US8219402B2 (en) | 2007-01-03 | 2012-07-10 | International Business Machines Corporation | Asynchronous receipt of information from a user |
| US9318100B2 (en) * | 2007-01-03 | 2016-04-19 | International Business Machines Corporation | Supplementing audio recorded in a media file |
| US8738514B2 (en) | 2010-02-18 | 2014-05-27 | Jpmorgan Chase Bank, N.A. | System and method for providing borrow coverage services to short sell securities |
| US8352354B2 (en) | 2010-02-23 | 2013-01-08 | Jpmorgan Chase Bank, N.A. | System and method for optimizing order execution |
| JP5910222B2 (ja) * | 2012-03-23 | 2016-04-27 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
| CN103544140A (zh) * | 2012-07-12 | 2014-01-29 | 国际商业机器公司 | 一种数据处理方法、展示方法和相应的装置 |
| US9363214B2 (en) * | 2012-11-29 | 2016-06-07 | Ricoh Company, Ltd. | Network appliance architecture for unified communication services |
| JP6432405B2 (ja) | 2015-03-18 | 2018-12-05 | 富士通株式会社 | プレゼンテーション支援装置、プレゼンテーション支援方法及びプレゼンテーション支援プログラム |
| JP6524242B2 (ja) * | 2015-08-31 | 2019-06-05 | 株式会社東芝 | 音声認識結果表示装置、音声認識結果表示方法、音声認識結果表示プログラム |
| WO2018078463A1 (en) * | 2016-10-24 | 2018-05-03 | Sony Mobile Communications Inc | Methods, computer program products and devices for automatically synchronizing an audio track with a plurality of pages |
| US11201906B2 (en) * | 2017-08-29 | 2021-12-14 | International Business Machines Corporation | Providing instructions during remote viewing of a user interface |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4729199A (en) * | 1986-05-08 | 1988-03-08 | Oller Frank G | Snow slide kit |
| JPH05347666A (ja) * | 1992-06-15 | 1993-12-27 | Omron Corp | 電子会議システム |
| JP2924717B2 (ja) * | 1995-06-12 | 1999-07-26 | 日本電気株式会社 | プレゼンテーション装置 |
| JP3637937B2 (ja) * | 1996-08-12 | 2005-04-13 | 富士ゼロックス株式会社 | 情報再生装置および情報再生方法 |
| US6100881A (en) * | 1997-10-22 | 2000-08-08 | Gibbons; Hugh | Apparatus and method for creating interactive multimedia presentation using a shoot lost to keep track of audio objects of a character |
| JPH11259269A (ja) * | 1998-03-13 | 1999-09-24 | Omron Corp | 情報処理装置および方法、並びに記録媒体 |
| JP3836261B2 (ja) * | 1998-08-10 | 2006-10-25 | 株式会社リコー | ファイルシステム |
| US6970602B1 (en) * | 1998-10-06 | 2005-11-29 | International Business Machines Corporation | Method and apparatus for transcoding multimedia using content analysis |
| US6636238B1 (en) * | 1999-04-20 | 2003-10-21 | International Business Machines Corporation | System and method for linking an audio stream with accompanying text material |
| US6597859B1 (en) * | 1999-12-16 | 2003-07-22 | Intel Corporation | Method and apparatus for abstracting video data |
| US6516312B1 (en) * | 2000-04-04 | 2003-02-04 | International Business Machine Corporation | System and method for dynamically associating keywords with domain-specific search engine queries |
| AU2001261506A1 (en) * | 2000-05-11 | 2001-11-20 | University Of Southern California | Discourse parsing and summarization |
| US6829668B2 (en) * | 2000-12-28 | 2004-12-07 | Intel Corporation | System for finding data related to an example datum on two electronic devices |
| US20020169872A1 (en) * | 2001-05-14 | 2002-11-14 | Hiroshi Nomiyama | Method for arranging information, information processing apparatus, storage media and program tranmission apparatus |
-
2002
- 2002-10-08 JP JP2002295438A patent/JP4088131B2/ja not_active Expired - Fee Related
- 2002-12-31 US US10/331,504 patent/US7516415B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7516415B2 (en) | 2009-04-07 |
| US20030188255A1 (en) | 2003-10-02 |
| JP2004007358A (ja) | 2004-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4088131B2 (ja) | 同期コンテンツ情報生成プログラム、同期コンテンツ情報生成装置および同期コンテンツ情報生成方法 | |
| US10614829B2 (en) | Method and apparatus to determine and use audience affinity and aptitude | |
| US7263659B2 (en) | Paper-based interface for multimedia information | |
| US7979786B1 (en) | Techniques for retrieving multimedia information using a paper-based interface | |
| US7263671B2 (en) | Techniques for annotating multimedia information | |
| US7747655B2 (en) | Printable representations for time-based media | |
| US7043433B2 (en) | Method and apparatus to determine and use audience affinity and aptitude | |
| US6816858B1 (en) | System, method and apparatus providing collateral information for a video/audio stream | |
| US8719029B2 (en) | File format, server, viewer device for digital comic, digital comic generation device | |
| US7266782B2 (en) | Techniques for generating a coversheet for a paper-based interface for multimedia information | |
| US8539344B2 (en) | Paper-based interface for multimedia information stored by multiple multimedia documents | |
| US7743347B2 (en) | Paper-based interface for specifying ranges | |
| JP2005293589A (ja) | 複合的な電子表現物を作成する方法、コンピュータプログラム及びデータ処理システム | |
| JPWO2005069171A1 (ja) | 文書対応付け装置、および文書対応付け方法 | |
| CN110781328A (zh) | 基于语音识别的视频生成方法、***、装置和存储介质 | |
| CN112382295A (zh) | 语音识别方法、装置、设备及可读存储介质 | |
| JP2003085207A (ja) | 映像情報レコメンドシステム、方法及び装置、並びに、映像情報レコメンドプログラム及びプログラムの記録媒体 | |
| JP6603929B1 (ja) | 動画編集サーバおよびプログラム | |
| KR20200072616A (ko) | 동영상 실시간 텍스트 추적 및 번역을 위한 시스템 및 방법 | |
| US20140297678A1 (en) | Method for searching and sorting digital data | |
| JP3622711B2 (ja) | 映像コンテンツ視聴者情報提供システム及び方法と、視聴者情報提供装置、プログラム及びプログラムの記録媒体 | |
| KR20210136609A (ko) | 영상 뉴스 콘텐츠 생성 장치 및 방법 | |
| JP2007293602A (ja) | 映像検索システム、映像検索方法およびプログラム | |
| JP2006195900A (ja) | マルチメディアコンテンツ生成装置及び方法 | |
| Eldhose et al. | Alyce: An Artificial Intelligence Fine-Tuned Screenplay Writer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050328 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080206 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080222 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |