JP6304941B2 - 会議情報記録システム、情報処理装置、制御方法およびコンピュータプログラム - Google Patents

Description

本発明は、会議情報記録システム、情報処理装置、制御方法およびコンピュータプログラムに関する。

デジタル技術の進展に伴い、会議の様子を映像（動画および音声）として記録する会議情報記録システムが提案されている。会議情報記録システムでは、映像に加えて、プロジェクタやディスプレイに表示していた会議資料を記録することができる。この会議資料は、電子ファイルとして記録することもでき、表示画像を記録して得た静止画の場合もある。また、会議記録は、会議参加者がＰＣ等のコンピュータを操作して入力した議事テキスト（会議議事録やメモ）を含む。また、会議記録は、会議参加者による操作指示に基づいて記録するタグ、例えば、その操作の前後に重要な会話が成されたことを示す時刻情報や、会議シーンも含む。会議シーンとは、「オープニング」や「プレゼン」、「質疑／応答」、「議論」、「熟考／沈黙」、「まとめ」といった会議の状態である。会議記録の様子としては、例えば音量や温度、明度など、各種センサにより収集されたデータを記録することができる。

また、会議に関して収集したデータを解析・加工して生成したデータも、記録の対象とすることができる。例えば、記録した動画を解析し、会議参加者の顔部分を抽出した顔画像情報を記録する。これは、会議参加者の表情を参照することに役立つ。音声を解析して得る話者情報、音声認識処理により得たテキストや会議資料をＯＣＲ処理して得たテキスト、議事テキストに対して、統計的に解析処理することによって得られる重要語句であるキーワードなどを記録することも可能である。

例えば、特許文献１は、会議情報を収集し、収集した会議情報を区切りを付けて各会議情報に属性情報を付加することにより、会議情報の利用性を向上させる会議情報記録システムを開示している。

特開２００７−１９９８６６号公報

会議情報記録システムを利用することにより、過去の会議の様子を、より詳細かつ正確に振り返ることができる。しかしながら、会議情報は大量のデータとして記録されるため、ユーザが所望する箇所を探し出して閲覧するには手間がかかる。特許文献１が開示する会議情報記録システムでは、属性情報などの“検索キー”を用いて、会議情報の中から特定の情報を検索することができるが、依然として大量のデータを参照する必要がある。また、検索キーを用いて特定の情報を検索する場合、少なくとも過去の会議の様子のうち、検索キーと成り得る情報をユーザは覚えている必要が生じる。しかし、ユーザは必ずしもそうした情報を覚えているとは限らず、その場合、その会議の全てのデータを参照する必要がある。また、参照すべきデータは複数の種類から成るものであり、それらが時系列に提示される。従って、ユーザは、各時間帯においてどの種類のデータに着目すべきか分からず、効率よく過去の会議を振り返ることができない。

本発明は、会議シーンに応じて、強調して表示する項目を決定することで、各時間帯においてどの種類のデータに着目すべきかをユーザに提示する会議情報記録システムを提供することを目的とする。

本発明の一実施形態の会議情報記録システムは、会議に関する異なる種類のデータを取得する取得手段を有し、前記取得手段により取得された前記異なる種類のデータに基づいて生成される画面を表示する情報処理システムであって、前記取得手段により取得されたデータを種類ごとに、前記取得手段により取得された時間順で並べた前記画面を表示する表示手段と、前記会議中の各時刻における会議シーンを、複数の会議シーンからひとつ設定する設定手段とを備え、前記表示手段は、前記設定手段により設定された会議シーンごとに、強調して表示する前記データの種類を変える。

本発明の会議情報記録システムによれば、会議シーンに応じて、強調して表示する項目が決定されることで、各時間帯においてどの種類のデータに着目すべきかをユーザに提示することができる。これによりユーザは、より効率よく過去の会議を振り返ることができる。

本実施例の会議情報記録システムの構成例を示す図である。 会議情報収集装置の構成例を示すブロック図である。 会議情報記録サーバとコンピュータの構成例を示すブロック図である。 会議情報収集装置の表示デバイスが表示する画面例である。 会議情報のデータ構成例を示す図である。 会議情報のデータ構成例を示す図である。 解析・加工によって生成された会議情報のデータ構成例を示す図である。 コンピュータの表示デバイスが表示する画面例を示す。 コンピュータの表示デバイスが表示する画面例を示す。 表示画像を生成する手順を示したフローチャートである。 表示画像を生成する手順を示したフローチャートである。 表示画像を生成する手順を示したフローチャートである。 表示画像を生成する手順を示したフローチャートである。 表示画像を生成する手順を示したフローチャートである。 実施例２の、コンピュータの表示デバイスが表示する画面例を示す。 表示画像を生成する手順を示したフローチャートである。 表示画像を生成する手順を示したフローチャートである。 表示画像を生成する手順を示したフローチャートである。 スクロール処理の制御情報であるデータ構成例を示す。 スクロール制御情報を生成する手順を示すフローチャートである。 スクロール制御情報を生成する手順を示すフローチャートである。 スクロール制御情報を生成する手順を示すフローチャートである。 スクロール制御情報を生成する手順を示すフローチャートである。 スクロール制御情報を生成する手順を示すフローチャートである。 スクロール制御情報を生成する手順を示すフローチャートである。 表示画像をスクロールする処理の手順を示すフローチャートである。

図１は、本実施例に掛る会議情報記録システムの構成を示した構成図である。会議情報記録システム１００は、会議情報収集装置１０１、会議情報記録サーバ１０２、コンピュータ１０３、コンピュータ１０４、コンピュータ１０５を備える。これらの装置／機器は、ネットワーク１０６を介して接続されている。ネットワーク１０６は、有線／無線を問わず、相互に通信可能であれば、任意のネットワークが使用されてよい。なお、図１に示す会議情報記録システム１００は複数のコンピュータを備えているが、コンピュータは１台でもよく、４台以上のコンピュータを備えていてよい。

会議情報収集装置１０１は、会議室などの会議開催場所に配置され、動画、音声、会議シーンなど複数の種類のデータを収集する。以下では、会議に関して収集・生成して得た、複数の種類から成るデータを「会議情報」と呼称する。会議情報記録システム１００では、会議情報に含まれる各種データを、時刻情報と共に記録することにより、データ間の関連付けを成す事ができる。そして、収集したデータと時刻情報とを会議情報とし、定期的に会議情報記録サーバ１０２に送信する。また、会議情報収集装置１０１は、プロジェクタデバイスを有しており、後述のコンピュータ１０３からの出力画像をスクリーンや壁面等に投影することができる。なお、会議情報収集装置１０１は、例えばオフィスや所定の会場等において開催される会議を記録するが、本発明が適用対象とする会議は、複数の人物の視認／発声行動を伴う集まりであればよく、オフィスや所定の会場等において開催される会議に限定されない。例えば、面接や、取り調べ等も本発明の適用対象となる。

会議情報記録サーバ１０２は、一般的なＰＣであり、会議情報収集装置１０１より複数項目のデータを会議情報として受信し、当該会議情報を解析・加工して生成した会議情報とを記録して管理する。本実施例では、会議情報収集装置１０１と会議情報記録サーバ１０２が別離した装置として記載しているが、両機器の機能を備えた単一の装置として構成されてよい。この場合、会議情報収集装置１０１と会議情報記録サーバ１０２が会議に関する複数項目のデータを収集し、収集したデータに基づいて会議情報を作成する会議情報作成装置として機能する。

コンピュータ１０３およびコンピュータ１０４、コンピュータ１０５は、一般的なＰＣであるが、例えばタブレットやスマートフォン等の端末装置であってもよい。本実施例では、コンピュータ１０３は会議開催場所に配置され、プレゼンテーション用途等の会議資料（電子文書）より出力画像を生成する。コンピュータ１０３は、出力画像を会議情報収集装置１０１へ送信し、会議情報収集装置１０１が備えるプロジェクタデバイスによって、その内容を投影して表示することができる。コンピュータ１０４も会議開催場所に配置され、入力デバイスを介して議事やメモを入力するために用いられる。コンピュータ１０５は、会議の後に、会議情報記録サーバ１０２が記録している会議情報を閲覧するための情報処理装置である。尚、ユーザは、会議情報の閲覧は、コンピュータ１０５を用いて行うに限らず、コンピュータ１０３やコンピュータ１０４を用いて行ってもよい。また、本実施形態の制御方法は、図１に示す会議情報記録システムの制御方法である。本実施形態のコンピュータプログラムは、この制御方法をコンピュータに実行させる。

図２は、図１の会議情報収集装置１０１のハードウェア構成例を示すブロック図である。会議情報収集装置１０１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０４、ストレージ２０５、入力デバイス２０６、表示デバイス２０７、外部インタフェース２０８を備える。また、会議情報収集装置１０１は、カメラデバイス２０９、マイクデバイス２１０、プロジェクタデバイス２１１、センサ入力デバイス２１２、温度センサ２１３、音量センサ２１４、明度センサ２１５を備える。各部は、データバス２０３を介して相互にデータを送受信することができる。なお、ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。

ＣＰＵ２０１は、この会議情報収集装置全体を制御するためのコントローラである。ＣＰＵ２０１は、不揮発メモリであるＲＯＭ２０２に格納されているブートプログラムによりＯＳ（オペレーティングシステム）を起動する。ＣＰＵ２０１は、このＯＳの上で、ストレージ２０５に記憶されているコントローラプログラムを実行する。コントローラプログラムは、会議情報収集装置全体を制御するプログラムである。ＣＰＵ２０１は、データバス２０３などのバスを介して各部を制御する。ＲＡＭ２０４は、ＣＰＵ２０１のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ２０５は、読み出しと書き込みが可能な不揮発メモリであり、前述のコントローラプログラムを保存する。また、会議情報収集装置１０１は、各種の会議情報を収集して定期的に会議情報記録サーバ１０２へ送信するが、送信するまで間、当該会議情報をストレージ２０５に一時的に保存する。

入力デバイス２０６は、タッチパネルやハードキー、マウスなどから構成さる入力装置である。また、表示デバイス２０７は、ＬＣＤやＣＲＴなどの表示装置である。入力デバイス２０６は、ユーザの操作指示を受け付けると、ＣＰＵ２０１に伝達する。表示デバイス２０７は、ＣＰＵ２０１が生成した表示データを画面上に表示する。ＣＰＵ２０１は、入力デバイス２０６から受信した指示情報と、表示デバイス２０７に表示させている表示データとに基づいて、操作を判定する。ＣＰＵ２０１は、判定結果に応じて、会議情報収集装置１０１を制御するとともに、操作内容に応じて新たな表示データを生成し、表示デバイス２０７に表示させる。外部インタフェース２０８は、ＬＡＮや電話回線、赤外線といった近接無線などのネットワークを介して、別体の外部機器と各種データの送信あるいは受信を行う。

カメラデバイス２０９は、いわゆるデジタルカメラであり、動画を撮影することができる。カメラデバイス２０９は、会議開催場所全体の様子を記録できるよう、３６０度方向の撮影ができるタイプのものや、複数のレンズおよび画像素子を具備して撮影することで会議開催場所全体の様子を撮影するよう構成することが好ましい。カメラデバイス２０９は、レンズおよび画像素子により取得される撮影画像を、１秒間に所定のフレーム分（例えば３０フレーム、フレームレート３０ｆｐｓ）を取得することで、ＭＰＥＧなどの動画データとして取得する。

マイクデバイス２１０は、入力された音声をデジタル信号化し、例えばＷＡＶＥなどの音声データとして取得する。プロジェクタデバイス２１１は、光源と投射レンズにより、出力画像をスクリーンや壁面等に投影して表示することができる。センサ入力デバイス２１２は、各種センサと接続され、その入力信号をデジタル信号化して取得する。本実施例では、センサ入力デバイス２１２は、温度センサ２１３、音量センサ２１４、明度センサ２１５と接続されている。

図３は、図１の会議情報記録サーバ１０２とコンピュータ１０５の構成を示すブロック図である。まず、会議情報記録サーバ１０２について説明する。会議情報記録サーバ１０２は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０４、ストレージ３０５、入力デバイス３０６、表示デバイス３０７、外部インタフェース３０８を備える。各部は、データバス３０３を介して相互にデータを送受信することができる。ＣＰＵ３０１は、この会議情報記録サーバ全体を制御するためのコントローラである。ＣＰＵ３０１は、不揮発メモリであるＲＯＭ３０２に格納されているブートプログラムによりＯＳを起動する。このＯＳの上で、ストレージ３０５に記憶されている会議情報記録サーバプログラムを実行する。ＣＰＵ３０１がこの会議情報記録サーバプログラムを実行することより、会議情報記録サーバ１０２の各処理を実現する。ＣＰＵ３０１は、データバス３０３などのバスを介して各部を制御する。

ＲＡＭ３０４は、ＣＰＵ３０１のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ３０５は、読み出しと書き込みが可能な不揮発メモリであり、前述のサーバプログラムを保存する。また、会議情報記録サーバ１０２は、会議情報収集装置１０１が収集した各種の会議情報や、当該会議情報を解析・加工して生成した会議情報をストレージ３０５に記録して管理する。

入力デバイス３０６、表示デバイス３０７、外部インタフェース３０８は、図２を用いて説明した各部と同様の構成であるため、説明を省略する。ＣＰＵ３０１は、入力デバイス３０６より受信した指示情報と、表示デバイス３０７に表示させている表示データとから、操作を判定する。ＣＰＵ３０１は、この判定結果に応じて、会議情報記録サーバ１０２を制御するとともに、操作内容に応じて新たな表示データを生成し表示デバイス３０７に表示させる。入力デバイス３０６や表示デバイス３０７は、主に、サーバ管理者が、会議情報記録サーバ１０２のメンテナンス等を行う目的で使用される。

次に、コンピュータ１０５について説明する。コンピュータ１０５は、ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１４、ストレージ３１５、入力デバイス３１６、表示デバイス３１７、外部インタフェース３１８を備える。各部は、データバス３１３を介して相互にデータを送受信することができる。各部は図３（Ａ）を用いて説明した会議情報記録サーバ１０２の各部と同様の構成であるため、説明は省略する。ＣＰＵ３１１は、ストレージ３０５に記憶されている会議情報表示プログラムを実行することより、コンピュータ１０５の各処理を実現する。尚、コンピュータ１０３やコンピュータ１０４の構成は、コンピュータ１０５の構成と同様であり、説明は省略する。

次に、会議情報収集装置１０１の表示デバイス２０７における表示内容について説明する。図４は、会議情報収集装置１０１の表示デバイス２０７の表示例を示す画面図である。図４（Ａ）の画面４００は、会議開始前に表示する画面である。

「会議開始」ボタン４０１は、ユーザが会議情報収集装置１０１に会議の開始を通知するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「会議開始」ボタン４０１への指示を受け付けると、表示デバイス２０７に、図４（Ｂ）に示す画面４１０を表示させる。画面４１０は、会議中に表示する画面である。会議情報の収集のためのユーザによる操作指示受け付けるための内容を表示する。

図４（Ｂ）は、会議シーン選択画面の一例を示す。表示デバイス２０７は、当該会議シーン選択画面を提示する提示手段として機能する。図４（Ｂ）に示す画面例では、表示デバイス２０７は、オープニング４１１、プレゼン４１２、質疑／応答４１３、議論４１４、熟考／沈黙４１５、まとめ４１６等のボタン群を表示する。各ボタン４１１〜４１６は、会議情報収集装置１０１に、現在の会議シーンを記録させるためのボタン群である。ユーザがこれらボタン群のうちのひとつを指示すると、その指示時刻から次に他のボタンを指示するまでの時間帯は、当該指示したボタンが示す会議シーンであることを会議情報収集装置１０１に記録させることができる。つまり、各々の会議シーンは、時間情報と紐付けて記録される。

ここで「会議シーン」について説明する。本実施例では、会議シーンを、会議の状態として以下のうちのいずれかの値を取り得るものとして定義する。「オープニング」は、会議の冒頭などにおいて、会議の背景や目的、アウトプット等を説明する状況である。「プレゼンテーション」は、会議で行われる、いわゆるプレゼンテーションであり、プレゼンターが他の会議参加者に対して、提案内容や計画案等を説明し、理解を得るための状況である。これには、一般的に、会議資料をプロジェクタやディスプレイに投影しながら行うことが多い。

「質疑／応答」は、いわゆる質疑応答であり、何らかの話題、例えばプレゼンテーションの内容、に対する質問と回答のやりとりを行う状況である。「議論」は、いわゆる議論であり、何らかの話題に対して合意に至るために、会議参加者達が意見を戦わせる状況である。「熟考／沈黙」は、会議において、会議参加者が、自分の意見や考えをまとめたり、アイデア出しを行う状況である。あるいは、議論が膠着・停滞してしまい、場が沈黙した状況である。「まとめ」は、会議の終了間際に、当該会議において決定した事項やアクションアイテムをまとめて振り返る状況である。

ユーザが、画面４１０に表示された各ボタン４１１〜４１６を入力デバイス２０６などを用いて押下することにより、現在行われている会議に会議シーンを割り当て、会議情報収集装置１０１のストレージ２０５に記録することができる。

「重要」ボタン４１７は、会議の重要ポイントを記録するためのアイコンである。効果としては、「重要」ボタン４１７を指示した時刻が記録されることであるが、例えば、重要な発言がなされたり、特徴的な出来事が生じた際に、ユーザはこのボタンにより重要性を記録させることができる。あるいは、ユーザは、これから重要な発言を行う、と言った際に当該ボタンを指示してもよい。ユーザにより、「重要」ボタン４１７が選択されると、ＣＰＵ２０１は「重要」ボタン４１７が選択された時刻に紐付けて重要タグ情報を記録する。これにより、表示デバイス３１７は、重要タグ情報が記録された時刻に対応する単位時間の区間に対して描画処理を行う際に、重要度を示す目印を描画することが可能となる。つまり、「重要」ボタン４１７を用いることで、後に大量のデータである会議情報を振り返る際の“目印”を付けることが可能となる。「会議終了」ボタン４１８は、会議情報収集装置１０１に会議の終了を通知するためのボタンである。ＣＰＵ２０１は、「会議終了」ボタン４１７への指示を受け付けると、表示デバイス２０７に画面４００と同様の画面を表示させ、会議情報の記録を終了する。

ここで、「最小時間間隔」を定義する。本実施例における会議情報記録システムによれば、会議の様子を複数の種類のデータ項目からなる会議情報として記録する。本実施例では、コンピュータ１０５などが会議情報を画面上に表示する際には、タイムライン（時系列）に会議情報を並べて提示する。タイムラインにおける会議情報の提示間隔は、ユーザ操作により変更することができるよう構成するが、この時間間隔の最小値を「最小時間間隔」と定義する。本実施例においては、最小時間間隔を１０秒と定義して説明する。

次に、会議情報収集装置１０１によって収集される会議情報について、図５と図６を用いて説明する。図５および図６は、会議情報収集装置１０１が収集してストレージ２０５に一時的に記録した、会議情報のデータ構成例を示す。会議情報記録サーバ１０２が会議情報収集装置１０１より受信してストレージ３０５に記録する会議情報も、図５や図６に示すものと同様の構成である。ＣＰＵ２０１は、「会議開始」ボタン４０１への指示を受け付けると、以下に示す会議情報の収集処理を開始する。

図５（Ａ）は、動画情報テーブル５００を示す。ＣＰＵ２０１は、カメラデバイス２０９により会議の様子を撮影し、動画データを収集し、収集したデータを動画情報テーブル５００に記録する。ＣＰＵ２０１は、撮影開始時刻列５０１に、撮影開始時刻（会議開始時刻）を記録し、撮影終了時刻列５０２に、撮影終了時刻を記録する。また、ＣＰＵ２０１は、動画データをファイルとしてストレージ２０５に記録し、そのファイル名を動画データ列５０３に記録する。

図５（Ｂ）は、音声情報テーブル５１０を示す。ＣＰＵ２０１は、マイクデバイス２１０により会議中の会話を録音し、音声データを収集し、収集したデータを音声情報テーブル５１０に記録する。ＣＰＵ２０１は、録音開始時刻列５１１に録音開始時刻（会議開始時刻）を記録し、録音終了時刻列５１２に録音終了時刻を記録する。また、ＣＰＵ２０１は、音声データをファイルとしてストレージ２０５に記録し、そのファイル名を音声データ列５１３に記録する。

図５（Ｃ）は、議事テキスト情報テーブル５２０を示す。コンピュータ１０４は、入力デバイスより入力されたテキストデータを、改行コードが入力される毎に会議情報収集装置１０１に送信する。このとき、改行コードが入力された時刻情報も合わせて送信する。ＣＰＵ２０１は、受信したテキストデータと時刻情報を議事テキスト情報テーブル５２０に記録する。ＣＰＵ２０１は、改行コードの入力時刻を入力時刻列５２１に、テキストデータを議事テキストデータ列５２２に、それぞれ記録する。

図５（Ｄ）は、会議資料情報テーブル５３０を示す。ＣＰＵ２０１は、コンピュータ１０３が会議資料に基づいて生成した出力画像を、外部インタフェース２０８を介して受信し、プロジェクタデバイス２１１により投影する。この際、ＣＰＵ２０１は、投影している出力画像を最小時間間隔おきに現在時刻（出力画像取得時刻）と共に会議資料情報テーブル５３０に記憶する。尚、プロジェクタデバイス２１１への出力画像の入力がない場合には、会議資料情報は収集しない。ＣＰＵ２０１は、出力画像取得時刻を出力画像取得時刻列５３１に記録する。また、ＣＰＵ２０１は、出力画像をファイルとしてストレージ２０５に記録すると共に、出力画像取得時刻にｓｌｉｄｅ１などのファイル名を紐付けて出力画像列５３２に記録する。

図５（Ｅ）は、温度情報テーブル５４０を示す。ＣＰＵ２０１は、会議開催会場の環境情報として、センサ入力デバイス２１２および温度センサ２１３より、最小時間間隔おきに温度データを取得する。そして、ＣＰＵ２０１は、時刻情報（温度データ取得時刻）と共に温度情報テーブル５４０に記憶する。ＣＰＵ２０１は、温度データ取得時刻を温度データ取得時刻列５４１に、温度データを温度データ列５４２に、それぞれ記録する。

図６（Ａ）は、音量情報テーブル６００を示す。ＣＰＵ２０１は、会議の活性度を示す情報として、センサ入力デバイス２１２および音量センサ２１４より、最小時間間隔おきに音量データを取得する。そして、ＣＰＵ２０１は、時刻情報（音量データ取得時刻）と共に音量情報テーブル６００に記録する。ＣＰＵ２０１は、音量データ取得時刻を音量データ取得時刻列６０１に記録し、音量データを音量データ列６０２に、それぞれ記録する。

図６（Ｂ）は、明度情報テーブル６１０を示す。ＣＰＵ２０１は、会議開催会場の環境情報として、センサ入力デバイス２１２および明度センサ２１５より、最小時間間隔おきに明度データを取得する。そして、ＣＰＵ２０１は、時刻情報（明度データ取得時刻）と共に明度情報テーブル６１０に記憶する。ＣＰＵ２０１は、明度データ取得時刻を明度データ取得時刻列６１１に、明度データを明度データ列６１２に、それぞれ記録する。

図６（Ｃ）は、重要タグ情報テーブル６２０を示す。ＣＰＵ２０１は、「重要」ボタン４１７への指示を受け付けると、時刻情報（重要タグ付与時刻）を重要タグ付与時刻列６２１に記録する。

図６（Ｄ）は、会議シーン情報テーブル６３０を示す。ＣＰＵ２０１は、ボタン４１１〜４１６のいずれかのボタンへの指示を受け付けると、当該ボタンに該当する会議シーンを示す値を、時刻情報（会議シーン開始時刻）と共に会議シーン情報テーブル６３０に記録する。記録する会議シーンについては前述の通りである。会議シーン開始時刻を会議シーン開始時刻列６３１に、会議シーンを会議シーン列６３２に、それぞれ記録する。ＣＰＵ２０１は、「会議終了」ボタン４１８への指示を受け付けると、会議情報の収集処理を終了する。そして、ストレージ２０５に記録した上述の会議情報を、外部インタフェース２０８を介して会議情報記録サーバ１０２に送信する。

次に、会議情報記録サーバ１０２によって解析・加工して生成される会議情報について、図７を用いて説明する。図７は、会議情報記録サーバ１０２が生成し、ストレージ３０５に記録した会議情報のデータ構成を示す。ＣＰＵ３０１は、外部インタフェース３０８を介して、会議情報収集装置１０１が収集した会議情報を受信すると、ストレージ３０５に記録する。そして、記録した会議情報を次のように解析・加工して新たに会議情報を生成し、先に記録した会議情報と共にストレージ３０５に記録する。

図７（Ａ）は、解析・加工された顔画像情報テーブルを示す。ＣＰＵ３０１は、顔画像情報として、会議における会議参加者達の表情の移り変わりの様子を示す会議情報を生成する。ＣＰＵ３０１は、動画データ列５０３が示すファイルに記録した動画データから、最小時間間隔毎にフレーム画像を抽出する。Ｈａａｒ−Ｌｉｋｅ特徴による識別器等を用いて当該フレーム画像中の顔部分の位置を特定して顔画像として切り出す（会議参加者数に応じた複数の画像を得る）。また、撮影開始時刻と最小時間間隔、動画データのフレームレートとから、抽出したフレーム画像の時刻情報（顔画像取得時刻）を得ることができる。ＣＰＵ３０１は、生成した顔画像情報を顔画像取得時刻と共に顔画像情報テーブル７００に記録する。ＣＰＵ３０１は、顔画像取得時刻を顔画像取得時刻列７０１に記録する。また、ＣＰＵ３０１は、各顔画像をファイルとしてストレージ３０５に記録すると共に、そのファイル名をカンマ区切りで連結して、顔画像列７０２に記録する。

図７（Ｂ）は、解析・加工された話者情報テーブルを示す。ＣＰＵ３０１は、音声情報に含まれる会話について、話者情報として、発言者の切り替わりの様子を示す会議情報を生成する。ＣＰＵ３０１は、音声データ列５１３が示すファイルに記録した音声データより有音区間を抽出する。ＣＰＵ３０１は、抽出したそれぞれの有音区間を幾つかの区間に分割して、各区間に含まれる音声データに対して音声信号処理を施して声紋を得る。こうして得られた声紋群についてマッチング処理を施せば、同一人物の発言を特定することができる。ＣＰＵは、このようにして特定された発言者に、発言者Ａ、Ｂなどの発言者名を割り当てる。

また、音声情報の録音開始時刻と音声データのサンプリング周波数とから、当該発言の時刻情報（発言開始時刻から発言終了時刻）を得ることができる。以上より、会議参加者それぞれについて、会議中の個々の発言について、発言者を示す情報と当該発言の開始時刻と終了時刻を得ることができる。

更に、動画情報に含まれるフレーム画像から、発言開始時刻前後の複数のフレーム画像を得て前述の顔画像情報の生成と同様の方法で、顔画像を得ることができる。そして、複数フレームに渡り会議参加者の顔画像について口部分の動きを検出し解析すれば、当該発話者の顔画像を推定することができる。

ＣＰＵ３０１は、生成した話者情報を話者情報テーブル７１０に記録するＣＰＵ３０１は、発言時刻（発言開始時刻と発言終了時刻を‘-’で連結）を発言時刻列７１１に、発言者を発言者列７１２に、それぞれ記録する。また、ＣＰＵ３０１は、前述のようにして推定した顔画像について、発言時刻直近のフレーム画像から抽出したものを、ファイルとしてストレージ３０５に記録すると共に、そのファイル名を発言者顔画像列７１３に記録する。

図７（Ｃ）は、キーワード情報テーブル７２０を示す。ＣＰＵ３０１は、会議情報からテキストを取得し、当該テキストからキーワードを抽出する。対象となる会議情報は、音声データ列５１３が示す音声データを音声認識処理して得るテキスト、議事テキストデータ列５２２に記録したテキストである。また、対象となる会議情報は、出力画像列５３２に記録したプロジェクタデバイス２１１への出力画像をＯＣＲ処理して得るテキストである。

キーワード抽出の例としては、例えば、次の方法を挙げることができる。ＣＰＵ３０１は、これらのテキストを形態素解析して形態素に分解する。そして、分解した形態素それぞれについて、ＴＦ−ＩＤＦ（Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ−Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）による重要度の指標計算を行う。そしてその値が、一定値以上であるものをキーワードとして抽出する。

更に、抽出したキーワードのそれぞれについて、出現時刻列７２１と抽出源列７２３を計算する。抽出したキーワードが、音声認識処理して得たテキストに含まれていれば、抽出源として音声情報を挙げることができる。出現時刻列７２１は、認識処理した音声データの処理区間とサンプリングレートより算出することができる。抽出したキーワードが、議事テキスト情報に含まれていれば、抽出源として議事テキスト情報を挙げることができる。出現時刻は、キーワードを含む議事テキストデータ列５２２に該当する入力時刻列５２１の値により特定できる。抽出したキーワードが出力画像をＯＣＲ処理によって得たテキストに含まれていれば、抽出源として会議資料情報を挙げることができる。出現時刻は、キーワードを含んでいた出力画像の出力画像取得時刻列５３１の値により特定できる。ＣＰＵ３０１は、このようにして得た出現時刻とキーワードと抽出源を、キーワード情報テーブル７２０に記録する。ＣＰＵ３０１は、出現時刻を出現時刻列７２１に、キーワードをキーワード列７２２に、抽出源を抽出源列７２３に、それぞれ記録する。以上の処理により、会議情報収集サーバ１０２は、会議に関する会議情報を収集・生成して記録することができる。

次に、コンピュータ１０５（あるいはコンピュータ１０３、コンピュータ１０４）の画面上に表示される会議情報について説明する。会議情報は大量のデータから成る情報であるため、画面上には、ユーザが効率的に閲覧できるよう、注目すべきデータの種類が示唆されるように表示される。このために、会議シーン情報の種別に応じて、会議情報の各項目の表示方法を以下のように決定する。

会議シーン情報が「オープニング」の場合には、その会議の目的や背景などの重要情報が議事テキストとして記録されると考える。よって、この場合には、議事テキスト情報を強調して表示する。会議シーン情報が「プレゼン」の場合には、プレゼンターがプロジェクタデバイス２１１により投影される会議資料を用いてプレゼンテーションを行ったと考えられる。よって、注目すべきは会議資料である。また、プロジェクタを用いたプレゼンテーションの際には、照明を落として投影面が良く見えるようにすることが多い。何らかの理由でプレゼンテーションを中断する際には、一旦照明を上げるなどの操作をする。このように、プレゼンテーションと照明のレベルは関連性が高いと考える。よって、会議シーン情報が「プレゼン」の場合には、会議資料情報と明度情報を強調して表示する。

会議シーン情報が「質疑／応答」の場合には、誰がどのような内容を質問したか、そして誰がそのような内容を回答したか、が重要であると考える。更に、その際の話者（質問者や回答者）の表情も会議の振り返りにとって重要な情報であると考える。例えば、建設的な質問であったのか、それとも否定的であったか、などを把握することができる。よって、会議シーン情報が「質疑／応答」の場合には、議事テキスト情報と話者情報を強調して表示する。

会議シーン情報が「議論」の場合には、議論の流れや盛り上がりを容易に把握できることが、会議の振り返りにとって重要と考える。また、議論の質を類推するために、発言者以外の会議参加者の表情も有用な情報であると考える。よって、会議シーン情報が「議論」の場合には、話者情報と音量情報、顔画像情報を強調して表示する。なお、議論中の発言内容は途中経過であり、二転三転する可能性があり、後にまとめられる結論・決定事項が重要となる。よって、議論中の発言が記録されるであろう議事テキスト情報は重要視しない。

会議シーン情報が「熟考／沈黙」の場合は、会議の進行は停滞している状況であるため、振り返りに有用な情報は少ない。よって、会議シーン情報が「熟考／沈黙」の場合は、いずれの会議情報も強調した表示は行わない。

会議シーン情報が「まとめ」の場合には、その会議におけるまとめが成され、決定事項やアクションアイテムが議事テキストに記録されると考える。よって、会議シーン情報が「まとめ」の場合には、議事テキスト情報を強調してテキスト表示する。

以上を踏まえて、会議情報の表示について説明する。図８および図９は、本実施例に掛る、コンピュータ１０５の表示デバイス３１７が表示する画面例を示す。ＣＰＵ３１１は、外部インタフェース３１８を介して、会議情報記録サーバ１０２より会議情報を受信し、これを元に表示画像８００（会議情報画面）を生成して表示デバイス３１７に表示させる。

タイムライン表示部位８０１は、タイムラインを表示するものである。タイムラインには一定間隔で目盛りをふって表示する。この一定間隔（目盛りと目盛りの間隔）を、タイムラインの「単位時間」と呼称する。本実施例では、表示画像８００は、タイムラインの単位時間が５分の場合を例として示しているものとする。表示画像８００では、タイムラインに対して垂直となる方向（図８の例では水平方向）に、会議情報の各項目（種類）のデータが並べて表示される。ユーザが図９に示す単位時間縮小ボタン８０２を、入力デバイス３１６を介して指示すると、タイムラインの単位時間を５分よりも小さな値に変更することができる。ユーザが図９に示す単位時間拡大ボタン８０３を指示すると、タイムラインの単位時間を５分よりも大きな値に変更することができる。単位時間の最小値は最小時間間隔であり、最大値は、例えば１０分、のようにすればよく、任意の単位時間が設定されてよい。

会議シーン情報表示部位８０４は、会議シーン情報を示す表示部位である。ＣＰＵ３１１は、会議シーン情報テーブル６３０の内容に従って、会議シーン情報表示部位８０４の表示画像を生成する。ＣＰＵ３１１は、「オープニング」、「プレゼン」、「質疑／応答」、「議論」、「熟考／沈黙」、「まとめ」の各会議シーンに模様ないし色を割当てる。そして、会議シーン開始時刻列６３１と会議シーン列６３２の値に従い、前述の模様（色）でタイムラインに沿った帯状の矩形を描画する。帯状の矩形の切り替わりが、会議シーンの変化を示す。本実施例では、色によって会議シーンの切り替わりが表示されているが、例えば、ユーザが入力デバイス３１６を用いて不図示のカーソルを帯状の矩形に合わせると会議シーン名がポップアップ表示される構成が用いられてもよい。

議事テキスト情報表示部位８０５は、議事テキスト情報を示す表示部位である。ＣＰＵ３１１は、議事テキスト情報テーブル５２０の内容に従って、議事テキスト情報表示部位８０５の表示画像を生成する。タイムラインのある単位時間の区間について、入力時刻列５２１に記録した時刻が当該区間の時間帯に含まれるレコードを検索する。そして、該当レコードの議事テキストデータ列５２２の値をタイムライン方向に並べて描画する。このとき、ＣＰＵ３０１は、タイムラインの当該区間の会議シーン情報が「オープニング」ないし「質疑／応答」、「まとめ」の場合には、そうでない場合に比して、議事テキスト情報表示部位８０５を強調して描画する。例えば、フォントサイズをより大きくし、書体をボールド体とし、また、議事テキスト情報表示部位８０５を赤枠で囲って描画する。尚、ある区間内に複数の会議シーンが含まれている場合には、その割合が最も大きなものをその区間の会議シーンと判定する。以降に示す他の表示部位の説明においても同様である。

会議資料情報表示部位８０６は、会議資料情報を示す表示部位である。ＣＰＵ３１１は、会議資料情報テーブル５３０の内容に従って、会議資料情報表示部位８０６の表示画像を生成する。会議資料情報テーブル５３０には、タイムラインのある単位時間の区間に該当するレコードが複数記録されている場合がある。この場合は、それら複数のレコードのうち、出力画像取得時刻列５３１の時刻が、当該区間の開始時刻に最も近いレコードを選択する。そして当該レコードの出力画像列の値が示す出力画像を表示画像８００に出力する。

このとき、ＣＰＵ３１１は、タイムラインの当該区間の会議シーン情報が「プレゼン」の場合には、そうでない場合に比して、会議資料情報表示部位８０６を強調して描画する。例えば、出力画像をより大きく（例えば１．５倍に拡大）して描画し、また、会議資料情報表示部位８０６を赤枠で囲って描画する。尚、会議シーン情報が「プレゼン」であっても、ひとつ前の区間の会議シーン情報が「プレゼン」であって、当該ひとつ前の区間で描画した出力画像と、今回の区間で描画する出力画像とに差分がない場合は強調表示しないようにしてもよい。つまり、会議シーン情報が「プレゼン」の場合であっても、会議資料の内容が変化した場合のみ強調表示するものである。尚、図中の会議資料情報表示部位８０６の部分に示される各矩形は、出力画像を示す。

話者情報表示部位８０７は、話者情報を示す表示部位である。ＣＰＵ３１１は、話者情報テーブル７１０の内容に従って話者情報表示部位８０７の表示画像を生成する。ＣＰＵ３１１は、発言者列７１２に記録されている各発言者に線種（直線・破線・点線、等）ないし色を割り当てる。そして、発言時刻列７１１の時刻に従い、当該発言者が発言している時間の分、前述の線種ないし色でタイムラインに沿った線分を描画する。線分の切り替わりが話者の交代を示す。

また、発言者顔画像列７１３の値が示す発言開始時の顔画像を取得し、線分の描画開始位置近傍に描画する。このとき、ＣＰＵ３１１は、タイムラインの当該区間の会議シーン情報が、「質疑／応答」や「議論」の場合には、そうでない場合に比して、話者情報表示部位８０７を強調して描画する。例えば、発言者顔画像をより大きく（例えば１．５倍に拡大）して出力し、また、発言者顔画像を破線枠ないし赤枠で囲って描画する。あるいは、会議シーンが「質疑／応答」および「議論」の場合には、発言開始時の発言者顔画像のみならず、発言中の複数の発言者顔画像を描画してもよい。尚、図中の話者情報表示部位８０７の部分に示される各矩形は、発言者顔画像を示す。

キーワード情報表示部位８０８は、キーワード情報を示す表示部位である。ＣＰＵ３１１は、キーワード情報テーブル７２０の内容に従って、キーワード情報表示部位８０８の表示画像を生成する。タイムラインのある単位時間の区間について、出現時刻列７２１に記録した時刻が当該区間の時間帯に含まれるレコードを検索する。そして、検索したレコードのキーワード列７２２の値をタイムライン方向に並べて描画する。よって、単位時間が大きければある区間内に含まれるキーワード情報は多くなり、逆に単位時間が小さければある区間内に含まれるキーワード情報は少なくなる。尚、このとき、抽出源列７２３の値に従って、キーワードを表示する文字の色やフォントを変じてもよい。これにより、会議を特徴付けるキーワードが、いずれの会議情報に含まれるかを示すことができる。

重要タグ情報表示部位８０９は、重要タグ情報を示す表示部位である。ＣＰＵ３１１は、重要タグ情報テーブル６２０の内容に従って、重要タグ情報表示部位８０９の表示画像を生成する。タイムラインのある単位時間の区間について、重要タグ付与時刻列６２１に記録した時刻が当該区間の時間帯に含まれるレコード検索する。そして、検索されたレコード数に応じて、重要タグを示すマーク（例えばチェックマーク）を並べて描画する。よって、単位時間が大きければある単位時間内に含まれる重要タグ情報は多くなり、逆に単位時間が小さければある単位時間内に含まれる重要タグ情報は少なくなる。

温度情報表示部位８１０は、温度情報を示す表示部位である。ＣＰＵ３１１は、温度情報テーブル５４０の内容に従って、温度情報表示部位８１０の表示画像を生成する。温度データ取得時刻列５４１の時刻と温度データ列５４２の温度データとから、タイムラインに沿った折れ線グラフを描画する。折れ線グラフの山の変化により、会議開催場の環境（寒い日で会議室内も寒かった、等）を示す。

音量情報表示部位８１１は、音量情報を示す表示部位である。ＣＰＵ３１１は、音量情報テーブル６００の内容に従って、音量情報表示部位８１１の表示画像を生成する。音量データ取得時刻列６０１の時刻と音量データ列６０２の音量データとから、タイムラインに沿った折れ線グラフを描画する。折れ線グラフの山の変化により、会議の盛り上がりを示し、その会議の内容を想起させることに寄与する。このとき、ＣＰＵ３１１は、タイムラインの当該単位時間の会議シーン情報が「議論」の場合には、そうでない場合に比して、音量情報表示部位８１１を強調して描画する。例えば、折れ線グラフの線を太くし、音量情報表示部位８１１を破線枠ないし赤枠で囲って描画する。

明度情報表示部位８１２は、明度情報を示す表示部位である。ＣＰＵ３１１は、明度情報テーブル６１０の内容に従って、明度情報表示部位８１２の表示画像を生成する。明度データ取得時刻列６１１の時刻と明度データ列６１２の明度データとから、タイムラインに沿った折れ線グラフを描画する。折れ線グラフの山の変化により、会議開催場の環境（照明が消えて暗い状態だった、等）を示す。このとき、ＣＰＵ３１１は、タイムラインの当該単位時間の会議シーン情報が「プレゼン」の場合には、そうでない場合に比して、明度情報表示部位８１２を強調して描画する。例えば、折れ線グラフの線を太くし、明度情報表示部位８１２を赤枠で囲って描画する。

動画情報表示部位８１３は、動画情報を示す表示部位である。ＣＰＵ３１１は、動画データ列５０３が示す動画データから、タイムラインのある単位時間の区間について、その開始時刻に該当するフレーム画像を取得して描画する。尚、動画情報表示部位８１３に対して操作指示が成された場合には、当該区間の開始時刻から、動画データを再生して表示することができる。また、図中の動画情報表示部位８１３の部分に示される各矩形は、フレーム画像を示す。

顔画像情報表示部位８１４は、顔画像情報を表示する部位である。ＣＰＵ３１１は、顔画像情報テーブル７００の内容に従って、顔画像情報表示部位８１４の表示画像を生成する。タイムラインのある単位時間の区間について、その開始時刻の後であって最も近い時刻を記録した顔画像取得時刻列７０１のレコードを検索する。そして、当該レコードの顔画像列７０２に記録されている値が示す顔画像を取得して描画する。このとき、ＣＰＵ３１１は、タイムラインの当該単位時間の会議シーン情報が「議論」の場合には、そうでない場合に比して、顔画像情報表示部位８１４を強調して表示する。例えば、顔画像をより大きく（例えば１．５倍に拡大）して描画し、また、顔画像情報表示部位８１４を赤枠で囲って描画する。尚、図中の顔画像情報表示部位８１４の部分に示される各矩形は、顔画像を示す。

次に、ＣＰＵ３１１が、図８および図９に示した表示画像８００を生成する方法について、図１０乃至図１４を用いて説明する。図１０乃至図１４は、表示画像生成処理の手順を示したフローチャートである。コンピュータ１０５のＣＰＵ３１１が、ストレージ３１５に記録されている会議情報表示プログラムを読み込み、ＲＡＭ３１４に展開して実行する。これにより、コンピュータ１０５は、表示画像生成処理を実行し、図８および図９に示す画面を表示デバイス３１７に表示することが可能となる。コンピュータ１０５のＣＰＵ３１１は、ユーザにより会議情報の表示指示が成された場合や、ユーザにより単位時間縮小ボタン８０２や単位時間拡大ボタン８０３の操作指示が成された場合に表示画像生成処理を実行する。

まず、ＣＰＵ３１１は、ステップ９０１において、外部インタフェース３１８を介して、会議情報記録サーバ１０２より表示対象の会議情報を受信し、ストレージ３１５に一時的に記録する。ＣＰＵ３１１は、ステップ９０２において、タイムラインの単位時間を決定する。例えば、デフォルトでは５分と固定的に決定するが、単位時間縮小ボタン８０２や単位時間拡大ボタン８０３が操作指示された場合には、その操作内容に応じて５分よりも小さな値／大きな値に決定する。

ＣＰＵ３１１は、ステップ９０３において、タイムラインの開始時刻と終了時刻を計算する。これには、まず、動画情報テーブル５００の撮影開始時刻列５０１と撮影終了時刻列５０２を、それぞれ会議開始時刻と会議終了時刻として取得する。そして、会議開始時刻の直前の時刻であって、単位時間で割り切れる時刻をタイムラインの開始時刻として求める。例えば、会議開始時刻が１３：００：１５（１３時００分１５秒）であり、単位時間が５分であれば、１３：００：００をタイムライン開始時刻として得る。別の例を挙げれば、会議開始時刻が１３：０８：００であり、同じく単位時間が５分であれば、１３：０５：００をタイムライン開始時刻として得る。また、会議終了時刻の直後の時刻であって、単位時間で割り切れる時刻をタイムラインの終了時刻として求める。例えば、会議終了時刻が１４：２８：５５であれば１４：３０：００をタイムラインの終了時刻として得る。

ＣＰＵ３１１は、ステップ９０４において、タイムライン開始時刻からタイムライン終了時刻までの間の、単位時間毎の区間の数を計算する。これは、タイムライン終了時刻とタイムライン開始時刻の差分を単位時間で割ることにより得られる。例えば、タイムライン開始時刻が１３：００：００であり、タイムライン終了時刻が１４：３０：００であれば、その差分は９０分である。単位時間５分で割ると、区間数は１８と求められる。ＣＰＵ３１１は、計算した区間毎に描画処理を行う。

ＣＰＵ３１１は、ステップ９０５において、ステップ９０４で求めた区間数の数だけ、それら区間の会議情報を表示画像８００に対して描画したか否かを判定する。言い換えると、ステップ９０６からステップ９１８の処理を、区間数分実行したか否かを判定する。ＹＥＳと判定する場合にはステップ９１９に処理は遷移し、ＮＯと判定する場合にはステップ９０６に処理は遷移する。

ＣＰＵ３１１は、ステップ９０６において、処理対象の区間のタイムラインを、表示画像８００に対して描画する。タイムラインの直線と、当該区間の開始時刻の目盛りを描画する。ＣＰＵ３１１は、ステップ９０７において、処理対象の区間の会議シーン情報表示部位８０４を、表示画像８００に対して描画する。ＣＰＵ３１１は、会議シーン情報テーブル６３０から、会議シーン開始時刻列６３１の時刻が当該区間内に含まれるレコードを検索する。そして、取得したレコードの内容に従って、前述の通り、表示画像８００に対して、各会議シーンに割り当てた模様や色などで帯状の矩形を描画する。

ＣＰＵ３１１は、ステップ９０８において、ステップ９０７で取得した会議シーン情報テーブル６３０のレコードを集計し、処理対象の区間内に占める会議シーンの割合を計算する。当該区間に複数の会議シーンが含まれる場合には、その割合が大きいものを、本区間の会議シーンに決定する。そして、後述する他の会議情報の表示方法の決定に用いる。

ＣＰＵ３１１は、ステップ９０９において、処理対象の区間の議事テキスト情報表示部位８０５を、表示画像８００に対して描画する。ＣＰＵ３１１は、ステップ９１０において、処理対象の区間の会議資料情報表示部位８０６を、表示画像８００に対して描画する。ＣＰＵ３１１は、ステップ９１１において、処理対象の区間の話者情報表示部位８０７を、表示画像８００に対して描画する。こＣＰＵ３１１は、ステップ９１２において、処理対象の区間のキーワード情報表示部位８０８を、表示画像８００に対して描画する。ステップ９０９乃至ステップ９１２の処理の詳細は、図１１を用いて後述する。

ＣＰＵ３１１は、ステップ９１３において、処理対象の区間の重要タグ情報表示部位８０９を、表示画像８００に対して描画する。ＣＰＵ３１１は、ステップ９１４において、処理対象の区間の温度情報表示部位８１０を、表示画像８００に対して描画する。ＣＰＵ３１１は、ステップ９１５において、処理対象の区間の音量情報表示部位８１１を、表示画像８００に対して描画する。ステップ９１３乃至ステップ９１５の処理の詳細は、図１２を用いて後述する。ＣＰＵ３１１は、ステップ９１６において、処理対象の区間の明度情報表示部位８１２を、表示画像８００に対して描画する。ステップ９１６の処理の詳細は、図１３を用いて後述する。ＣＰＵ３１１は、ステップ９１７において、処理対象の区間の動画情報表示部位８１３を、表示画像８００に対して描画する。ＣＰＵ３１１は、ステップ９１８において、処理対象の区間の顔画像情報表示部位８１４を、表示画像８００に対して描画する。ステップ９１７およびステップ９１８の処理の詳細は、図１４を用いて後述する。

ＣＰＵ３１１は、区間数の数だけ、それら区間の会議情報を表示画像８００に対して描画した後、ステップ９０５からステップ９１９に処理を進め、単位時間縮小ボタン８０２と単位時間拡大ボタン８０３を、表示画像８００に対して描画する。そして処理を終了する。

次に、図１１を参照し、図１０で説明したステップ９０９乃至ステップ９１２の処理の詳細を説明する。図１１（Ａ）に示す処理１０００は、ステップ９０９（議事テキスト情報表示部位８０５の描画）の詳細を示したフローチャートである。ＣＰＵ３１１は、ステップ１００１において、描画する議事テキスト情報を取得する。すなわち、ＣＰＵ３１１は、議事テキスト情報テーブル５２０から、入力時刻列５２１の時刻が処理対象の区間内に含まれるレコードを検索して取得する。

ＣＰＵ３１１は、ステップ１００２において、ステップ１００１で描画対象の議事テキスト情報を取得できたか否か、すなわち、取得したレコードの件数は１件以上であったか否かを判定する。ＹＥＳと判定する場合にはステップ１００３に処理は遷移し、ＮＯと判定する場合には処理を終了する。

ＣＰＵ３１１は、ステップ１００３において、ステップ９０８で決定した当該区間の会議シーンが「オープニング」または「質疑／応答」、または「まとめ」であるか否かを判定する。ＹＥＳと判定する場合には、ステップ１００４に処理は遷移し、ＮＯと判定する場合には、ステップ１００５に処理は遷移する。

ＣＰＵ３１１は、ステップ１００４において、ステップ１００１で取得したレコードの議事テキストデータ列５２２の値をタイムライン方向に並べ、表示画像８００に対して強調して描画する。「強調」とは、前述の通り、例えば、フォントサイズをより大きくし、書体をボールド体とし、また、議事テキスト情報表示部位８０５を破線枠ないし赤枠で囲うことである。上述の強調処理は上述の例に限定されず、任意の強調処理が施されてよい。例えば、「オープニング」、「質疑／応答」、「まとめ」の各々に対し、異なる強調処理が施されてもよい。一方、ＣＰＵ３１１は、ステップ１００５において、ステップ１００１で取得したレコードの議事テキストデータ列５２２の値をタイムライン方向に並べて（強調せずに）描画する。

図１１（Ｂ）に示す処理１０１０は、ステップ９１０（会議資料情報表示部位８０６の描画）の詳細を示したフローチャートである。ＣＰＵ３１１は、ステップ１０１１において、描画する会議資料情報を取得する。すなわち、ＣＰＵ３１１は、会議資料情報テーブル５３０から、出力画像取得時刻列５３１の時刻が処理対象の区間内に含まれるレコードを検索して取得する。更に、取得したレコードのうち、当該区間の開始時刻に最も近いレコードを特定する。そして、当該レコードの出力画像列５３２が示す出力画像を取得する。

ＣＰＵ３１１は、ステップ１０１２において、ステップ１０１１で描画対象の会議資料情報を取得できたか否か、すなわち、取得したレコードの件数は１件以上であったか否かを判定する。ＹＥＳと判定する場合にはステップ１０１３に処理は遷移し、ＮＯと判定する場合には処理を終了する。

ＣＰＵ３１１は、ステップ１０１３において、ステップ９０８で決定した当該区間の会議シーンが「プレゼン」であるか否かを判定する。ＹＥＳと判定する場合には、ステップ１０１４に処理は遷移し、ＮＯと判定する場合には、ステップ１０１５に処理は遷移する。

ＣＰＵ３１１は、ステップ１０１４において、ステップ１０１１で取得した出力画像を、表示画像８００に対して強調して描画する。ステップ１０１４における「強調」処理とは、前述の通り、例えば、出力画像をより大きく（例えば１．５倍に拡大）し、また、会議資料情報表示部位８０６を破線枠ないし赤枠で囲うことである。一方、ＣＰＵ３１１は、ステップ１０１５において、ステップ１０１１で取得した出力画像を（強調せずに）描画する。

図１１（Ｃ）に示す処理１０２０は、ステップ９１１（話者情報表示部位８０７の描画）の詳細を示したフローチャートである。ＣＰＵ３１１は、ステップ１０２１において、描画する話者情報を取得する。すなわち、ＣＰＵ３１１は、話者情報テーブル７１０から、発言時刻列７１１の時刻が処理対象の区間内に含まれるレコードを検索して取得する。

ＣＰＵ３１１は、ステップ１０２２において、ステップ１０１１で描画対象の話者情報を取得できたか否か、すなわち、取得したレコードの件数は１件以上であったか否かを判定する。ＹＥＳと判定する場合にはステップ１０２３に処理は遷移し、ＮＯと判定する場合には処理を終了する。ＣＰＵ３１１は、ステップ１０２３において、ステップ９０８で決定した当該区間の会議シーンが「質疑／応答」、または「議論」であるか否かを判定する。ＹＥＳと判定する場合には、ステップ１０２４に処理は遷移し、ＮＯと判定する場合には、ステップ１０２５に遷移する。

ＣＰＵ３１１は、ステップ１０２４において、前述のとおり、ステップ１０２１で取得したレコードの発言者列７１２の発言者に応じた線分と、発言者顔画像列７１３の値が示す発言者顔画像を、表示画像８００に対して強調して描画する。ステップ１０２４における「強調」処理とは、前述の通り、発言者顔画像をより大きく（例えば１．５倍に拡大）して出力し、また、発言者顔画像を破線枠ないし赤枠で囲うことである。

一方、ＣＰＵ３１１は、ステップ１０２５において、ステップ１０２１で取得したレコードの発言者列７１２の発言者に応じた線分と、発言者顔画像列７１３の値が示す顔画像を、表示画像８００に対して（強調せずに）描画する。

図１１（Ｄ）に示す処理１０３０は、ステップ９１２（キーワード情報表示部位８０８の描画）の詳細を示したフローチャートである。ＣＰＵ３１１は、ステップ１０３１において、描画するキーワード情報を取得する。すなわち、ＣＰＵ３１１は、キーワード情報テーブル７２０から、出現時刻列７２１の時刻が処理対象の区間内に含まれるレコードを検索して取得する。

ＣＰＵ３１１は、ステップ１０３２において、ステップ１０３１で描画対象のキーワード情報を取得できたか否か、すなわち、取得したレコードの件数は１件以上であったか否かを判定する。ＹＥＳと判定する場合にはステップ１０３３に処理は遷移し、ＮＯと判定する場合には処理を終了する。ＣＰＵ３１１は、ステップ１０３３において、ステップ１０３１で取得したレコードのキーワード列７２２の値をタイムライン方向に並べて、表示画像８００に対して描画する。

次に、図１２を参照し、図１０で説明したステップ９１３乃至ステップ９１５の処理の詳細を説明する。図１２（Ａ）に示す処理１１００は、ステップ９１３（重要タグ情報表示部位８０９の描画）の詳細を示したフローチャートである。ＣＰＵ３１１は、ステップ１１０１において、描画する重要タグ情報を取得する。すなわち、ＣＰＵ３１１は、重要タグ情報テーブル６２０から、重要タグ付与時刻列６２１の時刻が処理対象の区間内に含まれるレコードを検索して取得する。

ＣＰＵ３１１は、ステップ１１０２において、ステップ１１０１で描画対象の重要タグ情報を取得できたか否か、すなわち、取得したレコードの件数は１件以上であったか否かを判定する。ＹＥＳと判定する場合にはステップ１１０３に処理は遷移し、ＮＯと判定する場合には処理を終了する。ＣＰＵ３１１は、ステップ１１０３において、ステップ１１０１で取得したレコードの数に応じて、重要タグを示すマーク（例えばチェックマーク）を並べて、表示画像８００に対して描画する。

図１２（Ｂ）に示す処理１１１０は、ステップ９１４（温度情報表示部位８１０の描画）の詳細を示したフローチャートである。ＣＰＵ３１１は、ステップ１１１１において、描画する温度情報を取得する。すなわち、ＣＰＵ３１１は、温度情報テーブル５４０から、温度データ取得時刻列５４１の時刻が処理対象の区間内に含まれるレコードを検索して取得する。ＣＰＵ３１１は、ステップ１１１２において、ステップ１１１１で取得したレコードの温度データ列５４２の値に従って、折れ線グラフを表示画像８００に対して描画する。

図１２（Ｃ）に示す処理１１２０は、ステップ９１５（音量情報表示部位８１１の描画）の詳細を示したフローチャートである。ＣＰＵ３１１は、ステップ１１２１において、描画する音量情報を取得する。すなわち、ＣＰＵ３１１は、音量情報テーブル６００から、音量データ取得時刻列６０１の時刻が処理対象の区間内に含まれるレコードを検索して取得する。本実施例では、取得したレコードを、音量データ取得時刻列６０１に基づいて、昇順にソートしておく。ＣＰＵ３１１は、ステップ１１２２において、ステップ１１２１で取得したレコードの数分、ステップ１１２３〜ステップ１１２９の処理を繰り返したか否か判定する。ＹＥＳであれば処理を終了し、ＮＯであればステップ１１２３に遷移する。

ＣＰＵ３１１は、ステップ１１２３において、処理対象のレコードの音量データ取得時刻列６０１の時刻における会議シーンが、「議論」であるか否かを判定する。この判定のため、ＣＰＵ３１１は会議シーン情報テーブル６３０を検索し、会議シーン開始時刻列６３１の時刻が、処理対象のレコードの音量データ取得時刻６０１の時刻に対して、直前最近であるレコードと、直後最近であるレコードを取得する。そして、ＣＰＵ３１１は、取得した両レコードの会議シーンのいずれかが「議論」であれば、ＹＥＳと判定し、処理はステップ１１２４に遷移する。ＮＯであれば処理はステップ１１２８に遷移する。

ＣＰＵ３１１は、ステップ１１２４において、会議シーンが「議論」の状態が続いているか否かを判定する。これには、ＲＡＭ３１４に音量用議論中フラグデータを記憶しているか否かを判定する。音量用議論中フラグとは、以前にステップ１１２３を実行した際に、ＹＥＳと判定（会議シーンが「議論」と判定）し、その状態が続いている事を示す情報である。換言すれば、一つ前の区間に対するステップ１１２３の判定が、「議論」の判定であったことを示す。ＹＥＳと判定する場合には、ステップ１１２６に処理は遷移し、ＮＯと判定する場合にはステップ１１２５に処理は遷移する。

ステップ１１２４においてＮＯと判定したことは、会議シーンが「議論」以外の状態から「議論」の状態に変化したことを示す。よって、ＣＰＵ３１１は、ステップ１１２５において、強調表示のための枠（破線枠ないし赤枠）の下部水平線を描画する。また、このとき、音量用議論中フラグデータをＲＡＭ３１４に記憶する。

ＣＰＵ３１１は、ステップ１１２６において、ひとつ前の処理対処のレコードと現在処理対象のレコードの音量データ列６０２の値を基に折れ線グラフを、表示画像８００に対して強調して描画する。ステップ１１２６における「強調」処理とは、前述の通り、例えば、折れ線グラフの線を太くし、音量情報表示部位８１１を破線枠ないし赤枠で囲うことである。破線枠ないし赤枠の下部水平線と上部水平線はそれぞれステップ１１２５およびステップ１１２９において描画するので、ステップ１１２６では左部垂直線と右部垂直線のみを描画する。

一方、ＣＰＵ３１１は、ステップ１１２７において、ひとつ前の処理対象のレコードと現在処理対象のレコードの音量データ列６０２の値を基に折れ線グラフを、表示画像８００に対して（強調せずに）描画する。また、ステップ１１２３で、会議シーンは「議論」ではないと判定した場合（ＮＯと判定した場合）には、ステップ１１２８において、これまで会議シーンが「議論」であったか否かを判定する。この判定のため、ＣＰＵ３１１はＲＡＭ３１４に音量用議論中フラグデータを記憶しているか否かを判定する。音量用議論中フラグデータを記憶しており、ＣＰＵ３１１がＹＥＳと判定する場合には、ステップ１１２９に処理は遷移し、ＮＯと判定する場合にはステップ１１２７に処理は遷移する。

ステップ１１２８においてＹＥＳと判定したことは、会議シーンが「議論」の状態から「議論」以外の状態に変化したことを示す。よって、ＣＰＵ３１１は、ステップ１１２９において、強調表示のための枠（破線枠ないし赤枠）の上部水平線を描画する。ステップ１１２９の処理により、強調表示のための枠が完成する。また、このとき、音量用議論中フラグデータをＲＡＭ３１４から消去する。そして、ステップ１１２７へ遷移する。

図１３に示す処理１２００は、図１０を参照して説明したステップ９１６（明度情報表示部位８１２の描画）の詳細を示したフローチャートである。ＣＰＵ３１１は、ステップ１２０１において、描画する明度情報を取得する。すなわち、ＣＰＵ３１１は、明度情報テーブル６１０から、明度データ取得時刻列６１１の時刻が処理対象の区間内に含まれるレコードを検索して取得する。本実施例では、取得したレコードを、明度データ取得時刻列６１１に基づいて、昇順にソートしておく。

ＣＰＵ３１１は、ステップ１２０２において、ステップ１２０１で取得したレコードの数分、ステップ１２０３〜ステップ１２０９の処理を繰り返したか否か判定する。ＹＥＳであれば処理を終了し、ＮＯであればステップ１２０３に遷移する。ＣＰＵ３１１は、ステップ１２０３において、処理対象のレコードの明度データ取得時刻列６１１の時刻における会議シーンが、「プレゼン」であるか否かを判定する。この判定のため、ＣＰＵ３１１は、会議シーン情報テーブル６３０を検索し、会議シーン開始時刻列６３１の時刻が、処理対象のレコードの明度データ取得時刻列６１１の時刻に対して、直前最近であるレコードと、直後最近であるレコードを取得する。そして、取得した両レコードの会議シーンのいずれかが「プレゼン」であれば、ＹＥＳと判定し、ステップ１２０４に処理は遷移する。そうでなければ（ＮＯであれば）ステップ１２０８に処理は遷移する。

ＣＰＵ３１１は、ステップ１２０４において、会議シーンが「プレゼン」の状態が続いているか否かを判定する。この判定のため、ＣＰＵ３１１はＲＡＭ３１４に明度用プレゼン中フラグデータを記憶しているか否かを判定する。明度用プレゼン中フラグとは、以前にステップ１２０３を実行した際に、ＹＥＳと判定（会議シーンが「プレゼン」と判定）し、その状態が続いている事を示す情報である。ＹＥＳと判定する場合には、ステップ１２０６に処理は遷移し、ＮＯと判定する場合にはステップ１２０５に処理は遷移する。

ステップ１２０４においてＮＯと判定したことは、会議シーンが「プレゼン」以外の状態から「プレゼン」の状態に変化したことを示す。よって、ＣＰＵ３１１は、ステップ１２０５において、強調表示のための枠（破線枠ないし赤枠）の下部水平線を描画する。また、このとき、ＣＰＵ３１１は明度用プレゼン中フラグデータをＲＡＭ３１４に記憶する。

ＣＰＵ３１１は、ステップ１２０６において、ひとつ前の処理対処のレコードと現在処理対象のレコードの明度データ列６１２の値を基に、折れ線グラフを、表示画像８００に対して強調して描画する。ステップ１２０６における「強調」処理とは、前述の通り、例えば、折れ線グラフの線を太くし、明度情報表示部位８１２を破線枠ないし赤枠で囲うことである。破線枠ないし赤枠の下部水平線と上部水平線はそれぞれステップ１２０５およびステップ１２０９において描画するので、ステップ１２０６では左部垂直線と右部垂直線のみを描画する）。

一方、ＣＰＵ３１１は、ステップ１２０７において、ひとつ前の処理対処のレコードと現在処理対象のレコードの明度データ列６１２の値を基に折れ線グラフを、表示画像８００に対して（強調せずに）描画する。

また、ステップ１２０３で、会議シーンは「プレゼン」ではないと判定した場合（ＮＯと判定した場合）には、ＣＰＵ３１１はステップ１２０８において、これまで会議シーンが「プレゼン」であったか否かを判定する。この判定のため、ＣＰＵ３１１は、ＲＡＭ３１４に明度用プレゼン中フラグデータを記憶しているか否かを判定する。ＹＥＳと判定する場合には、ステップ１２０９に処理は遷移し、ＮＯと判定する場合にはステップ１２０７に処理は遷移する。

ステップ１２０８においてＮＯと判定したことは、会議シーンが「プレゼン」の状態から「プレゼン」以外の状態に変化したことを示す。よって、ＣＰＵ３１１は、ステップ１２０９において、強調表示のための枠（破線枠ないし赤枠）の上部水平線を描画する。また、このとき、明度用プレゼン中フラグデータをＲＡＭ３１４から消去する。そして、ステップ１２０７へ遷移する。

次に、図１４を参照し、図１０で説明したステップ９１７およびステップ９１８の処理の詳細を説明する。図１４（Ａ）に示す処理１２１０は、ステップ９１７（動画情報表示部位８１３の描画）の詳細を示したフローチャートである。ＣＰＵ３１１は、ステップ１２１１において、描画する動画情報を取得する。すなわち、ＣＰＵ３１１は、動画データ列５０３が示す動画データ中のフレーム画像より、処理対象の区間の開始時刻に直近直後のフレーム画像を取得する。ＣＰＵ３１１は、ステップ１２１２において、ステップ１２１１で取得したフレーム画像を、表示画像８００に対して描画する。

図１４（Ｂ）に示す処理１２２０は、ステップ９１８（顔画像情報表示部位８１４の描画）の詳細を示したフローチャートである。ＣＰＵ３１１は、ステップ１２２１において、描画する顔画像情報を取得する。すなわち、ＣＰＵ３１１は、顔画像情報テーブル７００から、顔画像取得時刻列７０１の時刻が処理対象の区間内に含まれるレコードを検索して取得する。更に、取得したレコードのうち、当該区間の開始時刻に最も近いレコードを特定する。そして、当該レコードの顔画像列７０２が示す顔画像を取得する。

ＣＰＵ３１１は、ステップ１２２２において、ステップ９０８で決定した当該区間の会議シーンが「議論」であるか否かを判定する。ＹＥＳと判定する場合にはステップ１２２３に処理は遷移し、ＮＯと判定する場合にはステップ１２２４に処理は遷移する。ＣＰＵ３１１は、ステップ１２２３において、ステップ１２２１で取得した顔画像を、表示画像８００に対して強調して描画する。「強調」とは、前述の通り、例えば、顔画像をより大きく（例えば１．５倍に拡大）し、また、顔画像情報表示部位８１４を破線枠ないし赤枠で囲うことである。一方、ＣＰＵ３１１は、ステップ１２２４において、ステップ１２２１で取得した顔画像を（強調せずに）描画する。

以上のように、本実施例によれば、複数の項目から成る会議情報を表示する際、注目すべきデータの種類を示唆すべく、会議シーンに応じて注目すべき項目を強調して表示する。これによりユーザは、大量の会議情報であっても、効率よく好適に閲覧することができる。

尚、動画情報表示部位８１３に対して操作指示が成された場合には、表示デバイス３１７が、指示対象部位に該当する単位時間の区間の開始時刻から、動画データを再生して表示する。この際、動画データと共に他の会議情報を表示してもよい。このとき、それら会議情報も、タイムラインの進行に伴って表示内容を更新すると好ましい。更に、動画データと共に表示する会議情報の項目は、表示画像８００の生成において強調表示したことと同様に、会議シーン情報に応じて表示すべき会議情報の項目を決定してもよい。

また、本実施例では、会議シーンの収集方法として、ユーザが、会議情報収集装置の入力デバイスを操作して会議シーンを選択入力する方法を示したが、他の方法であってもよい。例えば、特開２００６−３０２０４５に開示されているように、発話者数と発話の重なり具合から会議シーンを推定するなどしてもよい。

本実施例では、会議シーンを「オープニング」、「プレゼンテーション」、「質疑／応答」、「議論」、「まとめ」とする例を示したが、この限りではない。これ以外の会議シーンを定義し、それに応じて注目すべきデータの種類を決定し、これに従って表示方法を決定してもよい。また、各会議シーンにおいて注目すべきデータの種類も、本実施例に示したものに固定されるものではなく、他の組み合わせを用いてもよい。更に、会議シーンや、当該会議シーンの際に注目すべきデータの種類を設定可能に構成してもよい。

また、本実施例では、会議情報記録システム１００は複数の装置を備えて構成されているが、システム構成は本実施例に限定されない。例えば、会議情報収集装置１０１と会議情報記録サーバが一体となった装置が用いられてもよい。この装置に表示デバイスが搭載されていれば、一台の装置により本実施例で説明したシステムと同様の処理が実行可能となる。

（実施例２）
実施例１では、会議シーンに応じて会議情報の項目を強調して表示する例を示した。本実施例では、強調表示ではなく、注目すべき項目を抽出して表示する例について説明する。

図１５は、実施例２において、コンピュータ１０５の表示デバイス３１７が表示する画面例を示す。実施例１では、ＣＰＵ３１１は、会議情報収集サーバ１０２から受信した全ての会議情報を用い、会議シーンに応じて会議情報の項目を強調して表示画像８００を生成した。本実施例では、会議シーンに応じて、会議情報の項目を抽出し、抽出した項目のみを用いて表示画像１３００を生成する。各会議シーンに対して、重要とする会議情報の項目は、実施例１と同様であるが、本実施例では、図示のとおり、重要とする会議情報の項目のみを抽出して表示画像１３００に描画する。

時間帯１３０１は、会議シーン情報が「オープニング」の時間帯である。ＣＰＵ３１１は、この時間帯では、議事テキスト情報を抽出して、表示画像１３００に描画する。時間帯１３０２は、会議シーン情報が「プレゼン」の時間帯である。ＣＰＵ３１１は、この時間帯では、会議資料情報および明度情報を抽出して、表示画像１３００に描画する。時間帯１３０３は、会議シーン情報が「質疑／応答」の時間帯である。ＣＰＵ３１１は、この時間帯では、議事テキスト情報と話者情報を抽出して、表示画像１３００に描画する。時間帯１３０４および時間帯１３０６は、会議シーンが「議論」の時間帯である。ＣＰＵ３１１は、この時間帯では、話者情報と音量情報、顔画像情報を抽出して、表示画像１３００に描画する。時間帯１３０５は、会議シーンが「熟考／沈黙」の時間帯である。ＣＰＵ３１１は、この時間帯に抽出する項目はないと判定し、表示画像１３００には、会議シーン情報以外には何も描画しない。時間帯１３０７は、会議シーンが「まとめ」の時間帯である。ＣＰＵ３１１は、この時間帯では、議事テキスト情報を抽出して、表示画像１３００に描画する。

全体表示ボタン１３０８は、上述の通り抽出した項目以外の項目についても表示を指示するためのボタンである。全体表示ボタン１３０８を指示すると、ＣＰＵ３１１は表示画像８００を生成して表示デバイス３１７に表示させる。

次に、ＣＰＵ３１１が、図１３に示した表示画像１３００を生成する方法について、図１６乃至図１８を用いて説明する。図１６乃至図１８は、表示画像生成処理の手順を示したフローチャートである。コンピュータ１０５において、ＣＰＵ３１１は、ストレージ３１５に記録されている会議情報表示プログラムを読み込み、ＲＡＭ３１４に展開して実行する。これにより、コンピュータ１０５は、表示画像生成処理を実行し、図１５に示す画面を表示デバイス３１７に表示することが可能となる。コンピュータ１０５のＣＰＵ３１１は、ユーザにより会議情報の表示指示が成された場合や、ユーザにより単位時間縮小ボタン８０２や単位時間拡大ボタン８０３の操作指示が成された場合に表示画像生成処理を実行する。

図１６に示す、ステップ９０１からステップ９０８、ステップ９１９は、図１０で説明したステップと同様の処理であるため、説明を省略する。ＣＰＵ３１１は、Ｓ９０８で処理対象の区間の会議シーンを決定すると、処理をステップ１４０１に進める。ステップ１４０１において、ＣＰＵ３１１は、処理対象の区間について、議事テキスト情報を描画する。ＣＰＵ３１１は、ステップ１４０２において、処理対象の区間について、会議資料情報を描画する。ＣＰＵ３１１は、ステップ１４０３において、処理対象の区間について、話者情報を描画する。ステップ１４０１乃至ステップ１４０３の処理の詳細は、図１７を用いて後述する。

ＣＰＵ３１１は、ステップ１４０４において、処理対象の区間について、音量情報を描画する。ＣＰＵ３１１は、ステップ１４０５において、処理対象の区間について、明度情報を描画する。ＣＰＵ３１１は、ステップ１４０６において、処理対象の区間について、顔画像情報を描画する。ＣＰＵ３１１は、区間数の数だけ、それら区間の会議情報を表示画像１３００に対して描画した後、ステップ１４０７に処理を進める。ステップ１４０４乃至ステップ１４０６の処理の詳細は、図１８を用いて後述する。ステップ１４０７において、全体表示ボタン１３０８を、表示画像１３００に対して描画する。そして処理を終了する。

次に、図１７を参照し、図１６で説明したステップ１４０１乃至ステップ１４０３の処理の詳細を説明する。図１７（Ａ）に示す処理１５００は、ステップ１４０１（議事テキスト情報の描画）の詳細を示したフローチャートである。ＣＰＵ３１１は、ステップ１５０１において、ステップ９０８で決定した当該区間の会議シーンが「オープニング」または「質疑／応答」、または「まとめ」であるか否かを判定する。ＹＥＳと判定する場合には、ステップ１５０２に処理は遷移し、ＮＯと判定する場合には、表示画像１３００に何も描画せずに処理を終了する。ＣＰＵ３１１は、ステップ１５０２において、描画する議事テキスト情報を取得する。すなわち、ＣＰＵ３１１は、議事テキスト情報テーブル５２０から、入力時刻列５２１の時刻が処理対象の区間内に含まれるレコードを検索して取得する。ＣＰＵ３１１は、ステップ１５０３において、ステップ１５０２で取得したレコードの議事テキストデータ列５２２の値をタイムライン方向に並べ、表示画像１３００に対して描画する。

図１７（Ｂ）に示す処理１５１０は、ステップ１４０２（会議資料情報の描画）の詳細を示したフローチャートである。ＣＰＵ３１１は、ステップ１５１１において、ステップ９０８で決定した当該区間の会議シーンが「プレゼン」であるか否かを判定する。ＹＥＳと判定する場合には、ステップ１５１２に処理は遷移し、ＮＯと判定する場合には、表示画像１３００に何も描画せずに処理を終了する。ＣＰＵ３１１は、ステップ１５１２において、描画する会議資料情報を取得する。すなわち、ＣＰＵ３１１は、会議資料情報テーブル５３０から、出力画像取得時刻５３１の時刻が処理対象の区間内に含まれるレコードを検索して取得する。更に、取得したレコードのうち、当該区間の開始時刻に最も近いレコードを特定する。そして、当該レコードの出力画像列５３２が示す出力画像を取得する。ＣＰＵ３１１は、ステップ１５１３において、ステップ１５１２で取得した出力画像を、表示画像１３００に対して描画する。

図１７（Ｃ）に示す処理１５２０は、ステップ１４０３（話者情報の描画）の詳細を示したフローチャートである。ＣＰＵ３１１は、ステップ１５２１において、ステップ９０８で決定した当該区間の会議シーンが「質疑／応答」、または「議論」であるか否かを判定する。ＹＥＳと判定する場合には、ステップ１５２２に処理は遷移し、ＮＯと判定する場合には、表示画像１３００に何も表示せずに処理を終了する。ＣＰＵ３１１は、ステップ１５２２において、描画する話者情報を取得する。すなわち、ＣＰＵ３１１は、話者情報テーブル７１０から、発言時刻列７１１の時刻が処理対象の区間内に含まれるレコードを検索して取得する。ＣＰＵ３１１は、ステップ１５２３において、前述のとおり、ステップ１５２２で取得したレコードの発言者列７１２の発言者に応じた線分と、発言者顔画像列７１３の値が示す発言者顔画像を、表示画像１３００に対して描画する。

次に、図１８を参照し、図１６で説明したステップ１４０４乃至ステップ１４０６の処理の詳細を説明する。図１８（Ａ）に示す処理１５３０は、ステップ１４０４（音量情報の描画）の詳細を示したフローチャートである。ＣＰＵ３１１は、ステップ１５３１において、描画する音量情報を取得する。すなわち、ＣＰＵ３１１は、音量情報テーブル６００から、音量データ取得時刻列６０１の時刻が処理対象の区間内に含まれるレコードを検索して取得する。本実施例では、取得したレコードを、音量データ取得時刻列６０１に基づいて、昇順にソートしておく。

ＣＰＵ３１１は、ステップ１５３２において、ステップ１５３１で取得したレコードの数分、ステップ１５３３〜ステップ１５３５の処理を繰り返したか否か判定する。ＹＥＳであれば処理を終了し、ＮＯであればステップ１５３３に遷移する。

ＣＰＵ３１１は、ステップ１５３３において、処理対象のレコードの音量データ取得時刻列６０１の時刻における会議シーンが、「議論」であるか否かを判定する。これには、会議シーン情報テーブル６３０を検索し、会議シーン開始時刻列６３１の時刻が、処理対象のレコードの音量データ取得時刻６０１の時刻に対して、直前最近であるレコードと、直後最近であるレコードを取得する。そして、取得した両レコードの会議シーンのいずれかが「議論」であれば、ＹＥＳと判定し、ステップ１５３４に遷移する。そうでなければ（ＮＯであれば）ステップ１５３２に遷移する。このとき、音量用議論中フラグデータ（後述）をＲＡＭ３１４から削除する。

ＣＰＵ３１１は、ステップ１５３４において、会議シーンが「議論」の状態が続いているか否かを判定する。これには、ＲＡＭ３１４に音量用議論中フラグデータを記憶しているか否かを判定する。音量用議論中フラグとは、以前にステップ１５３３を実行した際に、ＹＥＳと判定（会議シーンが「議論」と判定）し、その状態が続いている事を示す情報である。音量用議論中フラグデータを記憶しておりＹＥＳと判定する場合には、ステップ１５３５に処理は遷移し、ＮＯと判定する場合にはステップ１５３２に処理は遷移する。ＣＰＵ３１１は、ステップ１５３５において、ひとつ前の処理対処のレコードと現在処理対象のレコードの音量データ列６０２の値を基に、折れ線グラフを表示画像１３００に対して描画する。

処理１５４０は、ステップ１４０５（明度情報の描画）の詳細を示したフローチャートである。ＣＰＵ３１１は、ステップ１５４１において、描画する明度情報を取得する。すなわち、ＣＰＵ３１１は、明度情報テーブル６１０から、明度データ取得時刻列６１１の時刻が処理対象の区間内に含まれるレコードを検索して取得する。本実施例では、取得したレコードを、明度データ取得時刻列６１１に基づいて、昇順にソートしておく。

ＣＰＵ３１１は、ステップ１５４２において、ステップ１５４１で取得したレコードの数分、ステップ１５４３〜ステップ１５４５の処理を繰り返したか否か判定する。ＹＥＳであれば処理を終了し、ＮＯであればステップ１５４３に遷移する。

ＣＰＵ３１１は、ステップ１５４３において、処理対象のレコードの明度データ取得時刻列６１１の時刻における会議シーンが、「プレゼン」であるか否かを判定する。これには、会議シーン情報テーブル６３０を検索し、会議シーン開始時刻列６３１の時刻が、処理対象のレコードの明度データ取得時刻列６１１の時刻に対して、直前最近であるレコードと、直後最近であるレコードを取得する。そして、取得した両レコードの会議シーンのいずれかが「プレゼン」であれば、ＹＥＳと判定し、ステップ１５４４に遷移する。そうでなければ（ＮＯであれば）ステップ１５４２に遷移する。このとき、明度用プレゼン中フラグデータ（後述）をＲＡＭ３１４から削除する。

ＣＰＵ３１１は、ステップ１５４４において、会議シーンが「プレゼン」の状態が続いているか否かを判定する。これには、ＲＡＭ３１４に明度用プレゼン中フラグデータを記憶しているか否かを判定する。明度用議論中フラグとは、以前にステップ１５４３を実行した際に、ＹＥＳと判定（会議シーンが「プレゼン」と判定）し、その状態が続いている事を示す情報である。明度用プレゼン中フラグデータを記憶しておりＹＥＳと判定する場合には、ステップ１５４５に遷移し、ＮＯと判定する場合にはステップ１５４２に遷移する。

ＣＰＵ３１１は、ステップ１５４５において、ひとつ前の処理対処のレコードと現在処理対象のレコードの明度データ列６１２の値を基に、折れ線グラフを表示画像１３００に対して描画する。

図１８（Ｃ）に示す処理１５５０は、ステップ１４０６（顔画像情報の描画）の詳細を示したフローチャートである。ＣＰＵ３１１は、ステップ１５５１において、ステップ９０８で決定した当該区間の会議シーンが「議論」であるか否かを判定する。ＹＥＳと判定する場合には、ステップ１５５２に処理は遷移し、ＮＯと判定する場合には、表示画像１３００に何も描画せずに処理を終了する。ＣＰＵ３１１は、ステップ１５５２において、描画する顔画像情報を取得する。すなわち、ＣＰＵ３１１は、顔画像情報テーブル７００から、顔画像取得時刻列７０１の時刻が処理対象の区間内に含まれるレコードを検索して取得する。更に、取得したレコードのうち、当該区間の開始時刻に最も近いレコードを特定する。そして、当該レコードの顔画像列７０２が示す顔画像を取得する。ＣＰＵ３１１は、ステップ１５５３において、ステップ１５５２で取得した出力画像を、表示画像１３００に対して描画する。

以上のように、本実施例によれば、複数の項目から成る会議情報を表示する際、注目すべき項目を閲覧させるべく、会議シーンに応じて注目すべき項目を抽出して表示する。これにより、例えば、表示領域の小さな画面を有するコンピュータや端末において会議情報を参照する際に、ユーザは効率よく好適に会議情報を閲覧することができる。

（実施例３）
実施例３では、コンピュータ１０５の表示デバイス３１７に表示した会議情報について、タイムラインに従う方向へスクロール処理する方法を説明する。会議時間が長いと、表示デバイスの画面には、全ての会議情報が表示されない。また、ユーザが図９に示すような単位時間縮小ボタンを利用した場合、さらに多くの単位時間の区間が増加する。このような場合、ユーザは入力デバイス３１６を介してタイムラインに従う方向へスクロール指示を行うことができる。本実施例では、会議シーンに応じて、好適にスクロール表示の方法が決定される。

まず、ＣＰＵ３１１は、各区間について、スクロール処理の制御情報を生成する。図１９は、このスクロール処理の制御情報であるデータの構成を示すデータ構成図である。スクロール制御情報テーブル１６２０は、ＣＰＵ３１１が表示画像８００を生成する際に生成し、ＲＡＭ３１４に記憶する。後述するように、ＣＰＵ３１１は、スクロール制御情報テーブル１６２０の内容に従って、表示画像８００のタイムライン方向へのスクロールの速度を制御する。

区間位置列１６２１には、スクロール時に速度を変じるべき区間の位置を記憶する。この位置とは表示画像８００の下端からの高さ方向のピクセル数であり、速度を変じるべき区間の開始位置ピクセル数と終了位置ピクセル数をカンマで連結して記録したものである。ＣＰＵ３１１は、会議シーンに応じて参照を促すべき表示画像上の部位を判定し、当該部位の位置を記録する。ＣＰＵ３１１は、スクロール時に、この値に応じてスクロール速度を制御して変更する。ＣＰＵ３１１は、減速度値列１６２２には、スクロール速度の減速度（加速度）を記憶する。区間位置列１６２１に示す区間に対して決定するスクロール速度の減速度値である。本実施例のおいては、ＣＰＵ３１１は、減速度値として「Ａ２」か「Ａ３」を記録する。値はＡ２＜Ａ１＜０＜Ａ３、Ａ１とするが、詳細は後述する。

次に、スクロール制御情報テーブル１６２０を生成する手順について、図２０乃至図２５を用いて説明する。図２０乃至図２５は、本実施例における表示画像８００の生成処理の手順を示すフローチャートである。なお、図２０に示すステップ９０１からステップ９１９は、図１０で説明した同符号における処理と同様である。

ＣＰＵ３１１は、ステップ９０８で処理対象の区間の会議シーンを決定した後、ステップ１７０１において、当該区間の会議シーンは「熟考／沈黙」であるか否かを判定する。ＹＥＳと判定する場合にはステップ１７０２に処理は遷移し、ＮＯと判定する場合にはステップ９０９に遷移する。

ＣＰＵ３１１は、ステップ１７０２において、処理対象の区間の位置を区間位置列１６２１に追加して記憶する。また、減速度値列１６２２にはＡ３を記録する。これにより、会議シーンが「熟考／沈黙」の区間をスクロール制御情報テーブル１６２０に記録することができる。尚、既に登録されているレコードについて、追加する区間と隣接する区間であって、減速度値列１６２２の値が同一のレコードがある場合には、新規にレコードを追加せずに、このレコードの区間位置列１６２１の値を更新する。例えば、区間位置列１６２１の値が「４８０，５６０」（減速度値列１６２２の値は「Ａ２」）のレコードが既に存在し、区間位置列１６２１の値が「５６０，６４０」（減速度値列１６２２の値は「Ａ２」）のレコードを追加したい場合、次のようにする。ＣＰＵ３１１は、新規レコードは追加せず、当該登録済みレコードの区間位置列１６２１の値を「４８０，６４０」に更新する。このレコードの追加方法は、以降の各ステップにおけるスクロール制御情報テーブル１６２０への記憶処理においても同様である。

次に、図２２乃至図２５を参照し、図２０のステップ９０９、９１０、９１１、９１５、９１８の処理の詳細を説明する。図２１の処理１８００は、議事テキスト情報の描画処理である。ステップ１００１からステップ１００５は、図１１（Ａ）で示した処理と同様であるため説明を省略する。ＣＰＵ３１１は、ステップ１００４で、処理対象の区間の議事テキスト情報を強調して描画した後、ステップ１８０１において、処理対象の区間の位置を区間位置列１６２１に追加して記憶する。また、減速度値列１６２２には減速度値Ａ２を記録する。これにより、会議シーンが「オープニング」や「質疑／応答」、「まとめ」の場合であって、議事テキスト情報が存在する区間をスクロール制御情報テーブル１６２０に記録することができる。

図２２は、会議資情報の描画処理である。処理１８１０において、ステップ１０１１からステップ１０１５は、図１１（Ｂ）で示した処理と同様であるため説明を省略する。ＣＰＵ３１１は、ステップ１０１４の描画処理の後、ステップ１８１１において、一つ前の区間は「プレゼン」であってその区間において描画した会議資料情報（出力画像）と、現在処理対象の区間の会議資料情報とに差分があるか否かを判定する。ＹＥＳと判定する場合にはステップ１８１２に処理は遷移し、ＮＯと判定する場合には処理は終了する。

ＣＰＵ３１１は、ステップ１８１２において、処理対象の区間の位置を区間位置列１６２１に追加して記憶する。また、減速度値列１６２２には減速度値Ａ２を記録する。これにより、会議シーンが「プレゼン」の場合であって、会議資料情報に変化があった区間をスクロール制御情報テーブル１６２０に記録することができる。

図２３は、話者情報の描画処理である。処理１８２０において、ステップ１０２１からステップ１０２５は、図１１（Ｃ）で示した処理と同様であるため説明を省略する。ＣＰＵ３１１は、ステップ１０２４の描画処理の後、ステップ１８２１において、描画対象に複数の話者の線分を含む、つまり話者交代があるか否かを判定する。ＹＥＳと判定する場合には、ステップ１８２２に処理は遷移し、ＮＯと判定する場合には処理は終了する。

ＣＰＵ３１１は、ステップ１８２２において、処理対象の区間の位置を区間位置列１６２１に追加して記憶する。また、ＣＰＵ３１１は、減速度値列１６２２には減速度値Ａ２を記録する。これにより、会議シーンが「質疑／応答」や「議論」の場合であって、話者交代があった区間をスクロール制御情報テーブル１６２０に記録することができる。

図２４は、音情報の描画処理である。処理１９００において、ステップ１１２１からステップ１１２７は、図１２（Ｃ）で示した処理と同様であるため説明を省略する。ＣＰＵ３１１は、ステップ１１２６で、処理対象の区間の音量情報を強調して描画した後、ステップ１９０１において、音量データの値が所定値以上であるか否かを判定する。この所定値とは、例えば、全音量データの平均値を算出し、算出された値を所定値と設定してよい。ＹＥＳと判定する場合には、ステップ１９０２に処理は遷移し、ＮＯと判定する場合には、ステップ１１２２に処理は遷移する。ＣＰＵ３１１は、ステップ１９０２において、当該区間の位置を区間位置列１６２１に追加して記憶する。また、減速度値列１６２２には減速度値Ａ２を記録する。これにより、会議シーンが「議論」の場合であって、所定値以上であった区間、つまり盛り上がりを見せたと推定される区間、をスクロール制御情報テーブル１６２０に記録することができる。

図２５は、顔画像情報の描画処理である。処理２０００において、ステップ１２２１からステップ１２２４は、図１４（Ｂ）で示した処理と同様であるため説明を省略する。ＣＰＵ３１１は、ステップ１２２３の描画処理の後、ステップ２００１において各顔画像について笑顔判定を行い、いずれの顔画像も笑顔ではないか否かを判定する。笑顔判定は、例えば、口角が上がる、目尻が下がるなどの変化を統計的識別手法により解析して判定すればよい。ＹＥＳと判定する場合には、ステップ２００２に処理は遷移し、ＮＯと判定する場合には処理は終了する。

ＣＰＵ３１１は、ステップ２００２において、当該区間の位置を区間位置列１６２１に追加して記憶する。また、減速度値列１６２２には減速度値Ａ２を記録する。以上は、笑顔がないことをもって、議論への集中や白熱さと解釈するものである。これにより、会議シーンが「議論」の場合であって、議論に集中し白熱していると推定する区間、をスクロール制御情報テーブル１６２０に記録することができる。

次に、ＣＰＵ３１１が、表示画像８００をタイムライン方向にスクロールして、表示デバイス３１７の表示を更新する際の処理について説明する。図２６は、当該処理の手順を示したフローチャートである。本処理は、ユーザが入力デバイス３１６を介してスクロール指示を行った場合に実行される。まず、ＣＰＵ３１１は、ステップ２１０１において、スクロールの（初）速度ｖおよび減速度ａを決定する。ここでは、速度ｖを速度値Ｖ１とし、減速度ａを減速度値Ａ１（Ａ１＜０）とする。

ＣＰＵ３１１は、ステップ２１０２において、スクロールを停止するか否かを判定する。これは、速度ｖが所定の閾値以下であるならばＹＥＳと判定し、そうでないならばＮＯと判定する。所定の閾値とは値０に近い数値を予め決定しておけばよい。ＮＯと判定する場合にはステップ２１０３に処理は遷移し、ＹＥＳと判定する場合には、処理を終了する。

ＣＰＵ３１１は、ステップ２１０３において、ＲＡＭ３１４に終了位置が記憶されているか否かを判定する。終了位置については後述する。ＹＥＳと判定する場合にはステップ２１０４に処理は遷移し、ＮＯと判定する場合にはステップ２１０６に遷移する。

ＣＰＵ３１１は、ステップ２１０４において、ＲＡＭ３１４に記憶されている終了位置が示す表示画像８００上の位置が、表示デバイス３１７の表示領域内に含まれているか否かを判定する。ＹＥＳと判定する場合にはステップ２１０５に処理は遷移し、ＮＯと判定する場合にはステップ２１０６に処理は遷移する。ＣＰＵ３１１は、ステップ２１０５において、減速度ａを減速度値Ａ１に更新する。このとき、ＲＡＭ３１４から終了位置を削除する。

ＣＰＵ３１１は、ステップ２１０６において、移動量ｄを算出する。これは次の式により得ることができる。ｄ ＝ ｖ ＊ ｔ ＋ ０．５ ＊ ａ ＊ ｔ ＊ ｔ。ＣＰＵ３１１は、ステップ２１０７において、移動量ｄの分、表示画像８００を移動した場合に、表示デバイス３１７の表示領域に対して現在表示領域外であって、移動後に表示領域内となる領域について、次を判定する。ＣＰＵ３１１は、スクロール制御情報テーブル１６２０に登録されているレコードの中で、区間位置列１６２１の値の開始位置が、当該領域に含まれるか否かを判定する。ＹＥＳと判定する場合にはステップ２１０８に処理は遷移し、ＮＯと判定する場合にはステップ２１１０に処理は遷移する。

ＣＰＵ３１１は、ステップ２１０８において、ステップ２１０７で判定に用いたスクロール制御情報テーブル１６２０のレコードの減速度値列１６２２の値を取得し、当該値で減速度ａを更新する。減速度値列１６２２の値がＡ２ならば、次回の移動量ｄの計算時より、スクロール移動はより減速するよう制御される。また、減速度値１６２２の値がＡ３ならが、スクロール移動は加速するよう制御される。

ＣＰＵ３１１は、ステップ２１０９において、ステップ２１０７で判定に用いたスクロール制御情報テーブル１６２０の区間位置列１６２１の値の終了位置を取得し、ＲＡＭ３１４に記憶する。このＲＡＭ３１４に記憶した終了位置を、ステップ２１０３からステップ２１０５の処理において判定することにより、ステップ２１０８で更新した減速度ａの値を元の値Ａ１に戻すことができる。ＣＰＵ３１１は、ステップ２１１０において、表示デバイス３１７の表示領域に対する表示画像８００の位置を、移動量ｄの分だけタイムライン方向に移動する。そして、表示デバイス３１７に表示を更新させる。

以上により、表示画像８００のスクロールを、会議シーンに応じて好適に決定することができる。より詳細には、表示画像８００上の部位であって、会議シーンが「プレゼン」に該当する箇所においては、会議資料情報が変化した際に、スクロール速度を減速してユーザに閲覧を示唆する。同様に、会議シーンが「質疑／応答」に該当する箇所においては、議事テキスト情報が記録されていることや、話者情報について話者が切り替わったことに基づいて、スクロール速度を減速してユーザに閲覧を示唆する。

また、会議シーンが「議論」に該当する箇所においては、話者情報について話者が切り替わったことや、音量情報から推定される議論の盛り上がり、顔画像情報から推定される議論の白熱具合を考慮する。そしてこれに基づいて、スクロール速度を減速してユーザに閲覧を示唆する。会議シーンが「熟考／沈黙」に該当する箇所においては、会議の進行は停滞している状況であり、会議情報の閲覧による振り返りに有用な情報は少ないと考えられる。よって、この場合には、スクロール速度を加速し、早々に当該部位をスクロールして経過する。または、会議シーンが「熟考／沈黙」に該当する箇所はスクロールをスキップさせる構成としてもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そしてそのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１０１ 会議情報収集装置
１０２ 会議情報記録サーバ
１０５ コンピュータ
３１１ ＣＰＵ
３１７ 表示デバイス

Claims (15)

1. 会議に関する異なる種類のデータを取得する取得手段を有し、前記取得手段により取得された前記異なる種類のデータに基づいて生成される画面を表示する情報処理システムであって、
   前記取得手段により取得されたデータを種類ごとに、前記取得手段により取得された時間順で並べた前記画面を表示する表示手段と、
   前記会議中の各時刻における会議シーンを、複数の会議シーンからひとつ設定する設定手段と
   を備え、
   前記表示手段は、前記設定手段により設定された会議シーンごとに、強調して表示する前記データの種類を変える
   ことを特徴とする情報処理システム。
2. 前記表示手段は、前記会議シーンの選択を受け付ける選択画面を表示し、
   前記設定手段は、前記表示手段に表示される前記選択画面を介して、会議シーンの選択が受け付けられてから、次に会議シーンの選択を受け付けるまでを、前記選択画面を介して選択を受け付けた前記会議シーンとして設定する
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記取得手段は、前記会議の開始時刻と終了時刻を取得し、
   前記表示手段は、前記取得手段により取得された前記会議の開始時刻と終了時刻に基づく会議時間を所定の時間毎に区切った前記画面を表示する
   ことを特徴とする請求項１または２に記載の情報処理システム。
4. 前記選択画面を介して会議シーンが選択された時刻と、当該選択された会議シーンを対応づけて記憶する記憶手段をさらに有する
   ことを特徴とする請求項２に記載の情報処理システム。
5. 前記記憶手段は、さらに、前記取得手段により取得されたデータと当該データの取得された時刻を対応づけて記憶する
   ことを特徴とする請求項４に記載の情報処理システム。
6. 前記会議シーンは、少なくともプレゼンと、質疑応答と、議論と、まとめと、を含む
   ことを特徴とする請求項１乃至５のいずれか一項に記載の情報処理システム。
7. 前記取得手段は、少なくとも音声データ、テキストデータ、会議資料として出力された画像データを取得し、
   前記取得手段により取得された、前記音声データ、前記テキストデータ、会議資料として出力された前記画像データのいずれかに基づいて、会議のキーワードを抽出するキーワード抽出手段をさらに有する
   ことを特徴とする請求項６に記載の情報処理システム。
8. 取得手段は、少なくとも音声データを取得し、
   前記取得手段により取得された前記音声データに基づいて、話者のデータと当該話者の発言の開始時刻と終了時刻を抽出する話者情報抽出手段をさらに有する
   ことを特徴とする請求項６に記載の情報処理システム。
9. 前記情報処理システムは、撮像部をさらに有し、
   前記取得手段は、少なくとも会議中に前記撮像部により撮像された画像データを取得し、
   前記取得手段により取得された前記画像データから、前記会議の参加者の顔画像を抽出する顔画像抽出手段と、をさらに有する
   ことを特徴とする請求項６に記載の情報処理システム。
10. 前記表示手段は、前記会議シーンが前記プレゼンの場合、前記異なる種類のデータのうち、前記会議資料として出力された画像データを拡大して表示する
    ことを特徴とする請求項７に記載の情報処理システム。
11. 前記表示手段は、前記会議シーンが前記質疑応答の場合、前記異なる種類のデータのうち、質疑応答を行う前記話者のデータを拡大して表示する
    ことを特徴とする請求項８に記載の情報処理システム。
12. 前記表示手段は、前記会議シーンが前記議論の場合、前記異なる種類のデータのうち、議論を行う話者の前記顔画像を拡大して表示する
    ことを特徴とする請求項９に記載の情報処理システム。
13. 前記表示手段は、前記会議シーンが前記まとめの場合、前記異なる種類のデータのうち、前記テキストデータを拡大して表示する
    ことを特徴とする請求項７に記載の情報処理システム。
14. 会議に関する異なる種類のデータを取得する取得手段を有し、前記取得手段により取得された前記異なる種類のデータに基づいて生成される画面を表示する情報処理システムにおける制御方法であって、
    前記取得手段により取得されたデータを種類ごとに、前記取得手段により取得された時間順で並べた前記画面を表示する表示工程と、
    前記会議中の各時刻における会議シーンを、複数の会議シーンからひとつ設定する設定工程と、
    を有し、
    表示工程では、前記設定工程で設定された会議シーンごとに、強調して表示する前記データの種類を変える
    ことを特徴とする情報処理システムの制御方法。
15. 請求項１４に記載の情報処理システムの制御方法をコンピュータにより実行することを特徴とするコンピュータプログラム。
    
    

Images