JP2019105740A - 会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラム - Google Patents

Abstract

【課題】会議参加者の発話内容から得られたテキスト情報を含む会議テキスト情報を所定の区間ごとに要約し、その要約結果を逐次表示することが可能な会議システムを提供する。【解決手段】ユーザの発話から音声データを取得する音声取得手段と、音声取得手段により取得した音声データに基づいて第１のテキスト情報を生成する第１の生成手段と、第１のテキスト情報を少なくとも含む会議テキスト情報の要約情報を、所定の要約区間ごとに生成する要約手段と、要約手段により要約情報が生成される度に当該要約情報を表示させる表示制御手段と、を有する。【選択図】なし

Description

本発明は、会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラムに関する。

会議中に議事録担当者がＰＣ上で該会議の議事録を作成し、作成した議事録をプロジェクタで表示することで、会議参加者全員が議事録を確認しながら会議を進行する場合がある。

特許文献１では、会議参加者の発話を音声認識して得たテキスト（以降「発話テキスト」と呼称する）を表示する発言一覧画面と、会議参加者が入力した議事録用のテキストを表示する議事録画面を提供するシステムが開示されている。特許文献１のシステムによれば、議事録担当者は発話テキストを参照して議事録を生成できるので、会議参加者は議事録を見ながら会議を進行することができる。その結果、議論の不足やアクションアイテムや重要事項の記載漏れに気づきやすくなり、議論の不足があれば追加の議論を行え、記載漏れがあれば直ちに記載を修正して会議参加者間で合意することができる。

特開２０１６−６２１９６号公報

しかしながら、会議参加者の発話量が多いと発話テキストの表示量が増えて画面のスクロールが速くなるので、発話テキストの視認性が悪くなる。さらに、議事録のテキスト全てを議事録作成者が入力しなければならないので、発話テキストの視認性が悪いと、議事録作成者による議事録作成が困難になってしまう。その結果、会議参加者が議事録を確認しながら会議を進めること自体が難しいという問題があった。

本発明は、会議参加者の発話内容から得られたテキスト情報を含む会議テキスト情報を所定の区間ごとに要約し、その要約結果を逐次表示することが可能な会議システムを提供することを目的とする。

本発明の会議システムは、ユーザの発話から音声データを取得する音声取得手段と、前記音声取得手段により取得した音声データに基づいて第１のテキスト情報を生成する第１の生成手段と、前記第１のテキスト情報を少なくとも含む会議テキスト情報の要約情報を、所定の要約区間ごとに生成する要約手段と、要約手段により要約情報が生成される度に当該要約情報を表示させる表示制御手段と、を有することを特徴とする。

本発明によれば、会議参加者の発話内容から得られたテキスト情報を含む会議テキスト情報を所定の区間ごとに要約し、その要約結果を逐次表示することが可能な会議システムを提供することができる。よって、発話量が多くても会議参加者はその議事内容をリアルタイムに参照しながら会議を進行することができる。

本実施例の議事録生成システムの構成例を示した図である。 会議装置と会議サーバの構成例を示したブロック図である。 表示デバイスに表示される画面例を示した図である。 会議情報のデータ構成例を示した図である。 議事録元情報のデータ構成例を示した図である。 議事録元情報のデータ構成例を示した図である。 会議情報を記録する手順を示したフローチャートである。 会議情報を記録する手順を示したフローチャートである。 会議情報を記録する手順を示したフローチャートである。 会議情報を記録する手順を示したフローチャートである。 表示デバイスに表示される議事録例を説明した図である。 議事録を表示する手順を示したフローチャートである。 会議情報を記録する手順を示したフローチャートである。 議事録元情報を生成する手順を示したフローチャートである。 議事録元情報を生成する手順を示したフローチャートである。 議事録元情報を生成する手順を示したフローチャートである。 実施例２の表示デバイスに表示される画面例を示した図である。 実施例２の会議情報を記録する手順を示したフローチャートである。 実施例２の会議情報を記録する手順を示したフローチャートである。 実施例２の議事録元情報を生成する手順を示したフローチャートである。 実施例３の会議情報のデータ構成例を示した図である。 実施例３の会議情報を記録する手順を示したフローチャートである。 実施例３の会議情報を記録する手順を示したフローチャートである。 実施例３の表示デバイスに表示される画面例を示した図である。

以下、本発明を実施するための形態について図面を用いて説明する。

図１は、本実施例にかかる議事録生成システム（会議システム）の構成を示した図である。

議事録生成システム１００は、会議装置１０１と、要約装置としての会議サーバ１０２より構成される。会議装置１０１と会議サーバ１０２はネットワーク１０３を介して接続されている。会議装置１０１は、会議サーバ１０２と通信可能な端末装置である。

会議装置１０１は、会議室などの会議開催場所に配置され、例えば会議テーブルの上に置かれる。会議装置１０１は、音声や画像など複数の種類のデータ（以降「会議情報」と呼称する）を記録する。そして、会議装置１０１は、会議情報（図４で後述）を会議サーバ１０２に送信する。また、会議装置１０１は会議サーバ１０２にて生成された議事録を受信して議事録を生成して表示する。なお、図１において、議事録生成システム１００は、会議装置１０１と会議サーバ１０２をそれぞれ一台ずつ備えているが、会議装置１０１乃至会議サーバ１０２を複数備えるよう構成してもよい。また、なお、会議装置１０１は、例えばオフィスや所定の会場等において開催される会議を記録する。しかし、本発明が適用対象とする会議は、複数の人物の視認／発声行動を伴う集まりであればよく、オフィスや所定の会場等において開催される会議に限定されない。例えば、面接や、取り調べ等も本発明の適用対象となる。

会議サーバ１０２は、一般的なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やクラウドサーバであり、会議装置１０１から会議情報を受信し、これを解析・加工して議事録を作成する。会議サーバ１０２は、会議情報に含まれる音声データを音声認識してテキストを生成する。また、会議サーバ１０２は、会議情報に含まれる画像データを文字認識してテキストを生成する。会議サーバ１０２は、これらテキストを含む情報より議事録を生成し、生成した議事録を配信する。

図２は、図１の会議装置１０１および会議サーバ１０２のハードウェア構成例を示すブロック図である。

図２（ａ）は会議装置１０１のハードウェア構成例である。会議装置１０１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０４、ストレージ２０５、入力デバイス２０６、表示デバイス２０７、外部インターフェース２０８、カメラデバイス２０９、マイクデバイス２１０を備える。これら各部は、データバス２０３を介して相互にデータを送受信することができる。なお、ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。

ＣＰＵ２０１は、この会議装置全体を制御するためのコントローラである。ＣＰＵ２０１は、不揮発メモリであるＲＯＭ２０２に格納されているブートプログラムによりＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を起動する。ＣＰＵ２０１は、このＯＳの上で、ストレージ２０５に記録されているコントローラプログラムを実行する。コントローラプログラムは、会議装置全体を制御するプログラムである。ＣＰＵ２０１は、データバス２０３などのバスを介して各部を制御する。ＲＡＭ２０４は、ＣＰＵ２０１のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ２０５は、読み出しと書き込みが可能な不揮発メモリであり、前述のコントローラプログラムを保存する。また、会議装置１０１は、会議情報を会議サーバ１０２へ送信するまでの間、ストレージ２０５に会議情報を記録する。

入力デバイス２０６は、タッチパネルやハードキー、マウスなどから構成される入力装置である。また、表示デバイス２０７は、ＬＣＤなどの表示装置である。入力デバイス２０６は、ユーザの操作指示を受け付けると、ＣＰＵ２０１に伝達する。表示デバイス２０７は、ＣＰＵ２０１が生成した表示画像データを画面上に表示する。ＣＰＵ２０１は、入力デバイス２０６から受信した指示情報と、表示デバイス２０７に表示させている表示画像データとに基づいて、ユーザの操作を判定する。ＣＰＵ２０１は、操作の判定結果に応じて、会議装置１０１を制御するとともに、操作内容に応じて新たな表示画像データを生成し、表示デバイス２０７に表示させる。ＣＰＵ２０１は会議サーバ１０２から議事録を受信して表示デバイス２０７に表示させる表示制御を行う。なお、表示デバイス２０７は例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブルやＶＧＡケーブルで接続されたプロジェクタやＬＣＤなどの表示装置で構成してもよい。

外部インターフェース２０８は、ＬＡＮや電話回線、赤外線といった近接無線などのネットワークを介して、別体の外部機器と各種データの送信あるいは受信を行う。

カメラデバイス２０９は、いわゆるデジタルカメラであり、動画や画像を撮影することができる。

マイクデバイス２１０は、入力された音声をデジタル信号化し、例えばＷＡＶＥなどの音声データとして取得する。

図２（ｂ）は会議サーバ１０２のハードウェア構成例である。

会議サーバ１０２は、ＣＰＵ２５１、ＲＯＭ２５２、ＲＡＭ２５４、ストレージ２５５、入力デバイス２５６、表示デバイス２５７、外部インターフェース２５８を備える。各部は、データバス２５３を介して相互にデータを送受信することができる。

ＣＰＵ２５１は、この会議サーバ全体を制御するためのコントローラである。ＣＰＵ２５１は、不揮発メモリであるＲＯＭ２５２に格納されているブートプログラムによりＯＳを起動する。このＯＳの上で、ストレージ２５５に記憶されている会議サーバプログラムを実行する。ＣＰＵ２５１がこの会議サーバプログラムを実行することにより、会議サーバ１０２の各処理を実現する。ＣＰＵ２５１は、データバス２５３などのバスを介して各部を制御する。

ＲＡＭ２５４は、ＣＰＵ２５１のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ２５５は、読み出しと書き込みが可能な不揮発メモリであり、前述の会議サーバプログラムを保存する。

入力デバイス２５６および表示デバイス２５７は、図２を用いて説明した入力デバイス２０６および表示デバイス２５７と同様である。

外部インターフェース２５８は、図２を用いて説明した外部インターフェース２０８と同様である。

次に、議事録生成システム１００が提示し、ユーザが参照・操作するユーザインターフェースについて説明する。図３は、会議装置１０１の表示デバイス２０７の表示例を示す画面図である。

図３（ａ）の画面３００は、会議開始前に表示される画面である。「会議開始」ボタン３０１は、ユーザが会議装置１０１に会議の開始を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「会議開始」ボタン３０１への指示を受け付けると、表示デバイス２０７に、図３（ｂ）に示す画面３１０を表示させる。そして、ＣＰＵ２０１は、会議情報の記録を開始する。「シャットダウン」ボタン３０２は電源オフを指示するためのものである。

図３（ｂ）の画面３１０は、会議中に表示される画面である。「撮影」ボタン３１１は、ユーザが会議装置１０１に撮影要求を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「撮影」ボタン３１１への指示を受け付けると、表示デバイス２０７に、図３（ｃ）に示す画面３２０を表示させる。

「アジェンダ」ボタン３１２は、ユーザが会議装置１０１にアジェンダ（議題）の変更（開始や終了）を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「アジェンダ」ボタン３１２への指示を受け付けると、表示デバイス２０７に、図３（ｄ）に示す画面３３０を表示させる。

「会議終了」ボタン３１３は、ユーザが会議装置１０１に会議の終了を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「会議終了」ボタン３１３への指示を受け付けると、表示デバイス２０７に、図３（ｅ）に示す画面３４０を表示させる。

議事録領域３１４はＣＰＵ２０１が会議サーバ１０２から受信した議事録を表示する領域である。

図３（ｃ）の画面３２０は、撮影をする際に表示される画面である。画面３２０には、カメラデバイス２０９により得られる被写体の映像が表示される。ユーザは、当該映像を見ながら、文字を記入したホワイトボードや紙が、会議装置１０１の撮影画角に収まるよう調整することができる。

ＣＰＵ２０１は、入力デバイス２０６を介して画面３１０の任意箇所への指示を受け付けると、カメラデバイス２０９により被写体を撮影して画像データを取得する。「ＯＫ」ボタン３２１は、ユーザが会議装置１０１に、撮影終了を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「ＯＫ」ボタン３２１への指示を受け付けると、表示デバイス２０７に、図３（ｂ）に示した画面３１０を表示させる。

図３（ｄ）の画面３３０は、アジェンダの変更を指示する際に表示される画面である。テキストフィールド３３１は、ユーザが会議装置１０１にアジェンダ名を登録するためのものである。ユーザは入力デバイス２０６を介して、テキストフィールド３３１に、所望のアジェンダ名を入力することができる。「アジェンダ開始」ボタン３３２は、ユーザが会議装置１０１に、新しいアジェンダの開始を指示するためのものである。「アジェンダ終了」ボタン３３３は、ユーザが会議装置１０１に、現在のアジェンダの終了を指示するためのものである。なお、終了されたアジェンダは、そのアジェンダ名がテキストエリア３３４にリスト表示される。「ＯＫ」ボタン３３５は、ユーザが会議装置１０１に、アジェンダ変更の終了を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「ＯＫ」ボタン３３５への指示を受け付けると、表示デバイス２０７に、図３（ｂ）に示した画面３１０を表示させる。

図３（ｅ）の画面３４０は、会議を終了する際に表示される画面である。

テキストフィールド３４１は、ユーザが会議装置１０１に、議事録生成システム１００が作成する議事録の配信先を指定するためのものである。ユーザは入力デバイス２０６を介して、テキストフィールド３４１に、所望の配信先を入力することができる。配信先として、例えば、メールアドレスやファイルサーバのファイル名、Ｗｅｂサービスのアドレスを入力することができる。「ＯＫ」ボタン３４２は、ユーザが会議装置１０１に、会議終了の確定を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「ＯＫ」ボタン３４２への指示を受け付けると、表示デバイス２０７に、図３（ａ）に示した画面３００を表示させる。そして、会議装置１０１は、会議情報の記録を終了し、議事録領域３１４で表示した議事録を会議サーバ１０２へ送信する。その後、会議サーバ１０２は、受信した議事録を配信先に配信する。

次に、会議装置１０１によって記録される会議情報について説明する。図４は、会議装置１０１がストレージ２０５に記録する会議情報の構成例を示したものである。図４（ａ）、（ｂ）、（ｃ）、（ｄ）はそれぞれ、音声情報テーブル４００、画像情報テーブル４１０、アジェンダ情報テーブル４２０、配信先情報テーブル４３０の構成例を示す図である。これらのテーブルで会議情報が構成される。

音声情報テーブル４００は、会議装置１０１が録音して得られた音声に関する情報（以降「音声情報」と呼称する）を記録するためのデータテーブルである。会議装置１０１は、会議中の会話を録音し音声データを記録する。録音開始時刻列４０１には、録音開始時刻（会議開始時刻）が記録される。録音終了時刻列４０２には、録音終了時刻（会議終了時刻）が記録される。音声データ列４０３には、ストレージ２０５に記録された音声データのファイル名が記録される。

画像情報テーブル４１０は、会議装置１０１が撮影して得られた画像に関する情報（以降「画像情報」と呼称する）を記録するためのデータテーブルである。会議装置１０１は、被写体を撮影して画像データを取得し、ファイルとしてストレージ２０５に記録する。撮影時刻列４１１には、撮影時刻が記録される。画像データ列４１２には、ストレージ２０５に記録した画像データのファイル名が記録される。

アジェンダ情報テーブル４２０は、会議装置１０１が記録するアジェンダに関する情報（以降「アジェンダ情報」と呼称する）を記録するためのデータテーブルである。アジェンダ開始時刻列４２１には、アジェンダの開始時刻が記録される。アジェンダ終了時刻列４２２には、アジェンダの終了時刻が記録される。アジェンダ名列４２３には、アジェンダ名が記録される。

配信先情報テーブル４３０は、議事録を配信する配信先に関する情報（以降「配信先情報」と呼称する）を記録するためのデータテーブルである。本実施例では配信先情報は一人のメールアドレスとしているがそれに限定するものではない。例えば、複数のメールアドレスやファイルサーバのファイル名、Ｗｅｂサービスのアドレスでもかまわない。

次に、会議サーバ１０２が、会議装置１０１から受信した会議情報を解析・加工して生成する議事録元情報について説明する。図５と図６は、会議サーバ１０２がストレージ２５５に記録する議事録元情報の構成例を示したものである。議事録元情報には、発話情報テーブル５００（図５（ａ））、記入情報テーブル５１０（図５（ｂ））、会議テキスト情報テーブル５２０（図５（ｃ））、及び、要約情報テーブル６００（図６）がある。

発話情報テーブル５００は、会議情報に含まれる音声データに対する音声認識結果に関する情報（以降「発話情報」と呼称する）を記録するためのデータテーブルである。会議サーバ１０２は、音声データを解析してユーザの発話を特定し、発話毎にレコードを生成する。発話時刻列５０１は、発話が発生した時刻（以降「発話時刻」と呼称する）を記録するためのものである。発話テキスト列５０２は、発話を音声認識して得た発話テキストを記録するためのものである。発話や発話時刻の特定方法については後述する。

記入情報テーブル５１０は、会議情報に含まれる画像データに対する文字認識結果に関する情報（以降「記入情報」と呼称する）を記録するデータテーブルである。会議サーバ１０２は、画像データを解析してユーザによる記入を特定し、記入毎にレコードを生成する。記入時刻列５１１は、記入が発生した時刻（以降「記入時刻」と呼称する）を記録するためのものである。記入テキスト列５１２は、画像データを文字認識して得た記入テキストを記録するためのものである。記入や記入時刻の特定方法については後述する。

会議テキスト情報テーブル５２０は、会議において発生したテキスト（以降「会議テキスト」と呼称する）に関する情報（以降「会議テキスト情報」と呼称する）を記録するためのデータテーブルである。会議サーバ１０２は、発話情報と記入情報とを統合して会議テキスト情報を生成する。発生時刻列５２１には、会議テキスト情報が発生した時刻として、発話時刻列５０１乃至記入時刻列５１１の時刻が記録される。会議テキスト列５２２には、会議テキストとして、発話テキスト列５０２乃至記入テキスト列５１２のテキストが記録される。区分列５２３には、そのレコードが、会議テキストの元となったテキスト（統合前のテキスト）が発話情報であったのか記入情報であったのかを示す情報が記録される。統合前のテキストが発話情報であった場合には０が記録され、記入情報であった場合には１が記録される。要点列５２４には、そのレコードの会議テキスト列５２２の会議テキストが要点であるか否かを示す情報が記録される。ここで要点とは、決定した事項や、発生したアクションアイテムなど、その会議の主要な内容を示すものである。要点である場合には１が記録され、そうでない場合には０が記録される。なお、会議テキスト情報テーブル５２０のレコードは、発生時刻列５２１の値で昇順に（発生した順に）ソートされる。

要約情報テーブル６００は、会議テキストを要約した情報（以降「要約情報」と呼称する）を記録するためのデータテーブルである。会議サーバ１０２は、会議テキストテーブル６２０の会議テキスト列６２２の会議テキストをアジェンダ毎に要約して要約テキストを生成し、それを要約テーブル７００に記録する。アジェンダ名列６０１は、アジェンダ名を記録するためのものである。アジェンダ名列６０１には、アジェンダ情報テーブル４２０のアジェンダ名列４２３に記録されているアジェンダが記録される。要約テキスト列６０２には、生成した要約テキストが記録される。アジェンダ名列６０１に記録された１つのアジェンダに対して１つ以上の要約テキストが対応づけられる。要約テキストは会議テキスト情報テーブル５２０の会議テキスト列５２２の会議テキストを要約区間で要約して得たテキストである。

要約区間は以下の２つの区間が該当する。１つ目は、１つのアジェンダが開始されてから終了するまでの時間内で該アジェンダの開始時刻から走査して最初の要点を抽出した時刻までの区間である。２つ目は、１つのアジェンダが開始されてから終了するまでの時間内で１つの要点を抽出した時刻から走査して次の要点を抽出した時刻までの区間である。図５（ｃ）の会議テキスト情報テーブル５２０の例では、要約区間５２５、５２６、５２７、５２８が存在する。図６の要約情報テーブル６００では、第１のアジェンダである「来年度予算について」に対応して、要約区間５２５の会議テキストを要約して得た要約テキスト６０３と要約区間５２６の会議テキストを要約して得た要約テキスト６０４が記録されている。また、第２のアジェンダである「役割分担の相談」に対応して、要約区間５２６の会議テキストを要約して得た要約テキスト６０５と要約区間５２８の会議テキストを要約して得た要約テキスト６０６が記録されている。

次に、会議装置１０１の基本処理について説明する。図７は、基本処理を示したフローチャートである。

ユーザが会議装置１０１の電源キー（不図示）を操作して電源をＯＮにすると、ＣＰＵ２０１は、ストレージ２０５に記録されているコントローラプログラムを読み込む。そして、ＲＡＭ２０４に展開して当該コントローラプログラムを実行する。これにより会議装置１０１は会議情報記録処理を実行することが可能となる。また、ＣＰＵ２０１は、画面３００の表示画像データを生成して表示デバイス２０７に表示させる。

まず、ＣＰＵ２０１は、Ｓ７０１において、会議開始指示がされたか否かを判定する。「会議開始」ボタン３０１への指示を受け付けたら、ＹＥＳと判定し、Ｓ７０３に遷移する。このとき、ＣＰＵ２０１は、画面３１０の表示画像データを生成して表示デバイス２０７に表示させる。「会議開始」ボタン３０１への指示を受け付けなければ、ＮＯと判定し、Ｓ７０２に遷移する。

ＣＰＵ２０１は、Ｓ７０２において、電源オフ指示がされたか否かを判定する。「シャットダウン」ボタン３０２への指示を受け付けたら、ＹＥＳと判定し、処理を終了して電源オフする。「シャットダウン」ボタン３０２への指示を受け付けなければ、ＮＯと判定し、Ｓ７０１に遷移する。

ＣＰＵ２０１は、Ｓ７０３において、会議開始処理を行う。詳細は後述する。

ＣＰＵ２０１は、Ｓ７０４において、会議終了指示がされたか否かを判定する。「会議終了」ボタン３１３への指示を受け付けたら、ＹＥＳと判定し、Ｓ７０５に遷移する。このとき、ＣＰＵ２０１は、画面３４０の表示画像データを生成して表示デバイス２０７に表示させる。「会議終了」ボタン３１３への指示を受け付けなければ、ＮＯと判定し、Ｓ７０６に遷移する。

ＣＰＵ２０１は、Ｓ７０５において、会議終了処理を行う。詳細は後述する。その後、Ｓ７０２に遷移する。

ＣＰＵ２０１は、Ｓ７０６において、撮影要求指示がされたか否かを判定する。「撮影」ボタン３１１への指示を受け付けたら、ＹＥＳと判定し、Ｓ７０７に遷移する。このとき、ＣＰＵ２０１は、画面３２０の表示画像データを生成して表示デバイス２０７に表示させる。「撮影」ボタン３１１への指示を受け付けなければ、ＮＯと判定し、Ｓ７０８に遷移する。

ＣＰＵ２０１は、Ｓ７０７において、撮影処理を行う。詳細は後述する。撮影処理終了後、Ｓ７０４に遷移する。

ＣＰＵ２０１は、Ｓ７０８において、アジェンダ変更指示がされたか否かを判定する。「アジェンダ」ボタン３１２への指示を受け付けたら、ＹＥＳと判定し、Ｓ７０９に遷移する。このとき、ＣＰＵ２０１は、画面３３０の表示画像データを生成して表示デバイス２０７に表示させる。「アジェンダ」ボタン３１２への指示を受け付けなければ、ＮＯと判定し、Ｓ７１０に遷移する。

ＣＰＵ２０１は、Ｓ７０９において、アジェンダ変更処理を行う。詳細は後述する。アジェンダ変更処理終了後、Ｓ７０４に遷移する。

ＣＰＵ２０１は、Ｓ７１０において、議事録の表示更新処理を行う。詳細は後述する。議事録の表示更新処理終了後、Ｓ７０４に遷移する。

図８は、ＣＰＵ２０１がＳ７０３で行う会議開始処理を説明するためのフローチャートである。

ＣＰＵ２０１は、Ｓ８０１において、会議サーバ１０２に会議の開始を示す会議開始通知を送信する。

ＣＰＵ２０１は、Ｓ８０２において、マイクデバイス２１０により、会話の録音を開始する。これにより、ＣＰＵ２０１は、音声データを取得する。そして、ＣＰＵ２０１は、音声情報テーブル４００の録音開始時刻列４０１に、録音開始時刻として現在時刻を記録する。また、ＣＰＵ２０１は、音声データを、ファイルとしてストレージ２０５に記録し始める。ＣＰＵ２０１は、当該音声データのファイル名を、音声情報テーブル４００の音声データ列４０３に記録する。なお、録音開始時刻は会議開始時刻に相当する。ＣＰＵ２０１は音声情報テーブルをストレージ２０５に記録する。この時、ＣＰＵ２０１は録音終了時刻（会議終了時刻に相当する）を空白で初期化して記録する。

次に、ＣＰＵ２０１は、Ｓ８０３において、会議サーバ１０２に音声データのストリーミング配信を開始する。次に、ＣＰＵ２０１は、Ｓ８０４において、会議サーバ１０２に音声情報テーブル４００を含む会議情報を送信する。

次に、ＣＰＵ２０１は、Ｓ８０５において、図３（ｅ）に示す画面３４０の議事録領域３１４を表示する。また、ＣＰＵ２０１は、後述する議事録領域３１４の議事テキスト１１１０の会議開催時間１１１１に、録音開始時刻を会議開始時刻として、会議終了時刻はｘｘ：ｘｘのように代替した文字列もしくは空白で表示する。

図９は、ＣＰＵ２０１がＳ７０７で行う撮影処理を説明するためのフローチャートである。

ＣＰＵ２０１は、Ｓ９０１において、撮影指示がされたか否かを判定する。画面３２０の任意箇所への指示を受け付けたら、ＹＥＳと判定し、Ｓ９０２に遷移する。画面３２０の任意箇所への指示を受け付けなければ、ＮＯと判定し、Ｓ９０３に遷移する。

ＣＰＵ２０１は、Ｓ９０２において、カメラデバイス２０９により被写体を撮影して画像データを取得する。また、ＣＰＵ２０１は、画像情報テーブル４１０にレコードを追加する。そして、ＣＰＵ２０１は、撮影時刻列４１１に撮影時刻として現在時刻を記録する。また、ＣＰＵ２０１は、画像データを、ファイルとしてストレージ２０５に記録する。ＣＰＵ２０１は、当該画像データのファイル名を、画像情報テーブル４１０の画像データ列４１２に記録する。ＣＰＵ２０１は画像情報テーブル４１０をストレージ２０５に記録する。

ＣＰＵ２０１は、Ｓ９０３において、撮影終了指示がされたか否かを判定する。「ＯＫ」ボタン３２１への指示を受け付けたら、ＹＥＳと判定し、Ｓ９０４に遷移する。このとき、ＣＰＵ２０１は、画面３１０の表示画像データを生成して表示デバイス２０７に表示させる。「ＯＫ」ボタン３２１への指示を受け付けなければ、ＮＯと判定し、Ｓ９０１に遷移する。

ＣＰＵ２０１は、Ｓ９０４において、Ｓ９０２で更新した画像情報テーブル４１０を含む会議情報を会議サーバ１０２に送信する。

ＣＰＵ２０１は、Ｓ９０５において、Ｓ９０２で撮像した画像データを会議サーバ１０２に送信する。

図１０は、ＣＰＵ２０１がＳ７０９に行うアジェンダ変更処理を説明するためのフローチャートである。

ＣＰＵ２０１は、Ｓ１００１において、アジェンダ開始指示がされたか否かを判定する。「アジェンダ開始」ボタン３３２への指示を受け付けたら、ＹＥＳと判定し、Ｓ１００２に遷移する。「アジェンダ開始」ボタン３３２への指示を受け付けなければ、ＮＯと判定し、Ｓ１００３に遷移する。なお、Ｓ１００２で開始し、且つ、Ｓ１００４で終了していないアジェンダがある場合は、Ｓ１００１ではＮＯと判定する。

ＣＰＵ２０１は、Ｓ１００２において、新しいアジェンダを開始する。ＣＰＵ２０１は、アジェンダ情報テーブル４２０にレコードを追加する。そして、ＣＰＵ２０１は、アジェンダ開始時刻列４２１に、アジェンダ開始時刻として現在時刻を記録する。ＣＰＵ２０１はアジェンダ情報テーブル４２０をストレージ２０５に記録する。アジェンダ終了時刻は空白で初期化して記録する。

ＣＰＵ２０１は、Ｓ１００３において、アジェンダ終了指示がされたか否かを判定する。「アジェンダ終了」ボタン３３３への指示を受け付けたら、ＹＥＳと判定し、Ｓ１００４に遷移する。「アジェンダ終了」ボタン３３３への指示を受け付けなければ、ＮＯと判定し、Ｓ１００６に遷移する。なお、Ｓ１００２で開始されてかつ、Ｓ１００４で終了していないアジェンダがない場合には、Ｓ１００３ではＮＯと判定する。

ＣＰＵ２０１は、Ｓ１００４において、現在のアジェンダを終了する。ＣＰＵ２０１は、アジェンダ情報テーブル４２０のアジェンダ終了時刻列４２２に、アジェンダ終了時刻として現在時刻を記録する。また、テキストフィールド３３１に入力されたアジェンダ名を、アジェンダ名列４２３に記録する。ＣＰＵ２０１はアジェンダ情報テーブル４２０をストレージ２０５に記録し、Ｓ１００５に遷移する。

ＣＰＵ２０１は、Ｓ１００５において、Ｓ１００２乃至Ｓ１００４で更新したアジェンダ情報テーブル４２０を含む会議情報を会議サーバ１０２に送信してＳ１００６に遷移する。

ＣＰＵ２０１は、Ｓ１００６において、アジェンダ変更終了指示がされたか否を半判定する。「ＯＫ」ボタン３３５への指示を受け付けたら、ＹＥＳと判定し、ＣＰＵ２０１は、画面３１０の表示画像データを生成して表示デバイス２０７に表示させる。「ＯＫ」ボタン３３５への指示を受け付けなければ、ＮＯと判定し、Ｓ１００１に遷移する。

図１１と図１２を用いてＣＰＵ２０１が行う議事録の表示更新処理について説明する。図１１は議事録の概要を示す図である。議事録１１００は議事を示す議事テキスト１１１０および、貼付画像データ群１１２０から成る。

議事テキスト１１１０には、１つの会議開催時間１１１１と１つ以上のアジェンダと該アジェンダに対応するアジェンダ毎議事テキストが含まれる。会議開催時間１１１１は音声情報テーブル４００の録音開始時刻列４０１の録音開始時刻（会議開始時刻）と、録音終了時刻列４０２の録音終了時刻（会議終了時刻）から生成される。録音終了していない場合は録音終了時刻をｘｘ：ｘｘのように代替した文字列もしくは空白でよい。時刻表記フォーマットは、図１１の表記に限定されるものではない。アジェンダは、要約情報テーブル６００のアジェンダ名列６０１に記録されているアジェンダ名である。アジェンダ毎議事テキストは、要約情報テーブル６００のアジェンダ名列６０１に記録されているアジェンダ名に対応する要約テキスト列６０２に記録されている１つ以上の要約テキストである。貼付画像データ群１１２０は、画像情報テーブル４１０に含まれる画像データを含む。

図１１の（ａ）（ｂ）（ｃ）（ｄ）は、議事録１１００の表示が更新される様子の一例を示す図である。

図１１（ａ）は、ＣＰＵ２０１が会議サーバ１０２から要約情報テーブル１１３１を受信した場合の表示例である。要約情報テーブル１１３１は、要約区間５２５で会議テキストを要約した結果得られたものである。議事テキスト１１１０には会議開催時間１１１１と、要約情報テーブル１１３１に記録されたアジェンダ名がアジェンダ１１１２として表示される。また、該アジェンダに対応する要約テキスト１１４１が、アジェンダ１１１２のアジェンダ毎議事テキスト１１１３として表示されている。また、要約区間５２５で撮像された画像データが表示されている。

図１１（ｂ）は、図１１（ａ）の表示後に続いて、ＣＰＵ２０１が会議サーバ１０２から要約情報テーブル１１３２を受信した場合の表示例である。要約情報テーブル１１３２は、要約区間５２６で会議テキストを要約した結果を追加したものである。図１１（ａ）に対する差分として、議事テキスト１１１０には要約テキスト１１４２がアジェンダ毎議事テキスト１１１３に追記して表示されている。

図１１（ｃ）は、図１１（ｂ）の表示後に続いて、ＣＰＵ２０１が会議サーバ１０２から要約情報テーブル１１３３を受信した場合の表示例である。要約情報テーブル１１３３は、要約区間５２７で会議テキストを要約した結果を追加したものである。図１１（ｂ）に対する差分として、要約情報テーブル１１３３に追加記録されたアジェンダ名がアジェンダ１１１４として表示され、アジェンダ１１１４に対応するアジェンダ毎議事テキスト１１４３が要約テキスト１１１５として表示されている。また、要約区間５２７で撮像された画像データが追加で表示されている。

図１１（ｄ）は、図１１（ｃ）の表示後に続いて、ＣＰＵ２０１が会議サーバ１０２から要約情報テーブル１１３４を受信した場合の表示例である。要約情報テーブル１１３４は、要約区間６２８で会議テキストを要約した結果を追加したものである。図１１（ｃ）に対する差分として、アジェンダ１１１４に対応する要約テキスト１１４４がアジェンダ毎議事テキスト１１１５に追記して表示されている。また、要約区間６２８で撮像された画像データが追加で表示されている。

図１２は、ＣＰＵ２０１がＳ７１０において行う議事録の表示更新処理を説明するフローチャートである。

ＣＰＵ２０１は、Ｓ１２０１において、アジェンダの更新があるか否かを判定する。ストレージ２０５からアジェンダ情報テーブル４２０を読み出して、未表示の開始済アジェンダがある場合はＹＥＳと判定してＳ１２０２に遷移する。未表示の開始済みアジェンダが存在しなければＮＯと判定してＳ１２０５に遷移する。開始済アジェンダとは、アジェンダ開始時刻が現在時刻より前のアジェンダである。

ＣＰＵ２０１は、Ｓ１２０２において、Ｓ１２０３にて未表示の開始済アジェンダのアジェンダ名を表示するためのアジェンダ表示領域を追加する。

ＣＰＵ２０１は、Ｓ１２０３において、Ｓ１２０２にて追加したアジェンダ表示領域に、未表示の開始済アジェンダのアジェンダ名を表示する。

ＣＰＵ２０１は、Ｓ１２０４において、アジェンダ毎議事テキストを表示するためのアジェンダ毎議事テキスト表示領域を追加する。追加したアジェンダ毎議事テキスト表示領域にアジェンダ毎議事テキストを表示するよう設定する。

ＣＰＵ２０１は、Ｓ１２０５において、会議サーバ１０２から要約情報テーブル６００を受信したか否かを判定する。受信していればＹＥＳと判定し、Ｓ１２０６に遷移する。受信していなければＮＯと判定しＳ１２０８に遷移する。

ＣＰＵ２０１は、Ｓ１２０６において、アジェンダ毎議事テキストを更新すべきか否かを判定する。会議サーバ１０２から受信した要約情報テーブル６００の要約テキスト列６０２に記録された要約テキストの中でアジェンダ毎議事テキストに未追加の要約テキストがあればＹＥＳと判定してＳ１２０７に遷移する。受信した要約情報テーブル６００の要約テキスト列６０２に記録された要約テキストの中でアジェンダ毎議事テキストに未追加の要約テキストがなければＮＯと判定してＳ１２０８に遷移する。

ＣＰＵ２０１は、Ｓ１２０７において、アジェンダ毎議事テキスト表示領域に、会議サーバ１０２から受信した要約情報テーブル６００の要約テキスト列６０２に記録された要約テキストのうち、アジェンダ毎議事テキストに未追加の要約テキストを表示する。ＣＰＵ２０１は、受信した要約情報テーブル６００をストレージ２０５に記録しておく。

ＣＰＵ２０１は、Ｓ１２０８において、画像データの表示を更新するか否かを判定する。ストレージ２０５に記録された画像情報テーブル４１０を読み出し、現在時刻以前に撮影された未表示の画像データがあればＹＥＳと判定し、Ｓ１２０９に遷移する。現在時刻以前に撮影された未表示の画像データがなければＮＯと判定して本フローチャートを終了する。

ＣＰＵ２０１は、Ｓ１２０９において、未表示の画像データをストレージ２０５から読み出して貼付画像データ群１１２０として表示する。

図１３は、ＣＰＵ２０１がＳ７０５において行う会議終了処理を説明するフローチャートである。

ＣＰＵ２０１は、Ｓ１３０１において、マイクデバイス２１０による会議の録音を終了する。ＣＰＵ２０１は、音声情報テーブル４００の録音終了時刻列４０２に、録音終了時刻として現在時刻を記録する。なおこのとき、アジェンダ情報テーブル４２０に、アジェンダ終了時刻列４２２に終了時刻が記録されていないレコードがあれば、アジェンダ終了時刻として現在時刻をアジェンダ終了時刻列４２２に記録する。ＣＰＵ２０１は更新後の音声情報テーブル４００及びアジェンダ情報テーブル４２０をストレージ２０５に記録する。

ＣＰＵ２０１は、Ｓ１３０２において、会議サーバ１０２への音声データのストリーミング配信を終了する。

ＣＰＵ２０１は、Ｓ１３０３において、Ｓ１３０１で記録した録音終了時刻列を会議開催時間１１１１の終了時刻に反映した後、議事録１１００を議事録ファイルとして生成してストレージ２０５に記録する。このとき、議事録ファイルはＰＤＦ等のファイルファーマットで生成される。

ＣＰＵ２０１は、Ｓ１３０４において、会議終了確定指示がなされたか否かを判定する。テキストフィールド３４１に配信先が入力され、かつ「ＯＫ」ボタン３４２への指示を受け付けたら、ＹＥＳと判定し、Ｓ１３０５に遷移する。テキストフィールド３４１に配信先が入力されていない、あるいは、「ＯＫ」ボタン３４２への指示を受け付けなければ、ＮＯと判定し、再度Ｓ１３０４の処理を行う。ＣＰＵ２０１は、テキストフィールド３４１に入力された配信先を配信先情報テーブル４３０に記録する。

ＣＰＵ２０１は、Ｓ１３０５において、更新後の会議情報を会議サーバ１０２に送信する。

ＣＰＵ２０１は、Ｓ１３０６において、ストレージ２０５から議事録ファイルを読み出して会議サーバ１０２に送信する。送信後に、会議情報や議事録ファイルをストレージ２０５から削除してよい。また、ＣＰＵ２０１は、画面３００の表示画像データを生成して表示デバイス２０７に表示させる。

次に、会議サーバ１０２の基本処理について説明する。図１４は会議サーバ１０２の基本処理を示したフローチャートである。会議サーバ１０２が起動すると、ＣＰＵ２５１は、ストレージ２５５に記録されている会議サーバプログラムを読み込む。そして、ＲＡＭ２５４に展開して当該会議サーバプログラム実行する。これにより会議サーバ１０２は議事録生成処理を実行することが可能となる。

ＣＰＵ２５１は、Ｓ１４０１において、会議装置１０１から会議開始通知を受信したか否かを判定する。受信していればＹＥＳと判定してＳ１４０２に遷移する。受信していなければＮＯと判定してＳ１４０１に戻る。

ＣＰＵ２５１は、Ｓ１４０２において、レコードを持たないよう初期化した会議情報を生成し、更新前の会議情報としてストレージ２５５に記憶する。また、要約処理を実行した時刻を意味する要約処理実行時刻の値に現在時刻を設定した後、要約処理実行時刻をストレージ２５５に記憶する。

ＣＰＵ２５１は、Ｓ１４０３において、音声データのストリーミング受信を開始する。

ＣＰＵ２５１は、Ｓ１４０４において、要約情報テーブル６００の更新処理を行う。詳細は図１５を用いて後述する。ＣＰＵ２５１は、要約処理実行時刻の値に要約情報テーブル６００の更新処理を実行した時刻を設定してストレージ２５５に記憶する。

ＣＰＵ２５１は、Ｓ１４０５において、会議装置１０１から受信した会議情報を更新前の会議情報としてストレージ２５５に上書きして記憶する。

ＣＰＵ２５１は、Ｓ１４０６において、ストレージ２５５から会議情報に含まれる音声情報テーブル４００を読み出し、録音終了時刻の情報が格納されているか否かを判定する。格納されていればＹＥＳと判定してＳ１４０７に遷移し、格納されていなければＮＯと判定してＳ１４０４に遷移する。

ＣＰＵ２５１は、Ｓ１４０７において、音声データのストリーミング受信を終了する。

ＣＰＵ２５１は、Ｓ１４０８において、会議装置１０１から議事録ファイルを受信する。

ＣＰＵ２５１は、Ｓ１４０９において、ストレージ２５５に記憶された会議情報に含まれる配信先情報テーブル４３０を読み出して配信先を取得し、Ｓ１４０８で受信した議事録ファイルを該配信先に配信する。

ＣＰＵ２５１は、Ｓ１４１０において、終了指示がされたか否かを判定する。ユーザは、例えば、外部インターフェース２５８を介して、別体のＰＣから会議サーバ１０２の終了指示を行うことができる。終了指示がされていたら、ＹＥＳと判定し、処理を終了して電源オフする。終了指示がなされていなければ、ＮＯと判定し、Ｓ１４０１に遷移する。

図１５は、ＣＰＵ２５１がＳ１４０５で行う要約情報テーブル６００の更新処理を説明するためのフローチャートである。

ＣＰＵ２５１は、Ｓ１５０１において、会議装置１０１から会議情報を受信したか否かを判定する。会議情報を受信したら、ＹＥＳと判定し、Ｓ１５０２に遷移する。会議情報を受信していなければ、ＮＯと判定し、Ｓ１５０５に遷移する。

ＣＰＵ２５１は、Ｓ１５０２において、ストレージ２５５から更新前の会議情報の画像情報テーブル４１０を読み出して、Ｓ１５０１で会議装置１０１から受信した会議情報の画像情報テーブル４１０と比較する。そして、Ｓ１５０１で会議装置１０１から受信した会議情報に含まれる画像情報テーブル４１０が更新されているか否かを判定する。画像情報テーブル４１０が更新されているならば、ＹＥＳと判定し、Ｓ１５０３に遷移する。画像情報テーブル４１０が更新されていなければ、ＮＯと判定し、要約情報テーブルの更新処理を終了する。

ＣＰＵ２５１は、Ｓ１５０３において、会議装置１０１から受信した画像情報に含まれる画像情報テーブル４１０の画像データ列４１２に記述された画像データのうち未受信の画像データを受信する。

ＣＰＵ２５１は、Ｓ１５０４において、受信した画像データに対して文字認識を行い、記入テキストを得る。ここでＣＰＵ２５１は、会議情報に含まれる画像情報テーブル４１０のレコードを順に走査して、次の処理を行う。画像情報テーブル４１０のレコードは、撮影時刻列４１１の値で昇順に（撮影した順に）ソートしておく。ＣＰＵ２５１は、現在参照しているレコードの画像データ列４１２が示す画像データと、ひとつ前のレコードの画像データ列４１２が示す画像データとの画像差分を求める。当該画像差分には、ひとつ前のレコードに該当する撮影から、現在参照しているレコードに該当する撮影までの間に、ユーザが記入した文字が含まれる部分画像と見なすことができる。当該部分画像に対して文字認識を行い、記入テキストを得る。また、現在参照しているレコードの撮影時刻列４１１の撮影時刻を、当該画像差分が発生した時刻、すなわちユーザによる記入の記入時刻とする。このようにして得た画像差分（記入）毎に記入情報テーブル５１０にレコードを生成する。そして、該当する記入時刻と記入テキストを、それぞれ記入時刻列５１１と記入テキスト列５１２に記録する。

ＣＰＵ２５１は、Ｓ１５０５において、受信した音声データに対して音声認識を行い、発話テキストを得る。ＣＰＵ２５１は、音声データを先頭から走査して次の処理を行う。ＣＰＵ２５１は、音声データ中の無音区間を検出する。無音区間の検出は、例えば、音声データの音圧が閾値以下の状態が一定時間継続されたことに基づいて検出する。ある無音区間と次の無音区間の間の区間を発話区間とする。ＣＰＵ２５１は、個々の発話区間について、音声認識を行って発話テキストを得る。また、ＣＰＵ２５１は、会議情報の音声情報テーブル４００の録音開始時刻列４０１の録音開始時刻と、各発話区間の音声データの先頭からの経過位置とから、各発話区間の発話時刻を計算する。このようにして得た発話区間毎に、発話情報テーブル５００にレコードを生成する。そして、ＣＰＵ２５１は、該当する発話時刻と発話テキストとを、それぞれ発話時刻列５０１と発話テキスト列５０２に記録する。ここで、ＣＰＵ２５１は、Ｓ１５０５において１つの発話区間に対して発話テキストを得るものとする。１つの発話区間の発話終了時刻をストレージ２５５に記憶しておき、再度Ｓ１５０５の処理を実行する際にはストレージ２５５から読み出した発話終了時刻から音声データに対する処理を行うものとする。

ＣＰＵ２５１は、Ｓ１５０６において、発話テキストと記入テキストを統合して、会議テキストを得る。すなわち、ＣＰＵ２５１は、Ｓ１５０５で生成した発話情報テーブル５００とＳ１５０４で生成した記入情報テーブル５１０とを統合して、会議テキスト情報テーブル５２０を生成する。具体的には、ＣＰＵ２５１は次の処理を行う。ＣＰＵ２５１は、発話情報テーブル５００に含まれるレコードの数だけ会議テキスト情報テーブル５２０にレコードを追加する。このときＣＰＵ２５１は、発話時刻列５０１の発話時刻を、会議テキストが発生した時刻として発生時刻列５２１に記憶し、発話テキスト列５０２の発話テキストを、会議テキストとして会議テキスト列５２２に記録する。区分列５２３には、元のデータが発話情報であったことを示す０が記録される。また、ＣＰＵ２５１は、記入情報テーブル５１０に含まれるレコードの数だけ会議テキスト情報テーブル５２０にレコードを追加する。このとき、ＣＰＵ２５１は、記入時刻列５１１の記入時刻を、会議テキストが発生した時刻として発生時刻列５２１に記憶し、記入テキスト列５１２の記入テキストを、会議テキストとして会議テキスト列５２２に記録する。区分列５２３には、元のデータが記入情報であったことを示す１が記録される。ＣＰＵ２５１は、以上追加したレコードを発生時刻列５２１の値で昇順に（発生した順に）ソートする。

ＣＰＵ２５１は、Ｓ１５０７において、Ｓ１５０６で生成した会議テキストから要点を抽出する。ＣＰＵ２５１は、Ｓ１５０７において会議テキスト情報テーブル５２０に追加したレコードそれぞれについて、会議テキスト列５２２の会議テキストが要点であるか否かを判定する。これは、例えば、会議テキストが予め決定した特定のキーワードを含むならば要点であると判定する。特定のキーワードとして、例えば「決定事項」、「アクションアイテム」、「宿題」などを使用するようにすればよい。ＣＰＵ２５１は、要点である場合には、要点列５２４に１を記録し、そうでない場合は０を記録する。

ＣＰＵ２５１は、Ｓ１５０８において、要点を新規に抽出したか否かを判定する。新規に抽出した場合はＹＥＳと判定してＳ１５０９に遷移し、新規に抽出しなかった場合はＮＯと判定して要約情報テーブル６００の更新処理を終了する。

ＣＰＵ２５１は、Ｓ１５０９において、Ｓ１５０６で生成した会議テキストを要約する。まず、ＣＰＵ２５１は、ストレージ２５５から要約処理実行時刻を読み出す。また、ＣＰＵ２５１は、ストレージ２５５に記憶したアジェンダ情報テーブル４２０を読み出し、アジェンダ情報テーブル４２０のレコードを順に走査して、次の処理を行う。アジェンダ情報テーブル４２０のレコードは、アジェンダ開始時刻列４２１の値で昇順に（アジェンダの開始順に）ソートしておく。ＣＰＵ２５１は、現在参照しているレコードのアジェンダ開始時刻列４２１のアジェンダ開始時刻から、アジェンダ終了時刻列４２２のアジェンダ終了時刻までの区間で要約処理実行時刻以降に存在する要約区間（図５（ｃ）参照）を得る。そして、会議テキスト情報テーブル５２０から発生時刻列５２１の値が当該要約区間に該当するレコード群を抽出する。ＣＰＵ２５１は、それらレコード群の会議テキスト列５２２のテキストを要約して要約テキストを生成する。要約テキストを生成する処理については図１６を用いて後述する。そしてＣＰＵ２５１は、要約情報テーブル６００にレコードを追加して、生成した要約テキストを要約テキスト列６０２に記録する。また、ＣＰＵ２５１は、アジェンダ情報テーブル４２０のレコードのアジェンダ名列４２３のアジェンダ名を、要約情報テーブル６００に追加したレコードのアジェンダ名７０１に記録する。

ＣＰＵ２５１は、Ｓ１５１０において、Ｓ１５０９で更新した要約情報テーブル６００を会議装置１０１に送信する。

図１６は、ＣＰＵ２５１がＳ１５０９で行う要約処理を説明するためのフローチャートである。

図１６（ａ）は、要約テキスト生成処理の一例を示したフローチャートである。この処理にあたって、会議テキスト情報テーブル５２０の複数のレコードが入力されてくる。

ＣＰＵ２５１は、Ｓ１６０１において、入力されたレコード全てを参照し、会議テキスト列６２２の会議テキストに出現する単語それぞれについて、その重要度を算出する。これは、例えば、各単語の出現頻度に基づいて算出することができる。出現頻度が高い単語ほど重要度を高いとし、重要度は例えば値で表現される。

ＣＰＵ２５１は、Ｓ１６０２において、入力された各レコードの会議テキスト列６２２の会議テキストについて、それぞれその重要度を算出する。Ｓ１６０１で算出した各単語の重要度を参照し、それぞれの会議テキストに含まれる各単語の重要度の合計値を算出することで当該会議テキストの重要度の値を決定する。

ＣＰＵ２５１は、Ｓ１６０３において、重要度が閾値以上の会議テキストを抽出する。そしてこれらを結合して要約テキストを得る。そして、本処理の結果として、処理呼び出し元にこれを返す。

なお、会議テキストの要約の手法は図１６（ａ）で説明したものに限定されない。例えば、会議において、ホワイトボードなどの記入媒体に、論点や重要な意見を記載する場合がある。これらの内容は通常、議事として重要なので、記入媒体から得た記入テキストを要約テキストに優先的に反映するようにしてもよい。例えば、Ｓ１６０３において、ＣＰＵ２５１は、入力されたレコードの区分列５２３の値を確認する。そしてその値が１（元は記入情報）ならば、重要度が閾値以上か否かに関わらず、当該レコードの会議テキスト列６２２の会議テキストを要約テキストの一部として抽出するようにしてもよい。

また、記入テキストを要約テキストに優先的に反映する処理の例として、次のように要約テキスト生成処理を実行してもよい。図１６（ｂ）は、要約テキスト生成処理の別の例を示したフローチャートである。図１６（ａ）の処理と同様に、図１６（ｂ）の処理にあたって、会議テキスト情報テーブル５２０における複数のレコードが入力されてくる。

ＣＰＵ２５１は、Ｓ１６１１において、入力されたレコードのうち、区分レコードが１（元は記入情報）のレコードを参照して、会議テキスト列５２２の会議テキストに含まれる単語のリスト（以降「記入単語リスト」と呼称する）を作成する。ＣＰＵ２５１は、Ｓ１６１２、Ｓ１６１３において、Ｓ１６０１、Ｓ１６０２と同様の処理を行う。

ＣＰＵ２５１は、Ｓ１６１４において、Ｓ１６１１で作成した記入単語リストを参照して、Ｓ１６１３で算出した会議テキストの重要度を更新する。すなわち、ＣＰＵ２５１は、入力された各レコードの会議テキスト列６２２の会議テキストについて、記入単語リストの単語を含む場合には、当該会議テキストの重要度にバイアス（重み付け）を加え、例えば重要度の値を大きくする。その際ＣＰＵ２５１は、記入単語リストの単語を含む数に応じて重み付けを大きくしてもよい。ＣＰＵ２５１は、Ｓ１６１５において、Ｓ１６０３と同様の処理を行う。

なお、ＣＰＵ２５１は、Ｓ１６１４において、対象の会議テキストが記入単語リストの単語を含む場合には、重要度の最大値を付与するようにし、Ｓ１６０３では当該会議テキストが要約テキストの一部として必ず抽出されるようにしてもよい。この場合、会議テキストのうち、記入テキストから生成されたテキストについては全て抽出されることになる。

また、ＣＰＵ２５１は、ステップＳ８０６で会議テキストを要約して要約テーブル７００を生成する際、会議テキストテーブル６２０の会議テキスト列６２２の会議テキストから、予め定めた所定の単語を含む会議テキストを全て抽出してもよい。

本実施の形態によれば、会議サーバ１０２は、音声データの音声認識を行うことにより発話テキストを生成し、画像データの文字認識を行うことにより記入テキストを生成する。そして会議サーバ１０２は、発話テキストと記入テキストを統合して会議テキストを生成する。さらに会議サーバ１０２は、会議テキストから要点区間ごとに要約テキストを生成し、生成した要約テキストをリアルタイム表示する。

なお、上記実施形態では、要約区間を、一つのアジェンダの開始から最初の要点を検出するまでの区間、１つの要点を検出してから次の要点を検出するまでの区間としていたが、他の区間を設定してもよい。たとえば、一つのアジェンダの開始から終了までを要点区間としてもよい。会議の参加者は会議での発話量が多くても議事録を視認しやすいため、議事録をリアルタイムに参照しながら会議を進行できる。

実施例１において、マイクデバイス２１０に対して発話者が正面を向いていない場合や発話の音量が小さい場合には音声収録がうまくいかないことが考えられる。音声収録がうまくいなかい場合は、Ｓ１５０５の音声認識やＳ１５０９の会議テキストの要約でミスが生じて議事録に誤りや不足が起こることが考えられる。これに対して、会議参加者に議事録を編集する手段を提供することで会議参加者は議事録の誤りや不足を修正することができる。その場合、会議参加者の１人が議事録を編集している間に他の会議参加者が修正内容について発話することが十分に考えられる。ここで、修正内容の発話も録音して要約の対象とすると、議事録１１１０には編集結果としての議事テキストと修正内容の発話から得られた議事テキストとで重複してしまう問題がある。そこで、実施例２においては、会議参加者が画面３１０の議事録領域３１４に表示される議事録を編集できるとともに、議事録を編集中の発話は議事録に反映させないようにする方法について説明する。以下、実施例１との差分について説明する。

図１７（ａ）は、図３（ｂ）の画面３１０に「議事録編集」ボタン３１５とスクロールバー３１６を追加した画面３５０である。議事録編集ボタン３１５は、議事録領域３１４に表示されている議事録の内容に対して編集要求を指示するためのものである。スクロールバー３１６を入力デバイス２０６で上下に移動することで議事録領域３１４に表示される議事録をスクロールして表示させることができる。

図１７（ｂ）は、図１１（ｄ）の画面１１００が表示された後、アジェンダ毎議事テキスト１１１５の記載を修正してアジェンダ毎議事テキスト１１１６に更新した画面の例である。アジェンダ毎議事テキスト１１１５の「○○担当はＣさんにお願いする。」という記録がアジェンダ毎議事テキスト１１１６では「○○担当はＥさんにお願いする。」と編集されている。

図１８は、図７における会議装置１０１の基本処理に対して、議事録の編集ができるようにした処理を説明するフローチャートである。

ユーザが会議装置１０１の電源キー（不図示）を操作して電源をＯＮにすると、ＣＰＵ２０１は、ストレージ２０５に記録されているコントローラプログラムを読み込む。そして、ＲＡＭ２０４に展開して実行する。これにより会議装置１０１は会議情報記録処理を実行することが可能となる。また、ＣＰＵ２０１は、画面３００の表示画像データを生成して表示デバイス２０７に表示させている。

Ｓ１８０１〜Ｓ１８０９までの処理は図７のＳ７０１〜Ｓ７０９までの処理と同様であるため、説明を省略する。

Ｓ１８０８でＮｏの場合、ＣＰＵ２０１は、Ｓ１８１０において、議事録編集指示がされたか否かを判定する。「議事録編集」ボタン３１５への指示を受け付けたら、ＹＥＳと判定し、Ｓ１８１１に遷移する。このとき、ＣＰＵ２０１は、議事録領域３１４に対して入力デバイス２０６で入力を受け付けるようにする。「議事録編集」ボタン３１５への指示を受け付けなければ、ＮＯと判定し、Ｓ１８１２に遷移する。

ＣＰＵ２０１は、Ｓ１８１１において、議事録の編集処理を行う。詳細は後述する。ＣＰＵ２０１は、Ｓ１８１２において、図１２で説明した議事録の表示更新処理を行う。その後、Ｓ１８０４に遷移する。

図１９は、実施例２における、会議装置１０１のＳ１８１１の議事録編集処理を説明するためのフローチャートである。

ＣＰＵ２０１は、Ｓ１９０１において、音声データのストリーム配信を停止する。ＣＰＵ２０１は、Ｓ１９０２において、入力デバイス２０６で入力を受け付けた否かを判定する。例えば、マウスやタッチパネルからの座標指定やキーボードからのキー入力を受け付けたか否かが判定される。入力を受け付けた場合はＹＥＳと判定しＳ１９０３に遷移する。入力を受け付けていない場合はＮＯと判定しＳ１９０４に遷移する。ＣＰＵ２０１は、Ｓ１９０３において、受け付けた入力に応じて議事録を編集する。編集とは、指定された座標への文字入力や文字削除などである。

ＣＰＵ２０１は、Ｓ１９０４において、議事録編集の終了の指示がされたか否かを判定する。「議事録編集」ボタン３１５への指示を受け付けたら、ＹＥＳと判定し、Ｓ１９０５に遷移する。このとき、ＣＰＵ２０１は、議事録領域３１４に対して入力デバイス２０６で入力を受け付けないようにする。「議事録編集」ボタン３１５への指示を受け付けなければ、ＮＯと判定し、Ｓ１９０２に遷移する。

ＣＰＵ２０１は、Ｓ１９０５において、ストレージ２０５から要約情報テーブルを読み出してＳ１９０３にて編集した内容を要約情報テーブルの要約テキスト列に反映する。ＣＰＵ２０１は、Ｓ１９０６において、Ｓ１９０５で編集内容を反映した要約情報テーブルを会議サーバ１０２に送信する。そして、ＣＰＵ２０１は、Ｓ１９０７において、音声ストリーム配信を再開する。

次に、会議サーバ１０２の基本処理について説明する。図２０は、図１４における会議サーバ１０２の基本処理に対して、議事録の編集ができるようにした処理を説明するためのフローチャートである。

会議サーバ１０２が起動すると、ＣＰＵ２５１は、ストレージ２５５に記録されている会議サーバプログラムを読み込む。そして、ＲＡＭ２５４に展開して実行する。これにより会議サーバ１０２は議事録生成処理を実行することが可能となる。

Ｓ２００１〜Ｓ２００３の処理は図１４のＳ１４０１〜Ｓ１４０３と同様の処理であり、Ｓ２００６〜Ｓ２０１２は図１４のＳ１４０４〜Ｓ１４１０と同様の処理であるため、説明を省略する。

ＣＰＵ２５１は、Ｓ２００４において、会議装置１０１から要約情報テーブルを受信したか否かを判定する。受信していればＹＥＳと判定しＳ２００５に遷移する。受信していなければＮＯと判定しＳ２００６に遷移する。

ＣＰＵ２５１は、Ｓ２００５において、会議装置１０１から受信した要約情報テーブルの内容をストレージ２５５に記憶した要約情報テーブルに上書きする。会議装置１０１から受信した要約情報テーブルとは、会議装置１０１のＣＰＵ２０１がＳ１９０５にて議事録の編集結果を反映させた要約情報テーブルである。

このように、本実施例によれば、会議の参加者が画面３１０の議事録領域３１４に表示される議事録を見て、議事録に誤りや不足があった場合に即座に編集することができる。また、議事録を編集中の発話は議事録に反映されないので、編集結果である議事テキストデータと編集中の発話から生成した議事テキストデータが重複して議事録に記述されるのを防止することができる。

なお、上記実施形態では、議事録の編集中は会議装置１０１から会議サーバ１０２への音声データのストリーム配信を停止するものとして説明したが、議事録の編集中の発話内容を議事録に反映させないようにできれば、他の方法でも構わない。例えば、議事録の編集中は会議装置１０１での音声の録音自体を一時的に停止するようにしてもよい。また、議事録編集中はその開始時間と終了時間を会議装置１０１から会議サーバ１０２に送信し、会議サーバ１０２において編集期間内の会議テキスト情報に基づく要約処理を行わないようにしてもよい。

実施例２では、会議参加者が画面３１０の議事録領域３１４に表示される議事録を編集できる例について説明した。また、実施例２においては、会議装置１０１で議事録を編集中は発話を録音した音声データの送信を停止しているので、編集中の発話内容が議事録に反映されない。しかしながら、会議参加者の１人が議事録の編集中に、他の会議参加者が平行して議論を行うケースも考えられ、そのような場合には、該発話内容を議事録に反映させた方が望ましい。そこで、実施例３においては、議事録編集中の発話内容を議事録に反映させるか否かを参加者が選択できるようにした例について説明する。以下、実施例２との差分について説明する。

図２１（ａ）は、図４で説明した会議情報に追加される編集時刻情報テーブル２１００の例である。編集時刻情報テーブル２１００は、議事録の編集に関する情報（以降、「編集時刻情報」と呼称する）を記録するためのデータテーブルである。会議装置１０１は編集開始時刻列２１０１に、議事録編集ボタン３１５への指示を受けて編集を開始した時刻である編集開始時刻を記録する。会議装置１０１は編集終了時刻列２１０２に、議事録編集ボタン３１５への指示を受けて編集を終了した時刻である編集終了時刻を記録する。

図２１（ｂ）は、実施例３における要約情報テーブルの例である。図６で説明した要約情報テーブル６００では、アジェンダ名列と要約テキスト列とから構成されていたのに対し、実施例３における要約情報テーブルは、アジェンダ名列２１１１と要約テキスト列２１１２に加え、編集中列２１１３を含んでいる。編集中列２１１３には、図２１（ａ）の編集時刻情報テーブル２１００の１つの編集開始時刻から編集終了時刻までの編集区間に発生した会議テキストを要約した要約テキストであるか否かを示す情報が記録される。編集区間に発生した会議テキストを要約した要約テキストであれば１が記録され、そうでない場合は０が記録される。図２１（ｂ）において、要約テキスト２１１４は、図２１（ａ）の編集時刻情報テーブル２１００において、編集開始時刻が１３：３９：５１で編集終了時刻が１３：４１：２８である編集区間に発生した会議テキストを要約した要約テキストである。よって、編集中列２１１３に１が記憶されている。

図２１（ｃ）は、実施例３における会議テキスト情報テーブル２１２０である。図５（ｃ）の会議テキスト情報テーブル５２０との差分は、会議テキスト２１２１を含む点である。この会議テキスト２１２１は、図２１（ａ）の編集時刻情報テーブル２１００において、編集開始時刻が１３：３９：５１で編集終了時刻が１３：４１：２８である編集区間に発生した発話から得た会議テキスト２１２１である。

図２２は、図１８における会議装置１０１のＳ１８１１の議事録編集処理に対する、実施例３での議事録編集処理を説明するフローチャートである。

ＣＰＵ２０１は、Ｓ２２０１において、「議事録編集」ボタン３１５への指示がなされた時刻を、編集時刻情報テーブル２１００の編集開始時刻列２１０１に記録する。

ＣＰＵ２０１は、Ｓ２２０２において、Ｓ２２０１で編集時刻情報テーブルが更新された会議情報を会議サーバ１０２に送信する。

ＣＰＵ２０１は、Ｓ２２０３において、入力デバイス２０６で入力を受け付けたか否かを判定する。例えば、マウスやタッチパネルからの座標指定やキーボードからのキー入力を受け付けたか否かが判定される。入力を受け付けた場合はＹＥＳと判定しＳ２２０４に遷移する。入力を受け付けていない場合はＮＯと判定しＳ２２０５に遷移する。

ＣＰＵ２０１は、Ｓ２２０４において、受け付けた入力に応じて議事録を編集する。編集とは、指定された座標への文字入力や文字削除などである。

ＣＰＵ２０１は、Ｓ２２０５において、議事録編集の終了の指示がなされたか否かを判定する。「議事録編集」ボタン３１５への指示を受け付けたら、ＹＥＳと判定し、Ｓ２２０６に遷移する。このとき、ＣＰＵ２０１は、議事録領域３１４に対して入力デバイス２０６で入力を受け付けないようにする。「議事録編集」ボタン３１５への指示を受け付けなければ、ＮＯと判定し、Ｓ２２０３に遷移する。

ＣＰＵ２０１は、Ｓ２２０６において、ストレージ２０５から要約情報テーブルを読み出してＳ２２０４にて編集した内容を要約情報テーブルの要約テキスト列に反映する。

ＣＰＵ２０１は、Ｓ２２０７において、Ｓ２２０６で編集内容を反映した要約情報テーブルを会議サーバ１０２に送信する。

ＣＰＵ２０１は、Ｓ２２０８において、「議事録編集」ボタン３１５への指示がなされた時刻を、編集時刻情報テーブル２１００の編集終了時刻列２１０２に記録する。ＣＰＵ２０１は、Ｓ２２０９において、ＣＰＵ２０１は、Ｓ２２０８で編集時刻情報テーブルが更新された会議情報を会議サーバ１０２に送信する。

図２３は、図１８における会議装置１０１のＳ１８１２の議事録表示更新処理に対する、実施例３での議事録表示更新処理を説明するためのフローチャートである。

Ｓ２３０１〜Ｓ２３０６の処理は図１２のＳ１２０１〜Ｓ１２０６の処理と同様であり、Ｓ２３１０〜Ｓ２３１２の処理は図１２のＳ１２０７〜Ｓ１２０９の処理と同様であるため、説明を省略する。

ＣＰＵ２０１は、Ｓ２３０７において、Ｓ２３０６でＹＥＳと判定した未表示の要約テキストが議事録編集中の時間内の要約テキストであるか否かを判定する。議事録編集中の時間内の要約テキストであればＹＥＳと判定してＳ２３０８に遷移する。そうでなければ、ＮＯと判定してＳ２３１０に遷移する。

ＣＰＵ２０１は、Ｓ２３０８において、Ｓ２３０７でＹＥＳと判定した場合の要約テキストを議事録に表示するか否かをユーザに確認するための確認画面を表示する。

図２４（ａ）はＳ２３０８で表示される確認画面２４００の例である。確認画面２４００の議事テキスト欄２４０１には、Ｓ２３０７でＹＥＳと判定した場合の要約テキストが表示される。例えば、議事テキスト欄２４０１には図２１（ｂ）の要約情報テーブル２１１０における要約テキスト２１１４が表示されている。「はい」ボタン２４０２は、議事テキスト欄２４０１の要約テキストを議事録に反映するよう指示するボタンである。「いいえ」ボタン２４０３は、議事テキスト欄２４０１の要約テキストを議事録に反映しないよう指示するボタンである。

ＣＰＵ２０１は、Ｓ２３０９において、議事テキスト欄２４０１に表示した要約テキストを議事録に反映するか否かを判定する。「はい」ボタン２４０２への指示があった場合はＹＥＳと判定してＳ２３１０に遷移する。「いいえ」ボタン２４０３への指示があった場合はＮＯと判定してＳ２３１１に遷移する。

図２４（ｂ）は、ＣＰＵ２０１がＳ２３１１でＹＥＳと判定した場合の議事録１１００の例を示す。アジェンダ毎議事テキスト１１１６に、図２１（ｂ）の要約情報テーブル２１１０における要約テキスト２１１４が反映されている。

会議サーバ１０２の処理に関する実施例２との差分は、図１５のＳ１５０９における会議テキストの要約処理である。

Ｓ１５０９において、ＣＰＵ２５１は、生成した要約テキストが、図２１（ａ）の編集時刻情報テーブル２１００における１つの編集開始時刻から編集終了時刻までの編集区間に発生した会議テキストを要約した要約テキストであるか否かを判定する。そして、ＣＰＵ２５１は、当該編集区間に発生した会議テキストを要約したものであると判定した場合は、編集中列２１１３に対して１を記録し、そうでない場合は０を記録する。

このように、実施例３では、会議の参加者が画面３１０の議事録領域３１４に表示される議事録を見て、議事録に誤りや不足があった場合に編集することができる。また、議事録を編集中の発話内容から生成される要約情報を議事録に反映するか否かを会議参加者が選択することができる。

（その他の実施例）
上記各実施の形態では、会議装置１０１と会議サーバ１０２とを独立した装置として会議システムを構成する例について説明したが、両装置の機能を備えた単一の装置を本発明における会議装置として構成してもよい。あるいは、会議サーバ１０２を、音声データを取得する音声取得機能と画像データを取得する画像取得機能のいずれかまたは双方をさらに有した装置とし、これを本発明の会議装置としてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

１０１ 会議装置
１０２ 会議サーバ

Claims (12)

1. ユーザの発話から音声データを取得する音声取得手段と、
   前記音声取得手段により取得した音声データに基づいて第１のテキスト情報を生成する第１の生成手段と、
   前記第１のテキスト情報を少なくとも含む会議テキスト情報の要約情報を、所定の要約区間ごとに生成する要約手段と、
   要約手段により要約情報が生成される度に当該要約情報を表示させる表示制御手段と、
   を有することを特徴とする会議システム。
2. 前記第１の生成手段は、前記音声データを音声認識することによって前記第１のテキスト情報を生成することを特徴とする請求項１記載の会議システム。
3. ユーザが記入した文字を撮影することで画像データを取得する画像取得手段と、
   前記画像取得手段により取得した画像データに基づいて第２のテキスト情報を生成する第２の生成手段を有し、
   前記会議テキスト情報は、前記第１のテキスト情報と前記第２のテキスト情報を含むことを特徴とする請求項１又は２記載の会議システム。
4. 前記第２の生成手段は、前記画像データを文字認識することによって前記第２のテキスト情報を生成することを特徴とする請求項３記載の会議システム。
5. 前記会議テキスト情報の要点を抽出する抽出手段を有し、
   前記所定の要約区間は、前記抽出手段により抽出された一つの要点から次の要点までの区間を含むことを特徴とする請求項１から４のいずれか１項に記載の会議システム。
6. 前記所定の要点区間は、一つのアジェンダの開始から、当該アジェンダにおいて前記抽出手段により抽出された最初の要点までの区間を含むことを特徴とする請求項５記載の会議システム。
7. 前記所定の要約区間は、一つのアジェンダの開始から当該アジェンダの終了までの区間であることを特徴とする請求項１から４のいずれか１項に記載の会議システム。
8. 音声データに基づいて第１のテキスト情報を生成する第１の生成手段と、
   画像データに基づいて第２のテキスト情報を生成する第２の生成手段と、
   前記第１のテキスト情報と前記第２のテキスト情報を統合して会議テキスト情報を生成する統合手段と、
   前記統合手段により生成された前記会議テキスト情報の要約情報を、所定の要約区間ごとに生成する要約手段と、
   要約手段により要約情報が生成される度に当該要約情報を表示させる表示制御手段と、
   を有することを特徴とする要約装置。
9. 端末装置と要約装置とを含む会議システムであって、
   前記端末装置は、
   ユーザの発話から音声データを取得する音声取得手段と、
   ユーザが記入した文字を撮影して画像データを取得する画像取得手段と、
   前記音声取得手段により取得された音声データ及び前記画像取得手段により取得された画像データを前記要約装置へ送信する第１の送信手段と、を有し、
   前記要約装置は、
   前記送信手段により送信された音声データ及び画像データを受信する受信手段と、
   前記受信手段により受信した音声データに基づいて第１のテキスト情報を生成する第１の生成手段と、
   前記受信手段により受信した画像データに基づいて第２のテキスト情報を生成する第２の生成手段と、
   前記第１のテキスト情報と前記第２のテキスト情報を統合して会議テキスト情報を生成する統合手段と、
   前記統合手段により生成された前記会議テキスト情報の要約情報を、所定の要約区間ごとに生成する要約手段と、
   前記要約手段により生成された要約情報を前記端末装置へ送信する第２の送信手段と、を有し、
   前記端末装置は、前記第２の送信手段により送信された要約情報を表示する表示手段をさらに有することを特徴とする会議システム。
10. 音声データに基づいて第１のテキスト情報を生成する第１の生成工程と、
    前記第１のテキスト情報を少なくとも含む会議テキスト情報の要約情報を、所定の要約区間ごとに生成する要約工程と、
    要約工程において要約情報が生成される度に当該要約情報を表示させる表示制御工程と、
    を有することを特徴とする会議システムの制御方法。
11. 音声データに基づいて第１のテキスト情報を生成する第１の生成工程と、
    画像データに基づいて第２のテキスト情報を生成する第２の生成工程と、
    前記第１のテキスト情報と前記第２のテキスト情報を統合して会議テキスト情報を生成する統合工程と、
    前記会議テキスト情報の要約情報を、所定の要約区間ごとに生成する要約工程と、
    要約工程において要約情報が生成される度に当該要約情報を表示させるよう制御する表示制御工程と、
    を有することを特徴とする要約装置の制御方法。
12. 請求項１０又は１１の制御方法をコンピュータに実行させるためのプログラム。

Images