JP2019105740A - 会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラム - Google Patents
会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラム Download PDFInfo
- Publication number
- JP2019105740A JP2019105740A JP2017238088A JP2017238088A JP2019105740A JP 2019105740 A JP2019105740 A JP 2019105740A JP 2017238088 A JP2017238088 A JP 2017238088A JP 2017238088 A JP2017238088 A JP 2017238088A JP 2019105740 A JP2019105740 A JP 2019105740A
- Authority
- JP
- Japan
- Prior art keywords
- conference
- text
- text information
- cpu
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
【課題】会議参加者の発話内容から得られたテキスト情報を含む会議テキスト情報を所定の区間ごとに要約し、その要約結果を逐次表示することが可能な会議システムを提供する。【解決手段】ユーザの発話から音声データを取得する音声取得手段と、音声取得手段により取得した音声データに基づいて第1のテキスト情報を生成する第1の生成手段と、第1のテキスト情報を少なくとも含む会議テキスト情報の要約情報を、所定の要約区間ごとに生成する要約手段と、要約手段により要約情報が生成される度に当該要約情報を表示させる表示制御手段と、を有する。【選択図】なし
Description
本発明は、会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラムに関する。
会議中に議事録担当者がPC上で該会議の議事録を作成し、作成した議事録をプロジェクタで表示することで、会議参加者全員が議事録を確認しながら会議を進行する場合がある。
特許文献1では、会議参加者の発話を音声認識して得たテキスト(以降「発話テキスト」と呼称する)を表示する発言一覧画面と、会議参加者が入力した議事録用のテキストを表示する議事録画面を提供するシステムが開示されている。特許文献1のシステムによれば、議事録担当者は発話テキストを参照して議事録を生成できるので、会議参加者は議事録を見ながら会議を進行することができる。その結果、議論の不足やアクションアイテムや重要事項の記載漏れに気づきやすくなり、議論の不足があれば追加の議論を行え、記載漏れがあれば直ちに記載を修正して会議参加者間で合意することができる。
しかしながら、会議参加者の発話量が多いと発話テキストの表示量が増えて画面のスクロールが速くなるので、発話テキストの視認性が悪くなる。さらに、議事録のテキスト全てを議事録作成者が入力しなければならないので、発話テキストの視認性が悪いと、議事録作成者による議事録作成が困難になってしまう。その結果、会議参加者が議事録を確認しながら会議を進めること自体が難しいという問題があった。
本発明は、会議参加者の発話内容から得られたテキスト情報を含む会議テキスト情報を所定の区間ごとに要約し、その要約結果を逐次表示することが可能な会議システムを提供することを目的とする。
本発明の会議システムは、ユーザの発話から音声データを取得する音声取得手段と、前記音声取得手段により取得した音声データに基づいて第1のテキスト情報を生成する第1の生成手段と、前記第1のテキスト情報を少なくとも含む会議テキスト情報の要約情報を、所定の要約区間ごとに生成する要約手段と、要約手段により要約情報が生成される度に当該要約情報を表示させる表示制御手段と、を有することを特徴とする。
本発明によれば、会議参加者の発話内容から得られたテキスト情報を含む会議テキスト情報を所定の区間ごとに要約し、その要約結果を逐次表示することが可能な会議システムを提供することができる。よって、発話量が多くても会議参加者はその議事内容をリアルタイムに参照しながら会議を進行することができる。
以下、本発明を実施するための形態について図面を用いて説明する。
図1は、本実施例にかかる議事録生成システム(会議システム)の構成を示した図である。
議事録生成システム100は、会議装置101と、要約装置としての会議サーバ102より構成される。会議装置101と会議サーバ102はネットワーク103を介して接続されている。会議装置101は、会議サーバ102と通信可能な端末装置である。
会議装置101は、会議室などの会議開催場所に配置され、例えば会議テーブルの上に置かれる。会議装置101は、音声や画像など複数の種類のデータ(以降「会議情報」と呼称する)を記録する。そして、会議装置101は、会議情報(図4で後述)を会議サーバ102に送信する。また、会議装置101は会議サーバ102にて生成された議事録を受信して議事録を生成して表示する。なお、図1において、議事録生成システム100は、会議装置101と会議サーバ102をそれぞれ一台ずつ備えているが、会議装置101乃至会議サーバ102を複数備えるよう構成してもよい。また、なお、会議装置101は、例えばオフィスや所定の会場等において開催される会議を記録する。しかし、本発明が適用対象とする会議は、複数の人物の視認/発声行動を伴う集まりであればよく、オフィスや所定の会場等において開催される会議に限定されない。例えば、面接や、取り調べ等も本発明の適用対象となる。
会議サーバ102は、一般的なPC(Personal Computer)やクラウドサーバであり、会議装置101から会議情報を受信し、これを解析・加工して議事録を作成する。会議サーバ102は、会議情報に含まれる音声データを音声認識してテキストを生成する。また、会議サーバ102は、会議情報に含まれる画像データを文字認識してテキストを生成する。会議サーバ102は、これらテキストを含む情報より議事録を生成し、生成した議事録を配信する。
図2は、図1の会議装置101および会議サーバ102のハードウェア構成例を示すブロック図である。
図2(a)は会議装置101のハードウェア構成例である。会議装置101は、CPU201、ROM202、RAM204、ストレージ205、入力デバイス206、表示デバイス207、外部インターフェース208、カメラデバイス209、マイクデバイス210を備える。これら各部は、データバス203を介して相互にデータを送受信することができる。なお、CPUは、Central Processing Unitの略称である。RAMは、Random Access Memoryの略称である。ROMは、Read Only Memoryの略称である。
CPU201は、この会議装置全体を制御するためのコントローラである。CPU201は、不揮発メモリであるROM202に格納されているブートプログラムによりOS(Operating System)を起動する。CPU201は、このOSの上で、ストレージ205に記録されているコントローラプログラムを実行する。コントローラプログラムは、会議装置全体を制御するプログラムである。CPU201は、データバス203などのバスを介して各部を制御する。RAM204は、CPU201のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ205は、読み出しと書き込みが可能な不揮発メモリであり、前述のコントローラプログラムを保存する。また、会議装置101は、会議情報を会議サーバ102へ送信するまでの間、ストレージ205に会議情報を記録する。
入力デバイス206は、タッチパネルやハードキー、マウスなどから構成される入力装置である。また、表示デバイス207は、LCDなどの表示装置である。入力デバイス206は、ユーザの操作指示を受け付けると、CPU201に伝達する。表示デバイス207は、CPU201が生成した表示画像データを画面上に表示する。CPU201は、入力デバイス206から受信した指示情報と、表示デバイス207に表示させている表示画像データとに基づいて、ユーザの操作を判定する。CPU201は、操作の判定結果に応じて、会議装置101を制御するとともに、操作内容に応じて新たな表示画像データを生成し、表示デバイス207に表示させる。CPU201は会議サーバ102から議事録を受信して表示デバイス207に表示させる表示制御を行う。なお、表示デバイス207は例えばHDMI(登録商標)(High Definition Multimedia Interface)ケーブルやVGAケーブルで接続されたプロジェクタやLCDなどの表示装置で構成してもよい。
外部インターフェース208は、LANや電話回線、赤外線といった近接無線などのネットワークを介して、別体の外部機器と各種データの送信あるいは受信を行う。
カメラデバイス209は、いわゆるデジタルカメラであり、動画や画像を撮影することができる。
マイクデバイス210は、入力された音声をデジタル信号化し、例えばWAVEなどの音声データとして取得する。
図2(b)は会議サーバ102のハードウェア構成例である。
会議サーバ102は、CPU251、ROM252、RAM254、ストレージ255、入力デバイス256、表示デバイス257、外部インターフェース258を備える。各部は、データバス253を介して相互にデータを送受信することができる。
CPU251は、この会議サーバ全体を制御するためのコントローラである。CPU251は、不揮発メモリであるROM252に格納されているブートプログラムによりOSを起動する。このOSの上で、ストレージ255に記憶されている会議サーバプログラムを実行する。CPU251がこの会議サーバプログラムを実行することにより、会議サーバ102の各処理を実現する。CPU251は、データバス253などのバスを介して各部を制御する。
RAM254は、CPU251のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ255は、読み出しと書き込みが可能な不揮発メモリであり、前述の会議サーバプログラムを保存する。
入力デバイス256および表示デバイス257は、図2を用いて説明した入力デバイス206および表示デバイス257と同様である。
外部インターフェース258は、図2を用いて説明した外部インターフェース208と同様である。
次に、議事録生成システム100が提示し、ユーザが参照・操作するユーザインターフェースについて説明する。図3は、会議装置101の表示デバイス207の表示例を示す画面図である。
図3(a)の画面300は、会議開始前に表示される画面である。「会議開始」ボタン301は、ユーザが会議装置101に会議の開始を指示するためのものである。CPU201は、入力デバイス206を介して「会議開始」ボタン301への指示を受け付けると、表示デバイス207に、図3(b)に示す画面310を表示させる。そして、CPU201は、会議情報の記録を開始する。「シャットダウン」ボタン302は電源オフを指示するためのものである。
図3(b)の画面310は、会議中に表示される画面である。「撮影」ボタン311は、ユーザが会議装置101に撮影要求を指示するためのものである。CPU201は、入力デバイス206を介して「撮影」ボタン311への指示を受け付けると、表示デバイス207に、図3(c)に示す画面320を表示させる。
「アジェンダ」ボタン312は、ユーザが会議装置101にアジェンダ(議題)の変更(開始や終了)を指示するためのものである。CPU201は、入力デバイス206を介して「アジェンダ」ボタン312への指示を受け付けると、表示デバイス207に、図3(d)に示す画面330を表示させる。
「会議終了」ボタン313は、ユーザが会議装置101に会議の終了を指示するためのものである。CPU201は、入力デバイス206を介して「会議終了」ボタン313への指示を受け付けると、表示デバイス207に、図3(e)に示す画面340を表示させる。
議事録領域314はCPU201が会議サーバ102から受信した議事録を表示する領域である。
図3(c)の画面320は、撮影をする際に表示される画面である。画面320には、カメラデバイス209により得られる被写体の映像が表示される。ユーザは、当該映像を見ながら、文字を記入したホワイトボードや紙が、会議装置101の撮影画角に収まるよう調整することができる。
CPU201は、入力デバイス206を介して画面310の任意箇所への指示を受け付けると、カメラデバイス209により被写体を撮影して画像データを取得する。「OK」ボタン321は、ユーザが会議装置101に、撮影終了を指示するためのものである。CPU201は、入力デバイス206を介して「OK」ボタン321への指示を受け付けると、表示デバイス207に、図3(b)に示した画面310を表示させる。
図3(d)の画面330は、アジェンダの変更を指示する際に表示される画面である。テキストフィールド331は、ユーザが会議装置101にアジェンダ名を登録するためのものである。ユーザは入力デバイス206を介して、テキストフィールド331に、所望のアジェンダ名を入力することができる。「アジェンダ開始」ボタン332は、ユーザが会議装置101に、新しいアジェンダの開始を指示するためのものである。「アジェンダ終了」ボタン333は、ユーザが会議装置101に、現在のアジェンダの終了を指示するためのものである。なお、終了されたアジェンダは、そのアジェンダ名がテキストエリア334にリスト表示される。「OK」ボタン335は、ユーザが会議装置101に、アジェンダ変更の終了を指示するためのものである。CPU201は、入力デバイス206を介して「OK」ボタン335への指示を受け付けると、表示デバイス207に、図3(b)に示した画面310を表示させる。
図3(e)の画面340は、会議を終了する際に表示される画面である。
テキストフィールド341は、ユーザが会議装置101に、議事録生成システム100が作成する議事録の配信先を指定するためのものである。ユーザは入力デバイス206を介して、テキストフィールド341に、所望の配信先を入力することができる。配信先として、例えば、メールアドレスやファイルサーバのファイル名、Webサービスのアドレスを入力することができる。「OK」ボタン342は、ユーザが会議装置101に、会議終了の確定を指示するためのものである。CPU201は、入力デバイス206を介して「OK」ボタン342への指示を受け付けると、表示デバイス207に、図3(a)に示した画面300を表示させる。そして、会議装置101は、会議情報の記録を終了し、議事録領域314で表示した議事録を会議サーバ102へ送信する。その後、会議サーバ102は、受信した議事録を配信先に配信する。
次に、会議装置101によって記録される会議情報について説明する。図4は、会議装置101がストレージ205に記録する会議情報の構成例を示したものである。図4(a)、(b)、(c)、(d)はそれぞれ、音声情報テーブル400、画像情報テーブル410、アジェンダ情報テーブル420、配信先情報テーブル430の構成例を示す図である。これらのテーブルで会議情報が構成される。
音声情報テーブル400は、会議装置101が録音して得られた音声に関する情報(以降「音声情報」と呼称する)を記録するためのデータテーブルである。会議装置101は、会議中の会話を録音し音声データを記録する。録音開始時刻列401には、録音開始時刻(会議開始時刻)が記録される。録音終了時刻列402には、録音終了時刻(会議終了時刻)が記録される。音声データ列403には、ストレージ205に記録された音声データのファイル名が記録される。
画像情報テーブル410は、会議装置101が撮影して得られた画像に関する情報(以降「画像情報」と呼称する)を記録するためのデータテーブルである。会議装置101は、被写体を撮影して画像データを取得し、ファイルとしてストレージ205に記録する。撮影時刻列411には、撮影時刻が記録される。画像データ列412には、ストレージ205に記録した画像データのファイル名が記録される。
アジェンダ情報テーブル420は、会議装置101が記録するアジェンダに関する情報(以降「アジェンダ情報」と呼称する)を記録するためのデータテーブルである。アジェンダ開始時刻列421には、アジェンダの開始時刻が記録される。アジェンダ終了時刻列422には、アジェンダの終了時刻が記録される。アジェンダ名列423には、アジェンダ名が記録される。
配信先情報テーブル430は、議事録を配信する配信先に関する情報(以降「配信先情報」と呼称する)を記録するためのデータテーブルである。本実施例では配信先情報は一人のメールアドレスとしているがそれに限定するものではない。例えば、複数のメールアドレスやファイルサーバのファイル名、Webサービスのアドレスでもかまわない。
次に、会議サーバ102が、会議装置101から受信した会議情報を解析・加工して生成する議事録元情報について説明する。図5と図6は、会議サーバ102がストレージ255に記録する議事録元情報の構成例を示したものである。議事録元情報には、発話情報テーブル500(図5(a))、記入情報テーブル510(図5(b))、会議テキスト情報テーブル520(図5(c))、及び、要約情報テーブル600(図6)がある。
発話情報テーブル500は、会議情報に含まれる音声データに対する音声認識結果に関する情報(以降「発話情報」と呼称する)を記録するためのデータテーブルである。会議サーバ102は、音声データを解析してユーザの発話を特定し、発話毎にレコードを生成する。発話時刻列501は、発話が発生した時刻(以降「発話時刻」と呼称する)を記録するためのものである。発話テキスト列502は、発話を音声認識して得た発話テキストを記録するためのものである。発話や発話時刻の特定方法については後述する。
記入情報テーブル510は、会議情報に含まれる画像データに対する文字認識結果に関する情報(以降「記入情報」と呼称する)を記録するデータテーブルである。会議サーバ102は、画像データを解析してユーザによる記入を特定し、記入毎にレコードを生成する。記入時刻列511は、記入が発生した時刻(以降「記入時刻」と呼称する)を記録するためのものである。記入テキスト列512は、画像データを文字認識して得た記入テキストを記録するためのものである。記入や記入時刻の特定方法については後述する。
会議テキスト情報テーブル520は、会議において発生したテキスト(以降「会議テキスト」と呼称する)に関する情報(以降「会議テキスト情報」と呼称する)を記録するためのデータテーブルである。会議サーバ102は、発話情報と記入情報とを統合して会議テキスト情報を生成する。発生時刻列521には、会議テキスト情報が発生した時刻として、発話時刻列501乃至記入時刻列511の時刻が記録される。会議テキスト列522には、会議テキストとして、発話テキスト列502乃至記入テキスト列512のテキストが記録される。区分列523には、そのレコードが、会議テキストの元となったテキスト(統合前のテキスト)が発話情報であったのか記入情報であったのかを示す情報が記録される。統合前のテキストが発話情報であった場合には0が記録され、記入情報であった場合には1が記録される。要点列524には、そのレコードの会議テキスト列522の会議テキストが要点であるか否かを示す情報が記録される。ここで要点とは、決定した事項や、発生したアクションアイテムなど、その会議の主要な内容を示すものである。要点である場合には1が記録され、そうでない場合には0が記録される。なお、会議テキスト情報テーブル520のレコードは、発生時刻列521の値で昇順に(発生した順に)ソートされる。
要約情報テーブル600は、会議テキストを要約した情報(以降「要約情報」と呼称する)を記録するためのデータテーブルである。会議サーバ102は、会議テキストテーブル620の会議テキスト列622の会議テキストをアジェンダ毎に要約して要約テキストを生成し、それを要約テーブル700に記録する。アジェンダ名列601は、アジェンダ名を記録するためのものである。アジェンダ名列601には、アジェンダ情報テーブル420のアジェンダ名列423に記録されているアジェンダが記録される。要約テキスト列602には、生成した要約テキストが記録される。アジェンダ名列601に記録された1つのアジェンダに対して1つ以上の要約テキストが対応づけられる。要約テキストは会議テキスト情報テーブル520の会議テキスト列522の会議テキストを要約区間で要約して得たテキストである。
要約区間は以下の2つの区間が該当する。1つ目は、1つのアジェンダが開始されてから終了するまでの時間内で該アジェンダの開始時刻から走査して最初の要点を抽出した時刻までの区間である。2つ目は、1つのアジェンダが開始されてから終了するまでの時間内で1つの要点を抽出した時刻から走査して次の要点を抽出した時刻までの区間である。図5(c)の会議テキスト情報テーブル520の例では、要約区間525、526、527、528が存在する。図6の要約情報テーブル600では、第1のアジェンダである「来年度予算について」に対応して、要約区間525の会議テキストを要約して得た要約テキスト603と要約区間526の会議テキストを要約して得た要約テキスト604が記録されている。また、第2のアジェンダである「役割分担の相談」に対応して、要約区間526の会議テキストを要約して得た要約テキスト605と要約区間528の会議テキストを要約して得た要約テキスト606が記録されている。
次に、会議装置101の基本処理について説明する。図7は、基本処理を示したフローチャートである。
ユーザが会議装置101の電源キー(不図示)を操作して電源をONにすると、CPU201は、ストレージ205に記録されているコントローラプログラムを読み込む。そして、RAM204に展開して当該コントローラプログラムを実行する。これにより会議装置101は会議情報記録処理を実行することが可能となる。また、CPU201は、画面300の表示画像データを生成して表示デバイス207に表示させる。
まず、CPU201は、S701において、会議開始指示がされたか否かを判定する。「会議開始」ボタン301への指示を受け付けたら、YESと判定し、S703に遷移する。このとき、CPU201は、画面310の表示画像データを生成して表示デバイス207に表示させる。「会議開始」ボタン301への指示を受け付けなければ、NOと判定し、S702に遷移する。
CPU201は、S702において、電源オフ指示がされたか否かを判定する。「シャットダウン」ボタン302への指示を受け付けたら、YESと判定し、処理を終了して電源オフする。「シャットダウン」ボタン302への指示を受け付けなければ、NOと判定し、S701に遷移する。
CPU201は、S703において、会議開始処理を行う。詳細は後述する。
CPU201は、S704において、会議終了指示がされたか否かを判定する。「会議終了」ボタン313への指示を受け付けたら、YESと判定し、S705に遷移する。このとき、CPU201は、画面340の表示画像データを生成して表示デバイス207に表示させる。「会議終了」ボタン313への指示を受け付けなければ、NOと判定し、S706に遷移する。
CPU201は、S705において、会議終了処理を行う。詳細は後述する。その後、S702に遷移する。
CPU201は、S706において、撮影要求指示がされたか否かを判定する。「撮影」ボタン311への指示を受け付けたら、YESと判定し、S707に遷移する。このとき、CPU201は、画面320の表示画像データを生成して表示デバイス207に表示させる。「撮影」ボタン311への指示を受け付けなければ、NOと判定し、S708に遷移する。
CPU201は、S707において、撮影処理を行う。詳細は後述する。撮影処理終了後、S704に遷移する。
CPU201は、S708において、アジェンダ変更指示がされたか否かを判定する。「アジェンダ」ボタン312への指示を受け付けたら、YESと判定し、S709に遷移する。このとき、CPU201は、画面330の表示画像データを生成して表示デバイス207に表示させる。「アジェンダ」ボタン312への指示を受け付けなければ、NOと判定し、S710に遷移する。
CPU201は、S709において、アジェンダ変更処理を行う。詳細は後述する。アジェンダ変更処理終了後、S704に遷移する。
CPU201は、S710において、議事録の表示更新処理を行う。詳細は後述する。議事録の表示更新処理終了後、S704に遷移する。
図8は、CPU201がS703で行う会議開始処理を説明するためのフローチャートである。
CPU201は、S801において、会議サーバ102に会議の開始を示す会議開始通知を送信する。
CPU201は、S802において、マイクデバイス210により、会話の録音を開始する。これにより、CPU201は、音声データを取得する。そして、CPU201は、音声情報テーブル400の録音開始時刻列401に、録音開始時刻として現在時刻を記録する。また、CPU201は、音声データを、ファイルとしてストレージ205に記録し始める。CPU201は、当該音声データのファイル名を、音声情報テーブル400の音声データ列403に記録する。なお、録音開始時刻は会議開始時刻に相当する。CPU201は音声情報テーブルをストレージ205に記録する。この時、CPU201は録音終了時刻(会議終了時刻に相当する)を空白で初期化して記録する。
次に、CPU201は、S803において、会議サーバ102に音声データのストリーミング配信を開始する。次に、CPU201は、S804において、会議サーバ102に音声情報テーブル400を含む会議情報を送信する。
次に、CPU201は、S805において、図3(e)に示す画面340の議事録領域314を表示する。また、CPU201は、後述する議事録領域314の議事テキスト1110の会議開催時間1111に、録音開始時刻を会議開始時刻として、会議終了時刻はxx:xxのように代替した文字列もしくは空白で表示する。
図9は、CPU201がS707で行う撮影処理を説明するためのフローチャートである。
CPU201は、S901において、撮影指示がされたか否かを判定する。画面320の任意箇所への指示を受け付けたら、YESと判定し、S902に遷移する。画面320の任意箇所への指示を受け付けなければ、NOと判定し、S903に遷移する。
CPU201は、S902において、カメラデバイス209により被写体を撮影して画像データを取得する。また、CPU201は、画像情報テーブル410にレコードを追加する。そして、CPU201は、撮影時刻列411に撮影時刻として現在時刻を記録する。また、CPU201は、画像データを、ファイルとしてストレージ205に記録する。CPU201は、当該画像データのファイル名を、画像情報テーブル410の画像データ列412に記録する。CPU201は画像情報テーブル410をストレージ205に記録する。
CPU201は、S903において、撮影終了指示がされたか否かを判定する。「OK」ボタン321への指示を受け付けたら、YESと判定し、S904に遷移する。このとき、CPU201は、画面310の表示画像データを生成して表示デバイス207に表示させる。「OK」ボタン321への指示を受け付けなければ、NOと判定し、S901に遷移する。
CPU201は、S904において、S902で更新した画像情報テーブル410を含む会議情報を会議サーバ102に送信する。
CPU201は、S905において、S902で撮像した画像データを会議サーバ102に送信する。
図10は、CPU201がS709に行うアジェンダ変更処理を説明するためのフローチャートである。
CPU201は、S1001において、アジェンダ開始指示がされたか否かを判定する。「アジェンダ開始」ボタン332への指示を受け付けたら、YESと判定し、S1002に遷移する。「アジェンダ開始」ボタン332への指示を受け付けなければ、NOと判定し、S1003に遷移する。なお、S1002で開始し、且つ、S1004で終了していないアジェンダがある場合は、S1001ではNOと判定する。
CPU201は、S1002において、新しいアジェンダを開始する。CPU201は、アジェンダ情報テーブル420にレコードを追加する。そして、CPU201は、アジェンダ開始時刻列421に、アジェンダ開始時刻として現在時刻を記録する。CPU201はアジェンダ情報テーブル420をストレージ205に記録する。アジェンダ終了時刻は空白で初期化して記録する。
CPU201は、S1003において、アジェンダ終了指示がされたか否かを判定する。「アジェンダ終了」ボタン333への指示を受け付けたら、YESと判定し、S1004に遷移する。「アジェンダ終了」ボタン333への指示を受け付けなければ、NOと判定し、S1006に遷移する。なお、S1002で開始されてかつ、S1004で終了していないアジェンダがない場合には、S1003ではNOと判定する。
CPU201は、S1004において、現在のアジェンダを終了する。CPU201は、アジェンダ情報テーブル420のアジェンダ終了時刻列422に、アジェンダ終了時刻として現在時刻を記録する。また、テキストフィールド331に入力されたアジェンダ名を、アジェンダ名列423に記録する。CPU201はアジェンダ情報テーブル420をストレージ205に記録し、S1005に遷移する。
CPU201は、S1005において、S1002乃至S1004で更新したアジェンダ情報テーブル420を含む会議情報を会議サーバ102に送信してS1006に遷移する。
CPU201は、S1006において、アジェンダ変更終了指示がされたか否を半判定する。「OK」ボタン335への指示を受け付けたら、YESと判定し、CPU201は、画面310の表示画像データを生成して表示デバイス207に表示させる。「OK」ボタン335への指示を受け付けなければ、NOと判定し、S1001に遷移する。
図11と図12を用いてCPU201が行う議事録の表示更新処理について説明する。図11は議事録の概要を示す図である。議事録1100は議事を示す議事テキスト1110および、貼付画像データ群1120から成る。
議事テキスト1110には、1つの会議開催時間1111と1つ以上のアジェンダと該アジェンダに対応するアジェンダ毎議事テキストが含まれる。会議開催時間1111は音声情報テーブル400の録音開始時刻列401の録音開始時刻(会議開始時刻)と、録音終了時刻列402の録音終了時刻(会議終了時刻)から生成される。録音終了していない場合は録音終了時刻をxx:xxのように代替した文字列もしくは空白でよい。時刻表記フォーマットは、図11の表記に限定されるものではない。アジェンダは、要約情報テーブル600のアジェンダ名列601に記録されているアジェンダ名である。アジェンダ毎議事テキストは、要約情報テーブル600のアジェンダ名列601に記録されているアジェンダ名に対応する要約テキスト列602に記録されている1つ以上の要約テキストである。貼付画像データ群1120は、画像情報テーブル410に含まれる画像データを含む。
図11の(a)(b)(c)(d)は、議事録1100の表示が更新される様子の一例を示す図である。
図11(a)は、CPU201が会議サーバ102から要約情報テーブル1131を受信した場合の表示例である。要約情報テーブル1131は、要約区間525で会議テキストを要約した結果得られたものである。議事テキスト1110には会議開催時間1111と、要約情報テーブル1131に記録されたアジェンダ名がアジェンダ1112として表示される。また、該アジェンダに対応する要約テキスト1141が、アジェンダ1112のアジェンダ毎議事テキスト1113として表示されている。また、要約区間525で撮像された画像データが表示されている。
図11(b)は、図11(a)の表示後に続いて、CPU201が会議サーバ102から要約情報テーブル1132を受信した場合の表示例である。要約情報テーブル1132は、要約区間526で会議テキストを要約した結果を追加したものである。図11(a)に対する差分として、議事テキスト1110には要約テキスト1142がアジェンダ毎議事テキスト1113に追記して表示されている。
図11(c)は、図11(b)の表示後に続いて、CPU201が会議サーバ102から要約情報テーブル1133を受信した場合の表示例である。要約情報テーブル1133は、要約区間527で会議テキストを要約した結果を追加したものである。図11(b)に対する差分として、要約情報テーブル1133に追加記録されたアジェンダ名がアジェンダ1114として表示され、アジェンダ1114に対応するアジェンダ毎議事テキスト1143が要約テキスト1115として表示されている。また、要約区間527で撮像された画像データが追加で表示されている。
図11(d)は、図11(c)の表示後に続いて、CPU201が会議サーバ102から要約情報テーブル1134を受信した場合の表示例である。要約情報テーブル1134は、要約区間628で会議テキストを要約した結果を追加したものである。図11(c)に対する差分として、アジェンダ1114に対応する要約テキスト1144がアジェンダ毎議事テキスト1115に追記して表示されている。また、要約区間628で撮像された画像データが追加で表示されている。
図12は、CPU201がS710において行う議事録の表示更新処理を説明するフローチャートである。
CPU201は、S1201において、アジェンダの更新があるか否かを判定する。ストレージ205からアジェンダ情報テーブル420を読み出して、未表示の開始済アジェンダがある場合はYESと判定してS1202に遷移する。未表示の開始済みアジェンダが存在しなければNOと判定してS1205に遷移する。開始済アジェンダとは、アジェンダ開始時刻が現在時刻より前のアジェンダである。
CPU201は、S1202において、S1203にて未表示の開始済アジェンダのアジェンダ名を表示するためのアジェンダ表示領域を追加する。
CPU201は、S1203において、S1202にて追加したアジェンダ表示領域に、未表示の開始済アジェンダのアジェンダ名を表示する。
CPU201は、S1204において、アジェンダ毎議事テキストを表示するためのアジェンダ毎議事テキスト表示領域を追加する。追加したアジェンダ毎議事テキスト表示領域にアジェンダ毎議事テキストを表示するよう設定する。
CPU201は、S1205において、会議サーバ102から要約情報テーブル600を受信したか否かを判定する。受信していればYESと判定し、S1206に遷移する。受信していなければNOと判定しS1208に遷移する。
CPU201は、S1206において、アジェンダ毎議事テキストを更新すべきか否かを判定する。会議サーバ102から受信した要約情報テーブル600の要約テキスト列602に記録された要約テキストの中でアジェンダ毎議事テキストに未追加の要約テキストがあればYESと判定してS1207に遷移する。受信した要約情報テーブル600の要約テキスト列602に記録された要約テキストの中でアジェンダ毎議事テキストに未追加の要約テキストがなければNOと判定してS1208に遷移する。
CPU201は、S1207において、アジェンダ毎議事テキスト表示領域に、会議サーバ102から受信した要約情報テーブル600の要約テキスト列602に記録された要約テキストのうち、アジェンダ毎議事テキストに未追加の要約テキストを表示する。CPU201は、受信した要約情報テーブル600をストレージ205に記録しておく。
CPU201は、S1208において、画像データの表示を更新するか否かを判定する。ストレージ205に記録された画像情報テーブル410を読み出し、現在時刻以前に撮影された未表示の画像データがあればYESと判定し、S1209に遷移する。現在時刻以前に撮影された未表示の画像データがなければNOと判定して本フローチャートを終了する。
CPU201は、S1209において、未表示の画像データをストレージ205から読み出して貼付画像データ群1120として表示する。
図13は、CPU201がS705において行う会議終了処理を説明するフローチャートである。
CPU201は、S1301において、マイクデバイス210による会議の録音を終了する。CPU201は、音声情報テーブル400の録音終了時刻列402に、録音終了時刻として現在時刻を記録する。なおこのとき、アジェンダ情報テーブル420に、アジェンダ終了時刻列422に終了時刻が記録されていないレコードがあれば、アジェンダ終了時刻として現在時刻をアジェンダ終了時刻列422に記録する。CPU201は更新後の音声情報テーブル400及びアジェンダ情報テーブル420をストレージ205に記録する。
CPU201は、S1302において、会議サーバ102への音声データのストリーミング配信を終了する。
CPU201は、S1303において、S1301で記録した録音終了時刻列を会議開催時間1111の終了時刻に反映した後、議事録1100を議事録ファイルとして生成してストレージ205に記録する。このとき、議事録ファイルはPDF等のファイルファーマットで生成される。
CPU201は、S1304において、会議終了確定指示がなされたか否かを判定する。テキストフィールド341に配信先が入力され、かつ「OK」ボタン342への指示を受け付けたら、YESと判定し、S1305に遷移する。テキストフィールド341に配信先が入力されていない、あるいは、「OK」ボタン342への指示を受け付けなければ、NOと判定し、再度S1304の処理を行う。CPU201は、テキストフィールド341に入力された配信先を配信先情報テーブル430に記録する。
CPU201は、S1305において、更新後の会議情報を会議サーバ102に送信する。
CPU201は、S1306において、ストレージ205から議事録ファイルを読み出して会議サーバ102に送信する。送信後に、会議情報や議事録ファイルをストレージ205から削除してよい。また、CPU201は、画面300の表示画像データを生成して表示デバイス207に表示させる。
次に、会議サーバ102の基本処理について説明する。図14は会議サーバ102の基本処理を示したフローチャートである。会議サーバ102が起動すると、CPU251は、ストレージ255に記録されている会議サーバプログラムを読み込む。そして、RAM254に展開して当該会議サーバプログラム実行する。これにより会議サーバ102は議事録生成処理を実行することが可能となる。
CPU251は、S1401において、会議装置101から会議開始通知を受信したか否かを判定する。受信していればYESと判定してS1402に遷移する。受信していなければNOと判定してS1401に戻る。
CPU251は、S1402において、レコードを持たないよう初期化した会議情報を生成し、更新前の会議情報としてストレージ255に記憶する。また、要約処理を実行した時刻を意味する要約処理実行時刻の値に現在時刻を設定した後、要約処理実行時刻をストレージ255に記憶する。
CPU251は、S1403において、音声データのストリーミング受信を開始する。
CPU251は、S1404において、要約情報テーブル600の更新処理を行う。詳細は図15を用いて後述する。CPU251は、要約処理実行時刻の値に要約情報テーブル600の更新処理を実行した時刻を設定してストレージ255に記憶する。
CPU251は、S1405において、会議装置101から受信した会議情報を更新前の会議情報としてストレージ255に上書きして記憶する。
CPU251は、S1406において、ストレージ255から会議情報に含まれる音声情報テーブル400を読み出し、録音終了時刻の情報が格納されているか否かを判定する。格納されていればYESと判定してS1407に遷移し、格納されていなければNOと判定してS1404に遷移する。
CPU251は、S1407において、音声データのストリーミング受信を終了する。
CPU251は、S1408において、会議装置101から議事録ファイルを受信する。
CPU251は、S1409において、ストレージ255に記憶された会議情報に含まれる配信先情報テーブル430を読み出して配信先を取得し、S1408で受信した議事録ファイルを該配信先に配信する。
CPU251は、S1410において、終了指示がされたか否かを判定する。ユーザは、例えば、外部インターフェース258を介して、別体のPCから会議サーバ102の終了指示を行うことができる。終了指示がされていたら、YESと判定し、処理を終了して電源オフする。終了指示がなされていなければ、NOと判定し、S1401に遷移する。
図15は、CPU251がS1405で行う要約情報テーブル600の更新処理を説明するためのフローチャートである。
CPU251は、S1501において、会議装置101から会議情報を受信したか否かを判定する。会議情報を受信したら、YESと判定し、S1502に遷移する。会議情報を受信していなければ、NOと判定し、S1505に遷移する。
CPU251は、S1502において、ストレージ255から更新前の会議情報の画像情報テーブル410を読み出して、S1501で会議装置101から受信した会議情報の画像情報テーブル410と比較する。そして、S1501で会議装置101から受信した会議情報に含まれる画像情報テーブル410が更新されているか否かを判定する。画像情報テーブル410が更新されているならば、YESと判定し、S1503に遷移する。画像情報テーブル410が更新されていなければ、NOと判定し、要約情報テーブルの更新処理を終了する。
CPU251は、S1503において、会議装置101から受信した画像情報に含まれる画像情報テーブル410の画像データ列412に記述された画像データのうち未受信の画像データを受信する。
CPU251は、S1504において、受信した画像データに対して文字認識を行い、記入テキストを得る。ここでCPU251は、会議情報に含まれる画像情報テーブル410のレコードを順に走査して、次の処理を行う。画像情報テーブル410のレコードは、撮影時刻列411の値で昇順に(撮影した順に)ソートしておく。CPU251は、現在参照しているレコードの画像データ列412が示す画像データと、ひとつ前のレコードの画像データ列412が示す画像データとの画像差分を求める。当該画像差分には、ひとつ前のレコードに該当する撮影から、現在参照しているレコードに該当する撮影までの間に、ユーザが記入した文字が含まれる部分画像と見なすことができる。当該部分画像に対して文字認識を行い、記入テキストを得る。また、現在参照しているレコードの撮影時刻列411の撮影時刻を、当該画像差分が発生した時刻、すなわちユーザによる記入の記入時刻とする。このようにして得た画像差分(記入)毎に記入情報テーブル510にレコードを生成する。そして、該当する記入時刻と記入テキストを、それぞれ記入時刻列511と記入テキスト列512に記録する。
CPU251は、S1505において、受信した音声データに対して音声認識を行い、発話テキストを得る。CPU251は、音声データを先頭から走査して次の処理を行う。CPU251は、音声データ中の無音区間を検出する。無音区間の検出は、例えば、音声データの音圧が閾値以下の状態が一定時間継続されたことに基づいて検出する。ある無音区間と次の無音区間の間の区間を発話区間とする。CPU251は、個々の発話区間について、音声認識を行って発話テキストを得る。また、CPU251は、会議情報の音声情報テーブル400の録音開始時刻列401の録音開始時刻と、各発話区間の音声データの先頭からの経過位置とから、各発話区間の発話時刻を計算する。このようにして得た発話区間毎に、発話情報テーブル500にレコードを生成する。そして、CPU251は、該当する発話時刻と発話テキストとを、それぞれ発話時刻列501と発話テキスト列502に記録する。ここで、CPU251は、S1505において1つの発話区間に対して発話テキストを得るものとする。1つの発話区間の発話終了時刻をストレージ255に記憶しておき、再度S1505の処理を実行する際にはストレージ255から読み出した発話終了時刻から音声データに対する処理を行うものとする。
CPU251は、S1506において、発話テキストと記入テキストを統合して、会議テキストを得る。すなわち、CPU251は、S1505で生成した発話情報テーブル500とS1504で生成した記入情報テーブル510とを統合して、会議テキスト情報テーブル520を生成する。具体的には、CPU251は次の処理を行う。CPU251は、発話情報テーブル500に含まれるレコードの数だけ会議テキスト情報テーブル520にレコードを追加する。このときCPU251は、発話時刻列501の発話時刻を、会議テキストが発生した時刻として発生時刻列521に記憶し、発話テキスト列502の発話テキストを、会議テキストとして会議テキスト列522に記録する。区分列523には、元のデータが発話情報であったことを示す0が記録される。また、CPU251は、記入情報テーブル510に含まれるレコードの数だけ会議テキスト情報テーブル520にレコードを追加する。このとき、CPU251は、記入時刻列511の記入時刻を、会議テキストが発生した時刻として発生時刻列521に記憶し、記入テキスト列512の記入テキストを、会議テキストとして会議テキスト列522に記録する。区分列523には、元のデータが記入情報であったことを示す1が記録される。CPU251は、以上追加したレコードを発生時刻列521の値で昇順に(発生した順に)ソートする。
CPU251は、S1507において、S1506で生成した会議テキストから要点を抽出する。CPU251は、S1507において会議テキスト情報テーブル520に追加したレコードそれぞれについて、会議テキスト列522の会議テキストが要点であるか否かを判定する。これは、例えば、会議テキストが予め決定した特定のキーワードを含むならば要点であると判定する。特定のキーワードとして、例えば「決定事項」、「アクションアイテム」、「宿題」などを使用するようにすればよい。CPU251は、要点である場合には、要点列524に1を記録し、そうでない場合は0を記録する。
CPU251は、S1508において、要点を新規に抽出したか否かを判定する。新規に抽出した場合はYESと判定してS1509に遷移し、新規に抽出しなかった場合はNOと判定して要約情報テーブル600の更新処理を終了する。
CPU251は、S1509において、S1506で生成した会議テキストを要約する。まず、CPU251は、ストレージ255から要約処理実行時刻を読み出す。また、CPU251は、ストレージ255に記憶したアジェンダ情報テーブル420を読み出し、アジェンダ情報テーブル420のレコードを順に走査して、次の処理を行う。アジェンダ情報テーブル420のレコードは、アジェンダ開始時刻列421の値で昇順に(アジェンダの開始順に)ソートしておく。CPU251は、現在参照しているレコードのアジェンダ開始時刻列421のアジェンダ開始時刻から、アジェンダ終了時刻列422のアジェンダ終了時刻までの区間で要約処理実行時刻以降に存在する要約区間(図5(c)参照)を得る。そして、会議テキスト情報テーブル520から発生時刻列521の値が当該要約区間に該当するレコード群を抽出する。CPU251は、それらレコード群の会議テキスト列522のテキストを要約して要約テキストを生成する。要約テキストを生成する処理については図16を用いて後述する。そしてCPU251は、要約情報テーブル600にレコードを追加して、生成した要約テキストを要約テキスト列602に記録する。また、CPU251は、アジェンダ情報テーブル420のレコードのアジェンダ名列423のアジェンダ名を、要約情報テーブル600に追加したレコードのアジェンダ名701に記録する。
CPU251は、S1510において、S1509で更新した要約情報テーブル600を会議装置101に送信する。
図16は、CPU251がS1509で行う要約処理を説明するためのフローチャートである。
図16(a)は、要約テキスト生成処理の一例を示したフローチャートである。この処理にあたって、会議テキスト情報テーブル520の複数のレコードが入力されてくる。
CPU251は、S1601において、入力されたレコード全てを参照し、会議テキスト列622の会議テキストに出現する単語それぞれについて、その重要度を算出する。これは、例えば、各単語の出現頻度に基づいて算出することができる。出現頻度が高い単語ほど重要度を高いとし、重要度は例えば値で表現される。
CPU251は、S1602において、入力された各レコードの会議テキスト列622の会議テキストについて、それぞれその重要度を算出する。S1601で算出した各単語の重要度を参照し、それぞれの会議テキストに含まれる各単語の重要度の合計値を算出することで当該会議テキストの重要度の値を決定する。
CPU251は、S1603において、重要度が閾値以上の会議テキストを抽出する。そしてこれらを結合して要約テキストを得る。そして、本処理の結果として、処理呼び出し元にこれを返す。
なお、会議テキストの要約の手法は図16(a)で説明したものに限定されない。例えば、会議において、ホワイトボードなどの記入媒体に、論点や重要な意見を記載する場合がある。これらの内容は通常、議事として重要なので、記入媒体から得た記入テキストを要約テキストに優先的に反映するようにしてもよい。例えば、S1603において、CPU251は、入力されたレコードの区分列523の値を確認する。そしてその値が1(元は記入情報)ならば、重要度が閾値以上か否かに関わらず、当該レコードの会議テキスト列622の会議テキストを要約テキストの一部として抽出するようにしてもよい。
また、記入テキストを要約テキストに優先的に反映する処理の例として、次のように要約テキスト生成処理を実行してもよい。図16(b)は、要約テキスト生成処理の別の例を示したフローチャートである。図16(a)の処理と同様に、図16(b)の処理にあたって、会議テキスト情報テーブル520における複数のレコードが入力されてくる。
CPU251は、S1611において、入力されたレコードのうち、区分レコードが1(元は記入情報)のレコードを参照して、会議テキスト列522の会議テキストに含まれる単語のリスト(以降「記入単語リスト」と呼称する)を作成する。CPU251は、S1612、S1613において、S1601、S1602と同様の処理を行う。
CPU251は、S1614において、S1611で作成した記入単語リストを参照して、S1613で算出した会議テキストの重要度を更新する。すなわち、CPU251は、入力された各レコードの会議テキスト列622の会議テキストについて、記入単語リストの単語を含む場合には、当該会議テキストの重要度にバイアス(重み付け)を加え、例えば重要度の値を大きくする。その際CPU251は、記入単語リストの単語を含む数に応じて重み付けを大きくしてもよい。CPU251は、S1615において、S1603と同様の処理を行う。
なお、CPU251は、S1614において、対象の会議テキストが記入単語リストの単語を含む場合には、重要度の最大値を付与するようにし、S1603では当該会議テキストが要約テキストの一部として必ず抽出されるようにしてもよい。この場合、会議テキストのうち、記入テキストから生成されたテキストについては全て抽出されることになる。
また、CPU251は、ステップS806で会議テキストを要約して要約テーブル700を生成する際、会議テキストテーブル620の会議テキスト列622の会議テキストから、予め定めた所定の単語を含む会議テキストを全て抽出してもよい。
本実施の形態によれば、会議サーバ102は、音声データの音声認識を行うことにより発話テキストを生成し、画像データの文字認識を行うことにより記入テキストを生成する。そして会議サーバ102は、発話テキストと記入テキストを統合して会議テキストを生成する。さらに会議サーバ102は、会議テキストから要点区間ごとに要約テキストを生成し、生成した要約テキストをリアルタイム表示する。
なお、上記実施形態では、要約区間を、一つのアジェンダの開始から最初の要点を検出するまでの区間、1つの要点を検出してから次の要点を検出するまでの区間としていたが、他の区間を設定してもよい。たとえば、一つのアジェンダの開始から終了までを要点区間としてもよい。会議の参加者は会議での発話量が多くても議事録を視認しやすいため、議事録をリアルタイムに参照しながら会議を進行できる。
実施例1において、マイクデバイス210に対して発話者が正面を向いていない場合や発話の音量が小さい場合には音声収録がうまくいかないことが考えられる。音声収録がうまくいなかい場合は、S1505の音声認識やS1509の会議テキストの要約でミスが生じて議事録に誤りや不足が起こることが考えられる。これに対して、会議参加者に議事録を編集する手段を提供することで会議参加者は議事録の誤りや不足を修正することができる。その場合、会議参加者の1人が議事録を編集している間に他の会議参加者が修正内容について発話することが十分に考えられる。ここで、修正内容の発話も録音して要約の対象とすると、議事録1110には編集結果としての議事テキストと修正内容の発話から得られた議事テキストとで重複してしまう問題がある。そこで、実施例2においては、会議参加者が画面310の議事録領域314に表示される議事録を編集できるとともに、議事録を編集中の発話は議事録に反映させないようにする方法について説明する。以下、実施例1との差分について説明する。
図17(a)は、図3(b)の画面310に「議事録編集」ボタン315とスクロールバー316を追加した画面350である。議事録編集ボタン315は、議事録領域314に表示されている議事録の内容に対して編集要求を指示するためのものである。スクロールバー316を入力デバイス206で上下に移動することで議事録領域314に表示される議事録をスクロールして表示させることができる。
図17(b)は、図11(d)の画面1100が表示された後、アジェンダ毎議事テキスト1115の記載を修正してアジェンダ毎議事テキスト1116に更新した画面の例である。アジェンダ毎議事テキスト1115の「○○担当はCさんにお願いする。」という記録がアジェンダ毎議事テキスト1116では「○○担当はEさんにお願いする。」と編集されている。
図18は、図7における会議装置101の基本処理に対して、議事録の編集ができるようにした処理を説明するフローチャートである。
ユーザが会議装置101の電源キー(不図示)を操作して電源をONにすると、CPU201は、ストレージ205に記録されているコントローラプログラムを読み込む。そして、RAM204に展開して実行する。これにより会議装置101は会議情報記録処理を実行することが可能となる。また、CPU201は、画面300の表示画像データを生成して表示デバイス207に表示させている。
S1801〜S1809までの処理は図7のS701〜S709までの処理と同様であるため、説明を省略する。
S1808でNoの場合、CPU201は、S1810において、議事録編集指示がされたか否かを判定する。「議事録編集」ボタン315への指示を受け付けたら、YESと判定し、S1811に遷移する。このとき、CPU201は、議事録領域314に対して入力デバイス206で入力を受け付けるようにする。「議事録編集」ボタン315への指示を受け付けなければ、NOと判定し、S1812に遷移する。
CPU201は、S1811において、議事録の編集処理を行う。詳細は後述する。CPU201は、S1812において、図12で説明した議事録の表示更新処理を行う。その後、S1804に遷移する。
図19は、実施例2における、会議装置101のS1811の議事録編集処理を説明するためのフローチャートである。
CPU201は、S1901において、音声データのストリーム配信を停止する。CPU201は、S1902において、入力デバイス206で入力を受け付けた否かを判定する。例えば、マウスやタッチパネルからの座標指定やキーボードからのキー入力を受け付けたか否かが判定される。入力を受け付けた場合はYESと判定しS1903に遷移する。入力を受け付けていない場合はNOと判定しS1904に遷移する。CPU201は、S1903において、受け付けた入力に応じて議事録を編集する。編集とは、指定された座標への文字入力や文字削除などである。
CPU201は、S1904において、議事録編集の終了の指示がされたか否かを判定する。「議事録編集」ボタン315への指示を受け付けたら、YESと判定し、S1905に遷移する。このとき、CPU201は、議事録領域314に対して入力デバイス206で入力を受け付けないようにする。「議事録編集」ボタン315への指示を受け付けなければ、NOと判定し、S1902に遷移する。
CPU201は、S1905において、ストレージ205から要約情報テーブルを読み出してS1903にて編集した内容を要約情報テーブルの要約テキスト列に反映する。CPU201は、S1906において、S1905で編集内容を反映した要約情報テーブルを会議サーバ102に送信する。そして、CPU201は、S1907において、音声ストリーム配信を再開する。
次に、会議サーバ102の基本処理について説明する。図20は、図14における会議サーバ102の基本処理に対して、議事録の編集ができるようにした処理を説明するためのフローチャートである。
会議サーバ102が起動すると、CPU251は、ストレージ255に記録されている会議サーバプログラムを読み込む。そして、RAM254に展開して実行する。これにより会議サーバ102は議事録生成処理を実行することが可能となる。
S2001〜S2003の処理は図14のS1401〜S1403と同様の処理であり、S2006〜S2012は図14のS1404〜S1410と同様の処理であるため、説明を省略する。
CPU251は、S2004において、会議装置101から要約情報テーブルを受信したか否かを判定する。受信していればYESと判定しS2005に遷移する。受信していなければNOと判定しS2006に遷移する。
CPU251は、S2005において、会議装置101から受信した要約情報テーブルの内容をストレージ255に記憶した要約情報テーブルに上書きする。会議装置101から受信した要約情報テーブルとは、会議装置101のCPU201がS1905にて議事録の編集結果を反映させた要約情報テーブルである。
このように、本実施例によれば、会議の参加者が画面310の議事録領域314に表示される議事録を見て、議事録に誤りや不足があった場合に即座に編集することができる。また、議事録を編集中の発話は議事録に反映されないので、編集結果である議事テキストデータと編集中の発話から生成した議事テキストデータが重複して議事録に記述されるのを防止することができる。
なお、上記実施形態では、議事録の編集中は会議装置101から会議サーバ102への音声データのストリーム配信を停止するものとして説明したが、議事録の編集中の発話内容を議事録に反映させないようにできれば、他の方法でも構わない。例えば、議事録の編集中は会議装置101での音声の録音自体を一時的に停止するようにしてもよい。また、議事録編集中はその開始時間と終了時間を会議装置101から会議サーバ102に送信し、会議サーバ102において編集期間内の会議テキスト情報に基づく要約処理を行わないようにしてもよい。
実施例2では、会議参加者が画面310の議事録領域314に表示される議事録を編集できる例について説明した。また、実施例2においては、会議装置101で議事録を編集中は発話を録音した音声データの送信を停止しているので、編集中の発話内容が議事録に反映されない。しかしながら、会議参加者の1人が議事録の編集中に、他の会議参加者が平行して議論を行うケースも考えられ、そのような場合には、該発話内容を議事録に反映させた方が望ましい。そこで、実施例3においては、議事録編集中の発話内容を議事録に反映させるか否かを参加者が選択できるようにした例について説明する。以下、実施例2との差分について説明する。
図21(a)は、図4で説明した会議情報に追加される編集時刻情報テーブル2100の例である。編集時刻情報テーブル2100は、議事録の編集に関する情報(以降、「編集時刻情報」と呼称する)を記録するためのデータテーブルである。会議装置101は編集開始時刻列2101に、議事録編集ボタン315への指示を受けて編集を開始した時刻である編集開始時刻を記録する。会議装置101は編集終了時刻列2102に、議事録編集ボタン315への指示を受けて編集を終了した時刻である編集終了時刻を記録する。
図21(b)は、実施例3における要約情報テーブルの例である。図6で説明した要約情報テーブル600では、アジェンダ名列と要約テキスト列とから構成されていたのに対し、実施例3における要約情報テーブルは、アジェンダ名列2111と要約テキスト列2112に加え、編集中列2113を含んでいる。編集中列2113には、図21(a)の編集時刻情報テーブル2100の1つの編集開始時刻から編集終了時刻までの編集区間に発生した会議テキストを要約した要約テキストであるか否かを示す情報が記録される。編集区間に発生した会議テキストを要約した要約テキストであれば1が記録され、そうでない場合は0が記録される。図21(b)において、要約テキスト2114は、図21(a)の編集時刻情報テーブル2100において、編集開始時刻が13:39:51で編集終了時刻が13:41:28である編集区間に発生した会議テキストを要約した要約テキストである。よって、編集中列2113に1が記憶されている。
図21(c)は、実施例3における会議テキスト情報テーブル2120である。図5(c)の会議テキスト情報テーブル520との差分は、会議テキスト2121を含む点である。この会議テキスト2121は、図21(a)の編集時刻情報テーブル2100において、編集開始時刻が13:39:51で編集終了時刻が13:41:28である編集区間に発生した発話から得た会議テキスト2121である。
図22は、図18における会議装置101のS1811の議事録編集処理に対する、実施例3での議事録編集処理を説明するフローチャートである。
CPU201は、S2201において、「議事録編集」ボタン315への指示がなされた時刻を、編集時刻情報テーブル2100の編集開始時刻列2101に記録する。
CPU201は、S2202において、S2201で編集時刻情報テーブルが更新された会議情報を会議サーバ102に送信する。
CPU201は、S2203において、入力デバイス206で入力を受け付けたか否かを判定する。例えば、マウスやタッチパネルからの座標指定やキーボードからのキー入力を受け付けたか否かが判定される。入力を受け付けた場合はYESと判定しS2204に遷移する。入力を受け付けていない場合はNOと判定しS2205に遷移する。
CPU201は、S2204において、受け付けた入力に応じて議事録を編集する。編集とは、指定された座標への文字入力や文字削除などである。
CPU201は、S2205において、議事録編集の終了の指示がなされたか否かを判定する。「議事録編集」ボタン315への指示を受け付けたら、YESと判定し、S2206に遷移する。このとき、CPU201は、議事録領域314に対して入力デバイス206で入力を受け付けないようにする。「議事録編集」ボタン315への指示を受け付けなければ、NOと判定し、S2203に遷移する。
CPU201は、S2206において、ストレージ205から要約情報テーブルを読み出してS2204にて編集した内容を要約情報テーブルの要約テキスト列に反映する。
CPU201は、S2207において、S2206で編集内容を反映した要約情報テーブルを会議サーバ102に送信する。
CPU201は、S2208において、「議事録編集」ボタン315への指示がなされた時刻を、編集時刻情報テーブル2100の編集終了時刻列2102に記録する。CPU201は、S2209において、CPU201は、S2208で編集時刻情報テーブルが更新された会議情報を会議サーバ102に送信する。
図23は、図18における会議装置101のS1812の議事録表示更新処理に対する、実施例3での議事録表示更新処理を説明するためのフローチャートである。
S2301〜S2306の処理は図12のS1201〜S1206の処理と同様であり、S2310〜S2312の処理は図12のS1207〜S1209の処理と同様であるため、説明を省略する。
CPU201は、S2307において、S2306でYESと判定した未表示の要約テキストが議事録編集中の時間内の要約テキストであるか否かを判定する。議事録編集中の時間内の要約テキストであればYESと判定してS2308に遷移する。そうでなければ、NOと判定してS2310に遷移する。
CPU201は、S2308において、S2307でYESと判定した場合の要約テキストを議事録に表示するか否かをユーザに確認するための確認画面を表示する。
図24(a)はS2308で表示される確認画面2400の例である。確認画面2400の議事テキスト欄2401には、S2307でYESと判定した場合の要約テキストが表示される。例えば、議事テキスト欄2401には図21(b)の要約情報テーブル2110における要約テキスト2114が表示されている。「はい」ボタン2402は、議事テキスト欄2401の要約テキストを議事録に反映するよう指示するボタンである。「いいえ」ボタン2403は、議事テキスト欄2401の要約テキストを議事録に反映しないよう指示するボタンである。
CPU201は、S2309において、議事テキスト欄2401に表示した要約テキストを議事録に反映するか否かを判定する。「はい」ボタン2402への指示があった場合はYESと判定してS2310に遷移する。「いいえ」ボタン2403への指示があった場合はNOと判定してS2311に遷移する。
図24(b)は、CPU201がS2311でYESと判定した場合の議事録1100の例を示す。アジェンダ毎議事テキスト1116に、図21(b)の要約情報テーブル2110における要約テキスト2114が反映されている。
会議サーバ102の処理に関する実施例2との差分は、図15のS1509における会議テキストの要約処理である。
S1509において、CPU251は、生成した要約テキストが、図21(a)の編集時刻情報テーブル2100における1つの編集開始時刻から編集終了時刻までの編集区間に発生した会議テキストを要約した要約テキストであるか否かを判定する。そして、CPU251は、当該編集区間に発生した会議テキストを要約したものであると判定した場合は、編集中列2113に対して1を記録し、そうでない場合は0を記録する。
このように、実施例3では、会議の参加者が画面310の議事録領域314に表示される議事録を見て、議事録に誤りや不足があった場合に編集することができる。また、議事録を編集中の発話内容から生成される要約情報を議事録に反映するか否かを会議参加者が選択することができる。
(その他の実施例)
上記各実施の形態では、会議装置101と会議サーバ102とを独立した装置として会議システムを構成する例について説明したが、両装置の機能を備えた単一の装置を本発明における会議装置として構成してもよい。あるいは、会議サーバ102を、音声データを取得する音声取得機能と画像データを取得する画像取得機能のいずれかまたは双方をさらに有した装置とし、これを本発明の会議装置としてもよい。
上記各実施の形態では、会議装置101と会議サーバ102とを独立した装置として会議システムを構成する例について説明したが、両装置の機能を備えた単一の装置を本発明における会議装置として構成してもよい。あるいは、会議サーバ102を、音声データを取得する音声取得機能と画像データを取得する画像取得機能のいずれかまたは双方をさらに有した装置とし、これを本発明の会議装置としてもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
101 会議装置
102 会議サーバ
102 会議サーバ
Claims (12)
- ユーザの発話から音声データを取得する音声取得手段と、
前記音声取得手段により取得した音声データに基づいて第1のテキスト情報を生成する第1の生成手段と、
前記第1のテキスト情報を少なくとも含む会議テキスト情報の要約情報を、所定の要約区間ごとに生成する要約手段と、
要約手段により要約情報が生成される度に当該要約情報を表示させる表示制御手段と、
を有することを特徴とする会議システム。 - 前記第1の生成手段は、前記音声データを音声認識することによって前記第1のテキスト情報を生成することを特徴とする請求項1記載の会議システム。
- ユーザが記入した文字を撮影することで画像データを取得する画像取得手段と、
前記画像取得手段により取得した画像データに基づいて第2のテキスト情報を生成する第2の生成手段を有し、
前記会議テキスト情報は、前記第1のテキスト情報と前記第2のテキスト情報を含むことを特徴とする請求項1又は2記載の会議システム。 - 前記第2の生成手段は、前記画像データを文字認識することによって前記第2のテキスト情報を生成することを特徴とする請求項3記載の会議システム。
- 前記会議テキスト情報の要点を抽出する抽出手段を有し、
前記所定の要約区間は、前記抽出手段により抽出された一つの要点から次の要点までの区間を含むことを特徴とする請求項1から4のいずれか1項に記載の会議システム。 - 前記所定の要点区間は、一つのアジェンダの開始から、当該アジェンダにおいて前記抽出手段により抽出された最初の要点までの区間を含むことを特徴とする請求項5記載の会議システム。
- 前記所定の要約区間は、一つのアジェンダの開始から当該アジェンダの終了までの区間であることを特徴とする請求項1から4のいずれか1項に記載の会議システム。
- 音声データに基づいて第1のテキスト情報を生成する第1の生成手段と、
画像データに基づいて第2のテキスト情報を生成する第2の生成手段と、
前記第1のテキスト情報と前記第2のテキスト情報を統合して会議テキスト情報を生成する統合手段と、
前記統合手段により生成された前記会議テキスト情報の要約情報を、所定の要約区間ごとに生成する要約手段と、
要約手段により要約情報が生成される度に当該要約情報を表示させる表示制御手段と、
を有することを特徴とする要約装置。 - 端末装置と要約装置とを含む会議システムであって、
前記端末装置は、
ユーザの発話から音声データを取得する音声取得手段と、
ユーザが記入した文字を撮影して画像データを取得する画像取得手段と、
前記音声取得手段により取得された音声データ及び前記画像取得手段により取得された画像データを前記要約装置へ送信する第1の送信手段と、を有し、
前記要約装置は、
前記送信手段により送信された音声データ及び画像データを受信する受信手段と、
前記受信手段により受信した音声データに基づいて第1のテキスト情報を生成する第1の生成手段と、
前記受信手段により受信した画像データに基づいて第2のテキスト情報を生成する第2の生成手段と、
前記第1のテキスト情報と前記第2のテキスト情報を統合して会議テキスト情報を生成する統合手段と、
前記統合手段により生成された前記会議テキスト情報の要約情報を、所定の要約区間ごとに生成する要約手段と、
前記要約手段により生成された要約情報を前記端末装置へ送信する第2の送信手段と、を有し、
前記端末装置は、前記第2の送信手段により送信された要約情報を表示する表示手段をさらに有することを特徴とする会議システム。 - 音声データに基づいて第1のテキスト情報を生成する第1の生成工程と、
前記第1のテキスト情報を少なくとも含む会議テキスト情報の要約情報を、所定の要約区間ごとに生成する要約工程と、
要約工程において要約情報が生成される度に当該要約情報を表示させる表示制御工程と、
を有することを特徴とする会議システムの制御方法。 - 音声データに基づいて第1のテキスト情報を生成する第1の生成工程と、
画像データに基づいて第2のテキスト情報を生成する第2の生成工程と、
前記第1のテキスト情報と前記第2のテキスト情報を統合して会議テキスト情報を生成する統合工程と、
前記会議テキスト情報の要約情報を、所定の要約区間ごとに生成する要約工程と、
要約工程において要約情報が生成される度に当該要約情報を表示させるよう制御する表示制御工程と、
を有することを特徴とする要約装置の制御方法。 - 請求項10又は11の制御方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017238088A JP2019105740A (ja) | 2017-12-12 | 2017-12-12 | 会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017238088A JP2019105740A (ja) | 2017-12-12 | 2017-12-12 | 会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019105740A true JP2019105740A (ja) | 2019-06-27 |
Family
ID=67061257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017238088A Pending JP2019105740A (ja) | 2017-12-12 | 2017-12-12 | 会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019105740A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111314612A (zh) * | 2020-02-26 | 2020-06-19 | 维沃移动通信有限公司 | 一种信息显示方法及电子设备 |
CN112839195A (zh) * | 2020-12-30 | 2021-05-25 | 深圳市皓丽智能科技有限公司 | 一种会议记录的查阅方法、装置、计算机设备及存储介质 |
CN113010704A (zh) * | 2020-11-18 | 2021-06-22 | 北京字跳网络技术有限公司 | 一种会议纪要的交互方法、装置、设备及介质 |
-
2017
- 2017-12-12 JP JP2017238088A patent/JP2019105740A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111314612A (zh) * | 2020-02-26 | 2020-06-19 | 维沃移动通信有限公司 | 一种信息显示方法及电子设备 |
CN111314612B (zh) * | 2020-02-26 | 2021-05-18 | 维沃移动通信有限公司 | 一种信息显示方法及电子设备 |
CN113010704A (zh) * | 2020-11-18 | 2021-06-22 | 北京字跳网络技术有限公司 | 一种会议纪要的交互方法、装置、设备及介质 |
CN112839195A (zh) * | 2020-12-30 | 2021-05-25 | 深圳市皓丽智能科技有限公司 | 一种会议记录的查阅方法、装置、计算机设备及存储介质 |
CN112839195B (zh) * | 2020-12-30 | 2023-10-10 | 深圳市皓丽智能科技有限公司 | 一种会议记录的查阅方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107534704B (zh) | 一种经由通信网络连接的信息处理方法、设备和介质 | |
US10019989B2 (en) | Text transcript generation from a communication session | |
US9712569B2 (en) | Method and apparatus for timeline-synchronized note taking during a web conference | |
US10431187B2 (en) | Terminal apparatus, screen recording method, program, and information processing system | |
US7266568B1 (en) | Techniques for storing multimedia information with source documents | |
CN1694528B (zh) | 实时音频-视频通信和数据协作的***和方法 | |
WO2019023321A1 (en) | SYSTEM AND METHODS FOR COLLABORATING A PHYSICAL WHITEBOARD IN A VIDEO CONFERENCE | |
JP2019101754A (ja) | 要約装置及びその制御方法、要約システム、プログラム | |
WO2021121023A1 (zh) | 视频编辑方法、视频编辑装置、终端和可读存储介质 | |
US11418551B2 (en) | Method and system for providing virtual whiteboard based collaboration service | |
JP2006146415A (ja) | 会議支援システム | |
JP2009111991A (ja) | コンピュータ読み取り可能な記録媒体およびテレビ会議装置 | |
JP2019105740A (ja) | 会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラム | |
JP2005341015A (ja) | 議事録作成支援機能を有するテレビ会議システム | |
EP3131257A1 (en) | Program, information processing apparatus, and information processing system for use in an electronic conference system | |
JP6696363B2 (ja) | 会議支援装置、会議支援システム、会議支援方法、及びプログラム | |
US11792468B1 (en) | Sign language interpreter view within a communication session | |
JP2019152758A (ja) | 会議システム、会議システムの制御方法、並びにプログラム | |
JP2019139572A (ja) | 会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラム | |
JP2019105741A (ja) | 会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラム | |
JP2019161409A (ja) | 会議システム、情報処理装置とその制御方法、及びプログラム | |
JP2020052511A (ja) | 要約生成装置、要約生成方法、及びプログラム | |
JP2022094186A (ja) | 視聴支援システム、視聴支援方法およびプログラム | |
JP2019159367A (ja) | 情報処理装置、情報処理装置の制御方法、編集システム、及びプログラム | |
JP2019139571A (ja) | 会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラム |