JP2020027351A - 議事録配信システム、議事録配信方法、及びプログラム - Google Patents

議事録配信システム、議事録配信方法、及びプログラム Download PDF

Info

Publication number
JP2020027351A
JP2020027351A JP2018150508A JP2018150508A JP2020027351A JP 2020027351 A JP2020027351 A JP 2020027351A JP 2018150508 A JP2018150508 A JP 2018150508A JP 2018150508 A JP2018150508 A JP 2018150508A JP 2020027351 A JP2020027351 A JP 2020027351A
Authority
JP
Japan
Prior art keywords
conference
minutes
cpu
information
agenda
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018150508A
Other languages
English (en)
Inventor
元気 池田
Motoki Ikeda
元気 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018150508A priority Critical patent/JP2020027351A/ja
Publication of JP2020027351A publication Critical patent/JP2020027351A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】配信先に適切な情報量の議事録を配信することができる議事録配信システムを提供する。【解決手段】会議システム100は、会議装置101から受信した会議情報に基づいて議事録1000を作成し、作成した議事録を指定された配信先に配信する。会議システム100は、配信先となるユーザと会議との関係性に基づいて当該配信先に配信する議事録1000の情報量を制御する。【選択図】図10

Description

本発明は、議事録配信システム、議事録配信方法、及びプログラムに関する。
会議の議事録を自動で生成する議事録配信システムが知られている。議事録は、会議概要情報及び議事情報で構成される。会議概要情報は、会議名、開催場所、開催日時、及び出席者名といった会議に関する情報である。議事情報は、会議で議論した内容やその結果を示す情報である。また、議事情報には、議論した内容が記されたホワイトボードを撮影した画像や会議中にプロジェクタで表示された資料等の会議で参照した情報も含まれる。議事録配信システムは、作成した議事録を、例えば、会議の参加予定者や会議を監督する立場にあるマネージャ職の監督責任者等といった会議の関係者に電子メールで配信する(例えば、特許文献1参照)。
特開2008−152527号公報
しかしながら、従来の議事録配信システムは、全ての配信先に同じ情報量、例えば、会議に参加した人にとって適切な情報量の議事録を配信していた。このような情報量の議事録では、例えば、会議を欠席した人は、会議で議論した内容を理解できる程の情報が盛り込まれておらず情報量が不足していると感じてしまう。また、マネージャ職等の複数の会議体に対して監督責任を負う人は、議事録から議論した結果を端的且つ効率的に把握したいため、情報量が過剰であると感じてしまう。このように、従来の議事録配信システムでは、各配信先に対して適切な情報量の議事録を配信することができない。
本発明の目的は、配信先に適切な情報量の議事録を配信することができる議事録配信システム、議事録配信方法、及びプログラムを提供することにある。
上記目的を達成するために、本発明の議事録配信システムは、会議の参加者が発した音声に基づいて作成された議事録を配信する議事録配信システムであって、前記会議の参加者が発した音声に基づいて前記議事録を作成する議事録作成手段と、前記議事録を配信する配信先を記録する配信先記録手段と、前記配信先となるユーザと前記会議との関係性を決定する関係性決定手段とを備え、前記議事録作成手段は、前記配信先となるユーザと会議との関係性に基づいて当該配信先に配信する議事録の情報量を制御することを特徴とする。
本発明によれば、配信先に適切な情報量の議事録を配信することができる。
本発明の実施の形態に係る議事録配信システムとしての会議システムの構成を概略的に示すブロック図である。 図1の会議装置、会議サーバ、及びPCのハードウェア構成を概略的に示すブロック図である。 図2(a)の表示デバイスに表示される画面の一例を示す図である。 図1の会議装置によって記録される会議情報の一例を示す図である。 図1の会議装置によって実行される会議情報記録処理の手順を示すフローチャートである。 図1の会議装置によって実行される会議情報記録処理の手順を示すフローチャートである。 図5(c)のステップS521の表示ページ変更記録処理の手順を示すフローチャートである。 図1の会議サーバが管理する議事録元情報の一例を示す図である。 図1の会議サーバによって実行される議事録作成処理の手順を示すフローチャートである。 図1の会議サーバによって作成される議事録の一例を示す図である。 図9のステップS944、S945の間に実行される要約テキスト生成処理の手順を示すフローチャートである。 図1の会議装置がストレージに記録する会議情報の一例を示す図である。 図5の会議情報記録処理の変形例の手順を示すフローチャートである。 図13(c)のステップS1301の人物検出処理の手順を示すフローチャートである。 図13(b)のステップS1304の参加状況決定処理及びステップS1305の立場決定処理の各手順を示すフローチャートである。 本発明の第2の実施の形態に係る議事録配信システムとしての会議システムの構成を概略的に示すブロック図である。 図16の会議装置が入退室管理システム又は人事管理システムと送受信するデータの一例を示す図である。 図16の会議システムの会議装置によって実行される会議情報記録処理の手順を示すフローチャートである。 図18のステップS1803の参加状況決定処理の手順を示すフローチャートである。
以下、本発明の実施の形態について図面を参照しながら詳述する。まず、本発明の第1の実施の形態について説明する。
図1は、本発明の実施の形態に係る議事録配信システムとしての会議システム100の構成を概略的に示すブロック図である。図1において、会議システム100は、会議装置101、会議サーバ102、及びPC(Personal Computer)103を備える。会議装置101、会議サーバ102、及びPC103はネットワーク104を介して接続されている。なお、本実施の形態では、会議システム100は、会議装置101、会議サーバ102、及びPC103を一台ずつ備える構成について説明するが、会議システム100の構成は、これに限られない。例えば、会議システム100は、会議装置101、会議サーバ102、及びPC103をそれぞれ複数台備えていても良い。
会議装置101は、会議室等の会議開催場所に配置され、例えば、会議室のテーブル上に置かれる。会議装置101は、音声データや画像データ等の複数の種類のデータ(以下、「会議情報」という。)を記録する。会議装置101が記録する画像データは、会議で議論した内容が記されたホワイトボードや用紙を撮影して得られた画像データ、及びPC103から受信した後述する表示画像データを含む。また、会議装置101は、議事録の配信先情報や、議事録の配信先に当たる人物の会議への参加状況及び会議との関係性に関する情報を会議情報の一部として記録する。会議装置101は、例えば、オフィスや所定の会場等で開催される会議の会議情報を記録する。なお、本実施の形態における会議は、複数の人が発言し合うような集まりであればよく、オフィスや所定の会場等で開催される会議に限定されない。例えば、本実施の形態における会議は、面接や取り調べ等を含む。また、会議装置101は、記録した会議情報を会議サーバ102に送信する。
会議サーバ102は、PCやクラウドサーバである。会議サーバ102は、会議装置101から受信した会議情報を解析及び加工して議事録を作成する。具体的に、会議サーバ102は、会議情報に含まれる音声データを音声認識してテキストを生成し、また、会議情報に含まれる画像データを文字認識してテキストを生成する。会議サーバ102は、生成したテキストを要約して要約テキストを生成し、当該要約テキスト及び会議情報に含まれる画像データに基づいて議事録における会議の発言内容を示す議事情報を生成する。会議サーバ102は、作成した議事録を会議情報に含まれる配信先情報が示す配信先に配信する。
PC103は、一般的なPCやノートPCである。PC103は、アプリケーションプログラムを実行して、会議で参照する資料をディスプレイに表示し、また、接続されたプロジェクタから上記資料を投影する。PC103は、ユーザがディスプレイ等に表示する資料の変更を指示すると、表示する資料を識別するための識別情報を会議装置101に送信する。識別情報は、例えば、資料のファイル名やファイルIDである。また、PC103は、ユーザが資料の表示ページの変更を指示すると、変更後の表示ページの画像データである表示画像データを会議装置101に送信する。会議装置101は、受信した表示画像データを会議情報として記録する。
図2は、図1の会議装置101、会議サーバ102、及びPC103のハードウェア構成を概略的に示すブロック図である。図2(a)は、会議装置101のハードウェア構成を示す。図2(b)は、会議サーバ102及びPC103のハードウェア構成を示す。
図2(a)において、会議装置101は、CPU201、ROM202、RAM203、ストレージ204、入力デバイス205、表示デバイス206、外部インターフェース207、カメラデバイス208、及びマイクデバイス209を備える。CPU201、ROM202、RAM203、ストレージ204、入力デバイス205、表示デバイス206、外部インターフェース207、カメラデバイス208、及びマイクデバイス209は、データバス210を介して互いに接続されている。なお、CPUは、Central Processing Unitの略称である。RAMは、Random Access Memoryの略称である。ROMは、Read Only Memoryの略称である。
CPU201は、会議装置101全体を制御するためのコントローラである。CPU201は、ROM202に格納されたブートプログラムを実行してOS(Operating System)(不図示)を起動する。OSが起動すると、CPU201は、ストレージ204に格納されたコントローラプログラムを実行して、データバス210を介して接続された各デバイスを制御する。コントローラプログラムは、会議装置101全体を制御するプログラムである。ROM202は、不揮発メモリであり、ブートプログラム等を格納する。RAM203は、CPU201の作業領域として、また、各データの一時格納領域として用いられる。ストレージ204は、読み出し及び書き込み可能な不揮発メモリであり、コントローラプログラム等を格納する。また、ストレージ204は、会議情報が会議サーバ102へ送信されるまでの間、当該会議情報を保持する。
入力デバイス205は、タッチパネル、ハードキー、及びマウス等から構成される入力装置である。入力デバイス205は、ユーザの操作指示を受け付けると、受け付けた操作指示の内容を示す指示情報をCPU201に送信する。表示デバイス206は、LCD等の表示装置である。表示デバイス206は、CPU201が生成した画像データを表示する。CPU201は、入力デバイス205から受信した指示情報に基づいて会議装置101を制御する。例えば、CPU201は、受信した指示情報に応じて新たな画像データを生成し、表示デバイス206の表示内容を当該新たな画像データに切り替える。外部インターフェース207は、LANや電話回線等のネットワーク、又は赤外線といった近接無線等のネットワークを介して、外部機器とデータの送受信を行う。カメラデバイス208は、例えば、デジタルカメラであり、動画や静止画を撮影する。
図2(b)において、会議サーバ102は、CPU211、ROM212、RAM213、ストレージ214、入力デバイス215、表示デバイス216、及び外部インターフェース217を備える。CPU211、ROM212、RAM213、ストレージ214、入力デバイス215、表示デバイス216、及び外部インターフェース217は、データバス218を介して互いに接続されている。
CPU211は、会議サーバ102全体を制御するためのコントローラである。CPU211は、ROM212に格納されたブートプログラムを実行して会議サーバ102のOS(不図示)を起動する。OSが起動すると、CPU211は、ストレージ214に格納された会議サーバプログラムを実行して、データバス218を介して接続された各デバイスを制御する。ROM212は、不揮発メモリであり、ブートプログラム等を格納する。RAM213は、CPU211の作業領域として、また、各データの一時格納領域として用いられる。ストレージ214は、読み出し及び書き込み可能な不揮発メモリであり、上記会議サーバプログラム等を格納する。入力デバイス215は、タッチパネル、ハードキー、及びマウス等から構成される入力装置である。入力デバイス215は、ユーザの操作指示を受け付けると、受け付けた操作指示の内容を示す指示情報をCPU211に送信する。表示デバイス216は、LCD等の表示装置である。表示デバイス216は、CPU211が生成した表示画像データ等を表示する。外部インターフェース217は、LANや電話回線等のネットワーク、又は赤外線といった近接無線等のネットワークを介して、外部機器とデータの送受信を行う。
PC103のハードウェア構成は、図2(b)に示す会議サーバ102と同様である。PC103のストレージ214には、会議用の資料及び当該資料を表示するためのアプリケーションプログラムが記録されている。PC103のCPU211は、PC103のOS(不図示)上で、アプリケーションプログラムを実行することで、資料を解釈し、当該資料を表示するための表示画像データを生成する。PC103のCPU211は、生成した表示画像データをPC103の表示デバイス216に表示させる。
図3は、図2(a)の表示デバイス206に表示される画面の一例を示す図である。図3(a)は、会議開始前に表示される会議開始画面300の一例を示す。会議開始画面300は、開始ボタン301を備える。開始ボタン301は、ユーザが会議装置101に会議開始を指示するためのボタンである。CPU201は、会議開始画面300においてユーザが開始ボタン301を選択すると、表示デバイス206に図3(b)の会議中画面302を表示させ、会議情報の記録を開始する。
会議中画面302は、会議中に表示される画面であり、撮影ボタン303、アジェンダボタン304、及び終了ボタン305を備える。撮影ボタン303は、ユーザが会議装置101に撮影要求を行うためのボタンである。CPU201は、会議中画面302においてユーザが撮影ボタン303を選択すると、表示デバイス206に図3(c)の撮影画面306を表示させる。アジェンダボタン304は、ユーザが会議装置101に会議情報を記録する議題の変更要求を行うためのボタンである。CPU201は、会議中画面302においてユーザがアジェンダボタン304を選択すると、表示デバイス206に図3(d)の議題設定画面308を表示させる。終了ボタン305は、ユーザが会議装置101に会議終了を指示するためのボタンである。CPU201は、会議中画面302においてユーザが終了ボタン305を選択すると、表示デバイス206に図3(e)の配信先画面314を表示させる。
撮影画面306は、カメラデバイス208によって撮影する際に表示デバイス206に表示される画面である。撮影画面306には、カメラデバイス208によって得られた被写体の映像が表示される。ユーザは、撮影画面306の映像を見ながら、文字が記入されたホワイトボードや用紙がカメラデバイス208の撮影画角に収まるように会議装置101の向きや位置を調整する。また、撮影画面306には、上記映像の他に、OKボタン307も表示される。OKボタン307は、ユーザが会議装置101に撮影終了を指示するためのボタンである。CPU201は、撮影画面306においてユーザがOKボタン307を選択すると、表示デバイス206に表示された撮影画面306を会議中画面302に切り替える。
議題設定画面308は、会議情報を記録する議題を変更する際に表示される画面である。議題設定画面308は、入力欄309、開始ボタン310、終了ボタン311、テキストエリア312、及びOKボタン313を備える。入力欄309には、会議装置101が会議情報を記録する議題の名称がユーザによって入力される。開始ボタン310は、ユーザが会議装置101に、入力欄309に入力した名称の議題に関する会議情報の記録の開始を指示するためのボタンである。終了ボタン311は、ユーザが会議装置101に、当該会議装置101が実行中の会議情報の記録の終了を指示するためのボタンである。なお、終了ボタン311が選択されて終了した議題の名称は、テキストエリア312に一覧表示される。OKボタン313は、ユーザが会議装置101に議題の変更の終了を指示するためのボタンである。CPU201は、議題設定画面308においてユーザがOKボタン313を選択すると、表示デバイス206に表示された議題設定画面308を会議中画面302に切り替える。
配信先画面314は、議事録の配信先を登録するための画面であり、会議を終了する際に表示される。配信先入力欄315には、議事録の配信先がユーザによって入力される。議事録の配信先として、例えば、メールアドレス、ファイルサーバのファイル名、Webサービスのアドレスが入力される。メールアドレスは、参加者個人のメールアドレスであっても良く、また、複数人が所属する部署や職階に割り当てられたグループ用メールアドレスであっても良い。なお、本実施の形態では、グループ用メールアドレスに属する複数人は、会議において同一の関係性として扱われる。追加ボタン316は、配信先入力欄315に入力された配信先の登録をユーザが会議装置101に指示するためのボタンである。配信先画面314においてユーザが追加ボタン316を選択すると、CPU201は、配信先入力欄315に入力された配信先をリスト317の最後尾に追加し、また、配信先入力欄315を空欄にする。リスト317には、ユーザが登録した配信先が表示される。OKボタン318は、議事録の配信先の登録の終了をユーザが会議装置101に指示するためのボタンである。CPU201は、配信先画面314においてユーザがOKボタン318を選択すると、表示デバイス206に図3(f)の設定画面319を表示させる。
設定画面319は、議事録の配信先に当たる人物の会議への参加状況や会議に対する立場を登録するための画面である。設定画面319には、リスト320が表示される。リスト320は、配信先列321、出欠列322、議題列323、及び立場列324で構成される。リスト320には、一行毎に異なる配信先に関する情報が設定される。配信先列321には、配信先画面314で登録された配信先が設定される。出欠列322には、配信先に当たる人物における会議の参加状況が設定される。出欠列322のセルの表示は、ユーザによる選択に応じて「出席」又は「欠席」にトグル状に切り替わる。議題列323には、配信先に当たる人物が参加した議題を示す情報が設定される。例えば、リスト320において、出欠列322のセルが「出席」に設定された行の議題列323のセルがユーザに選択された場合、CPU201は、設定画面319に重ねて図3(g)の議題選択画面326を表示させる。
議題選択画面326には、会議情報を記録した議題の一覧が表示される。議題選択画面326に表示されたチェックボックス群327の中から、ユーザが選択したチェックボックスに対応する議題が、ユーザに選択された議題列323のセルに設定される。OKボタン328は、参加した議題の選択を終了することをユーザが会議装置101に指示するためのボタンである。CPU201は、議題選択画面326においてユーザがOKボタン328を選択すると、表示デバイス206の議題選択画面326を閉じて、表示デバイス206に設定画面319を表示させる。このとき、議題選択画面326で選択された議題が、設定画面319における議題列323のセルに反映される。
リスト320において、出欠列322が「出席」であり且つ議題列323が空欄である設定は、この設定の配信先に当たる人物が会議における全ての議題に参加(以下、「全参加」という。)したことを表す。出欠列322が「出席」であり且つ議題列323に何れかの議題名を含む設定は、この設定の配信先に当たる人物が会議において議題列323に設定された議題のみに参加(以下、「部分参加」という。)したことを表す。出欠列322が「欠席」である設定は、この設定の配信先に当たる人物が会議における全ての議題を欠席したことを表す。
立場列324には、配信先に当たる人物の会議における立場が登録される。立場列324のセルの表示は、ユーザによる選択に応じて「主導」、「監督」、又は空欄にトグル状に切り替わる。立場列324が「主導」である設定は、この設定の配信先に当たる人物が会議の主催者や会議のファシリテーターといった会議を主導する立場であることを表す。立場列324が「監督」である設定は、この設定の配信先に当たる人物がマネージャ職等の会議を監督する立場であることを表す。立場列324が空欄である設定は、この設定の配信先に当たる人物が特殊な立場にない人物であることを表す。以下では、会議を主導する立場である人物を主導者(主催者)とし、また、会議を監督する立場である人物を監督者とする。
OKボタン325は、ユーザが会議装置101に会議終了の確定を指示するためのボタンである。CPU201は、設定画面319においてユーザがOKボタン325を選択すると、表示デバイス206を設定画面319から会議開始画面300に切り替える。次いで、会議装置101は、図4(a)〜図4(f)の各種データを含む会議情報の記録を終了し、会議情報を会議サーバ102へ送信する。その後、会議サーバ102は、受信した会議情報を解析及び加工して議事録を作成し、作成した議事録をユーザに指定された配信先に配信する。
図4は、図1の会議装置101によって記録される会議情報の一例を示す図である。図4(a)は、会議情報に含まれる音声情報テーブル400の一例を示す。図4(b)は、会議情報に含まれる画像情報テーブル404の一例を示す。図4(c)は、会議情報に含まれる議題情報テーブル407の一例を示す。図4(d)は、会議情報に含まれる配信先情報テーブル411(配信先記録手段)の一例を示す。図4(e)は、会議情報に含まれる資料情報テーブル416の一例を示す。図4(f)は、会議情報に含まれる資料ページ情報テーブル420の一例を示す。
音声情報テーブル400は、マイクデバイス209が録音した音声に関する情報(以下、「音声情報」という。)を記録するためのデータテーブルである。音声情報テーブル400は、録音開始時刻列401、録音終了時刻列402、及び音声データ列403で構成される。会議装置101は、会議中の会話を録音した音声データをストレージ204に格納する。録音開始時刻列401には、会議の開始時刻、具体的に、録音の開始時刻が記録される。録音終了時刻列402には、会議の終了時刻、具体的に、録音の終了時刻が記録される。音声データ列403には、ストレージ204に格納された音声データのファイル名が記録される。
画像情報テーブル404は、カメラデバイス208が撮影して得られた画像に関する情報(以下、「画像情報」という。)を記録するためのデータテーブルである。画像情報テーブル404は、撮影時刻列405及び画像データ列406で構成される。会議装置101は、カメラデバイス208が撮影した被写体の画像データを生成し、当該画像データをストレージ204に格納する。撮影時刻列405には、撮影時刻が記録される。画像データ列406には、ストレージ204に格納された画像データのファイル名が記録される。
議題情報テーブル407は、会議の議題に関する情報(以下、「議題情報」という。)を記録するためのデータテーブルである。議題情報テーブル407は、議題開始時刻列408、議題終了時刻列409、及び議題名列410で構成される。議題開始時刻列408には、議題名列410に設定された議題の開始時刻が記録される。議題終了時刻列409には、議題名列410に設定された議題の終了時刻が記録される。議題名列410には、会議における議題名が記録される。
配信先情報テーブル411は、作成した議事録の配信先に関する情報(以下、「配信先情報」という。)を記録するためのデータテーブルである。配信先情報テーブル411は、配信先列412、出欠列413、議題名列414、及び立場列415で構成される。配信先情報テーブル411では、配信先情報テーブル411における1つのレコードが、一件の配信先を表す。配信先情報テーブル411には、リスト320に対応する各情報が記録される。具体的に、配信先列412には、議事録の配信先として、リスト320の配信先列321に設定された情報が記録される。出欠列413及び議題名列414には、会議の参加状況として、リスト320の出欠列322及び議題列323に設定された情報が記録される。立場列415には、配信先列412の配信先に当たる人物の会議に対する立場として、リスト320の立場列324に設定された情報が記録される。
資料情報テーブル416は、PC103が表示した資料に関する情報(以下、「資料情報」という。)を記録するためのデータテーブルである。資料情報テーブル416は、資料開始時刻列417、資料終了時刻列418、及び資料名列419で構成される。資料開始時刻列417には、PC103が資料を表示し始めた時刻が記録される。資料終了時刻列418には、PC103が資料を表示し終えた時刻が記録される。資料名列419には、PC103が表示した資料名が記録される。
資料ページ情報テーブル420は、PC103が表示した資料のページに関する情報(以下、「資料ページ情報」という。)を記録するためのデータテーブルである。資料ページ情報テーブル420は、資料ページ開始時刻列421、資料ページ終了時刻列422、及び資料ページ番号列423で構成される。資料ページ開始時刻列421には、PC103が複数ページの資料において資料ページ番号列423に設定されたページを表示し始めた時刻が記録される。資料ページ終了時刻列422には、PC103が資料ページ番号列423に設定されたページを表示し終えた時刻が記録される。資料ページ番号列423には、PC103が表示した資料の資料名及びページ番号を示す情報が記録される。
図5及び図6は、図1の会議装置101によって実行される会議情報記録処理の手順を示すフローチャートである。図5及び図6の処理は、CPU201が、ストレージ204に格納されたコントローラプログラムを読み出し、該コントローラプログラムをRAM204に展開して実行することで実現される。また、図5及び図6の処理は、ユーザが会議装置101の電源キー(不図示)を操作して会議装置101の電源をオンに設定した際に開始される。ユーザが会議装置101の電源をオンに設定すると、CPU201は、表示デバイス206に会議開始画面300を表示させる。
図5(a)において、まず、CPU201は、ユーザが会議開始を指示したか否かを判別する(ステップS501)。ステップS501では、会議開始画面300においてユーザが開始ボタン301を選択した場合、CPU201は、ユーザが会議開始を指示したと判別する。一方、会議開始画面300においてユーザが開始ボタン301を選択しない場合、CPU201は、ユーザが会議開始を指示しないと判別する。
ステップS501の判別の結果、ユーザが会議開始を指示したとき、CPU201は、表示デバイス206の会議開始画面300を会議中画面302に切り替え、さらに、図5(b)のステップS502及び後述する図5(c)のステップS518の処理を並列で実行する。ステップS502では、CPU201は、マイクデバイス209によって会話の録音を開始する。これにより、CPU201は、音声データの取得を開始し、音声情報テーブル400の録音開始時刻列401に現在時刻を記録する。また、CPU201は、取得した音声データをストレージ204に格納する。CPU201は、格納した音声データのファイル名を音声情報テーブル400の音声データ列403に記録する。次いで、CPU201は、ユーザが撮影要求を行ったか否かを判別する(ステップS503)。ステップS503では、会議中画面302においてユーザが撮影ボタン303を選択した場合、CPU201は、ユーザが撮影要求を行ったと判別する。一方、会議中画面302においてユーザが撮影ボタン303を選択しない場合、CPU201は、ユーザが撮影要求を行わないと判別する。
ステップS503の判別の結果、ユーザが撮影要求を行ったとき、CPU201は、表示デバイス206の会議中画面302を撮影画面306に切り替える。次いで、CPU201は、ユーザが撮影の開始を指示したか否かを判別する(ステップS504)。ステップS504では、撮影画面306においてユーザが撮影の開始を指示する所定の操作(以下、「撮影開始操作」という。)を行った場合、CPU201は、ユーザが撮影の開始を指示したと判別する。一方、撮影画面306においてユーザが撮影開始操作を行わない場合、CPU201は、ユーザが撮影の開始を指示しないと判別する。
ステップS504の判別の結果、ユーザが撮影の開始を指示しないとき、CPU201は、後述するステップS506の処理を行う。ステップS504の判別の結果、ユーザが撮影の開始を指示したとき、CPU201は、カメラデバイス208により被写体を撮影し(ステップS505)、画像データを生成する。CPU201は、生成した画像データをストレージ204に格納する。また、CPU201は、格納した画像データの画像情報に関するレコードを画像情報テーブル404に追加する。このレコードの撮影時刻列405には現在時刻が記録され、また、画像データ列406には格納した画像データのファイル名が記録されている。次いで、CPU201は、ユーザが撮影終了を指示したか否かを判別する(ステップS506)。ステップS506では、撮影画面306においてユーザがOKボタン307を選択した場合、若しくは撮影画面306が表示されてから予め設定された所定の時間が経過するまでに撮影画面306においてユーザが撮影開始操作を行わない場合、CPU201は、ユーザが撮影終了を指示したと判別する。一方、撮影画面306においてユーザがOKボタン307を選択しない場合、CPU201は、ユーザが撮影終了を指示しないと判別する。
ステップS506の判別の結果、ユーザが撮影終了を指示しないとき、CPU201は、表示デバイス206に撮影画面306を表示させたまま、ステップS504の処理に戻る。ステップS506の判別の結果、ユーザが撮影終了を指示したとき、CPU201は、表示デバイス206の撮影画面306を会議中画面302に切り替えて、ステップS503の処理に戻る。
ステップS503の判別の結果、ユーザが撮影要求を行わないとき、CPU201は、ユーザが議題の変更要求を行ったか否かを判別する(ステップS507)。ステップS507では、会議中画面302においてユーザがアジェンダボタン304を選択した場合、CPU201は、ユーザが議題の変更要求を行ったと判別する。一方、会議中画面302においてユーザがアジェンダボタン304を選択しない場合、CPU201は、ユーザが議題の変更要求を行わないと判別する。
ステップS507の判別の結果、ユーザが議題の変更要求を行ったとき、CPU201は、表示デバイス206の会議中画面302を議題設定画面308に切り替える。次いで、CPU201は、ユーザが議題設定画面308の入力欄309に入力した議題の開始を指示した否かを判別する(ステップS508)。ステップS508では、議題設定画面308においてユーザが入力欄309に議題名を入力し且つ開始ボタン310を選択した場合、CPU201は、ユーザが上記議題の開始を指示したと判別する。一方、議題設定画面308においてユーザが入力欄309に議題名を入力せずに開始ボタン310を選択した場合、ユーザが開始ボタン310を選択しない場合、若しくは会議情報を記録中の別の議題が存在する場合、CPU201は、ユーザが上記議題の開始を指示しないと判別する。
ステップS508の判別の結果、ユーザが上記議題の開始を指示したとき、CPU201は、議題開始を記録する(ステップS509)。具体的に、CPU201は、入力欄309に入力された名称の議題に関するレコードを議題情報テーブル407に追加する。このレコードの議題開始時刻列408には現在時刻が記録される。次いで、CPU201は、ステップS508の処理に戻る。
ステップS508の判別の結果、ユーザが上記議題の開始を指示しないとき、CPU201は、ユーザが議題の終了を指示したか否かを判別する(ステップS510)。ステップS510では、議題設定画面308においてユーザが終了ボタン311を選択した場合、CPU201は、ユーザが議題の終了を指示したと判別する。一方、議題設定画面308においてユーザが終了ボタン311を選択しない場合、CPU201は、ユーザが議題の終了を指示しないと判別する。
ステップS510の判別の結果、ユーザが議題の終了を指示したとき、CPU201は、議題終了を記録する(ステップS511)。具体的に、CPU201は、議題情報テーブル407の中から議題終了時刻列409が空欄であるレコードを抽出する。CPU201は、当該レコードの議題終了時刻列409に現在時刻を記録し、また、議題名列410に終了する議題の名称を記録する。その後、CPU201は、ステップS508の処理に戻る。
ステップS510の判別の結果、ユーザが議題の終了を指示しないとき、CPU201は、ユーザが議題の変更の終了を指示したか否かを判別する(ステップS512)。ステップS512では、議題設定画面308においてユーザがOKボタン313を選択した場合、CPU201は、ユーザが議題の変更の終了を指示したと判別する。一方、議題設定画面308においてユーザがOKボタン313を選択しない場合、CPU201は、ユーザが議題の変更の終了を指示しないと判別する。
ステップS512の判別の結果、ユーザが議題の変更の終了を指示しないとき、CPU201は、ステップS508の処理に戻る。ステップS512の判別の結果、ユーザが議題の変更の終了を指示したとき、CPU201は、表示デバイス206の議題設定画面308を会議中画面302に切り替え、ステップS503の処理に戻る。
ステップS507の判別の結果、ユーザが議題の変更要求を行わないとき、CPU201は、ユーザが会議終了を指示したか否かを判別する(ステップS513)。ステップS513では、会議中画面302においてユーザが終了ボタン305を選択した場合、CPU201は、ユーザが会議終了を指示したと判別する。一方、会議中画面302においてユーザが終了ボタン305を選択しない場合、CPU201は、ユーザが会議終了を指示しないと判別する。
ステップS513の判別の結果、ユーザが会議終了を指示しないとき、CPU201は、ステップS503の処理に戻る。ステップS513の判別の結果、ユーザが会議終了を指示したとき、CPU201は、マイクデバイス209による会議の録音を終了する(ステップS514)。CPU201は、音声情報テーブル400の録音終了時刻列402に現在時刻を記録する。なお、このとき、議題情報テーブル407に議題終了時刻列409に終了時刻が記録されていないレコードが存在する場合、このレコードの議題終了時刻列409にも現在時刻を記録する。録音終了時刻は、会議終了時刻に相当する。次いで、CPU201は、表示デバイス206の会議中画面302を配信先画面314に切り替える。次いで、CPU201は、ユーザが配信先の追加を指示したか否かを判別する(ステップS515)。ステップS515では、ユーザが配信先入力欄315に配信先に関する情報を入力し且つ追加ボタン316を選択した場合、CPU201は、ユーザが配信先の追加を指示したと判別する。一方、ユーザが追加ボタン316を選択しない場合、若しくは配信先入力欄315が空欄又は不適切な情報が入力された状態でユーザが追加ボタン316を選択した場合、CPU201は、ユーザが配信先の追加を指示しないと判別する。不適切な情報は、例えば、@を含まないメールアドレスである。
ステップS515の判別の結果、ユーザが配信先の追加を指示したとき、CPU201は、追加を指示された配信先を登録する(ステップS516)。具体的に、CPU201は、配信先情報テーブル411に上記配信先に関するレコードを追加する。このレコードの配信先列412には配信先入力欄315に入力された配信先が記録される。次いで、CPU201は、ステップS515の処理に戻る。
ステップS515の判別の結果、ユーザが配信先の追加を指示しないとき、CPU201は、ユーザが配信先の登録の終了を指示したか否かを判別する(ステップS517)。ステップS517では、配信先画面314においてユーザがOKボタン318を選択した場合、CPU201は、ユーザが配信先の登録の終了を指示したと判別する。一方、配信先画面314においてユーザがOKボタン318を選択しない場合、若しくは配信先画面314のリスト317に配信先が1つも表示されていない場合、CPU201は、ユーザが配信先の登録の終了を指示しないと判別する。
ステップS517の判別の結果、ユーザが配信先の登録の終了を指示しないとき、CPU201は、ステップS515の処理に戻る。ステップS517の判別の結果、ユーザが配信先の登録の終了を指示したとき、CPU201は、表示デバイス206の配信先画面314を設定画面319に切り替え、図6の処理を行う。
図6において、CPU201は、ユーザが会議の出欠登録に関する指示を行ったか否かを判別する(ステップS601)。ステップS601では、設定画面319においてユーザが出欠列322のセルを選択した場合、CPU201は、ユーザが会議の出欠登録に関する指示を行ったと判別する。一方、設定画面319においてユーザが出欠列322のセルを選択しない場合、CPU201は、ユーザが会議の出欠登録に関する指示を行わないと判別する。
ステップS601の判別の結果、ユーザが会議の出欠登録に関する指示を行ったとき、CPU201は、会議の参加状況を記録する(ステップS602)。ステップS602では、CPU201は、ユーザが選択した出欠列322のセルに該当する配信先を特定し、特定した配信先に対応するレコードを配信先情報テーブル411から取得する。ユーザが選択した出欠列322のセルが「出席」である場合、CPU201は、取得したレコードの出欠列413に「出席」を記録する。また、ユーザが選択した出欠列322のセルが「欠席」である場合、CPU201は、取得したレコードの出欠列413に「欠席」を記録する。次いで、CPU201は、ステップS601の処理に戻る。
ステップS601の判別の結果、ユーザが会議の出欠登録に関する指示を行わないとき、CPU201は、ユーザが参加議題の登録に関する指示を行ったか否かを判別する(ステップS603)。ステップS603では、設定画面319においてユーザが議題列323のセルを選択した場合、CPU201は、ユーザが参加議題の登録に関する指示を行ったと判別する。一方、設定画面319においてユーザが議題列323のセルを選択しない場合、CPU201は、ユーザが参加議題の登録に関する指示を行わないと判別する。
ステップS603の判別の結果、ユーザが参加議題の登録に関する指示を行ったとき、CPU201は、ユーザが選択した議題列323のセルに該当する配信先を特定し、特定した配信先に対応するレコードを配信先情報テーブル411から取得する。また、CPU201は、表示デバイス206の設定画面319を議題選択画面326に切り替える。議題選択画面326においてユーザがチェックボックス群327の中から1つ以上のチェックボックスを選択してOKボタン328を選択すると、CPU201は、参加議題を記録する(ステップS604)。具体的に、CPU201は、選択されたチェックボックスに対応する議題名を、取得したレコードの議題名列414に記録する。選択されたチェックボックスが2つ以上である場合には、CPU201は、各議題名をカンマで区切って記録する。次いで、CPU201は、表示デバイス206の議題選択画面326を設定画面319に切り替え、ステップS601の処理に戻る。
ステップS603の判別の結果、ユーザが参加議題の登録に関する指示を行わないとき、CPU201は、ユーザが会議に対する立場の登録に関する指示を行ったか否かを判別する(ステップS605)。ステップS605では、設定画面319においてユーザが立場列324のセルを選択した場合、CPU201は、ユーザが会議に対する立場の登録に関する指示を行ったと判別する。一方、設定画面319においてユーザが立場列324のセルを選択しない場合、CPU201は、ユーザが会議に対する立場の登録に関する指示を行わないと判別する。
ステップS605の判別の結果、ユーザが会議に対する立場の登録に関する指示を行ったとき、CPU201は、ユーザが指定した立場を記録する(ステップS606)。具体的に、CPU201は、ユーザが選択した立場列324のセルに該当する配信先を特定し、特定した配信先に対応するレコードを配信先情報テーブル411から取得する。ユーザが選択した立場列324のセルが「主導」である場合、CPU201は、取得したレコードの立場列415に「主導」を記録する。ユーザが選択した立場列324のセルが「監督」である場合、CPU201は、取得したレコードの立場列415に「監督」を記録する。ユーザが選択した立場列324のセルが空欄である場合、CPU201は、取得したレコードの立場列415を空欄にする。次いで、CPU201は、ステップS601の処理に戻る。
ステップS605の判別の結果、ユーザが会議に対する立場の登録に関する指示を行わないとき、CPU201は、ユーザが参加状況の登録の終了を指示したか否かを判別する(ステップS607)。ステップS607では、設定画面319においてユーザがOKボタン325を選択した場合、CPU201は、ユーザが参加状況の登録の終了を指示したと判別する。一方、設定画面319においてユーザがOKボタン325を選択しない場合、CPU201は、ユーザが参加状況の登録の終了を指示しないと判別する。
ステップS607の判別の結果、ユーザが参加状況の登録の終了を指示したとき、CPU201は、後述するステップS524の処理を行う。ステップS607の判別の結果、ユーザが参加状況の登録の終了を指示しないとき、CPU201は、ステップS601の処理に戻る。
図5(c)において、ステップS502の処理と並列で実行されるステップS518では、CPU201は、ユーザが表示資料を変更したか否かを判別する。ステップS518では、PC103から表示資料のファイル名に関する情報を受信した場合、CPU201は、ユーザが表示資料を変更したと判別する。一方、PC103から表示資料のファイル名に関する情報を受信しない場合、CPU201は、ユーザが表示資料を変更しないと判別する。
ステップS518の判別の結果、ユーザが表示資料を変更しないとき、CPU201は、後述するステップS520の処理を行う。ステップS518の判別の結果、ユーザが表示資料を変更したとき、CPU201は、表示資料の変更を記録する(ステップS520)。具体的に、CPU201は、資料情報テーブル416の最新レコード、すなわち、資料開始時刻列417の時刻が最新のレコードの資料終了時刻列418に、変更前の資料の表示の終了時刻として、現在時刻を記録する。また、CPU201は、資料情報テーブル416に変更後の表示資料に関するレコードを追加する。追加されたレコードの資料開始時刻列417には、変更後の資料の表示の開始時刻として現在時刻が記録され、資料名列419には、PC103から受信したファイル名が記録される。次いで、CPU201は、PC103から表示画像データを受信したか否かを判別する(ステップS520)。
ステップS520の判別の結果、PC103から表示画像データを受信しないとき、CPU201は、後述するステップS522の処理を行う。ステップS520の判別の結果、PC103から表示画像データを受信したとき、CPU201は、後述する図7の表示ページ変更記録処理を実行し(ステップS521)、表示資料のページの変更を記録する。次いで、CPU201は、ユーザが会議終了を指示したか否かを判別する(ステップS522)。
ステップS522の判別の結果、ユーザが会議終了を指示しないとき、CPU201は、ステップS518の処理に戻る。ステップS522の判別の結果、ユーザが会議終了を指示したとき、CPU201は、図5(a)に示すように、ストレージ204に格納した会議情報を、外部インターフェース207を介して会議サーバ102に送信する(ステップS523)。次いで、CPU201は、表示デバイス206の会議中画面302を会議開始画面300に切り替え、ステップS501の処理に戻る。なお、CPU201は、会議情報を会議サーバ102に送信した後、当該会議情報をストレージ204から削除してもよい。
ステップS501の判別の結果、ユーザが会議開始を指示しないとき、CPU201は、ユーザが上記電源キーを操作して会議装置101の電源オフを指示したか否かを判別する(ステップS524)。
ステップS524の判別の結果、ユーザが会議装置101の電源オフを指示しないとき、CPU201は、ステップS501の処理に戻る。ステップS524の判別の結果、ユーザが会議装置101の電源オフを指示したとき、CPU201は、本処理を終了する。
図7は、図5(c)のステップS521の表示ページ変更記録処理の手順を示すフローチャートである。
図7において、CPU201は、ステップS518の判別結果に基づいてユーザが表示資料を変更したか否かを判別する(ステップS701)。
ステップS701の判別の結果、ユーザが表示資料を変更したとき、CPU201は、変更後の表示資料がPC103に初めて表示される資料であるか否かを判別する(ステップS702)。ステップS702では、CPU201は、資料ページ情報テーブル420を参照し、受信した表示画像データに対応する資料の名称を含む情報が資料ページ番号列423に記録されているか否かを判別する。該当する情報が記録されてない場合、CPU201は、変更後の表示資料が初めて表示される資料であると判別する。このような資料は、PC103が会議中に初めて表示した資料に相当する。一方、該当する情報が記録されている場合、CPU201は、変更後の表示資料が初めて表示される資料でないと判別する。このような表示資料は、PC103において、会議中に一度表示され、別の資料に切り替えられた後に、再度表示された資料に相当する。
ステップS702の判別の結果、変更後の表示資料がPC103に初めて表示される資料であるとき、CPU201は、表示資料のページ番号として「1」をRAM204に一時的に記憶させる(ステップS703)。その後、CPU201は、後述するステップS709の処理を行う。
ステップS702の判別の結果、変更後の表示資料がPC103に初めて表示される資料でないとき、CPU201は、表示中のページ番号をRAM204に一時的に記憶させる(ステップS704)。その後、CPU201は、後述するステップS709の処理を行う。
ステップS701の判別の結果、ユーザが表示資料を変更しないとき、CPU201は、表示ページが変更されたか否かを判別する(ステップS705)。ステップS705では、CPU201は、ストレージ204に格納された複数の表示画像データの中から、資料ページ情報テーブル420の資料ページ開始時刻列421が最新のレコードに対応する表示画像データをストレージ204から読み出す。また、CPU201は、読み出した表示画像データとステップS520でPC103から受信した表示画像データとの画像差分を算出する。差分のある画素の数が予め定めた所定数以上である場合、CPU201は、表示ページが変更されたと判別する。一方、差分のある画素の数が上記所定数未満である場合、CPU201は、表示ページが変更されないと判別する。
ステップS705の判別の結果、表示ページが変更されないとき、CPU201は、本処理を終了する。ステップS705の判別の結果、表示ページが変更されたとき、CPU201は、受信した表示画像データの表示ページは1つ前のページであるか否かを判別する(ステップS706)。ステップS706では、CPU201は、資料ページ情報テーブル420において、資料ページ番号列423に受信した表示画像データに対応する資料の名称が設定されたレコードのうち、資料ページ開始時刻列421に二つ目に新しい時刻が設定されたレコードを特定する。CPU201は、特定したレコードに該当する表示画像データを、ストレージ204から読み出し、読み出した表示画像データとPC103から受信した表示画像データとの画像差分を計算する。差分のある画素の数が上記所定数以上である場合、CPU201は、受信した表示画像データの表示ページは1つ前のページでなく、次の新しいページであると判別する。一方、差分のある画素の数が上記所定数未満である場合、CPU201は、受信した表示画像データの表示ページは1つ前のページであると判別する。
ステップS706の判別の結果、受信した表示画像データの表示ページは1つ前のページであるとき、CPU201は、上記1つ前のページのページ番号をRAM204に一時的に記憶させる(ステップS707)。具体的に、CPU201は、上記1つ前のページのページ番号として、ステップS706で特定したレコードに含まれるページ番号をRAM204に記憶させる。その後、CPU201は、ステップS709の処理を行う。
ステップS706の判別の結果、受信した表示画像データの表示ページは1つ前のページでないとき、CPU201は、新しいページのページ番号をRAM204に一時的に記憶させる(ステップS708)。具体的に、CPU201は、新しいページのページ番号として、ステップS706で特定したレコードに含まれるページ番号に「1」を加算したページ番号をRAM204に記憶させる。
次いで、CPU201は、ページの変更を記録する(ステップS709)。具体的に、CPU201は、資料ページ情報テーブル420から、資料ページ開始時刻列421に最新の時刻が記録されたレコードを取得し、取得したレコードの資料ページ終了時刻列422に現在時刻を記録する。また、CPU201は、資料ページ情報テーブル420に新たなレコードを追加する。このレコードの資料ページ開始時刻列421には現在時刻が記録され、また、資料ページ番号列423にはPC103から受信した表示画像データに対応する資料のファイル名とRAM204に一時的に格納されたページ番号とを含む情報が記録される。次いで、CPU201は、PC103から受信した表示画像データをストレージ204に格納し(ステップS710)、本処理を終了する。
図8は、図1の会議サーバ102が管理する議事録元情報の一例を示す図である。図8(a)は、議事録元情報に含まれる発話テキスト情報テーブル800の一例を示す。図8(b)は、議事録元情報に含まれる記入テキスト情報テーブル810の一例を示す。図8(c)は、議事録元情報に含まれる会議テキスト情報テーブル820の一例を示す。図8(d)は、議事録元情報に含まれる議事情報テーブル830の一例を示す。
発話テキスト情報テーブル800は、会議情報に含まれる音声データに対する音声認識結果に関する情報(以下、「発話テキスト情報」という。)を記録するためのデータテーブルである。発話テキスト情報テーブル800は、発話時刻列801及び発話テキスト列802で構成される。CPU211は、音声データを解析してユーザの発話を特定し、発話毎にレコードを生成する。発話時刻列801には、ユーザが音声を発した発話時刻が記録される。発話テキスト列802には、CPU211が音声データを音声認識して得た発話テキストが記録される。なお、発話や発話時刻の特定方法については後述する。
記入テキスト情報テーブル810は、会議情報に含まれる画像データに対する文字認識結果に関する情報(以下、「記入テキスト情報」という。)を記録するためのデータテーブルである。記入テキスト情報テーブル810は、記入時刻列811及び記入テキスト列812で構成される。CPU211は、画像データを解析してユーザによる記入を特定し、記入毎にレコードを生成する。記入時刻列811には、ユーザの記入時刻が記録される。記入テキスト列812には、CPU211が画像データを文字認識して得た記入テキストが記録される。なお、記入や記入時刻の特定方法については後述する。
会議テキスト情報テーブル820は、会議においてCPU211が生成したテキストに関する情報(以下、「会議テキスト情報」という。)を記録するためのデータテーブルである。会議テキスト情報は、発話テキスト情報及び記入テキスト情報に基づいて生成される。会議テキスト情報テーブル820は、発生時刻列821、会議テキスト列822、及び要点列823で構成される。発生時刻列821には、会議テキスト情報の生成時刻が記録され、例えば、発話時刻列801又は記入時刻列811の時刻が記録される。会議テキスト列822には、会議においてCPU211が生成した発話テキストや記入テキスト等の会議テキストが記録され、例えば、発話テキスト列802又は記入テキスト列812のテキストが記録される。要点列823には、会議テキスト列822に記録された各テキストが会議における要点であるか否かを示す情報が記録される。上記要点は、会議において決定した事項や発生したアクションアイテム等である。なお、要点の判別方法については後述する。要点であるテキストを含むレコードの要点列823には、その旨を示す「1」が記録される。一方、要点であるテキストを含まないレコードの要点列823には、その旨を示す「0」が記録される。なお、CPU211は、会議テキスト情報テーブル820のレコードを発生時刻列821の値で昇順にソートする。つまり、会議テキスト情報テーブル820では、レコードが生成日の古い順に上位から配列する。
議事情報テーブル830は、1つの配信先に対して生成する議事情報を記録するためのデータテーブルである。議事情報テーブル830は、議題列831、要約テキスト列832、画像列833、及び表示画像列834で構成される。CPU211は、会議テキスト情報テーブル820における会議テキスト列822のテキストを議題毎に要約し、要約テキストを生成する。また、CPU211は、画像情報テーブル404から議事情報に含める画像データを選択し、また、資料ページ情報テーブル420から議事情報に含める表示画像データを選択する。議題列831には、議題名が記録される。要約テキスト列832には、CPU211が生成した要約テキストが記録される。画像列833には、選択した画像データのファイル名が記録される。画像データが複数選択された際には各画像データのファイル名がカンマで区切られる。表示画像列834には、選択した表示画像データのファイル名が記録される。表示画像データが複数選択された際には表示画像データのファイル名がカンマで区切られる。なお、本実施の形態では、複数の配信先に議事録を配信する場合、各配信先に対応する複数の議事情報テーブル830が生成される。
図9は、図1の会議サーバ102によって実行される議事録作成処理の手順を示すフローチャートである。図9の処理は、CPU211が、ストレージ214に記録されている会議サーバプログラムを読み出し、該会議サーバプログラムをRAM213に展開して実行することで実現される。また、図9の処理は、会議サーバ102が起動した際に開始される。
図9(a)において、CPU211は、外部インターフェース217を介して会議情報を受信したか否かを判別する(ステップS901)。
ステップS901の判別の結果、例えば、会議装置101から会議情報を受信したとき、CPU201は、受信した会議情報に含まれる音声データに対して音声認識を行い、発話テキストを生成する(ステップS902)。ステップS902では、CPU211は、音声データを先頭から走査して、音声データにおける無音区間を検出する。無音区間は、例えば、音声データの音圧が予め設定された閾値以下の状態が一定時間継続した区間である。以下では、或る無音区間と次の無音区間との間の区間を発話区間とする。CPU211は、各発話区間について音声認識を行って発話テキストを生成する。また、CPU211は、会議情報に含まれる音声情報テーブル400の録音開始時刻列401の時刻と、各発話区間の音声データの先頭からの経過位置とに基づいて各発話区間の発話時刻を計算する。CPU211は、このようにして得た各発話区間に関する情報を発話テキスト情報テーブル800に記録する。例えば、CPU211は、発話時刻及び発話テキストを、発話時刻列801及び発話テキスト列802に記録する。
次いで、CPU211は、受信した会議情報に含まれる画像データに対して文字認識を行い、記入テキストを生成する(ステップS903)。ステップS903では、CPU211は、会議情報に含まれる画像情報テーブル404のレコードを順に走査し、次の処理を行う。まず、CPU211は、画像情報テーブル404のレコードを、撮影時刻列405の値で昇順にソートする。これにより、画像情報テーブル404では、レコードが撮影日の古い順に上位から配列する。CPU211は、画像情報テーブル404の中から参照したレコードの画像データ列406が示す画像データと、1つ前のレコードの画像データ列406が示す画像データとの画像差分を算出する。算出した結果に基づいて、CPU211は、1つ前のレコードに該当する撮影から現在参照しているレコードに該当する撮影までの間にユーザが記入した文字が含まれる部分画像を検出する。CPU211は、検出した部分画像に対して文字認識を行い、当該部分画像における記入テキストを生成する。また、CPU211は、現在参照しているレコードの撮影時刻列405に当該画像差分を算出した時刻を記録する。CPU211は、このようにして得た各画像差分に関する情報を記入テキスト情報テーブル810に記録する。例えば、CPU211は、記入時刻及び記入テキストを、記入時刻列811及び記入テキスト列812に記録する。
次いで、CPU211は、生成した発話テキスト及び記入テキストに基づいて会議テキストを生成する(ステップS904)。ステップS904では、CPU211は、次の処理を行う。まず、CPU211は、発話テキスト情報テーブル800に含まれる全てのレコードを会議テキスト情報テーブル820に記録する。具体的に、CPU211は、発話時刻列801の発話時刻を発生時刻列821に記録し、また、発話テキスト列802の発話テキストを会議テキスト列822に記録する。さらに、CPU211は、記入テキスト情報テーブル810に含まれる全てのレコードを会議テキスト情報テーブル820に記録する。具体的に、CPU211は、記入時刻列811の記入時刻を発生時刻列821に記録し、また、記入テキスト列812の記入テキストを会議テキスト列822に記録する。その後、CPU211は、会議テキスト情報テーブル820のレコードを発生時刻列821の値で昇順にソートする。これにより、会議テキスト情報テーブル820では、レコードがテキストの生成日の古い順に上位から配列する。
次いで、CPU211は、図9(b)の要点抽出処理を実行し(ステップS905)、要点抽出処理では、CPU211は、ステップS921〜S925の処理を行って、ステップS904で生成した会議テキストから要点を抽出する。
図9(b)において、CPU211は、会議テキストを選択する(ステップS921)。具体的に、CPU211は、会議テキスト情報テーブル820に記録されたレコードの中から処理の対象となる1つのレコードを選択する。ステップS921では、会議テキスト情報テーブル820に記録された先頭のレコードから順にレコードが選択される。次いで、CPU211は、選択した会議テキストが要点であるか否かを判別する(ステップS922)。ステップS922では、例えば、選択した会議テキストに予め設定された特定のキーワードが含まれる場合、CPU211は、選択した会議テキストが要点であると判別する。特定のキーワードは、例えば「決定事項」、「アクションアイテム」、及び「宿題」である。一方、選択した会議テキストに上記特定のキーワードが含まれない場合、CPU211は、選択した会議テキストが要点でないと判別する。
ステップS922の判別の結果、選択した会議テキストが要点であるとき、CPU211は、選択した会議テキストが要点である旨を記録する(ステップS923)。具体的に、CPU211は、ステップS921で選択したレコードの要点列823に要点である旨を示す「1」を記録する。その後、CPU211は、後述するステップS925の処理を行う。
ステップS922の判別の結果、選択した会議テキストが要点でないとき、CPU211は、選択した会議テキストが要点でない旨を記録する(ステップS924)。具体的に、CPU211は、ステップS921で選択したレコードの要点列823に要点でない旨を示す「0」を記録する。次いで、CPU211は、会議テキスト情報テーブル820の全ての会議テキストについて処理したか否かを判別する(ステップS925)。
ステップS925の判別の結果、会議テキスト情報テーブル820の何れかの会議テキストについて処理しないとき、CPU211は、ステップS921の処理に戻る。ステップS925の判別の結果、会議テキスト情報テーブル820の全ての会議テキストについて処理したとき、CPU211は、要点抽出処理を終了し、図9(a)のステップS906の処理を行う。
図9(a)に戻り、CPU211は、ステップS906において、会議概要情報を生成する。会議概要情報は、会議開催日時及び会議の出欠リストを含む。ステップS906では、具体的に、CPU211は、音声情報テーブル400の録音開始時刻列401の時刻と録音終了時刻列402の時刻とに基づいて会議開催日時を生成する。また、CPU211は、配信先情報テーブル411に基づいて会議の出欠リストを生成する。例えば、CPU211は、出欠列413が「出席」であり且つ議題名列414が空欄であるレコードに相当する配信先を、会議に全参加したことを示すように出欠リストに含める。出欠列413が「出席」であり且つ議題名列414に議題名が記録されたレコードに相当する配信先を、会議に部分参加したことを示すように出欠リストに含める。出欠列413が「欠席」であり且つ議題名列414が空欄であるレコードに相当する配信先を、会議を欠席したことを示すように出欠リストに含める。出欠リストでは、配信先を示す文字列として、例えば、配信先情報テーブル411の配信先列412に記録されたメールアドレス、当該メールアドレスから@以降の文字列を削除した文字列、又は配信先情報テーブル411以外の他の情報テーブルに記録された配信先を示すユーザ名が使用される。CPU211は、生成した会議概要情報をRAM213に一時的に格納する。
次いで、CPU211は、配信先を選択する(ステップS907)。具体的に、CPU211は、配信先情報テーブル411の中から処理の対象となる1つのレコードを選択する。ステップS907では、配信先情報テーブル411に記録された先頭のレコードから順にレコードが選択される。次いで、CPU211は、図9(c)の議事情報生成処理を実行する(ステップS908)。議事情報生成処理では、CPU211は、ステップS941〜S947の処理を行い、選択したレコードの配信先列412の配信先に対する議事情報を生成する。議事情報は、要約テキスト、画像データ、及び表示画像データを含む。
図9(c)において、CPU211は、選択した配信先に対応する議事情報テーブル830を生成し、また、選択した配信先と会議の関係性を決定する(ステップS941)(関係性決定手段)。ステップS941では、CPU211は、ステップS907で選択したレコードの出欠列413、議題名列414、及び立場列415の各値に基づいて上記関係性を決定する。例えば、CPU211は、出欠列413が「出席」であり且つ議題名列414が空欄であるレコードに相当する配信先と会議の関係性を「全参加」に決定する。CPU211は、出欠列413が「出席」であり且つ議題名列414に議題名が記録されたレコードに相当する配信先と会議の関係性を「部分参加」に決定する。CPU211は、出欠列413が「欠席」であり且つ議題名列414が空欄であるレコードに相当する配信先と会議の関係性を「欠席」に決定する。また、CPU211は、出欠列413及び議題名列414の値に関わらず、立場列415が「主導」であるレコードに相当する配信先と会議の関係性を、会議の主導者であることを示す「主導」に決定する。一方、CPU211は、出欠列413及び議題名列414の値に関わらず、立場列415が「監督」であるレコードに相当する配信先と会議の関係性を、会議の監督者であることを示す「監督」に決定する。
次いで、CPU211は、議題を選択する(ステップS942)。具体的に、CPU211は、議題情報テーブル407の中から処理の対象となる1つのレコードを選択する。ステップS942では、議題情報テーブル407に記録された先頭のレコードから順にレコードが選択される。また、CPU211は、ステップS942で選択したレコードの議題名列410の値を、議事情報テーブル830の議題列831に記録する。次いで、CPU211は、ステップS942で選択した議題に該当する会議テキストを会議テキスト情報テーブル820から抽出する(ステップS943)。ステップS943では、CPU211は、会議テキスト情報テーブル820に記録されたレコードのうち、発生時刻列821の時刻がステップS942で選択したレコードの議題開始時刻列408の時刻から議題終了時刻列409の時刻までの間のレコードを抽出する。次いで、CPU211は、抽出した会議テキストを要約するための要約率を設定する(ステップS944)。ステップS944では、ステップS941で決定された会議の関係性に基づいて要約率が設定される。要約率は、要約元のテキストと要約結果のテキストとのバイト数や文字数等のサイズの比率である。要約率の数値が大きい程、要約結果は要約元のテキストに含まれる情報をより多く含む。
例えば、ステップS941で会議の関係性が「欠席」と決定される配信先は、会議の欠席者である。欠席者には、会議の内容を詳細に把握できるように、より多くの情報を含む議事録を配信するのが好ましい。これに対し、本実施の形態では、CPU211は、ステップS941で会議の関係性が「欠席」と決定された配信先の議事録に含まれる要約テキストを生成するための要約率を75%に設定する。
ステップS941で会議の関係性が「全参加」と決定される配信先は、会議における全ての議題に参加した全参加者である。全参加者は、会議に参加した時の記憶があるため、議事録を備忘や念のための振り返りの用途に用いると考えられる。このため、全参加者には、欠席者程では無いが、会議の内容を想起させることが可能な程度の情報を含む議事録を配信するのが好ましい。これに対し、本実施の形態では、CPU211は、ステップS941で会議の関係性が「全参加」と決定された配信先の議事録に含まれる要約テキストを生成するための要約率を50%に設定する。
ステップS941で会議の関係性が「部分参加」と決定される配信先は、会議における一部の議題のみに参加した部分参加者である。部分参加者には、参加した議題に関して全参加者に配信する議事録と同程度の情報を含む議事録を送信するのが好ましい。一方、不参加の議題に関して部分参加者にとって必ずしも必要な情報ではないので、不参加の議題に関して情報共有や参考情報として参照する程度の情報に留めるのが好ましい。これに対し、本実施の形態では、CPU211は、ステップS941で会議の関係性が「部分参加」と決定される配信先の議事録に含まれる要約テキストを生成するための要約率を参加議題に関して50%に設定し、不参加議題に関して要約率を20%に設定する。
ステップS941で会議の関係性が「主導」と決定される配信先は、会議の主導者である。会議の主導者には、会議の後に議事録を参照して次回の会議に反映させるための振り返りを行うことができるように、全参加者に配信する議事録より多くの情報を含む議事録を送信するのが好ましい。これに対し、本実施の形態では、CPU211は、ステップS941で会議の関係性が「主導」と決定された配信先の議事録に含まれる要約テキストを生成するための要約率を60%に設定する。
ステップS941で会議の関係性が「監督」と決定される配信先は、会議の監督者である。会議の監督者は、複数の会議体に対して監督責任を負っている可能性が極めて高い。このため、会議の監督者には、要点をまとめた情報量の少ない議事録を配信するのが好ましい。これに対し、本実施の形態では、CPU211は、ステップS941で会議の関係性が「監督」と決定された配信先の議事録に含まれる要約テキストを生成するための要約率を10%に設定する。このように、本実施の形態では、配信先となるユーザと会議との関係性に基づいて当該配信先に配信される議事録に含まれる要約テキストを生成するための要約率が制御される。次いで、CPU211は、後述する図11の要約テキスト生成処理を実行し、設定した要約率に基づいて要約テキストを生成する。
なお、本実施の形態では、ステップS941で会議の関係性が「部分参加」と決定される配信先に対する要約テキストを生成する場合、CPU211は、ステップS942で選択した議題が、参加議題及び不参加議題の何れであるかを判別する。ステップS942で選択したレコードの議題名列410の議題名が、ステップS907で選択したレコードの議題名列414に含まれる場合、CPU211は、ステップS942で選択した議題が参加議題であると判別する。一方、ステップS942で選択したレコードの議題名列410の議題名が、ステップS907で選択したレコードの議題名列414に含まれない場合、CPU211は、ステップS942で選択した議題が不参加議題であると判別する。
次いで、CPU211は、ステップS941の決定に基づいて議事情報に含める画像データの選択処理を行う(ステップS945)。ステップS945では、例えば、ステップS941で決定した関係性が「全参加」、「欠席」、及び「主導」の何れかである場合、CPU211は、ステップS942で選択したレコードの議題名列410に記録された議題に対応する全ての画像データを選択する。具体的に、CPU211は、画像情報テーブル404において、撮影時刻列405の時刻が、ステップS942で選択したレコードの議題開始時刻列408の時刻から議題終了時刻列409の時刻までの間のレコードが示す画像データを選択する。ステップS941で決定した関係性が「部分参加」であり且つステップS942で選択したレコードの議題名列410に記録された議題が参加議題である場合、CPU211は、当該議題に該当する画像データを選択する。ステップS941で決定した関係性が「部分参加」であり且つステップS942で選択したレコードの議題名列410に記録された議題が不参加議題である場合、又はステップS941で決定した関係性が「監督」である場合、CPU211は、画像データを選択しない。CPU211は、選択した画像データのファイル名を議事情報テーブル830の画像列833に記録する。なお、複数の画像データを選択した場合、画像列833では、各画像データのファイル名がカンマで区切られる。
次いで、CPU211は、ステップS941の決定に基づいて議事情報に含める表示画像データの選択処理を行う(ステップS946)。ステップS946では、例えば、ステップS941で決定した関係性が「全参加」である場合、CPU211は、ステップS942で選択した議題に該当する表示画像データのうち、注目度が最も高かった表示画像データを選択する。CPU211は、例えば、資料ページ情報テーブル420における資料ページ開始時刻列421及び資料ページ終了時刻列422から各ページの表示時間を算出し、表示時間が最も長いページの表示画像データを注目度が最も高かった表示画像データとして選択する。このように、本実施の形態では、配信先となるユーザと会議との関係性に基づいて当該配信先に配信される議事録に含まれる画像データ及び表示画像データの数が制御される。
また、ステップS946では、ステップS941で決定した関係性が「部分参加」である場合、ステップS942で選択した議題が参加議題及び不参加議題の何れであるかに基づいてCPU211は異なる処理を行う。ステップS942で選択した議題が参加議題である場合、CPU211は、ステップS942で選択した議題に該当する表示画像データのうち、注目度が最も高かった表示画像データを選択する。一方、ステップS942で選択した議題が不参加議題である場合、CPU211は、表示画像データを選択しない。
さらに、ステップS946では、ステップS941で決定した関係性が「欠席」及び「主導」の何れかである場合、CPU211は、ステップS942で選択した議題に該当する全ての表示画像データを選択する。ステップS941で決定した関係性が「監督」である場合、CPU211は、表示画像データを選択しない。CPU211は、選択した表示画像データのファイル名を議事情報テーブル830の表示画像列834に記録する。なお、複数の表示画像データが選択された場合、表示画像列834では、各表示画像データのファイル名がカンマで区切られる。次いで、CPU211は、議題情報テーブル407の全ての議題について処理したか否かを判別する(ステップS947)。
ステップS947の判別の結果、議題情報テーブル407の何れかの議題について処理しないとき、CPU211は、ステップS942の処理に戻る。ステップS947の判別の結果、議題情報テーブル407の全ての議題について処理したとき、CPU211は、議事情報生成処理を終了し、図9(a)のステップS909の処理を行う。
図9(a)に戻り、ステップS909において、CPU211は、PC103から受信した会議情報、並びに生成した会議概要情報及び議事情報に基づいて図10の議事録1000を作成する(ステップS909)(議事録作成手段)。議事録1000は、議事テキストデータ1010及び貼付画像データ群1020で構成される。議事テキストデータ1010は、会議概要1011、要点一覧1012、議題名1013、1015、要約テキスト1014、1016を含む。CPU211は、ステップS906の処理で生成した会議概要情報を会議概要1011に出力する。会議概要1011には、会議開催日時及び出欠リストが含まれる。なお、会議概要1011において、立場が「主導」である人物に対し、議事録1000に特別な記号、例えば、「○」が付与されても良い。要点一覧1012は、会議テキスト情報テーブル820のレコードのうち、要点列823が「1」であるレコードの会議テキスト列822のテキストの一覧である。議題名1013、1015は、議事情報テーブル830の議題列831に記録された議題名である。要約テキスト1014、1016は、議事情報テーブル830の要約テキスト列832に記録されたテキストである。貼付画像データ群1020には、議事情報テーブル830の画像列833に記録されたファイル名の画像データや、表示画像列834に記録されたファイル名の表示画像データが含まれる。なお、貼付画像データ群1020に含まれる画像データや表示画像データは、議題毎に区分けしてもよい。例えば、アジェンダ毎にZIPファイルにアーカイブしても良く、また、アジェンダ毎に1つのファイルに統合しても良い。
次いで、CPU211は、議事録1000を、ステップS907で選択した配信先に配信する(ステップS910)。議事録1000は、例えば、電子メールで送信される。CPU211は、電子メールの本文に議事テキストデータ1010を入力し、貼付ファイルに貼付画像データ群1020を入力して、電子メールを送信する。
次いで、CPU211は、配信先情報テーブル411に記録された全ての配信先に議事録を配信したか否かを判別する(ステップS911)。
ステップS911の判別の結果、配信先情報テーブル411に記録された何れかの配信先に議事録を配信しないとき、CPU211は、ステップS907の処理に戻る。ステップS911の判別の結果、配信先情報テーブル411に記録された全ての配信先に議事録を配信したとき、CPU211は、ステップS901の処理に戻る。
ステップS901の判別の結果、会議情報を受信しないとき、CPU201は、ユーザが会議終了を指示したか否かを判別する(ステップS912)。ステップS912では、例えば、外部インターフェース217を介して別のPC(不図示)から会議終了の指示を受信した場合、CPU211は、ユーザが会議終了を指示したと判別する。一方、外部インターフェース217を介して別のPCから会議終了の指示を受信しない場合、CPU211は、ユーザが会議終了を指示しないと判別する。
ステップS912の判別の結果、ユーザが会議終了を指示しないとき、CPU211は、ステップS901の処理に戻る。ステップS912の判別の結果、ユーザが会議終了を指示したとき、CPU211は、本処理を終了する。
図11は、図9のステップS944、S945の間に実行される要約テキスト生成処理の手順を示すフローチャートである。
図11において、CPU211は、会議テキスト情報テーブル820の中から、ステップS942で選択した議題に対応するレコードを処理対象のレコードとして参照する。CPU211は、処理対象のレコードの会議テキスト列822に記録された会議テキストを構成する単語の重要度を算出する(ステップS1101)。CPU211は、例えば、各単語の出現頻度に基づいて各単語の重要度を算出する。ステップS1101では、出現頻度が高い単語程、重要度が高い単語であると算出される。重要度は、例えば、数値で表現される。
次いで、CPU211は、会議テキスト列822に記録された会議テキストの重要度を算出する(ステップS1102)。ステップS1102では、CPU211は、ステップS1101で算出した各単語の重要度を参照し、会議テキストに含まれる各単語の重要度の合計値を算出することで、当該会議テキストの重要度を算出する。次いで、CPU211は、会議テキスト列822に記録された会議テキストの中から重要度が高い会議テキストを抽出する(ステップS1103)。ステップS1103では、CPU211は、会議テキスト列822に記録された会議テキストのうち、重要度が予め設定された基準重要度以上の会議テキストを重要度が高い会議テキストとして抽出する。次いで、CPU211は、抽出した会議テキストを結合して要約テキストを生成する。次いで、CPU211は、生成した要約テキストが、ステップS944で設定した要約率で要約されているか否かを判別する(ステップS1104)。ステップS1104では、CPU211は、例えば、処理対象となる全てのレコードの会議テキスト列822の会議テキストのバイト数の総量と、生成した要約テキストのバイト数とに基づいて要約実施率を算出する。CPU211は、算出した要約実施率とステップS944で設定した要約率とを比較する。これらの差が予め定めた基準値以内である場合、CPU211は、生成した要約テキストが、ステップS944で設定した要約率で要約されていると判別する。一方、上記差が上記基準値を超える場合、CPU211は、生成した要約テキストがステップS944で設定した要約率で要約されていないと判別する。
ステップS1104の判別の結果、生成した要約テキストがステップS944で設定した要約率で要約されていないとき、CPU211は、処理対象のレコード及びステップS1103で参照した会議テキストの基準重要度を更新する(ステップS1105)。例えば、CPU211は、処理対象のレコードを、ステップS1103で抽出したレコードに更新する。次いで、CPU211は、ステップS1103の処理に戻る。なお、本実施の形態において、要約テキストの生成は、上述した方法に限られず、例えば、「情報処理学会研究報告 Vol.2016−NL−227 No.5」に掲載されたディープラーニング技術を用いた方法を適用してもよい。
ステップS1104の判別の結果、生成した要約テキストがステップS944で設定した要約率で要約されているとき、CPU211は、本処理を終了する。
上述した実施の形態によれば、配信先となるユーザと会議との関係性に基づいて当該配信先に配信される議事録の情報量が制御される。これにより、配信先に適切な情報量の議事録を配信することができる。
また、上述した実施の形態では、会議の欠席者に配信する議事録の情報量は、会議の参加者に配信する議事録の情報量より多い。これにより、会議の欠席者に対し、議論した内容を理解可能な情報量の議事録を配信することができる。
さらに、上述した実施の形態では、部分参加者に配信する議事録の情報量は、全参加者に配信する議事録の情報量より少ない。これにより、部分参加者に対し、当該部分参加者にとって不要と思われる不参加の議題に関する情報を削った議事録を配信することができる。
上述した実施の形態では、会議の主導者に配信する議事録の情報量は、会議の主導者以外の会議の参加者に配信する議事録の情報量より多い。これにより、会議の主導者に対し、次回の会議に反映させるための振り返りを行うために必要な情報を盛り込んだ議事録を配信することができる。
また、上述した実施の形態では、会議の監督者に配信する議事録の情報量は、会議の監督者以外の配信先に配信する議事録の情報量より少ない。これにより、会議の監督者に対し、当該会議の監督者にとって不要と思われる議論の詳細な内容を削った議事録を配信することができる。
上述した実施の形態では、配信先となるユーザと会議との関係性に基づいて当該配信先に配信される議事録に含まれる要約テキストを生成するための要約率が制御される。また、配信先となるユーザと会議との関係性に基づいて当該配信先に配信される議事録に含まれる画像データ及び表示画像データの数が制御される。これにより、会議における重要な情報を含む議事録であって各配信先に適切な情報量の議事録を配信することができる。
以上、本発明について、上述した実施の形態を用いて説明したが、本発明は上述した実施の形態に限定されるものではない。例えば、配信先に当たる人物の会議への参加状況と立場を、ユーザが入力するのではなく、会議装置101が周囲の人物を検出した結果に基づいて記録しても良い。
ここで、会議装置101のカメラデバイス208は、360°方向を撮影可能である。また、会議装置101のマイクデバイス209は、周囲360°に指向性のあるマイクアレイである。会議装置101は、カメラデバイス208を用いて360°方向を撮影し、また、マイクデバイス209を用いて、会議装置101の周囲で発せられた音声の方向を特定する。なお、カメラデバイス208及びマイクデバイス209は、ハードウェア構成として会議装置101の所定の位置に固定されている。
図12は、図1の会議装置101がストレージ204に格納する会議情報の一例を示す図である。図12(a)は、会議情報に含まれる滞在状況情報テーブル1200の一例を示す。図12(b)は、会議情報に含まれる話者情報テーブル1210の一例を示す。会議装置101は、図4に示す各データテーブルの他に、図12に示すデータテーブルを会議情報として記録する。
滞在状況情報テーブル1200は、会議装置101がカメラデバイス208によって撮影した画像等に基づいて検出した人物の滞在状況(以下、「滞在状況情報」という。)を記録するためのデータテーブルである。滞在状況情報テーブル1200は、人物列1201、滞在開始時刻列1202、及び滞在終了時刻列1203で構成される。人物列1201には、会議装置101が検出した人物の識別情報が記録される。なお、本実施の形態では、例えば、会議に参加予定の全ての人物の識別情報が会議装置101に予め登録され、登録された人物の識別情報がストレージ204に格納されている。会議装置101は、ストレージ204に格納された識別情報の中から、検出した人物の識別情報を特定し、特定した識別情報を人物列1201に記録する。滞在開始時刻列1202には、人物列1201の識別情報が示す人物が会議装置101の周辺に滞在し始めた時刻が記録される。滞在終了時刻列1203には、人物列1201の識別情報が示す人物が会議装置101の周辺から離れて滞在し終えた時刻が記録される。
話者情報テーブル1210は、会議装置101が記録する話者の変更に関する情報(以下、「話者情報」という。)を記録するデータテーブルである。話者情報テーブル1210は、発言開始時刻列1211、発言終了時刻列1212、及び人物列1213で構成される。発言開始時刻列1211には、話者が発言を開始した時刻が記録される。発言終了時刻列1212には、話者が発言を終了した時刻が記録される。人物列1213には、発言した話者を区別するための情報が記録される。人物列1213には、滞在状況情報テーブル1200の人物列1201に記録される識別情報に対応する情報が記録される。
図13は、図5の会議情報記録処理の変形例の手順を示すフローチャートである。図13(a)において、CPU201は、ステップS501の処理を実行する。次いで、CPU201は、ステップS502、S518を並列で実行する。
図13(c)において、CPU201は、ステップS518〜S521の処理を実行する。次いで、CPU201は、図14の人物検出処理を実行する(ステップS1301)。
図14は、図13(c)のステップS1301の人物検出処理の手順を示すフローチャートである。
図14において、CPU201は、カメラデバイス208により、会議装置101の周囲360°を撮影し(ステップS1401)、広角撮影画像を取得する。次いで、CPU201は、取得した広角撮影画像の中から顔を検出する処理を開始する(ステップS1402)。顔の検出方法として、例えば、Haar−Like特徴に基づく識別器を用いる方法が用いられる。会議装置101の周囲に複数の人物が滞在する場合、CPU201は、複数の顔を検出する。次いで、CPU201は、検出された顔部分を切り出して顔画像を生成する。次いで、CPU201は、取得した広角撮影画像の中から顔を検出したか否かを判別する(ステップS1403)。
ステップS1403の判別の結果、取得した広角撮影画像の中から顔を検出しないとき、CPU201は、後述するステップS1409の処理を行う。ステップS1403の判別の結果、取得した広角撮影画像の中から顔を検出したとき、CPU201は、生成した顔画像の中から1つの顔画像を選択する(ステップS1404)。次いで、CPU201は、選択した顔画像の人物を特定する(ステップS1405)。ステップS1405では、CPU201は、例えば、特定の候補として予め取得した人物の顔画像と選択した顔画像とのマッチングを行うことで、顔画像の人物を特定する。CPU201は、特定した人物の識別情報をRAM204に一時的に記憶させ、さらに、広角撮影画像における上記選択した顔画像の位置情報をRAM204に一時的に記憶させる。
次いで、CPU201は、特定した人物が新たに検出された人物であるか否かを判別する(ステップS1406)。ステップS1406では、滞在状況情報テーブル1200において、人物列1201の識別情報がステップS1405で特定した人物の識別情報と合致するレコードが含まれない場合、CPU201は、特定した人物が新たに検出された人物であると判別する。一方、滞在状況情報テーブル1200において、人物列1201の識別情報がステップS1405で特定した人物の識別情報と合致し且つ滞在終了時刻列1203が空欄であるレコードが含まれている場合、CPU201は、特定した人物が新たに検出された人物でないと判別する。
ステップS1406の判別の結果、特定した人物が新たに検出された人物でないとき、CPU201は、後述するステップS1408の処理を行う。ステップS1406の判別の結果、特定した人物が新たに検出された人物であるとき、CPU201は、新たに検出された人物の滞在状況情報を記録する(ステップS1407)。具体的に、CPU201は、滞在状況情報テーブル1200にレコードを追加する。追加したレコードの人物列1201には、ステップS1405で取得した人物の識別情報が記録され、また、滞在開始時刻列1202には、現在時刻が記録される。次いで、CPU201は、検出した全ての顔について処理したか否かを判別する(ステップS1408)。
ステップS1408の判別の結果、検出した何れかの顔について処理しないとき、CPU201は、ステップS1404の処理に戻る。ステップS1408の判別の結果、検出した全ての顔について処理したとき、CPU201は、滞在状況情報テーブル1200から滞在状況情報を選択する(ステップS1409)。具体的に、CPU201は、滞在状況情報テーブル1200に記録されたレコードの中から処理の対象となる1つのレコードを選択する。ステップS1409では、滞在状況情報テーブル1200に記録された先頭のレコードから順にレコードが選択される。
次いで、CPU201は、選択した滞在状況情報が滞在未終了を示すか否かを判別する(ステップS1410)。ステップS1410では、例えば、ステップS1409で選択したレコードの滞在終了時刻列1203が空欄である場合、CPU201は、選択した滞在状況情報が滞在未終了を示すと判別する。一方、ステップS1409で選択したレコードの滞在終了時刻列1203が空欄でない場合、CPU201は、選択した滞在状況情報が滞在未終了を示さないと判別する。
ステップS1410の判別の結果、選択した滞在状況情報が滞在未終了を示すとき、CPU201は、ステップS1409で選択したレコードの人物列1201の識別情報に該当する人物を特定済みであるか否かを判別する(ステップS1411)。ステップS1411では、ステップS1405でRAM204に一時的に記憶された人物の識別情報の中に、ステップS1409で選択したレコードの人物列1201の識別情報と一致する識別情報が含まれる場合、CPU201は、ステップS1409で選択したレコードの人物列1201の識別情報に該当する人物を特定済みであると判別する。一方、RAM204に一時的に記憶された人物の識別情報の中に、ステップS1409で選択したレコードの人物列1201の識別情報と一致する識別情報が含まれない場合、CPU201は、ステップS1409で選択したレコードの人物列1201の識別情報に該当する人物を特定済みでないと判別する。
ステップS1411の判別の結果、ステップS1409で選択したレコードの人物列1201の識別情報に該当する人物を特定済みであるとき、CPU201は、ステップS1409の処理に戻る。ステップS1411の判別の結果、ステップS1409で選択したレコードの人物列1201の識別情報に該当する人物を特定済みでないとき、CPU201は、選択した滞在状況情報を滞在終了の候補として記録する(ステップS1412)。具体的に、CPU201は、ステップS1409で選択したレコードの滞在終了時刻列1203に、滞在終了の候補を示す「P:」等の特定の記号を接頭辞とした現在時刻を記録する。例えば、会議装置101に検出された一の人物が、後ろを向く等の動作を行った場合、ステップS1401で撮影した広角撮影画像に顔が映らないことがある。このような場合、会議装置101は、一の人物を一時的に検出できなかっただけであるにも関わらず、一の人物が滞在を終了したと誤って判別してしまう。このような誤った判別を行わないように、本実施の形態では、ステップS1412の処理が行われる。次いで、CPU201は、ステップS1409の処理に戻る。
ステップS1410の判別の結果、選択した滞在状況情報が滞在未終了を示さないとき、CPU201は、選択した滞在状況情報が滞在終了の候補であるか否かを判別する(ステップS1413)。ステップS1413では、ステップS1409で選択したレコードの滞在終了時刻列1203に上記特定記号を接頭辞とした時刻が記録されている場合、CPU201は、選択した滞在状況情報が滞在終了の候補であると判別する。一方、ステップS1409で選択したレコードの滞在終了時刻列1203に上記特定記号を接頭辞とした時刻が記録されていない場合、CPU201は、選択した滞在状況情報が滞在終了の候補でないと判別する。
ステップS1413の判別の結果、選択した滞在状況情報が滞在終了の候補でないとき、CPU201は、ステップS1409の処理に戻る。ステップS1413の判別の結果、選択したレコードが滞在終了の候補であるとき、CPU201は、ステップS1409で選択したレコードの人物列1201の識別情報に該当する人物を特定済みであるか否かを判別する(ステップS1414)。ステップS1415では、ステップS1411と同様の判別処理が行われる。
ステップS1414の判別の結果、ステップS1409で選択したレコードの人物列1201の識別情報に該当する人物を特定済みであるとき、CPU201は、選択した滞在状況情報が滞在終了の候補であることを取り消す(ステップS1415)。具体的に、CPU201は、ステップS1409で選択したレコードの滞在終了時刻列1203を空欄に設定する。ステップS1415の処理により、一時的に検出されない状態の人物を再度検出した際に、当該人物を滞在状態として管理することが可能となる。
ステップS1414の判別の結果、ステップS1409で選択したレコードの人物列1201の識別情報に該当する人物を特定済みでないとき、CPU201は、選択した滞在状況情報を滞在終了とするか否かを判別する(ステップS1416)。ステップS1416では、CPU201は、ステップS1409で選択したレコードの滞在終了時刻列1203の時刻から上記特定記号を削除した時刻と現在時刻とを比較する。比較した結果、当該レコードの滞在終了時刻列1203の時刻から予め設定された所定の時間が経過していた場合、CPU201は、選択した滞在状況情報を滞在終了とすると判別する。一方、上記レコードの滞在終了時刻列1203の時刻から上記所定の時間が経過していない場合、CPU201は、選択した滞在状況情報を滞在終了としないと判別する。
ステップS1416の判別の結果、選択した滞在状況情報を滞在終了としないとき、CPU201は、ステップS1409の処理に戻る。ステップS1416の判別の結果、選択した滞在状況情報を滞在終了とするとき、CPU201は、選択した滞在状況情報に滞在終了を記録する(ステップS1417)。具体的に、CPU201は、ステップS1409で選択したレコードの滞在終了時刻列1203に現在時刻を記録する。このように、所定時間経過後に滞在終了とすることで、人物を一時的に検出できない状態と、実際に滞在終了した状態とを区別することができる。次いで、CPU201は、ステップS1409の処理に戻る。CPU201は、会議情報記録処理を終了するまで、人物検出処理の実行を継続する。
図13(c)に戻り、CPU201は、ステップS1301の処理と並列で、話者が変更したか否かを判別する(ステップS1302)。ステップS1302では、CPU201は、マイクデバイス209により発話方向を取得する。なお、本実施の形態では、上述した通り、カメラデバイス208とマイクデバイス209との位置関係は固定的である。これにより、会議装置101では、マイクデバイス209によって取得される発話方向と、カメラデバイス208が撮影して得られる広角撮影画像の水平方向の領域とのマッチングを実施可能である。例えば、マイクデバイス209が4方向の発話方向を取得可能であるとする。また、カメラデバイス208が撮影して得られる広角撮影画像を水平方向に4等分し、4等分した各領域をマイクデバイス209が取得可能な各発話方向と対応するように、カメラデバイス208とマイクデバイス209との位置関係が構成されていることとする。このような構成では、CPU201は、カメラデバイス208が撮影して得られる広角撮影画像において、マイクデバイス209が取得する発話方向に該当する領域を特定することができる。CPU201は、広角撮影画像においてマイクデバイス209が取得した発話方向に該当する領域、つまり、広角撮影画像において話者の画像が含まれる領域を特定する。また、CPU201は、図14のステップS1402で顔を検出された人物の識別情報及び当該人物の顔画像の位置情報を参照し、特定した領域に対応する位置の顔画像及び当該顔画像に対応する人物の識別情報を取得する。CPU201は、取得した人物の識別情報と、話者情報テーブル1210の最新のレコード、すなわち、発言開始時刻列1211の時刻が最も新しいレコードの人物列1213の識別情報とを比較する。比較した結果、二つの識別情報が一致した場合、CPU201は、話者が変更しないと判別する。一方、二つの識別情報が一致しない場合、CPU201は、話者が変更したと判別する。
ステップS1302の判別の結果、話者が変更しないとき、CPU201は、ステップS522以降の処理を行う。ステップS1302の判別の結果、話者が変更したとき、CPU201は、話者の変更を記録する(ステップS1303)。具体的に、CPU201は、話者情報テーブル1210の最新レコードの発言終了時刻列1212に現在時刻を記録する。また、CPU201は、話者情報テーブル1210において、発言開始時刻列1221に現在時刻を記録し、さらに、人物列1213にステップS1302で取得した人物の識別情報を記録した新たなレコードを追加する。次いで、CPU201は、ステップS522以降の処理を行う。
一方、CPU201は、ステップS518と並列で、図13(b)のステップS502の処理を実行する。次いで、CPU201は、図13(b)に示すように、ステップS503〜S517の処理を行う。次いで、CPU201は、図15(a)の参加状況決定処理を実行する(ステップS1304)。
図15(a)において、CPU201は、配信先情報テーブル411から配信先を選択する(ステップS1501)。具体的に、CPU201は、配信先情報テーブル411に記録されたレコードの中から処理の対象となる1つのレコードを選択する。ステップS1501では、配信先情報テーブル411に記録された先頭のレコードから順にレコードが選択される。次いで、CPU201は、議題情報テーブル407から議題を選択する(ステップS1502)。具体的に、CPU201は、議題情報テーブル407に記録されたレコードの中から処理の対象となる1つのレコードを選択する。ステップS1502では、議題情報テーブル407に記録された先頭のレコードから順にレコードが選択される。
次いで、CPU201は、滞在状況情報テーブル1200の中から、選択した配信先に該当する滞在状況情報を抽出する(ステップS1503)。本実施の形態において、会議装置101のストレージ204には、滞在状況情報テーブル1200の人物列1201に記録する人物の識別情報と、配信先情報テーブル411の配信先列412に記録する配信先との関連テーブル(不図示)が予め格納されている。CPU201は、この関連テーブルを参照し、ステップS1501で選択したレコードの配信先列412の配信先に該当する人物の識別情報を取得する。CPU201は、滞在状況情報テーブル1200の中から、取得した人物の識別情報と一致する識別情報を含む1つ以上のレコードを抽出する。
次いで、CPU201は、選択した配信先に当たる人物における、選択した議題への参加有無を決定する(ステップS1504)。ステップS1504では、CPU201は、ステップS1502で選択したレコードにおける議題開始時刻列408の時刻から議題終了時刻列409の時刻までの期間(以下、「議題審議期間」という。)を取得する。また、ステップS1503で抽出したレコードにおける滞在開始時刻列1202の時刻から滞在終了時刻列1203の時刻までの期間(以下、「滞在期間」という。)を取得する。なお、滞在期間は、複数取得され得る。CPU201は、議題審議期間に対する滞在期間のカバー率を算出する。例えば、議題審議期間を、「2018/05/22 13:00:00」から「2018/05/22 13:20:00」とする。また、滞在期間を「2018/05/22 13:01:00」から「2018/0522 13:10:00」とし、また、「2018/05/22 13:11:00」から「2018/0522 13:21:00」とする。つまり、参加者が途中で一旦退席したこととする。この場合、20分間の議題審議期間に対して、9分間及び9分間の合計18分間の滞在期間であるため、カバー率は18/20=90%となる。算出したカバー率が所定の閾値、例えば、85%以上である場合、CPU201は、選択した配信先に当たる人物が、選択した議題に参加したと決定する。一方、算出したカバー率が85%未満であった場合、CPU201は、選択した配信先に当たる人物が、選択した議題に参加しないと決定する。次いで、CPU201は、議題情報テーブル407に記録された全ての議題について処理したか否かを判別する(ステップS1505)。
ステップS1505の判別の結果、議題情報テーブル407に記録された何れかの議題について処理しないとき、CPU201は、ステップS1502の処理に戻る。ステップS1505の判別の結果、議題情報テーブル407に記録された全ての議題について処理したとき、CPU201は、選択した配信先に当たる人物が全ての議題に参加したか否かを判別する(ステップS1506)。
ステップS1506の判別の結果、選択した配信先に当たる人物が全ての議題に参加したとき、CPU201は、選択した配信先の参加状況として「全参加」である旨を記録する(ステップS1507)。具体的に、CPU201は、配信先情報テーブル411において、ステップS1501で選択したレコードの出欠列413に「出席」を記録し、さらに、議題名列414を空欄にする。次いで、CPU201は、後述するステップS1511の処理を行う。
ステップS1506の判別の結果、選択した配信先に当たる人物が何れかの議題に参加しないとき、CPU201は、選択した配信先に当たる人物が全ての議題に不参加であるか否かを判別する(ステップS1508)。
ステップS1508の判別の結果、選択した配信先に当たる人物が全ての議題に不参加であるとき、CPU201は、選択した配信先の参加状況として「欠席」である旨を記録する(ステップS1509)。具体的に、CPU201は、配信先情報テーブル411において、ステップS1501で選択したレコードの出欠列413に「欠席」を記録し、さらに、議題名列414を空欄にする。次いで、CPU201は、後述するステップS1511の処理を行う。
ステップS1508の判別の結果、選択した配信先に当たる人物が全ての議題に不参加でないとき、CPU201は、選択した配信先の参加状況として「部分参加」である旨を記録する(ステップS1509)。具体的に、CPU201は、配信先情報テーブル411において、ステップS1501で選択したレコードの出欠列413に「出席」を記録し、さらに、議題名列414にステップS1502で選択した議題の名称を記録する。次いで、CPU201は、配信先情報テーブル411に記録された全ての配信先について処理したか否かを判別する(ステップS1511)。
ステップS1511の判別の結果、配信先情報テーブル411に記録された何れかの配信先について処理しないとき、CPU201は、ステップS1501の処理に戻る。ステップS1511の判別の結果、配信先情報テーブル411に記録された全ての配信先について処理したとき、CPU201は、参加状況決定処理を終了する。次いで、CPU201は、図15(b)の立場決定処理を行って(ステップS1305)、各配信先に当たる人物の立場を決定する。一般的に、会議の主導者は、議題の開始時に、当該議題に関する議論の導入を述べる傾向がある。また、会議の主導者は、議題の終了時に、当該議題のまとめを述べる傾向がある。図15(b)の処理では、こうした傾向から、配信先に当たる人物のうち会議の主導者を決定する。
図15(b)において、CPU201は、議題情報テーブル407から議題を選択する(ステップS1521)。具体的に、CPU201は、議題情報テーブル407に記録されたレコードの中から処理の対象となる1つのレコードを選択する。ステップS1521では、議題情報テーブル407に記録された先頭のレコードから順にレコードが選択される。
次いで、CPU201は、選択した議題において最初に発話した人物の識別情報をRAM204に記憶させる(ステップS1522)。ステップS1522では、CPU201は、ステップS1521で選択したレコードの議題開始時刻列408の時刻を参照する。さらに、CPU201は、話者情報テーブル1210のレコードを順に参照する。話者情報テーブル1210のレコードは、発言開始時刻列1211の値で昇順にソートされており、発話開始時刻が古いレコードから順に上位から配列されている。CPU201は、話者情報テーブル1210において、発言開始時刻列1211の時刻が、ステップS1521で選択したレコードの議題開始時刻列408の時刻の直後のレコードを選択する。CPU201は、当該レコードに該当する発話が議題の導入を述べた発話であると判別し、選択したレコードにおける人物列1213の人物の識別情報を、選択した議題において最初に発話した人物の識別情報として、RAM204に一時的に記憶させる。
次いで、CPU201は、選択した議題において最後に発話した人物の識別情報をRAM204に記憶させる(ステップS1523)。ステップS1523では、CPU201は、ステップS1521で選択したレコードの議題終了時刻列409の時刻を参照する。さらに、CPU201は、話者情報テーブル1210のレコードを順に参照する。CPU201は、話者情報テーブル1210において、発言終了時刻列1212の時刻が、ステップS1521で選択したレコードの議題終了時刻列409の時刻の直前のレコードを選択する。CPU201は、当該レコードに該当する発話が議題のまとめを述べた発話であると判別し、選択したレコードにおける人物列1213の人物の識別情報を、選択した議題において最後に発話した人物の識別情報として、RAM204に一時的に記憶させる。次いで、CPU201は、議題情報テーブル407に記録された全ての議題について処理したか否かを判別する(ステップS1524)。
ステップS1524の判別の結果、議題情報テーブル407に記録された何れかの議題について処理しないとき、CPU201は、ステップS1521の処理に戻る。ステップS1524の判別の結果、議題情報テーブル407に記録された全ての議題について処理したとき、CPU201は、ステップS1522、S1523でRAM204に記憶された識別情報に基づいて会議の主導者を決定する(ステップS1525)。次いで、CPU201は、配信先情報テーブル411において、RAM204に記憶された識別情報に対応するレコードの立場列415に「主導」を記録し、立場決定処理を終了する。その後、CPU201は、図13(b)のステップS1306の処理を行う。
ステップS1306では、CPU201は、ステップS1304で決定した参加状況と、ステップS1305で決定した立場とを、設定画面319の表示に反映する。CPU201は、配信先情報テーブル411の内容と表示デバイス206の表示内容とが一致するように、出欠列322、議題列323、及び立場列324の内容を更新する。その後、CPU201は、ユーザが設定画面319や議題選択画面326を操作した際に、ステップS1304で決定した参加状況とステップS1305で決定した立場とを更新しても良い。次いで、CPU201は、ステップS601以降の処理を行う。
上述した実施の形態では、会議における各議題の最初の発話者及び会議における各議題の最後の発話者が会議の主導者に決定される。これにより、議事録を作成する際に配信先が主導者であるか否かに関する入力を要求することなく、配信先となるユーザと会議との関係性を容易に決定することができる。
次に、本発明の第2の実施の形態について説明する。以下では、各配信先と会議の関係性を決定するための情報である参加状況や立場の情報を、会議装置101が収集する他の方法について説明する。
なお、第2の実施の形態において、上述した実施の形態の各構成要素と機能及び作用が同じ構成要素については説明を省略し、上述した実施の形態と機能及び作用が異なる構成要素についてのみ以下に詳述する。
図16は、本発明の第2の実施の形態に係る議事録配信システムとしての会議システム1600の構成を概略的に示すブロック図である。会議システム1600は、図1の会議装置101、会議サーバ102、及びPC103の他に、入退室管理システム1601、及び人事情報管理システム1602を備える。会議装置101、会議サーバ102、PC103、入退室管理システム1601、及び人事情報管理システム1602は、ネットワーク104を介して接続されている。
入退室管理システム1601は、会議装置101が設置された会議室への入退室を管理するシステムである。入退室管理システム1601は、会議装置101が設置された会議室への入退室の情報(以下、「入退室情報」という。)として、会議室に入退室した人物に関する情報や会議室に入退室した時刻に関する情報を管理する。会議の参加者は、会議室の入り口に設置された端末(不図示)で認証操作することで会議室に入退室することができる。参加者は、例えば、割り当てられたパスコードを上記端末に入力する、若しくは各参加者に配布されたIDカードを上記端末に読み込ませるといった認証操作を行う。会議装置101は、入退室管理システム1601と通信を行って、会議装置101が設置された会議室への入退室情報を取得することができる。
人事情報管理システム1602は、会議装置101が設置された会議室を利用する人物の人事に関する情報(以下、「人事情報」という。)を管理する。人事情報管理システム1602は、人事情報として、各人物の識別情報や職階等を管理する。会議装置101は、人事情報管理システム1602と通信を行って、指定した人物の人事情報を取得することができる。なお、入退室管理システム1601及び人事情報管理システム1602のハードウェア構成は、図2(b)の会議サーバ102と同様である。
図17は、図16の会議装置101が入退室管理システム1601又は人事情報管理システム1602と送受信するデータの一例を示す図である。図17(a)は、入退室情報要求データテーブル1700の一例を示す。図17(b)は、入退室情報応答データテーブル1710の一例を示す。図17(c)は、人事情報要求データテーブル1720の一例を示す。図17(d)は、人事情報応答データテーブル1730の一例を示す。
入退室情報要求データテーブル1700は、会議装置101が入退室管理システム1601に入退室情報を要求するためのデータテーブルである。入退室情報要求データテーブル1700は、開始時刻列1701及び終了時刻列1702で構成される。開始時刻列1701には、会議装置101が要求する入退室情報の時間範囲の開始時刻が入力される。終了時刻列1702には、会議装置101が要求する入退室情報の時間範囲の終了時刻が入力される。会議装置101は、入退室管理システム1601へ入退室情報要求データテーブル1700を送信することで、開始時刻列1701の時刻から終了時刻列1702の時刻までの間の入退室情報を要求することができる。
入退室情報応答データテーブル1710は、入退室管理システム1601が会議装置101に返す入退室情報である。入退室情報応答データテーブル1710は、人物列1711、入室時刻列1712、及び退室時刻列1713で構成される。人物列1711には、会議装置101が設置された会議室に入退室を行った人物の識別情報が入力される。入室時刻列1712には、人物列1711の人物が上記会議室へ入室した時刻が入力される。退室時刻列1713には、人物列1711の人物が上記会議室から退室した時刻が入力される。
人事情報要求データテーブル1720は、会議装置101が人事情報管理システム1602に人事情報を要求するためのデータテーブルである。人事情報要求データテーブル1720の人物列1721には、人事情報を要求する人物の識別情報が入力される。
人事情報応答データテーブル1730は、人事情報管理システム1602が会議装置101に返す人事情報である。人事情報応答データテーブル1730は、人物列1731及び職階列1732で構成される。人物列1731には、人物の識別情報が入力される。職階列1732には、人物列1731の人物の職階が入力される。職階として、例えば、リーダー職を示す「L」、マネージャ職を示す「M」、一般者を示す空欄が設定される。
図18は、図16の会議システム1600の会議装置101によって実行される会議情報記録処理の手順を示すフローチャートである。図18の処理も、CPU201が、ストレージ204に格納されたコントローラプログラムを読み出し、該コントローラプログラムをRAM204に展開して実行することで実現される。なお、図18の会議情報記録処理は、図5におけるステップS514の次の処理、また、ステップS517の判別の結果ユーザが配信先の登録の終了を指示したときの処理以外の処理は、図5の会議情報記録処理と同様である。このため、以下では、図5の会議情報記録処理と異なる処理についてのみ説明する。
図18(b)において、CPU201は、ステップS514の処理を完了すると、入退室情報要求データテーブル1700を生成する。一般的に、参加者は、会議開始時刻より少し前に会議室へ入室し、また、会議終了時刻より少し後に会議室を退室する。これに対応して、CPU201は、入退室情報要求データテーブル1700において、音声情報テーブル400の録音開始時刻列401の時刻より5分前の時刻を開始時刻列1701に設定し、また、録音終了時刻列402の時刻より5分後の時刻を終了時刻列1702に設定する。CPU201は、生成した入退室情報要求データテーブル1700を入退室管理システム1601に送信する。次いで、CPU201は、入退室管理システム1601から入退室情報応答データテーブル1710を受信し、受信した入退室情報応答データテーブル1710に含まれる入退室情報を取得する(ステップS1801)。次いで、CPU201は、取得した入退室情報を配信先情報に反映する(ステップS1802)。具体的に、CPU201は、入退室情報応答データテーブル1710に含まれるレコードの数だけ、配信先情報テーブル411にレコードを追加する。配信先情報テーブル411において、追加された各レコードの配信先列412には、入退室情報応答データテーブル1710の人物列1711の人物に対応するメールアドレス等の人物の識別情報が記録される。また、CPU201は、配信先情報テーブル411の内容を配信先画面314の表示に反映する。CPU201は、配信先情報テーブル411の内容と表示内容とが一致するようにリスト317の表示内容を決定し、表示デバイス206に表示内容を更新させる。その後、CPU201は、ユーザが配信先画面314の操作指示を行った際に、配信先を更新してもよい。なお、会議の欠席者の入退室情報は存在しないので、例えば、会議の主導者が配信先入力欄315に欠席者のメールアドレスを入力して登録する。次いで、CPU201は、ステップS515〜S517の処理を行う。
ステップS517の判別の結果、ユーザが配信先の登録の終了を指示したとき、CPU201は、図19の参加状況決定処理を実行し(ステップS1803)、ステップS1801で取得した入退室情報に基づいて配信先に該当する人物の参加状況を決定する。
図19は、図18のステップS1803の参加状況決定処理の手順を示すフローチャートである。
図19において、CPU201は、ステップS1501、S1502の処理を行う。次いで、CPU201は、入退室情報応答データテーブル1710の中から、ステップS1501で選択した配信先に該当するレコードを抽出する(ステップS1901)。CPU201は、上述した配信先と人物の識別情報との関連テーブルを参照し、ステップS1501で選択したレコードの配信先列412の配信先に該当する人物の識別情報を取得する。CPU201は、入退室情報応答データテーブル1710の中から、取得した人物の識別情報と人物列1711の識別情報が一致する1つ以上のレコードを抽出する。次いで、CPU201は、ステップS1501で選択した配信先に当たる人物におけるステップS1502で選択した議題への参加有無を決定する(ステップS1902)。ステップS1902では、CPU201は、ステップS1502で選択したレコードから、議題開始時刻列408の時刻から議題終了時刻列409の時刻までの議題審議期間を取得する。また、CPU201は、ステップS1901で抽出した入退室情報応答データテーブル1710のレコードにおける入室時刻列1712の時刻から退室時刻列1713の時刻までの入室期間を取得する。なお、入室期間は、複数取得され得る。CPU201は、ステップS1504の処理と同様に、議題審議期間に対する入室期間のカバー率を算出する。算出したカバー率が所定の閾値、例えば、85%以上である場合、CPU201は、ステップS1501で選択した配信先に当たる人物がステップS1502で選択した議題に参加したと決定する。一方、算出したカバー率が所定の閾値、例えば、85%未満である場合、CPU201は、ステップS1501で選択した配信先に当たる人物がステップS1502で選択した議題に不参加であると決定する。CPU201は、決定した結果をRAM204に一時的に記憶させる。その後、CPU201は、ステップS1505〜S1511の処理を行い、参加状況決定処理を終了する。次いで、CPU201は、人事情報要求データテーブル1720を生成する。CPU201は、配信先情報テーブル411の配信先列412の内容に基づいて人物列1721に人事情報を要求する人物の識別情報を入力する。次いで、CPU201は、人事情報要求データテーブル1720を人事情報管理システム1602に送信する。次いで、CPU201は、図18(b)に示すように、人事情報管理システム1602から人事情報応答データテーブル1730を受信する(ステップS1804)。
次いで、CPU201は、受信した人事情報応答データテーブル1730に基づいて各配信先に当たる人物の立場を決定する(ステップS1805)。ステップS1805では、CPU201は、人事情報応答データテーブル1730のレコードを順に参照する。CPU201は、職階列1732が空欄でないレコードの人物列1731の人物の識別情報を取得する。CPU201は、配信先情報テーブル411において、取得した人物の識別情報に対応するレコードの立場列415に、職階列1732の値に対応する立場を記録する。例えば、職階列1732に「L」が設定されていた場合、立場列415には「L」に対応する立場として「主導」が記録される。また、職階列1732に「M」が設定されていた場合、立場列415には「M」に対応する立場として「監督」が記録される。
次いで、CPU201は、ステップS1803で決定した参加状況と、ステップS1805で決定した立場とを設定画面319の表示に反映する(ステップS1806)。次いで、CPU201は、ステップS601以降の処理を行う。
上述した実施の形態では、会議室への入退室情報に基づいて配信先となるユーザが欠席者、全参加者、及び部分参加者の何れであるかが決定される。これにより、議事録を作成する際に各配信先の参加状況の入力を要求することなく、配信先となるユーザと会議との関係性を容易に決定することができる。
本発明は、上述の実施の形態の1以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、該システム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 会議システム
101 会議装置
102 会議サーバ
411 配信先情報テーブル
1000 議事録
1010 議事テキストデータ
1020 貼付画像データ群
1710 入退室情報応答データテーブル

Claims (11)

  1. 会議の参加者が発した音声に基づいて作成された議事録を配信する議事録配信システムであって、
    前記会議の参加者が発した音声に基づいて前記議事録を作成する議事録作成手段と、
    前記議事録を配信する配信先を記録する配信先記録手段と、
    前記配信先となるユーザと前記会議との関係性を決定する関係性決定手段とを備え、
    前記議事録作成手段は、前記配信先となるユーザと会議との関係性に基づいて当該配信先に配信する議事録の情報量を制御することを特徴とする議事録配信システム。
  2. 前記会議の欠席者に配信する議事録の情報量は、前記会議の参加者に配信する議事録の情報量より多いことを特徴とする請求項1記載の議事録配信システム。
  3. 前記会議における一部の議題のみの参加者に配信する議事録の情報量は、前記会議における全ての議題の参加者に配信する議事録の情報量より少ないことを特徴とする請求項1又は2記載の議事録配信システム。
  4. 前記会議が行われる会議室への入退室を管理する入退室管理手段を更に備え、
    前記関係性決定手段は、前記会議室への入退室に関する情報に基づいて前記配信先となるユーザが前記会議の欠席者、前記会議における全ての議題の参加者、及び前記会議における一部の議題の参加者の何れであるかを決定することを特徴とする請求項2又は3記載の議事録配信システム。
  5. 前記会議の主導者に配信する議事録の情報量は、前記会議の主導者以外の前記会議の参加者に配信する議事録の情報量より多いことを特徴とする請求項1乃至4のいずれか1項に記載の議事録配信システム。
  6. 前記関係性決定手段は、前記会議における議題の最初の発話者及び前記会議における議題の最後の発話者を前記会議の主導者に決定することを特徴とする請求項5記載の議事録配信システム。
  7. 前記会議の監督者に配信する議事録の情報量は、前記会議の監督者以外の配信先に配信する議事録の情報量より少ないことを特徴とする請求項1乃至6のいずれか1項に記載の議事録配信システム。
  8. 前記議事録は、前記会議で議論した内容を示す議事情報を少なくとも含み、
    前記議事録作成手段は、前記配信先となるユーザと会議との関係性に基づいて当該配信先に配信される議事録の議事情報を要約するための要約率を制御することを特徴とする請求項1乃至7のいずれか1項に記載の議事録配信システム。
  9. 前記議事録は、前記会議に関連する画像データを少なくとも含み、
    前記議事録作成手段は、前記配信先となるユーザと会議との関係性に基づいて当該配信先に配信される議事録に含まれる画像データの数を制御することを特徴とする請求項1乃至8のいずれか1項に記載の議事録配信システム。
  10. 会議の参加者が発した音声に基づいて作成された議事録を配信する議事録配信方法であって、
    前記会議の参加者が発した音声に基づいて前記議事録を作成する議事録作成ステップと、
    前記議事録を配信する配信先を記録する配信先記録ステップと、
    前記配信先となるユーザと前記会議との関係性を決定する関係性決定ステップとを有し、
    前記議事録作成ステップは、前記配信先となるユーザと会議との関係性に基づいて当該配信先に配信される議事録の情報量を制御することを特徴とする議事録配信方法。
  11. 会議の参加者が発した音声に基づいて作成された議事録を配信する議事録配信方法をコンピュータに実行させるプログラムであって、
    前記議事録配信方法は、
    前記会議の参加者が発した音声に基づいて前記議事録を作成する議事録作成ステップと、
    前記議事録を配信する配信先を記録する配信先記録ステップと、
    前記配信先となるユーザと前記会議との関係性を決定する関係性決定ステップとを有し、
    前記議事録作成ステップは、前記配信先となるユーザと会議との関係性に基づいて当該配信先に配信される議事録の情報量を制御することを特徴とするプログラム。
JP2018150508A 2018-08-09 2018-08-09 議事録配信システム、議事録配信方法、及びプログラム Pending JP2020027351A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018150508A JP2020027351A (ja) 2018-08-09 2018-08-09 議事録配信システム、議事録配信方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018150508A JP2020027351A (ja) 2018-08-09 2018-08-09 議事録配信システム、議事録配信方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2020027351A true JP2020027351A (ja) 2020-02-20

Family

ID=69620060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018150508A Pending JP2020027351A (ja) 2018-08-09 2018-08-09 議事録配信システム、議事録配信方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2020027351A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021225104A1 (ja) * 2020-05-08 2021-11-11 Line株式会社 プログラム、表示方法、端末

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021225104A1 (ja) * 2020-05-08 2021-11-11 Line株式会社 プログラム、表示方法、端末

Similar Documents

Publication Publication Date Title
JP5003125B2 (ja) 議事録作成装置及びプログラム
US9064160B2 (en) Meeting room participant recogniser
US20190190908A1 (en) Systems and methods for automatic meeting management using identity database
KR20170023748A (ko) 사진 공유 방법, 장치, 프로그램 및 기록매체
TW201142823A (en) Voice print identification
CN111258528B (zh) 语音用户界面的显示方法和会议终端
EP3131257B1 (en) Program, information processing apparatus, and information processing system for use in an electronic conference system
JP5919752B2 (ja) 議事録作成システム、議事録作成装置、議事録作成プログラム、議事録作成端末及び議事録作成端末プログラム
US11792468B1 (en) Sign language interpreter view within a communication session
KR20170126667A (ko) 회의 기록 자동 생성 방법 및 그 장치
JP2020027351A (ja) 議事録配信システム、議事録配信方法、及びプログラム
JP2019046047A (ja) 情報処理装置、情報処理方法、プログラム
JP2019105740A (ja) 会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラム
CN116366800B (zh) 在线会议方法、装置、存储介质及电子设备
JP2003339037A (ja) ネットワーク会議システム、ネットワーク会議方法およびネットワーク会議プログラム
US20230353613A1 (en) Active speaker proxy presentation for sign language interpreters
JP6027580B2 (ja) 情報表示システムおよび情報表示プログラム
KR20190029999A (ko) 멀티 커넥션을 통한 회의록 생성 시스템 및 그 방법
CN115623133A (zh) 线上会议方法、装置、电子设备及可读存储介质
JP2019139571A (ja) 会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラム
JP2010256962A (ja) 会議情報提供装置及び会議情報提供プログラム
CN114169554A (zh) 一种会议室的控制方法和装置
JP2019161409A (ja) 会議システム、情報処理装置とその制御方法、及びプログラム
CN110996036A (zh) 一种基于ai智能技术的远程网上会议管理***
WO2017022271A1 (ja) コンピュータで読み取り可能なプログラム、プレイリスト作成装置、およびワイヤレスオーディオシステム