JP7471979B2 - 会議支援システム - Google Patents

Description

本発明は、会議支援システム、会議支援方法およびプログラムに関する。

健聴者と聴覚障がい者とが一緒に会議に参加する会議において、各発表者の発話内容と聴覚障がい者が端末を操作して入力したテキスト化して、テキストを表示装置と各利用者が所有する端末に表示することが提案されている（例えば特許文献１参照）。特許文献１に記載の技術では、聴覚障がい者がテキストによって会話に参加した場合に、他の会議参加者の発話を待機させるように親機を制御し、発言を待機させる情報を聴覚障がい者が使用する子機に送信するようにしている。

特開２０１９－１７９４８０号公報

しかしながら、従来技術では、健聴者が発表者として聴衆の方を向いて発言しているときには、表示装置の画面を確認することなく話してしまうことがあった。

本発明は、上記の問題点に鑑みてなされたものであって、発表者および聴衆に対して分かりやすくテキスト入力が行われていることを気づかせることができる会議支援システム、会議支援方法およびプログラムを提供することを目的とする。

（１）上記目的を達成するため、本発明の一態様に係る会議支援システムは、テキスト入力部を備えた端末と、画像を表示する表示装置と、前記端末と接続し、前記端末から入力されたテキスト情報および収音部から入力された音声信号をテキスト化した情報を前記表示装置に表示させる会議支援装置と、を備え、前記会議支援装置は、前記端末によってテキスト入力が開始された際、前記表示装置の全体の表示を所定時間変更する。

（２）また、本発明の一態様に係る会議支援システムにおいて、前記会議支援装置は、前記端末によってテキスト入力が開始された際、前記表示装置の全体の表示の輝度を変更する、表示色を変更する、彩度を変更する、およびコントラストを変更するうちのすくなくとも１つによって、前記表示装置の全体の表示を所定時間変更する、ようにしてもよい。

（３）また、本発明の一態様に係る会議支援システムにおいて、前記会議支援装置は、前記音声信号に対して発話区間を検出し、前記表示装置の全体の表示を所定時間変更した後も発話が継続している場合、再度、前記表示装置の全体の表示を、所定時間変更する、ようにしてもよい。

（４）上記目的を達成するため、本発明の一態様に係る会議支援方法は、テキスト入力部を備えた端末と、画像を表示する表示装置と、前記端末と接続し、前記端末から入力されたテキスト情報および収音部から入力された音声をテキスト化した情報を前記表示装置に表示させる会議支援装置と、を有する会議支援システムにおける会議支援方法であって、前記会議支援装置が、前記端末によってテキスト入力が開始された際、前記表示装置の全体の表示を所定時間変更する。

（５）上記目的を達成するため、本発明の一態様に係るプログラムは、テキスト入力部を備えた端末と、画像を表示する表示装置と、前記端末と接続し、前記端末から入力されたテキスト情報および収音部から入力された音声をテキスト化した情報を前記表示装置に表示させる会議支援装置と、を有する会議支援システムにおける会議支援装置のコンピュータに、前記端末によってテキスト入力が開始された際、前記表示装置の全体の表示を所定時間変更させる。

（１）～（５）によれば、発表者および聴衆に対して分かりやすくテキスト入力が行われていることを気づかせることができる。

実施形態に係る発話が不自由な人が端末に入力を行っていない場合を示す図である。 実施形態に係る発話が不自由な人が端末に入力を行った場合を示す図である。 実施形態に係る会議支援システムの構成例を示すブロック図である。 実施形態に係る端末に表示させる画像例を示す図である。 実施形態に係る第１表示装置に表示される画像例を示す図である。 実施形態に係るテキスト入力が開始された際の第１表示装置に表示される画像の変更例を示す図である。 実施形態に係る第１表示装置の表示変更期間の例を示す図である。 実施形態に係る会議支援装置の処理手順のフローチャートである。 会議支援システムの変形例の構成例を示すブロック図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。

［会議支援システムの概要、本実施形態の概要］
まず、会議支援システムの概要、本実施形態の概要を説明する。
図１は、本実施形態に係る発話が不自由な人が端末に入力を行っていない場合を示す図である。
本実施形態の会議支援システムは、例えば２人以上が参加して行われる会議で用いられる。参加者ＵＳ１～ＵＳ３のうち、発話が不自由な人（例えば聴覚障がい者）ＵＳ２が会議に参加していてもよい。なお、参加者は、全員が同じ会議室にいなくてもよく、例えばネットワークＮＷを介して、別の会議室や自宅等から参加してもよい。

発話可能な参加者ＵＳ１、ＵＳ３は、参加者毎に収音部１１を装着する。また、発話が不自由な人ＵＳ２は、端末（スマートフォン、タブレット端末、パーソナルコンピュータ等）２０を所持している。会議支援装置３０は、参加者の発話した音声信号に対して音声認識を行いテキスト化して、第１表示装置６０（表示装置）と端末２０にテキストを表示させる。また、第２表示装置７０には、説明用の資料を表示させるＰＣ（パーソナルコンピュータ等）８０が接続されている。参加者ＵＳ２は、例えばテーブルＴｂに置いて端末２を利用する。

図２は、本実施形態に係る発話が不自由な人が端末に入力を行った場合を示す図である。
図２のように、発話が不自由な人ＵＳ２が、端末２０を使ってテキスト入力を開始すると、第１表示装置６０の画面の輝度または色が第１所定時間（所定時間）変化する。
これにより、本実施形態よれば、発話している参加者ＵＳ１に、端末２０によって入力が行われていることを気づかせることができる。参加者ＵＳ１は、例えば、現在発話しているフレーズの発話が完了した時点で、端末２０によって入力が終了するまで発話を中断する。これにより、本実施形態によれば、端末２０による入力を待機することができる。

［会議支援システムの構成例］
次に、会議支援システムの構成例を説明する。
図３は、本実施形態に係る会議支援システム１の構成例を示すブロック図である。図３に示すように、会議支援システム１は、収音装置１０、端末２０、会議支援装置３０、音響モデル・辞書ＤＢ４０、議事録・音声ログ記憶部５０、第１表示装置６０、第２表示装置７０、およびＰＣ８０を備える。また、端末２０は、端末２０－１、端末２０－２、・・・を備える。以下、端末２０－１、端末２０－２のうち１つを特定しない場合は、「端末２０」という。

収音装置１０は、収音部１１－１、収音部１１－２、収音部１１－３、・・・を備える。以下、収音部１１－１、収音部１１－２、収音部１１－３、・・・のうち１つを特定しない場合は、「収音部１１」という。

端末２０は、入力部２０１、処理部２０２、表示部２０３、および通信部２０４を備える。

会議支援装置３０は、取得部３０１、音声認識部３０２、テキスト変換部３０３（音声認識部）、係り受け解析部３０４、議事録作成部３０６、通信部３０７、認証部３０８、操作部３０９、および処理部３１０を備える。

収音装置１０と会議支援装置３０とは、有線または無線によって接続されている。端末２０と会議支援装置３０とは、有線または無線のネットワークＮＷによって接続されている。

［収音装置］
収音装置１０は、利用者が発話した音声信号を収音し、収音した音声信号を会議支援装置３０に出力する。なお、収音装置１０は、１つのマイクロフォンアレイであってもよい。この場合、収音装置１０は、それぞれ異なる位置に配置されたＰ個のマイクロフォンを有する。そして、収音装置１０は、収音した音からＰチャネル（Ｐは、２以上の整数）の音声信号を生成し、生成したＰチャネルの音声信号を会議支援装置３０に出力する。

収音部１１は、マイクロフォンである。収音部１１は、利用者の音声信号を収音し、収音した音声信号をアナログ信号からデジタル信号に変換して、デジタル信号に変換した音声信号を会議支援装置３０に出力する。なお、収音部１１は、アナログ信号の音声信号を会議支援装置３０に出力するようにしてもよい。

［端末］
端末２０は、例えばスマートフォン、タブレット端末、パーソナルコンピュータ等である。端末２０は、音声出力部、モーションセンサー、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ；全地球測位システム）等を備えていてもよい。

入力部２０１は、例えば表示部２０３上に設けられたタッチパネル式のセンサー（含むタッチパネル用のペンシル）、またはキーボードである。入力部２０１は、利用者が入力した入力を検出し、検出した結果を処理部２０２に出力する。なお、端末２０の利用者は、テキストを、例えばタッチパネル用のペンシル等で手書きで入力するか、表示部２０３に表示されるソフトウェアキーボードを操作して入力するか、機械式のキーボードを操作して入力する。

処理部２０２は、入力部２０１が出力した結果に基づいて、テキスト入力が開始されたことを検出し、テキストが入力開始されたことを示すテキスト入力開始情報を生成し、生成したテキスト入力開始情報を通信部２０４に出力する。処理部２０２は、テキストが入力開始されたことを、例えば、文字が例えば１文字手書きされたことを検出したとき、またはキーボードで文字が一文字入力されたときに検出するようにしてもよい。なお、処理部２０２は、手書きでテキスト入力された場合、手書き文字を周知の手法で認識してテキスト化する。
処理部２０２は、入力部２０１が出力した出力した結果に応じて送信情報を生成し、生成した送信情報を通信部２０４に出力する。送信情報には、入力されたテキスト情報と端末２０を識別するための識別情報が含まれている。
処理部２０２は、通信部２０４が出力するテキスト情報を取得し、取得したテキスト情報を画像データに変換し、変換した画像データを表示部２０３に出力する。なお、表示部２０３上に表示される画像については、図４を用いて後述する。

表示部２０３は、処理部２０２が出力した画像データを表示する。表示部２０３は、例えば、液晶表示装置、有機ＥＬ（エレクトロルミネッセンス）表示装置、電子インク表示装置等である。

通信部２０４は、テキスト情報または議事録の情報を会議支援装置３０から受信し、受信した受信情報を処理部２０２に出力する。通信部２０４は、処理部２０２が出力したテキスト入力開始情報、送信情報を会議支援装置３０に送信する。

［音響モデル・辞書ＤＢ、議事録・音声ログ記憶部］
音響モデル・辞書ＤＢ４０には、例えば音響モデル、言語モデル、単語辞書等が格納されている。音響モデルとは、音の特徴量に基づくモデルであり、言語モデルとは、単語とその並び方の情報のモデルである。また、単語辞書とは、多数の語彙による辞書であり、例えば大語彙単語辞書である。なお、会議支援装置３０は、音声認識辞書１３に格納されていない単語等を、音響モデル・辞書ＤＢ４０に格納して更新するようにしてもよい。

議事録・音声ログ記憶部５０は、議事録（含む音声信号）を記憶する。

第１表示装置６０は、会議支援装置３０が出力した画像データを表示する。第１表示装置６０は、例えば液晶表示装置、有機ＥＬ（エレクトロルミネッセンス）表示装置、電子インク表示装置等である。なお、第１表示装置６０は、会議支援装置３０が備えていてもよい。

第２表示装置７０は、ＰＣ８０が出力する画像データを表示する。第２表示装置７０は、例えば液晶表示装置、有機ＥＬ（エレクトロルミネッセンス）表示装置、電子インク表示装置等である。なお、第２表示装置７０は、ＰＣ８０が備えていてもよい。

ＰＣ８０は、例えば、パーソナルコンピュータ、スマートフォン、タブレット端末等のうちのいずれか１つである。

［会議支援装置］
会議支援装置３０は、例えばパーソナルコンピュータ、サーバ、スマートフォン、タブレット端末等のうちのいずれかである。なお、会議支援装置３０は、収音装置１０がマイクロフォンアレイの場合、音源定位部、音源分離部、および音源同定部をさらに備える。会議支援装置３０は、参加者によって発話された音声信号を、例えば所定の期間毎に音声認識してテキスト化する。そして、会議支援装置３０は、テキスト化した発話内容のテキスト情報を、参加者の端末２０それぞれに送信する。

取得部３０１は、収音部１１が出力する音声信号を取得し、取得した音声信号を音声認識部３０２に出力する。なお、取得した音声信号がアナログ信号の場合、取得部３０１は、アナログ信号をデジタル信号に変換し、デジタル信号に変換した音声信号を音声認識部３０２に出力する。

音声認識部３０２は、収音部１１が複数の場合、収音部１１を使用する話者毎に音声認識を行う。
音声認識部３０２は、取得部３０１が出力する音声信号を取得する。音声認識部３０２は、取得部３０１が出力した音声信号から発話区間の音声信号を検出する。発話区間の検出は、例えば所定のしきい値以上の音声信号を発話区間として検出してもよく、収音部１１のオン状態とオフ状態を検出してもよい。なお、音声認識部３０２は、発話区間の検出を周知の他の手法を用いて行ってもよい。音声認識部３０２は、検出した発話区間の音声信号に対して、音響モデル・辞書ＤＢ４０を参照して、周知の手法を用いて音声認識を行う。なお、音声認識部３０２は、例えば特開２０１５－６４５５４号公報に開示されている手法等を用いて音声認識を行う。音声認識部３０２は、認識した認識結果と音声信号をテキスト変換部３０３に出力する。なお、音声認識部３０２は、認識結果と音声信号とを、例えば１文毎、または発話句間毎、または話者毎に対応つけて出力する。

テキスト変換部３０３は、音声認識部３０２が出力した認識結果に基づいて、テキストに変換する。テキスト変換部３０３は、変換したテキスト情報と音声信号を係り受け解析部３０４に出力する。なお、テキスト変換部３０３は、「あー」、「えーと」、「えー」、「まあ」等の間投詞を削除してテキストに変換するようにしてもよい。

係り受け解析部３０４は、テキスト変換部３０３が出力したテキスト情報に対して形態素解析と係り受け解析を行う。係り受け解析には、例えば、Ｓｈｉｆｔ－ｒｅｄｕｃｅ法や全域木の手法やチャンク同定の段階適用手法においてＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ）を用いる。係り受け解析部３０４は、解析した結果に基づいて、修正が必要な場合は、音声認識したテキスト情報を音響モデル・辞書ＤＢ４０を参照して修正して議事録・音声ログ記憶部５０に記憶させる。係り受け解析部３０４は、係り受け解析した結果のテキスト情報と音声信号を議事録作成部３０６に出力する。

議事録作成部３０６は、係り受け解析部３０４が出力したテキスト情報と音声信号に基づいて、発表者等である発話者毎に分けて、議事録を作成する。議事録作成部３０６は、作成した議事録と対応する音声信号を議事録・音声ログ記憶部５０に記憶させる。なお、議事録作成部３０６は、「あー」、「えーと」、「えー」、「まあ」等の間投詞を削除して議事録を作成するようにしてもよい。

通信部３０７は、端末２０と情報の送受信を行う。端末２０から受信する情報には、例えば、会議への参加要請、テキスト入力開始情報、テキスト送信情報、過去の議事録の送信を要請する指示情報等が含まれている。通信部３０７は、端末２０から受信した参加要請から、例えば、端末２０を識別するための識別情報を抽出し、抽出した識別情報を認証部３０８に出力する。識別情報は、例えば、端末２０のシリアル番号、ＭＡＣアドレス（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ ａｄｄｒｅｓｓ）、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレス等である。通信部３０７は、認証部３０８が通信参加を許可する指示を出力した場合、会議に参加要請した端末２０との通信を行う。通信部３０７は、認証部３０８が通信参加を許可しない指示を出力した場合、会議に参加要請した端末２０との通信を行わない。通信部３０７は、受信した情報を処理部３１０に出力する。通信部３０７は、処理部３１０が出力したテキスト情報または過去の議事録情報等を、参加要請のあった端末２０に送信する。

認証部３０８は、通信部３０７が出力した識別情報を受け取り、通信を許可するか否か判別する。なお、会議支援装置３０は、例えば、会議への参加者が使用する端末２０の登録を受け付け、認証部３０８に登録しておく。認証部３０８は、判別結果に応じて、通信参加を許可する指示か、通信参加を許可しない指示を通信部３０７に出力する。

操作部３０９は、例えばキーボード、マウス、第１表示装置６０上に設けられているタッチパネルセンサー等である。操作部３０９は、利用者の操作結果を検出して、検出した操作結果を処理部３１０に出力する。

処理部３１０は、端末２０からテキスト入力開始情報を受信したとき、第１表示装置６０に表示させる画像を変更する。処理部３１０は、表示の変更を、例えばバックライトを暗くする（輝度を落とす）か、背景を黒等に変更して画面を暗くするか明るくするか、彩度を高くするか低くするか、コントラストを変更して暗くするか明るくする等によって行う。処理部３１０は、第１表示装置６０に表示させる画像を変更した後、例えば第１所定時間の経過後に、第１表示装置６０の画像変更を終了する。
処理部３１０は、過去の議事録の送信を要請する指示情報に応じて議事録・音声ログ記憶部５０から議事録を読み出し、読み出した議事録の情報を通信部３０７に出力する。なお、議事録の情報には、話者を示す情報、係り受け解析した結果を示す情報等が含まれていてもよい。

なお、収音装置１０がマイクロフォンアレイの場合、会議支援装置３０は、音源定位部、音源分離部、および音源同定部をさらに備える。この場合、会議支援装置３０は、取得部３０１が取得した音声信号に対して予め生成した伝達関数を用いて音源定位部が音源定位を行う。そして、会議支援装置３０は、音源定位部が定位して結果を用いて話者同定を行う。会議支援装置３０は、音源定位部が定位して結果を用いて、取得部３０１が取得した音声信号に対して音源分離を行う。そして、会議支援装置３０の音声認識部３０２は、分離された音声信号に対して発話区間の検出と音声認識を行う（例えば特開２０１７－９６５７号公報参照）。また、会議支援装置３０は、残響音抑圧処理を行うようにしてもよい。

［端末に表示される画像例］
図４は、本実施形態に係る端末２０に表示させる画像例を示す図である。
テキスト表示欄ｇ１１～ｇ１３は、既に発話された発話を音声認識したテキスト、または入力されたテキストの画像である。
テキスト入力欄ｇ１４は、端末２０の利用者がテキスト入力を行う領域である。
送信ボタン画像ｇ１５は、端末２０の利用者が、テキスト入力を終了し、入力したテキストを送信する際に選択するボタン画像である。

なお、図４のように、表示画像には、発話者に対応するアイコンｇ１６、発話者の名前画像ｇ１７、発話時刻画像ｇ１８、テキスト入力を開始する際に利用者が選択するテキスト入力開始ボタン画像ｇ１９等が含まれていてもよい。なお、テキスト入力開始ボタン画像ｇ１９と送信ボタン画像ｇ１５とは、切り替えて表示するようにしてもよい。

［第１表示装置に表示される画像例］
図５は、本実施形態に係る第１表示装置６０に表示される画像例を示す図である。

領域ｇ１００の画像は、参加者情報編集を行う領域である。
領域ｇ１０１は、参加者情報の領域である。アイコン画像ｇ１０２は、参加者に対応した画像である。名前画像ｇ１０３は、参加者の名前の画像である。マイクロフォン番号画像ｇ１０５は、参加者が使用する収音部１１の番号（または識別情報）の画像である。端末番号画像ｇ１０６は、参加者が使用する端末２０の番号（または識別情報）の画像である。

領域ｇ２００の画像は、発話されたたテキストまたは入力されたテキストを表示、または議事録を表示する領域である。なお、図５では、ログイン中の状態を示している。
ボタン画像ｇ２０１は、ログイン／ログアウトの画像である。
ボタン画像ｇ２０２は、会議支援システム１の開始／終了のボタンである。表示画像ｇ２０３は、会議支援システム１の使用中に点灯する画像である。
ボタン画像ｇ２０４は、議事録・音声ログ記憶部５０が記憶する議事録の表示や音声信号の再生を行う画像である。

アイコン画像ｇ２１１は、参加者のうち、発話した人に対応する画像である。
符号ｇ２１２、ｇ２２１、ｇ２３１は、参加者が発話した内容を音声認識したテキスト情報である。
発話時刻画像ｇ２１４は、参加者が発話またはテキスト入力した時刻を示す情報である。
名前画像ｇ２１５は、第１の参加者の名前の画像である。

なお、図５に示した画像は一例であり、第１表示装置６０上に表示される画像は、これに限らない。例えば、会議中には、領域ｇ２００の画像のみを表示するようにしてもよい。

［第１表示装置の画像例］
次に、テキスト入力が開始された際の第１表示装置６０に表示される画像の変更例を説明する。
図６は、本実施形態に係るテキスト入力が開始された際の第１表示装置６０に表示される画像の変更例を示す図である。なお、図６では、表示されている画像のうち、１つのテキスト画像を示し、アイコン画像やボタン画像等を省略している。

テキスト入力が開始される前の画像ｇ５０１では、例えば白地に黒色でテキスト画像が表示される。
これに対して、テキスト入力が開始されたときの第１の画像ｇ５０２では、第１表示装置６０の画面全体が変更されて表示される。
または、テキスト入力が開始されたときの第２の画像ｇ５０３では、第１表示装置６０の画面全体を暗くされ、さらにテキスト画像を黒から白に変更されて表示される。

なお、図６に示した変更例は一例であり、これに限らない。例えば、画面の２／３に対して、画面を暗くするなど、画面の一部を変更するようにしてもよい。
このように、画面を変更することで、発話している司会者等に、テキスト入力が開始されたことを気づかせることができる。

［第１表示装置の表示変更期間］
次に、第１表示装置の表示変更期間の例を説明する。
図７は、本実施形態に係る第１表示装置６０の表示変更期間の例を示す図である。
図７において横軸は時刻（秒）である。
第１の表示変更期間は、テキスト入力開始が検出された時刻ｔ１から、第１所定時間経過の時刻ｔ２までの期間である。第１所定時間は、例えば数秒である。
また、第２の表示変更期間は、テキスト入力開始が検出された時刻ｔ１から、送信ボタンのアイコン画像が端末２０によって送信され、すなわちテキスト入力が終了した時刻ｔ３までの期間（第２所定時間）である。

なお、図７に示した表示変更期間は一例であり、これに限らない。例えば、第１の表示変更期間が経過して、表示変更を例えば図６の画像ｇ５０２からｇ５０１に戻した後も発話が終了しない場合、発話者が表示変更に気づかなかった可能性がある。このような場合は、再度、第１の表示変更期間の表示変更を行うようにしてもよく、この場合、第１所定時より長い時間、表示変更を行うようにしてもよい。なお処理部３１０は、発話終了の確認を、変更を終了した後、第２所定時間経過後に行うようにしてもよい。
または、第１の表示変更期間が経過して、表示変更を戻した後も発話が終了しない場合は、第２の表示変更期間を行うようにしてもよい。

［処理手順例］
次に、会議支援装置３０の処理手順例を説明する。図８は、本実施形態に係る会議支援装置３０の処理手順のフローチャートである。なお、以下の処理例は、テキスト入力開始の際、所定時間、第１表示装置６０の画面表示を変更する例である。

（ステップＳ１）会議支援装置３０の処理部３１０は、利用者が操作部３０９を操作した操作結果等に基づいて、会議で使用する収音部１１や端末２０を登録する。

（ステップＳ２）処理部３１０は、利用者が操作部３０９を操作した操作結果等に基づいて、会議開始を検出する。

（ステップＳ３）処理部３１０は、発話を検出する。
（ステップＳ４）会議支援装置３０の音声認識部３０２、テキスト変換部３０３等は、収音部１１によって収音された音声信号に対して、音声認識処理、テキスト変換等の処理を行う。

（ステップＳ５）処理部３１０は、発話区間検出等の結果に基づいて、発話が終了したか否かを判別する。処理部３１０は、発話が終了したと判別した場合（ステップＳ５；ＹＥＳ）。ステップＳ３の処理に戻す。処理部３１０は、発話が終了していないと判別した場合（ステップＳ５；ＮＯ）。ステップＳ６の処理に進める。

（ステップＳ６）処理部３１０は、端末２０によってテキスト入力が開始されたか否かを判別する。処理部３１０は、テキスト入力が開始されたと判別した場合（ステップＳ６；ＹＥＳ）、ステップＳ７の処理に進める。処理部３１０は、テキスト入力が開始されていないと判別した場合（ステップＳ６；ＮＯ）、ステップＳ５の処理に戻す。

（ステップＳ７）処理部３１０は、例えば、画面全体を暗くするように第１表示装置６０に表示させる画像変更を開始する。

（ステップＳ８）処理部３１０は、画像変更を開始した後、所定時間が経過したか否かを判別する。処理部３１０は、所定時間が経過したと判別した場合（ステップＳ８；ＹＥＳ）、ステップＳ９の処理に進める。処理部３１０は、所定時間が経過していないと判別した場合（ステップＳ８；ＮＯ）、ステップＳ８の処理を繰り返す。

（ステップＳ９）処理部３１０は、第１表示装置６０の画面変更を終了し、元の表示に戻す。

（ステップＳ１０）処理部３１０は、端末２０によるテキスト入力が終了したか否かを判別する。処理部３１０は、テキスト入力が終了したと判別した場合（ステップＳ１０；ＹＥＳ）、ステップＳ３の処理に戻す。処理部３１０は、テキスト入力が終了していないと判別した場合（ステップＳ１０；ＮＯ）、ステップＳ１１の処理に進める。

（ステップＳ１１）処理部３１０は、発話が終了したか否かを判別する。処理部３１０は、発話が終了したと判別した場合（ステップＳ１１；ＹＥＳ）、ステップＳ３の処理に戻す。処理部３１０は、発話が終了していないと判別した場合（ステップＳ１１；ＮＯ）。ステップＳ７の処理に戻す。

ステップＳ１０とＳ１１の処理によって、テキスト入力をしていることを第１表示装置６０の表示を変更して提示しても、話者が気づいていなかった場合であっても、本実施形態によれば、再度、第１表示装置６０の表示を変更して提示することができる。

なお、上述した処理手順は一例であり、これに限らない。例えば、テキスト入力開始の検出は、割り込み処理によって行うようにしてもよい。
また、上述した例では、発話されている際にテキスト入力が開始された場合に画面表示を変更する例を説明したが、これに限らない。処理部３１０は、発話が行われていない場合にも、第１表示装置６０の画面全体の表示を変更して、テキスト入力が開始されたことを報知するようにしてもよい。さらに、処理部３１０は、発話開始前に画面変更を行わずに、発話開始された後に、画面の変更を開始するようにしてもよい。

以上のように、本実施形態では、端末２０によってテキスト入力が開始されたとき、第１表示装置６０の画面の変更するようにした。
また、本実施形態では、１回目の画面変更を見逃しても、発話が継続されかつテキスト入力が継続されている場合に、さらに第１表示装置６０の画面の変更を行うようにした。

これにより、本実施形態によれば、発表者および聴衆に対して分かりやすくテキスト入力が行われていることを気づかせることができる。また、本実施形態によれば、テキスト入力が行われていることに気づき、発表者が発話を区切って、テキスト入力の終了を待つことができる。この結果、本実施形態によれば、聴覚障がい者等は、端末２０を使用して、発話を気にせずに、落ち着いてテキスト入力を行うことができる。
さらに、本実施形態によれば、１回目の画面変更を見逃しても、再度、第１表示装置６０の画面の変更が行われるので、テキスト入力が開始されたことを気づくことができる。

［変形例］
次に、変形例を説明する。
図９は、会議支援システムの変形例の構成例を示すブロック図である。図９に示すように、会議支援システム１Ａは、収音装置１０Ａ、端末２０、会議支援装置３０Ａ、音響モデル・辞書ＤＢ４０、議事録・音声ログ記憶部５０、第１表示装置６０、第２表示装置７０、およびＰＣ８０を備える。

収音装置１０Ａは、収音部１１Ａ－１、収音部１１Ａ－２、収音部１１Ａ－３、・・・を備える。以下、収音部１１Ａ－１、収音部１１Ａ－２、収音部１１Ａ－３、・・・のうち１つを特定しない場合は、「収音部１１Ａ」という。

会議支援装置３０Ａは、取得部３０１、音声認識部３０２、テキスト変換部３０３（音声認識部）、係り受け解析部３０４、議事録作成部３０６、通信部３０７、認証部３０８、操作部３０９、および処理部３１０Ａを備える。

収音部１１Ａは、報知部１１１Ａ（１１１Ａ－１、、・・・）を備える。報知部１１１Ａは、例えば、振動装置または発光装置のうちの少なくとも１つである。報知部１１１Ａは、会議支援装置３０Ａの処理部３１０Ａの制御に応じて、例えば所定の時間、報知する。この報知は、端末２０によって、テキスト入力が開始されていることを表している。

処理部３１０Ａは、端末２０からテキスト入力開始情報を受信したとき、収音部１１Ａの報知部１１１Ａに報知する。処理部３１０Ａは、報知後、例えば第１所定時間の経過後に、報知部１１１Ａへの報知を終了する。

なお、処理部３１０Ａは、報知後、第１所定時間経過しても発話が終了せず、かつテキスト入力が継続されている場合、再度、報知させるようにしてもよい。
また、処理部３１０Ａは、全ての参加者が所持する収音部１１Ａに報知してもよく、発話されている参加者の収音部１１Ａのみに報知してもよい。
なお、本実施形態においても、第１表示装置６０の画面を変更する。

以上のように、変形例では、少なくとも発話している参加者が使用している収音部１１Ａに、振動等によって報知するようにした。

これにより、変形例によれば、第１表示装置６０による報知に気づかなくても、収音部１１Ａへの報知によって、テキスト入力が開始されたことを気づくことができる。

なお、本発明における会議支援装置３０（３０Ａ）の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより会議支援装置３０（３０Ａ）が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

１，１Ａ…会議支援システム、１０，１０Ａ…収音装置、１１…収音部、２０…端末、３０，３０Ａ…会議支援装置、４０…音響モデル・辞書ＤＢ４０、５０…議事録・音声ログ記憶部、６０…第１表示装置、７０…第２表示装置、８０…ＰＣ、１１１Ａ…報知部

Claims (2)

1. テキスト入力部を備えた端末と、
   画像を表示する表示装置と、
   前記端末と接続し、前記端末から入力されたテキスト情報および収音部から入力された音声信号をテキスト化した情報を前記表示装置に表示させる会議支援装置と、
   を備え、
   前記会議支援装置は、
   前記端末によってテキスト入力が開始された際、前記表示装置の全体の表示を第１の所定時間変更し、
   前記第１の所定時間は、前記テキスト入力の開始時から所定時間、および前記テキスト入力の開始時から前記テキスト入力の終了時までのうちのいずれかであり、
   前記テキストを入力している第１の人とは別の第２の人の前記音声信号に対して発話区間を検出し、前記所定時間変更後も前記第２の人の発話が継続している場合、前記表示装置の全体の表示を、前記第１の所定時間より長い第２の所定時間変更する、
   会議支援システム。
2. テキスト入力部を備えた端末と、
   画像を表示する表示装置と、
   前記端末と接続し、前記端末から入力されたテキスト情報および収音部から入力された音声信号をテキスト化した情報を前記表示装置に表示させる会議支援装置と、
   を備え、
   前記会議支援装置は、
   前記端末によってテキスト入力が開始された際、前記表示装置の全体の表示を第１の所定時間変更し、
   前記テキストを入力している第１の人とは別の第２の人の前記音声信号に対して発話区間を検出し、前記第１の所定時間経過後も前記第２の人の発話が継続している場合、前記表示装置の全体の表示を、前記第１の所定時間より長い第２の所定時間変更する、
   会議支援システム。

Images